WO2011065399A1 - 走路認識装置、車両、走路認識方法及び走路認識プログラム - Google Patents

走路認識装置、車両、走路認識方法及び走路認識プログラム Download PDF

Info

Publication number
WO2011065399A1
WO2011065399A1 PCT/JP2010/070983 JP2010070983W WO2011065399A1 WO 2011065399 A1 WO2011065399 A1 WO 2011065399A1 JP 2010070983 W JP2010070983 W JP 2010070983W WO 2011065399 A1 WO2011065399 A1 WO 2011065399A1
Authority
WO
WIPO (PCT)
Prior art keywords
voting
image
cumulative
time
track
Prior art date
Application number
PCT/JP2010/070983
Other languages
English (en)
French (fr)
Inventor
航介 吉見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011543282A priority Critical patent/JP5716671B2/ja
Priority to US13/511,875 priority patent/US8867845B2/en
Publication of WO2011065399A1 publication Critical patent/WO2011065399A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to the recognition of a runway boundary represented by a saddle-shaped lane mark installed on a road surface.
  • a runway recognition device that recognizes lane marks indicating lane boundaries provided on a road surface by visual sensor information mounted on a vehicle, and recognizes the relative positional relationship between the vehicle and the runway.
  • lane mark such as a continuous line or a broken line painted in a color such as white or yellow on the road surface.
  • a "ridge-like (type) lane mark” in which a reflective element or the like is embedded along the runway boundary.
  • the wedge-shaped lane marks are referred to as a dot-like lane mark, a cat's eye, a bot's dot, a road stud or the like.
  • Botts dot also referred to as Bott 'dot (s) or Bott dot (s)
  • boxy lane mark used particularly in California, North America.
  • the term "box-like lane mark” is a generic term including those exemplified above, and the term “box-like” does not limit a specific shape or the like.
  • Patent Document 1 describes an example of a runway recognition device for linear lane marks in particular.
  • the runway recognition device described in Patent Document 1 includes an image input device, an edge enhancement device, a straight line extraction processing device, a white line determination processing device, and a white line output device. Then, the runway recognition apparatus selects feature points of pixels with large brightness change in the image of the traveling road surface obtained by the imaging means, extracts an approximate straight line by Hough transformation, and determines this straight line as an edge of a white line. Do. Also, starting from the last pixel in the vicinity of the straight line, the pixel is searched in the direction of the image far from the vehicle, and it is determined to be a white line edge.
  • the wedge-shaped lane mark has an extremely small number of edge features that can be acquired as compared with the linear lane mark. Therefore, the above method can not recognize well. Therefore, there is a method of detecting the estimated position of the wedge-shaped lane mark using a filter that returns a value only to the feature similar to the wedge-shaped lane mark in the image, and recognizing the track boundary line based on the estimated position information. It is common.
  • Patent Document 2 as a feature extraction filter, an image of a trapezoid lane mark acquired in advance is used as a template. And the template matching method which extracts the area
  • Patent Document 3 a smooth image is created by combining time-series feature images, and the wedge-like lane mark image is made to be linear on the composite image, and then the edge gradient is similar to the linear lane mark.
  • a method to detect a lane position by detecting a feature by using H etc. and detecting a straight line by using Hough transform in the feature coordinates.
  • the runway recognition device described in Patent Document 1 can not recognize the scaly lane mark well.
  • the method of detecting a scaly lane mark by matching with a template image as in the technique described in Patent Document 2 has a problem that the detection performance is greatly reduced due to noise, soiling of the real thing, or minor change of the shape. is there. Furthermore, since there are several types of scaly lane marks, it is necessary to prepare a template image corresponding to all of them. Therefore, the amount of calculation increases and the amount of memory consumption also increases. In particular, in the case of a wedge-shaped lane mark of a square cross section, the apparent shape changes depending on the positional relationship between the installation position and the camera, so the method of detecting the wedge-shaped lane mark by matching with a template image is realistically Have difficulty.
  • Patent Document 2 does not disclose any method for identifying noise and wedge-shaped lane marks.
  • interval of the cage-like lane mark is synthesize
  • the above problem is not solved because the method for identifying the noise and the scaly lane mark is not disclosed.
  • Patent Document 3 needs to store and combine many past time-series input images (or feature images), and requires a large amount of calculation and memory. Further, in order to make the wedge-shaped lane mark linear on the composite image, the amount of change in the image must be small between the image frames used for the composition. In this respect, as the moving speed of the vehicle increases, a camera with a higher frame rate is required in order to keep the amount of change in the image during one frame small. Therefore, when the vehicle moves at a high speed, the wedge-shaped lane marks on the composite image become sparse, and there is a possibility that they can not be combined linearly.
  • a track recognition device a track recognition method, and a track recognition program are provided.
  • a feature extraction unit for extracting a candidate position of a lane mark from a received input image and a vote value for the extracted candidate position correspond to elapsed time.
  • Cumulative voting section for generating a cumulative voting feature image by voting the parameter space of the approximate curve or the approximate straight line with weighting and cumulative route feature position based on the generated cumulative voting feature image
  • a track recognition apparatus comprising: a track boundary determination unit that determines the track boundary position by extracting the candidates of the above.
  • the track recognition device comprises an image output device for capturing an image and outputting the captured image
  • a vehicle is provided, wherein the input image received by the feature extraction unit is an image output by the image output device.
  • the candidate position of the lane mark is extracted from the received input image, and the vote value is weighted according to the elapsed time for the extracted candidate position.
  • a feature extraction function of extracting a candidate position of a lane mark from a received input image, and a vote value corresponding to an elapsed time for the extracted candidate position Cumulative voting function for generating a cumulative voting feature image by voting the parameter space of the approximate curve or the approximate straight line with weighting and cumulative lane feature position based on the generated cumulative voting feature image
  • a track recognition program is provided that causes a computer to realize a track boundary determination function of determining the track boundary position by extracting the candidates of the above.
  • estimated positions of discretely placed lane marks are extracted as feature points using a feature image, and straight lines (or curves) drawn by the feature points in time series are extracted Therefore, it is possible to recognize the track boundary with high accuracy with respect to noise.
  • FIG. 5 is a block diagram schematically showing a configuration essential to the runway recognition apparatus according to the first embodiment of the present invention when recognition is performed on a saddle-shaped lane mark.
  • FIG. 7 is a block diagram schematically showing a configuration essential to the travel lane recognition apparatus according to the first embodiment of the present invention when recognition is made on linear lane marks.
  • the runway recognition device according to the first embodiment of the present invention it is a view schematically showing an example of an input image to be input. It is the figure which showed typically the example of the feature image produced
  • FIG. It is the flowchart which showed typically the specific example (Embodiment 3: Example 1) in the case of time-sequential cumulative voting calculation among operation
  • FIG. 1 is a block diagram schematically showing the configuration of a vehicle including a roadway recognition device 2 according to a first embodiment of the present invention.
  • the motor vehicle is imitated as an object by which the runway recognition apparatus 2 is mounted in FIG. 1, this is an example to the last.
  • a transport vehicle traveling in the factory, a mobile robot or the like, a motorcycle or the like may be an object on which the runway recognition device 2 is mounted.
  • the "vehicle" in the present specification and the present invention includes these objects.
  • a travel path recognition device 2 is mounted on a vehicle 1.
  • the travel path recognition device 2 has an electronic control device 10 and an image output device 20.
  • lane marks are recognition targets in the present embodiment.
  • the lane mark is a mark indicating a lane boundary provided on the road surface.
  • the lane mark is a "linear lane mark” such as a continuous line or a broken line painted in a color such as white or yellow on the road surface, and a three-dimensional structure installed on the road surface, And includes "wedge-like lane marks" which are placed along the discrete pattern. Examples of cross-sections of the three-dimensional structure of the wedge-shaped lane mark are an ellipse, a square, a rectangle, a trapezoid and the like.
  • the rod-like (type) lane mark is a row stud (road stud, raised pavement marker), Bott's dot (s), Bott 'dot (s), Bott dot (s), Botts dot (s), It is called Botts' dot (s), cat's eye, etc.
  • the term "shaped lane mark” is a generic term including those exemplified, and "shaped” is a specific example. It does not limit the shape or the like. In the following description, it is simply described as a lane mark. When simply referred to as a lane mark, it refers to either a linear lane mark, a scaly lane mark, or another lane mark.
  • the image output device 20 is a device that outputs at least image information to the electronic control device 10.
  • the image output device 20 simulates an imaging device.
  • the imaging apparatus is an apparatus for capturing an image in real time, and is mounted on the vehicle 1 so as to capture an image of a runway on which the vehicle travels.
  • a video camera that outputs a National Television Standards Committee (NTSC) format can be used as the imaging device. It is also possible to use any image format other than the NTSC format.
  • NTSC National Television Standards Committee
  • the image output device 20 can use, for example, an image capture device that reads out image information stored in a storage medium and converts it into an NTSC output or the like besides the imaging device.
  • the electronic control device 10 is an information processing device that performs information processing for recognizing a runway.
  • FIG. 2 is a block diagram schematically showing the configuration of the runway recognition apparatus according to Embodiment 1 of the present invention.
  • Each part implemented in the electronic control device 10 is implemented by hardware as an individual device or a part of the device or an electronic circuit.
  • the electronic control unit 10 includes an image input receiving unit 10-1, a feature extracting unit 10-2, a time series cumulative voting unit 10-3, and a voting feature image.
  • a storage unit 10-4 and a track boundary determination unit 10-5 are provided.
  • the image input reception unit 10-1 acquires an image from the image output device 20. At the time of image acquisition, the image input acceptance unit 10-1 adjusts the acquired image format such as clipping of necessary image area, adjustment of resolution and size, extraction of odd (or even) field from NTSC format image, etc. You may go.
  • the feature extraction unit 10-2 receives peripheral pixels as input at each position of the image acquired by the image input reception unit 10-1, and generates an integer value or a real value for each coordinate according to the probability that the lane mark exists. Apply a filtering process that outputs As a filter used here, an arbitrary filter such as a pattern correlation filter based on a template image acquired in advance, an annular filter for calculating a difference or a ratio of luminance statistics of the central region and the peripheral region can be used.
  • a filter used here an arbitrary filter such as a pattern correlation filter based on a template image acquired in advance, an annular filter for calculating a difference or a ratio of luminance statistics of the central region and the peripheral region can be used.
  • the time-series cumulative voting unit 10-3 extracts feature points that are candidates for lane mark positions from the feature image generated by the feature extraction unit 10-2, weights each elapsed time, and cumulatively approximates the curve Or vote on the approximate linear parameter space.
  • a cumulative voting feature image including voting values at a plurality of past times is generated by performing cumulative voting with a weight given to each elapsed time as described above.
  • Extraction of feature points may be performed by selecting each pixel on a properly thresholded feature image, or selecting a pixel having a maximum value from a small area which is a group of adjacent pixels having a value equal to or greater than the threshold value. Alternatively, the center of gravity of the small area may be selected.
  • a method such as Hough transform (P.V.C. Hough, "Method and Means for Recognizing Complex Patterns," U.S. Patent No. 3069654, 1962) or an extended Hough transform can be used.
  • a parameter space ( ⁇ , ⁇ ) to which values are calculated and to which the vote values of all extracted feature points are added constitutes a vote feature image.
  • the calculated vote values may be weighted according to the size of the output in feature extraction of each feature point.
  • the time-series cumulative voting unit 10-3 reads the voting feature image generated at the past time from the voting feature image storage unit 10-4, and uses the current feature time as the voting feature image generated from the features for a certain period of time in the past.
  • a cumulative voting feature image accumulated in time series is generated by additively voting the voting value (assuming t).
  • the image input reception unit 10-1 and the voting feature image storage unit 10-4 may not be provided. That is, the image to be recognized may be input from an external image input receiving unit. Alternatively, a voting feature image generated at a past time may be stored in an external voting feature image storage unit, and the voting feature image may be read from the external voting feature image storage unit. Therefore, as shown in FIG. 5, the electronic control unit 10 according to the present embodiment may be configured by the feature extraction unit 10-2, the time series cumulative voting unit 10-3, and the track boundary determination unit 10-5. Furthermore, in the above description, although the recognition target is described as a lane mark, the lane mark to be recognized may be a wedge-shaped lane mark or a linear lane mark. FIGS.
  • FIG. 6 and 7 show block diagrams of the electronic control unit when the lane marks to be recognized are a wedge-shaped lane mark and a linear lane mark, respectively.
  • the feature extraction unit 10-2 in FIG. 5 is replaced with a wedge-like lane mark feature extraction unit 10-6 that performs feature extraction of wedge-like lane marks.
  • the feature extraction unit 10-2 in FIG. 5 is replaced with a linear lane mark feature extraction unit 10-7 that performs feature extraction of linear lane marks.
  • the weight ⁇ i is a coefficient representing the degree of contribution in the cumulative voting feature image of the voting feature image at each time, and can be defined as, for example, a forgetting factor which decreases as time passes, as follows.
  • k is a decimal fraction of 1.0 or more, and the weight ⁇ i is set to 1 / k each time the index i is increased by one.
  • the voting feature image at time (t) is stored in the voting feature image storage unit 10-4.
  • the voting feature image before time (t ⁇ T) may be held or deleted.
  • the accumulated voting feature image stored here may be an array (x, y, z; t) of feature points at each time before calculating the voting value (however, x, y: coordinates of feature points in the input image, z: output at feature extraction, t: time, and so on.
  • it may be a cumulative voting feature image in which voting values are arranged on a voting feature image ( ⁇ , ⁇ ) instead of the arrangement (x, y, z; t) of feature points at each time, or voting feature image coordinates and voting It may be array information of only voting feature points ( ⁇ , ⁇ , f; t) consisting of values. In any case, the data size can be made smaller than storing the feature image itself extracted by the feature extraction unit.
  • the voting feature image is a space configured by the parameters of an approximate straight line (or approximate curve) passing through the feature points, this domain of region sets in advance a range that can be taken as a relative position between the runway boundary and the vehicle. Thus, it is possible to compress the amount of information to be smaller than that of the input image (or the characteristic image).
  • the array information of only the voting feature points ( ⁇ , ⁇ , f; t) is smaller than the data size of the voting feature image, for the reason described above.
  • the cumulative voting feature image generated at the previous time (t-1) is read out, and weighting with a forgetting factor ( ⁇ , 0 ⁇ ⁇ ⁇ 1) is performed on all values on the voting feature image. Furthermore, for each feature point extracted at the current time (t), a vote value for the parameter space ( ⁇ , ⁇ ) is calculated, and the vote value is added and voted on the vote feature image from which the vote value is read out. Store the cumulative voting feature image at time (t).
  • the vote value calculated at a certain time (t) with respect to a certain coordinate ( ⁇ , ⁇ ) on the voting feature image is f ( ⁇ , ⁇ , t)
  • the forgetting factor ⁇ (0 ⁇ ⁇ ⁇ 1)
  • the cumulative vote value s ( ⁇ , ⁇ , t), which is an output on the generated cumulative vote feature image, can be calculated using the following equation.
  • the data to be stored in the voting feature image storage unit 10-4 may be only one accumulated voting feature image in which the time-series voting values updated every time are accumulated with a weight.
  • the technique for example, the technique described in Patent Document 3
  • Example 2 Even in the method of retaining the features of the past fixed period as described in the first embodiment (Example 1), as compared with the case of storing the input image (or feature image) of each time on the time series interval as described above Although the memory to be occupied is reduced, according to the method of (Embodiment 1: Example 2), the size of data to be stored can be further reduced.
  • the amount of calculation can be reduced as compared with the case of calculating the weighted sum as described in the first embodiment (example 1).
  • the cumulative voting feature image stored here may be a cumulative voting feature image in which voting values are arranged on a voting feature image ( ⁇ , ⁇ ), or a voting feature point (,, ⁇ , consisting of voting feature image coordinates and a voting value).
  • the sequence information of f; t) may be used. The latter can hold smaller data size than the former.
  • the voting feature image storage unit 10-4 stores the cumulative voting feature image generated by the time-series cumulative voting unit 10-3, and provides the time-series cumulative voting unit 10-3 in the next cycle.
  • the raceway boundary determination unit 10-5 determines the presence or absence and the position of the raceway boundary based on the voting value of the output of the time-series cumulative voting unit 10-3.
  • a candidate with a track boundary position can be one whose output of the cumulative voting feature image is equal to or more than a threshold.
  • the threshold value it is possible to output the result that the track boundary can not be determined.
  • a possible range as a relative position between the runway boundary and the vehicle, and narrow down the candidates by selecting only the runway boundary position candidates within this range. Also, for each candidate, set an evaluation value representing the likelihood of a track boundary position, set the evaluation value higher as the value of the output of the cumulative voting feature image increases, and select the candidate with the higher evaluation value. It can be determined as the boundary position.
  • the evaluation value can be changed according to the positional relationship with the past track boundary position, for example, the past track boundary so that the evaluation value of the candidate closer to the past track boundary position closer in time is raised. It is possible to set an evaluation value weighted by the distance to the line position.
  • FIG. 3 is a flow chart schematically showing the operation of the electronic control unit 10 in the runway recognition apparatus 2 according to the first embodiment of the present invention.
  • the operation shown in FIGS. 3 and 4 is only one specific example. As described above, this embodiment can adopt various operations and various calculation methods, and can realize operations modified from the specific examples shown in FIGS. 3 and 4.
  • the image input reception unit 10-1 of the electronic control device 10 acquires an image to be recognized from the image output device 20 (step S100).
  • the feature extraction unit 10-2 performs feature extraction (image creation) by applying a filter process that outputs a reaction value according to the probability of the presence of a lane mark at each position of the acquired image. (Step S200).
  • the time-series cumulative voting unit 10-3 extracts feature points from the feature extraction image, and calculates a voting value from each feature point to a voting feature image. Then, the time-series cumulative voting unit 10-3 further votes the voting feature image stored in the voting feature image storage unit 10-4 to the voting feature image on which the voting value from the weighted past cycle is accumulated.
  • a time-series cumulative voting feature image is generated by adding and voting values (step S300).
  • raceway boundary determination unit 10-5 determines the presence / absence and the position of the raceway boundary line based on the vote value in the time-series cumulative voting feature image (step S400).
  • FIG. 4 is a flow chart schematically showing the operation of a specific example of time-series cumulative voting calculation (step S300 in FIG. 3) among the operations of the electronic control unit 10 in the runway recognition apparatus according to Embodiment 1 of the present invention. .
  • step S300 in the time-series cumulative voting calculation (step S300 in FIG. 3), first, the cumulative voting generated by the time-series cumulative voting unit 10-3 at the previous time (referred to as t-1)
  • t-1 the cumulative voting generated by the time-series cumulative voting unit 10-3 at the previous time
  • the feature image is read out from the feature image storage unit 10-4 (step S301).
  • the time-series cumulative voting unit 10-3 weights all the values on the voting feature image with a forgetting factor ( ⁇ , 0 ⁇ ⁇ ⁇ 1) (step S302).
  • the time-series cumulative voting unit 10-3 calculates a vote value for the parameter space ( ⁇ , ⁇ ) for each feature point extracted at the current time (t) (step S303).
  • time-series cumulative voting unit 10-3 adds and votes the calculated voting value at time (t) on the read voting characteristic image (step S304).
  • the time-series cumulative voting unit 10-3 stores the cumulative voting feature image at the generated time (t) in the feature image storage unit 10-4 (step S305).
  • time-series cumulative voting calculation (step S300 in FIG. 3) is realized.
  • FIGS. 8 to 12 schematically show examples of the results obtained in the operation according to the first embodiment described above.
  • the lane mark is a scaly lane mark.
  • FIG. 8 is a view schematically showing, as an example of an input image, an image acquired by an imaging device mounted such that a road surface on which a saddle-shaped lane mark is installed faces the front of the vehicle.
  • FIG. 8 shows an input image in which a saddle-shaped lane mark 300 is provided on the road surface 200.
  • FIG. 9 is a view schematically showing a feature image generated from the input image of FIG. 8 by the feature extraction unit 10-2 and feature points output on the feature image.
  • FIG. 10 is a view schematically showing a voting feature image generated by voting the feature points in FIG.
  • FIG. 11 shows a cumulative voting feature image generated by chronologically accumulating voting feature images as shown in FIG. 10 generated at each time in the time series cumulative voting unit 10-3, and a peak of an output. Is a view schematically showing a point indicating.
  • FIG. 12 is a view schematically showing the track boundary position extracted from the peak value of the output in the cumulative voting feature image as shown in FIG. 11 in correspondence with the input image in the track boundary determination unit 10-5.
  • the electronic control unit of the track recognition unit is only the electronic control unit for the wedge-shaped lane mark Or may be configured in combination with a general linear lane mark electronic control unit.
  • a general linear lane mark electronic control device for example, the one described in Patent Document 1 can be used. Also, since such a general linear lane mark electronic control device is a technology understood by those skilled in the art, the detailed description will be omitted herein.
  • one on the left and right of the lane is a wedge-shaped lane mark, and the other is a linear lane.
  • the mark may be set.
  • the lane mark types on the left and right of the vehicle may change due to the lane change.
  • one road may switch from the linear lane mark to the wedge-shaped lane mark, and one region where a car is running
  • linear lane marks may be used on roads, and in some other areas, recognition lanes shown below may be used selectively depending on the area.
  • the wedge-shaped lane mark recognition unit 30-6 and the linear lane mark recognition unit 30-7 are combined with the image input reception unit 30-1 and the runway boundary determination unit 30-. It is conceivable to realize as an electronic control unit 30 having between 5 and 5.
  • the image input accepting unit 30-1 has the same function as the image input accepting unit 10-1 in FIG.
  • the travel path boundary determination unit 30-5 has the same function as the travel path boundary determination unit 10-5 in FIG.
  • the runway boundary determination unit 30-5 detects the runway boundary determination unit 30-5 of the first embodiment with respect to both the output of the wedge-shaped lane mark recognition unit 30-6 and the linear lane mark recognition unit 30-7. Similar to the above, candidates for track boundary positions are extracted. Then, the runway boundary determination unit 30-5 does not distinguish between the runway boundary position candidates from the outputs of both the wedge-shaped lane mark recognition unit 30-6 and the linear lane mark recognition unit 30-7.
  • the same judgment as that of the track boundary determination unit 30-5 according to the first embodiment may be performed, or the evaluation value may be weighted so as to preferentially select a candidate for the track boundary position by one of the outputs. Good.
  • the scaly lane mark recognition unit 30-6 includes a scaly lane mark feature extraction unit 30-61, a time-series cumulative voting unit 30-62, and a voting feature image storage unit 30-63.
  • the wedge-shaped lane mark feature extraction unit 30-61 has the same function as the feature extraction unit 10-2 in FIG. Further, the time-series cumulative voting unit 30-62 has the same function as the time-series cumulative voting unit 10-3 in FIG. Furthermore, the voting feature image storage unit 30-63 has the same function as the voting feature image storage unit 10-4 in FIG.
  • the linear lane mark recognition unit 30-7 has a linear lane mark feature extraction unit 30-71, a time-series cumulative voting unit 30-72, and a voting feature image storage unit 30-73.
  • the linear lane mark recognition unit 30-7 replaces only the feature extraction function of the wedge-shaped lane mark recognition unit 30-6 with the linear lane mark feature extraction unit 30-71 that extracts the features of the linear lane mark.
  • gradient feature filters such as Prewitt and Sobel can be used as feature extraction filters of the linear lane mark feature extraction unit 30-71.
  • time-series cumulative voting unit 30-72 has the same function as the time-series cumulative voting unit 10-3 in FIG.
  • the voting feature image storage unit 30-73 has the same function as the voting feature image storage unit 10-4 in FIG.
  • the voting feature image storage unit 30-63 and the voting feature image storage unit 30-73 are separately illustrated, but it is also possible to realize these two by one storage device. It is possible.
  • the second embodiment makes it possible to determine the travel path boundary including the characteristics of the linear lane mark.
  • Embodiment 3 which is an embodiment of the present invention will be described in detail.
  • the third embodiment is a configuration (FIG. 16) obtained by adding a track boundary position storage unit 10-7 to the configuration of the first embodiment (FIG. 2).
  • the difference in configuration between the third embodiment and the first embodiment is the presence or absence of the track boundary position storage unit 10-7 and the function of the time-series cumulative voting unit 10-3 as a time-series cumulative voting unit 10-6. It is a point that Therefore, the devices and functions other than the time-series cumulative voting unit 10-6 and the track boundary position storage unit 10-7 will be described with the same reference numerals. That is, the image output apparatus 20, the image input reception unit 10-1, the feature extraction unit 10-2, the voting feature image storage unit 10-4, and the runway boundary determination unit 10-5 in FIG. , Has the same function as each function.
  • the track boundary position storage unit 10-7 added in the third embodiment stores the track boundary position detected in each frame in a predetermined time series section, and the information is stored in the time series cumulative voting section 10-6. provide.
  • the time-series cumulative voting unit 10-6 in the third embodiment determines the relative track boundary position with respect to the vehicle based on the time-series change of the past track boundary position stored in the track boundary position storage unit 10-7. Then, the transition of "the lateral position" is appropriately estimated. Then, the time-series cumulative voting unit 10-6 in the third embodiment performs lateral position correction (hereinafter referred to as “lateral position correction” as appropriate) based on the estimated amount of transition on the cumulative voting feature image of the previous time. Then, as in the first embodiment and the second embodiment, a cumulative voting feature image is generated by additionally voting the current time voting value.
  • the third embodiment is capable of highly accurate runway boundary position even when the relative lateral movement speed of the runway boundary position with respect to the vehicle (hereinafter appropriately referred to as "lateral speed”) can not be ignored. Can be detected.
  • time-series cumulative voting unit 10-6 in the third embodiment will be shown as (third embodiment: example 1) and (third embodiment: example 2) below.
  • the lateral velocity is estimated from the time-series change in the past track boundary position stored in the track boundary position storage unit 10-7.
  • a method of estimating the lateral velocity it is possible to use, for example, a method of approximating the amount of change by linearly interpolating the relative travel path boundary position (lateral position) relative to the vehicle in a predetermined section in the past.
  • the lateral position deviation between the time series when accumulating the voting feature image is corrected.
  • the lateral velocity estimated value (VL) the difference between the acquisition time (t-1) of the past voting feature image used to generate the cumulative voting feature image and the current time (t) ((t)-(t) -1)), using the pixel corresponding to-(VL) x ((t)-(t-1)) as the origin of the lateral position coordinates of the past cumulative voting feature image (s (t-1))
  • FIG. 17 is a conceptual diagram schematically showing one implementation example of this lateral position correction.
  • each pixel value of the past accumulated voting feature image (s (t-1)) may be actually moved on the memory space, or for referring to the memory area of each pixel. It may be realized by changing a pointer variable.
  • the lateral position correction is performed only on the cumulative voting feature image (s (t-1)) generated at the previous time, corresponding to the specific example of the first embodiment (the first embodiment: the second embodiment).
  • the same processing is performed, and votes obtained at each time of a predetermined section ((t ⁇ T) to (t ⁇ 1)) in the past
  • FIG. 18 is a conceptual diagram schematically showing one implementation example of the lateral position correction corresponding to this (Embodiment 1: Example 1).
  • the lateral velocity estimation error is calculated by multiplying the lateral coordinate direction around the moved lateral coordinates by a distribution function that models the uncertainty of the lateral velocity estimated value. It can be absorbed.
  • the distribution function it is possible to use, for example, a Gaussian distribution or trapezoid distribution whose dispersion is determined by a change in lateral velocity (hereinafter, appropriately referred to as “lateral acceleration”) calculated from past lateral positions.
  • weighting with the same forgetting factor as in the first embodiment and the second embodiment may be included in the coefficient of the distribution function to perform weighted distribution processing with the distribution function of the estimation error.
  • a cumulative voting feature image at the current time (t) is generated by additionally voting the vote value at the current time.
  • the lateral position can be shifted from the past track boundary position stored in the track boundary position storage unit 10-7 and the time-series change in the past track boundary position. Calculate the range.
  • the amount of transition that may occur from the lateral position of the previous time to the current time may be set as the transitionable range.
  • a range having a certain probability As a possible transition range.
  • one of the ranges is selected on the assumption that it is a correct value, and the origin of the lateral position coordinates of the past cumulative voting feature image (s (t-1)) is moved, and then the current time
  • the lateral position correction is performed only on the cumulative voting feature image (s (t-1)) generated at the previous time, corresponding to the specific example of the first embodiment (the first embodiment: the second embodiment).
  • the same processing is described, corresponding to the specific example of the first embodiment (the first embodiment: the first example), the same process is performed for each of the predetermined time intervals ((t ⁇ T) to (t ⁇ 1)) in the past. It can also be realized by performing lateral position correction individually on the acquired vote characteristic images (f (t-1), f (t-2),..., F (t-T)).
  • an evaluation value (value (Si)) indicating whether the expected condition is satisfied is calculated and stored for the generated cumulative voting feature image.
  • the maximum value of the vote values in each of the generated cumulative voting feature images may be used as the evaluation value.
  • a smaller evaluation value may be given as the average value of the peak dispersion of local maximum values exceeding a certain threshold is smaller.
  • a lane boundary position is detected using (Embodiment 3: Example 2) in a certain predetermined time section, and lateral velocity
  • the time series information of the lane boundary position may be used as an initial value (Embodiment 3: Example 1).
  • Example 3 As an example of the operation corresponding to Example 1,
  • the previous time (t-1 and t-1) is calculated.
  • Time series cumulative voting unit 10-6 reads out from the feature image storage unit 10-4 (step S311).
  • the time-series cumulative voting unit 10-6 calculates a lateral speed estimated value at the current time (step S312).
  • the time-series cumulative voting unit 10-6 corrects the lateral position coordinates of the cumulative voting feature image at the previous time based on the lateral velocity estimated value (step S313).
  • the time-series cumulative voting unit 10-6 performs weighted dispersion processing of the cumulative voting feature image at the previous time in the lateral position coordinate direction (step S314).
  • the time-series cumulative voting unit 10-6 calculates a vote value for the parameter space for each feature point extracted at the current time (t) (step S315).
  • time-series cumulative voting section 10-6 adds and votes the calculated voting value at time (t) onto the corrected and weighted distributed voting characteristic image (step S316).
  • the time-series cumulative voting unit 10-6 stores the cumulative voting feature image at the generated time (t) in the feature image storage unit 10-4 (step S317).
  • time-series cumulative voting calculation (step S300 in FIG. 3) is realized.
  • time-series cumulative voting unit 10-6 reads the cumulative voting feature image generated in (1) from the feature image storage unit 10-4 (step S321).
  • the time-series cumulative voting unit 10-6 determines the lateral position at the current time (t) from the previous time (t-1). A transitionable range is calculated (step S322).
  • the time-series cumulative voting unit 10-6 selects one lateral position shift amount from the lateral position shiftable range, and corrects the lateral position coordinates based on this (step S323).
  • the time-series cumulative voting unit 10-6 calculates a vote value for the parameter space for each feature point extracted at the current time (t) (step S324).
  • the time-series cumulative voting unit 10-6 calculates an evaluation value of the generated accumulated feature image (step S325).
  • the time-series cumulative voting unit 10-6 checks whether the generation of the cumulative feature image and the calculation of the evaluation value have been performed in all the transitionable ranges (step S326).
  • step S327 when the generation of the accumulated feature image and the calculation of the evaluation value are performed in all the transitionable ranges (Yes in step S326), the process proceeds to the next step, step S327.
  • step S326 if it has not been performed in all the transitionable ranges (Yes in step S326), the operations in steps S324 to S326 are repeated (S326).
  • the time-series cumulative voting unit 10-6 selects and stores a cumulative voting feature image with the largest evaluation value (S327).
  • time-series cumulative voting calculation (step S300 in FIG. 3) is realized.
  • the effect to be obtained is that the estimated position of the discretely placed lane mark is extracted as a feature point from the time-series input image, and a straight line (or curve) drawn by this feature point in time series is extracted By doing this, it is possible to extract a runway boundary even from a lane mark image that can not be distinguished from noise only from an image at a certain time.
  • the voting feature image is a space configured by the parameters of an approximate straight line (or approximate curve) passing through the feature points, this domain of region sets in advance a range that can be taken as a relative position between the runway boundary and the vehicle. Thus, it is possible to compress the amount of information to be smaller than that of the input image (or the characteristic image).
  • the embodiment of the present invention it is possible to constitute so as to obtain an effect by storing only the cumulative voting feature image (or an array of voting feature points) generated at the immediately preceding time. Therefore, the size of data to be stored can be greatly reduced as compared with the case of storing the input image (or the characteristic image) at each time on the time series interval.
  • features detected like a scaly lane mark are temporally and spatially discrete. Even if the relative lateral velocity between the vehicle and the lane boundary position can not be ignored, the lane boundary position can be detected with high accuracy.
  • the track recognition apparatus and the track recognition method according to the embodiment of the present invention are realized by hardware.
  • the present invention can be realized by executing a program on a computer. That is, the present invention also relates to a computer, a program, and a computer readable recording medium in which the program is recorded. It can also be realized by reading and executing a program for functioning a computer as its track recognition device or track recognition method from a computer readable recording medium.
  • the electronic control unit 10 is realized by hardware in the embodiment described above. However, when the present invention is executed by a computer using a program, the computer responds to the image information from the image output device 20 based on the predetermined program and the information stored in the database. It is possible to perform information processing to recognize the runway in In addition, a "runway" shall refer to a lane mark thru
  • FIG. 21 is a diagram showing a configuration in which the functions of the electronic control unit are executed by a computer.
  • a computer 100 functioning as an electronic control unit includes a central processing unit 11, a first storage unit 12, a second storage unit 13, and an interface 14.
  • the central processing unit 11 is described as "CPU 11" in the drawing.
  • the first storage device 12 is described as “Mem12”.
  • the second storage device 13 is described as "DB 13".
  • the interface 14 is described as "I / F 14".
  • FIG. 1 illustrates the first storage device 12 and the second storage device 13 divided into two for convenience, they may be realized as one storage device.
  • the interface 14 is a device that mediates the exchange of information between the central processing unit 11 and the image output device 20.
  • the first storage device 12 is a device for storing temporary data, and is electrically connected to the central processing unit 11.
  • the second storage device 13 mainly stores a database, and is electrically connected to the central processing unit 11. Although the first storage device 12 and the second storage device 13 are built in the computer 100 in FIG. 21, they may be implemented as external storage devices.
  • the central processing unit 11 is a device that performs information processing, and is electrically connected to the interface 14, the first storage device 12, and the second storage device 13.
  • the central processing unit 11 executes a program to store information stored in the first storage unit 12 and the second storage unit 13 based on image information input from the image output unit 20 through the interface 14.
  • the computer 100 can realize various functions as shown in FIG. 2 by executing the software program in the central processing unit 11.
  • a feature extraction unit that extracts a candidate position of a lane mark from the received input image;
  • a cumulative voting unit that generates a cumulative voting feature image by voting the parameter value of the approximate curve or approximate line cumulatively by adding weights according to the elapsed time to the vote values for the extracted candidate positions;
  • a track boundary determination unit that determines the track boundary position by extracting a track boundary position candidate based on the generated cumulative voting feature image;
  • a track recognition apparatus comprising:
  • the cumulative voting unit The candidate extracted at the current time with respect to a vote characteristic image in which weighting is performed using a coefficient of 0 or more and 1 or less meaning an forgetting effect due to the passage of time on all values on the accumulated voting feature image generated at the previous time
  • a track recognition apparatus characterized in that the cumulative voting feature image at the current time is generated by adding the voting by position.
  • the feature extraction unit includes a first feature extraction unit for extracting the candidate position of the scaly lane mark from the received input image;
  • the cumulative voting unit includes a first cumulative voting unit that generates the cumulative voting feature image for the scaly lane mark for the candidate position of the scaly lane mark extracted,
  • the raceway boundary determination unit is configured to determine the raceway boundary position by extracting the raceway boundary position candidate based on a cumulative voting feature image of the boat-like lane mark. apparatus.
  • the feature extraction unit includes a second feature extraction unit that extracts the candidate position of a linear lane mark from the received input image;
  • the cumulative voting unit includes a second cumulative voting unit that generates the cumulative voting feature image for the linear lane mark for the extracted candidate position of the linear lane mark,
  • the runway boundary determination unit performs the runway boundary position determination by extracting the runway boundary position candidate based on the cumulative voting feature image of the linear lane mark. apparatus.
  • the cumulative voting unit Lateral velocity of the current time is estimated based on information about time-series changes in the track boundary position detected in the past, and a voting feature image of a predetermined past interval or a cumulative voting feature image of the previous time of the current time By correcting the deviation with respect to the lateral position of the current time based on the estimated lateral velocity estimated value for any of the voting characteristic images, and accumulating the voting characteristic value of the current time in the corrected voting characteristic image And a track recognition device for generating a cumulative voting feature image of the current time.
  • a track recognition apparatus comprising: generating a cumulative voting feature image of a current time, and selecting a cumulative voting feature image of the most appropriate current time from the generated cumulative voting feature images.
  • the track recognition device includes an image output device that captures an image and outputs the captured image.
  • a vehicle wherein the input image received by the feature extraction unit is the image output by the image output device.
  • a track recognition method comprising: determining a track boundary position by extracting a track boundary position candidate based on the accumulated voting feature image generated.
  • a runway recognition method comprising: generating an image; and sorting out a cumulative voting feature image of the most appropriate current time from the generated cumulative voting feature images.
  • a feature extraction function of extracting a lane mark candidate position from the received input image With respect to the candidate position extracted by the feature extraction function, the voting value is weighted according to the elapsed time, and a cumulative voting feature image is generated by voting in the parameter space of the approximate curve or approximate line cumulatively.
  • a track boundary determination function that determines the track boundary position by extracting a track boundary position candidate based on the generated cumulative voting feature image;
  • a track recognition program characterized by causing a computer to be realized.
  • the cumulative voting function is The candidate extracted at the current time with respect to a vote characteristic image in which weighting is performed using a coefficient of 0 or more and 1 or less meaning an forgetting effect due to the passage of time on all values on the accumulated voting feature image generated at the previous time
  • a runway recognition program characterized by generating the cumulative voting feature image at the current time by adding the voting by position.
  • the feature extraction function includes a first feature extraction function of extracting the candidate position of the scaly lane mark from the received input image;
  • the cumulative voting function includes a first cumulative voting function that generates the cumulative voting feature image for the squad lane mark for the extracted candidate positions of the squad lane mark,
  • the runway boundary determination function is characterized in that the runway boundary position determination is performed by extracting the runway boundary position candidate based on the cumulative voting feature image for the boat-like lane mark. program.
  • the feature extraction function includes a second feature extraction function of extracting the candidate position of a linear lane mark from the received input image
  • the cumulative voting function includes a second cumulative voting function that generates the cumulative voting feature image for the linear lane mark for the candidate position of the linear lane mark extracted
  • the track boundary determination function is characterized by performing determination of the track boundary position by extracting the candidate of the track boundary position based on the cumulative voting feature image for the linear lane mark. program.
  • the cumulative voting function is Lateral velocity of the current time is estimated based on information about time-series changes in the track boundary position detected in the past, and a voting feature image of a predetermined past interval or a cumulative voting feature image of the previous time of the current time By correcting the deviation with respect to the lateral position of the current time based on the estimated lateral velocity estimated value for any of the voting characteristic images, and accumulating the voting characteristic value of the current time in the corrected voting characteristic image
  • a runway recognition program characterized by generating a cumulative voting feature image of the current time.
  • the cumulative voting function estimates an area in which lateral positions at the current time can exist based on information on time-series changes in track boundary positions detected in the past, and based on all estimated lateral positions in the section.
  • a track recognition program characterized by generating a cumulative voting feature image of the current time, and selecting a cumulative voting feature image of the most appropriate current time out of the generated cumulative voting feature images.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】鋲状のレーンマークによって表現された走路境界線の認識をノイズに対して高精度かつ、少ない計算量とメモリ消費量で実現する。 【解決手段】走路認識装置が、受け付けた入力画像からレーンマークの候補位置を抽出する。抽出されたレーンマークの候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより時系列累積投票特徴画像を生成する。生成した時系列累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、走路境界線位置の判定を行う。走路認識装置は、画像を撮像し、当該撮像した画像を出力する画像出力装置を備えていてもよい。

Description

走路認識装置、車両、走路認識方法及び走路認識プログラム
　本発明は道路面に設置された鋲状レーンマークで表された走路境界の認識に関する。
　車両に搭載された視覚センサ情報によって、道路面上に設けられた車線境界を示すレーンマークを認識し、自車と走路の相対的位置関係を認識する走路認識装置が知られている。
　ここで、車線境界を示すレーンマークの一つとしては、路面上に白や黄等の色でペイントされた、連続線や破線などの「線状レーンマーク」がある。
　加えて、線状レーンマーク以外に走路境界に沿って反射素子等を埋設した「鋲状（型）レーンマーク」がある。鋲状レーンマークは、点列状レーンマーク、キャッツアイ、ボッツドッツ、ｒｏａｄ　ｓｔｕｄ等と呼称される。ボッツドッツ（Bott’ dot(s)又はBott dot(s）ともいう）は、特に北米カリフォルニア州において用いられている鋲状レーンマークの一種である。なお、本明細書及び本発明において「鋲状レーンマーク」との文言はこれら例示したものを含む総称であって、「鋲状」とは、具体的な形状等を限定するものではない。
　このようなレーンマークの認識装置として、特に線状レーンマークを対象とした走路認識装置の一例が特許文献１に記載されている。
　特許文献１に記載の走路認識装置は、画像入力装置と、エッジ強調装置と、直線抽出処理装置と、白線決定処理装置と、白線出力装置とから構成されている。そして、かかる走路認識装置は、撮像手段により得られた走行路面の画像中で、明度変化の大きい画素の特徴点を選択し、Ｈｏｕｇｈ変換によって近似直線を抽出し、この直線を白線のエッジと判定する。また、直線近傍の最後の画素を始点として、車両から遠方の画像方向へ画素を探索し、白線エッジと判定するように動作する。
　一方、鋲状レーンマークは線状レーンマークに比較し取得できるエッジ特徴数が極端に少ない。そのため、上記のような手法では上手く認識することができない。よって、画像中の鋲状レーンマークに類似した特徴にのみ値を返すようなフィルタを用いて鋲状レーンマークの推定位置を検出し、その推定位置情報に基づいて走路境界線を認識する手法が一般的である。
　例えば特許文献２に記載の技術では、特徴抽出フィルタとして、予め取得した鋲状レーンマークの画像をテンプレートにする。そして、同様の特徴を持つ領域を車両に搭載されたカメラ画像より抽出するテンプレートマッチング手法を用いる。更に、特許文献２に記載の技術では、候補領域の少なさを補うため、第１の画像と、第１の画像よりレーンマークの設置間隔の１／２走行した第２の画像とを合成した画像を用いて鋲状レーンマークを検出する手法を提案している。
　他方、特許文献３では、時系列の特徴画像を合成した平滑画像を作成し、鋲状レーンマーク画像が合成画像上で線状となるようにした上で、線状レーンマークと同様にエッジ勾配等を用いて特徴を検出し、特徴座標にＨｏｕｇｈ変換を用いて直線を検出することで車線位置を認識させる手法を提案している。
特開平７－３０２３４６号公報 特開２００６－３０９４９９号公報 特開２００６－２６０３５８号公報
　上述のように、特許文献１に記載の走路認識装置では鋲状レーンマークを上手く認識することができない。
　また、特許文献２に記載の技術のようなテンプレート画像とのマッチングによって、鋲状レーンマークを検出する方法は、ノイズや実物の汚れ、形状の些細な変化によって、検出性能を大きく低下させる問題がある。更に、鋲状レーンマークにはいくつかの種類があるため、それらの全てに対応するテンプレート画像を用意する必要がある。そのため、計算量が増大し、メモリの消費量も多くなる。特に、正方形断面の鋲状レーンマークの場合、設置位置とカメラとの位置関係により、見かけの形状は変化するため、テンプレート画像とのマッチングによって、鋲状レーンマークを検出する方法は現実的には困難である。
また、解像度をぼかした共通のテンプレート画像を用いれば、些細な変化を吸収することが可能となるが、鋲状レーンマークでない領域もノイズとして検出してしまう。このような場合にノイズと鋲状レーンマークを識別する方法について、特許文献２では一切開示されていない。また、特許文献２では検出可能性を高めるために、鋲状レーンマークの設置間隔の定数分の一進行方向にずらした時系列画像を合成し、１枚の合成画像とした上で上記の方法で鋲状レーンマークを検出することを提案している。しかし、ノイズと鋲状レーンマークを識別する方法について、開示されていないため、上記の問題は解決されない。
　特許文献３に記載されているような技術では、多くの過去の時系列入力画像（または特徴画像）を保存し、合成する必要があり、多くの計算量とメモリ量が必要とされる。また、合成画像上で鋲状レーンマークを線状にするためには、合成に用いる画像フレーム間で画像の変化量が小さくなくてはならない。この点、車両の移動速度が大きくなると、１フレーム間の画像の変化量を小さく保つためには、より高フレームレイトのカメラが必要となる。そのため、車両が高速移動する際には、合成画像上の鋲状レーンマークが疎となり、上手く線状に合成できない可能性がある。
　また、車両の進行方向が走路と平行でない場合には、合成画像上で横方向に鋲状レーンマーク画像がバラつき、やはりうまく線状に合成できない可能性がある。
　そこで、本発明典型的（exemplary）な目的は、鋲状のレーンマークによって表現された走路境界線の認識をノイズに対して高精度かつ、少ない計算量とメモリ消費量で実現することが可能な走路認識装置、走路認識方法、走路認識プログラムを提供することにある。
　本発明の典型的（exemplary）な第１の観点によれば、受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出部と、抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票部と、生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定部と、を備えることを特徴とする走路認識装置が提供される。
　本発明の典型的（exemplary）な第２の観点によれば、上記走路認識装置を有し、該走路認識装置は、画像を撮像し、当該撮像した画像を出力する画像出力装置を備え、前記特徴抽出部が受け付ける前記入力画像は前記画像出力装置により前記出力された画像であることを特徴とする車両が提供される。
　本発明の典型的（exemplary）な第３の観点によれば、受け付けた入力画像からレーンマークの候補位置を抽出し、抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成し、生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識方法が提供される。
　本発明の典型的（exemplary）な第４の観点によれば、受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出機能と、抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票機能と、生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定機能と、をコンピュータに実現させることを特徴とする走路認識プログラムが提供される。
　本発明によれば、時系列の入力画像から、離散的に設置されたレーンマークの推定位置を特徴画像により特徴点として抽出し、この特徴点が時系列的に描く直線（乃至曲線）を抽出することから走路境界線の認識をノイズに対して高精度に行うことが可能となる。
　更に、本発明によれば計算に用いる情報量が少なくなることから少ない計算量とメモリ消費量で走路境界線の認識を行うことが可能となる。
本発明の実施形態１に係る走路認識装置を含む車両の構成を模式的に示したブロック図である。 本発明の実施形態１に係る走路認識装置の構成を模式的に示したブロック図である。 本発明の実施形態１に係る走路認識装置における電子制御装置の動作を模式的に示したフローチャートである。 本発明の実施形態１に係る走路認識装置における電子制御装置の動作のうち、時系列累積投票計算のステップの動作の具体例を模式的に示したフローチャートである。 本発明の実施形態１に係る走路認識装置に必須の構成を模式的に示したブロック図である。 鋲状レーンマークを認識対象とするときの、本発明の実施形態１に係る走路認識装置に必須の構成を模式的に示したブロック図である。 線状レーンマークを認識対象とするときの、本発明の実施形態１に係る走路認識装置に必須の構成を模式的に示したブロック図である。 本発明の実施形態１に係る走路認識装置において、入力される入力画像の例を模式的に示した図である。 本発明の実施形態１に係る走路認識装置における特徴抽出機能において，生成される特徴画像の例を模式的に示した図である。 本発明の実施形態１に係る走路認識装置における時系列累積投票機能において，生成される投票特徴画像の例を模式的に示した図である。 本発明の実施形態１に係る走路認識装置における時系列累積投票機能において，生成される時系列累積投票特徴画像の例を模式的に示した図である。 本発明の実施形態１に係る走路認識装置における走路境界判別機能において，抽出される走路境界線位置の例を模式的に示した図である。 本発明の実施形態２に係る走路認識装置の構成を模式的に示したブロック図である。 本発明の実施形態２に係る走路認識装置の構成のうち、鋲状レーンマーク認識機能の構成を模式的に示したブロック図である。 本発明の実施形態２に係る走路認識装置の構成のうち、線状レーンマーク認識機能の構成を模式的に示したブロック図である。 本発明の実施形態３に係る走路認識装置の構成を模式的に示したブロック図である。 本発明の実施形態３に係る走路認識装置における電子制御装置の動作のうち、時系列累積投票計算の際の動作の一つであるラテラル位置補正の実現例の一つを模式的に示した概念図である。 本発明の実施形態３に係る走路認識装置における電子制御装置の動作のうち、時系列累積投票計算の際の動作の一つであるラテラル位置補正の実現例の一つを模式的に示した概念図である。 本発明の実施形態３に係る走路認識装置における電子制御装置の動作のうち、時系列累積投票計算の際の具体例（実施形態３：例１）を模式的に示したフローチャートである。 本発明の実施形態３に係る走路認識装置における電子制御装置の動作のうち、時系列累積投票計算のステップの動作の具体例（実施形態３：例２）を模式的に示したフローチャートである。 電子制御装置の機能をコンピュータで実行する構成を示す図である。
　次に、本発明の典型的（exemplary）な実施形態について図面を用いて詳細に説明する。
　［実施形態１］
　図１は、本発明の実施形態１である走路認識装置２を含む車両の構成を模式的に示したブロック図である。
　なお、図１では走路認識装置２が搭載される対象として自動車を模しているが、これはあくまで一例である。その他、例えば、工場内を走行する搬送車や移動ロボット等や自動二輪車等が走路認識装置２を搭載される対象であってもよい。本明細書及び本発明における「車両」とは、これらの対象を含む。
　図１を参照すると、走路認識装置２は車両１に搭載されている。走路認識装置２は、電子制御装置１０と、画像出力装置２０と、有している。
　また、図１では図示を省略しているがレーンマークが本実施形態の認識対象である。レーンマークは、道路面上に設けられた車線境界を示すマークである。レーンマークには、路面上に白や黄等の色でペイントされた、連続線や破線などの「線状レーンマーク」と、路面上に設置された、立体の構造物であり、走路境界に沿って離散的なパターンに従って設置される「鋲状レーンマーク」とが含まれる。鋲状レーンマークの立体の構造物の断面の例は、楕円形、正方形、長方形、台形等である。
　鋲状レーンマークの具体例としては、北米カリフォルニアで使用されているレーンマークの定義をした文献（John Gizinos, Santo Wong編，“ STANDARD PLANS” State of California, Business, Transportation and Housing Agency, Department of Transportation, 2006, p.5(A20A)）がある。
　鋲状（型）レーンマークは、点列状レーンマーク（road stud、raised pavement marker）、ボッツドッツ（Bott’s dot(s)、Bott’ dot(s)、Bott dot(s)、Botts dot(s)、Botts’ dot(s)）、キャッツアイ等と呼ばれる。なお、背景技術の欄においても述べたように本明細書及び本発明において「鋲状レーンマーク」との文言はこれら例示したものを含む総称であって、「鋲状」とは、具体的な形状等を限定するものではない。以下の説明では、単にレーンマークとして説明する。単に、レーンマークと呼ぶときは、線状レーンマーク、鋲状レーンマークのいずれか、またはその他のレーンマークをいうものとする。
　画像出力装置２０は、少なくとも画像情報を電子制御装置１０に向けて出力する装置である。図１では画像出力装置２０は、撮像装置を模している。
　撮像装置は、リアルタイムで画像を撮像する装置であり、車両が走行する走路を撮像できるように車両１に搭載される。撮像装置には、例えば、ＮＴＳＣ（National Television Standards Committee）形式を出力するビデオカメラ等を用いることができる。ＮＴＳＣ形式以外の任意の画像形式を用いることも可能である。
　画像出力装置２０は撮像装置の他にも、例えば、記憶媒体に保存された画像情報を読み出してＮＴＳＣ出力等に変換する画像キャプチャ装置を用いることができる。
　電子制御装置１０は、走路を認識するための情報処理を行う情報処理装置である。
　図２は、本発明の実施形態１に係る走路認識装置の構成を模式的に示したブロック図である。
　電子制御装置１０において実現される各部は、個々の装置又は装置の一部分若しくは電子回路としてハードウェアで実現する。
　図２を参照すると、本発明の実施形態１に係る電子制御装置１０は、画像入力受付部１０－１と、特徴抽出部１０－２と、時系列累積投票部１０－３と、投票特徴画像記憶部１０－４と、走路境界判別部１０－５と、を有する。
　これらの各部はそれぞれ概略つぎのように動作する。
　画像入力受付部１０－１は、画像出力装置２０より画像を取得する。この画像取得の際に、画像入力受付部１０－１が、必要な画像領域の切り出し、解像度やサイズの調整、ＮＴＳＣ形式画像からの奇数（あるいは偶数）フィールドの抽出等、取得画像形式の調整を行ってもよい。
　特徴抽出部１０－２は、画像入力受付部１０－１が取得した画像の各位置で、周辺の画素を入力として、レーンマークが存在する確率に応じて、各座標毎に整数値や実数値を出力するようなフィルタ処理を適用する。ここで用いるフィルタには、予め取得したテンプレート画像によるパターン相関フィルタ、中央領域と周辺領域の輝度の統計値の差や比を算出する円環フィルタ等の任意のフィルタを用いることができる。
　時系列累積投票部１０－３は、特徴抽出部１０－２によって生成された特徴画像より、レーンマーク位置の候補である特徴点を抽出し、経過時間毎に重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行う。このような経過時間毎に重みをつけた累積的な投票を行うことにより過去の複数時刻の投票値を含む累積投票特徴画像を生成する。
　特徴点の抽出は、適当に閾値処理した特徴画像上の各画素を選択してもよいし、閾値以上の値を持つ隣接した画素の集まりである小領域から極大値をとる画素を選択してもよいし、小領域の重心を選択してもよい。投票値の計算には、例えばＨｏｕｇｈ変換（P.V.C.Hough, "Method and Means for Recognising Complex Patterns," U.S. Patent No.3069654,1962）やこれを拡張した一般化Hough変換等の手法を用いることができる。
　もしもＨｏｕｇｈ変換を用いるのであれば、特徴点の画像座標（ｘ，ｙ）から、（例えば、ρ＝　ｘ　ｃｏｓθ＋　ｙ　ｓｉｎθ　のように定義される）近似直線のパラメータ空間（ρ，θ）への投票値が計算され、抽出された全ての特徴点の投票値が加算されたパラメータ空間（ρ，θ）が投票特徴画像を構成する。計算される投票値には、各特徴点がもつ特徴抽出における出力の大きさに応じて、重み付けを行ってもよい。
　時系列累積投票部１０－３では、投票特徴画像記憶部１０－４より、過去の時刻に生成された投票特徴画像を読み出し、過去の一定時間分の特徴から生成された投票特徴画像に現時刻（ｔとする）の投票値を加算投票することで、時系列に累積された累積投票特徴画像を生成する。
なお、電子制御装置１０において、画像入力受付部１０－１および投票特徴画像記憶部１０－４はなくともよい。すなわち、認識対象の画像は外部の画像入力受付部から入力してもよい。また、過去の時刻に生成された投票特徴画像を外部の投票特徴画像記憶部に記憶し、その外部の投票特徴画像記憶部から投票特徴画像を読み出してもよい。従って、本実施形態の電子制御装置１０は、図５に示したように、特徴抽出部１０－２、時系列累積投票部１０－３、走路境界判定部１０－５で構成してもよい。
　さらに、上記の説明では、認識対象をレーンマークとして説明したが、認識対象のレーンマークは、鋲状レーンマークであっても、線状レーンマークであってもよい。認識対象のレーンマークを、それぞれ鋲状レーンマーク、線状レーンマークとしたときの電子制御装置のブロック図を図６、図７に示す。図６では、図５の特徴抽出部１０－２を鋲状レーンマークの特徴抽出を行う鋲状レーンマーク特徴抽出部１０－６に置き換えている。図７では、図５の特徴抽出部１０－２を線状レーンマークの特徴抽出を行う線状レーンマーク特徴抽出部１０－７に置き換えている。
　時系列累積投票部１０－３の具体例として、以下に（実施形態１：例１）及び（実施形態１：例２）の２つを示す。
　（実施形態１：例１）
　実施形態１の第１の具体例としては、時刻（ｔ－Ｔ）から時刻（ｔ－１）までの過去の、それぞれの時刻で抽出された特徴点のみから生成された投票特徴画像をすべて保存し、時刻（ｔ）における投票特徴画像と合わせて、時刻（ｔ－Ｔ）～時刻（ｔ）までのＴ時間の時系列投票値から累積投票特徴画像を生成してもよい。このとき、ある時刻（ｔ）において計算された投票値をｆ（ρ，θ，ｔ）とすると、各時刻の投票値に対する重みをαｉ（ｉ＝０，１，…，Ｔ）として生成される、累積投票特徴画像上の出力である累積投票値ｓ（ρ，θ，ｔ）は次式で計算できる。
Figure JPOXMLDOC01-appb-M000001
 　但し、記号「＊」は乗算を意味するものとする。重みαiは各時刻の投票特徴画像の累積投票特徴画像における寄与度を表す係数であり，例えば時刻の経過に従って減少するような忘却係数として，次のように定義することが出来る。
Figure JPOXMLDOC01-appb-M000002
 ただし、kは１.0以上の小数であり，インデックスiが1増大する毎に重みαiはk分の1とされる。また、i=0～Tまでの係数の合計が１になるように正規化されている。
　累積投票特徴画像生成後、時刻（ｔ）の投票特徴画像を投票特徴画像記憶部１０－４で記憶させる。
　時刻（ｔ－Ｔ）以前の投票特徴画像は保持していてもよいし、消去してしまってもよい。
　この場合、過去の投票値を累積させる期間と個々の時刻の投票値に対する重みを制御可能であるが、忘却係数を用いた下記（実施形態１：例２）の方法に比べ、保存すべきデータ量と計算量が多くなるため、メモリと計算時間を消費することになる。ここで保存する累積投票特徴画像は、投票値を計算する前の各時刻における特徴点の配列（ｘ，ｙ，ｚ；ｔ）でもよい（但し、ｘ，ｙ：入力画像における特徴点の座標、ｚ：特徴抽出における出力、ｔ：時刻、であるものとする。）。また、各時刻における特徴点の配列（ｘ，ｙ，ｚ；ｔ）ではなく、投票特徴画像（ρ，θ）上に投票値を配置した累積投票特徴画像でもよいし、投票特徴画像座標と投票値からなる投票特徴点（ρ，θ，ｆ；ｔ）のみの配列情報でもよい。何れにしても、特徴抽出部において抽出された特徴画像そのものを保存するよりも、データサイズを小さくすることができる。
　何故ならば、時系列区間上の各時刻の入力画像（乃至特徴画像）を記憶する場合に比べ、レーンマークの推定位置として出力された特徴点の座標と出力のみを配列として記憶する場合には、それ以外の座標の情報を切り捨てることが可能となり、結果として、記憶する情報量を少なくできるからである。また、投票特徴画像は、特徴点を通る近似直線（または近似曲線）のパラメータで構成される空間であるが、この定義域は予め走路境界線と車両との相対位置としてとり得る範囲を設定することで、入力画像（乃至特徴画像）よりも少ない情報量に圧縮することが可能である。
　また、投票特徴画像よりも投票特徴点（ρ，θ，ｆ；ｔ）のみの配列情報のほうが、上記の理由から保持するデータサイズは小さい。
　（実施形態１：例２）
　実施形態１の第２の具体例として、次のように忘却係数による重み付けを行いながら時系列累積投票特徴画像を生成する方法を用いることもできる。
　前時刻（ｔ－１とする）に生成された累積投票特徴画像を読み出し、この投票特徴画像上の全ての値について忘却係数（α、０≦α≦１）による重み付けを行う。さらに、現時刻（ｔとする）に抽出された各特徴点について、パラメータ空間（ρ，θ）への投票値を計算し、この投票値を読み出した投票特徴画像上に加算投票し、生成された時刻（ｔ）における累積投票特徴画像を保存する。
　このとき、投票特徴画像上のある座標（ρ，θ）に対する、ある時刻（ｔ）において計算された投票値をｆ（ρ，θ，ｔ）とすると、忘却係数α（０≦α≦１）を用いて、生成される累積投票特徴画像上の出力である累積投票値ｓ（ρ，θ，ｔ）は次式で計算できる。
Figure JPOXMLDOC01-appb-M000003
 　上記の数式３は、上述した数式１の各時刻の投票値に対する重みαｉ（ｉ＝０，１，…，Ｔ）を、αｉ＝α＊＊ｉとした場合と同様の効果を得る（但し、記号「＊＊」は累乗を表し、「α＊＊ｉ」は「αのｉ乗」を表すものとする。）。
　この場合、投票特徴画像記憶部１０－４において保存するデータは、毎時刻更新される時系列の投票値が重み付きで累積した１つの累積投票特徴画像のみでよく、これによって、一般的な他の技術（例えば特許文献３に記載の技術）のように、時系列区間上の各時刻の入力画像（乃至特徴画像）を記憶する場合に比べ、記憶するデータのサイズを大幅に減少させることができる。
　また、前記（実施形態１：例１）のような過去一定期間の特徴を保持する方法でも、前述したように時系列区間上の各時刻の入力画像（乃至特徴画像）を記憶する場合に比べて占有するメモリが削減されるが、（実施形態１：例２）の方法によれば、記憶するデータのサイズをさらに減少できる。
　また、前記（実施形態１：例１）のように重み付き和を計算する場合よりも計算量が削減される。
　ここで保存する累積投票特徴画像は、投票特徴画像（ρ，θ）上に投票値を配置した累積投票特徴画像でもよいし、投票特徴画像座標と投票値からなる投票特徴点（ρ，θ，ｆ；ｔ）のみの配列情報でもよい。前者よりも後者のほうが、保持するデータサイズは小さくできる。
　投票特徴画像記憶部１０－４は、前記時系列累積投票部１０－３で生成された、累積投票特徴画像を記憶し、次のサイクルにおいて時系列累積投票部１０－３に提供する。
　走路境界判別部１０－５は、時系列累積投票部１０－３の出力の投票値に基づき、走路境界の有無、および位置を判定する。判定方法は、累積投票特徴画像の出力が閾値以上のものを、走路境界線位置の候補とすることができる。一方、閾値以上の候補がない場合には、走路境界線が判定不可である、という結果を出力することができる。
　また、走路境界線と自車両との相対的な位置として存在可能な範囲を設定し、この範囲内にある走路境界線位置の候補のみを選択して候補を絞り込むことができる。また、各候補に対して走路境界線位置としての確からしさを表す評価値を設定し、累積投票特徴画像の出力の値の高いものほど評価値を高く設定し、この評価値の高い候補を走路境界線位置として判定することができる。
　また、過去の走路境界線位置との位置関係で評価値を変化させることができ、例えば、時間的に近い過去の走路境界線位置により近い候補の評価値を高くするように、過去の走路境界線位置との距離で重み付けした評価値を設定することができる。
　また、評価値の高い左右一つずつの候補の組を左右の走路境界線を示す候補として判定することができる。このとき、左右の走路境界線どうしの距離と、予め設定した走路幅としてとり得る距離の範囲とを比較し、評価値が上位の候補であっても、この範囲に無い左右の走路境界線候補の組は選択しないようにすることができる。
　次に、図３及び図４を参照して本実施形態の動作について説明する。図３は本発明の実施形態１に係る走路認識装置２における電子制御装置１０の動作を模式的に示したフローチャートである。なお図３及び図４で示している動作は一つの具体例に過ぎない。本実施形態は上述したように様々な動作や様々な計算方法を採用し、図３及び図４で示している具体例を変形させた動作を実現することが可能である。
　図３を参照すると、まず、電子制御装置１０の画像入力受付部１０－１は、画像出力装置２０より認識対象となる画像を取得する（ステップＳ１００）。
　次に、特徴抽出部１０－２が、取得した画像の各位置で、レーンマークが存在する確率に応じて反応値を出力するフィルタ処理を適用することで、特徴抽出（画像の作成）を行う（ステップＳ２００）。
　続いて、時系列累積投票部１０－３が、特徴抽出画像より特徴点を抽出し、各特徴点から投票特徴画像への投票値を計算する。そして、更に時系列累積投票部１０－３が、投票特徴画像記憶部１０－４により保存されている、重み付けを施した過去サイクルからの投票値が累積された投票特徴画像へ、現時刻の投票値を加算投票することで、時系列累積投票特徴画像を生成する（ステップＳ３００）。
　更に、走路境界判別部１０－５が、時系列累積投票特徴画像における投票値に基づき、走路境界線の有無、および位置等の判定を行う（ステップＳ４００）。
　次に図４を参照してより詳細に本実施形態の動作について説明する。
　図４は本発明の実施形態１に係る走路認識装置における電子制御装置１０の動作のうち、時系列累積投票計算（図３のステップＳ３００）の具体例の動作を模式的に示したフローチャートである。
　図４を参照すると、一例として、時系列累積投票計算（図３のステップＳ３００）では、まず、時系列累積投票部１０－３が、前時刻（ｔ－１とする）に生成された累積投票特徴画像を特徴画像記憶部１０－４から読み出す（ステップＳ３０１）。
　次に、時系列累積投票部１０－３が、この投票特徴画像上の全ての値について忘却係数（α、０≦α≦１）による重み付けを行う（ステップＳ３０２）。
　続いて、時系列累積投票部１０－３が、現時刻（ｔとする）に抽出された各特徴点について、パラメータ空間（ρ，θ）への投票値を計算する（ステップＳ３０３）。
　更に、時系列累積投票部１０－３が、計算された時刻（ｔ）の投票値を、読み出した投票特徴画像上に加算投票する（ステップＳ３０４）。
　次に、時系列累積投票部１０－３が、生成された時刻（ｔ）における累積投票特徴画像を特徴画像記憶部１０－４に保存する（ステップＳ３０５）。
　以上のように動作することで、時系列累積投票計算（図３のステップＳ３００）が実現される。
以上の実施形態１に係る動作において得られる結果の例を模式的に示した図が図８－図１２である。ここではレーンマークは鋲状レーンマークである。図８は、入力画像の例として、鋲状レーンマークが設置された道路面を車両前方に向けて搭載された撮像装置で取得された画像を模式的に示した図である。図８は道路面２００に鋲状レーンマーク３００が設けられた入力画像を示している。図９は、特徴抽出部１０－２によって図８の入力画像から生成された特徴画像および特徴画像上に出力される特徴点を模式的に示した図である。図１０は、時系列累積投票部１０－３において、図９の特徴点をパラメータ空間（ρ，θ）に投票することによって生成された投票特徴画像を模式的に示した図である。図１１は、時系列累積投票部１０－３において，各時刻毎に生成される図１０のような投票特徴画像を時系列的に累積させることにより生成された累積投票特徴画像と、出力のピークを示す点を模式的に示した図である。図１２は、走路境界判別部１０－５において、図１１のような累積投票特徴画像における出力のピーク値より抽出された走路境界位置を入力画像に対応させて模式的に示した図である。
　［実施形態２］
　上記で、特にレーンマークによって表現された走路境界を認識するための走路認識装置、方法及びプログラムについての説明を行ったが、走路認識装置の電子制御装置は、鋲状レーンマーク用電子制御装置のみから構成されても、また、一般的な線状レーンマーク用電子制御装置と組み合わせて構成されてもよい。なお、一般的な線状レーンマーク用電子制御装置としては、例えば特許文献１に記載のものを用いることができる。そして、このような一般的な線状レーンマーク用電子制御装置は当業者において理解されている技術であるため本明細書では詳細な説明は省略する。
鋲状レーンマーク用電子制御装置と、線状レーンマーク用電子制御装置とを組み合わせて構成することが求められる状況の例としては、レーンの左右で一方は鋲状レーンマーク、他方は線状レーンマークが設置されている場合がある。また、車線変更によって車両の左右のレーンマーク種別が変化する場合もある。さらに、道路に鋲状レーンマークと線状レーンマークとが重なって設けられている場合、一本の道路で線状レーンマークから鋲状レーンマークに切り変わる場合、及び車が走っている一地域の道路で線状レーンマークを使い、他の地域の道路で鋲状レーンマークを使い、地域によって選択的に以下に示す認識部を用いる場合がある。
　実施形態２としては例えば、図１３に示すように、鋲状レーンマーク認識部３０－６と線状レーンマーク認識部３０－７とを、画像入力受付部３０－１と走路境界判別部３０－５との間に有する電子制御装置３０として実現することが考えられる。ここで、画像入力受付部３０－１は図２の画像入力受付部１０－１と同様の機能を有する。また、走路境界判別部３０－５は、図２の走路境界判別部１０－５と同様の機能を有する。
　この走路境界判別部３０－５は、鋲状レーンマーク認識部３０－６と、線状レーンマーク認識部３０－７と、の双方の出力に対し、実施形態１の走路境界判別部３０－５と同様に走路境界線位置の候補を抽出する。そして、走路境界判別部３０－５は、鋲状レーンマーク認識部３０－６と、線状レーンマーク認識部３０－７と、の双方の出力による走路境界線位置の候補を区別せずに、実施形態１の走路境界判別部３０－５と同様の判定を行ってもよいし、どちらか一方の出力による走路境界線位置の候補を優先して選択するように評価値に重み付けをしてもよい。
　次に、図１４を参照して鋲状レーンマーク認識部３０－６について説明する。鋲状レーンマーク認識部３０－６は、鋲状レーンマーク特徴抽出部３０－６１と、時系列累積投票部３０－６２と、投票特徴画像記憶部３０－６３を有する。
　鋲状レーンマーク特徴抽出部３０－６１は、図２の特徴抽出部１０－２と等しい機能をもつ。また、時系列累積投票部３０－６２は、図２の時系列累積投票部１０－３と等しい機能をもつ。更に投票特徴画像記憶部３０－６３は、図２の投票特徴画像記憶部１０－４と等しい機能をもつ。
　次に、図１５を参照して線状レーンマーク認識部３０－７について説明する。線状レーンマーク認識部３０－７は、線状レーンマーク特徴抽出部３０－７１と、時系列累積投票部３０－７２と、投票特徴画像記憶部３０－７３を有する。線状レーンマーク認識部３０－７は、上記鋲状レーンマーク認識部３０－６の特徴抽出機能のみを、線状レーンマークの特徴を抽出する、線状レーンマーク特徴抽出部３０－７１に置き換えたものである。ここで、線状レーンマーク特徴抽出部３０－７１の特徴抽出フィルタには、Ｐｒｅｗｉｔｔ、Ｓｏｂｅｌ等の勾配特徴フィルタ等を用いることができる。
　また、時系列累積投票部３０－７２は、図２の時系列累積投票部１０－３と等しい機能をもつ。更に投票特徴画像記憶部３０－７３は、図２の投票特徴画像記憶部１０－４と等しい機能をもつ。なお、図１４及び図１５において投票特徴画像記憶部３０－６３と、投票特徴画像記憶部３０－７３は、分離して図示されているが、この２つを一つの記憶装置で実現することも可能である。
　このような構成を有することにより実施形態２は、線状レーンマークの特徴も含んだ走路境界判別が可能となる。
　［実施形態３］
　次に、本発明の実施形態である実施形態３について詳細に説明する。実施形態３は実施形態１の構成（図２）に、走路境界位置記憶部１０－７を加えた構成（図１６）である。
　なお、実施形態３と実施形態１の構成上の差異は走路境界位置記憶部１０－７の有無と、時系列累積投票部１０－３の機能が変形され時系列累積投票部１０－６となっている点である。そのため、時系列累積投票部１０－６及び走路境界位置記憶部１０－７以外の各装置及び各機能には同一の符号を付して説明をする。すなわち、図１６の画像出力装置２０、画像入力受付部１０－１、特徴抽出部１０－２、投票特徴画像記憶部１０－４、走路境界判別部１０－５は、それぞれ実施形態１の各装置、各機能と同様の機能を持つ。
　実施形態３で追加されている走路境界位置記憶部１０－７は、所定の時系列区間におけるそれぞれのフレームで検出された走路境界位置を記憶し、その情報を時系列累積投票部１０－６に提供する。
　実施形態３における時系列累積投票部１０－６は、前記走路境界位置記憶部１０－７に記憶された過去の走路境界位置の時系列的な変化から、車両に対する相対的な走路境界位置（以下、適宜「ラテラル位置」と呼ぶ。）の推移を推定する。そして、実施形態３における時系列累積投票部１０－６は、推定された推移量に基づくラテラル位置の補正（以下、適宜「ラテラル位置補正」と呼ぶ。）を前時刻の累積投票特徴画像に行った上で、実施形態１及び実施形態２と同様に現時刻の投票値を加算投票することで累積投票特徴画像を生成する。
　以上のような構成を有することにより実施形態３は、車両に対する走路境界位置の相対的な横移動速度（以下、適宜「ラテラル速度」と呼ぶ。）が無視できない場合でも、高精度な走路境界位置の検出が可能となる。
　実施形態３における時系列累積投票部１０－６の具体例を（実施形態３：例１）、（実施形態３：例２）として以下に示す。
　（実施形態３：例１）
　実施形態３の第１の具体例では、はじめに、前記走路境界位置記憶部１０－７に記憶された過去の走路境界位置の時系列的な変化から、ラテラル速度を推定する。
　ラテラル速度を推定する方法としては、例えば、過去所定区間の車両との相対的な走路境界位置（ラテラル位置）を線形補間して近似的に変化量を求める方法などを用いることが出来る。
　次に、前記のように推定されたラテラル速度推定値に基づき、投票特徴画像を累積させる際の時系列間のラテラル位置のズレを補正する。具体的には、ラテラル速度推定値（ＶＬ）、累積投票特徴画像の生成に用いる過去の投票特徴画像の取得時刻（ｔ－１）と現時刻（ｔ）との差（（ｔ）－（ｔ－１））を用いて、過去の累積投票特徴画像（ｓ（ｔ－１））のラテラル位置座標の原点を、－（ＶＬ）×（（ｔ）－（ｔ－１））に相当する画素数だけ移動させた上で、現時刻の投票特徴画像の累積を行うことができる。このラテラル位置補正の実現例の一つを模式的に示した概念図が図１７である。
　プログラム上の実現方法としては、過去の累積投票特徴画像（ｓ（ｔ－１））の各画素値を実際にメモリ空間上で移動させてもよいし、各画素のメモリ領域を参照するためのポインタ変数を変化させることで実現してもよい。
　また上記では、実施形態１の具体例（実施形態１：例２）に対応させて、前時刻に生成された累積投票特徴画像（ｓ（ｔ－１））のみにラテラル位置補正を行う場合を説明している。一方、同様の処理を実施形態１の具体例（実施形態１：例１）に対応させて、過去の所定区間（（ｔ－Ｔ）～（ｔ－１））の時刻それぞれに取得される投票特徴画像（ｆ（ｔ－１）、ｆ（ｔ－２）、・・・、ｆ（ｔ－Ｔ））に対して個々にラテラル位置補正を行うことでも実現できる。この（実施形態１：例１）に対応させたラテラル位置補正の実現例の一つを模式的に示した概念図が図１８である。
　また、実施形態１及び実施形態２と同様に、忘却係数による重み付けを過去の投票特徴画像、あるいは過去の累積特徴画像に行った上で現時刻の累積特徴画像を生成することが出来る（図１７及び図１８参照）。
　また、前記テラル位置座標の補正に加えて、移動後のラテラル座標を中心としてラテラル座標方向に、ラテラル速度の推定値の不確かさをモデル化した分布関数を掛けることによって、ラテラル速度の推定誤差を吸収させることができる。分布関数は、例えば過去のラテラル位置から計算されるラテラル速度の変化（以下、適宜「ラテラル加速度」と呼ぶ。）によって分散を定めたガウス分布や台形分布を用いることが出来る。また、実施形態１及び実施形態２と同様の忘却係数による重み付けを、この分布関数の係数に含めることで、推定誤差の分布関数による重み付分散処理を行ってもよい。
　上記補正を行った上で、現時刻の投票値を加算投票することで現時刻（ｔ）における累積投票特徴画像を生成する。
　（実施形態３：例２）
　実施形態３の第２の具体例では、はじめに、走路境界位置記憶部１０－７に記憶された過去の走路境界位置、および過去の走路境界位置の時系列的な変化から、ラテラル位置の推移可能範囲を計算する。具体的な方法として、例えば、アプリケーションの仕様が定める最大ラテラル速度を仮定して前時刻のラテラル位置から現時刻までに起こりうる推移量を推移可能範囲としてもよい。また他の具体的な方法としては、例えば、（実施形態３：例１）と同様に、推定ラテラル速度、および推定ラテラル加速度から定められるガウス分布や台形分布を仮定し、一定の確率をもつ範囲を推移可能範囲としてもよい。
　次に、この範囲のうちの１つを正しい値と仮定して選択し、過去の累積投票特徴画像（ｓ（ｔ－１））のラテラル位置座標の原点を移動させた上で、現時刻の投票特徴画像の累積を行い、現時刻の累積投票特徴画像を生成する（Ｓｉ（ｔ）、ｉ＝１，２，…）。
　また上記では、実施形態１の具体例（実施形態１：例２）に対応させて、前時刻に生成された累積投票特徴画像（ｓ（ｔ－１））のみにラテラル位置補正を行う場合を説明しているが、同様の処理を実施形態１の具体例（実施形態１：例１）に対応させて、過去の所定区間（（ｔ－Ｔ）～（ｔ－１））の時刻それぞれに取得される投票特徴画像（ｆ（ｔ－１）、ｆ（ｔ－２）、・・・、ｆ（ｔ－Ｔ））に対して個々にラテラル位置補正を行うことでも実現できる。
　また、実施形態１及び実施形態２と同様に、忘却係数による重み付けを過去の投票特徴画像、あるいは過去の累積特徴画像に行った上で現時刻の累積特徴画像を生成することが出来る。
　次に、生成された累積投票特徴画像に対し、期待する条件を満たしているかどうかを示す評価値（ｖａｌｕｅ（Ｓｉ））を計算して記憶する。評価値の計算方法としては、例えば、生成されたそれぞれの累積投票特徴画像における投票値の最大値を評価値としてもよい。また他の具体的な方法としては、例えば、ある閾値を越える極大値の山の分散の平均値が小さい程大きな評価値を与えるようにしてもよい。
　ラテラル位置の推移として可能な範囲すべてにおいて、前記（Ｓｉ（ｔ））、および（ｖａｌｕｅ（Ｓｉ））を計算し、最も評価値（ｖａｌｕｅ（Ｓｉ））が高いものを現時刻（ｔ）における累積投票特徴画像（Ｓ（ｔ））として採用する。
　上記（実施形態３：例１）と、（実施形態３：例２）を比較すると、（実施形態３：例１）は計算量が少ないが、ラテラル速度の推定のために、過去所定区間における正しい走路境界位置情報が初期値として必要となる。
　一方で、（実施形態３：例２）は計算量が多いが、ラテラル位置の推移可能範囲を、ラテラル位置の定義域全域に定めることで、前記のような初期値を必要としない。
　このため、車両の走行開始から時系列累積特徴空間を生成するのに十分な時間走行した後、ある所定時刻区間において（実施形態３：例２）を用いて走路境界位置を検出し、ラテラル速度推定に十分な数の走路境界位置情報を得た後、前記走路境界位置の時系列情報を初期値として（実施形態３：例１）を適用してもよい。
　次に、本実施形態３の動作について説明する。全体の動作は図３に示した実施形態１と同様である。以下に、（実施形態３：例１）、（実施形態３：例２）のそれぞれに対応した時系列累積投票部１０－６の動作（図３のステップＳ３００に相当する動作。）を例として説明する。
　（実施形態３：例１）に対応した動作の例として、図１９を参照すると、時系列累積投票計算（図３のステップＳ３００に相当する動作。）では、まず、前時刻（ｔ－１とする）に生成された累積投票特徴画像を時系列累積投票部１０－６が特徴画像記憶部１０－４から読み出す（ステップＳ３１１）。
　次に、時系列累積投票部１０－６が、走路境界位置記憶部１０－７に記憶された過去のラテラル位置情報に基づき、現時刻のラテラル速度推定値を計算する（ステップＳ３１２）。
　次に、時系列累積投票部１０－６が、ラテラル速度推定値に基づき、前時刻における累積投票特徴画像のラテラル位置座標を補正する（ステップＳ３１３）。
　次に、時系列累積投票部１０－６が、ラテラル速度の推定誤差の分布に基づき、前時刻における累積投票特徴画像をラテラル位置座標方向に重み付分散処理を行う（ステップＳ３１４）。
　次に、時系列累積投票部１０－６が、現時刻（ｔとする）に抽出された各特徴点について、パラメータ空間への投票値を計算する（ステップＳ３１５）。
　次に、時系列累積投票部１０－６が、計算された時刻（ｔ）の投票値を、補正及び重み付分散処理済みの累積投票特徴画像上に加算投票する（ステップＳ３１６）。
　次に、時系列累積投票部１０－６が、生成された時刻（ｔ）における累積投票特徴画像を特徴画像記憶部１０－４に保存する（ステップＳ３１７）。
　以上のように動作することで、時系列累積投票計算（図３のステップＳ３００）が実現される。
　続いて、（実施形態３：例２）に対応した動作の例として、図２０を参照すると、時系列累積投票計算（図３のステップＳ３００に相当する動作。）では、まず、前時刻（ｔ－１とする）に生成された累積投票特徴画像を時系列累積投票部１０－６が特徴画像記憶部１０－４から読み出す（ステップＳ３２１）。
　次に、時系列累積投票部１０－６が、走路境界位置記憶部１０－７に記憶された過去のラテラル位置情報に基づき、前時刻（ｔ－１）から現時刻（ｔ）におけるラテラル位置の推移可能範囲を計算する（ステップＳ３２２）。
　次に、時系列累積投票部１０－６が、前記ラテラル位置推移可能範囲のうち、一つのラテラル位置推移量を選び、これに基づくラテラル位置座標の補正を行う（ステップＳ３２３）。
　次に、時系列累積投票部１０－６が、現時刻（ｔ）に抽出された各特徴点について、パラメータ空間への投票値を計算する（ステップＳ３２４）。
次に、時系列累積投票部１０－６が、生成された累積特徴画像の評価値を計算する（ステップＳ３２５）。
　次に、時系列累積投票部１０－６が、すべての推移可能範囲において累積特徴画像の生成と評価値の計算が行われたかどうか確認する（ステップＳ３２６）。
　そして、累積特徴画像の生成と評価値の計算がすべての推移可能範囲において行われている場合は（ステップＳ３２６においてＹｅｓ）、次のステップであるステップＳ３２７に進む。
　一方、未だすべての推移可能範囲において行われていない場合は（ステップＳ３２６においてＹｅｓ）、ステップＳ３２４～Ｓ３２６の動作を繰り返し行う（Ｓ３２６）。
　次に、時系列累積投票部１０－６が、前記Ｓ３２５において計算された評価値に基づき、評価値が最大となる累積投票特徴画像を選択し、保存する（Ｓ３２７）。
　以上のように動作することで、時系列累積投票計算（図３のステップＳ３００）が実現される。
　以上説明した本発明の実施形態１、実施形態２及び実施形態３は、以下に示すような多くの効果を奏する。
　まず、挙げられる効果は時系列の入力画像から、離散的に設置されたレーンマークの推定位置を特徴画像により特徴点として抽出し、この特徴点が時系列的に描く直線（乃至曲線）を抽出することにより、ある時刻の画像のみからはノイズと区別が不可能であるようなレーンマーク画像からでも、走路境界線を抽出することが可能となることである。
　その理由は、通常ノイズは画像上のランダムな位置に出現するため、時系列的に車両の進行方向に沿った直線を描く可能性は低く、一方でレーンマークは走路境界線に沿って通常複数個設置されており、車両が走路に沿って走行している場合、レーンマークの軌跡は時系列的に直線を描くからである。
　また、特徴点が時系列的に描く直線（乃至曲線）を抽出するために、過去の複数時刻の投票値を含む累積投票特徴画像を生成する際、必要とする過去の時系列区間の全ての入力画像を記憶する必要が無い。具体的には、時系列区間上の各時刻の特徴点の配列、若しくは各時刻の特徴点を投票特徴画像上に変換した投票特徴点の配列、若しくは一つ前の時刻に生成された累積投票特徴画像のみ、若しくは一つ前の時刻に生成された累積投票特徴画像上の投票特徴点の配列のみ、のどれかを記憶するだけでよい。よって、時系列区間上の各時刻の入力画像（乃至特徴画像）を記憶する場合に比べ、レーンマークの推定位置として出力された特徴点の座標と出力のみを配列として記憶する場合には、それ以外の座標の情報が切り捨てられるため、記憶する情報量は少なくできる。また、投票特徴画像は、特徴点を通る近似直線（または近似曲線）のパラメータで構成される空間であるが、この定義域は予め走路境界線と車両との相対位置としてとり得る範囲を設定することで、入力画像（乃至特徴画像）よりも少ない情報量に圧縮することが可能である。
　さらに、本発明の実施形態によれば、一つ前の時刻に生成された累積投票特徴画像（乃至投票特徴点の配列）のみを記憶することで効果を得るように構成することが可能であるため、時系列区間上の各時刻の入力画像（乃至特徴画像）を記憶する場合に比べ、大幅に記憶するデータのサイズを減少させることができる。
　以上のように計算に用いる情報量が少なくなるために、同じ演算を行った場合の計算量も少なくすることが可能である。よって、少ない計算量および少ないメモリ領域で前記の効果を持つ走路認識装置を実現可能である。
　また、特許文献３に記載されているような一般的な技術では、現実の時系列の鋲状のレーンマーク画像を線状に合成することが困難な場合があり、従って合成画像から線状の画像特徴を抽出することが困難であるという問題があった。しかし、本発明の実施形態では、レーンマーク画像が線状（連続的）でなく鋲状（離散的）であることを前提とした特徴抽出方法をとることができるため、同様の問題は生じない。
　加えて、本発明の実施形態３のようにラテラル位置の補正を行った累積投票特徴画像を生成することにより、鋲状レーンマークのように検出される特徴が時間的・空間的に離散的であり、車両と走路境界線位置の相対的なラテラル速度が無視できない場合でも、走路境界位置の検出を高精度に行うことが出来る。
　なお、本発明の実施形態である走路認識装置および走路認識方法は、ハードウェアにより実現している。しかしながら、本発明はプログラムをコンピュータで実行することで実現できる。すなわち、本発明はコンピュータ、プログラム及び、プログラムが記録された、コンピュータ読み取り可能な記録媒体にも係る。コンピュータをその走路認識装置又は走路認識方法として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
　上記のように、電子制御装置１０は以上説明した実施形態では、ハードウェアで実現している。しかし、本発明をプログラムを用いてコンピュータで実行する場合、コンピュータは、画像出力装置２０からの画像情報に応じて、所定のプログラムと、データベースに格納されている情報と、に基づいて、画像情報における走路を認識するための情報処理を行うことができる。なお、ここで「走路」とはレーンマーク乃至走路境界のことを指すものとする。図２１は電子制御装置の機能をコンピュータで実行する構成を示す図である。
　電子制御装置として機能するコンピュータ１００は、中央演算装置１１と、第１の記憶装置１２、第２の記憶装置１３、インタフェース１４と、を有する。図中では中央演算装置１１を「ＣＰＵ１１」と表記する。また、第１の記憶装置１２を「Ｍｅｍ１２」と表記する。また、第２の記憶装置１３を「ＤＢ１３」と表記する。また、インタフェース１４を「Ｉ／Ｆ１４」と表記する。
更に、図１では第１の記憶装置１２と第２の記憶装置１３を便宜上２つに分けて描いているが、これらは一つの記憶デバイスとして実現してもよい。
　インタフェース１４は、中央演算装置１１と画像出力装置２０との間の情報のやり取りを仲介する装置である。
　第１の記憶装置１２は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。
　第２の記憶装置１３は、主にデータベースを記憶する装置であり、中央演算装置１１と電気的に接続されている。なお、第１の記憶装置１２及び第２の記憶装置１３は、図２１では、コンピュータ１００に内蔵されているが、外部の記憶装置として実装してもよい。
　中央演算装置１１は、情報処理を行う装置であり、インタフェース１４、第１の記憶装置１２及び第２の記憶装置１３と電気的に接続されている。中央演算装置１１は、プログラムを実行することで、画像出力装置２０からインタフェース１４を介して入力された画像情報に基づいて、第１の記憶装置１２及び第２の記憶装置１３に記憶された情報を適宜参照しながら、走路を認識するための情報処理を行う。
コンピュータ１００は、中央演算装置１１においてソフトウェアプログラムを実行することで、図２に示されるような、各種機能を実現することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）　受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出部と、
　抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票部と、
　生成した前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定部と、
　を備えることを特徴とする走路認識装置。
　（付記２）　付記１に記載の走路認識装置において、
　前記累積投票部は、前記投票にＨｏｕｇｈ変換を用いることを特徴とする走路認識装置。
　（付記３）　付記１又は２に記載の走路認識装置において、
　前記累積投票部が、
　前時刻に生成された前記累積投票特徴画像上の全ての値について時間経過による忘却効果を意味する０以上１以下の係数による重み付けを行った投票特徴画像に対し、現時刻に抽出された前記候補位置による前記投票を加えることによって、現時刻における前記累積投票特徴画像を生成することを特徴とする走路認識装置。
　（付記４）　付記１乃至３の何れかに記載の走路認識装置において、
　前記特徴抽出部は、前記受け付けた入力画像から鋲状レーンマークの前記候補位置を抽出する第１の特徴抽出部を含み、
　前記累積投票部は、抽出された前記鋲状レーンマークの前記候補位置について、前記鋲状レーンマークについての前記累積投票特徴画像を生成する第１の累積投票部を含み、
　前記走路境界判定部は、前記鋲状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識装置。
（付記５）　付記１乃至３の何れかに記載の走路認識装置において、
　前記特徴抽出部は、前記受け付けた入力画像から線状レーンマークの前記候補位置を抽出する第２の特徴抽出部を含み、
　前記累積投票部は、抽出された前記線状レーンマークの候補位置について、前記線状レーンマークについての前記累積投票特徴画像を生成する第２の累積投票部を含み、
　前記走路境界判定部は、前記線状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識装置。
　（付記６）　付記１乃至５の何れかに記載の走路認識装置において、
　前記累積投票部が、
　過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル速度を推定し、過去所定区間の投票特徴画像、若しくは、現時刻の前時刻の累積投票特徴画像、の何れかの投票特徴画像を対象として前記推定されたラテラル速度推定値に基づき現時刻のラテラル位置に対するズレの補正をし、当該補正後の投票特徴画像に現時刻の投票特徴値を累積させることにより、現時刻の累積投票特徴画像を生成することを特徴とする走路認識装置。
　（付記７）　付記６に記載の走路認識装置において、
　前記累積投票部が、過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル位置の存在可能な区域を推定し、当該区間におけるすべての推定ラテラル位置に基づく前記現時刻の累積投票特徴画像を生成し、当該生成した累積投票特徴画像の中から最も適切な現時刻の累積投票特徴画像を選別することを特徴とする走路認識装置。
　（付記８）　請求項１乃至７の何れか１項に記載の走路認識装置を有し、
該走路認識装置は、画像を撮像し、当該撮像した画像を出力する画像出力装置を備え、
　前記特徴抽出部が受け付ける前記入力画像は前記画像出力装置により前記出力された画像であることを特徴とする車両。
　（付記９）　受け付けた入力画像からレーンマークの候補位置を抽出し、
　抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成し、
　生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識方法。
　（付記１０）　付記９に記載の走路認識方法において、
　前記投票にＨｏｕｇｈ変換を用いることを特徴とする走路認識方法。
　（付記１１）　付記９又は１０に記載の走路認識方法において、
　前記投票を行う際に、
　前時刻に生成された前記累積投票特徴画像上の全ての値について時間経過による忘却効果を意味する０以上１以下の係数による重み付けを行った投票特徴画像に対し、現時刻に抽出された前記候補位置による前記投票を加えることによって、現時刻における前記累積投票特徴画像を生成することを特徴とする走路認識方法。
　（付記１２）　付記９乃至１１の何れか１項に記載の走路認識方法において、
　前記受け付けた入力画像から鋲状レーンマークの前記候補位置を抽出し、
　抽出された前記鋲状レーンマークの前記候補位置について、前記鋲状レーンマークについての前記累積投票特徴画像を生成し、
　前記走路境界判定を行う際に、前記鋲状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識方法。
　　（付記１３）　付記９乃至１１の何れか１項に記載の走路認識方法において、
　前記受け付けた入力画像から線状レーンマークの前記候補位置を抽出し、
　抽出された前記線状レーンマークの前記候補位置について、前記線状レーンマークについての前記累積投票特徴画像を生成し、
　前記走路境界判定を行う際に、前記線状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識方法。
　（付記１４）　付記９乃至１３の何れかに記載の走路認識方法において、
　過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル速度を推定し、過去所定区間の投票特徴画像、若しくは、現時刻の前時刻の累積投票特徴画像、の何れかの投票特徴画像を対象として前記推定されたラテラル速度推定値に基づき現時刻のラテラル位置に対するズレの補正をし、当該補正後の投票特徴画像に現時刻の投票特徴値を累積させることにより、現時刻の累積投票特徴画像を生成することを特徴とする走路認識方法。
　（付記１５）　付記１４に記載の走路認識方法において、
　過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル位置の存在可能な区域を推定し、当該区間におけるすべての推定ラテラル位置に基づく前記現時刻の累積投票特徴画像を生成し、当該生成した累積投票特徴画像の中から最も適切な現時刻の累積投票特徴画像を選別することを特徴とする走路認識方法。
　（付記１６）　受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出機能と、
　前記特徴抽出機能により抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票機能と、
　生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定機能と、
　をコンピュータに実現させることを特徴とする走路認識プログラム。
　（付記１７）　付記１６に記載の走路認識プログラムにおいて、
　前記時系列累積投票機能は、前記投票にＨｏｕｇｈ変換を用いることを特徴とする走路認識プログラム。
　（付記１８）　付記１６又は１７に記載の走路認識プログラムにおいて、
　前記累積投票機能が、
　前時刻に生成された前記累積投票特徴画像上の全ての値について時間経過による忘却効果を意味する０以上１以下の係数による重み付けを行った投票特徴画像に対し、現時刻に抽出された前記候補位置による前記投票を加えることによって、現時刻における前記累積投票特徴画像を生成することを特徴とする走路認識プログラム。
　（付記１９）　付記１６乃至１８の何れか１項に記載の走路認識プログラムにおいて、
前記特徴抽出機能は、前記受け付けた入力画像から鋲状レーンマークの前記候補位置を抽出する第１の特徴抽出機能を含み、
　前記累積投票機能は、抽出された前記鋲状レーンマークの前記候補位置について、前記鋲状レーンマークについての前記累積投票特徴画像を生成する第１の累積投票機能を含み、
　　前記走路境界判定機能は、前記鋲状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識プログラム。
　（付記２０）　付記１６乃至１８の何れか１項に記載の走路認識プログラムにおいて、
前記特徴抽出機能は、前記受け付けた入力画像から線状レーンマークの前記候補位置を抽出する第２の特徴抽出機能を含み、
　前記累積投票機能は、抽出された前記線状レーンマークの前記候補位置について、前記線状レーンマークについての前記累積投票特徴画像を生成する第２の累積投票機能を含み、
　　前記走路境界判定機能は、前記線状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識プログラム。
　（付記２１）　付記１６乃至２０の何れか１項に記載の走路認識プログラムにおいて、
　前記累積投票機能が、
　過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル速度を推定し、過去所定区間の投票特徴画像、若しくは、現時刻の前時刻の累積投票特徴画像、の何れかの投票特徴画像を対象として前記推定されたラテラル速度推定値に基づき現時刻のラテラル位置に対するズレの補正をし、当該補正後の投票特徴画像に現時刻の投票特徴値を累積させることにより、現時刻の累積投票特徴画像を生成することを特徴とする走路認識プログラム。
　（付記２２）　付記２１に記載の走路認識プログラムにおいて、
　前記累積投票機能が、過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル位置の存在可能な区域を推定し、当該区間におけるすべての推定ラテラル位置に基づく前記現時刻の累積投票特徴画像を生成し、当該生成した累積投票特徴画像の中から最も適切な現時刻の累積投票特徴画像を選別することを特徴とする走路認識プログラム。
　また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
本願は、２００９年１１月２５日に出願された特願２００９－２６７４２１号及び２０１０年３月２６日に出願された特願２０１０－０７１９３１号を基礎とする優先権を主張するものである。そして、特願２００９－２６７４２１号及び特願２０１０－０７１９３１号に開示された全ての内容は本願の内容に含まれる。
１　車両
２　走路認識装置
１０、３０　電子制御装置
１０－１、３０－１　画像入力受付部
１０－２　特徴抽出部
１０－３、１０－６、３０－６２、３０－７２　時系列累積投票部
１０－４、３０－６３、３０－７２　投票特徴画像記憶部
１０－５、３０－５　走路境界判別部
１０－７　走路境界位置記憶部
１１　中央演算装置
１２　第１の記憶装置
１３　第２の記憶装置
１４　インタフェース
２０　画像出力装置
３０－６　鋲状レーンマーク認識部
３０－６１　鋲状レーンマーク特徴抽出部
３０－７　線状レーンマーク認識部
３０－７１　線状レーンマーク特徴抽出部
　

Claims (10)

  1. 　受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出部と、
    　抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票部と、
    　生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定部と、
    　を備えることを特徴とする走路認識装置。
  2. 　請求項１に記載の走路認識装置において、
    　前記累積投票部は、前記投票にＨｏｕｇｈ変換を用いることを特徴とする走路認識装置。
  3. 　請求項１又は２に記載の走路認識装置において、
    　前記累積投票部が、
    　前時刻に生成された前記累積投票特徴画像上の全ての値について時間経過による忘却効果を意味する０以上１以下の係数による重み付けを行った投票特徴画像に対し、現時刻に抽出された前記候補位置による前記投票を加えることによって、現時刻における前記累積投票特徴画像を生成することを特徴とする走路認識装置。
  4. 　請求項１乃至３の何れか１項に記載の走路認識装置において、
    　前記特徴抽出部は、前記受け付けた入力画像から鋲状レーンマークの前記候補位置を抽出する第１の特徴抽出部を含み、
    　前記累積投票部は、抽出された前記鋲状レーンマークの前記候補位置について、前記鋲状レーンマークについての前記累積投票特徴画像を生成する第１の累積投票部を含み、
    　前記走路境界判定部は、前記鋲状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識装置。
  5. 　請求項１乃至３の何れか１項に記載の走路認識装置において、
    　前記特徴抽出部は、前記受け付けた入力画像から線状レーンマークの前記候補位置を抽出する第２の特徴抽出部を含み、
    　前記累積投票部は、抽出された前記線状レーンマークの候補位置について、前記線状レーンマークについての前記累積投票特徴画像を生成する第２の累積投票部を含み、
    　前記走路境界判定部は、前記線状レーンマークについての累積投票特徴画像に基づいて前記走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識装置。
  6. 　請求項１乃至５の何れか１項に記載の走路認識装置において、
    　前記累積投票部が、
    　過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル速度を推定し、過去所定区間の投票特徴画像、若しくは、現時刻の前時刻の累積投票特徴画像、の何れかの投票特徴画像を対象として前記推定されたラテラル速度推定値に基づき現時刻のラテラル位置に対するズレの補正をし、当該補正後の投票特徴画像に現時刻の投票特徴値を累積させることにより、現時刻の累積投票特徴画像を生成することを特徴とする走路認識装置。
  7. 　請求項６に記載の走路認識装置において、
    　前記累積投票部が、過去に検出された走路境界位置の時系列的な変化についての情報に基づき現時刻のラテラル位置の存在可能な区域を推定し、当該区間におけるすべての推定ラテラル位置に基づく前記現時刻の累積投票特徴画像を生成し、当該生成した累積投票特徴画像の中で最も適切な累積投票特徴画像を現時刻の累積投票特徴画像として採用することを特徴とする走路認識装置。
  8. 　請求項１乃至７の何れか１項に記載の走路認識装置を有し、
    該走路認識装置は、画像を撮像し、当該撮像した画像を出力する画像出力装置を備え、
    　前記特徴抽出部が受け付ける前記入力画像は前記画像出力装置により前記出力された画像であることを特徴とする車両。
  9. 　受け付けた入力画像からレーンマークの候補位置を抽出し、
    　抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成し、
    　生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行うことを特徴とする走路認識方法。
  10. 　受け付けた入力画像からレーンマークの候補位置を抽出する特徴抽出機能と、
    　抽出された前記候補位置について、投票値に経過時間に応じた重みをつけて累積的に近似曲線または近似直線のパラメータ空間への投票を行うことにより累積投票特徴画像を生成する累積投票機能と、
    　生成された前記累積投票特徴画像に基づいて走路境界線位置の候補を抽出することにより、前記走路境界線位置の判定を行う走路境界判定機能と、
    　をコンピュータに実現させることを特徴とする走路認識プログラム。
    　
     
PCT/JP2010/070983 2009-11-25 2010-11-25 走路認識装置、車両、走路認識方法及び走路認識プログラム WO2011065399A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011543282A JP5716671B2 (ja) 2009-11-25 2010-11-25 走路認識装置、車両、走路認識方法及び走路認識プログラム
US13/511,875 US8867845B2 (en) 2009-11-25 2010-11-25 Path recognition device, vehicle, path recognition method, and path recognition program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-267421 2009-11-25
JP2009267421 2009-11-25
JP2010071931 2010-03-26
JP2010-071931 2010-03-26

Publications (1)

Publication Number Publication Date
WO2011065399A1 true WO2011065399A1 (ja) 2011-06-03

Family

ID=44066504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/070983 WO2011065399A1 (ja) 2009-11-25 2010-11-25 走路認識装置、車両、走路認識方法及び走路認識プログラム

Country Status (3)

Country Link
US (1) US8867845B2 (ja)
JP (1) JP5716671B2 (ja)
WO (1) WO2011065399A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090157292A1 (en) * 2007-07-13 2009-06-18 Robert Currie System and method for providing shared information about traveled road segments
JP2013050798A (ja) * 2011-08-30 2013-03-14 Nissan Motor Co Ltd 動き検出装置
JP2013050797A (ja) * 2011-08-30 2013-03-14 Nissan Motor Co Ltd 動き検出装置
JP2013193545A (ja) * 2012-03-19 2013-09-30 Nippon Soken Inc 駐車支援装置
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
GB2550296A (en) * 2011-07-12 2017-11-15 Lucasfilm Entertainment Co Ltd Scale independent tracking system
WO2019214372A1 (zh) * 2018-05-07 2019-11-14 腾讯科技（深圳）有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
CN113494915A (zh) * 2020-04-02 2021-10-12 广州汽车集团股份有限公司 一种车辆横向定位方法、装置及系统
US12055411B2 (en) * 2022-07-01 2024-08-06 Here Global B.V. Method and apparatus for providing a path-based map matcher

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149359A (ja) * 1992-11-02 1994-05-27 Matsushita Electric Ind Co Ltd 走行レーン検出装置
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP2007141167A (ja) * 2005-11-22 2007-06-07 Fujitsu Ten Ltd 車線検出装置、車線検出方法、及び車線検出プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302346A (ja) 1994-05-06 1995-11-14 Nippon Soken Inc 路面の白線検出方法
JP4671991B2 (ja) 2001-11-30 2011-04-20 日立オートモティブシステムズ株式会社 レーンマーク認識装置
JP2007293892A (ja) 2001-11-30 2007-11-08 Hitachi Ltd レーンマーク認識方法
JP4016735B2 (ja) 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP2004252827A (ja) 2003-02-21 2004-09-09 Nissan Motor Co Ltd 車線認識装置
JP3864945B2 (ja) * 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
JP4637618B2 (ja) 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
JP4358147B2 (ja) 2005-04-28 2009-11-04 本田技研工業株式会社 車両及びレーンマーク認識装置
WO2007138898A1 (ja) * 2006-05-25 2007-12-06 Nec Corporation 認識システム、認識方法および認識プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149359A (ja) * 1992-11-02 1994-05-27 Matsushita Electric Ind Co Ltd 走行レーン検出装置
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP2007141167A (ja) * 2005-11-22 2007-06-07 Fujitsu Ten Ltd 車線検出装置、車線検出方法、及び車線検出プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090157292A1 (en) * 2007-07-13 2009-06-18 Robert Currie System and method for providing shared information about traveled road segments
US8660794B2 (en) * 2007-07-13 2014-02-25 Dash Navigation, Inc. System and method for providing shared information about traveled road segments
GB2550296A (en) * 2011-07-12 2017-11-15 Lucasfilm Entertainment Co Ltd Scale independent tracking system
GB2550296B (en) * 2011-07-12 2018-01-31 Lucasfilm Entertainment Co Ltd Scale independent tracking pattern
JP2013050798A (ja) * 2011-08-30 2013-03-14 Nissan Motor Co Ltd 動き検出装置
JP2013050797A (ja) * 2011-08-30 2013-03-14 Nissan Motor Co Ltd 動き検出装置
JP2013193545A (ja) * 2012-03-19 2013-09-30 Nippon Soken Inc 駐車支援装置
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
WO2019214372A1 (zh) * 2018-05-07 2019-11-14 腾讯科技（深圳）有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质
US11410435B2 (en) 2018-05-07 2022-08-09 Tencent Technology (Shenzhen) Company Limited Ground mark extraction method, model training METHOD, device and storage medium

Also Published As

Publication number Publication date
JP5716671B2 (ja) 2015-05-13
US8867845B2 (en) 2014-10-21
JPWO2011065399A1 (ja) 2013-04-18
US20120288206A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
WO2011065399A1 (ja) 走路認識装置、車両、走路認識方法及び走路認識プログラム
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
EP1796043B1 (en) Object detection
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US9607220B1 (en) Image-based vehicle speed estimation
US20120166080A1 (en) Method, system and computer-readable medium for reconstructing moving path of vehicle
CN107305635A (zh) 对象识别方法、对象识别装置和分类器训练方法
CN104183127A (zh) 交通监控视频检测方法和装置
JP5146446B2 (ja) 移動体検知装置および移動体検知プログラムと移動体検知方法
KR101348680B1 (ko) 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
US20220245831A1 (en) Speed estimation systems and methods without camera calibration
CN104200492A (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
JP4882577B2 (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
JP6916975B2 (ja) 標識位置特定システム及びプログラム
CN109492454A (zh) 对象识别方法及装置
JP3879874B2 (ja) 物流計測装置
WO2015027649A1 (zh) 一种多尺度模型车辆检测方法
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
JP5903901B2 (ja) 車両位置算出装置
CN114663793A (zh) 目标行为识别方法及装置、存储介质、终端
CN113516685A (zh) 目标跟踪方法、装置、设备及存储介质
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
JP4479174B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10833245

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011543282

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13511875

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10833245

Country of ref document: EP

Kind code of ref document: A1