WO2012039496A1 - 走路推定装置及びプログラム - Google Patents

走路推定装置及びプログラム Download PDF

Info

Publication number
WO2012039496A1
WO2012039496A1 PCT/JP2011/071898 JP2011071898W WO2012039496A1 WO 2012039496 A1 WO2012039496 A1 WO 2012039496A1 JP 2011071898 W JP2011071898 W JP 2011071898W WO 2012039496 A1 WO2012039496 A1 WO 2012039496A1
Authority
WO
WIPO (PCT)
Prior art keywords
runway
track
lane
system noise
parameter
Prior art date
Application number
PCT/JP2011/071898
Other languages
English (en)
French (fr)
Inventor
章弘 渡邉
小城　隆博
ティーラワット リムピバンテン
義明 土屋
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to BR112013006124-3A priority Critical patent/BR112013006124B1/pt
Priority to CN201180042149.0A priority patent/CN103098111B/zh
Priority to EP11826938.0A priority patent/EP2620930B1/en
Priority to US13/820,030 priority patent/US8948455B2/en
Publication of WO2012039496A1 publication Critical patent/WO2012039496A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a runway estimation apparatus and program, and more particularly, to a runway estimation apparatus and program that estimates runway parameters based on an image captured by an imaging apparatus.
  • a vehicle travel path recognition device that detects a lane marker from an input image obtained by imaging a front of a vehicle with a CCD camera and calculates a road model parameter for representing a road shape in front of the vehicle by a Kalman filter based on a detection result of the lane marker.
  • the estimated change in the road model parameter is defined as a discrete random walk model driven by fixed white Gaussian noise, assuming that it behaves stochastically.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a runway estimation device and program capable of stably estimating runway parameters.
  • the runway estimation apparatus of the present invention obtains a captured image obtained by imaging the periphery of the host vehicle, and extracts a feature point indicating a lane from the captured image obtained by the obtaining unit. And the position and posture of the host vehicle with respect to the track on which the host vehicle travels, and the runway parameters relating to the shape and size of the track are estimated based on the distribution of the feature points extracted by the extracting unit. Based on the setting means for setting the system noise indicating the degree of fluctuation of the runway parameter, the feature points extracted by the extraction means, the past estimation result of the runway parameter, and the system noise set by the setting means, And estimation means for estimating the lane parameter by probabilistic signal processing for handling a discrete time signal.
  • the acquisition unit acquires a captured image obtained by imaging the periphery of the host vehicle, and the extraction unit extracts a feature point indicating a lane from the captured image acquired by the acquisition unit. Extraction of feature points indicating lanes is performed by first extracting edge points from the captured image and selecting feature points indicating lanes from the edge points based on the continuity and shape of the edge points.
  • the setting means estimates the runway parameters related to the position and posture of the host vehicle relative to the runway on which the host vehicle travels and the shape and size of the runway based on the distribution of the feature points extracted by the extracting unit.
  • a system noise indicating the degree of parameter variation is set, and the estimation means is a discrete time signal based on the feature points extracted by the extraction means, the past runway parameter estimation results, and the system noise set by the setting means.
  • the runway parameters are estimated by probabilistic signal processing.
  • the system noise corresponding to each of the estimated runway parameters is set based on the distribution of the feature points indicating the lane extracted from the captured image, that is, the distribution of the observed values, so that the runway parameters are stably estimated. can do.
  • the shape and size of the runway are defined as the runway parameters relating to the position and attitude of the host vehicle with respect to the runway, the lateral position of the host vehicle with respect to the runway, the yaw angle with respect to the center line of the runway, and the pitch angle with respect to the plane of the runway
  • the runway parameters relating to the length may be the curvature of the runway and the lane width of the runway.
  • the setting means is a system noise corresponding to the curvature of the road, the lane width of the road, and the lateral position of the host vehicle with respect to the road.
  • the system noise corresponding to the curvature of the runway is reduced, and the feature point or the right boundary indicating the left boundary of the lane is reduced.
  • the system noise corresponding to the lane width of the runway and the pitch angle with respect to the plane of the runway is reduced, and the feature points do not exist in a predetermined number or more.
  • each of the system noises corresponding to all the runway parameters can be reduced. Thereby, even if it is an observation condition where the estimation accuracy of a runway parameter falls, a runway parameter can be estimated stably.
  • the runway estimation program includes a computer that obtains a captured image obtained by imaging the periphery of the host vehicle, an extraction unit that extracts a feature point indicating a lane from the captured image obtained by the acquisition unit, and the extraction Based on the distribution of the feature points extracted by the means, the position and posture of the host vehicle with respect to the track on which the host vehicle travels, and the fluctuation of the track parameter when estimating the track parameter regarding the shape and size of the track
  • a setting means for setting system noise indicating a degree, and a discrete time signal is handled based on the feature points extracted by the extracting means, the past estimation result of the runway parameter, and the system noise set by the setting means. It is a program for functioning as an estimation means for estimating the runway parameter by stochastic signal processing.
  • the runway estimation apparatus and program of the present invention corresponds to each of the runway parameters to be estimated based on the distribution of feature points indicating the lane extracted from the captured image, that is, the distribution of the observed values. Since the system noise is set, it is possible to stably estimate the road parameter.
  • the runway estimation device 10 of the present embodiment includes an imaging device 12 that continuously images a vehicle front area and a computer 16 that executes a process of estimating a runway parameter.
  • the imaging device 12 captures a target area in front of the vehicle and generates an image signal (not shown), and an A / D conversion unit (converts the image signal that is an analog signal generated by the imaging unit into a digital signal) And an image memory (not shown) for temporarily storing the A / D converted image signal.
  • the computer 16 includes a CPU 20 that controls the entire runway estimation apparatus 10, a ROM 22 that stores various programs such as a program for a runway estimation process routine described later, a RAM 24 that temporarily stores data as a work area, It includes a memory 26 as storage means in which various information is stored, an input / output port (I / O port) 28, and a bus that interconnects these.
  • the imaging device 12 is connected to the I / O port 28.
  • the runway estimation device 10 of the present embodiment extracts a feature point (lane boundary point) indicating a lane from the captured image captured by the imaging device 12, and uses this feature point as an observation value to determine a runway parameter using a Kalman filter. presume.
  • the runway parameters relating to the position and posture of the host vehicle with respect to the runway on which the host vehicle runs, and the runway parameters relating to the shape and size of the runway on which the host vehicle runs are estimated. More specifically, the runway parameters related to the position and posture of the host vehicle with respect to the runway are set as the lane indicating the left boundary of the track, the lane indicating the right boundary, or the lateral position e k
  • these five track parameters are collectively referred to as a track parameter, the track parameter x k
  • k (e k
  • a feature point extraction unit 30 that acquires and extracts feature points from the captured image
  • a lane boundary point selection unit 32 that selects a lane boundary point indicating a lane from the extracted feature points, and a distribution of lane boundary points is determined.
  • a distribution determination unit 34 a system noise setting unit 36 that sets each system noise based on the distribution of lane boundary points, and a lane boundary point, past estimation results, and a lane parameter based on the set system noise
  • a runway parameter estimation unit 38 that performs the processing.
  • the feature point extraction unit 30 scans the captured image as shown in FIG. 4A in the horizontal direction and extracts edge points that are luminance change points for each pixel as feature points. To do.
  • FIG. 4C shows an example schematically representing the extracted feature points.
  • the lane boundary point selection unit 32 selects the lane boundary point indicating the lane by discriminating the shape, width, color, and the like of the edge points continuously arranged from the feature points extracted by the feature point extraction unit 30. When there are a plurality of lanes, a lane boundary point indicating the innermost pair of left and right lanes is selected.
  • FIG. 5 shows an example schematically showing the selected lane boundary point.
  • the feature point extraction unit 30 and the lane boundary point selection unit 32 are examples of the extraction means of the present invention.
  • the distribution determination unit 34 determines what distribution the lane boundary points selected by the lane boundary point selection unit 32 are. In the present embodiment, it is determined whether the lane boundary points are distributed in both the far and near areas, only in the far area, or only in the near area. Also, a distribution that has both a lane boundary point that indicates the left boundary and a lane boundary point that indicates the right boundary, a distribution that includes only the lane boundary point that indicates the left boundary, or only a lane boundary point that indicates the right boundary. Judge whether the distribution to be. It is also determined whether the total number of selected lane boundary points is equal to or less than a predetermined number. A distribution in which the total number of lane boundary points is a predetermined number or less is referred to as a distribution without observed values.
  • the determination as to whether or not there is a lane boundary point in the far and near areas will be described.
  • the pixel at the upper left corner of the captured image is the origin, the horizontal direction is the x axis, and the vertical direction is the y axis.
  • k is a value of 0 ⁇ k ⁇ 1, for example, 1/3.
  • the y coordinate on the captured image corresponding to the position where the distance from the imaging device 12 is 20 m may be set as yc.
  • a range where the y coordinate is ya to yc is a far region, and a range where the y coordinate is yc to yb is a near region.
  • the minimum value of the y coordinate of the lane boundary point indicating the left boundary is LF, and LF ⁇ yc, it is determined that the lane boundary point exists in the far left region.
  • the maximum value of the y coordinate of the lane boundary point indicating the left boundary is LN, and LN> yc, it is determined that the lane boundary point exists in the left vicinity region.
  • the minimum value of the y-coordinate of the lane boundary point indicating the right boundary is RF, the maximum value is RN, and compared with yc, it is determined whether the lane boundary point exists in the far right region or the right neighborhood region.
  • y coordinate threshold values Tf and Tn for determining whether or not the lane boundary point exists in the far region and the nearby region are provided, and if LF (RF) ⁇ Tf, the vehicle boundary point is in the far region. If present, LN ⁇ Tn, it may be determined that the vehicle boundary point exists in the vicinity region.
  • the distribution pattern of the lane boundary points is as shown in FIGS. 7A to 7P. Classified into patterns.
  • FIG. 7P shows a distribution without observed values.
  • the system noise setting unit 36 sets system noise corresponding to each estimated runway parameter x k
  • the system noise indicates the degree to which the runway parameter is changed when estimating the current runway parameter by changing the previous estimation result based on the current observation.
  • the lane boundary points are distributed in the far and near areas, and both the left and right sides, it is possible to stably estimate all the lane parameters x k
  • the estimation accuracy of the runway parameters such as the lateral position e k
  • FIG. 8 shows an example of a system noise setting method.
  • k is a pitch angle ⁇ k
  • k is a pitch angle ⁇ k
  • k is the lane width w k
  • k is the lane boundary point when the lane boundary point is distributed from the near region to the far region.
  • the distribution pattern of the lane boundary points determined by the distribution determination unit 34 is “the far and right and left” where the lane boundary points are present in all regions, “only the far” that exists only in the far region, and only in the nearby region. “Nearby only” exists, both left and right lane boundary points and right and left lane boundary points exist, “left and right” exist, only left and right side boundary lane boundary points exist It is determined whether the distribution type is “one side only” or “no observation value” in which the total number of lane boundary points is a predetermined number or less.
  • the lower alphabets of the distribution type names in FIG. 8 correspond to the distribution patterns in FIGS. 7A to 7P. “With left and right” does not include the patterns of FIGS.
  • FIGS. 7A, 7F, and 7J correspond to both “only in the distance” and “only in one side”.
  • the patterns of FIGS. 7L and 70 correspond to both “near only” and “only one side”.
  • a system noise setting method corresponding to each runway parameter is determined for each type of distribution. For example, in the case of “only in the distance”, the system noise corresponding to the lateral position e k
  • the distribution determination unit 34 and the system noise setting unit 36 are examples of the setting unit of the present invention.
  • the runway parameter estimation unit 38 estimates the runway parameter x k
  • k is an internal state (running road parameter) at time k
  • f k is State transition function
  • h k is an observation function
  • F k is a state transition matrix at time k
  • G k is a driving matrix at time k
  • H k is an observation matrix
  • k is an estimated error covariance matrix at time k
  • k is a prediction error covariance matrix at time k
  • ⁇ wk is a system noise covariance matrix at time k
  • ⁇ vk is an observation noise covariance matrix at time k.
  • the system noise set by the system noise setting unit 36 is ⁇ wk in equation (5). Then, the coordinates of the lane boundary point are given as the observed value y k
  • This routine is performed by the CPU 20 executing the runway estimation program stored in the ROM 22.
  • step 100 a captured image captured by the imaging device 12 is acquired, and in step 102, an edge point that is a luminance change point for each pixel of the captured image is extracted as a feature point.
  • step 104 the lane boundary point indicating the lane is selected by discriminating the shape, width, color, and the like of the edge points continuously arranged from the feature points extracted in step 102.
  • step 106 it is determined what distribution the lane boundary points selected in step 104 are. First, it is determined whether or not the total number of lane boundary points is equal to or less than a predetermined number. If the total number of lane boundary points is equal to or less than a predetermined number, it is determined that the distribution has no observed value in the pattern of FIG. 7P. Next, if the minimum value of the y coordinate of the lane boundary point indicating the left boundary is LF, and LF ⁇ yc, it is determined that the lane boundary point exists in the left far region. If the maximum value of the y coordinate of the lane boundary point indicating the left boundary is LN, and LN> yc, it is determined that the lane boundary point exists in the left vicinity region.
  • the minimum value of the y-coordinate of the lane boundary point indicating the right boundary is RF
  • the maximum value is RN
  • step 108 system noise corresponding to each estimated runway parameter x k
  • each system noise setting corresponding to the distribution pattern of lane boundary points is read, and ⁇ in the above equation (5) Set to wk .
  • the distribution type corresponds to “only far away”, and therefore the lateral position e k
  • k is set to be small.
  • the distribution type corresponds to “only in the distance” and “only on one side”, so the pitch angle ⁇ k
  • step 110 the coordinates of the lane boundary point selected in step 104 are given as the observed value y k according to the above equations (1) to (5), the runway parameter x k
  • the output estimation result can be displayed on a display device (not shown) or used as input data for a vehicle motion control system that controls vehicle motion.
  • the runway estimation apparatus of the present embodiment is the observation situation in which the estimation accuracy decreases for each runway parameter based on the distribution of lane boundary points, that is, the distribution of observation values? Therefore, since the system noise setting corresponding to the road parameter for which the estimation accuracy is lowered is reduced to reduce the fluctuation of the road parameter, the road parameter can be estimated stably.
  • the runway parameter is estimated using the Kalman filter.
  • a filter based on other stochastic (statistical) signal processing that handles discrete time signals may be used.
  • a particle filter can be used.
  • (1) the probability of the road parameter is expressed by the size (weight) of the particle, and (2) the road parameter at the next time is predicted.
  • the runway parameters are stochastically diffused. When the change is large, it is diffused over a wide range, and when the change is small, it is diffused over a narrow range.
  • This spreading width corresponds to the system noise of the present invention. Then, (4) the likelihood (likelihood) of each lane parameter value is weighted using the observed value (lane boundary point), and (5) the probability distribution of the lane parameter updated by the observed value is calculated.
  • the distribution of the lane boundary points is determined based on whether the lane boundary points are present in the far region or the near region, and the left side or the right side.
  • the distribution may be determined by dividing into more detailed areas, or it may be determined only in the remote area or in the vicinity area.
  • the lane boundary line that is the observed value Any distribution can be used.
  • the program of the present invention may be provided by being stored in a recording medium or provided via a wired or wireless communication means. Further, the present invention is not limited to implementation by software configuration, and may be implemented by hardware configuration or a combination of hardware configuration and software configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

特徴点抽出部（３０）で、撮像装置（１２）で撮像された撮像画像を取得して、撮像画像から特徴点を抽出し、車線境界点選択部（３２）で、抽出された特徴点から車線を示す車線境界点を選択し、分布判定部（３４）で、車線境界点の分布を判定し、システムノイズ設定部（３６）で、車線境界点の分布に基づいてシステムノイズの各々を設定し、走路パラメータ推定部（３８）で、車線境界点、過去の推定結果、及び設定されたシステムノイズに基づいて、安定して走路パラメータを推定する。

Description

走路推定装置及びプログラム
　本発明は、走路推定装置及びプログラムに係り、特に、撮像装置により撮像された画像に基づいて、走路パラメータを推定する走路推定装置及びプログラムに関する。
　従来、ＣＣＤカメラで車両前方を撮像した入力画像からレーンマーカを検出し、レーンマーカの検出結果に基づいて、車両前方の道路形状を表すための道路モデルパラメータを、カルマンフィルタにより算出する車両の走行路認識装置が提案されている（特許文献１参照）。特許文献１の走行路認識装置では、推定する道路モデルパラメータの変化は、確率的な振る舞いをするものとして、固定の白色ガウス雑音によって駆動される離散系のランダムウォークモデルとして定義している。
特開２００２－１０９６９５号公報
　しかしながら、推定するパラメータ毎の推定精度は観測値の分布により影響を受けるが、上記の特許文献１の技術では、道路モデルパラメータの変動の度合いを示すシステムノイズが観測値とは無関係に設定されているため、安定して道路モデルパラメータ推定することができない、という問題がある。
　本発明は、上記の問題点を解決するためになされたもので、安定して走路パラメータを推定することができる走路推定装置及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明の走路推定装置は、自車両周辺を撮像した撮像画像を取得する取得手段と、前記取得手段により取得した撮像画像から、車線を示す特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点の分布に基づいて、前記自車両が走行する走路に対する自車両の位置及び姿勢、並びに該走路の形状及び大きさに関する走路パラメータを推定する際の該走路パラメータの変動の度合いを示すシステムノイズを設定する設定手段と、前記抽出手段により抽出された特徴点、過去の前記走路パラメータの推定結果、及び前記設定手段により設定されたシステムノイズに基づいて、離散時間信号を扱う確率的信号処理により前記走路パラメータを推定する推定手段と、を含んで構成されている。
　本発明の走路推定装置によれば、取得手段が、自車両周辺を撮像した撮像画像を取得し、抽出手段が、取得手段により取得した撮像画像から、車線を示す特徴点を抽出する。車線を示す特徴点の抽出は、まず撮像画像からエッジ点を抽出し、エッジ点の連続性や形状等に基づいて、エッジ点の中から車線を示す特徴点を選択することにより行う。
　そして、設定手段が、抽出手段により抽出された特徴点の分布に基づいて、自車両が走行する走路に対する自車両の位置及び姿勢、並びに走路の形状及び大きさに関する走路パラメータを推定する際の走路パラメータの変動の度合いを示すシステムノイズを設定し、推定手段が、抽出手段により抽出された特徴点、過去の走路パラメータの推定結果、及び設定手段により設定されたシステムノイズに基づいて、離散時間信号を扱う確率的信号処理により走路パラメータを推定する。
　このように、撮像画像から抽出された車線を示す特徴点の分布、すなわち観測値の分布に基づいて、推定する走路パラメータの各々に対応したシステムノイズを設定するため、安定して走路パラメータを推定することができる。
　また、前記走路に対する自車両の位置及び姿勢に関する走路パラメータを、該走路に対する自車両の横位置、該走路の中央線に対するヨー角、及び該走路の平面に対するピッチ角とし、前記走路の形状及び大きさに関する走路パラメータを、該走路の曲率及び該走路の車線幅とすることができる。
　また、前記設定手段は、前記特徴点が撮像画像上の遠方領域にのみ分布する場合には、前記走路の曲率、前記走路の車線幅、及び前記走路に対する自車両の横位置に対応するシステムノイズの各々を小さくし、前記特徴点が撮像画像上の近傍領域にのみ分布する場合には、前記走路の曲率に対応するシステムノイズを小さくし、前記車線の左側境界を示す特徴点または右側境界を示す特徴点のみが分布している場合には、前記走路の車線幅、及び前記走路の平面に対するピッチ角に対応するシステムノイズの各々を小さくし、前記特徴点が予め定めた所定数以上存在しない場合には、全ての走路パラメータに対応するシステムノイズの各々を小さくするようにすることができる。これにより、走路パラメータの推定精度が低下するような観測状況であっても、安定して走路パラメータを推定することができる。
　また、本発明の走路推定プログラムは、コンピュータを、自車両周辺を撮像した撮像画像を取得する取得手段、前記取得手段により取得した撮像画像から、車線を示す特徴点を抽出する抽出手段、前記抽出手段により抽出された特徴点の分布に基づいて、前記自車両が走行する走路に対する自車両の位置及び姿勢、並びに該走路の形状及び大きさに関する走路パラメータを推定する際の該走路パラメータの変動の度合いを示すシステムノイズを設定する設定手段、及び前記抽出手段により抽出された特徴点、過去の前記走路パラメータの推定結果、及び前記設定手段により設定されたシステムノイズに基づいて、離散時間信号を扱う確率的信号処理により前記走路パラメータを推定する推定手段として機能させるためのプログラムである。
　以上説明したように、本発明の走路推定装置及びプログラムによれば、撮像画像から抽出された車線を示す特徴点の分布、すなわち観測値の分布に基づいて、推定する走路パラメータの各々に対応したシステムノイズを設定するため、安定して走路パラメータを推定することができる、という効果が得られる。
本実施の形態に係る走路推定装置の電気系の要部構成を示すブロック図である。 推定する走路パラメータ（横位置、ヨー角、車線幅）を模式的に示した図である。 推定する走路パラメータ（曲率）を模式的に示した図である。 推定する走路パラメータ（ピッチ角）を模式的に示した図である。 本実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。 特徴点の抽出を説明するための図である。 特徴点の抽出を説明するための図である。 特徴点の抽出を説明するための図である。 車線境界点の選択を説明するための図である。 遠方領域及び近傍領域を説明するための図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布のパターンを示す図である。 車線境界点の分布に応じた走路パラメータ毎のシステムノイズの設定の一例を示す図である。 本実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。 パーティクルフィルタを用いた例を説明するための図である。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
　図１に示すように、本実施の形態の走路推定装置１０は、車両前方領域を連続的に撮像する撮像装置１２と、走路パラメータを推定する処理を実行するコンピュータ１６と、を備えている。
　撮像装置１２は、車両前方の対象領域を撮像し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
　コンピュータ１６は、走路推定装置１０全体の制御を司るＣＰＵ２０と、後述する走路推定処理ルーチンのプログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ２２と、ワークエリアとしてデータを一時的に格納するＲＡＭ２４と、各種情報が記憶された記憶手段としてのメモリ２６と、入出力ポート（Ｉ／Ｏポート）２８と、これらを相互に接続するバスと、を含んで構成されている。Ｉ／Ｏポート２８には、撮像装置１２が接続されている。
　本実施の形態の走路推定装置１０は、撮像装置１２により撮像された撮像画像から、車線を示す特徴点（車線境界点）を抽出し、この特徴点を観測値としてカルマンフィルタを用いて走路パラメータを推定する。
　また、走路パラメータとしては、自車両が走行する走路に対する自車両の位置及び姿勢に関する走路パラメータ、並びに自車両が走行する走路の形状及び大きさに関する走路パラメータを推定する。より具体的には、走路に対する自車両の位置及び姿勢に関する走路パラメータを、走路の左側境界を示す車線、右側境界を示す車線、または中央線に対する自車両の横位置ｅｋ｜ｋ、走路の中央線に対するヨー角θｋ｜ｋ、及び走路の平面に対するピッチ角φｋ｜ｋとし、走路の形状及び大きさに関する走路パラメータを、走路の曲率ｃｋ｜ｋ、及び走路の車線幅ｗｋ｜ｋとする。これら５つの走路パラメータを合わせて走路パラメータと呼ぶ場合には、走路パラメータｘｋ｜ｋ（ｘｋ｜ｋ＝（ｅｋ｜ｋ　θｋ｜ｋ　φｋ｜ｋ　ｃｋ｜ｋ　ｗｋ｜ｋ））とする。図２Ａ～図２Ｃに、走路パラメータとして推定を行う横位置、ヨー角、ピッチ角、曲率（走路の形状）及び車線幅を模式的に示す。
　このような処理を実行するコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図３に示すように、撮像装置１２で撮像された撮像画像を取得して、撮像画像から特徴点を抽出する特徴点抽出部３０と、抽出された特徴点から車線を示す車線境界点を選択する車線境界点選択部３２と、車線境界点の分布を判定する分布判定部３４と、車線境界点の分布に基づいてシステムノイズの各々を設定するシステムノイズ設定部３６と、車線境界点、過去の推定結果、及び設定されたシステムノイズに基づいて走路パラメータを推定する走路パラメータ推定部３８と、を含んだ構成で表すことができる。
　特徴点抽出部３０は、例えば、図４Ａに示すような撮像画像に対して、図４Ｂに示すように、水平方向に走査して画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。図４Ｃに、抽出された特徴点を模式的に表した一例を示す。
　車線境界点選択部３２は、特徴点抽出部３０で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。車線が複数存在する場合には、最も内側の左右１対の車線を示す車線境界点を選択する。図５に、選択された車線境界点を模式的に表した一例を示す。
　なお、特徴点抽出部３０及び車線境界点選択部３２が、本発明の抽出手段の一例である。
　分布判定部３４は、車線境界点選択部３２で選択された車線境界点がどのような分布かを判定する。本実施の形態では、車線境界点が遠方領域及び近傍領域の両方に分布しているか、遠方領域にのみ分布しているか、または近傍領域にのみ分布しているかを判定する。また、左側境界を示す車線境界点及び右側境界を示す車線境界点の両方が存在する分布か、左側境界を示す車線境界点のみが存在する分布か、または右側境界を示す車線境界点のみが存在する分布かを判定する。また、選択された車線境界点の総数が予め定めた所定数以下か否かも判定する。車線境界点の総数が所定数以下の分布を観測値なしの分布という。
　ここで、遠方領域及び近傍領域に車線境界点が存在するか否かの判定について説明する。まず、図６に示すように、撮像画像の左上端の画素を原点として、水平方向をｘ軸、垂直方向をｙ軸とする。消失点の位置のｙ座標ｙａ、撮像画像のｙ座標の最大値をｙｂとして、ｙｃ＝ｙａ＋ｋ（ｙｂ－ｙａ）となるｙ座標ｙｃを設定する。なお、ｋは、０＜ｋ＜１の値とし、例えば１／３とすることができる。また、撮像装置１２の取り付け角度等を考慮し、撮像装置１２からの距離が例えば２０ｍとなる位置に対応する撮像画像上のｙ座標をｙｃとして設定するようにしてもよい。そして、ｙ座標がｙａ～ｙｃの範囲を遠方領域、ｙ座標がｙｃ～ｙｂの範囲を近傍領域とする。
　次に、左側境界を示す車線境界点のｙ座標の最小値をＬＦとし、ＬＦ≦ｙｃであれば、車線境界点が左側遠方領域に存在すると判定する。また、左側境界を示す車線境界点のｙ座標の最大値をＬＮとし、ＬＮ＞ｙｃであれば、車線境界点が左側近傍領域に存在すると判定する。同様に、右側境界を示す車線境界点のｙ座標の最小値をＲＦ、最大値をＲＮとして、ｙｃと比較して車線境界点が右側遠方領域または右側近傍領域に存在するかを判定する。なお、車線境界点が遠方領域及び近傍領域に存在するか否かを判定するためのｙ座標閾値Ｔｆ及びＴｎを各々設けて、ＬＦ（ＲＦ）≦Ｔｆであれば、車両境界点が遠方領域に存在、ＬＮ≧Ｔｎであれば、車両境界点が近傍領域に存在すると判定するようにしてもよい。
　上記のように、車線境界点が遠方領域または近傍領域に分布するか、及び左側または右側に分布するかを判定するため、車線境界点の分布のパターンは、図７Ａ～図７Ｐに示すようなパターンに分類される。図７Ｐは、観測値なしの分布である。
　システムノイズ設定部３６は、分布判定部３４で判定された車線境界点の分布に基づいて、推定する走路パラメータｘｋ｜ｋの各々に対応したシステムノイズを設定する。システムノイズは、今回の観測に基づいて前回の推定結果を変動させて今回の走路パラメータを推定する際に走路パラメータを変動させる度合いを示すものである。
　車線境界点が遠方領域及び近傍領域、並びに左右両側に分布している場合には、走路パラメータｘｋ｜ｋの全てを安定して推定することができる。しかし、例えば、車線境界点が遠方領域にのみ分布する場合には、自車両の横位置ｅｋ｜ｋや車線幅ｗｋ｜ｋ等の走路パラメータの推定精度が低下するため、推定結果が不安定となる。そこで、車線境界点の分布に応じて観測状況を判断して走路パラメータの各々に対応するシステムノイズを設定するものである。
　図８に、システムノイズの設定方法の一例を示す。横位置ｅｋ｜ｋは、車線境界点が近傍領域に分布する場合、ヨー角θｋ｜ｋは、車線境界点が所定数以上存在する場合（観測値ありの場合）、ピッチ角φｋ｜ｋは、車線境界点が左右両側に分布している場合、曲率ｃｋ｜ｋは、車線境界点が近傍領域から遠方領域にかけて分布している場合、車線幅ｗｋ｜ｋは、車線境界点が近傍領域の左右両側に分布している場合に、比較的安定してパラメータを推定することができる。そこで、分布判定部３４で判定された車線境界点の分布のパターンが、車線境界点が全ての領域に存在する「遠近左右あり」、遠方領域にのみ存在する「遠方のみ」、近傍領域にのみ存在する「近傍のみ」、左側境界を示す車線境界点及び右側境界を示す車線境界点の両方が存在する「左右あり」、左側境界または右側境界の片側の境界を示す車線境界点のみ存在する「片側のみ」、及び車線境界点の総数が所定数以下の「観測値なし」のいずれの分布の種類に該当するかを判定する。図８の分布の種類名の下段のアルファベットは、図７Ａ～図７Ｐの各分布のパターンに対応する。「左右あり」には、図７Ａ、図７Ｆ及び図７Ｊのパターンは含まれない。また、図７Ｈ及び図７Ｎのパターンは、「遠方のみ」及び「片側のみ」の両方に該当する。また、図７Ｌ及び図７Ｏのパターンは、「近傍のみ」及び「片側のみ」の両方に該当する。
　また、図８に示すように、分布の種類毎に走路パラメータの各々に対応するシステムノイズの設定方法が定められている。例えば、「遠方のみ」の場合には、横位置ｅｋ｜ｋ、曲率ｃｋ｜ｋ及び車線幅ｗｋ｜ｋに対応するシステムノイズについて、「ノイズ小」と定められている。「ノイズ小」の場合には、そのシステムノイズを小さく設定（例えば、「０」に設定）し、「ノイズ小」ではない場合には、従来の手法に従ってシステムノイズを設定する。また、システムノイズを小さく設定するとは、走路パラメータ推定の際の変動の度合いを小さくすることであり、該当する走路パラメータを更新しないように設定することを含む。走路パラメータは、システムノイズが大きいほど変動し易く、小さいほど変動し難く安定した推定結果が得られる。
　なお、分布判定部３４及びシステムノイズ設定部３６が、本発明の設定手段の一例である。
　走路パラメータ推定部３８は、下記に示すカルマンフィルタの式に従って、走路パラメータｘｋ｜ｋを推定する。
Figure JPOXMLDOC01-appb-M000001
  
　ｘｋ｜ｋは時刻ｋにおける内部状態（走路パラメータ）、ｙｋはｙｋ＝［ｙｋ １・・・ｙｋ ｍ］Ｔで表される観測値（車線境界点の座標）、ｆｋは状態遷移関数、ｈｋは観測関数、Ｆｋは時刻ｋにおける状態遷移行列、Ｇｋは時刻ｋにおける駆動行列、Ｈｋは観測行列、Σｋ｜ｋは時刻ｋにおける推定誤差共分散行列、Σｋ＋１｜ｋは時刻ｋにおける予測誤差共分散行列、Σｗｋは時刻ｋにおけるシステムノイズの共分散行列、Σｖｋは時刻ｋにおける観測ノイズの共分散行列である。システムノイズ設定部３６で設定されるシステムノイズは、（５）式のΣｗｋである。そして、車線境界点の座標を観測値ｙｋとして与え、走路パラメータｘｋ｜ｋを推定する。
　次に、図９を参照して、本実施の形態に係る走路推定装置１０のコンピュータ１６において実行される走路推定処理ルーチンについて説明する。本ルーチンは、ＲＯＭ２２に記憶された走路推定プログラムをＣＰＵ２０が実行することにより行われる。
　ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像の画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。
　次に、ステップ１０４で、上記ステップ１０２で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。
　次に、ステップ１０６で、上記ステップ１０４で選択された車線境界点がどのような分布かを判定する。まず、車線境界点の総数が所定数以下か否かを判定し、車線境界点の総数が所定数以下であれば、図７Ｐのパターンの観測値なしの分布であると判定する。次に、左側境界を示す車線境界点のｙ座標の最小値をＬＦとし、ＬＦ≦ｙｃであれば、車線境界点が左側遠方領域に存在すると判定する。また、左側境界を示す車線境界点のｙ座標の最大値をＬＮとし、ＬＮ＞ｙｃであれば、車線境界点が左側近傍領域に存在すると判定する。同様に、右側境界を示す車線境界点のｙ座標の最小値をＲＦ、最大値をＲＮとして、ｙｃと比較して車線境界点が右側遠方領域または右側近傍領域に存在するかを判定する。これらの判定により、車線境界点の分布が図７Ａ～図７Ｏのいずれに該当するかを判定する。例えば、車線境界点が左側遠方領域、左側近傍領域、右側遠方領域、及び右側近傍領域のいずれにも存在している場合には、図７Ａのパターンであると判定される。また、車線境界点が左側遠方領域及び右側遠方領域にのみ存在している場合には、図７Ｆのパターンであると判定される。
　次に、ステップ１０８で、上記ステップ１０６で判定された車線境界点の分布に基づいて、推定する走路パラメータｘｋ｜ｋの各々に対応したシステムノイズを設定する。図８に示すような、予め定められた車線境界点とシステムノイズとの対応を参照して、車線境界点の分布のパターンに対応した各システムノイズの設定を読み込み、上記（５）式のΣｗｋに設定する。例えば、上記ステップ１０６で判定された車線境界点の分布が図７Ｆのパターンであった場合には、分布の種類が「遠方のみ」に該当するため、横位置ｅｋ｜ｋ、曲率ｃｋ｜ｋ及び車線幅ｗｋ｜ｋの走路パラメータに対応するシステムノイズを小さく設定する。また、車線境界点の分布が図７Ｎのパターンであった場合には、分布の種類が「遠方のみ」及び「片側のみ」に該当するため、上記の走路パラメータに加え、ピッチ角φｋ｜ｋに対応するシステムノイズも小さく設定する。
　次に、ステップ１１０で、上記（１）～（５）式に従って、上記ステップ１０４で選択された車線境界点の座標を観測値ｙｋとして与え、走路パラメータｘｋ｜ｋを推定し、推定結果を出力する。出力された推定結果は、図示しない表示装置により表示したり、車両運動を制御する車両運動制御システム等の入力データとして用いたりすることができる。
　以上説明したように、本実施の形態の走路推定装置によれば、車線境界点の分布、すなわち観測値の分布に基づいて、走路パラメータの各々について推定精度が低下するような観測状況であるか否かを判断して、推定精度が低下するような走路パラメータに対応するシステムノイズの設定を小さくして走路パラメータの変動を小さくするため、安定して走路パラメータを推定することができる。
　なお、上記実施の形態では、カルマンフィルタを用いて走路パラメータを推定する場合について説明したが、その他の離散時間信号を扱う確率的（統計的）信号処理に基づくフィルタを用いてもよい。例えば、パーティクルフィルタを用いることができる。その場合、図１０に示すように、（１）走路パラメータの確率をパーティクルの大きさ（重み）で表現し、（２）次時刻における走路パラメータを予測する。この際、例えば車両が車線に対して傾いていれば、次時刻の横位置も変動する等の車両の運動モデルを考慮する。そして、（３）走路パラメータを確率的に拡散させる。変化が大きい場合には広い範囲に、小さい場合には狭い範囲に拡散させる。この拡散させる幅が、本発明のシステムノイズに相当する。そして、（４）各走路パラメータの値の尤もらしさ（尤度）を観測値（車線境界点）を用いて重み付けし、（５）観測値により更新された走路パラメータの確率分布を算出する。
　また、上記実施の形態では、車線境界点の分布を、遠方領域または近傍領域、及び左側または右側に存在するか否かにより判定する場合について説明したが、この場合に限定されない。より詳細な領域に分割して分布を判定してもよいし、遠方領域または近傍領域のみで判定するようにしてもよく、推定する走路パラメータの性質に応じて、観測値である車線境界線の分布が判定できるものであればよい。
　また、本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。
１０ 走路推定装置
１２ 撮像装置
１６ コンピュータ
３０ 特徴点抽出部
３２ 車線境界点選択部
３４ 分布判定部
３６ システムノイズ設定部
３８ 走路パラメータ推定部

Claims (5)

  1. 　自車両周辺を撮像した撮像画像を取得する取得手段と、
    　前記取得手段により取得した撮像画像から、車線を示す特徴点を抽出する抽出手段と、
    　前記抽出手段により抽出された特徴点の分布に基づいて、前記自車両が走行する走路に対する自車両の位置及び姿勢、並びに該走路の形状及び大きさに関する走路パラメータを推定する際の該走路パラメータの変動の度合いを示すシステムノイズを設定する設定手段と、
    　前記抽出手段により抽出された特徴点、過去の前記走路パラメータの推定結果、及び前記設定手段により設定されたシステムノイズに基づいて、離散時間信号を扱う確率的信号処理により前記走路パラメータを推定する推定手段と、
    　を含む走路推定装置。
  2. 　前記走路に対する自車両の位置及び姿勢に関する走路パラメータを、該走路に対する自車両の横位置、該走路の中央線に対するヨー角、及び該走路の平面に対するピッチ角とし、前記走路の形状及び大きさに関する走路パラメータを、該走路の曲率及び該走路の車線幅とした請求項１記載の走路推定装置。
  3. 　前記設定手段は、前記特徴点が撮像画像上の遠方領域にのみ分布する場合には、前記走路の曲率、前記走路の車線幅、及び前記走路に対する自車両の横位置に対応するシステムノイズの各々を小さくし、前記特徴点が撮像画像上の近傍領域にのみ分布する場合には、前記走路の曲率に対応するシステムノイズを小さくし、前記車線の左側境界を示す特徴点または右側境界を示す特徴点のみが分布している場合には、前記走路の車線幅、及び前記走路の平面に対するピッチ角に対応するシステムノイズの各々を小さくし、前記特徴点が予め定めた所定数以上存在しない場合には、全ての走路パラメータに対応するシステムノイズの各々を小さくする請求項２記載の走路推定装置。
  4. 　コンピュータを、
    　自車両周辺を撮像した撮像画像を取得する取得手段、
    　前記取得手段により取得した撮像画像から、車線を示す特徴点を抽出する抽出手段、
    　前記抽出手段により抽出された特徴点の分布に基づいて、前記自車両が走行する走路に対する自車両の位置及び姿勢、並びに該走路の形状及び大きさに関する走路パラメータを推定する際の該走路パラメータの変動の度合いを示すシステムノイズを設定する設定手段、及び
    　前記抽出手段により抽出された特徴点、過去の前記走路パラメータの推定結果、及び前記設定手段により設定されたシステムノイズに基づいて、離散時間信号を扱う確率的信号処理により前記走路パラメータを推定する推定手段
    　として機能させるための走路推定プログラム。
  5. 　コンピュータを、請求項１～請求項３のいずれか１項記載の走路推定装置を構成する各手段として機能させるための走路推定プログラム。
PCT/JP2011/071898 2010-09-24 2011-09-26 走路推定装置及びプログラム WO2012039496A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
BR112013006124-3A BR112013006124B1 (pt) 2010-09-24 2011-09-26 aparelho de estimativa de percurso
CN201180042149.0A CN103098111B (zh) 2010-09-24 2011-09-26 行驶道路推定装置及程序
EP11826938.0A EP2620930B1 (en) 2010-09-24 2011-09-26 Track estimation device and program
US13/820,030 US8948455B2 (en) 2010-09-24 2011-09-26 Travel path estimation apparatus and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-214025 2010-09-24
JP2010214025A JP5258859B2 (ja) 2010-09-24 2010-09-24 走路推定装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2012039496A1 true WO2012039496A1 (ja) 2012-03-29

Family

ID=45873975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071898 WO2012039496A1 (ja) 2010-09-24 2011-09-26 走路推定装置及びプログラム

Country Status (6)

Country Link
US (1) US8948455B2 (ja)
EP (1) EP2620930B1 (ja)
JP (1) JP5258859B2 (ja)
CN (1) CN103098111B (ja)
BR (1) BR112013006124B1 (ja)
WO (1) WO2012039496A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091877A1 (ja) * 2012-12-12 2014-06-19 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378186B2 (ja) 2004-02-06 2009-12-02 キヤノン株式会社 有機ｅｌ素子アレイ
JP5970811B2 (ja) 2011-12-28 2016-08-17 セイコーエプソン株式会社 発光素子、発光装置および電子機器
RU2647688C2 (ru) * 2013-09-27 2018-03-16 Ниссан Мотор Ко., Лтд. Система представления информации
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
CN108885831B (zh) * 2016-03-24 2020-04-14 日产自动车株式会社 行进路检测方法及行进路检测装置
CN106092121B (zh) * 2016-05-27 2017-11-24 百度在线网络技术（北京）有限公司 车辆导航方法和装置
JP6293213B2 (ja) * 2016-08-01 2018-03-14 三菱電機株式会社 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
US10916135B2 (en) 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
CN112733874B (zh) * 2020-10-23 2023-04-07 招商局重庆交通科研设计院有限公司 基于知识图谱推理的可疑车辆判别方法
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법
CN112465831B (zh) * 2020-11-16 2023-10-20 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08261756A (ja) * 1994-11-10 1996-10-11 Toyota Central Res & Dev Lab Inc 走行レーン認識装置
JPH1123291A (ja) * 1997-07-04 1999-01-29 Nissan Motor Co Ltd 車両用画像処理装置
JP2000036037A (ja) * 1998-07-16 2000-02-02 Toyota Central Res & Dev Lab Inc 走行路認識装置
JP2002109695A (ja) 2000-10-02 2002-04-12 Nissan Motor Co Ltd 車両の走行路認識装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3538476B2 (ja) * 1995-05-12 2004-06-14 本田技研工業株式会社 車両の走行路区分線などの認識装置
DE69736764T2 (de) * 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
JP3695315B2 (ja) * 2000-11-14 2005-09-14 日産自動車株式会社 車両用表示装置
JP4086759B2 (ja) * 2002-11-05 2008-05-14 ダイハツ工業株式会社 道路モデルの推定装置及びその推定方法
US7660436B2 (en) * 2003-06-13 2010-02-09 Sarnoff Corporation Stereo-vision based imminent collision detection
JP3864945B2 (ja) 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
CN100535954C (zh) * 2005-08-30 2009-09-02 珠海金联安软件有限公司 多功能行车、停车引导报警系统
CN100403332C (zh) * 2006-11-02 2008-07-16 东南大学 用于车道偏离报警的车道线鲁棒识别方法
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
JP5058002B2 (ja) * 2008-01-21 2012-10-24 株式会社豊田中央研究所 物体検出装置
JP2010191661A (ja) * 2009-02-18 2010-09-02 Nissan Motor Co Ltd 走行路認識装置、自動車及び走行路認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08261756A (ja) * 1994-11-10 1996-10-11 Toyota Central Res & Dev Lab Inc 走行レーン認識装置
JPH1123291A (ja) * 1997-07-04 1999-01-29 Nissan Motor Co Ltd 車両用画像処理装置
JP2000036037A (ja) * 1998-07-16 2000-02-02 Toyota Central Res & Dev Lab Inc 走行路認識装置
JP2002109695A (ja) 2000-10-02 2002-04-12 Nissan Motor Co Ltd 車両の走行路認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2620930A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014091877A1 (ja) * 2012-12-12 2014-06-19 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
CN104854637A (zh) * 2012-12-12 2015-08-19 日产自动车株式会社 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
JP5962771B2 (ja) * 2012-12-12 2016-08-03 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
CN104854637B (zh) * 2012-12-12 2016-08-24 日产自动车株式会社 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
JPWO2014091877A1 (ja) * 2012-12-12 2017-01-05 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
US9740942B2 (en) 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method

Also Published As

Publication number Publication date
BR112013006124A2 (pt) 2016-05-31
JP2012068961A (ja) 2012-04-05
EP2620930B1 (en) 2016-08-31
CN103098111B (zh) 2015-12-16
EP2620930A4 (en) 2015-09-16
US20130177211A1 (en) 2013-07-11
JP5258859B2 (ja) 2013-08-07
US8948455B2 (en) 2015-02-03
EP2620930A1 (en) 2013-07-31
BR112013006124B1 (pt) 2021-03-09
CN103098111A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
WO2012039496A1 (ja) 走路推定装置及びプログラム
US7209832B2 (en) Lane recognition image processing apparatus
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
EP3070430B1 (en) Moving body position estimation device and moving body position estimation method
US7346190B2 (en) Traffic line recognition device
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JP2011243161A (ja) 車線境界検出装置、車線境界検出プログラム
JP2011022995A (ja) 消失点推定装置およびプログラム
US11462052B2 (en) Image processing device, image processing method, and recording medium
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
Cerri et al. Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images
US11354794B2 (en) Deposit detection device and deposit detection method
US20210090260A1 (en) Deposit detection device and deposit detection method
US10853947B2 (en) Device, method, and program for detecting boundary lines included in captured images
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
JP5760523B2 (ja) 走路推定装置及びプログラム
JP2005157733A (ja) 車線認識装置および車線認識方法
CN113345087A (zh) 基于单目视觉的地表模型拟合方法和装置
JP5472137B2 (ja) 境界検出装置、および境界検出プログラム
JP2008257399A (ja) 画像処理装置
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
KR20230094853A (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JP5614100B2 (ja) 画像処理装置及び移動体位置推定方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180042149.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11826938

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13820030

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011826938

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011826938

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013006124

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013006124

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130314