JP5082955B2

JP5082955B2 - Vehicle detection apparatus and method, and program

Info

Publication number: JP5082955B2
Application number: JP2008066015A
Authority: JP
Inventors: 武庄司; 宏礼小板橋
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2008-03-14
Filing date: 2008-03-14
Publication date: 2012-11-28
Anticipated expiration: 2028-03-14
Also published as: JP2009223504A

Description

本発明は、車両検出装置および方法、並びに、プログラムに関し、前方の車両の位置を検出する画像処理装置および方法、並びに、プログラムに関する。 The present invention relates to a vehicle detection device and method, and a program, and more particularly to an image processing device and method for detecting the position of a vehicle ahead, and a program.

従来、前方の車両（以下、前方車両と称する）を撮影した車両画像のエッジヒストグラムに基づいて、前方車両の輪郭の候補点を求めるとともに、カルマンフィルタを用いて前方車両の軌道を予測し、予測結果に基づいて、各候補点の中から実際に車両の輪郭に対応する対応点を検索し、前方車両の認識を行うことが提案されている（例えば、特許文献１参照）。 Conventionally, a candidate point for a contour of a forward vehicle is obtained based on an edge histogram of a vehicle image obtained by photographing a forward vehicle (hereinafter referred to as a forward vehicle), and a trajectory of the forward vehicle is predicted using a Kalman filter. Based on the above, it has been proposed to search a corresponding point corresponding to the contour of the vehicle from among the candidate points and recognize the vehicle ahead (see, for example, Patent Document 1).

特許３３４９００２号公報Japanese Patent No. 3349002

しかしながら、特許文献１に記載の発明では、前方車両の近くに車両の端部と似た特徴を持つものが連続して存在する場合、車両の端部を誤検出してしまう恐れがあった。 However, in the invention described in Patent Document 1, when there are consecutive things having characteristics similar to the end of the vehicle near the preceding vehicle, there is a possibility that the end of the vehicle is erroneously detected.

例えば、図１は、前方に進行中の車両から車両の前方を連続して撮影した画像を模式的に表した図である。画像ＩＭ１乃至ＩＭ３は、画像ＩＭ１、画像ＩＭ２、画像ＩＭ３の順に撮影され、全ての画像において前方車両であるバス１が写っている。また、バス１が走行中の車線のすぐ左側には電柱２−１、２−２・・・が連続して存在し、バス１の左端Ｌｃと電柱２−１とが接近した状態となっている。 For example, FIG. 1 is a diagram schematically illustrating images obtained by continuously capturing the front of a vehicle from a vehicle traveling forward. The images IM1 to IM3 are taken in the order of the image IM1, the image IM2, and the image IM3, and the bus 1 that is the preceding vehicle is shown in all the images. In addition, the utility poles 2-1, 2-2, ... are continuously present on the left side of the lane in which the bus 1 is traveling, and the left end Lc of the bus 1 and the utility pole 2-1 are in close proximity. Yes.

この例の場合、バス１の右端Ｒｃ、左端Ｌｃおよび電柱２−１は、ほぼ同じ方向のエッジを有し、エッジヒストグラムにおいて非常に似た分布を示す。そのため、特許文献１に記載の発明では、バス１の左端Ｌｃの代わりに電柱２−１の左端Ｌｃ'が、バス１の左端として誤検出されてしまう恐れがあった。 In the case of this example, the right end Rc, the left end Lc, and the utility pole 2-1 of the bus 1 have edges in substantially the same direction, and show a very similar distribution in the edge histogram. Therefore, in the invention described in Patent Document 1, the left end Lc ′ of the utility pole 2-1 may be erroneously detected as the left end of the bus 1 instead of the left end Lc of the bus 1.

本発明は、このような状況に鑑みてなされたものであり、より正確に前方の車両の位置を検出できるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to detect the position of a vehicle ahead more accurately.

本発明の一側面の車両検出装置は、車両までの距離を取得する距離取得手段と、車両を撮影した画像に基づいて、車両の横方向の両端の位置を検出する車両位置検出手段と、車両の横方向の位置、車両までの距離、車両の横方向の速度、車両の距離方向の速度、および、不変の変数としての車両の幅を含む現在の状態変数と過去の状態変数との関係を表す状態方程式、並びに、距離取得手段により取得される車両までの距離、および、車両位置検出手段により検出される車両の横方向の両端の位置を含む観測値と状態変数との関係を表す出力方程式に基づいて状態変数を推定するフィルタにより、過去の状態変数に基づいて、現在の状態変数を予測し、現在の観測値に基づいて、現在の状態変数を訂正する状態変数推定手段と、訂正された現在の状態変数を出力方程式に適用することにより、現在の車両の横方向の両端の位置を計算する車両位置計算手段とを備える。 A vehicle detection device according to one aspect of the present invention includes a distance acquisition unit that acquires a distance to a vehicle, a vehicle position detection unit that detects positions of both ends of the vehicle in the lateral direction based on an image of the vehicle, and a vehicle The relationship between current state variables and past state variables , including lateral position, vehicle distance, vehicle lateral speed, vehicle distance speed, and vehicle width as an invariant variable. State equation to be expressed, and output equation representing the relationship between the observed value including the distance to the vehicle acquired by the distance acquiring unit and the positions of both ends of the vehicle detected by the vehicle position detecting unit and the state variable the filter that estimates the state variables on the basis of, based on the past state variables, to predict the current state variable, based on the current observed value, and a state variable estimation means for correcting the current state variables are corrected Present By applying the state variables to the output equation, and a vehicle position calculating means for calculating the position of the lateral ends of the current vehicle.

本発明の一側面の車両検出装置においては、車両までの距離が取得され、車両を撮影した画像に基づいて、車両の横方向の両端の位置が検出され、車両の横方向の位置、車両までの距離、車両の横方向の速度、車両の距離方向の速度、および、不変の変数としての車両の幅を含む現在の状態変数と過去の状態変数との関係を表す状態方程式、並びに、取得される車両までの距離、および、検出される車両の横方向の両端の位置を含む観測値と状態変数との関係を表す出力方程式に基づいて状態変数を推定するフィルタにより、過去の状態変数に基づいて、現在の状態変数が予測され、現在の観測値に基づいて、現在の状態変数が訂正され、訂正された現在の状態変数を出力方程式に適用することにより、現在の車両の横方向の両端の位置が計算される。 In the vehicle detection device according to one aspect of the present invention, the distance to the vehicle is acquired, and the positions of both ends in the lateral direction of the vehicle are detected based on an image obtained by capturing the vehicle. distance, lateral velocity of the vehicle, the distance direction of the velocity of the vehicle, and the state equations representing the relationship between the current state variables and past state variables including the width of the vehicle as variables unchanged, and are obtained Based on past state variables by a filter that estimates the state variables based on the output equation that represents the relationship between the state variables and the observed values including the distance to the vehicle to be detected and the positions of both ends of the detected vehicle in the lateral direction. The current state variable is predicted, based on the current observation, the current state variable is corrected, and the corrected current state variable is applied to the output equation to generate lateral ends of the current vehicle. Is the total position It is.

従って、より正確に前方の車両の位置を検出することができる。 Therefore, the position of the vehicle ahead can be detected more accurately.

この状態変数推定手段は、例えば、CPU（Central Processing Unit）により構成される。 This state variable estimation means is constituted by, for example, a CPU (Central Processing Unit).

この状態変数は、車両の寸法を含むようにすることができる。 This state variable may include the dimensions of the vehicle.

これにより、より正確に前方の車両の寸法を検出することができる。 Thereby, the dimension of the vehicle ahead can be detected more accurately.

この車両位置検出手段には、画像に基づいて、車両の上下方向の両端の位置をさらに検出させ、状態変数に、車両の上下方向の位置、および、不変の変数としての車両の高さをさらに含ませ、観測値に、車両位置検出手段により検出される車両の上下方向の両端の位置をさらに含ませ、この車両位置計算手段には、現在の車両の上下方向の両端の位置をさらに計算させることができる。The vehicle position detection means further detects the positions of both ends of the vehicle in the vertical direction based on the image, and further adds the vertical position of the vehicle and the height of the vehicle as an invariant variable to the state variables. And the observed value further includes the positions of both ends in the vertical direction of the vehicle detected by the vehicle position detecting means, and the vehicle position calculating means further calculates the positions of both ends in the vertical direction of the current vehicle. be able to.

このフィルタは、カルマンフィルタまたはパーティクルフィルタとすることができる。 This filter can be a Kalman filter or a particle filter.

これにより、カルマンフィルタまたはパーティクルフィルタを用いて、車両の位置を検出することができる。 Thereby, the position of the vehicle can be detected using the Kalman filter or the particle filter.

この車両の横方向の両端の位置の観測値は、三次元空間の座標系により表すことができる。 The observed values of the positions at both ends in the lateral direction of the vehicle can be represented by a coordinate system in a three-dimensional space.

これにより、三次元空間における車両の位置を迅速に求めることができる。 Thereby, the position of the vehicle in the three-dimensional space can be quickly obtained.

本発明の一側面の車両検出方法またはプログラムは、車両までの距離を取得する距離取得ステップと、車両を撮影した画像に基づいて、車両の横方向の両端の位置を検出する車両位置検出ステップと、車両の横方向の位置、車両までの距離、車両の横方向の速度、車両の距離方向の速度、および、不変の変数としての車両の幅を含む現在の状態変数と過去の状態変数との関係を表す状態方程式、並びに、距離取得ステップの処理により取得される車両までの距離、および、車両位置検出ステップの処理により検出される車両の横方向の両端の位置を含む観測値と状態変数との関係を表す出力方程式に基づいて状態変数を推定するフィルタにより、過去の状態変数に基づいて、現在の状態変数を予測し、現在の観測値に基づいて、現在の状態変数を訂正する状態変数推定ステップと、訂正された現在の状態変数を出力方程式に適用することにより、現在の車両の横方向の両端の位置を計算する車両位置計算ステップとを含む。 A vehicle detection method or program according to one aspect of the present invention includes a distance acquisition step of acquiring a distance to the vehicle, and a vehicle position detection step of detecting positions of both ends in the lateral direction of the vehicle based on an image obtained by photographing the vehicle. Current and past state variables , including vehicle lateral position, distance to vehicle, vehicle lateral speed, vehicle distance speed, and vehicle width as an invariant variable. A state equation representing the relationship , a distance to the vehicle acquired by the process of the distance acquisition step, and an observed value and a state variable including the positions of both ends of the vehicle in the lateral direction detected by the process of the vehicle position detection step ; the filter that estimates the state variables on the basis of the output equation representing the relationship, based on the past state variables, to predict the current state variable, based on the current observed value, varying the current state And a state variable estimation step of correcting, by applying the output equation the corrected current state variable, and a vehicle position calculation step of calculating the position of the lateral ends of the current vehicle.

本発明の一側面の車両検出方法またはプログラムにおいては、車両までの距離が取得され、車両を撮影した画像に基づいて、車両の横方向の両端の位置が検出され、車両の横方向の位置、車両までの距離、車両の横方向の速度、車両の距離方向の速度、および、不変の変数としての車両の幅を含む現在の状態変数と過去の状態変数との関係を表す状態方程式、並びに、取得される車両までの距離、および、検出される車両の横方向の両端の位置を含む観測値と状態変数との関係を表す出力方程式に基づいて状態変数を推定するフィルタにより、過去の状態変数に基づいて、現在の状態変数が予測され、現在の観測値に基づいて、現在の状態変数が訂正され、訂正された現在の状態変数を出力方程式に適用することにより、現在の車両の横方向の両端の位置が計算される。 In the vehicle detection method or program according to one aspect of the present invention, the distance to the vehicle is acquired, the positions of both ends in the lateral direction of the vehicle are detected based on an image obtained by photographing the vehicle, the lateral position of the vehicle, A state equation representing the relationship between the current state variable and the past state variable , including the distance to the vehicle, the lateral speed of the vehicle, the speed of the vehicle in the distance direction, and the width of the vehicle as an invariant variable , and Past state variables by a filter that estimates the state variable based on an output equation representing the relationship between the observed value including the distance to the vehicle to be acquired and the positions of both ends of the detected vehicle in the lateral direction and the state variable based on, the predicted current state variable, based on the current observations, the corrected current state variable by applying the output equation the corrected current state variable, lateral current vehicle Positions of both ends is calculated.

この状態変数推定ステップは、例えば、CPUにより、過去のシステムの状態と現在の前記システムの観測値に基づいて現在の前記システムの状態を推定するフィルタに、前記車両の運動モデルおよび形状モデルの両方に基づき前記車両の現在の状態変数と過去の前記状態変数との関係を表す状態方程式、および、前記車両の位置の観測値と前記状態変数との関係を表す出力方程式を適用したフィルタにより、過去の前記状態変数に基づいて、現在の前記状態変数を予測し、現在の前記観測値に基づいて、現在の前記状態変数を訂正する状態変数推定ステップより構成される。 This state variable estimation step includes, for example, a filter that estimates a current system state based on a past system state and a current observation value of the system by using a CPU and both a motion model and a shape model of the vehicle. Based on a state equation that represents the relationship between the current state variable of the vehicle and the state variable in the past, and an output equation that represents the relationship between the observed value of the vehicle position and the state variable. A state variable estimation step of predicting the current state variable based on the current state variable and correcting the current state variable based on the current observation value.

本発明の一側面によれば、より正確に前方の車両の位置を検出することができる。 According to one aspect of the present invention, the position of the vehicle ahead can be detected more accurately.

以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図２は、本発明を適用した車両検出システムの一実施の形態を示すブロック図である。図２の車両検出システム１０１は、車両検出システム１０１が設けられている車両（以下、自車とも称する）の前方を撮影した画像から前方車両を認識し、前方車両の位置を検出するシステムである。車両検出システム１０１は、カメラ１１１、レーザレーダ１１２および車両検出装置１１３を含むように構成される。 FIG. 2 is a block diagram showing an embodiment of a vehicle detection system to which the present invention is applied. A vehicle detection system 101 in FIG. 2 is a system that recognizes a forward vehicle from an image obtained by photographing the front of a vehicle (hereinafter also referred to as a host vehicle) provided with the vehicle detection system 101 and detects the position of the forward vehicle. . The vehicle detection system 101 is configured to include a camera 111, a laser radar 112, and a vehicle detection device 113.

カメラ１１１は、例えば、CCD（Charge Coupled Devices）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。 The camera 111 is configured by a camera using, for example, a CCD (Charge Coupled Devices) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or a logarithmic conversion type image sensor.

図３は、カメラ１１１の撮影範囲を模式的に表す図である。カメラ１１１は、例えば、図３に示されるように、車両検出システム１０１が設けられている車両１５１から、車両１５１と同じ車線の前方を走行する車両１５２（すなわち、前方車両）を撮影できる位置に設置される。カメラ１１１は、撮影した画像（以下、前方画像と称する）を、車両検出装置１１３のエッジ抽出部１２１に供給する。 FIG. 3 is a diagram schematically illustrating the shooting range of the camera 111. For example, as shown in FIG. 3, the camera 111 is located at a position where a vehicle 152 traveling in front of the same lane as the vehicle 151 (that is, a vehicle ahead) can be photographed from the vehicle 151 provided with the vehicle detection system 101. Installed. The camera 111 supplies a captured image (hereinafter referred to as a front image) to the edge extraction unit 121 of the vehicle detection device 113.

レーザレーダ１１２は、例えば、自車の前方にビーム（レーザ光）を射出するとともに、ビームをスキャンし、ビームの反射光の強度に基づいて、前方車両を検出するとともに、自車から前方車両までの距離を計測する。レーザレーダ１１２は、所定の間隔で、検出した前方車両までの距離を含む情報を車両検出装置１１３の三次元座標計算部１２３に供給する。 For example, the laser radar 112 emits a beam (laser light) in front of the own vehicle, scans the beam, detects the front vehicle based on the intensity of the reflected light of the beam, and from the own vehicle to the front vehicle. Measure the distance. The laser radar 112 supplies information including the detected distance to the preceding vehicle to the three-dimensional coordinate calculation unit 123 of the vehicle detection device 113 at a predetermined interval.

車両検出装置１１３は、図５などを参照して後述するように、カメラ１１１により撮影された前方画像、および、レーザレーダ１１２により計測された前方車両までの距離に基づいて、前方車両の位置を検出する。車両検出装置１１３は、エッジ抽出部１２１、車両位置検出部１２２、三次元座標計算部１２３、および、追跡部１２４を含むように構成される。 As will be described later with reference to FIG. 5 and the like, the vehicle detection device 113 determines the position of the forward vehicle based on the forward image captured by the camera 111 and the distance to the forward vehicle measured by the laser radar 112. To detect. The vehicle detection device 113 is configured to include an edge extraction unit 121, a vehicle position detection unit 122, a three-dimensional coordinate calculation unit 123, and a tracking unit 124.

エッジ抽出部１２１は、所定の手法に基づいて、前方画像のエッジを抽出し、抽出したエッジからなる画像（以下、エッジ画像と称する）を車両位置検出部１２２に供給する。なお、エッジ抽出部１２１が用いるエッジ抽出の手法は、特定の手法に限定されるものではなく、より正確に、より迅速に、かつ、より簡単に画像のエッジを抽出できる手法を適用することが望ましい。 The edge extraction unit 121 extracts an edge of the front image based on a predetermined method, and supplies an image including the extracted edge (hereinafter referred to as an edge image) to the vehicle position detection unit 122. Note that the edge extraction method used by the edge extraction unit 121 is not limited to a specific method, and it is possible to apply a method that can extract an image edge more accurately, more quickly, and more easily. desirable.

車両位置検出部１２２は、図５を参照して後述するように、エッジ画像に基づいて、前方画像における前方車両の左右の両端の位置を検出する。車両位置検出部１２２は、検出した前方車両の左右の両端の前方画像における座標を示す情報を三次元座標計算部１２３に供給する。 As will be described later with reference to FIG. 5, the vehicle position detection unit 122 detects the positions of the left and right ends of the front vehicle in the front image based on the edge image. The vehicle position detection unit 122 supplies the three-dimensional coordinate calculation unit 123 with information indicating the coordinates in the front images of the left and right ends of the detected forward vehicle.

三次元座標計算部１２３は、図５を参照して後述するように、レーザレーダ１１２により計測された前方車両までの距離に基づいて、前方車両の左右の両端の座標を、前方画像における座標系（以下、画像座標系と称する）から実際の三次元空間の座標系（以下、三次元座標と称する）に変換する。三次元座標計算部１２３は、変換した前方車両の左右の両端の座標、および、前方車両までの距離を示す情報を追跡部１２４の状態変数予測部１４１に供給する。 As will be described later with reference to FIG. 5, the three-dimensional coordinate calculation unit 123 calculates the coordinates of the left and right ends of the forward vehicle based on the distance to the forward vehicle measured by the laser radar 112 in the coordinate system in the forward image. (Hereinafter referred to as an image coordinate system) to an actual coordinate system in a three-dimensional space (hereinafter referred to as a three-dimensional coordinate). The three-dimensional coordinate calculation unit 123 supplies information indicating the converted coordinates of the left and right ends of the preceding vehicle and the distance to the preceding vehicle to the state variable prediction unit 141 of the tracking unit 124.

なお、以下、画像座標系を、図４に示されるように、前方画像ＩＭ１１の中心ciを通り、互いに直交する水平方向のxi軸および垂直方向のyi軸からなる座標系とする。また、三次元座標系を、カメラ１１１（不図示）のレンズの中心Crを通り、互いに直交する横方向のXr軸、垂直方向のYr軸、および、カメラ１１１の光軸と等しいZr軸からなる座標系とする。さらに、三次元座標系のZr軸が、前方画像の中心ciを通るものとする。従って、現実世界の点Prの三次元座標系における座標(X,Y,Z)と、点Prが写っている前方画像の点piの座標(x,y)の関係は、以下の式（１）および（２）により表される。 Hereinafter, as shown in FIG. 4, the image coordinate system is a coordinate system including a horizontal xi axis and a vertical yi axis that pass through the center ci of the front image IM11 and are orthogonal to each other. Further, the three-dimensional coordinate system includes a lateral Xr axis, a vertical Yr axis, and a Zr axis that is equal to the optical axis of the camera 111, passing through the center Cr of the lens of the camera 111 (not shown). Coordinate system. Furthermore, it is assumed that the Zr axis of the three-dimensional coordinate system passes through the center ci of the front image. Therefore, the relationship between the coordinates (X, Y, Z) of the point Pr in the real world in the three-dimensional coordinate system and the coordinates (x, y) of the point pi of the forward image in which the point Pr is captured is expressed by the following equation (1). ) And (2).

なお、fはカメラ１１１の焦点距離を表している。 Note that f represents the focal length of the camera 111.

図２に戻り、追跡部１２４は、図６などを参照して後述するように、カルマンフィルタを用いて、前方車両の追跡を行う。追跡部１２４は、状態変数推定部１３１、および、車両位置計算部１３２を含むように構成される。 Returning to FIG. 2, the tracking unit 124 tracks the vehicle ahead using a Kalman filter, as will be described later with reference to FIG. 6 and the like. The tracking unit 124 is configured to include a state variable estimation unit 131 and a vehicle position calculation unit 132.

状態変数推定部１３１は、図６などを参照して後述するように、前方車両の運動モデルおよび形状モデルの両方に基づき前方車両の現在の状態を表す状態変数と過去の状態を表す状態変数との関係を表す状態方程式、および、前方車両の位置の観測値と状態変数との関係を表す出力方程式を適用したカルマンフィルタにより、前方車両の現在の状態変数を推定する。状態変数推定部１３１は、状態変数予測部１４１、および、状態変数訂正部１４２を含むように構成される。 As will be described later with reference to FIG. 6 and the like, the state variable estimation unit 131 includes a state variable representing the current state of the preceding vehicle and a state variable representing the past state based on both the motion model and the shape model of the preceding vehicle. The current state variable of the preceding vehicle is estimated by the Kalman filter to which the state equation representing the relationship between the two and the output equation representing the relationship between the observed value of the position of the preceding vehicle and the state variable is applied. The state variable estimation unit 131 is configured to include a state variable prediction unit 141 and a state variable correction unit 142.

状態変数予測部１４１は、図６などを参照して後述するように、カルマンフィルタの予測部分を用いて、過去の状態変数に基づいて、現在の状態変数を予測する。また、状態変数予測部１４１は、状態変数の誤差の共分散を推定する。状態変数予測部１４１は、前方車両の状態変数の予測値、および、状態変数の誤差の共分散の推定値を示す情報を状態変数訂正部１４２に供給する。 As will be described later with reference to FIG. 6 and the like, the state variable predicting unit 141 predicts the current state variable based on the past state variables using the prediction portion of the Kalman filter. Further, the state variable predicting unit 141 estimates the error state covariance. The state variable prediction unit 141 supplies the state variable correction unit 142 with information indicating the predicted value of the state variable of the preceding vehicle and the estimated value of the covariance of the state variable error.

状態変数訂正部１４２は、図６などを参照して後述するように、カルマンフィルタの訂正部分を用いて、現在の前方車両の位置の観測値に基づいて、現在の前方車両の状態変数を訂正する。また、状態変数訂正部１４２は、前方車両の状態変数の誤差の共分散を訂正する。状態変数訂正部１４２は、訂正後の状態変数を示す情報を、状態変数予測部１４１および車両位置計算部１３２に供給し、訂正後の状態変数の誤差の共分散を示す情報を状態変数予測部１４１に供給する。 As will be described later with reference to FIG. 6 and the like, the state variable correction unit 142 corrects the current front vehicle state variable based on the observation value of the current front vehicle position using the correction portion of the Kalman filter. . Further, the state variable correction unit 142 corrects the error covariance of the state variable of the preceding vehicle. The state variable correcting unit 142 supplies information indicating the corrected state variable to the state variable predicting unit 141 and the vehicle position calculating unit 132, and information indicating the covariance of the corrected state variable error is the state variable predicting unit. 141.

車両位置計算部１３２は、図６などを参照して後述するように、訂正後の状態変数を出力方程式に適用することにより、前方車両の左右の両端の位置を計算する。車両位置計算部１３２は、計算した前方車両の左右の両端の位置、および、前方車両までの距離を示す情報を後段の装置に出力する。 As will be described later with reference to FIG. 6 and the like, the vehicle position calculation unit 132 calculates the positions of the left and right ends of the preceding vehicle by applying the corrected state variable to the output equation. The vehicle position calculation unit 132 outputs information indicating the calculated positions of both left and right ends of the preceding vehicle and the distance to the preceding vehicle to a subsequent apparatus.

次に、図５のフローチャートを参照して、車両検出システム１０１により実行される前方車両検出処理について説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始され、自車のエンジンが停止されたとき終了する。 Next, the front vehicle detection process executed by the vehicle detection system 101 will be described with reference to the flowchart of FIG. This process is started when, for example, the engine of the own vehicle is started, and is ended when the engine of the own vehicle is stopped.

ステップＳ１において、エッジ抽出部１２１は、カメラ１１１により撮影された前方画像を取得する。 In step S <b> 1, the edge extraction unit 121 acquires a front image photographed by the camera 111.

ステップＳ２において、三次元座標計算部１２３は、前方車両までの距離を取得する。すなわち、三次元座標計算部１２３は、レーザレーダ１１２により計測された、三次元座標系における前方車両までの距離Z'を示す情報をレーザレーダ１１２から取得する。 In step S2, the three-dimensional coordinate calculation unit 123 acquires the distance to the preceding vehicle. That is, the three-dimensional coordinate calculation unit 123 acquires information indicating the distance Z ′ to the preceding vehicle in the three-dimensional coordinate system measured by the laser radar 112 from the laser radar 112.

ステップＳ３において、エッジ抽出部１２１は、所定の手法に基づいて、前方画像のエッジを抽出する。エッジ抽出部１２１は、エッジを抽出した画像（エッジ画像）を車両位置検出部１２２に供給する。 In step S3, the edge extraction unit 121 extracts an edge of the front image based on a predetermined method. The edge extraction unit 121 supplies an image (edge image) obtained by extracting an edge to the vehicle position detection unit 122.

ステップＳ４において、車両位置検出部１２２は、前方画像における前方車両の左右の両端の位置を検出する。具体的には、車両位置検出部１２２は、エッジ画像の垂直方向の列毎に画素値の合計値（すなわち、エッジ画像の垂直方向の画素値の合計値）を計算し、計算した合計値のヒストグラムを作成する。車両位置検出部１２２は、作成したヒストグラムに基づいて、前方画像において前方車両の左端および右端と推定される位置の、画像座標系におけるxi軸方向の座標xl'，xr'を検出する。車両位置検出部１２２は、前方車両の左右の両端の座標xl'，xr'を示す情報を三次元座標計算部１２３に供給する。 In step S4, the vehicle position detection unit 122 detects the positions of the left and right ends of the front vehicle in the front image. Specifically, the vehicle position detection unit 122 calculates a total value of pixel values (that is, a total value of pixel values in the vertical direction of the edge image) for each column in the vertical direction of the edge image. Create a histogram. The vehicle position detection unit 122 detects the coordinates xl ′ and xr ′ in the xi axis direction in the image coordinate system of the positions estimated as the left end and the right end of the front vehicle in the front image based on the created histogram. The vehicle position detection unit 122 supplies information indicating the coordinates xl ′ and xr ′ of the left and right ends of the preceding vehicle to the three-dimensional coordinate calculation unit 123.

なお、前方画像において前方車両の両端の位置を検出する方法は、上述した方法に限定されるものではない。 Note that the method of detecting the positions of both ends of the front vehicle in the front image is not limited to the method described above.

ステップＳ５において、三次元座標計算部１２３は、三次元座標系における前方車両の左右の両端の位置を計算する。すなわち、三次元座標計算部１２３は、画像座標系における前方車両の左右の両端の座標xl'，xr'、レーザレーダ１１２により計測された前方車両までの距離Z'、および、既知のカメラ１１１の焦点距離fを、上述した式（１）に代入することにより、前方車両の左右の両端の三次元座標系におけるXr軸方向の座標XL'，XR'を計算する。三次元座標計算部１２３は、前方車両の左右の両端の座標XL'，XR'、および、レーザレーダ１１２により計測された前方車両までの距離Z'を示す情報を状態変数予測部１４１に供給する。 In step S5, the three-dimensional coordinate calculation unit 123 calculates the positions of the left and right ends of the preceding vehicle in the three-dimensional coordinate system. That is, the three-dimensional coordinate calculation unit 123 includes the coordinates xl ′ and xr ′ of the left and right ends of the front vehicle in the image coordinate system, the distance Z ′ to the front vehicle measured by the laser radar 112, and the known camera 111. By substituting the focal length f into the above-described formula (1), the coordinates XL ′ and XR ′ in the Xr-axis direction in the three-dimensional coordinate system at the left and right ends of the preceding vehicle are calculated. The three-dimensional coordinate calculation unit 123 supplies the state variable prediction unit 141 with information indicating the coordinates XL ′ and XR ′ of the left and right ends of the preceding vehicle and the distance Z ′ to the preceding vehicle measured by the laser radar 112. .

ステップＳ６において、追跡部１２４は、追跡処理を行う。ここで、図６のフローチャートを参照して、追跡処理の詳細について説明する。 In step S6, the tracking unit 124 performs a tracking process. Here, the details of the tracking process will be described with reference to the flowchart of FIG.

ステップＳ３１において、状態変数予測部１４１は、前方車両の状態変数を予測する。ここで、図７を参照しながら、車両検出システム１０１において前方車両の位置を検出するために用いられる状態方程式および出力方程式について説明する。 In step S31, the state variable predicting unit 141 predicts the state variable of the preceding vehicle. Here, a state equation and an output equation used for detecting the position of the preceding vehicle in the vehicle detection system 101 will be described with reference to FIG.

車両検出システム１０１においては、車幅W、前方車両の横方向（Xr軸方向）の中心の座標X、自車からの距離Z、自車に対する横方向（Xr軸方向）の相対速度vx、および、自車に対する距離方向（Zr軸方向）の相対速度vzの５種類の状態変数により、前方車両の状態が表される。そして、現在の時刻tにおける状態変数と過去の時刻t-1における状態変数との関係を表す状態方程式が、以下の式（３）乃至（７）により表される。 In the vehicle detection system 101, the vehicle width W, the coordinate X of the center in the lateral direction (Xr axis direction) of the preceding vehicle, the distance Z from the own vehicle, the relative speed vx in the lateral direction (Xr axis direction) with respect to the own vehicle, and The state of the preceding vehicle is represented by five types of state variables of the relative speed vz in the distance direction (Zr axis direction) with respect to the host vehicle. A state equation representing the relationship between the state variable at the current time t and the state variable at the past time t−1 is expressed by the following equations (3) to (7).

W_t＝W_t-1 ・・・（３）
X_t＝X_t-1+Δt×vx_t-1 ・・・（４）
Z_t＝Z_t-1+Δt×vz_t-1 ・・・（５）
vx_t＝vx_t-1 ・・・（６）
vz_t＝vz_t-1 ・・・（７）
なお、Δtは、時刻t-1と時刻tの間の時間を表す。 W _t = W _t-1 (3)
X _t = X _t-1 + Δt × vx _t-1 (4)
Z _t = Z _t-1 + Δt × vz _t-1 (5)
vx _t = vx _t-1 (6)
vz _t = vz _t-1 (7)
Δt represents the time between time t-1 and time t.

ここで、式（３）は、前方車両の形状モデルに基づいて求められる方程式である。すなわち、式（３）は、前方車両の車幅が不変であることに基づき導出される方程式である。また、式（４）乃至（７）は、前方車両の運動モデルに基づいて求められる方程式である。すなわち、式（４）乃至（７）は、前方車両が自車に対して等速直線運動をしているとの仮定に基づき導出される方程式である。 Here, Equation (3) is an equation obtained based on the shape model of the preceding vehicle. That is, Equation (3) is an equation derived based on the fact that the vehicle width of the preceding vehicle is unchanged. Equations (4) to (7) are equations obtained based on the motion model of the forward vehicle. That is, the equations (4) to (7) are equations derived based on the assumption that the preceding vehicle is moving at a constant linear velocity relative to the host vehicle.

なお、式（３）乃至（７）においては、全ての状態変数が、三次元座標系における値により表される。 In equations (3) to (7), all state variables are represented by values in a three-dimensional coordinate system.

また、車両検出システム１０１においては、カメラ１１１により撮影された前方画像おおよびレーザレーダ１１２の測定値により観測される前方車両の位置の観測値と、上述した式（３）乃至（７）に基づいて計算される状態変数との関係を表す出力方程式が、以下の式（８）乃至（１０）により表される。 Further, in the vehicle detection system 101, based on the front image taken by the camera 111 and the observed value of the position of the front vehicle observed by the measured value of the laser radar 112, and the above-described equations (3) to (7). The output equations representing the relationship with the state variables calculated in this way are expressed by the following equations (8) to (10).

なお、XL'_tおよびXR'_tは、前方画像に基づいて観測される、現在の時刻tにおける前方車両の左端および右端の三次元座標系におけるXr軸方向の座標を表し、Z'_tは、レーザレーダ１１２により観測される、現在の時刻tにおける前方車両の自車からの距離の三次元座標系における値を表している。 Note that XL ′ _t and XR ′ _t represent the coordinates in the Xr-axis direction in the three-dimensional coordinate system of the left end and the right end of the preceding vehicle at the current time t, observed based on the front image, and Z ′ _t It represents the value in the three-dimensional coordinate system of the distance of the preceding vehicle from the own vehicle at the current time t, which is observed by the laser radar 112.

状態変数予測部１４１は、以下の式（１１）および式（１２）を用いて、時刻tにおける前方車両の状態変数A_t＝(W_t, X_t, Z_t, vx_t, vz_t)^Tの予測値A'_t、および、状態変数の誤差の共分散P'_tを推定する。 The state variable predicting unit 141 uses the following expressions (11) and (12), and the state variables A _t = (W _t , X _t , Z _t , vx _t , vz _t ) ^{T at the time} _t predicted value a _'t, and the covariance P of the error state variables' estimates the _t.

なお、Fは、以下の式（１３）に示されるように、式（３）乃至（７）の状態方程式により決定される５×５の行列、Q_tは、モデル誤差を表す５次元のベクトルである。 Note that F is a 5 × 5 matrix determined by the state equations of Expressions (3) to (7) as shown in the following Expression (13), and Q _t is a five-dimensional vector representing a model error. It is.

すなわち、式（１１）および式（１２）は、式（３）乃至（７）を状態方程式としたカルマンフィルタの予測部分を表す式である。なお、状態変数の初期値A₀とモデル誤差の初期値Q₀は、任意の値とするようにしてもよいし、初回の観測結果に基づいて設定するようにしてもよい。 That is, Expression (11) and Expression (12) are expressions representing the predicted portion of the Kalman filter using Expressions (3) to (7) as state equations. It should be noted that the initial value A ₀ of the state variable and the initial value Q ₀ of the model error may be arbitrary values, or may be set based on the first observation result.

状態変数予測部１４１は、状態変数の予測値A_t'、および、状態変数の誤差の共分散の推定値P_t'を示す情報を状態変数訂正部１４２に供給する。 The state variable prediction unit 141 supplies information indicating the state variable prediction value A _t ′ and the state variable error covariance estimate value P _t ′ to the state variable correction unit 142.

ステップＳ３２において、状態変数訂正部１４２は、前方車両の状態変数を訂正する。具体的には、状態変数訂正部１４２は、時刻tにおける前方車両の状態変数の予測値A'_t、前方車両の位置の観測値B_t＝(XL'_t, XR'_t, Z'_t)^T、および、状態変数の誤差の共分散の推定値P_t'を用い、以下の式（１４）乃至（１６）に基づいて、前方車両の状態変数、および、状態変数の誤差の共分散の値を訂正する。 In step S32, the state variable correction unit 142 corrects the state variable of the preceding vehicle. Specifically, the state variable correction unit 142 determines the predicted value A ′ _t of the state variable of the preceding vehicle at time t and the observed value B _t = (XL ′ _t , XR ′ _t , Z ′ _t ) of the position of the preceding vehicle. ^T and the state variable error covariance estimate P _t ′, and based on the following equations (14) to (16), the vehicle state variable and the state variable error covariance Correct the value.

なお、A_tは時刻tにおける訂正後の前方車両の状態変数を表し、Hは、以下の式（１７）に示されるように、上述した式（８）乃至（１０）の出力方程式により決定される３×５の行列を表し、K_tは時刻tにおけるカルマンゲインを表し、P_tは時刻tにおける訂正後の前方車両の状態変数の誤差の共分散を表す。 Incidentally, A _t represents the state variables of the forward vehicle after correction at time t, H, as shown in the following equation (17), is determined by the output equation of the above equation (8) to (10) K _t represents the Kalman gain at time t, and P _t represents the error covariance of the state variable of the forward vehicle after correction at time t.

すなわち、式（１４）乃至（１６）は、式（８）乃至（１０）を出力方程式としたカルマンフィルタの訂正部分を表す式である。 That is, Expressions (14) to (16) are expressions representing the correction part of the Kalman filter using Expressions (8) to (10) as output equations.

状態変数訂正部１４２は、訂正後の状態変数A_tを示す情報を、状態変数予測部１４１および車両位置計算部１３２に供給し、訂正後の状態変数の誤差の共分散P_tを示す情報を状態変数予測部１４１に供給する。なお、状態変数予測部１４１は、次の時刻t+1における状態変数および状態変数の誤差の共分散を推定するときに、この訂正後の状態変数A_tおよび誤差の共分散P_tを用いる。 State variable correcting section 142, the information indicating the state variable A _t the corrected, is supplied to the state variable prediction unit 141 and the vehicle position calculation unit 132, information indicating the covariance P _t of the error correction after the state variables This is supplied to the state variable prediction unit 141. The state variable prediction unit 141, when estimating the covariance of the error of the state variables and the state variables at the next time t + 1, using the state variable A _t and the error covariance P _t after the correction.

ステップＳ３３において、車両位置計算部１３２は、前方車両の左右の両端の位置を計算する。具体的には、車両位置計算部１３２は、以下の式（１８）および（１９）の出力方程式に基づいて、時刻tにおける前方車両の左端および右端の三次元座標系におけるXr軸方向の座標XL_tおよび座標XR_tを計算する。 In step S33, the vehicle position calculation unit 132 calculates the positions of the left and right ends of the preceding vehicle. Specifically, the vehicle position calculation unit 132 calculates the coordinate XL in the Xr-axis direction in the three-dimensional coordinate system of the left end and the right end of the preceding vehicle at time t based on the following equation (18) and (19). Calculate _t and coordinate XR _t .

車両位置計算部１３２は、計算した前方車両の左端の座標XL_tおよび右端の座標XR_t、並びに、訂正後の状態変数A_tに含まれる自車から前方車両までの距離Z_tを示す情報を後段の装置に出力する。その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。 Vehicle position calculation unit 132 calculated leftmost coordinates of the forward vehicle XL _t and right coordinates XR _t, as well as information indicating the distance Z _t to the preceding vehicle from the vehicle included in the state variable A _t the corrected Output to the subsequent device. Thereafter, the process returns to step S1, and the processes after step S1 are executed.

このようにして、より正確に前方車両の位置を検出することができる。具体的には、前方車両の運動モデルだけでなく形状モデルも用いて前方車両の状態方程式と出力方程式を求め、求めた状態方程式と出力方程式で構成したカルマンフィルタを用いることにより、例えば、上述した図１に示されるような状況においても、バス１の両端を正確に検出することができる。 In this way, the position of the vehicle ahead can be detected more accurately. Specifically, by using not only the motion model of the preceding vehicle but also the shape model, the state equation and output equation of the preceding vehicle are obtained, and by using the Kalman filter configured by the obtained state equation and output equation, for example, the above-described diagram 1, both ends of the bus 1 can be accurately detected.

なお、以上の説明では、前方車両の幅のみを考慮した形状モデルを状態方程式に適用する例を示したが、前方車両のその他の場所の寸法を考慮した形状モデルを状態方程式に適用し、前方車両の各部の位置を検出するようにすることが可能である。例えば、前方車両の幅Wの他に、図８に示される前方車両の高さHを考慮した形状モデルを状態方程式に適用し、前方車両の上端および下端の三次元座標におけるYr軸方向の座標YUおよびYLを求めるようにすることが考えられる。この場合の前方車両の状態方程式は、以下の式（２０）乃至（２６）により表される。 In the above description, an example is shown in which a shape model that considers only the width of the preceding vehicle is applied to the state equation. However, a shape model that takes into account the dimensions of other locations of the preceding vehicle is applied to the state equation, and It is possible to detect the position of each part of the vehicle. For example, in addition to the width W of the preceding vehicle, a shape model that considers the height H of the preceding vehicle shown in FIG. 8 is applied to the equation of state, and the coordinates in the Yr axis direction in the three-dimensional coordinates of the upper and lower ends of the preceding vehicle It is conceivable to seek YU and YL. The state equation of the forward vehicle in this case is expressed by the following equations (20) to (26).

W_t＝W_t-1 ・・・（２０）
X_t＝X_t-1+Δt×vx_t-1 ・・・（２１）
Z_t＝Z_t-1+Δt×vz_t-1 ・・・（２２）
vx_t＝vx_t-1 ・・・（２３）
vz_t＝vz_t-1 ・・・（２４）
H_t＝H_t-1 ・・・（２５）
Y_t＝Y_t-1 ・・・（２６） W _t = W _t-1 (20)
X _t = X _t−1 + Δt × vx _t−1 (21)
Z _t = Z _t-1 + Δt × vz _t-1 (22)
vx _t = vx _t-1 (23)
vz _t = vz _t-1 (24)
H _t = H _t-1 (25)
Y _t = Y _t-1 (26)

なお、式（２０）乃至（２４）は、上述した式（３）乃至（７）と同じである。また、Y_tは、時刻tにおける前方車両の縦方向（Yr軸方向）の中心の座標を表している。 Expressions (20) to (24) are the same as Expressions (3) to (7) described above. Y _t represents the coordinates of the center in the longitudinal direction (Yr axis direction) of the preceding vehicle at time t.

また、この場合の出力方程式は、以下の式（２７）乃至（３１）により表される。 The output equation in this case is expressed by the following equations (27) to (31).

なお、式（２７）乃至（２９）は、上述した式（８）乃至（１０）と同じである。また、YU'_tおよびYL'_tは、前方画像に基づいて観測される、現在の時刻tにおける前方車両の上端および下端の、三次元座標系におけるYr軸方向の座標を表している。 Expressions (27) to (29) are the same as Expressions (8) to (10) described above. YU ′ _t and YL ′ _t represent the coordinates in the Yr axis direction in the three-dimensional coordinate system of the upper and lower ends of the preceding vehicle at the current time t, which are observed based on the forward image.

また、以上の説明では、本発明にカルマンフィルタを適用する例を示したが、例えば、パーティクルフィルタなど、過去のシステムの状態と現在の前記システムの観測値に基づいて現在の前記システムの状態を推定する他のフィルタを適用するようにしてもよい。 In the above description, an example in which the Kalman filter is applied to the present invention has been shown. For example, the current system state is estimated based on the past system state and the current system observation value, such as a particle filter. Other filters may be applied.

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 FIG. 9 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。 In a computer, a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303 are connected to each other by a bus 304.

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。 An input / output interface 305 is further connected to the bus 304. The input / output interface 305 includes an input unit 306 including a keyboard, a mouse, and a microphone, an output unit 307 including a display and a speaker, a storage unit 308 including a hard disk and a nonvolatile memory, and a communication unit 309 including a network interface. A drive 310 that drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, the CPU 301 loads the program stored in the storage unit 308 to the RAM 303 via the input / output interface 305 and the bus 304 and executes the program, for example. Is performed.

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。 The program executed by the computer (CPU 301) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor. It is recorded on a removable medium 311 which is a package medium composed of a memory or the like, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。 The program can be installed in the storage unit 308 via the input / output interface 305 by attaching the removable medium 311 to the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308. In addition, the program can be installed in advance in the ROM 302 or the storage unit 308.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。 Further, in the present specification, the term “system” means an overall apparatus composed of a plurality of apparatuses and means.

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 Furthermore, the embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention.

前方に進行中の車両から車両の前方を連続して撮影した画像を模式的に表した図である。It is the figure which represented typically the image which image | photographed the front of the vehicle continuously from the vehicle in progress ahead. 本発明を適用した車両検出システムの一実施の形態を示すブロック図である。1 is a block diagram showing an embodiment of a vehicle detection system to which the present invention is applied. カメラの撮影範囲を模式的に表す図である。It is a figure which represents typically the imaging range of a camera. 画像座標系と三次元座標系との関係を説明するための図である。It is a figure for demonstrating the relationship between an image coordinate system and a three-dimensional coordinate system. 前方車両検出処理を説明するためのフローチャートである。It is a flowchart for demonstrating a front vehicle detection process. 追跡処理の詳細を説明するためのフローチャートである。It is a flowchart for demonstrating the detail of a tracking process. 前方車両の状態方程式および出力方程式を説明するための図である。It is a figure for demonstrating the state equation and output equation of a front vehicle. 前方車両の状態方程式および出力方程式を他の例を説明するための図である。It is a figure for demonstrating another example of the state equation and output equation of a front vehicle. コンピュータの構成の例を示すブロック図である。And FIG. 11 is a block diagram illustrating an example of a configuration of a computer.

Explanation of symbols

１０１車両検出システム
１１１カメラ
１１２レーザレーダ
１１３車両検出装置
１２１エッジ抽出部
１２２車両位置検出部
１２３三次元座標計算部
１２４追跡部
１３１状態変数推定部
１３２車両位置計算部
１４１状態変数予測部
１４２状態変数訂正部 DESCRIPTION OF SYMBOLS 101 Vehicle detection system 111 Camera 112 Laser radar 113 Vehicle detection apparatus 121 Edge extraction part 122 Vehicle position detection part 123 Three-dimensional coordinate calculation part 124 Tracking part 131 State variable estimation part 132 Vehicle position calculation part 141 State variable prediction part 142 State variable correction Part

Claims

In the vehicle detection device for detecting the position of the vehicle ahead,
Distance acquisition means for acquiring a distance to the vehicle;
Vehicle position detecting means for detecting positions of both ends of the vehicle in the lateral direction based on an image of the vehicle;
Current state variables and past, including lateral position of the vehicle, distance to the vehicle, lateral speed of the vehicle, speed of the vehicle in the distance direction, and width of the vehicle as an invariant variable Observation including a state equation representing a relationship with the state variable, a distance to the vehicle acquired by the distance acquisition unit, and positions of both ends of the vehicle in the lateral direction detected by the vehicle position detection unit A current state variable is predicted based on the past state variable by a filter that estimates the state variable based on an output equation representing a relationship between a value and the state variable, and based on the current observation value State variable estimation means for correcting the current state variable ;
A vehicle detection device comprising: vehicle position calculation means for calculating the current position of both ends of the vehicle in the lateral direction by applying the corrected current state variable to the output equation .

The vehicle position detecting means further detects positions of both ends in the vertical direction of the vehicle based on the image,
The state variables further include the vertical position of the vehicle, and the height of the vehicle as an invariant variable,
The observed value further includes positions of both ends in the vertical direction of the vehicle detected by the vehicle position detecting means,
The vehicle position calculation means further calculates the current positions of both ends in the vertical direction of the vehicle.
The vehicle detection device according to claim 1.

The vehicle position calculation means outputs the calculated positions of both ends in the lateral direction of the vehicle and the distance to the vehicle included in the corrected state variable to the subsequent stage.
The vehicle detection device according to claim 1.

The vehicle detection device according to claim 1, wherein the filter is a Kalman filter or a particle filter.

The vehicle detection device according to claim 1, wherein observed values of positions at both ends of the vehicle in the lateral direction are represented by a coordinate system in a three-dimensional space.

In the vehicle detection method of the vehicle detection device for detecting the position of the vehicle ahead,
A distance acquisition step of acquiring a distance to the vehicle;
A vehicle position detecting step for detecting positions of both ends of the vehicle in the lateral direction based on an image obtained by photographing the vehicle;
Current state variables and past, including lateral position of the vehicle, distance to the vehicle, lateral speed of the vehicle, speed of the vehicle in the distance direction, and width of the vehicle as an invariant variable A state equation representing a relationship with the state variable, a distance to the vehicle acquired by the process of the distance acquisition step, and both ends of the vehicle in the lateral direction detected by the process of the vehicle position detection step A current state variable is predicted based on the past state variable by a filter that estimates the state variable based on an output equation representing a relationship between an observation value including a position and the state variable, and the current observation A state variable estimation step that corrects the current state variable based on a value ;
A vehicle position calculating step of calculating the current lateral position of the vehicle by applying the corrected current state variable to the output equation;
Vehicle detection method, including.

In a program for causing a computer to execute processing for detecting the position of a vehicle ahead,
A distance acquisition step of acquiring a distance to the vehicle;
A vehicle position detecting step for detecting positions of both ends of the vehicle in the lateral direction based on an image obtained by photographing the vehicle;
Current state variables and past, including lateral position of the vehicle, distance to the vehicle, lateral speed of the vehicle, speed of the vehicle in the distance direction, and width of the vehicle as an invariant variable A state equation representing a relationship with the state variable, a distance to the vehicle acquired by the process of the distance acquisition step, and both ends of the vehicle in the lateral direction detected by the process of the vehicle position detection step A current state variable is predicted based on the past state variable by a filter that estimates the state variable based on an output equation representing a relationship between an observation value including a position and the state variable, and the current observation A state variable estimation step that corrects the current state variable based on a value ;
A program that causes a computer to execute a process including a vehicle position calculation step of calculating a current position of both ends of the vehicle in the lateral direction by applying the corrected current state variable to the output equation .