JP4020071B2 - Ambient condition display device - Google Patents
Ambient condition display device Download PDFInfo
- Publication number
- JP4020071B2 JP4020071B2 JP2003411827A JP2003411827A JP4020071B2 JP 4020071 B2 JP4020071 B2 JP 4020071B2 JP 2003411827 A JP2003411827 A JP 2003411827A JP 2003411827 A JP2003411827 A JP 2003411827A JP 4020071 B2 JP4020071 B2 JP 4020071B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- host vehicle
- display device
- ambient condition
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、車両の周囲に存在する障害物の状況を表示する周囲状況表示装置に関する。 The present invention relates to an ambient condition display device that displays the status of an obstacle existing around a vehicle.
自車両の周囲に存在する他車両などの障害物を検出し、その障害物までの距離情報を表示して運転者に注意を促す装置が従来から知られている(たとえば、特許文献1)。このような装置において、1つのカメラで画像を撮像し、その画像上での対象物の位置とカメラの撮像範囲との関係から、対象物までの距離を求めるものがある。 2. Description of the Related Art Conventionally, an apparatus that detects an obstacle such as another vehicle around the host vehicle, displays distance information to the obstacle, and alerts the driver is known (for example, Patent Document 1). In such an apparatus, there is an apparatus that captures an image with one camera and obtains a distance to the object from the relationship between the position of the object on the image and the imaging range of the camera.
しかし、路面に対するカメラの高さや角度は、自車両のピッチング挙動等によって変化する。そのためにカメラの撮像範囲の変動が生じ、その結果、算出される距離の精度が低下するという問題がある。この問題を解決するため、特許文献2に開示される装置では、間隔が既知である路面上の中央破線の複数の端点について画像上の座標値を求め、その座標値とカメラの焦点距離によって各時点でのカメラの高さや視軸の方向を算出している。これにより、自車両のピッチング挙動によるカメラの撮像範囲の変動を補正し、対象物までの距離算出精度を向上させている。
However, the height and angle of the camera relative to the road surface vary depending on the pitching behavior of the host vehicle. As a result, the imaging range of the camera varies, and as a result, the accuracy of the calculated distance is reduced. In order to solve this problem, in the apparatus disclosed in
特許文献2に開示される装置では、路面上の中央破線の間隔を用いて対象物までの距離算出精度を向上させている。しかし、中央破線が引かれているのは自動車専用道路や高速道路など一部分の道路であって、実際には中央破線がない道路も多くある。このような場合には距離算出精度が低下してしまう。
In the apparatus disclosed in
さらに、自車両から対象物までの距離が離れると、距離の変化量に対する画像上の位置変化量の割合は小さくなっていく。そのため、特許文献2に開示される装置では、距離が離れるほど距離算出の分解能が低下するという問題もある。
Furthermore, as the distance from the host vehicle to the object increases, the ratio of the position change amount on the image to the distance change amount decreases. For this reason, the apparatus disclosed in
本発明による周囲状況表示装置は、自車両の周囲の撮像画像を取得する撮像手段と、撮像手段によって取得された撮像画像に基づいて自車両の周囲の他車両を障害物として検出する障害物検出手段と、撮像画像に基づいて自車両に対する他車両の空間横方位角を求める方位角演算手段と、他車両の走行軌跡を推定し、その推定された走行軌跡と空間横方位角の方向に延在する方向線との交点を、自車両に対する他車両の位置として求めることにより、自車両と他車両との位置関係を算出する位置演算手段と、位置演算手段により算出された位置関係に基づいて自車両の周囲状況を表示する表示手段とを備えるものである。
Surroundings display device according to the present invention includes an imaging means for obtaining captured image of surroundings of the vehicle, detected by the obstacle detection of other vehicles around the vehicle based on the captured image acquired by the imaging means as an obstacle Means, an azimuth angle calculating means for obtaining a lateral lateral azimuth angle of the other vehicle with respect to the own vehicle based on the captured image, estimating a traveling locus of the other vehicle, and extending in the direction of the estimated traveling locus and the spatial lateral azimuth angle. Based on the position calculation means for calculating the positional relationship between the own vehicle and the other vehicle by obtaining the intersection with the existing direction line as the position of the other vehicle with respect to the own vehicle, and the positional relationship calculated by the position calculation means Display means for displaying the surroundings of the host vehicle.
本発明によれば、撮像手段を用いて取得した自車両周囲の撮像画像に基づいて自車両周囲の他車両を障害物として検出し、さらにその撮像画像に基づいて、自車両に対する他車両の空間横方位角を求める。そして、他車両の走行軌跡を推定し、その推定された走行軌跡と、求められた空間横方位角の方向に延在する方向線との交点を、自車両に対する他車両の位置として求めることにより、自車両と他車両との位置関係を算出することとした。このようにしたので、自車両から他車両までの距離を算出するときに、中央破線がない道路でも精度の高い距離算出が可能であり、さらには、距離が離れても距離算出の分解能を維持することができる。 According to the present invention, based on the captured image of the vehicle surroundings obtained using the imaging means to detect other vehicles of the vehicle around the obstacle, and based on the captured image, the space of the other vehicle with respect to the vehicle Obtain the lateral azimuth. Then, by estimating the travel trajectory of the other vehicle, and obtaining the intersection of the estimated travel trajectory and the direction line extending in the direction of the obtained spatial lateral azimuth as the position of the other vehicle with respect to the own vehicle The positional relationship between the host vehicle and the other vehicle is calculated . As a result, when calculating the distance from the host vehicle to the other vehicle, it is possible to calculate the distance with high accuracy even on roads without the central broken line, and further maintain the distance calculation resolution even when the distance is long. can do.
本発明の一実施形態による周囲状況表示装置の構成を図1に示す。この周囲状況表示装置(以下、本装置という)は車両に搭載されており、その自車両の後方に存在する他車両を検出して、自車両と他車両との位置関係を鳥瞰マップ上に表示するものである。本装置は、カメラ1、車両センサ2、入力画像メモリ3、マイコン4、およびモニタ5を備えている。
FIG. 1 shows the configuration of an ambient condition display device according to an embodiment of the present invention. This ambient condition display device (hereinafter referred to as this device) is mounted on a vehicle, detects other vehicles existing behind the host vehicle, and displays the positional relationship between the host vehicle and the other vehicle on a bird's eye view map. To do. The apparatus includes a
カメラ1は自車両後方を撮像するように自車両の後部に設置されており、単眼カメラとして用いられ、撮像した画像を画像信号として画像メモリ3へ出力する。カメラ1にはたとえばCCDカメラ等が用いられる。車両センサ2は、自車両から出力される左右の各車輪の車輪速パルスと、ウィンカーレバーの操作状態とを検出するためのセンサであって、それらの検出結果による信号をマイコン4へ出力する。これにより、マイコン4において自車両の挙動が求められる。画像メモリ3は、カメラ1から入力した画像信号を画像データとして記憶保持するためのフレームメモリである。画像メモリ3に記憶された画像データは、マイコン4の制御により画像フレーム単位でマイコン4に出力される。
The
マイコン4は、画像メモリ3から画像データを入力し、その画像から障害物として自車両後方に位置する他車両をパターンマッチングを用いて抽出する。このパターンマッチングは、周知のように画像中の輝度、形状等によって対象物の特徴をあらかじめ設定しておき、その特徴に合致する部分を抽出する画像処理方法である。そして、抽出した他車両の画像上の座標位置を求め、それによって他車両の実空間上の空間横方位角(カメラ1の視軸に対する他車両の位置のずれ角)を算出する。こうして、自車両後方に存在する他車両の検出を行う。
The
マイコン4はまた、前述したように車両センサ2の検出結果により自車両の挙動を求める。このとき、左右の各車輪の車輪速パルス数に基づいて、デッドレコニングにより所定時間ごとの自車両の移動量を算出する。その際の進行方向の変化量は、左右の車輪速パルス数の差によって車軸の傾き量を計算することで求められる。こうして所定時間ごとに算出された移動量を最初の自車位置に順次加えていくことで、自車両の走行軌跡を求める。さらに、車両センサ2によって検出されたウィンカーレバーの操作状態に基づいて、自車両の車線変更の有無を判断する。ウィンカーレバーが左右いずれかのウィンカーを点滅するように運転者によって操作されると、元の車線からそのウィンカーの点滅方向にある車線に自車両が車線変更したものと判断することができる。こうして自車両の走行軌跡と車線変更動作を求めることで、自車両の挙動を求めることができる。
The
以上説明したようにして自車両の挙動を求めたら、マイコン4はさらに、その挙動に基づいて走行レーンの推定を行う。ここで推定する走行レーンとは、道路上に所定の幅で描かれた道路車線を車両が走行するときの推定軌跡に相当するものであり、これには自車両が走行している道路車線における走行レーンと、それに隣接する道路車線における走行レーンが含まれている。この走行レーンの推定結果と、前述のようにして算出される空間横方位角とに基づいて、他車両の実空間上の位置を算出することができる。なお、その具体的な算出方法については後で説明する。
When the behavior of the host vehicle is obtained as described above, the
モニタ5は、マイコン4で算出された他車両の実空間上の位置に基づいて、自車両と他車両の位置関係を自車両上方から見た鳥瞰マップ上に表示する。鳥瞰マップは、自車両を中心にした上空からの視点による映像を模擬したものであって、自車両周囲の状況を画像表示する一形態である。この鳥瞰マップ上に他車両の位置を表すマーカー等を重畳し、車室内に備えられたモニタ5に画像表示することで、自車両と他車両の位置関係を見やすく運転者に報知することができる。
The
次に、図2を用いて、図1のマイコン4において自車両の挙動に基づいて走行レーンを推定する方法を説明する。図2の点20−31は、左右の各車輪の車輪速パルス数により所定時間ごとに求めた自車両100の実空間上の位置を示している。この点20−31は自車両100の所定時間ごとの走行軌跡を表しており、これらの点をつなぐことによって、符号101に示す自車両の走行車線における推定走行レーンが求められる。なお、推定走行レーン101は、検出誤差等のばらつきを考慮して点20−31を時系列的につないだ線である。
Next, a method for estimating the traveling lane based on the behavior of the host vehicle in the
さらに、推定走行レーン101から所定間隔だけ離れて並行する線を求め、これを隣接する道路車線における推定走行レーン102とする。このときの所定間隔は、道路車線幅に合わせてあらかじめ設定しておくことができる。さらに、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両100が走行している道路の車線幅を判断し、その判断結果に従って、車線幅に応じて推定走行レーン102を求めるときの所定間隔を変えるようにしてもよい。
Further, a parallel line that is separated from the estimated
以上説明したようにして、車輪速パルス数の計測結果より求めた自車両の走行軌跡に基づいて、自車両の推定走行レーンと隣接する推定走行レーンを求めることができる。さらに、ウィンカーレバーの操作状態から自車両の車線変更動作があったと判断した場合には、自車両の推定走行レーンと隣接する推定走行レーンを入れ替えるようにする。このようにすることで、自車両の挙動に基づいて走行レーンの推定を行うことができる。 As described above, an estimated traveling lane adjacent to the estimated traveling lane of the own vehicle can be obtained based on the traveling locus of the own vehicle obtained from the measurement result of the number of wheel speed pulses. Furthermore, when it is determined from the operating state of the blinker lever that the lane change operation of the host vehicle has been performed, the estimated travel lane adjacent to the estimated travel lane of the host vehicle is switched. By doing in this way, a driving lane can be estimated based on the behavior of the own vehicle.
なお、図2では自車両100の進行方向(図の左側方向)に向かって右側に隣接している1つの推定走行レーン102のみを示しているが、本発明において求める推定走行レーンは図2の内容に限定されない。自車両が走行している車線に対応する推定走行レーンに対して、左右のいずれかまたは両側に隣接する任意数の推定走行レーンを求めることができる。このとき、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両が走行している道路の車線数を判断し、その判断結果に従って、車線数に応じて求める推定走行レーン数を変えるようにしてもよい。
2 shows only one estimated
次に、マイコン4において、他車両の画像上の座標位置から実空間上の空間横方位角、すなわちカメラ1の視軸に対する他車両位置のずれ角を算出する方法を、図3を用いて説明する。図3(a)には、焦点距離f、撮像素子サイズ(水平方向サイズ)Cであるカメラ1を用いて、カメラ1の視軸から水平方向に角度θxだけ離れた位置にある対象物(他車両)200を撮像する様子を示している。このときのカメラ1の視野角θは既知であり、焦点距離fと撮像素子サイズCによってその値が決定される。
Next, a method for calculating the lateral lateral azimuth angle in real space, that is, the deviation angle of the other vehicle position with respect to the visual axis of the
図3(b)は、図3(a)の状態で撮像された画像例を表した図である。この画像40の横方向の画素数がPであり、カメラ1の視軸の横位置41から画素数Pxだけ離れた位置に対象物200が撮像されているとすると、図中の角度θxは以下の式(1)によって算出することができる。この角度θxは、前述した他車両の実空間上の空間横方位角である。
θx=(Px/P)・θ ・・・・・(1)
FIG. 3B is a diagram illustrating an example of an image captured in the state of FIG. If the number of pixels in the horizontal direction of the
θx = (Px / P) · θ (1)
ここで、図3(b)におけるカメラ1の視軸の横位置41は画像40上で固定されており、一般には画像40の中央に位置している。したがって、カメラ1によって撮像された画像から対象物である他車両200をパターンマッチングを用いて抽出することにより、上記の式(1)における画素数Pxを求めることができる。この画素数Pxと、既知である視野角θおよび画像40の横方向の画素数Pから、式(1)を用いて空間横方位角θxを算出できる。このようにして、画像上の座標位置から他車両の実空間上の空間横方位角を算出することができる。
Here, the
以上説明した走行レーンの推定結果および他車両の空間横方位角の算出結果により、図1のマイコン4において自車両の後方に存在する他車両の実空間上の位置を算出する方法を、図4を用いて説明する。図4において、推定走行レーン101および102は図2で説明した走行レーンであり、自車両100に搭載されたカメラ1の視軸方向(符号50に示す方向)に対する角度θxは、図3で説明した空間横方位角である。
A method for calculating the position in the real space of the other vehicle existing behind the host vehicle in the
他車両200の実空間上の位置(自車両100を基準とした位置)は、推定走行レーン102と、視軸方向50から空間横方位角θxだけ離れた符号60に示す方向との交点として求めることができる。ここで、他車両200は推定走行レーン102に対応する道路車線を走行しているものとする。なお、この算出方法では、他車両が走行している道路車線が推定したどの走行レーンに対応するのかを事前に特定しておく必要があるが、その方法については後で説明する。
The position of the
本装置は、上記のようにして求められた他車両の実空間上の位置に基づいて、鳥瞰マップ上に他車両の位置を示すマーカー等を重畳してモニタ5に表示することにより、自車両とその後方に存在する他車両との位置関係を運転者に報知する。こうして、自車両の周囲状況の表示を行う。
Based on the position of the other vehicle in the real space obtained as described above, the present apparatus displays the
以上説明したようにして他車両位置を算出することにより、単眼カメラによって撮像された画像に基づいて、他車両までの距離を精度よく求めることができる。その理由を次に説明する。単眼カメラによって撮像された画像では、検出対象の他車両が実空間上を前後方向(自車両に対する遠近方向)に移動すると、その画像上の位置が縦方向に変化する。また、実空間上を左右方向に移動すると、画像上の位置が横方向に変化する。ここで、実空間上の移動量に対する画像上の位置変化量の割合は、一般に前者よりも後者の方が大きく、また距離が離れるほどその差が広がる。 By calculating the position of the other vehicle as described above, the distance to the other vehicle can be accurately obtained based on the image captured by the monocular camera. The reason will be described next. In an image captured by a monocular camera, when another vehicle to be detected moves in the front-rear direction (perspective direction with respect to the host vehicle) in real space, the position on the image changes in the vertical direction. Further, when moving in the left-right direction in the real space, the position on the image changes in the horizontal direction. Here, the ratio of the amount of change in position on the image to the amount of movement in real space is generally greater in the latter than in the former, and the difference increases as the distance increases.
たとえば、640×480画素、視野角30°のカメラによって約100m先にある他車両を撮像したとき、画像の縦方向と横方向における画素ピッチ分の位置変化量が、それぞれ実空間上ではどの程度の移動量に相当するかを比較してみる。すると、画像の縦方向では画素ピッチ分が実空間上の10m程度の移動量に相当するのに対して、横方向では実空間上の10cm程度の移動量に相当する。すなわち、単眼カメラを用いて実空間上の移動量の測定を行う場合、左右方向の移動量のほうが前後方向よりも精度よく測定することができる。 For example, when an image of another vehicle about 100 m away is captured by a camera with 640 × 480 pixels and a viewing angle of 30 °, how much the positional change amount is equal to the pixel pitch in the vertical and horizontal directions of the image in real space. Compare the amount of movement. Then, in the vertical direction of the image, the pixel pitch corresponds to a movement amount of about 10 m in the real space, whereas in the horizontal direction, it corresponds to a movement amount of about 10 cm in the real space. That is, when the movement amount in the real space is measured using a monocular camera, the movement amount in the left-right direction can be measured with higher accuracy than in the front-rear direction.
実空間上の自車両から他車両までの距離は、前後方向の移動量として求めることができる。従来は、単眼カメラの撮像画像を用いて他車両までの距離を算出するときに、前後方向の移動量を用いていた。しかし、本装置では、前述したようにカメラの視軸位置からの左右方向の移動量によって空間横方位角を算出し、それを用いて他車両までの距離を算出している。したがって、従来の方法に比べて精度の高い距離算出が可能であり、距離が離れても距離算出の分解能を維持することができる。 The distance from the host vehicle to the other vehicle in the real space can be obtained as the amount of movement in the front-rear direction. Conventionally, when calculating the distance to another vehicle using a captured image of a monocular camera, the amount of movement in the front-rear direction has been used. However, in this apparatus, as described above, the spatial lateral azimuth angle is calculated based on the amount of lateral movement from the visual axis position of the camera, and the distance to the other vehicle is calculated using the calculated spatial lateral azimuth angle. Therefore, it is possible to calculate the distance with higher accuracy than the conventional method, and it is possible to maintain the distance calculation resolution even when the distance is long.
図5は、他車両が自車両に等間隔で近づいて来たときに、単眼カメラの撮像画像によって算出した自車両から他車両までの距離の算出結果例を示す図である。横軸は経過時間を表し、縦軸は距離の算出結果を表している。図5(a)は、従来のような前後方向の移動量による算出結果例を示しており、図5(b)は、本装置で行っているような左右方向の移動量による算出結果例を示している。図5(a)と(b)を比較すると、(b)のほうが算出結果に上下変動が少なく、他車両は自車両に等間隔で近づいて来ていることから、上下変動が少ない(b)の方が算出結果に誤差が小さいことがわかる。このように、本装置は精度よく他車両までの距離を算出できることが、実際の算出結果からも分かる。 FIG. 5 is a diagram illustrating an example of a calculation result of the distance from the own vehicle to the other vehicle calculated from the captured image of the monocular camera when the other vehicle approaches the own vehicle at equal intervals. The horizontal axis represents elapsed time, and the vertical axis represents the distance calculation result. FIG. 5A shows an example of a calculation result based on the amount of movement in the front-rear direction as in the prior art, and FIG. 5B shows an example of a calculation result based on the amount of movement in the left-right direction as in the present apparatus. Show. Comparing FIG. 5 (a) and FIG. 5 (b), there is less vertical fluctuation in the calculation result in FIG. 5 (b), and the other vehicle is approaching the own vehicle at equal intervals. It can be seen that the error is smaller in the calculation result. Thus, it can be seen from the actual calculation result that the present apparatus can calculate the distance to the other vehicle with high accuracy.
次に、他車両までの距離を算出するときに、その他車両が走行している道路車線が推定したどの走行レーンに対応するのかを特定する方法について説明する。上記において説明したように、他車両までの距離を算出するためには、自車両の挙動から推定した走行レーンのいずれかに、その他車両が実際に走行している道路車線を対応づける必要がある。そこで、撮像画像における前後方向の移動量によって、他車両までの距離を大まかに算出する。この大まかな距離は、前述したように精度が低くても構わない。 Next, a description will be given of a method of identifying which travel lane estimated by the road lane on which the other vehicle is traveling when calculating the distance to the other vehicle. As described above, in order to calculate the distance to another vehicle, it is necessary to associate the road lane in which the other vehicle is actually traveling with one of the travel lanes estimated from the behavior of the host vehicle. . Therefore, the distance to the other vehicle is roughly calculated based on the amount of movement in the front-rear direction in the captured image. This rough distance may have low accuracy as described above.
こうして算出された他車両までの大まかな距離と、図4で説明した空間横方位角とに基づいて、他車両の大まかな位置を算出する。そして、その位置の最も近くを通る走行レーンを、他車両が走行中の道路車線が対応する走行レーンとして特定する。このようにすると、各走行レーンが通る位置は離散的なものであることから、低い精度で算出された他車両までの大まかな距離を用いて、他車両が走行している道路が対応する走行レーンを特定することができる。こうして特定した走行レーンに基づいて、精度の高い距離算出が可能となる。なお、他車両までの大まかな距離を算出するときに、所定時間ごとに算出された距離値に対して統計処理を行うことによって、その精度を向上することもできる。このようにすれば、他車両までの距離の算出をより一層精度高く行うことができる。 The rough position of the other vehicle is calculated based on the rough distance to the other vehicle thus calculated and the spatial lateral azimuth described in FIG. Then, the travel lane passing through the closest position is specified as the travel lane corresponding to the road lane in which the other vehicle is traveling. In this way, since the positions through which each lane passes are discrete, the rough distance to the other vehicle calculated with low accuracy is used, and the road on which the other vehicle is traveling corresponds. Lanes can be specified. Based on the travel lane thus identified, it is possible to calculate the distance with high accuracy. In addition, when calculating the rough distance to other vehicles, the accuracy can also be improved by performing a statistical process with respect to the distance value calculated for every predetermined time. In this way, the distance to the other vehicle can be calculated with higher accuracy.
以上説明した処理のフローチャートを図6に示す。図6の処理フローは、所定の時間間隔、たとえばカメラ1における撮像のフレーム間隔ごとに、マイコン4により実行されるものである。ステップS100では、画像メモリ3に記録された画像データを読み出す。この画像データには、カメラ1によって撮像された画像の輝度情報が表されている。すなわち、カメラ1によって撮像された画像をステップS100においてマイコン4に取り込む。
A flowchart of the processing described above is shown in FIG. The processing flow of FIG. 6 is executed by the
ステップS101では、ステップS100で読み込んだ画像から、パターンマッチングを用いて他車両の特徴を示す部分を抽出する。ステップS102では、ステップS101で抽出された部分があった場合、それを自車両後方に存在する他車両として検出する。より具体的に述べると、ステップS101においては、読み込んだ画像からエッジ抽出した領域ごとにパターンマッチング用の画像パターンとの近似度を算出し、ステップS102においては、算出された近似度が所定のしきい値を超えている領域を他車両として検出する。こうして、ステップS101とS102でパターンマッチングを行うことにより、カメラ1の撮像画像に基づいて自車両後方の他車両を検出する。
In step S101, the part which shows the characteristic of other vehicles is extracted from the image read by step S100 using pattern matching. In step S102, if there is a portion extracted in step S101, it is detected as another vehicle existing behind the host vehicle. More specifically, in step S101, the degree of approximation with the image pattern for pattern matching is calculated for each region extracted from the read image. In step S102, the calculated degree of approximation is a predetermined value. An area exceeding the threshold is detected as another vehicle. In this way, by performing pattern matching in steps S101 and S102, the other vehicle behind the host vehicle is detected based on the captured image of the
ステップS103では、車両センサ2から車輪速パルス信号を読み込み、そのパルス数をカウントする。このとき、左右の各車輪についてそれぞれにパルス数をカウントする。ステップS104では、車両センサ2からの出力信号に基づいてウィンカーレバーの操作状態を判断し、自車両において車線変更が行われているか否かを判定する。ウィンカーレバーが操作されていないときは、車線変更が行われていないと判定してステップS105へ進む。一方、操作されているときは、車線変更中であると判定してステップS108へ進む。
In step S103, the wheel speed pulse signal is read from the
ステップS105では、ステップS103でカウントした車輪速パルス数に基づいて自車両の移動量を算出することにより、前述したようにして自車両の走行軌跡を算出する。ステップS106では、ステップS105で算出した走行軌跡によって走行レーンの推定を行う。このとき、前述したように、自車両が走行している道路車線に対応する走行レーンに加えて、並行する隣接走行レーンも合わせて推定する。ステップS107では、ステップS106で推定した走行レーンにより、前回の処理、すなわち図6の処理フローを実行するための所定の処理サイクル前において推定された走行レーンを更新する。 In step S105, the travel locus of the host vehicle is calculated as described above by calculating the movement amount of the host vehicle based on the number of wheel speed pulses counted in step S103. In step S106, the travel lane is estimated based on the travel trajectory calculated in step S105. At this time, as described above, in addition to the travel lane corresponding to the road lane on which the host vehicle is traveling, the parallel adjacent travel lanes are also estimated. In step S107, the travel lane estimated in the previous process, that is, the predetermined process cycle for executing the process flow of FIG. 6, is updated with the travel lane estimated in step S106.
なお、ステップS104が肯定判定された場合、すなわち自車両が車線変更中であった場合には、ステップS105−S107が実行されないため、走行レーンの推定が行われない。車線変更が終わると、そこから走行レーンの推定を再開して、次に車線変更するまで引き続き走行レーンを更新していく。このとき、変更後の自車両の走行道路車線に合わせて、自車両に対応する走行レーンとそれに隣接する走行レーンとを入れ替えるようにする。 Note that if the determination in step S104 is affirmative, that is, if the host vehicle is changing lanes, steps S105 to S107 are not executed, and thus the travel lane is not estimated. When the lane change is completed, the estimation of the travel lane is resumed from there, and the travel lane is continuously updated until the next lane change. At this time, the travel lane corresponding to the host vehicle and the travel lane adjacent thereto are switched in accordance with the travel road lane of the host vehicle after the change.
ステップS108では、それまでモニタ5に表示していた鳥瞰マップ上に重畳された他車両マーカーをクリアする。この他車両マーカーは、前回の処理のステップS113において表示されたものである。ステップS109では、ステップS102で他車両が検出されていたか否かを判定する。他車両が検出されていた場合はステップS110へ進み、検出されていなかった場合は図6の処理フローを終了する。
In step S108, the other vehicle marker superimposed on the bird's-eye view map displayed on the
ステップS110では、ステップS102で検出された他車両がレーンチェンジ中であるか否かを判定する。この判定は次のようにして行う。はじめに、ステップS100で読み込んだ画像により、前述したようにしてその他車両の大まかな位置を算出する。次に、算出された大まかな位置が、それまでに推定された走行レーンのいずれからも所定距離以上離れているか否かを判定する。そして、所定距離以上離れている場合はレーンチェンジ中であると判定し、離れていない場合はレーンチェンジ中ではないと判定する。こうしてレーンチェンジ中であると判定された場合はステップS111へ進み、レーンチェンジ中でないと判定された場合はステップS112へ進む。 In step S110, it is determined whether the other vehicle detected in step S102 is undergoing a lane change. This determination is performed as follows. First, the rough position of the other vehicle is calculated from the image read in step S100 as described above. Next, it is determined whether or not the calculated rough position is a predetermined distance or more away from any of the travel lanes estimated so far. If it is separated by a predetermined distance or more, it is determined that the lane is being changed, and if it is not separated, it is determined that the lane is not being changed. If it is determined that a lane change is being performed, the process proceeds to step S111. If it is determined that a lane change is not being performed, the process proceeds to step S112.
なお、ステップS110でしきい値として判定に用いる所定距離には、あらかじめ適当な値を設定しておくことができる。あるいは、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両が走行している道路の車線幅を判断し、その判断結果に従って所定距離の設定値を変えるようにしてもよい。 Note that an appropriate value can be set in advance for the predetermined distance used for determination as the threshold value in step S110. Alternatively, the lane width of the road on which the host vehicle is traveling may be determined by using a method such as collating with the map data of the navigation device, and the set value of the predetermined distance may be changed according to the determination result.
ステップS111では、ステップS110でレーンチェンジ中であると判定された他車両について、鳥瞰マップ上に表示する位置、すなわち自車両との位置関係の推定を行う。その他車両がレーンチェンジする直前までの画像上の移動速度により、実空間上の自車両との相対速度が求められる。この相対速度と、レーンチェンジ直前までに実行されたステップS112において算出された実空間上の位置と、さらに画像上の横位置より求められる空間横方位角とに基づいて、自車両との位置関係を推定する。こうして、鳥瞰マップ上の表示位置を推定することができる。 In step S111, the position displayed on the bird's-eye map, that is, the positional relationship with the host vehicle is estimated for the other vehicle determined to be in the lane change in step S110. The relative speed with respect to the host vehicle in the real space is obtained from the moving speed on the image until the other vehicle immediately before the lane change. Based on this relative speed, the position in the real space calculated in step S112 executed immediately before the lane change, and the spatial lateral azimuth obtained from the lateral position on the image, the positional relationship with the host vehicle Is estimated. In this way, the display position on the bird's eye map can be estimated.
一方、ステップS112では、ステップS110でレーンチェンジ中ではないと判定された他車両について、図4で説明したようにして実空間上の位置を算出する。こうして、鳥瞰マップ上の表示位置の算出を行う。なお、ステップS110において複数の他車両が検出されていた場合は、そのそれぞれについてステップS110の判定処理を行い、その結果に応じて、各他車両に対してステップS111またはS112の処理をそれぞれ実行するようにする。 On the other hand, in step S112, the position in real space is calculated as described in FIG. 4 for the other vehicle that is determined not to be in lane change in step S110. In this way, the display position on the bird's eye map is calculated. When a plurality of other vehicles are detected in step S110, the determination process of step S110 is performed for each of them, and the process of step S111 or S112 is performed for each other vehicle depending on the result. Like that.
ステップS113では、ステップS111で推定された表示位置と、ステップS112で算出された表示位置とに基づいて、モニタ5の鳥瞰マップ上に各他車両の位置を示すマーカーを表示する。ステップS113の実行後は、図6の処理フローを終了する。こうして、自車両とその後方に存在する他車両との位置関係を鳥瞰マップ上に表示し、運転者に周囲状況を報知する。
In step S113, a marker indicating the position of each other vehicle is displayed on the bird's-eye view map of the
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1を用いて撮像した自車両後方の撮像画像により障害物である他車両を検出し、さらにその撮像画像に基づいて、他車両の空間横方位角を求める。そして、求められた空間横方位角に基づいて、自車両と他車両との位置関係を算出することにより、自車両から他車両までの距離を算出することとした。このようにしたので、中央破線がない道路でも精度の高い距離算出が可能であり、さらには、距離が離れても距離算出の分解能を維持することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) An other vehicle that is an obstacle is detected from an image captured behind the host vehicle that is imaged using the
(2)他車両が走行している走行レーンを推定し、その推定した走行レーンと空間横方位角の方向に延在する方向線との交点を自車両に対する他車両の位置として、自車両と他車両との位置関係を求めることとした。このようにしたので、自車両と他車両との位置関係を正確に算出することができる。 (2) Estimating the traveling lane in which the other vehicle is traveling, and using the intersection of the estimated traveling lane and the direction line extending in the direction of the spatial lateral azimuth as the position of the other vehicle with respect to the own vehicle, The positional relationship with other vehicles was determined. Since it did in this way, the positional relationship of the own vehicle and another vehicle can be calculated correctly.
(3)他車両が走行している走行レーンを自車両の走行軌跡に基づいて推定することとした。このとき、車両センサ2によって検出した自車両の車輪速パルスの数に基づいて、自車両の走行軌跡を求めることとした。このようにしたので、自車両の挙動によって他車両が走行している走行レーンの推定を行うことができる。
(3) The traveling lane in which another vehicle is traveling is estimated based on the traveling locus of the host vehicle. At this time, based on the number of wheel speed pulses of the host vehicle detected by the
(4)自車両が走行している走行レーンと、その走行レーンに所定間隔ごとに並行して隣接する走行レーンとを推定し、それらの走行レーンのいずれかから他車両が走行している走行レーンを特定することとした。このようにしたので、自車両の走行レーンと他車両の走行レーンが異なる場合であっても、他車両の走行レーンを推定することができる。 (4) A travel lane in which the host vehicle is traveling and a travel lane that is adjacent to the travel lane in parallel at a predetermined interval are estimated, and a travel in which another vehicle is traveling from any of the travel lanes. It was decided to identify the lane. Since it did in this way, even if it is a case where the traveling lane of the own vehicle and the traveling lane of another vehicle differ, the traveling lane of another vehicle can be estimated.
(5)自車両が走行している走行レーンに所定間隔ごとに並行して隣接する走行レーンを推定するときに、その所定間隔を道路の車線幅に応じて変化することとすれば、道路の車線幅に適した位置に走行レーンを推定することができる。 (5) When estimating a traveling lane that is adjacent to a traveling lane in which the host vehicle is traveling in parallel at predetermined intervals, if the predetermined interval is changed according to the lane width of the road, The driving lane can be estimated at a position suitable for the lane width.
(6)自車両が走行している走行レーンに隣接する単数または複数の走行レーンを推定するときに、その数を道路の車線数に応じて変化することとすれば、道路の車線数に適した数の走行レーンを推定することができる。 (6) When estimating one or a plurality of driving lanes adjacent to the driving lane in which the host vehicle is driving, if the number changes according to the number of lanes on the road, it is suitable for the number of lanes on the road. A number of driving lanes can be estimated.
なお、上記の実施形態では、算出した空間横方位角の方向に延びる方向線と推定した走行レーンとの交点を他車両の位置として求めることとしたが、これ以外の方法で空間横方位角を用いて他車両位置を求めることもできる。たとえば、カメラ1の撮像画像上での他車両の大きさに基づいて、自車両から他車両までの相対距離のおおよその範囲を算出し、その相対距離の範囲内にある空間横方位角の方向に延在する方向線上の位置を、他車両が存在する位置範囲として決定する。こうして決定された他車両の位置範囲と、道路上の白線を検出することなどで求めた車線位置情報とを用いれば、他車両の最終的な位置を決定することができる。
In the above embodiment, the intersection of the calculated travel lane with the direction line extending in the direction of the calculated spatial lateral azimuth angle is determined as the position of the other vehicle, but the spatial lateral azimuth angle is determined by other methods. The position of the other vehicle can also be obtained by using this. For example, the approximate range of the relative distance from the host vehicle to the other vehicle is calculated based on the size of the other vehicle on the captured image of the
上記の実施形態では、障害物検出手段、方位角演算手段および位置演算手段をマイコン4によって実現しているが、これや上記実施形態における他の構成はあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。
In the above embodiment, the obstacle detection means, the azimuth angle calculation means, and the position calculation means are realized by the
1:カメラ
2:車両センサ
3:入力画像メモリ
4:マイコン
5:モニタ
1: Camera 2: Vehicle sensor 3: Input image memory 4: Microcomputer 5: Monitor
Claims (6)
前記撮像手段によって取得された撮像画像に基づいて前記自車両の周囲の他車両を障害物として検出する障害物検出手段と、
前記撮像画像に基づいて前記自車両に対する前記他車両の空間横方位角を求める方位角演算手段と、
前記他車両の走行軌跡を推定し、その推定された走行軌跡と前記空間横方位角の方向に延在する方向線との交点を、前記自車両に対する前記他車両の位置として求めることにより、前記自車両と前記他車両との位置関係を算出する位置演算手段と、
前記位置演算手段により算出された位置関係に基づいて前記自車両の周囲状況を表示する表示手段とを備えることを特徴とする周囲状況表示装置。 Imaging means for acquiring a captured image around the host vehicle;
Obstacle detection means for detecting other vehicles around the host vehicle as an obstacle based on a captured image acquired by the imaging means;
Azimuth angle calculating means for obtaining a spatial lateral azimuth angle of the other vehicle with respect to the host vehicle based on the captured image;
By estimating the travel locus of the other vehicle, and obtaining the intersection of the estimated travel locus and the direction line extending in the direction of the spatial lateral azimuth as the position of the other vehicle with respect to the host vehicle, Position calculating means for calculating a positional relationship between the host vehicle and the other vehicle ;
An ambient condition display device comprising: display means for displaying an ambient condition of the host vehicle based on the positional relationship calculated by the position calculating means.
前記位置演算手段は、前記他車両の走行軌跡を前記自車両の走行軌跡に基づいて推定することを特徴とする周囲状況表示装置。 The ambient condition display device according to claim 1 ,
The ambient condition display device , wherein the position calculation means estimates a travel locus of the other vehicle based on a travel locus of the host vehicle.
前記自車両の車輪速パルスを検出するパルス検出手段をさらに備え、
前記パルス検出手段によって検出された車輪速パルスの数に基づいて前記自車両の走行軌跡を求めることを特徴とする周囲状況表示装置。 The ambient condition display device according to claim 2 ,
Pulse detecting means for detecting wheel speed pulses of the host vehicle,
An ambient condition display device characterized in that a traveling locus of the host vehicle is obtained based on the number of wheel speed pulses detected by the pulse detecting means.
前記位置演算手段は、前記自車両が走行している道路車線における第1の走行軌跡と、前記第1の走行軌跡に所定間隔ごとに並行する単数または複数の第2の走行軌跡とを推定し、前記第1の走行軌跡または前記第2の走行軌跡のいずれかから前記他車両の走行軌跡を特定することにより、前記他車両の走行軌跡を推定することを特徴とする周囲状況表示装置。 In the surroundings display apparatus in any one of Claims 1-3 ,
The position calculating means estimates a first traveling locus on a road lane in which the host vehicle is traveling and one or more second traveling locus parallel to the first traveling locus at predetermined intervals. An ambient condition display device that estimates the travel locus of the other vehicle by specifying the travel locus of the other vehicle from either the first travel locus or the second travel locus .
前記所定間隔を道路の車線幅に応じて変化することを特徴とする周囲状況表示装置。 The ambient condition display device according to claim 4 ,
An ambient condition display device that changes the predetermined interval according to a lane width of a road.
前記第2の走行軌跡の数を道路の車線数に応じて変化することを特徴とする周囲状況表示装置。 The ambient condition display device according to claim 4 or 5 ,
An ambient condition display device characterized in that the number of the second traveling locus changes according to the number of road lanes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003411827A JP4020071B2 (en) | 2003-12-10 | 2003-12-10 | Ambient condition display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003411827A JP4020071B2 (en) | 2003-12-10 | 2003-12-10 | Ambient condition display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005173899A JP2005173899A (en) | 2005-06-30 |
JP4020071B2 true JP4020071B2 (en) | 2007-12-12 |
Family
ID=34732459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003411827A Expired - Fee Related JP4020071B2 (en) | 2003-12-10 | 2003-12-10 | Ambient condition display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4020071B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5526643B2 (en) * | 2009-08-04 | 2014-06-18 | 日産自動車株式会社 | Vehicle position calculation device, driving support device, and vehicle position calculation method |
JP5446559B2 (en) * | 2009-08-04 | 2014-03-19 | 日産自動車株式会社 | Vehicle position calculation device and vehicle position calculation method |
US9495602B2 (en) * | 2013-10-23 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Image and map-based detection of vehicles at intersections |
KR101611194B1 (en) * | 2014-04-04 | 2016-04-11 | 주식회사 와이즈오토모티브 | Apparatus and method for peripheral image generation of vehicle |
US10572753B2 (en) | 2015-11-25 | 2020-02-25 | Hitachi, Ltd. | Outside recognition device for vehicle |
JP6365600B2 (en) * | 2016-06-30 | 2018-08-01 | マツダ株式会社 | Vehicle display device |
JP6643215B2 (en) * | 2016-09-29 | 2020-02-12 | 株式会社デンソー | Other lane monitoring device |
JP6637932B2 (en) * | 2017-08-03 | 2020-01-29 | 株式会社Subaru | Driving support device for vehicles |
JP6679152B1 (en) * | 2019-05-27 | 2020-04-15 | 東京海上日動火災保険株式会社 | Accident analysis device, accident analysis method and program |
EP4092651A1 (en) * | 2020-01-17 | 2022-11-23 | Aisin Corporation | Nearby vehicle position estimation system, and nearby vehicle position estimation program |
JP7456857B2 (en) | 2020-06-08 | 2024-03-27 | フォルシアクラリオン・エレクトロニクス株式会社 | Self-position estimation device |
-
2003
- 2003-12-10 JP JP2003411827A patent/JP4020071B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005173899A (en) | 2005-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4420011B2 (en) | Object detection device | |
EP1005234B1 (en) | Three-dimensional scope system for vehicles with a single camera | |
JP5962771B2 (en) | Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method | |
EP2372304B1 (en) | Vehicle position recognition system | |
JP4832489B2 (en) | Lane judgment device | |
KR20180114723A (en) | Vehicle and method for collision avoidance assist when backing up the vehicle | |
US10896336B2 (en) | Parking compartment recognition apparatus | |
WO2010035781A1 (en) | Lane determining device and navigation system | |
US20080291276A1 (en) | Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information | |
CN110865374A (en) | Positioning system | |
US9352746B2 (en) | Lane relative position estimation method and system for driver assistance systems | |
JP4670528B2 (en) | Imaging device deviation detection method, imaging device deviation correction method, and imaging device | |
JP2006527427A (en) | Method and apparatus for locating and tracking an object from a vehicle | |
JP4020071B2 (en) | Ambient condition display device | |
JP2018048949A (en) | Object recognition device | |
JP4876147B2 (en) | Lane judgment device and navigation system | |
JP6941178B2 (en) | Automatic operation control device and method | |
CN113874914A (en) | Method for determining an operating angle between a tractor and a trailer of a tractor | |
JP6115429B2 (en) | Own vehicle position recognition device | |
JPH0981757A (en) | Vehicle position detecting device | |
JP2015067030A (en) | Driving assist system | |
JP6232883B2 (en) | Own vehicle position recognition device | |
JP2919718B2 (en) | Vehicle distance measuring device and vehicle equipped with it | |
CN113353071B (en) | Narrow area intersection vehicle safety auxiliary method and system based on deep learning | |
JP7402753B2 (en) | Safety support system and in-vehicle camera image analysis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070917 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |