JP4020071B2 - Ambient condition display device - Google Patents

Ambient condition display device Download PDF

Info

Publication number
JP4020071B2
JP4020071B2 JP2003411827A JP2003411827A JP4020071B2 JP 4020071 B2 JP4020071 B2 JP 4020071B2 JP 2003411827 A JP2003411827 A JP 2003411827A JP 2003411827 A JP2003411827 A JP 2003411827A JP 4020071 B2 JP4020071 B2 JP 4020071B2
Authority
JP
Japan
Prior art keywords
vehicle
host vehicle
display device
ambient condition
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003411827A
Other languages
Japanese (ja)
Other versions
JP2005173899A (en
Inventor
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003411827A priority Critical patent/JP4020071B2/en
Publication of JP2005173899A publication Critical patent/JP2005173899A/en
Application granted granted Critical
Publication of JP4020071B2 publication Critical patent/JP4020071B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、車両の周囲に存在する障害物の状況を表示する周囲状況表示装置に関する。   The present invention relates to an ambient condition display device that displays the status of an obstacle existing around a vehicle.

自車両の周囲に存在する他車両などの障害物を検出し、その障害物までの距離情報を表示して運転者に注意を促す装置が従来から知られている(たとえば、特許文献1)。このような装置において、1つのカメラで画像を撮像し、その画像上での対象物の位置とカメラの撮像範囲との関係から、対象物までの距離を求めるものがある。   2. Description of the Related Art Conventionally, an apparatus that detects an obstacle such as another vehicle around the host vehicle, displays distance information to the obstacle, and alerts the driver is known (for example, Patent Document 1). In such an apparatus, there is an apparatus that captures an image with one camera and obtains a distance to the object from the relationship between the position of the object on the image and the imaging range of the camera.

しかし、路面に対するカメラの高さや角度は、自車両のピッチング挙動等によって変化する。そのためにカメラの撮像範囲の変動が生じ、その結果、算出される距離の精度が低下するという問題がある。この問題を解決するため、特許文献2に開示される装置では、間隔が既知である路面上の中央破線の複数の端点について画像上の座標値を求め、その座標値とカメラの焦点距離によって各時点でのカメラの高さや視軸の方向を算出している。これにより、自車両のピッチング挙動によるカメラの撮像範囲の変動を補正し、対象物までの距離算出精度を向上させている。   However, the height and angle of the camera relative to the road surface vary depending on the pitching behavior of the host vehicle. As a result, the imaging range of the camera varies, and as a result, the accuracy of the calculated distance is reduced. In order to solve this problem, in the apparatus disclosed in Patent Document 2, coordinate values on the image are obtained for a plurality of end points of a central broken line on the road surface whose distance is known, and each coordinate value and the focal length of the camera are used to calculate each coordinate value. The camera height and visual axis direction at the time are calculated. Thereby, the fluctuation | variation of the imaging range of the camera by the pitching behavior of the own vehicle is correct | amended, and the distance calculation precision to a target object is improved.

特開平11−283198号公報JP-A-11-283198 特開平7−120258号公報JP-A-7-120258

特許文献2に開示される装置では、路面上の中央破線の間隔を用いて対象物までの距離算出精度を向上させている。しかし、中央破線が引かれているのは自動車専用道路や高速道路など一部分の道路であって、実際には中央破線がない道路も多くある。このような場合には距離算出精度が低下してしまう。   In the apparatus disclosed in Patent Document 2, the distance calculation accuracy to the object is improved using the interval between the central broken lines on the road surface. However, the central broken line is drawn in a part of roads such as an automobile road and a highway, and there are actually many roads without the central broken line. In such a case, the distance calculation accuracy decreases.

さらに、自車両から対象物までの距離が離れると、距離の変化量に対する画像上の位置変化量の割合は小さくなっていく。そのため、特許文献2に開示される装置では、距離が離れるほど距離算出の分解能が低下するという問題もある。   Furthermore, as the distance from the host vehicle to the object increases, the ratio of the position change amount on the image to the distance change amount decreases. For this reason, the apparatus disclosed in Patent Document 2 has a problem that the resolution of distance calculation decreases as the distance increases.

本発明による周囲状況表示装置は、自車両の周囲の撮像画像を取得する撮像手段と、撮像手段によって取得された撮像画像に基づいて自車両の周囲の他車両を障害物として検出する障害物検出手段と、撮像画像に基づいて自車両に対する他車両の空間横方位角を求める方位角演算手段と、他車両の走行軌跡を推定し、その推定された走行軌跡と空間横方位角の方向に延在する方向線との交点を、自車両に対する他車両の位置として求めることにより、自車両と他車両との位置関係を算出する位置演算手段と、位置演算手段により算出された位置関係に基づいて自車両の周囲状況を表示する表示手段とを備えるものである。
Surroundings display device according to the present invention includes an imaging means for obtaining captured image of surroundings of the vehicle, detected by the obstacle detection of other vehicles around the vehicle based on the captured image acquired by the imaging means as an obstacle Means, an azimuth angle calculating means for obtaining a lateral lateral azimuth angle of the other vehicle with respect to the own vehicle based on the captured image, estimating a traveling locus of the other vehicle, and extending in the direction of the estimated traveling locus and the spatial lateral azimuth angle. Based on the position calculation means for calculating the positional relationship between the own vehicle and the other vehicle by obtaining the intersection with the existing direction line as the position of the other vehicle with respect to the own vehicle, and the positional relationship calculated by the position calculation means Display means for displaying the surroundings of the host vehicle.

本発明によれば、撮像手段を用いて取得した自車両周囲の撮像画像に基づいて自車両周囲の他車両を障害物として検出し、さらにその撮像画像に基づいて、自車両に対する他車両の空間横方位角を求める。そして、他車両の走行軌跡を推定し、その推定された走行軌跡と、求められた空間横方位角の方向に延在する方向線との交点を、自車両に対する他車両の位置として求めることにより、自車両と他車両との位置関係を算出することとした。このようにしたので、自車両から他車両までの距離を算出するときに、中央破線がない道路でも精度の高い距離算出が可能であり、さらには、距離が離れても距離算出の分解能を維持することができる。 According to the present invention, based on the captured image of the vehicle surroundings obtained using the imaging means to detect other vehicles of the vehicle around the obstacle, and based on the captured image, the space of the other vehicle with respect to the vehicle Obtain the lateral azimuth. Then, by estimating the travel trajectory of the other vehicle, and obtaining the intersection of the estimated travel trajectory and the direction line extending in the direction of the obtained spatial lateral azimuth as the position of the other vehicle with respect to the own vehicle The positional relationship between the host vehicle and the other vehicle is calculated . As a result, when calculating the distance from the host vehicle to the other vehicle, it is possible to calculate the distance with high accuracy even on roads without the central broken line, and further maintain the distance calculation resolution even when the distance is long. can do.

本発明の一実施形態による周囲状況表示装置の構成を図1に示す。この周囲状況表示装置(以下、本装置という)は車両に搭載されており、その自車両の後方に存在する他車両を検出して、自車両と他車両との位置関係を鳥瞰マップ上に表示するものである。本装置は、カメラ1、車両センサ2、入力画像メモリ3、マイコン4、およびモニタ5を備えている。   FIG. 1 shows the configuration of an ambient condition display device according to an embodiment of the present invention. This ambient condition display device (hereinafter referred to as this device) is mounted on a vehicle, detects other vehicles existing behind the host vehicle, and displays the positional relationship between the host vehicle and the other vehicle on a bird's eye view map. To do. The apparatus includes a camera 1, a vehicle sensor 2, an input image memory 3, a microcomputer 4, and a monitor 5.

カメラ1は自車両後方を撮像するように自車両の後部に設置されており、単眼カメラとして用いられ、撮像した画像を画像信号として画像メモリ3へ出力する。カメラ1にはたとえばCCDカメラ等が用いられる。車両センサ2は、自車両から出力される左右の各車輪の車輪速パルスと、ウィンカーレバーの操作状態とを検出するためのセンサであって、それらの検出結果による信号をマイコン4へ出力する。これにより、マイコン4において自車両の挙動が求められる。画像メモリ3は、カメラ1から入力した画像信号を画像データとして記憶保持するためのフレームメモリである。画像メモリ3に記憶された画像データは、マイコン4の制御により画像フレーム単位でマイコン4に出力される。   The camera 1 is installed at the rear of the host vehicle so as to capture the rear of the host vehicle, is used as a monocular camera, and outputs the captured image to the image memory 3 as an image signal. For example, a CCD camera or the like is used as the camera 1. The vehicle sensor 2 is a sensor for detecting the wheel speed pulses of the left and right wheels output from the host vehicle and the operation state of the winker lever, and outputs a signal based on the detection result to the microcomputer 4. Thereby, the behavior of the own vehicle is calculated | required in the microcomputer 4. FIG. The image memory 3 is a frame memory for storing and holding the image signal input from the camera 1 as image data. The image data stored in the image memory 3 is output to the microcomputer 4 in units of image frames under the control of the microcomputer 4.

マイコン4は、画像メモリ3から画像データを入力し、その画像から障害物として自車両後方に位置する他車両をパターンマッチングを用いて抽出する。このパターンマッチングは、周知のように画像中の輝度、形状等によって対象物の特徴をあらかじめ設定しておき、その特徴に合致する部分を抽出する画像処理方法である。そして、抽出した他車両の画像上の座標位置を求め、それによって他車両の実空間上の空間横方位角(カメラ1の視軸に対する他車両の位置のずれ角)を算出する。こうして、自車両後方に存在する他車両の検出を行う。   The microcomputer 4 inputs image data from the image memory 3, and extracts other vehicles located behind the host vehicle as an obstacle from the image using pattern matching. As is well known, this pattern matching is an image processing method in which features of an object are set in advance according to brightness, shape, etc. in an image and a portion matching the features is extracted. And the coordinate position on the image of the extracted other vehicle is calculated | required, and the space lateral azimuth | direction angle (shift angle of the position of the other vehicle with respect to the visual axis of the camera 1) is calculated by it. In this way, the other vehicle existing behind the host vehicle is detected.

マイコン4はまた、前述したように車両センサ2の検出結果により自車両の挙動を求める。このとき、左右の各車輪の車輪速パルス数に基づいて、デッドレコニングにより所定時間ごとの自車両の移動量を算出する。その際の進行方向の変化量は、左右の車輪速パルス数の差によって車軸の傾き量を計算することで求められる。こうして所定時間ごとに算出された移動量を最初の自車位置に順次加えていくことで、自車両の走行軌跡を求める。さらに、車両センサ2によって検出されたウィンカーレバーの操作状態に基づいて、自車両の車線変更の有無を判断する。ウィンカーレバーが左右いずれかのウィンカーを点滅するように運転者によって操作されると、元の車線からそのウィンカーの点滅方向にある車線に自車両が車線変更したものと判断することができる。こうして自車両の走行軌跡と車線変更動作を求めることで、自車両の挙動を求めることができる。   The microcomputer 4 also obtains the behavior of the host vehicle from the detection result of the vehicle sensor 2 as described above. At this time, based on the number of wheel speed pulses of the left and right wheels, the amount of movement of the host vehicle for each predetermined time is calculated by dead reckoning. The amount of change in the traveling direction at that time can be obtained by calculating the amount of inclination of the axle from the difference in the number of left and right wheel speed pulses. Thus, the travel locus of the host vehicle is obtained by sequentially adding the movement amount calculated every predetermined time to the first host vehicle position. Further, based on the operation state of the winker lever detected by the vehicle sensor 2, it is determined whether or not the lane of the host vehicle has been changed. When the driver operates the blinker lever to blink either the left or right blinker, it can be determined that the host vehicle has changed the lane from the original lane to the lane in the blinking direction of the blinker. Thus, the behavior of the own vehicle can be obtained by obtaining the travel locus and the lane change operation of the own vehicle.

以上説明したようにして自車両の挙動を求めたら、マイコン4はさらに、その挙動に基づいて走行レーンの推定を行う。ここで推定する走行レーンとは、道路上に所定の幅で描かれた道路車線を車両が走行するときの推定軌跡に相当するものであり、これには自車両が走行している道路車線における走行レーンと、それに隣接する道路車線における走行レーンが含まれている。この走行レーンの推定結果と、前述のようにして算出される空間横方位角とに基づいて、他車両の実空間上の位置を算出することができる。なお、その具体的な算出方法については後で説明する。   When the behavior of the host vehicle is obtained as described above, the microcomputer 4 further estimates the travel lane based on the behavior. The travel lane estimated here corresponds to an estimated trajectory when the vehicle travels on a road lane drawn with a predetermined width on the road, and this includes a road lane in which the host vehicle is traveling. A travel lane and a travel lane in a road lane adjacent to the travel lane are included. Based on the estimation result of the travel lane and the spatial lateral azimuth angle calculated as described above, the position of the other vehicle in the real space can be calculated. A specific calculation method will be described later.

モニタ5は、マイコン4で算出された他車両の実空間上の位置に基づいて、自車両と他車両の位置関係を自車両上方から見た鳥瞰マップ上に表示する。鳥瞰マップは、自車両を中心にした上空からの視点による映像を模擬したものであって、自車両周囲の状況を画像表示する一形態である。この鳥瞰マップ上に他車両の位置を表すマーカー等を重畳し、車室内に備えられたモニタ5に画像表示することで、自車両と他車両の位置関係を見やすく運転者に報知することができる。   The monitor 5 displays the positional relationship between the host vehicle and the other vehicle on a bird's eye view map viewed from above the host vehicle based on the position of the other vehicle in the real space calculated by the microcomputer 4. The bird's-eye view map simulates a video from a viewpoint from the sky centered on the host vehicle, and is a form that displays an image of the situation around the host vehicle. By superimposing a marker or the like indicating the position of another vehicle on this bird's eye view map and displaying an image on the monitor 5 provided in the passenger compartment, it is possible to easily notify the driver of the positional relationship between the host vehicle and the other vehicle. .

次に、図2を用いて、図1のマイコン4において自車両の挙動に基づいて走行レーンを推定する方法を説明する。図2の点20−31は、左右の各車輪の車輪速パルス数により所定時間ごとに求めた自車両100の実空間上の位置を示している。この点20−31は自車両100の所定時間ごとの走行軌跡を表しており、これらの点をつなぐことによって、符号101に示す自車両の走行車線における推定走行レーンが求められる。なお、推定走行レーン101は、検出誤差等のばらつきを考慮して点20−31を時系列的につないだ線である。   Next, a method for estimating the traveling lane based on the behavior of the host vehicle in the microcomputer 4 of FIG. 1 will be described with reference to FIG. A point 20-31 in FIG. 2 indicates a position in the real space of the host vehicle 100 obtained every predetermined time by the number of wheel speed pulses of the left and right wheels. This point 20-31 represents a traveling locus of the host vehicle 100 at predetermined time intervals, and by connecting these points, an estimated traveling lane in the traveling lane of the host vehicle indicated by reference numeral 101 is obtained. The estimated travel lane 101 is a line connecting points 20-31 in time series in consideration of variations such as detection errors.

さらに、推定走行レーン101から所定間隔だけ離れて並行する線を求め、これを隣接する道路車線における推定走行レーン102とする。このときの所定間隔は、道路車線幅に合わせてあらかじめ設定しておくことができる。さらに、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両100が走行している道路の車線幅を判断し、その判断結果に従って、車線幅に応じて推定走行レーン102を求めるときの所定間隔を変えるようにしてもよい。   Further, a parallel line that is separated from the estimated travel lane 101 by a predetermined interval is obtained, and this is used as the estimated travel lane 102 in the adjacent road lane. The predetermined interval at this time can be set in advance according to the road lane width. Furthermore, by using a method such as collating with map data of the navigation device, the lane width of the road on which the host vehicle 100 is traveling is determined, and the estimated traveling lane 102 is obtained according to the lane width according to the determination result. The predetermined interval may be changed.

以上説明したようにして、車輪速パルス数の計測結果より求めた自車両の走行軌跡に基づいて、自車両の推定走行レーンと隣接する推定走行レーンを求めることができる。さらに、ウィンカーレバーの操作状態から自車両の車線変更動作があったと判断した場合には、自車両の推定走行レーンと隣接する推定走行レーンを入れ替えるようにする。このようにすることで、自車両の挙動に基づいて走行レーンの推定を行うことができる。   As described above, an estimated traveling lane adjacent to the estimated traveling lane of the own vehicle can be obtained based on the traveling locus of the own vehicle obtained from the measurement result of the number of wheel speed pulses. Furthermore, when it is determined from the operating state of the blinker lever that the lane change operation of the host vehicle has been performed, the estimated travel lane adjacent to the estimated travel lane of the host vehicle is switched. By doing in this way, a driving lane can be estimated based on the behavior of the own vehicle.

なお、図2では自車両100の進行方向(図の左側方向)に向かって右側に隣接している1つの推定走行レーン102のみを示しているが、本発明において求める推定走行レーンは図2の内容に限定されない。自車両が走行している車線に対応する推定走行レーンに対して、左右のいずれかまたは両側に隣接する任意数の推定走行レーンを求めることができる。このとき、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両が走行している道路の車線数を判断し、その判断結果に従って、車線数に応じて求める推定走行レーン数を変えるようにしてもよい。   2 shows only one estimated travel lane 102 adjacent to the right side in the traveling direction of the host vehicle 100 (left direction in the figure), the estimated travel lane required in the present invention is shown in FIG. The content is not limited. With respect to the estimated travel lane corresponding to the lane in which the host vehicle is traveling, any number of estimated travel lanes adjacent to either the left or right or both sides can be obtained. At this time, the number of lanes of the road on which the host vehicle is traveling is determined by using a method such as collating with the map data of the navigation device, and the estimated number of lanes to be calculated according to the number of lanes is determined according to the determination result. It may be changed.

次に、マイコン4において、他車両の画像上の座標位置から実空間上の空間横方位角、すなわちカメラ1の視軸に対する他車両位置のずれ角を算出する方法を、図3を用いて説明する。図3(a)には、焦点距離f、撮像素子サイズ(水平方向サイズ)Cであるカメラ1を用いて、カメラ1の視軸から水平方向に角度θxだけ離れた位置にある対象物(他車両)200を撮像する様子を示している。このときのカメラ1の視野角θは既知であり、焦点距離fと撮像素子サイズCによってその値が決定される。   Next, a method for calculating the lateral lateral azimuth angle in real space, that is, the deviation angle of the other vehicle position with respect to the visual axis of the camera 1 from the coordinate position on the image of the other vehicle in the microcomputer 4 will be described with reference to FIG. To do. FIG. 3A shows an object (others, etc.) at a position separated from the visual axis of the camera 1 by an angle θx in the horizontal direction using the camera 1 having a focal length f and an image sensor size (horizontal size) C. The vehicle) 200 is imaged. The viewing angle θ of the camera 1 at this time is known, and its value is determined by the focal length f and the image sensor size C.

図3(b)は、図3(a)の状態で撮像された画像例を表した図である。この画像40の横方向の画素数がPであり、カメラ1の視軸の横位置41から画素数Pxだけ離れた位置に対象物200が撮像されているとすると、図中の角度θxは以下の式(1)によって算出することができる。この角度θxは、前述した他車両の実空間上の空間横方位角である。
θx=(Px/P)・θ ・・・・・(1)
FIG. 3B is a diagram illustrating an example of an image captured in the state of FIG. If the number of pixels in the horizontal direction of the image 40 is P and the object 200 is imaged at a position separated from the horizontal position 41 of the visual axis of the camera 1 by the number of pixels Px, the angle θx in the figure is (1). This angle θx is a spatial lateral azimuth angle in the real space of the other vehicle described above.
θx = (Px / P) · θ (1)

ここで、図3(b)におけるカメラ1の視軸の横位置41は画像40上で固定されており、一般には画像40の中央に位置している。したがって、カメラ1によって撮像された画像から対象物である他車両200をパターンマッチングを用いて抽出することにより、上記の式(1)における画素数Pxを求めることができる。この画素数Pxと、既知である視野角θおよび画像40の横方向の画素数Pから、式(1)を用いて空間横方位角θxを算出できる。このようにして、画像上の座標位置から他車両の実空間上の空間横方位角を算出することができる。   Here, the horizontal position 41 of the visual axis of the camera 1 in FIG. 3B is fixed on the image 40 and is generally located at the center of the image 40. Therefore, the number of pixels Px in the above equation (1) can be obtained by extracting the other vehicle 200 that is the object from the image captured by the camera 1 using pattern matching. From this number of pixels Px, the known viewing angle θ, and the number of pixels P in the horizontal direction of the image 40, the spatial lateral azimuth angle θx can be calculated using Equation (1). In this manner, the spatial lateral azimuth angle in the real space of the other vehicle can be calculated from the coordinate position on the image.

以上説明した走行レーンの推定結果および他車両の空間横方位角の算出結果により、図1のマイコン4において自車両の後方に存在する他車両の実空間上の位置を算出する方法を、図4を用いて説明する。図4において、推定走行レーン101および102は図2で説明した走行レーンであり、自車両100に搭載されたカメラ1の視軸方向(符号50に示す方向)に対する角度θxは、図3で説明した空間横方位角である。   A method for calculating the position in the real space of the other vehicle existing behind the host vehicle in the microcomputer 4 of FIG. 1 based on the estimation result of the travel lane and the calculation result of the lateral lateral azimuth angle of the other vehicle described above. Will be described. In FIG. 4, estimated traveling lanes 101 and 102 are the traveling lanes described in FIG. 2, and an angle θx with respect to the visual axis direction (direction indicated by reference numeral 50) of the camera 1 mounted on the host vehicle 100 is illustrated in FIG. The spatial lateral azimuth angle.

他車両200の実空間上の位置(自車両100を基準とした位置)は、推定走行レーン102と、視軸方向50から空間横方位角θxだけ離れた符号60に示す方向との交点として求めることができる。ここで、他車両200は推定走行レーン102に対応する道路車線を走行しているものとする。なお、この算出方法では、他車両が走行している道路車線が推定したどの走行レーンに対応するのかを事前に特定しておく必要があるが、その方法については後で説明する。   The position of the other vehicle 200 in the real space (position with reference to the host vehicle 100) is obtained as the intersection of the estimated traveling lane 102 and the direction indicated by reference numeral 60 that is separated from the visual axis direction 50 by the spatial lateral azimuth angle θx. be able to. Here, it is assumed that the other vehicle 200 is traveling on a road lane corresponding to the estimated travel lane 102. In this calculation method, it is necessary to specify in advance which travel lane the road lane in which another vehicle is traveling corresponds to, which will be described later.

本装置は、上記のようにして求められた他車両の実空間上の位置に基づいて、鳥瞰マップ上に他車両の位置を示すマーカー等を重畳してモニタ5に表示することにより、自車両とその後方に存在する他車両との位置関係を運転者に報知する。こうして、自車両の周囲状況の表示を行う。   Based on the position of the other vehicle in the real space obtained as described above, the present apparatus displays the monitor 5 with a marker or the like indicating the position of the other vehicle superimposed on the bird's eye view map. And the driver is notified of the positional relationship with other vehicles existing behind the vehicle. In this way, the surrounding situation of the host vehicle is displayed.

以上説明したようにして他車両位置を算出することにより、単眼カメラによって撮像された画像に基づいて、他車両までの距離を精度よく求めることができる。その理由を次に説明する。単眼カメラによって撮像された画像では、検出対象の他車両が実空間上を前後方向(自車両に対する遠近方向)に移動すると、その画像上の位置が縦方向に変化する。また、実空間上を左右方向に移動すると、画像上の位置が横方向に変化する。ここで、実空間上の移動量に対する画像上の位置変化量の割合は、一般に前者よりも後者の方が大きく、また距離が離れるほどその差が広がる。   By calculating the position of the other vehicle as described above, the distance to the other vehicle can be accurately obtained based on the image captured by the monocular camera. The reason will be described next. In an image captured by a monocular camera, when another vehicle to be detected moves in the front-rear direction (perspective direction with respect to the host vehicle) in real space, the position on the image changes in the vertical direction. Further, when moving in the left-right direction in the real space, the position on the image changes in the horizontal direction. Here, the ratio of the amount of change in position on the image to the amount of movement in real space is generally greater in the latter than in the former, and the difference increases as the distance increases.

たとえば、640×480画素、視野角30°のカメラによって約100m先にある他車両を撮像したとき、画像の縦方向と横方向における画素ピッチ分の位置変化量が、それぞれ実空間上ではどの程度の移動量に相当するかを比較してみる。すると、画像の縦方向では画素ピッチ分が実空間上の10m程度の移動量に相当するのに対して、横方向では実空間上の10cm程度の移動量に相当する。すなわち、単眼カメラを用いて実空間上の移動量の測定を行う場合、左右方向の移動量のほうが前後方向よりも精度よく測定することができる。   For example, when an image of another vehicle about 100 m away is captured by a camera with 640 × 480 pixels and a viewing angle of 30 °, how much the positional change amount is equal to the pixel pitch in the vertical and horizontal directions of the image in real space. Compare the amount of movement. Then, in the vertical direction of the image, the pixel pitch corresponds to a movement amount of about 10 m in the real space, whereas in the horizontal direction, it corresponds to a movement amount of about 10 cm in the real space. That is, when the movement amount in the real space is measured using a monocular camera, the movement amount in the left-right direction can be measured with higher accuracy than in the front-rear direction.

実空間上の自車両から他車両までの距離は、前後方向の移動量として求めることができる。従来は、単眼カメラの撮像画像を用いて他車両までの距離を算出するときに、前後方向の移動量を用いていた。しかし、本装置では、前述したようにカメラの視軸位置からの左右方向の移動量によって空間横方位角を算出し、それを用いて他車両までの距離を算出している。したがって、従来の方法に比べて精度の高い距離算出が可能であり、距離が離れても距離算出の分解能を維持することができる。   The distance from the host vehicle to the other vehicle in the real space can be obtained as the amount of movement in the front-rear direction. Conventionally, when calculating the distance to another vehicle using a captured image of a monocular camera, the amount of movement in the front-rear direction has been used. However, in this apparatus, as described above, the spatial lateral azimuth angle is calculated based on the amount of lateral movement from the visual axis position of the camera, and the distance to the other vehicle is calculated using the calculated spatial lateral azimuth angle. Therefore, it is possible to calculate the distance with higher accuracy than the conventional method, and it is possible to maintain the distance calculation resolution even when the distance is long.

図5は、他車両が自車両に等間隔で近づいて来たときに、単眼カメラの撮像画像によって算出した自車両から他車両までの距離の算出結果例を示す図である。横軸は経過時間を表し、縦軸は距離の算出結果を表している。図5(a)は、従来のような前後方向の移動量による算出結果例を示しており、図5(b)は、本装置で行っているような左右方向の移動量による算出結果例を示している。図5(a)と(b)を比較すると、(b)のほうが算出結果に上下変動が少なく、他車両は自車両に等間隔で近づいて来ていることから、上下変動が少ない(b)の方が算出結果に誤差が小さいことがわかる。このように、本装置は精度よく他車両までの距離を算出できることが、実際の算出結果からも分かる。   FIG. 5 is a diagram illustrating an example of a calculation result of the distance from the own vehicle to the other vehicle calculated from the captured image of the monocular camera when the other vehicle approaches the own vehicle at equal intervals. The horizontal axis represents elapsed time, and the vertical axis represents the distance calculation result. FIG. 5A shows an example of a calculation result based on the amount of movement in the front-rear direction as in the prior art, and FIG. 5B shows an example of a calculation result based on the amount of movement in the left-right direction as in the present apparatus. Show. Comparing FIG. 5 (a) and FIG. 5 (b), there is less vertical fluctuation in the calculation result in FIG. 5 (b), and the other vehicle is approaching the own vehicle at equal intervals. It can be seen that the error is smaller in the calculation result. Thus, it can be seen from the actual calculation result that the present apparatus can calculate the distance to the other vehicle with high accuracy.

次に、他車両までの距離を算出するときに、その他車両が走行している道路車線が推定したどの走行レーンに対応するのかを特定する方法について説明する。上記において説明したように、他車両までの距離を算出するためには、自車両の挙動から推定した走行レーンのいずれかに、その他車両が実際に走行している道路車線を対応づける必要がある。そこで、撮像画像における前後方向の移動量によって、他車両までの距離を大まかに算出する。この大まかな距離は、前述したように精度が低くても構わない。   Next, a description will be given of a method of identifying which travel lane estimated by the road lane on which the other vehicle is traveling when calculating the distance to the other vehicle. As described above, in order to calculate the distance to another vehicle, it is necessary to associate the road lane in which the other vehicle is actually traveling with one of the travel lanes estimated from the behavior of the host vehicle. . Therefore, the distance to the other vehicle is roughly calculated based on the amount of movement in the front-rear direction in the captured image. This rough distance may have low accuracy as described above.

こうして算出された他車両までの大まかな距離と、図4で説明した空間横方位角とに基づいて、他車両の大まかな位置を算出する。そして、その位置の最も近くを通る走行レーンを、他車両が走行中の道路車線が対応する走行レーンとして特定する。このようにすると、各走行レーンが通る位置は離散的なものであることから、低い精度で算出された他車両までの大まかな距離を用いて、他車両が走行している道路が対応する走行レーンを特定することができる。こうして特定した走行レーンに基づいて、精度の高い距離算出が可能となる。なお、他車両までの大まかな距離を算出するときに、所定時間ごとに算出された距離値に対して統計処理を行うことによって、その精度を向上することもできる。このようにすれば、他車両までの距離の算出をより一層精度高く行うことができる。   The rough position of the other vehicle is calculated based on the rough distance to the other vehicle thus calculated and the spatial lateral azimuth described in FIG. Then, the travel lane passing through the closest position is specified as the travel lane corresponding to the road lane in which the other vehicle is traveling. In this way, since the positions through which each lane passes are discrete, the rough distance to the other vehicle calculated with low accuracy is used, and the road on which the other vehicle is traveling corresponds. Lanes can be specified. Based on the travel lane thus identified, it is possible to calculate the distance with high accuracy. In addition, when calculating the rough distance to other vehicles, the accuracy can also be improved by performing a statistical process with respect to the distance value calculated for every predetermined time. In this way, the distance to the other vehicle can be calculated with higher accuracy.

以上説明した処理のフローチャートを図6に示す。図6の処理フローは、所定の時間間隔、たとえばカメラ1における撮像のフレーム間隔ごとに、マイコン4により実行されるものである。ステップS100では、画像メモリ3に記録された画像データを読み出す。この画像データには、カメラ1によって撮像された画像の輝度情報が表されている。すなわち、カメラ1によって撮像された画像をステップS100においてマイコン4に取り込む。   A flowchart of the processing described above is shown in FIG. The processing flow of FIG. 6 is executed by the microcomputer 4 at predetermined time intervals, for example, every imaging frame interval in the camera 1. In step S100, the image data recorded in the image memory 3 is read. In this image data, luminance information of an image captured by the camera 1 is represented. That is, an image captured by the camera 1 is taken into the microcomputer 4 in step S100.

ステップS101では、ステップS100で読み込んだ画像から、パターンマッチングを用いて他車両の特徴を示す部分を抽出する。ステップS102では、ステップS101で抽出された部分があった場合、それを自車両後方に存在する他車両として検出する。より具体的に述べると、ステップS101においては、読み込んだ画像からエッジ抽出した領域ごとにパターンマッチング用の画像パターンとの近似度を算出し、ステップS102においては、算出された近似度が所定のしきい値を超えている領域を他車両として検出する。こうして、ステップS101とS102でパターンマッチングを行うことにより、カメラ1の撮像画像に基づいて自車両後方の他車両を検出する。   In step S101, the part which shows the characteristic of other vehicles is extracted from the image read by step S100 using pattern matching. In step S102, if there is a portion extracted in step S101, it is detected as another vehicle existing behind the host vehicle. More specifically, in step S101, the degree of approximation with the image pattern for pattern matching is calculated for each region extracted from the read image. In step S102, the calculated degree of approximation is a predetermined value. An area exceeding the threshold is detected as another vehicle. In this way, by performing pattern matching in steps S101 and S102, the other vehicle behind the host vehicle is detected based on the captured image of the camera 1.

ステップS103では、車両センサ2から車輪速パルス信号を読み込み、そのパルス数をカウントする。このとき、左右の各車輪についてそれぞれにパルス数をカウントする。ステップS104では、車両センサ2からの出力信号に基づいてウィンカーレバーの操作状態を判断し、自車両において車線変更が行われているか否かを判定する。ウィンカーレバーが操作されていないときは、車線変更が行われていないと判定してステップS105へ進む。一方、操作されているときは、車線変更中であると判定してステップS108へ進む。   In step S103, the wheel speed pulse signal is read from the vehicle sensor 2, and the number of pulses is counted. At this time, the number of pulses is counted for each of the left and right wheels. In step S104, the operating state of the blinker lever is determined based on the output signal from the vehicle sensor 2, and it is determined whether or not the lane change has been performed in the host vehicle. When the winker lever is not operated, it is determined that the lane change is not performed, and the process proceeds to step S105. On the other hand, if it is being operated, it is determined that the lane is being changed, and the process proceeds to step S108.

ステップS105では、ステップS103でカウントした車輪速パルス数に基づいて自車両の移動量を算出することにより、前述したようにして自車両の走行軌跡を算出する。ステップS106では、ステップS105で算出した走行軌跡によって走行レーンの推定を行う。このとき、前述したように、自車両が走行している道路車線に対応する走行レーンに加えて、並行する隣接走行レーンも合わせて推定する。ステップS107では、ステップS106で推定した走行レーンにより、前回の処理、すなわち図6の処理フローを実行するための所定の処理サイクル前において推定された走行レーンを更新する。   In step S105, the travel locus of the host vehicle is calculated as described above by calculating the movement amount of the host vehicle based on the number of wheel speed pulses counted in step S103. In step S106, the travel lane is estimated based on the travel trajectory calculated in step S105. At this time, as described above, in addition to the travel lane corresponding to the road lane on which the host vehicle is traveling, the parallel adjacent travel lanes are also estimated. In step S107, the travel lane estimated in the previous process, that is, the predetermined process cycle for executing the process flow of FIG. 6, is updated with the travel lane estimated in step S106.

なお、ステップS104が肯定判定された場合、すなわち自車両が車線変更中であった場合には、ステップS105−S107が実行されないため、走行レーンの推定が行われない。車線変更が終わると、そこから走行レーンの推定を再開して、次に車線変更するまで引き続き走行レーンを更新していく。このとき、変更後の自車両の走行道路車線に合わせて、自車両に対応する走行レーンとそれに隣接する走行レーンとを入れ替えるようにする。   Note that if the determination in step S104 is affirmative, that is, if the host vehicle is changing lanes, steps S105 to S107 are not executed, and thus the travel lane is not estimated. When the lane change is completed, the estimation of the travel lane is resumed from there, and the travel lane is continuously updated until the next lane change. At this time, the travel lane corresponding to the host vehicle and the travel lane adjacent thereto are switched in accordance with the travel road lane of the host vehicle after the change.

ステップS108では、それまでモニタ5に表示していた鳥瞰マップ上に重畳された他車両マーカーをクリアする。この他車両マーカーは、前回の処理のステップS113において表示されたものである。ステップS109では、ステップS102で他車両が検出されていたか否かを判定する。他車両が検出されていた場合はステップS110へ進み、検出されていなかった場合は図6の処理フローを終了する。   In step S108, the other vehicle marker superimposed on the bird's-eye view map displayed on the monitor 5 until then is cleared. This other vehicle marker is displayed in step S113 of the previous process. In step S109, it is determined whether another vehicle has been detected in step S102. If another vehicle has been detected, the process proceeds to step S110, and if it has not been detected, the process flow of FIG. 6 ends.

ステップS110では、ステップS102で検出された他車両がレーンチェンジ中であるか否かを判定する。この判定は次のようにして行う。はじめに、ステップS100で読み込んだ画像により、前述したようにしてその他車両の大まかな位置を算出する。次に、算出された大まかな位置が、それまでに推定された走行レーンのいずれからも所定距離以上離れているか否かを判定する。そして、所定距離以上離れている場合はレーンチェンジ中であると判定し、離れていない場合はレーンチェンジ中ではないと判定する。こうしてレーンチェンジ中であると判定された場合はステップS111へ進み、レーンチェンジ中でないと判定された場合はステップS112へ進む。   In step S110, it is determined whether the other vehicle detected in step S102 is undergoing a lane change. This determination is performed as follows. First, the rough position of the other vehicle is calculated from the image read in step S100 as described above. Next, it is determined whether or not the calculated rough position is a predetermined distance or more away from any of the travel lanes estimated so far. If it is separated by a predetermined distance or more, it is determined that the lane is being changed, and if it is not separated, it is determined that the lane is not being changed. If it is determined that a lane change is being performed, the process proceeds to step S111. If it is determined that a lane change is not being performed, the process proceeds to step S112.

なお、ステップS110でしきい値として判定に用いる所定距離には、あらかじめ適当な値を設定しておくことができる。あるいは、ナビゲーション装置の地図データと照合するなどの方法を用いることによって、自車両が走行している道路の車線幅を判断し、その判断結果に従って所定距離の設定値を変えるようにしてもよい。   Note that an appropriate value can be set in advance for the predetermined distance used for determination as the threshold value in step S110. Alternatively, the lane width of the road on which the host vehicle is traveling may be determined by using a method such as collating with the map data of the navigation device, and the set value of the predetermined distance may be changed according to the determination result.

ステップS111では、ステップS110でレーンチェンジ中であると判定された他車両について、鳥瞰マップ上に表示する位置、すなわち自車両との位置関係の推定を行う。その他車両がレーンチェンジする直前までの画像上の移動速度により、実空間上の自車両との相対速度が求められる。この相対速度と、レーンチェンジ直前までに実行されたステップS112において算出された実空間上の位置と、さらに画像上の横位置より求められる空間横方位角とに基づいて、自車両との位置関係を推定する。こうして、鳥瞰マップ上の表示位置を推定することができる。   In step S111, the position displayed on the bird's-eye map, that is, the positional relationship with the host vehicle is estimated for the other vehicle determined to be in the lane change in step S110. The relative speed with respect to the host vehicle in the real space is obtained from the moving speed on the image until the other vehicle immediately before the lane change. Based on this relative speed, the position in the real space calculated in step S112 executed immediately before the lane change, and the spatial lateral azimuth obtained from the lateral position on the image, the positional relationship with the host vehicle Is estimated. In this way, the display position on the bird's eye map can be estimated.

一方、ステップS112では、ステップS110でレーンチェンジ中ではないと判定された他車両について、図4で説明したようにして実空間上の位置を算出する。こうして、鳥瞰マップ上の表示位置の算出を行う。なお、ステップS110において複数の他車両が検出されていた場合は、そのそれぞれについてステップS110の判定処理を行い、その結果に応じて、各他車両に対してステップS111またはS112の処理をそれぞれ実行するようにする。   On the other hand, in step S112, the position in real space is calculated as described in FIG. 4 for the other vehicle that is determined not to be in lane change in step S110. In this way, the display position on the bird's eye map is calculated. When a plurality of other vehicles are detected in step S110, the determination process of step S110 is performed for each of them, and the process of step S111 or S112 is performed for each other vehicle depending on the result. Like that.

ステップS113では、ステップS111で推定された表示位置と、ステップS112で算出された表示位置とに基づいて、モニタ5の鳥瞰マップ上に各他車両の位置を示すマーカーを表示する。ステップS113の実行後は、図6の処理フローを終了する。こうして、自車両とその後方に存在する他車両との位置関係を鳥瞰マップ上に表示し、運転者に周囲状況を報知する。   In step S113, a marker indicating the position of each other vehicle is displayed on the bird's-eye view map of the monitor 5 based on the display position estimated in step S111 and the display position calculated in step S112. After execution of step S113, the processing flow of FIG. In this way, the positional relationship between the host vehicle and the other vehicle behind it is displayed on the bird's-eye view map, and the driver is notified of the surrounding situation.

以上説明した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1を用いて撮像した自車両後方の撮像画像により障害物である他車両を検出し、さらにその撮像画像に基づいて、他車両の空間横方位角を求める。そして、求められた空間横方位角に基づいて、自車両と他車両との位置関係を算出することにより、自車両から他車両までの距離を算出することとした。このようにしたので、中央破線がない道路でも精度の高い距離算出が可能であり、さらには、距離が離れても距離算出の分解能を維持することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) An other vehicle that is an obstacle is detected from an image captured behind the host vehicle that is imaged using the camera 1, and a spatial lateral azimuth angle of the other vehicle is obtained based on the captured image. Then, the distance from the host vehicle to the other vehicle is calculated by calculating the positional relationship between the host vehicle and the other vehicle based on the obtained spatial lateral azimuth angle. Since it did in this way, distance calculation with high accuracy is possible also on a road without a central broken line, and furthermore, resolution of distance calculation can be maintained even if the distance is long.

(2)他車両が走行している走行レーンを推定し、その推定した走行レーンと空間横方位角の方向に延在する方向線との交点を自車両に対する他車両の位置として、自車両と他車両との位置関係を求めることとした。このようにしたので、自車両と他車両との位置関係を正確に算出することができる。 (2) Estimating the traveling lane in which the other vehicle is traveling, and using the intersection of the estimated traveling lane and the direction line extending in the direction of the spatial lateral azimuth as the position of the other vehicle with respect to the own vehicle, The positional relationship with other vehicles was determined. Since it did in this way, the positional relationship of the own vehicle and another vehicle can be calculated correctly.

(3)他車両が走行している走行レーンを自車両の走行軌跡に基づいて推定することとした。このとき、車両センサ2によって検出した自車両の車輪速パルスの数に基づいて、自車両の走行軌跡を求めることとした。このようにしたので、自車両の挙動によって他車両が走行している走行レーンの推定を行うことができる。 (3) The traveling lane in which another vehicle is traveling is estimated based on the traveling locus of the host vehicle. At this time, based on the number of wheel speed pulses of the host vehicle detected by the vehicle sensor 2, the traveling locus of the host vehicle is obtained. Since it did in this way, the travel lane in which the other vehicle is drive | working can be estimated with the behavior of the own vehicle.

(4)自車両が走行している走行レーンと、その走行レーンに所定間隔ごとに並行して隣接する走行レーンとを推定し、それらの走行レーンのいずれかから他車両が走行している走行レーンを特定することとした。このようにしたので、自車両の走行レーンと他車両の走行レーンが異なる場合であっても、他車両の走行レーンを推定することができる。 (4) A travel lane in which the host vehicle is traveling and a travel lane that is adjacent to the travel lane in parallel at a predetermined interval are estimated, and a travel in which another vehicle is traveling from any of the travel lanes. It was decided to identify the lane. Since it did in this way, even if it is a case where the traveling lane of the own vehicle and the traveling lane of another vehicle differ, the traveling lane of another vehicle can be estimated.

(5)自車両が走行している走行レーンに所定間隔ごとに並行して隣接する走行レーンを推定するときに、その所定間隔を道路の車線幅に応じて変化することとすれば、道路の車線幅に適した位置に走行レーンを推定することができる。 (5) When estimating a traveling lane that is adjacent to a traveling lane in which the host vehicle is traveling in parallel at predetermined intervals, if the predetermined interval is changed according to the lane width of the road, The driving lane can be estimated at a position suitable for the lane width.

(6)自車両が走行している走行レーンに隣接する単数または複数の走行レーンを推定するときに、その数を道路の車線数に応じて変化することとすれば、道路の車線数に適した数の走行レーンを推定することができる。 (6) When estimating one or a plurality of driving lanes adjacent to the driving lane in which the host vehicle is driving, if the number changes according to the number of lanes on the road, it is suitable for the number of lanes on the road. A number of driving lanes can be estimated.

なお、上記の実施形態では、算出した空間横方位角の方向に延びる方向線と推定した走行レーンとの交点を他車両の位置として求めることとしたが、これ以外の方法で空間横方位角を用いて他車両位置を求めることもできる。たとえば、カメラ1の撮像画像上での他車両の大きさに基づいて、自車両から他車両までの相対距離のおおよその範囲を算出し、その相対距離の範囲内にある空間横方位角の方向に延在する方向線上の位置を、他車両が存在する位置範囲として決定する。こうして決定された他車両の位置範囲と、道路上の白線を検出することなどで求めた車線位置情報とを用いれば、他車両の最終的な位置を決定することができる。   In the above embodiment, the intersection of the calculated travel lane with the direction line extending in the direction of the calculated spatial lateral azimuth angle is determined as the position of the other vehicle, but the spatial lateral azimuth angle is determined by other methods. The position of the other vehicle can also be obtained by using this. For example, the approximate range of the relative distance from the host vehicle to the other vehicle is calculated based on the size of the other vehicle on the captured image of the camera 1, and the direction of the spatial lateral azimuth angle within the range of the relative distance is calculated. The position on the direction line extending to is determined as a position range in which another vehicle exists. By using the position range of the other vehicle thus determined and the lane position information obtained by detecting a white line on the road, the final position of the other vehicle can be determined.

上記の実施形態では、障害物検出手段、方位角演算手段および位置演算手段をマイコン4によって実現しているが、これや上記実施形態における他の構成はあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。   In the above embodiment, the obstacle detection means, the azimuth angle calculation means, and the position calculation means are realized by the microcomputer 4, but this and other configurations in the above embodiment are merely examples, and the features of the present invention are as follows. Each component is not limited to the above embodiment as long as it is not damaged.

本発明の一実施形態による周囲状況表示装置の構成を示す図である。It is a figure which shows the structure of the surrounding condition display apparatus by one Embodiment of this invention. 走行レーンを推定する方法を説明するための図である。It is a figure for demonstrating the method of estimating a driving | running lane. 空間横方位角を算出する方法を説明するための図であり、(a)は対象物である他車両を撮像する様子を示し、(b)は撮像画像例を示している。It is a figure for demonstrating the method to calculate a space lateral azimuth, (a) shows a mode that the other vehicle which is a target object is imaged, (b) has shown the captured image example. 他車両の位置を算出する方法を説明するための図である。It is a figure for demonstrating the method of calculating the position of another vehicle. 自車両から他車両までの距離の算出結果例を示す図であり、(a)は前後方向の移動量による算出結果例を示し、(b)は左右方向の移動量による算出結果例を示している。It is a figure which shows the example of a calculation result of the distance from the own vehicle to another vehicle, (a) shows the example of a calculation result by the movement amount of the front-back direction, (b) shows the example of the calculation result by the movement amount of the left-right direction. Yes. 本発明の一実施形態による周囲状況表示装置において実行されるフローチャートである。It is a flowchart performed in the surrounding condition display apparatus by one Embodiment of this invention.

符号の説明Explanation of symbols

1:カメラ
2:車両センサ
3:入力画像メモリ
4:マイコン
5:モニタ
1: Camera 2: Vehicle sensor 3: Input image memory 4: Microcomputer 5: Monitor

Claims (6)

自車両の周囲の撮像画像を取得する撮像手段と、
前記撮像手段によって取得された撮像画像に基づいて前記自車両の周囲の他車両を障害物として検出する障害物検出手段と、
前記撮像画像に基づいて前記自車両に対する前記他車両の空間横方位角を求める方位角演算手段と、
前記他車両の走行軌跡を推定し、その推定された走行軌跡と前記空間横方位角の方向に延在する方向線との交点を、前記自車両に対する前記他車両の位置として求めることにより、前記自車両と前記他車両との位置関係を算出する位置演算手段と、
前記位置演算手段により算出された位置関係に基づいて前記自車両の周囲状況を表示する表示手段とを備えることを特徴とする周囲状況表示装置。
Imaging means for acquiring a captured image around the host vehicle;
Obstacle detection means for detecting other vehicles around the host vehicle as an obstacle based on a captured image acquired by the imaging means;
Azimuth angle calculating means for obtaining a spatial lateral azimuth angle of the other vehicle with respect to the host vehicle based on the captured image;
By estimating the travel locus of the other vehicle, and obtaining the intersection of the estimated travel locus and the direction line extending in the direction of the spatial lateral azimuth as the position of the other vehicle with respect to the host vehicle, Position calculating means for calculating a positional relationship between the host vehicle and the other vehicle ;
An ambient condition display device comprising: display means for displaying an ambient condition of the host vehicle based on the positional relationship calculated by the position calculating means.
請求項の周囲状況表示装置において、
前記位置演算手段は、前記他車両の走行軌跡を前記自車両の走行軌跡に基づいて推定することを特徴とする周囲状況表示装置。
The ambient condition display device according to claim 1 ,
The ambient condition display device , wherein the position calculation means estimates a travel locus of the other vehicle based on a travel locus of the host vehicle.
請求項の周囲状況表示装置において、
前記自車両の車輪速パルスを検出するパルス検出手段をさらに備え、
前記パルス検出手段によって検出された車輪速パルスの数に基づいて前記自車両の走行軌跡を求めることを特徴とする周囲状況表示装置。
The ambient condition display device according to claim 2 ,
Pulse detecting means for detecting wheel speed pulses of the host vehicle,
An ambient condition display device characterized in that a traveling locus of the host vehicle is obtained based on the number of wheel speed pulses detected by the pulse detecting means.
請求項1〜3のいずれかの周囲状況表示装置において、
前記位置演算手段は、前記自車両が走行している道路車線における第1の走行軌跡と、前記第1の走行軌跡に所定間隔ごとに並行する単数または複数の第2の走行軌跡とを推定し、前記第1の走行軌跡または前記第2の走行軌跡のいずれかから前記他車両の走行軌跡を特定することにより、前記他車両の走行軌跡を推定することを特徴とする周囲状況表示装置。
In the surroundings display apparatus in any one of Claims 1-3 ,
The position calculating means estimates a first traveling locus on a road lane in which the host vehicle is traveling and one or more second traveling locus parallel to the first traveling locus at predetermined intervals. An ambient condition display device that estimates the travel locus of the other vehicle by specifying the travel locus of the other vehicle from either the first travel locus or the second travel locus .
請求項の周囲状況表示装置において、
前記所定間隔を道路の車線幅に応じて変化することを特徴とする周囲状況表示装置。
The ambient condition display device according to claim 4 ,
An ambient condition display device that changes the predetermined interval according to a lane width of a road.
請求項4または5の周囲状況表示装置において、
前記第2の走行軌跡の数を道路の車線数に応じて変化することを特徴とする周囲状況表示装置。
The ambient condition display device according to claim 4 or 5 ,
An ambient condition display device characterized in that the number of the second traveling locus changes according to the number of road lanes.
JP2003411827A 2003-12-10 2003-12-10 Ambient condition display device Expired - Fee Related JP4020071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003411827A JP4020071B2 (en) 2003-12-10 2003-12-10 Ambient condition display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003411827A JP4020071B2 (en) 2003-12-10 2003-12-10 Ambient condition display device

Publications (2)

Publication Number Publication Date
JP2005173899A JP2005173899A (en) 2005-06-30
JP4020071B2 true JP4020071B2 (en) 2007-12-12

Family

ID=34732459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003411827A Expired - Fee Related JP4020071B2 (en) 2003-12-10 2003-12-10 Ambient condition display device

Country Status (1)

Country Link
JP (1) JP4020071B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5526643B2 (en) * 2009-08-04 2014-06-18 日産自動車株式会社 Vehicle position calculation device, driving support device, and vehicle position calculation method
JP5446559B2 (en) * 2009-08-04 2014-03-19 日産自動車株式会社 Vehicle position calculation device and vehicle position calculation method
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
KR101611194B1 (en) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 Apparatus and method for peripheral image generation of vehicle
US10572753B2 (en) 2015-11-25 2020-02-25 Hitachi, Ltd. Outside recognition device for vehicle
JP6365600B2 (en) * 2016-06-30 2018-08-01 マツダ株式会社 Vehicle display device
JP6643215B2 (en) * 2016-09-29 2020-02-12 株式会社デンソー Other lane monitoring device
JP6637932B2 (en) * 2017-08-03 2020-01-29 株式会社Subaru Driving support device for vehicles
JP6679152B1 (en) * 2019-05-27 2020-04-15 東京海上日動火災保険株式会社 Accident analysis device, accident analysis method and program
EP4092651A1 (en) * 2020-01-17 2022-11-23 Aisin Corporation Nearby vehicle position estimation system, and nearby vehicle position estimation program
JP7456857B2 (en) 2020-06-08 2024-03-27 フォルシアクラリオン・エレクトロニクス株式会社 Self-position estimation device

Also Published As

Publication number Publication date
JP2005173899A (en) 2005-06-30

Similar Documents

Publication Publication Date Title
JP4420011B2 (en) Object detection device
EP1005234B1 (en) Three-dimensional scope system for vehicles with a single camera
JP5962771B2 (en) Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method
EP2372304B1 (en) Vehicle position recognition system
JP4832489B2 (en) Lane judgment device
KR20180114723A (en) Vehicle and method for collision avoidance assist when backing up the vehicle
US10896336B2 (en) Parking compartment recognition apparatus
WO2010035781A1 (en) Lane determining device and navigation system
US20080291276A1 (en) Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information
CN110865374A (en) Positioning system
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
JP4670528B2 (en) Imaging device deviation detection method, imaging device deviation correction method, and imaging device
JP2006527427A (en) Method and apparatus for locating and tracking an object from a vehicle
JP4020071B2 (en) Ambient condition display device
JP2018048949A (en) Object recognition device
JP4876147B2 (en) Lane judgment device and navigation system
JP6941178B2 (en) Automatic operation control device and method
CN113874914A (en) Method for determining an operating angle between a tractor and a trailer of a tractor
JP6115429B2 (en) Own vehicle position recognition device
JPH0981757A (en) Vehicle position detecting device
JP2015067030A (en) Driving assist system
JP6232883B2 (en) Own vehicle position recognition device
JP2919718B2 (en) Vehicle distance measuring device and vehicle equipped with it
CN113353071B (en) Narrow area intersection vehicle safety auxiliary method and system based on deep learning
JP7402753B2 (en) Safety support system and in-vehicle camera image analysis method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees