JP4629638B2 - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP4629638B2 JP4629638B2 JP2006265123A JP2006265123A JP4629638B2 JP 4629638 B2 JP4629638 B2 JP 4629638B2 JP 2006265123 A JP2006265123 A JP 2006265123A JP 2006265123 A JP2006265123 A JP 2006265123A JP 4629638 B2 JP4629638 B2 JP 4629638B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- traveling
- relative movement
- movement vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両の周辺、特に前方側に存在する人などの対象物を監視する装置に関する。 The present invention relates to an apparatus for monitoring an object such as a person existing around a vehicle, particularly on the front side.
従来、この種の装置としては、例えば特許文献1に見られるものが知られている。この特許文献1に見られる技術では、レーザを使用したスキャン型距離検出手段を用いて、車両の前方に存在する物体(対象物)の該車両に対する相対位置、相対速度および相対速度方向(移動方向)を検出する。そして、その検出した相対位置、相対速度および相対速度方向に基づいて、物体と車両との衝突の可能性を判断し、衝突の可能性があると判断したときに、警報を出力するようにしている。
ところで、車両が道路の走行レーンを走行しているとき、該車両の走行は走行レーンに沿うように行なわれるので、該車両の進行方向は、平均的には、走行レーンの向き(延在方向)とほぼ同方向になる。ただし、該車両の進行方向は、常に(定常的に)走行レーンの向きと合致するわけではなく、一般には、該走行レーンの向きに対して変動を伴う。すなわち、車両の進行方向(車両の速度ベクトルの向き)が、走行レーンの向きに対して若干、左右などにふらつきながら、平均的に走行レーンに沿うように、車両の走行が行なわれる。 By the way, when the vehicle travels on the road lane, the vehicle travels along the travel lane. Therefore, the traveling direction of the vehicle is, on average, the direction of the travel lane (extension direction). ) In almost the same direction. However, the traveling direction of the vehicle does not always (steadily) coincide with the direction of the traveling lane, and generally varies with the direction of the traveling lane. That is, the vehicle travels such that the traveling direction of the vehicle (the direction of the speed vector of the vehicle) fluctuates slightly to the left and right with respect to the direction of the traveling lane, and averages along the traveling lane.
一方、前記特許文献1に見られる技術で検出される物体の相対位置、相対速度、および相対速度方向は、車両の瞬時瞬時の前後方向または進行方向を基準とした位置、速度、および方向である。
On the other hand, the relative position, relative speed, and relative speed direction of the object detected by the technique shown in
このため、車両が平均的に走行レーンに沿うように走行した場合に、将来のある時刻で、車両の前方側の物体と車両との接触が発生する可能性が高い状況であっても、車両の進行方向が一時的に走行レーンの向きに対して傾いているような状況では、物体と車両との接触が発生しないと判断されてしまう場合がある。 For this reason, even when the vehicle travels along the traveling lane on average, the vehicle is likely to come into contact with the object on the front side of the vehicle at a certain time in the future. In a situation where the traveling direction of the vehicle is temporarily inclined with respect to the direction of the traveling lane, it may be determined that the contact between the object and the vehicle does not occur.
例えば、図7(詳細は後述する)を参照して、走行レーン50(走行路)を、人などの対象物X2が、矢印A2の向きに横断しようとしている状況で、現在時刻における車両10(実線示の車両10)の進行方向が、矢印Bで示すように、一時的に走行レーン50の向きに対して傾いている場合を想定する。この場合、車両10は、平均的には、走行レーン50に沿って走行するので、近い将来のある時刻において、対象物X2と車両10とが、例えば走行レーン50上の点Pの位置で接触する可能性がある。しかるに、現在時刻での車両10の進行方向は、矢印Bの向きであるので、人などの対象物X2が点Pの位置に達する時刻では、車両10は、点Pから横方向に離れた点Qの位置に達すると予測されてしまい、車両10と対象物X2との接触が発生しないと誤認されてしまう恐れがある。
For example, referring to FIG. 7 (details will be described later), in a situation where an object X2 such as a person is going to cross the traveling lane 50 (traveling road) in the direction of arrow A2, the vehicle 10 ( Assume that the traveling direction of the vehicle 10) indicated by a solid line is temporarily inclined with respect to the direction of the
本発明はかかる背景に鑑みてなされたものであり、車両の走行路の方向に対して、車両の進行方向が一時的なずれを生じる状況を考慮し、車両の前方側の対象物と車両との接触の可能性を従来よりも高い確度で判断することができる車両の周辺監視装置および周辺監視用プログラムを提供することを目的とする。 The present invention has been made in view of such a background, and in consideration of a situation in which the traveling direction of the vehicle temporarily deviates from the direction of the traveling path of the vehicle, the object on the front side of the vehicle and the vehicle An object of the present invention is to provide a vehicle periphery monitoring device and a periphery monitoring program capable of determining the possibility of contact with a higher accuracy than in the past.
本発明の車両の周辺監視装置は、かかる目的を達成するために、車両の前方側に存在する対象物の該車両に対する相対位置を検出する対象物位置検出手段と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する対象物位置補正手段と、少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備え、前記対象物位置補正手段は、前記補正された対象物の相対位置が、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対位置に等しくなるように前記検出された対象物の相対位置を前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする(第1発明)。 In order to achieve such an object, the vehicle periphery monitoring apparatus of the present invention is configured to detect a relative position of an object existing on the front side of the vehicle with respect to the vehicle, and the vehicle is traveling. Travel path information acquisition means for acquiring travel path information capable of specifying the direction of the travel path relative to the vehicle, and object position correction for correcting the relative position of the detected object based on the acquired travel path information Means, and contact possibility determination means for determining the possibility of contact of the object with the vehicle using at least the corrected relative position of the object, and the object position correction means includes the correction The relative position of the target object is equal to the relative position of the target object with respect to the vehicle when it is assumed that the traveling direction of the vehicle matches the direction of the travel path specified by the travel path information. Characterized by correcting the relative position of the detected object in the direction of the travel path specified by the travel path information (first invention).
この第1発明によれば、対象物位置検出手段により検出された対象物の相対位置(車両に固定された座標系での対象物の位置)が、前記車両に対する前記走行路の向き(走行路の延在方向の向き)を特定可能な走行路情報に基づき補正される。ここで、車両は、基本的には、その操舵によって平均的に走行路に沿うように走行する。換言すれば、走行路の向きを車両の進行方向の目標方向として車両の走行が行なわれる。このため、該車両の平均的な進行方向は、前記走行路の向きとほぼ同方向になる。そして、その走行路の向きは、前記走行路情報により特定可能である。 According to the first aspect of the invention, the relative position of the object detected by the object position detecting means (the position of the object in the coordinate system fixed to the vehicle) is the direction of the travel path relative to the vehicle (the travel path). Is corrected on the basis of the travel route information that can specify the direction of the extending direction). Here, the vehicle basically travels along the travel route on average by the steering. In other words, the vehicle travels with the direction of the travel path as the target direction of the traveling direction of the vehicle. For this reason, the average traveling direction of the vehicle is substantially the same as the direction of the travel path. And the direction of the travel path can be specified by the travel path information.
従って、前記検出された対象物の相対位置を前記走行路情報に基づき補正することによって、車両の瞬時的な進行方向が一時的に走行路の向きに対してずれを生じる状況であっても、車両の進行方向をその目標とされる進行方向(走行路の向きとほぼ同方向)に合わせた状態での対象物の相対位置を認識することが可能となる。
より具体的には、前記対象物位置補正手段は、前記補正された対象物の相対位置が、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対位置に等しくなるように前記検出された対象物の相対位置を前記走行路情報により特定される前記走行路の向きに応じて補正する。
なお、このような対象物の相対位置の補正は、具体的には、走行路の向きに対する車両の進行方向の傾き角だけ、前記検出された相対位置を回転変換することにより行なうことができる。
そして、このような補正によって、走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における、すなわち、車両の進行方向を目標とする進行方向に向けた状態での、該車両に対する対象物の相対位置を前記補正された相対位置によって認識することができる。従って、その補正された相対位置に基づいて、走行路に沿って走行しようとしている車両と対象物との接触の可能性を適正に判断できる。このため、この補正された相対位置を用いて対象物と車両との接触の可能性を判断することによって、車両の走行路の向きに対して、車両の進行方向が一時的なずれを生じる状況であっても、平均的に走行路に沿うように走行する車両の前方側の対象物と該車両との接触の可能性を従来よりも高い確度で判断することが可能となる。
Therefore, even if the instantaneous traveling direction of the vehicle temporarily deviates from the direction of the traveling path by correcting the relative position of the detected object based on the traveling path information, It is possible to recognize the relative position of the object in a state where the traveling direction of the vehicle is matched with the target traveling direction (the direction substantially the same as the direction of the traveling path) .
More specifically, the object position correcting means assumes that the corrected relative position of the object matches the traveling direction of the vehicle with the direction of the traveling path specified by the traveling path information. The relative position of the detected object is corrected according to the direction of the travel path specified by the travel path information so as to be equal to the relative position of the target object with respect to the vehicle in the case.
Note that such correction of the relative position of the object can be performed by specifically rotating and converting the detected relative position by the inclination angle of the traveling direction of the vehicle with respect to the direction of the traveling path.
And by such correction, when it is assumed that the traveling direction of the vehicle coincides with the direction of the traveling path specified by the traveling path information, that is, the traveling direction of the vehicle is directed to the target traveling direction. In this state, the relative position of the object with respect to the vehicle can be recognized by the corrected relative position. Therefore, based on the corrected relative position, it is possible to appropriately determine the possibility of contact between the vehicle that is about to travel along the travel path and the object. For this reason, a situation in which the traveling direction of the vehicle temporarily shifts with respect to the direction of the traveling path of the vehicle by determining the possibility of contact between the object and the vehicle using the corrected relative position. Even so, it is possible to determine the possibility of contact between an object on the front side of the vehicle traveling along the traveling road on average and the vehicle with higher accuracy than in the past.
なお、第1発明において、対象物位置検出手段としては、レーダを使用するものや、複数の撮像装置による撮像画像を使用するもの、あるいは、レーダと撮像装置とを併用するものなどが挙げられる。また、走行路情報としては、白線や黄線などのレーンマーカ、ガードレール、歩道などの撮像画像情報、地図情報などが挙げられる。 In the first invention, examples of the object position detection means include those using radar, those using images picked up by a plurality of imaging devices, and those using both radar and imaging devices. Further, examples of the travel route information include lane markers such as white lines and yellow lines, captured image information such as guardrails and sidewalks, and map information.
前記第1発明では、前記接触可能性判断手段は、例えば、前記補正された対象物の相対位置が所定の領域内に存在するか否かに基づき、該対象物の車両との接触の可能性を判断する手段を備える(第2発明)。 In the first aspect of the invention, the contact possibility determination means may determine whether the object is in contact with the vehicle based on, for example, whether or not the corrected relative position of the object is within a predetermined area. ( 2nd invention ).
この第2発明によれば、車両の進行方向が走行路の向きに対して一時的にずれている状況であっても、走行路の向きと同方向(車両の目標とされる進行方向)での車両の前方正面側で、該車両に比較的近い領域など、車両が走行路にほぼ沿って走行した場合に、車両との接触が生じる恐れがある所定の領域に対象物が存在するか否かを判断することができる。従って、対象物と車両との接触の可能性を適正に判断することができる。 According to the second aspect of the invention , even in a situation where the traveling direction of the vehicle is temporarily deviated from the direction of the traveling path, the traveling direction is the same as the traveling path direction (target traveling direction of the vehicle). Whether there is an object in a predetermined area where there is a possibility of contact with the vehicle when the vehicle travels substantially along the travel path, such as an area relatively close to the vehicle, on the front front side of the vehicle. Can be determined. Therefore, it is possible to appropriately determine the possibility of contact between the object and the vehicle.
さらに、第1〜第2発明では、前記接触可能性判断手段は、例えば前記補正後の対象物の相対位置の時系列に基づき該対象物の前記車両に対する相対的な移動方向を表す相対移動ベクトルを求める手段と、該相対移動ベクトルに基づき前記対象物の車両との接触の可能性を判断する手段とを備える(第3発明)。 Furthermore, in the first to second inventions , the contact possibility determination means is a relative movement vector that represents a relative movement direction of the object relative to the vehicle based on, for example, a time series of the relative position of the object after correction. And means for determining the possibility of contact of the object with the vehicle based on the relative movement vector ( third invention ).
この第3発明によれば、車両の進行方向が走行路の向きに対して一時的にずれている状況であっても、車両が走行路の向きと同方向(車両の目標とされる進行方向)に走行した場合に、対象物が車両に対して相対的にどのような向きに移動するか否かを前記相対移動ベクトルに基づいて認識できる。従って、該相対移動ベクトルに基づいて、対象物と車両との接触の可能性を適正に判断できる。例えば、該相対移動ベクトルにより表される対象物の相対的な移動方向が、車両の正面に向かってくるような向きであるときには、車両が走行路に沿って走行した場合に、将来的に該対象物と車両と接触の可能性があると判断できる。 According to the third aspect of the invention , even when the traveling direction of the vehicle is temporarily deviated from the direction of the traveling path, the vehicle is in the same direction as the traveling path (the traveling direction targeted by the vehicle). ), It is possible to recognize in what direction the object moves relative to the vehicle based on the relative movement vector. Therefore, the possibility of contact between the object and the vehicle can be properly determined based on the relative movement vector. For example, when the relative movement direction of the object represented by the relative movement vector is such that the object moves toward the front of the vehicle, the vehicle will travel in the future when the vehicle travels along the travel path. It can be determined that there is a possibility of contact between the object and the vehicle.
なお、この第3発明における相対移動ベクトルとしては、例えば、前記補正された対象物の相対位置の時系列から把握される該対象物の相対速度ベクトルや、該対象物の相対位置の時系列を結ぶ線を近似する直線の向きを有するベクトルなどが挙げられる。 As the relative movement vector in the third invention , for example, the relative velocity vector of the target obtained from the time series of the corrected relative position of the target, or the time series of the relative position of the target is used. A vector having the direction of a straight line approximating the connecting line can be used.
また、本発明の車両の周辺監視装置は、前記第1発明と別の態様として、車両の前方側に存在する対象物の該車両に対する相対的な移動方向を表す相対移動ベクトルを認識する相対移動ベクトル認識手段と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する相対移動ベクトル補正手段と、少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備え、前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする(第4発明)。 According to another aspect of the vehicle periphery monitoring apparatus of the present invention, a relative movement for recognizing a relative movement vector representing a relative movement direction of an object existing on the front side of the vehicle with respect to the vehicle is provided. Vector recognition means, travel path information acquisition means for acquiring travel path information capable of specifying the direction of the travel path on which the vehicle is traveling with respect to the vehicle, and the acquired travel path for the recognized relative movement vector Relative movement vector correction means for correcting based on information, and contact possibility determination means for determining the possibility of contact of the object with the vehicle based on at least the corrected relative movement vector, and the relative movement The vector correction means assumes that the direction of the corrected relative movement vector matches the traveling direction of the vehicle with the direction of the road specified by the road information. And correcting according to the travel path direction of the identified the recognized relative movement vector to be equal to the relative moving direction by the travel path information of the object relative to the vehicle when the ( 4th invention ).
この第4発明によれば、前記相対移動ベクトル認識手段により認識された対象物の相対移動ベクトル(車両に固定された座標系での対象物の移動方向を表すベクトル)を、前記車両に対する前記走行路の向きを特定可能な走行路情報に基づき補正する。
より具体的には、前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正する。従って、この補正によって、車両の瞬時的な進行方向が一時的に走行路の向きに対してずれを生じる状況であっても、車両の進行方向をその目標とされる進行方向(走行路の向きとほぼ同方向)に合わせた状態での該車両に対する対象物の移動方向を表す相対移動ベクトルを得ることが可能となる。
より具体的には、前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正する。
なお、上記相対移動ベクトルの補正は、具体的には、走行路の向きに対する車両の進行方向の傾き角だけ、前記認識された相対移動ベクトルを回転変換することにより行なうことができる。
このような補正によって、走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における、すなわち、車両の進行方向を目標とする進行方向に向けた状態での、該車両に対する対象物の移動方向を前記補正された相対移動ベクトルによって認識することができる。従って、その補正された相対移動ベクトルに基づいて、走行路に沿って走行しようとしている車両と対象物との接触の可能性を適正に判断できる。例えば、前記補正された相対移動ベクトルにより表される対象物の相対的な移動方向が、車両(進行方向を走行路の向きと同方向に向けた車両)の正面に向かってくるような向きであるときには、車両が走行路に沿って走行した場合に、将来的に該対象物と車両と接触の可能性があると判断できる。このため、この補正された相対移動ベクトルに基づいて対象物と車両との接触の可能性を判断することによって、車両の走行路の向きに対して、車両の進行方向が一時的なずれを生じる状況であっても、平均的に走行路に沿うように走行する車両の前方側の対象物と車両との接触の可能性を従来よりも高い確度で判断することが可能となる。
According to the fourth aspect of the invention , the relative movement vector of the object recognized by the relative movement vector recognition means (the vector representing the movement direction of the object in the coordinate system fixed to the vehicle) is used as the travel with respect to the vehicle. The direction of the road is corrected based on the road information that can be specified .
More specifically, the relative movement vector correction means assumes that the direction of the corrected relative movement vector matches the traveling direction of the vehicle with the direction of the traveling path specified by the traveling path information. In this case, the recognized relative movement vector is corrected in accordance with the direction of the travel path specified by the travel path information so as to be equal to the relative movement direction of the object with respect to the vehicle. Therefore, even if the instantaneous traveling direction of the vehicle is temporarily deviated from the direction of the traveling path by this correction, the traveling direction of the vehicle (the direction of the traveling path) It is possible to obtain a relative movement vector that represents the movement direction of the object relative to the vehicle in a state of being substantially in the same direction.
More specifically, the relative movement vector correction means assumes that the direction of the corrected relative movement vector matches the traveling direction of the vehicle with the direction of the traveling path specified by the traveling path information. In this case, the recognized relative movement vector is corrected in accordance with the direction of the travel path specified by the travel path information so as to be equal to the relative movement direction of the object with respect to the vehicle.
Specifically, the correction of the relative movement vector can be performed by rotationally converting the recognized relative movement vector by the inclination angle of the traveling direction of the vehicle with respect to the direction of the traveling road.
By such correction, when it is assumed that the traveling direction of the vehicle coincides with the direction of the traveling path specified by the traveling path information, that is, in a state where the traveling direction of the vehicle is directed to the target traveling direction. The moving direction of the object relative to the vehicle can be recognized by the corrected relative movement vector. Therefore, based on the corrected relative movement vector, it is possible to appropriately determine the possibility of contact between the vehicle that is going to travel along the travel path and the object. For example, in such a direction that the relative movement direction of the object represented by the corrected relative movement vector is toward the front of the vehicle (a vehicle whose traveling direction is the same as the direction of the traveling path). In some cases, when the vehicle travels along the travel path, it can be determined that there is a possibility of contact between the object and the vehicle in the future. For this reason, by determining the possibility of contact between the object and the vehicle based on the corrected relative movement vector, the traveling direction of the vehicle is temporarily deviated from the direction of the traveling path of the vehicle. Even in a situation, it is possible to determine the possibility of contact between an object on the front side of a vehicle that travels along the traveling path on average and the vehicle with higher accuracy than before.
なお、第4発明において、相対移動ベクトル認識手段は、例えばレーダや複数の撮像装置による撮像画像を使用して検出される対象物の相対位置の時系列から相対移動ベクトルを認識すればよい。その相対移動ベクトルとしては、前記第3発明と同様に、対象物の車両に対する相対速度ベクトルや、対象物の相対位置の時系列を結ぶ線を近似する直線の向きを有するベクトルなどが挙げられる。あるいは、相対移動ベクトル認識手段は、レーダを使用した場合には、ドップラー効果を利用して検出される対象物の相対速度により該対象物の相対移動ベクトルを認識するようにしてもよい。また、走行路情報としては、前記第1発明と同様に、白線や黄線などのレーンマーカ、ガードレール、歩道などの撮像画像情報、地図情報などが挙げられる。 In the fourth invention , the relative movement vector recognizing means may recognize the relative movement vector from the time series of the relative position of the target detected using, for example, images captured by a radar or a plurality of imaging devices. As the relative movement vector, similar to the third invention , a relative velocity vector of the object with respect to the vehicle, a vector having a direction of a straight line approximating a line connecting the time series of the relative position of the object, and the like can be mentioned. Alternatively, when the radar is used, the relative movement vector recognition means may recognize the relative movement vector of the object based on the relative speed of the object detected using the Doppler effect. In addition, as the travel route information, lane markers such as white lines and yellow lines, captured image information such as guardrails and sidewalks, map information, and the like can be cited as in the first invention.
本発明の第1実施形態を図1〜図7を参照して説明する。 A first embodiment of the present invention will be described with reference to FIGS.
まず、図1および図2を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図1は該周辺監視装置の全体構成を示すブロック図、図2は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図2では、周辺監視装置の一部の構成要素の図示を省略している。 First, with reference to FIG. 1 and FIG. 2, the system configuration | structure of the vehicle periphery monitoring apparatus of this embodiment is demonstrated. FIG. 1 is a block diagram showing the overall configuration of the periphery monitoring device, and FIG. 2 is a perspective view showing the appearance of a vehicle equipped with the periphery monitoring device. In FIG. 2, illustration of some components of the periphery monitoring device is omitted.
図1および図2を参照して、本実施形態の周辺監視装置は、画像処理ユニット1を備える。この画像処理ユニット1には、車両10の前方の画像を撮像する撮像装置としての2つの赤外線カメラ2R,2Lが接続されると共に、車両10の走行状態を検出するセンサとして、車両10のヨーレートを検出するヨーレートセンサ3と、車両10の走行速度(車速)を検出する車速センサ4と、車両10のブレーキ操作(詳しくはブレーキペダルが操作されているか否か)を検出するブレーキセンサ5とが接続されている。さらに、画像処理ユニット1には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ6と、前記赤外線カメラ2R,2Lにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置7とが接続されている。各赤外線カメラ2R,2Lは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる(該物体の画像の輝度が高くなる)特性を有している。なお、本実施形態では、撮像装置として、赤外線カメラ2R,2Lを使用するが、可視光域に感度を有するカメラを使用してもよい。
With reference to FIGS. 1 and 2, the periphery monitoring device of the present embodiment includes an
画像処理ユニット1は、詳細な図示は省略するが、A/D変換回路、マイクロコンピュータ(CPU、RAM、ROM)、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4およびブレーキセンサ5の出力(アナログ信号)がA/D変換回路を介してデジタル化されて入力される。そして、画像処理ユニット1は、入力されたデータを基に、人(歩行者)などの対象物を検出する処理や、その検出した対象物と車両10との接触の可能性を判断する処理、必要に応じて前記スピーカ6や表示装置7を介して運転者に警報を発する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのROMにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。また、そのプログラムの実行によって実現される画像処理ユニット1の処理機能によって、本発明の各手段が実現される。
Although not shown in detail, the
図2に示すように、前記赤外線カメラ2R,2Lは、車両10の前方を撮像するために、車両10の前部(図ではフロントグリルの部分)に取り付けられている。この場合、赤外線カメラ2R,2Lは、それぞれ、車両10の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、車両10の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ2R,2Lは、それらの光軸が互いに平行に車両10の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両10の前部に固定されている。
As shown in FIG. 2, the
また、前記表示装置7は、本実施形態では、例えば車両10のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ7a(以下、HUD7aという)を備えている。なお、表示装置7は、HUD7aの代わりに、もしくは、HUD7aと共に、車両10の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。
In the present embodiment, the display device 7 includes a head-up display 7a (hereinafter referred to as HUD 7a) that displays information such as an image on the front window of the
次に、本実施形態の周辺監視装置の全体的動作を図3および図4のフローチャートを参照して説明する。なお、図3および図4のフローチャートの処理のうちの一部の処理は、例えば本願出願人が先に提案した特開2003−284057号公報(以下、特許文献2という)の図3に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。補足すると、図3および図4のフローチャートの処理は、画像処理ユニット1のマイクロコンピュータが実行するプログラムにより実現される処理である。
Next, the overall operation of the periphery monitoring apparatus of this embodiment will be described with reference to the flowcharts of FIGS. 3 and 4 is described in FIG. 3 of Japanese Patent Laid-Open No. 2003-284057 (hereinafter referred to as Patent Document 2) previously proposed by the applicant of the present application. Therefore, the detailed description of the same processing is omitted here. Supplementally, the processes in the flowcharts of FIGS. 3 and 4 are processes realized by a program executed by the microcomputer of the
まず、画像処理ユニット1は、赤外線カメラ2R,2Lのそれぞれの出力信号である赤外線画像を取得して(STEP1)、A/D変換し(STEP2)、それぞれの画像を画像メモリに格納する(STEP3)。これにより、各赤外線カメラ2R,2Lにより撮像された画像が画像処理ユニット1に取り込まれる。以降、赤外線カメラ2Rから得られた画像を右画像、赤外線カメラ2Lから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。なお、STEP1〜3の処理は、前記特許文献2の図3のS1〜S3の処理と同じである。
First, the
次いで、画像処理ユニット1は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を2値化する(STEP4)。基準画像は、本実施形態では右画像である。この2値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域(比較的明るい領域)を「1」(白)とし、該輝度閾値よりも低い輝度値を有する領域(比較的暗い領域)を「0」(黒)とする処理である。以降、この2値化処理により得られる画像(白黒画像)を2値化画像という。そして、この2値化画像のうちの、「1」とされる領域を高輝度領域という。なお、この2値化画像は、グレースケール画像(右画像および左画像)とは別に画像メモリに記憶される。
Next, the
次いで、画像処理ユニット1は、前記2値化画像に対してSTEP5〜7の処理を実行し、該2値化画像から対象物(より正確には対象物に対応する画像部分)を抽出する。すなわち、前記2値化画像の高輝度領域を構成する画素群を、基準画像の縦方向(y方向)に1画素分の幅を有して横方向(x方向)延在するラインに分類し、その各ラインを、その位置(基準画像上での2次元位置)の座標と長さ(画素数)とからなるランレングスデータに変換する(STEP5)。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル(識別子)を付し(STEP6)、そのライン群のそれぞれを対象物として抽出する(STEP7)。
Next, the
なお、STEP5〜7の処理により抽出される対象物には、一般には、人(歩行者)だけでなく、他車両、電柱、自動販売機などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。 Note that the objects extracted by the processing in STEPs 5 to 7 generally include not only people (pedestrians) but also artificial structures such as other vehicles, utility poles, and vending machines. In addition, a plurality of local parts of the same object may be extracted as the target object.
次いで、画像処理ユニット1は、上記の如く抽出した各対象物の重心の位置(基準画像上での位置)と面積と外接四角形の縦横比とを求める(STEP8)。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置(各ラインの中心位置)の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心(中心)の位置を求めてもよい。
Next, the
次いで、画像処理ユニット1は、前記STEP7で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット1の演算処理周期毎の同一対象物の認識を行なう(STEP9)。この処理では、ある演算処理周期の時刻(離散系時刻)kにおけるSTEP7の処理により対象物Aが抽出され、次の演算処理周期の時刻k+1におけるSTEP7の処理により対象物Bが抽出されたとしたとき、それらの対象物A,Bの同一性が判定される。この同一性の判定は、例えば、それらの対象物A,Bの2値化画像上での形状やサイズ、基準画像(グレースケール画像)上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物A,Bが互いに同一であると判定された場合に、時刻k+1で抽出した対象物Bのラベル(STEP6で付したラベル)が対象物Aのラベルと同じラベルに変更される。
Next, the
なお、前記したSTEP5〜9の処理は、前記特許文献2の図3のS5〜S9の処理と同じである。 Note that the processing in STEPs 5 to 9 described above is the same as the processing in S5 to S9 in FIG.
次いで、画像処理ユニット1は、前記車速センサ4およびヨーレートセンサ5の出力(車速の検出値およびヨーレートの検出値)を読み込む(STEP10)。なお、このSTEP10では、読込んだヨーレートの検出値を積分することにより、車両10の回頭角(方位角)の算出も行なわれる。
Next, the
一方、画像処理ユニット1は、STEP9,10の処理と並行して、あるいは時分割処理により、STEP11〜13の処理を実行する。このSTEP11〜13の処理は、STEP7で抽出した各対象物の車両10からの距離を求める処理であり、前記特許文献2の図3のS11〜S13の処理と同じである。その処理を概略的に説明すると、まず、右画像(基準画像)のうち、各対象物に対応する領域(例えば該対象物の外接四角形の領域)を探索画像R1として抽出する(STEP11)。
On the other hand, the
次いで、左画像中で、右画像の探索画像R1に含まれる対象物と同じ対象物を探索するための領域である探索領域R2が設定され、その探索領域R2内で、探索画像R1との相関性が最も高い領域が、探索画像R1に対応する画像(探索画像R1と同等の画像)である対応画像R3として抽出される(STEP12)。この場合、左画像の探索領域R2のうち、右画像の探索画像R1の輝度分布に最も一致する輝度分布を有する領域が対応画像R3として抽出される。なお、STEP12の処理は、2値化画像ではなく、グレースケール画像を使用して行なわれる。 Next, in the left image, a search area R2 that is an area for searching for the same object as the object included in the search image R1 of the right image is set, and the correlation with the search image R1 is set in the search area R2. The region having the highest probability is extracted as a corresponding image R3 that is an image corresponding to the search image R1 (an image equivalent to the search image R1) (STEP 12). In this case, an area having a luminance distribution that most closely matches the luminance distribution of the search image R1 of the right image is extracted as the corresponding image R3 from the search area R2 of the left image. Note that the processing in STEP 12 is performed using a grayscale image, not a binarized image.
次いで、右画像における前記探索画像R1の重心の横方向位置(x方向位置)と、左画像における前記対応画像R3の重心の横方向位置(x方向位置)との差分の画素数を視差Δdとして算出し、その視差Δdを用いて、対象物の車両10からの距離z(車両10の前後方向における距離)が算出される(STEP13)。距離zは、次式(1)により算出される。
Next, the number of pixels of the difference between the lateral position (x-direction position) of the center of gravity of the search image R1 in the right image and the lateral position (x-direction position) of the center of gravity of the corresponding image R3 in the left image is defined as parallax Δd. The distance z (distance in the front-rear direction of the vehicle 10) of the target object from the
z=(f×D)/(Δd×p) ……(1)
なお、fは赤外線カメラ2R,2Lの焦点距離、Dは赤外線カメラ2R,2Lの基線長(光軸の間隔)、pは画素ピッチ(1画素分の長さ)である。
z = (f × D) / (Δd × p) (1)
Note that f is the focal length of the infrared cameras 2R and 2L, D is the base length (interval of the optical axis) of the infrared cameras 2R and 2L, and p is the pixel pitch (length of one pixel).
以上がSTEP11〜13の処理の概要である。なお、STEP11〜13の処理は、前記STEP7で抽出された各対象物に対して実行される。 The above is the outline of the processing of STEPs 11 to 13. In addition, the process of STEP11-13 is performed with respect to each target object extracted by said STEP7.
前記STEP10およびSTEP13の処理の終了後、画像処理ユニット1は、次に、各対象物の実空間上での位置(車両10に対する相対位置)である実空間位置を算出する(STEP14)。ここで算出される実空間位置は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点を原点として設定された実空間座標系(XYZ座標系)での位置(X,Y,Z)である。この実空間座標系のX方向およびY方向は、それぞれ車両10の車幅方向、上下方向(鉛直方向)であり、これらのX方向およびY方向は、前記右画像および左画像のx方向(横方向)、y方向(縦方向)と同方向である。また、実空間座標系のZ方向は、車両10の前後方向である。そして、対象物の実空間位置(X,Y,Z)は次式(2)、(3)、(4)により算出される。
After the processing of
X=x×z×p/f ……(2)
Y=y×z×p/f ……(3)
Z=z ……(4)
なお、x、yは基準画像上での対象物のx座標、y座標である。
X = x × z × p / f (2)
Y = y × z × p / f (3)
Z = z (4)
Note that x and y are the x-coordinate and y-coordinate of the object on the reference image.
次いで、画像処理ユニット1は、車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置(X,Y,Z)のうちのX方向の位置XおよびZ方向の位置Zを上記式(2)、(4)により求めた値から、前記STEP10で求めた回頭角の時系列データに応じて補正する(STEP15)。具体的には、画像処理ユニット1の現在の演算処理周期の時刻から次回の演算処理周期の時刻までの回頭角の変化量を、現在時刻までの回頭角の時系列データを基に求める(推定する)。なお、その回頭角の補正量は、例えば、車両10のヨーレートの検出値(現在値)に、演算処理周期の1周期分の時間を乗じることで求めてもよい。そして、その求めた回頭角の変化量だけ、STEP14で求めた対象物の実空間位置をY軸(鉛直軸)の回りに回転変換する(回頭角の変化量により定まるY軸まわりの回転変換の行列をSTEP14で求めた実空間位置(X,Y,Z)の列ベクトルに乗じる)ことにより、該実空間位置(X,Y,Z)のX方向の位置XおよびZ方向の位置Zを補正する。この補正後の実空間位置は、車両10の進行方向をZ方向、これに直交する水平方向をX方向、鉛直方向をY方向とする座標系での対象物の位置に相当する。
Next, the
なお、車両10が直進走行をしている状況など、車両10の進行方向と前後方向とが一致もしくはほぼ一致する状況(車両10の横滑りが十分に小さい状況)では、STEP15の処理は省略してもよい。
It should be noted that the processing of STEP 15 is omitted in situations where the traveling direction of the
補足すると、以上説明したSTEP1〜15の処理によって、本発明(第1発明)における対象物位置検出手段が構成される。
Supplementally, the object position detection means in the present invention (first invention) is configured by the processing in
一方、前記したSTEP4〜STEP15の処理と並行して、あるいは、時分割処理により、画像処理ユニット1は、STEP3で取得したグレースケール画像を基に、車両10が走行している走行路である走行レーンの、車両10に対する向き(車両10に対する走行レーンの延在方向の向き)を特定可能な走行路情報を取得する処理をSTEP16、17で実行する。
On the other hand, in parallel with the processing of STEP 4 to STEP 15 described above or by time-sharing processing, the
本実施形態では、走行レーンの左側もしくは右側のレーンマーカ(白線や黄線など、走行レーンの両側もしくは片側の境界を規定するマーカ)を走行レーンの向きを特定可能な走行路情報として用い、そのレーンマーカをSTEP16,17の処理により検出(認識)する。具体的には、まず、画像処理ユニット1は、前記STEP3で取得したグレースケール画像から、エッジ検出を行なう(STEP16)。エッジ検出は、右画像または左画像の左右方向(x方向)での輝度の微分値の絶対値が、所定値以上となる点を抽出することで行なわれる。次いで、画像処理ユニット1は、STEP16で検出したエッジを基に、走行レーンの左側もしくは右側のレーンマーカを検出する(STEP17)。具体的には、STEP17で検出したエッジのうちの、車両10の左側および右側のうちの一方側で直線状に連続するものを、レーンマーカとして検出する。これにより、レーンマーカが、走行レーンの向きを特定可能な走行路情報として取得される。なお、撮像画像に基づく、白線や黄線などのレーンマーカの検出手法は、種々様々の手法が公知となっており、そのいずれの手法を用いてもよい。また、白線や黄線に限らず、ドットボッツなどのレーンマーカの列を検出するようにしてもよい。
In the present embodiment, the lane marker on the left side or the right side of the travel lane (marker that defines a boundary on both sides or one side of the travel lane such as a white line or a yellow line) is used as travel path information that can specify the direction of the travel lane, and the lane marker Is detected (recognized) by the processing of STEPs 16 and 17. Specifically, first, the
このようにして検出されるレーンマーカの延在方向の、車両10に対する向きが、該車両10に対する走行レーンの向きを表すものとなる。
The direction of the extension direction of the lane marker thus detected with respect to the
補足すると、白線などのレーンマーカ以外に、走行レーンの側方の歩道、ガードレールなどを、走行レーンの向きを特定可能な走行路情報として検出するようにしてもよい。また、車両10の外部との通信や、地図データなどを基に、車両10の前方の道路の曲率などを認識できる場合には、その情報を走行路情報として用いてもよい。また、本実施形態では、赤外線カメラ2Rまたは2Lによる撮像画像(赤外線画像)を使用して、レーンマーカを検出するようにしたが、赤外線カメラ2R,2Lとは別の撮像装置(可視光域に感度を有するカメラ)を車両10に搭載しておき、その撮像装置による車両10の前方の撮像画像(可視光画像)からレーンマーカを検出するようにしてもよい。
Supplementally, in addition to lane markers such as white lines, sidewalks and guardrails on the side of the travel lane may be detected as travel route information that can specify the direction of the travel lane. Moreover, when the curvature of the road ahead of the
なお、STEP16,17の処理によって、本発明における走行路情報取得手段が構成される。 In addition, the travel route information acquisition means in this invention is comprised by the process of STEP16,17.
上記のようにSTEP15およびSTEP17の処理を実行した後、画像処理ユニット1は、次に、STEP15で求めた対象物の実空間位置(X,Y,Z)を、STEP17で検出したレーンマーカにより特定される走行レーンの向き(車両10に対する向き)に応じて補正する(STEP18)。この補正は、次のように行なわれる。
After executing the processing of STEP 15 and STEP 17 as described above, the
すなわち、前記STEP17で検出したレーンマーカの、前記右画像上または左画像上での傾き角を基に、該レーンマーカの、車両10の前後方向に対する傾き角(水平面内での傾き角)が求められる。なお、この傾き角は、車両10の前方側で、該車両10から所定の距離だけ離れた位置(車両10に近い位置)におけるレーンマーカの傾き角である。そして、この傾き角に、前記STEP15の処理で使用した回頭角の変化量(演算処理周期の1周期当たりの回頭角の変化量)を加えることによって、車両10の進行方向に対するレーンマーカの傾き角(これは車両10の進行方向と走行レーンの向き(水平面内での向き)とのずれ角を意味する)が求められる。
That is, based on the inclination angle of the lane marker detected in STEP 17 on the right image or the left image, the inclination angle of the lane marker with respect to the front-rear direction of the vehicle 10 (inclination angle in the horizontal plane) is obtained. This inclination angle is the inclination angle of the lane marker at a position (a position close to the vehicle 10) that is a predetermined distance away from the
なお、車両10の前後方向と進行方向とが一致またはほぼ一致する状況では、レーンマーカの、車両10の前後方向に対する傾き角をそのまま、車両10の進行方向に対するレーンマーカの傾き角として求めればよい。
Note that, in a situation where the front-rear direction of the
さらに、このようにして求めた傾き角だけ、STEP15で求めた対象物の実空間位置(X,Y,Z)をY軸まわりに(鉛直軸まわりに)回転変換する(傾き角に応じて定まるY軸まわりの回転変換の行列をSTEP15で求めた実空間位置(X,Y,Z)の列ベクトルに乗じる)ことによって、該実空間位置(X,Y,Z)が補正される。このような補正によって得られる対象物の実空間位置は、車両10の進行方向を走行レーンの向きと同方向(車両10の目標とする進行方向)に合致させたと仮定した場合における該車両10に対する対象物の相対的な実空間位置、具体的には、走行レーンの向きをZ方向、これと直交する水平方向をX方向、鉛直方向をY方向として、当該車両10(進行方向を走行レーンの向きに合致させた車両10)に固定された座標系での位置を意味する。以降、このSTEP18での補正後の対象物の実空間位置をレーン基準実空間位置、このレーン基準実空間位置に対応する座標系(走行レーンの向きをZ方向とする座標系)をレーン基準実空間座標系という。また、前記STEP15で求められた対象物の実空間位置を車両基準実空間位置、この車両基準実空間位置に対応する座標系(車両10の実際の進行方向をZ方向とする座標系)を車両基準実空間座標系という。
Further, the real space position (X, Y, Z) of the object obtained in STEP 15 is rotationally transformed around the Y axis (around the vertical axis) by the inclination angle obtained in this way (determined according to the inclination angle). The real space position (X, Y, Z) is corrected by multiplying the rotation transformation matrix around the Y axis by the column vector of the real space position (X, Y, Z) obtained in STEP 15). The real space position of the object obtained by such correction is relative to the
ここで、図7は、実線で示す車両10が、レーンマーカ50a,50bで区画された走行レーン50を走行している状況を示している。この図示の状況では、実線で示す車両10の現在の進行方向は、矢印Bで示す方向であり、その進行方向は、走行レーン50の向き(レーンマーカ50a,50bの延在方向)に対して角度θx(≠0)の傾き角だけ傾いている。なお、図示の例では、車両10の前後方向と進行方向とが合致している状況を示している。この場合、図中の斜線付きの円で表す対象物X1,X2の車両基準実空間位置は、実線示の車両10の進行方向をZ方向として、該車両10に固定された車両基準実空間座標系での位置を表すものとなる。一方、前記レーン基準実空間位置は、図7に二点鎖線で示す車両10、すなわち、その進行方向(前後方向)を走行レーンの向きと同方向に合致させた車両10の進行方向(=走行レーンの向き)をZ方向として、該車両10に固定されたレーン基準実空間座標での位置を表すものとなる。
Here, FIG. 7 shows a situation in which the
STEP18の処理の後、画像処理ユニット1は、対象物の車両10に対する移動ベクトルを求める(STEP19)。具体的には、同一対象物についてのレーン基準実空間位置の、所定期間(現在時刻から所定時間前までの期間。以下、モニタ期間という)における時系列データを近似する直線を求め、所定時間前の時刻(モニタ期間の初期時刻)での該直線上の対象物の位置(点)から、現在時刻(モニタ期間の終了時刻)における該直線上の対象物の位置(点)に向かうベクトルを対象物の移動ベクトルとして求める。このようにして求められる移動ベクトルは、本発明における相対移動ベクトルに相当し、対象物の車両10に対する相対速度ベクトルに比例する。そして、該移動ベクトルは、車両10の進行方向を走行レーンの向きに合致させた場合における対象物の車両10に対する相対的な移動方向を示すものとなる。
After the processing of STEP 18, the
次いで、画像処理ユニット1は、前記STEP7で抽出された各対象物(2値化対象物)が、車両10との接触を回避すべき回避対象であるか否かを判定する回避対象判定処理を実行する(STEP20)。この回避対象判定処理については詳細を後述する。
Next, the
上記STEP20の回避対象判定処理で、対象物が回避対象でないと判定された場合(より正確には、全ての対象物が回避対象でないと判定された場合)には、STEP20の判定結果がNOとなる。この場合には、今回の演算処理周期の処理が終了し、次回の演算処理周期でSTEP1からの処理が繰り返される。また、STEP20で、対象物が回避対象であると判定された場合(回避対象であると判定された対象物が存在する場合)には、STEP20の判定結果がYESとなる。この場合には、STEP21に進んで、画像処理ユニット1は、回避対象であると判定された対象物に対する車両10の運転者の注意を喚起すべきが否かを判定する注意喚起出力判定処理を実行する。この注意喚起出力判定処理では、前記ブレーキセンサ5の出力から、運転者による車両10のブレーキ操作がなされていることが確認され、且つ、車両10の減速加速度(車速の減少方向の加速度を正とする)が所定の閾値(>0)よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両10の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。
In the avoidance target determination process of STEP 20 described above, when it is determined that the target object is not the avoidance target (more precisely, when all target objects are determined not to be the avoidance target), the determination result of STEP 20 is NO. Become. In this case, the processing in the current arithmetic processing cycle is completed, and the processing from STEP1 is repeated in the next arithmetic processing cycle. Further, when it is determined in STEP 20 that the object is an avoidance object (when there is an object determined to be an avoidance object), the determination result in STEP 20 is YES. In this case, proceeding to STEP 21, the
そして、画像処理ユニット1は、注意喚起を行なうべきと判定した場合(STEP21の判断結果がYESとなる場合)には、前記スピーカ6と表示装置7とによる注意喚起を車両10の運転者に対して行なう注意喚起処理を実行する(STEP22)。そして、この注意喚起処理の後、今回の演算処理周期の処理が終了して、次回の演算処理周期でSTEP1からの処理が再開される。上記注意喚起処理では、例えば表示装置7に前記基準画像を表示すると共に、その基準画像中の、回避対象の対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ6から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する注意喚起は、スピーカ6および表示装置7のいずれか一方だけで行なうようにしてもよい。
If the
また、STEP21で注意喚起を行なわないと判断したとき(全ての回避対象の対象物について注意喚起を行なわないと判断したとき)には、STEP21の判断結果がNOとなる。この場合には、そのまま今回の演算処理周期の処理が終了して、次回の演算処理周期でSTEP1からの処理が再開される。
Further, when it is determined in
補足すると、本実施形態では、前記表示装置7およびスピーカ6が本発明における所定の機器に相当する。また、車両10が車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能(ひいては車両10の走行挙動を操作可能)なものである場合には、STEP20で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように車両10のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合(通常の場合)よりも大きくなるようにアクセル装置を制御して加速しにくくする。あるいは、回避対象と車両10との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両10の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両10の運転が容易になる。
Supplementally, in the present embodiment, the display device 7 and the speaker 6 correspond to predetermined devices in the present invention. Further, when the
なお、上記のようなステアリング装置の制御と、前記表示装置7もしくはスピーカ6による注意喚起とは、並行して行なうようにしてもよい。 Note that the control of the steering device as described above and the alerting by the display device 7 or the speaker 6 may be performed in parallel.
以上が本実施形態の周辺監視装置の全体的作動である。 The above is the overall operation of the periphery monitoring device of this embodiment.
次に、説明を後回しにしたSTEP20の回避対象判定処理を図5、図6および前記図7を参照して詳細に説明する。図5はSTEP20の処理を示すフローチャート、図6はその処理で使用する第1領域AR1および第2領域AR2を説明するための図である。 Next, the avoidance target determination process of STEP 20 that will be described later will be described in detail with reference to FIGS. 5, 6, and 7. FIG. 5 is a flowchart showing the process of STEP 20, and FIG. 6 is a diagram for explaining the first area AR1 and the second area AR2 used in the process.
図5を参照して、STEP20の回避対象判定処理では、まず、対象物のレーン基準実空間位置に関する第1の判定処理としての第1対象物位置判定処理が実行される(STEP31)。この第1対象物位置判定処理は、車両10と対象物との接触を車両10の操舵やブレーキ操作によって余裕をもって回避し得るか否かを判定するための処理である。具体的には、該第1対象物位置判定処理では、赤外線カメラ2R,2Lの撮像領域(赤外線カメラ2R,2Lの視野角内領域)のうち、走行レーンの方向(前記レーン基準実空間座標系のZ方向)での車両10からの距離が、所定値以下となる領域(以下、第1領域AR1という)に対象物の現在のレーン基準実空間位置(レーン基準実空間位置の今回値)が存在するか否かが判定される。
Referring to FIG. 5, in the avoidance target determination process of STEP 20, first, a first object position determination process is executed as a first determination process related to the lane reference real space position of the target object (STEP 31). This first object position determination process is a process for determining whether or not the contact between the
この場合、車両10からの距離に関する所定値は、前記STEP4で抽出された対象物(2値化対象物)毎に設定される。具体的には、前記STEP19で移動ベクトルを求めるための前記モニタ期間の時間で、該移動ベクトルのZ方向成分(前記レーン基準実空間座標系でのZ方向成分)を除算することにより、該モニタ期間での対象物の平均速度Vz(走行レーンの方向での対象物の相対速度の平均値Vz)が求められ、この平均速度Vzに所定の定数T(時間の次元の定数)を乗じてなる値Vz・Tが前記第1領域AR1の、Z方向の境界を規定する上記所定値として設定される。
In this case, the predetermined value regarding the distance from the
このように設定される第1領域AR1は、平面視で、図6の三角形abcの領域となる。なお、線分abを含む直線L1、線分acを含む直線L2は、赤外線カメラ2R,2Lの視野角(水平方向の視野角)の左右の境界線である。また、第1領域AR1は、上下方向では、所定の高さ(例えば車両10の高さの2倍程度の高さ)を有する領域である。 The first area AR1 set in this way is an area of the triangle abc in FIG. 6 in plan view. The straight line L1 including the line segment ab and the straight line L2 including the line segment ac are the left and right boundary lines of the viewing angles (horizontal viewing angles) of the infrared cameras 2R and 2L. In addition, the first area AR1 is an area having a predetermined height (for example, about twice the height of the vehicle 10) in the vertical direction.
補足すると、図6では、車両10は、その進行方向を走行レーンの向きに合致させた状態で記載している。
Supplementally, in FIG. 6, the
STEP31の第1対象物位置判定処理は、上記の如く各対象物に対応して定まる第1領域AR1に対象物が存在するか否かを判定する処理であり、対象物の現在のレーン基準実空間位置のZ方向位置(これは走行レーンの向きと同方向での対象物の車両10からの距離を意味する)がVz・T以下で、且つ、Y方向位置(鉛直方向位置)が所定の高さ以下の位置であるときに、該対象物が第1領域AR1に存在すると判定される。なお、走行レーンの向きと同方向における対象物の相対速度Vzが車両10から遠ざかる向きの相対速度である場合には、該対象物は第1領域AR1に存在しないと判定される。
The first object position determination process in STEP 31 is a process for determining whether or not an object exists in the first area AR1 determined corresponding to each object as described above. The spatial position in the Z direction (this means the distance of the object from the
STEP31において、対象物が第1領域AR1内に存在しないと判定された場合(STEP31の判定結果がNOとなる場合)は、車両10の操舵やブレーキ操作によって該対象物と車両10との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット1は、STEP37において、該対象物が回避対象で無い(車両10の接触の可能性が無い)と判定し、該対象物についての回避対象判定処理を終了する。
In STEP 31, when it is determined that the object does not exist in the first area AR1 (when the determination result in STEP 31 is NO), the
一方、STEP31において、対象物が第1領域AR1内に存在すると判定された場合(STEP31の判断結果がYESとなる場合)には、画像処理ユニット1はさらに、対象物のレーン基準実空間位置に関する第2の判定処理としての第2対象物位置判定処理を実行する(STEP32)。この第2対象物位置判定処理は、対象物の位置が現在位置に維持されたとした場合に、車両10と対象物との接触の可能性が高いか否かを判定するための処理である。
On the other hand, when it is determined in STEP 31 that the object is present in the first area AR1 (when the determination result in STEP 31 is YES), the
具体的には、該第2対象物位置判定処理では、対象物が、図6に示すように車両10(その進行方向を走行レーンの向きに合致させた車両)の両側で該車両10の進行方向(=走行レーンの方向)に延在するように設定された一対の境界線L3,L4の間の領域AR2(以下、第2領域AR2という)に存在するか否かが判定される。 Specifically, in the second object position determination process, the object travels on both sides of the vehicle 10 (a vehicle whose traveling direction matches the direction of the traveling lane) as shown in FIG. It is determined whether or not it exists in an area AR2 (hereinafter referred to as a second area AR2) between a pair of boundary lines L3 and L4 set so as to extend in the direction (= direction of the traveling lane).
この場合、第2領域AR2の左右の境界線L3,L4は、それらの間隔をWとしたとき、図6に示すように、車両10の車幅中心線L0(より正確には、車両10の前端の車幅方向の中心点を通って走行レーンの方向に平行な線)から左右に同じ間隔W/2を有する位置に設定される。そして、境界線L3,L4の間隔Wは、車両10の車幅αよりも若干広い間隔に設定される。STEP32の第2対象物位置判定処理は、上記の如く定まる第2領域AR2(この第2領域AR2の境界線L3,L4は走行レーンの向きに平行である)に対象物が存在するか否かを判定する処理である。その判定は、対象物の現在のレーン基準実空間位置のX方向成分の値が、第2領域AR2の、境界線L3のX方向位置(レーン基準実空間座標系でのX方向位置)と、境界線L4のX方向位置(レーン基準実空間座標系でのX方向位置)との間の値であるか否によって判定される。
In this case, the left and right boundary lines L3 and L4 of the second area AR2 are, as shown in FIG. 6, when the distance between them is W, the vehicle width center line L0 (more precisely, the vehicle 10 (A line parallel to the direction of the traveling lane through a center point in the vehicle width direction at the front end) is set at a position having the same distance W / 2 on the left and right. The interval W between the boundary lines L3 and L4 is set to be slightly wider than the vehicle width α of the
例えば、前記図7に示す状況において、第2領域AR2は、同図7に二点鎖線で示す領域に設定される。従って、図7中の対象物X1については、そのレーン基準実空間位置が第2領域AR2に存在すると判定される。なお、仮に前記車両基準座標系で第2領域AR2を設定すると、該第2領域AR2は、図7の実線で示す領域となる。この場合には、対象物X1は、第2領域AR2に存在しないこととなる。 For example, in the situation shown in FIG. 7, the second area AR2 is set to an area indicated by a two-dot chain line in FIG. Therefore, for the object X1 in FIG. 7, it is determined that the lane reference real space position exists in the second area AR2. If the second area AR2 is set in the vehicle reference coordinate system, the second area AR2 becomes an area indicated by a solid line in FIG. In this case, the object X1 does not exist in the second area AR2.
補足すると、第2領域AR2の幅Wは、車両10の走行環境(車両10の車速や、前走車との車間距離など)に応じて変化させるようにしてもよい。
Supplementally, the width W of the second area AR2 may be changed according to the traveling environment of the vehicle 10 (the vehicle speed of the
STEP32において、対象物のレーン基準実空間位置が第2領域AR2に存在すると判定された場合(STEP32の判定結果がYESとなる場合)は、対象物が現在位置に留まったとした場合に、該対象物が近い将来において、車両10と接触する可能性が高い。これは、現在の車両10の実際の進行方向が走行レーンの向きと合致していなくても、該車両10は、将来的には、走行レーンの向きとほぼ同じ方向に走行するからである。そして、この場合には、本実施形態では、対象物が歩行者(人)であることを要件として、該対象物が回避対象であると判定する。
In STEP 32, when it is determined that the lane reference real space position of the object exists in the second area AR2 (when the determination result in STEP 32 is YES), the object is assumed to remain at the current position. There is a high possibility that an object will come into contact with the
具体的には、画像処理ユニット1は、次に、対象物が歩行者(人)であるか(より正確には人である可能性が高いか否か)の判定処理を行なう(STEP33)。対象物が歩行者であるか否かの判定は、公知の手法(例えば前記特許文献2に記載されている手法)を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴に基づいて行なうことができる。
Specifically, the
このSTEP33の歩行者判定処理で、対象物が歩行者である可能性が高いと判断した場合には、対象物が歩行者であるとの判定の信頼性を高めるために、STEP34に進み、該対象物が人工構造物であるか否かの判定処理が行なわれる。対象物が人工構造物であるか否かの判定は、例えば前記特許文献2の図5のS35の処理と同様に行なわれる。従って、本明細書での詳細な説明は省略するが、概略的には、グレースケール画像上での対象物の直線部分や直角部分の有無、あらかじめ定められた登録図形との対象物の画像の一致度合いなどに基づいて行なわれる。 In this pedestrian determination process of STEP 33, if it is determined that the object is likely to be a pedestrian, the process proceeds to STEP 34 in order to increase the reliability of the determination that the object is a pedestrian. A process for determining whether or not the object is an artificial structure is performed. The determination as to whether or not the object is an artificial structure is performed, for example, in the same manner as the process of S35 of FIG. Therefore, although detailed description in the present specification is omitted, generally, the presence or absence of a straight line portion or a right angle portion of the object on the gray scale image, the image of the object with a predetermined registered figure This is based on the degree of matching.
STEP34で、対象物が人工構造物でないと判定された場合(STEP34の判定結果がNOとなる場合)には、該対象物が人(歩行者)である確度が高い。そこで、この場合には、画像処理ユニット1は、STEP35において、対象物が回避対象であると判定し、第1回避対象判定処理を終了する。従って、対象物が前記第1領域AR1内の第2領域AR2に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
When it is determined in STEP 34 that the object is not an artificial structure (when the determination result in STEP 34 is NO), the probability that the object is a person (pedestrian) is high. Therefore, in this case, the
また、STEP33で対象物が歩行者でないと判定され、あるいは、STEP34で対象物が人工構造物であると判定された場合には、前記STEP36に進んで、対象物が回避対象で無いと判定され、第1回避対象判定処理が終了する。 If it is determined in STEP 33 that the object is not a pedestrian, or if it is determined in STEP 34 that the object is an artificial structure, the process proceeds to STEP 36 and it is determined that the object is not an avoidance target. Then, the first avoidance target determination process ends.
一方、前記STEP32において、対象物が第2領域AR2に存在しないと判定された場合(STEP32の判定結果がNOとなる場合)には、画像処理ユニット1は、次に、対象物の移動方向に関する進入接触判定処理を実行する(STEP37)。この進入接触判定処理は、対象物が前記第2領域AR2に進入し、且つ、車両10と接触する可能性が高いか否かを判定する処理である。具体的には、前記STEP19で求めた対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両10の前端位置におけるレーン基準実空間座標系のXY平面との交点のX方向位置が求められる。そして、この求めたX方向位置が、車両10の前端面の車幅方向の中心点(レーン基準実空間座標系の原点)を中心とする所定範囲(車両10の車幅よりも若干広い範囲)に存在することを要件(以下、進入接触要件という)として、この進入接触要件が満たされるか否かが判定される。
On the other hand, when it is determined in STEP 32 that the object does not exist in the second area AR2 (when the determination result in STEP 32 is NO), the
STEP37において、対象物が前記進入接触要件を満たす場合(STEP37の判定結果がYESとなる場合)には、対象物が将来、車両10と接触する可能性が高い。そこで、この場合には、画像処理ユニット1は、前記STEP35において、該対象物が回避対象であると判定し、回避対象判定処理を終了する。
In STEP 37, when the object satisfies the entry contact requirement (when the determination result in STEP 37 is YES), the object is highly likely to come into contact with the
図7に示す状況では、対象物X2が、進入接触要件を満たし、該対象物X2が、回避対象であると判定される。なお、仮に車両基準実空間座標系で移動ベクトルを認識した場合には、図7に示す状況では、STEP37で対象物X2が、進入接触要件を満たさないものとなる。 In the situation shown in FIG. 7, it is determined that the target object X2 satisfies the approach contact requirement, and the target object X2 is an avoidance target. If the movement vector is recognized in the vehicle reference real space coordinate system, the object X2 does not satisfy the entry contact requirement in STEP37 in the situation shown in FIG.
また、STEP37において、対象物が前記進入接触要件を満たさない場合(STEP37の判定結果がNOとなる場合)には、対象物が車両10と接触する可能性が低いので、画像処理ユニット1は、前記STEP37において、該対象物が回避対象で無いと判定し、回避対象判定処理を終了する。
In STEP 37, when the object does not satisfy the entry contact requirement (when the determination result in STEP 37 is NO), the object is less likely to come into contact with the
以上がSTEP20の回避対象判定処理の詳細である。 The above is the details of the avoidance target determination process of STEP20.
補足すると、前記STEP19と、STEP20のうちのSTEP31,32,37の処理によって、本発明(第1発明)における接触可能性判断手段が構成される。 Supplementally, the process of STEP 19 and STEP 31, 32, and 37 of STEP 20 constitutes a contact possibility determination means in the present invention (first invention).
以上説明した実施形態では、車両10の進行方向を走行レーンの向きに合致させた状態での該車両10に対する対象物の相対位置や移動ベクトルを認識し、その相対位置や移動ベクトルに基づいて車両10と対象物との接触の可能性が判断されることとなる。このため、車両10の進行方向が、走行レーンの向きに対して変動する場合であっても、車両10と対象物との接触の可能性を高い確度で判断することができる。
In the embodiment described above, the relative position and movement vector of the object with respect to the
次に、本発明の第2実施形態を図8を参照して説明する。なお、本実施形態では、前記第1実施形態と一部の処理のみが相違するので、その相違する部分を中心に説明し、第1実施形態と同一の構成部分および処理部分については、前記第1実施形態と同一の参照符号を用い、詳細な説明を省略する。 Next, a second embodiment of the present invention will be described with reference to FIG. In this embodiment, only a part of the processing is different from the first embodiment. Therefore, the difference will be mainly described, and the same components and processing parts as those in the first embodiment will be described. The same reference numerals as in the first embodiment are used, and detailed description thereof is omitted.
前記第1実施形態では、対象物の車両10に対する相対移動ベクトルとしての移動ベクトルを、図4のSTEP18で求めた対象物の実空間位置(走行レーンの向きに応じた補正後の実空間位置)の時系列に基づいて、求めるようにした。これに対して、本実施形態では、前記STEP15で求めた対象物の実空間位置(車両10の回頭角の変化に応じた補正後の実空間位置)の時系列を基に、対象物の移動ベクトルを求め、その移動ベクトルを走行レーンの向きに応じて補正する。
In the first embodiment, the movement vector as the relative movement vector of the object with respect to the
図8は、本実施形態におけるSTEP18以降の処理を示すフローチャートである。 FIG. 8 is a flowchart showing processing after STEP 18 in the present embodiment.
同図を参照して、本実施形態では、画像処理ユニット1は、前記図3のSTEP15およびSTEP17の処理を実行した後、STEP15で求めた対象物の実空間位置(車両基準実空間位置)を、STEP17で検出したレーンマーカにより特定される走行レーンの向きに応じて補正する(STEP18)。この処理は、第1実施形態のSTEP18の処理と同じである。これにより、対象物の前記レーン基準実空間位置が求められる。
With reference to the figure, in this embodiment, the
次いで、画像処理ユニット1は、対象物の車両10に対する移動ベクトルを求める(STEP19a)。この場合、STEP19aの処理では、同一対象物についての車両基準実空間位置、すなわち、STEP15で求めた実空間位置の、所定期間(現在時刻から所定時間前までのモニタ期間)における時系列データを近似する直線を求め、所定時間前の時刻(モニタ期間の初期時刻)での該直線上の対象物の位置(点)から、現在時刻(モニタ期間の終了時刻)における該直線上の対象物の位置(点)に向かうベクトルを対象物の移動ベクトルとして求める。このSTEP19aの処理によって、本願発明における相対移動ベクトル認識手段が構成される。
Next, the
次いで、画像処理ユニット1は、STEP19aで求めた移動ベクトル(相対移動ベクトル)を、STEP17で検出したレーンマーカにより特定される走行レーンの向き(車両10に対する向き)に応じて補正する(STEP19b)。この補正は、STEP18の処理と同様に移動ベクトルを回転変換することで行なわれる。具体的には、車両10の進行方向に対するレーンマーカの傾き角(これはSTEP18で求められる)だけ、STEP19aで求めた対象物の移動ベクトルをY軸まわりに(鉛直軸まわりに)回転変換する(レーンマーカの傾き角に応じて定まるY軸まわりの回転変換の行列をSTEP19aで求めた移動ベクトル(詳しくは前記車両基準実空間座標系での座標成分値から構成されるベクトル)に乗じる)ことによって、該移動ベクトルが補正される。このようにして補正された移動ベクトルは、車両10の進行方向を走行レーンの向きに合致させた場合における該車両10に対する対象物の相対的な移動方向を表す。従って、この移動ベクトルは、前記第1実施形態において、STEP19で求められる移動ベクトルに相当するものである。
Next, the
補足すると、STEP19bの処理によって、本発明(第5発明)における相対移動ベクトル補正手段が構成される。 Supplementally, the relative movement vector correction means in the present invention (the fifth invention) is configured by the processing of STEP 19b.
上記STEP19bの処理の後には、前記第1実施形態のSTEP20〜22の判断処理と同じ処理が実行される。この場合、本実施形態では、STEP20のうちのSTEP37の処理によって、本発明(第5発明)における接触可能性判断手段が構成される。 After the process of STEP 19b, the same process as the determination process of STEPs 20 to 22 of the first embodiment is executed. In this case, in this embodiment, the contact possibility determination means in the present invention (the fifth invention) is configured by the processing of STEP 37 of STEP 20.
以上説明した以外の処理および構成は、前記第1実施形態と同じである。 Processes and configurations other than those described above are the same as those in the first embodiment.
以上説明した第2実施形態においては、第1実施形態と同様に、車両10の進行方向が、走行レーンの向きに対して変動する場合であっても、車両10と対象物との接触の可能性を高い確度で判断することができる。
In the second embodiment described above, as in the first embodiment, the
なお、以上説明した各実施形態では、撮像画像を基に、対象物の車両10に対する相対位置や、相対移動ベクトルを求めるようにしたが、例えばレーダを使用して、対象物の相対位置や、相対移動ベクトルを求めるようにしてもよい。また、前記各実施形態では、対象物の相対位置の時系列を基に、対象物の相対移動ベクトルを求めるようにしたが、走査型のレーダを使用した場合には、ドップラ効果を利用して、対象物の相対移動ベクトルを直接的に検出するようにすることも可能である。
In each of the embodiments described above, the relative position of the target object with respect to the
また、前記各実施形態では、平面視での車両10の進行方向と車両10の前方の走行レーンの向きとのずれを考慮し、該車両10の進行歩行を車両10の前方の走行レーンの向きに合致させるように、対象物の車両10に対する相対位置や、相対移動ベクトルをY軸まわりに(上下方向の軸まわりに)回転変換して補正する場合を例に採って説明した。ただし、路面の水平面からの傾きや車両10のピッチングなどに起因して、側面視において車両10の進行方向もしくは前後方向と車両10の前方の走行路の向きのずれが生じているような場合には、対象物の車両10に対する相対位置や、相対移動ベクトルをX軸まわりに(左右方向の軸まわりに)回転変換して補正するようにしてもよい。例えば、車両が坂を下っており、その坂を下った先の水平な走行路に対象物が存在する場合に、その水平な走行路の向き(側面視での向き)に車両10の進行方向もしくは前後方向を合致させるように、対象物の車両10に対する相対位置や、相対移動ベクトルをX軸まわりに回転変換して補正することを行なうようにしてもよい。同様に、例えば、車両が水平な走行路を走行しており、その先の坂に対象物が存在する場合に、その坂の向き(側面視での向き)に車両10の進行方向もしくは前後方向を合致させるように、対象物の車両10に対する相対位置や、相対移動ベクトルをX軸まわりに回転変換して補正するようにしてもよい。なお、Y軸まわりの回転変換とX軸まわりの回転変換とは併用してもよい。
Further, in each of the above embodiments, taking into account the deviation between the traveling direction of the
10…車両、STEP1〜15…対象物位置検出手段、STEP16,17…走行路情報取得手段、STEP19,31,32,37…接触可能性判断手段、STEP19b…相対移動ベクトル補正手段。
DESCRIPTION OF
Claims (4)
前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、
前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する対象物位置補正手段と、
少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備え、
前記対象物位置補正手段は、前記補正された対象物の相対位置が、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対位置に等しくなるように前記検出された対象物の相対位置を前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする車両の周辺監視装置。 An object position detecting means for detecting a relative position of the object existing on the front side of the vehicle with respect to the vehicle;
Road information acquisition means for acquiring road information capable of specifying the direction of the road along which the vehicle is traveling;
Object position correcting means for correcting the detected relative position of the object based on the acquired travel path information;
Contact possibility determination means for determining the possibility of contact of the object with the vehicle using at least the corrected relative position of the object ;
The object position correcting means is a target for the vehicle when it is assumed that the corrected relative position of the object matches the traveling direction of the vehicle with the direction of the traveling path specified by the traveling path information. An apparatus for monitoring the periphery of a vehicle, wherein the relative position of the detected object is corrected in accordance with a direction of the travel path specified by the travel path information so as to be equal to a relative position of an object .
前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、
前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する相対移動ベクトル補正手段と、
少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備え、
前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする車両の周辺監視装置。 A relative movement vector recognition means for recognizing a relative movement vector representing a relative movement direction of an object existing on the front side of the vehicle with respect to the vehicle;
Road information acquisition means for acquiring road information capable of specifying the direction of the road along which the vehicle is traveling;
Relative movement vector correction means for correcting the recognized relative movement vector based on the acquired travel route information;
Contact possibility judging means for judging the possibility of contact of the object with the vehicle based on at least the corrected relative movement vector ;
The relative movement vector correction means is a target for the vehicle when it is assumed that the direction of the corrected relative movement vector matches the traveling direction of the vehicle with the direction of the traveling path specified by the traveling path information. An apparatus for monitoring the periphery of a vehicle , wherein the recognized relative movement vector is corrected in accordance with a direction of the travel path specified by the travel path information so as to be equal to a relative movement direction of an object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006265123A JP4629638B2 (en) | 2006-09-28 | 2006-09-28 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006265123A JP4629638B2 (en) | 2006-09-28 | 2006-09-28 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008084138A JP2008084138A (en) | 2008-04-10 |
JP4629638B2 true JP4629638B2 (en) | 2011-02-09 |
Family
ID=39354928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006265123A Expired - Fee Related JP4629638B2 (en) | 2006-09-28 | 2006-09-28 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4629638B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112010005903B4 (en) | 2010-09-24 | 2014-11-20 | Toyota Jidosha Kabushiki Kaisha | Object detection device and object detection program |
JP5821276B2 (en) * | 2011-05-20 | 2015-11-24 | マツダ株式会社 | Detection device for position and traveling direction of moving body |
JP5821274B2 (en) * | 2011-05-20 | 2015-11-24 | マツダ株式会社 | Moving body position detection device |
JP7553911B2 (en) | 2021-09-14 | 2024-09-19 | トヨタ自動車株式会社 | Exit assistance device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002362302A (en) * | 2001-06-01 | 2002-12-18 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | Pedestrian detecting device |
JP2003284057A (en) * | 2002-01-18 | 2003-10-03 | Honda Motor Co Ltd | Vehicle periphery monitoring unit |
JP2004178158A (en) * | 2002-11-26 | 2004-06-24 | Nissan Motor Co Ltd | Device for preventing deviation from traffic lane |
JP2005202876A (en) * | 2004-01-19 | 2005-07-28 | Denso Corp | Collision possibility deciding device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04193641A (en) * | 1990-11-28 | 1992-07-13 | Nissan Motor Co Ltd | Obstacle detection device for vehicle |
JP3588814B2 (en) * | 1993-03-08 | 2004-11-17 | マツダ株式会社 | Vehicle obstacle detection device |
JP3245363B2 (en) * | 1996-08-29 | 2002-01-15 | 富士重工業株式会社 | Vehicle collision prevention device |
JPH1123291A (en) * | 1997-07-04 | 1999-01-29 | Nissan Motor Co Ltd | Picture processing device for car |
-
2006
- 2006-09-28 JP JP2006265123A patent/JP4629638B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002362302A (en) * | 2001-06-01 | 2002-12-18 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | Pedestrian detecting device |
JP2003284057A (en) * | 2002-01-18 | 2003-10-03 | Honda Motor Co Ltd | Vehicle periphery monitoring unit |
JP2004178158A (en) * | 2002-11-26 | 2004-06-24 | Nissan Motor Co Ltd | Device for preventing deviation from traffic lane |
JP2005202876A (en) * | 2004-01-19 | 2005-07-28 | Denso Corp | Collision possibility deciding device |
Also Published As
Publication number | Publication date |
---|---|
JP2008084138A (en) | 2008-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456086B2 (en) | Vehicle periphery monitoring device | |
US9073484B2 (en) | Surrounding area monitoring apparatus for vehicle | |
JP4173901B2 (en) | Vehicle periphery monitoring device | |
JP4171501B2 (en) | Vehicle periphery monitoring device | |
JP4173902B2 (en) | Vehicle periphery monitoring device | |
JP4410292B1 (en) | Vehicle periphery monitoring device | |
JP4426535B2 (en) | Vehicle periphery monitoring device | |
JP4173896B2 (en) | Vehicle periphery monitoring device | |
JP5503728B2 (en) | Vehicle periphery monitoring device | |
US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
EP2784763A1 (en) | Vehicle periphery monitoring device | |
US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
US7974445B2 (en) | Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program | |
JP2007241898A (en) | Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device | |
JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
US7526104B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2007334511A (en) | Object detection device, vehicle, object detection method and program for object detection | |
JP4629638B2 (en) | Vehicle periphery monitoring device | |
JP4813304B2 (en) | Vehicle periphery monitoring device | |
JP4762774B2 (en) | Ranging device and vehicle periphery monitoring device | |
JP4823753B2 (en) | Vehicle periphery monitoring device | |
JP6232883B2 (en) | Own vehicle position recognition device | |
US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2007311866A (en) | Object detector, vehicle, object detecting method, and object detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4629638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |