JP4901275B2 - Travel guidance obstacle detection device and vehicle control device - Google Patents
Travel guidance obstacle detection device and vehicle control device Download PDFInfo
- Publication number
- JP4901275B2 JP4901275B2 JP2006106701A JP2006106701A JP4901275B2 JP 4901275 B2 JP4901275 B2 JP 4901275B2 JP 2006106701 A JP2006106701 A JP 2006106701A JP 2006106701 A JP2006106701 A JP 2006106701A JP 4901275 B2 JP4901275 B2 JP 4901275B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- dimensional object
- vehicle
- host vehicle
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 105
- 238000010276 construction Methods 0.000 claims description 19
- 239000007787 solid Substances 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 208000033748 Device issues Diseases 0.000 claims description 2
- 238000000034 method Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、走行誘導障害物検出装置および車両用制御装置に係り、特に、自車両前方の撮像画像中から車線分離標やパイロン等の走行誘導障害物を検出する走行誘導障害物検出装置とそれを用いた車両用制御装置に関する。 The present invention relates to a travel guidance obstacle detection device and a vehicle control device, and more particularly to a travel guidance obstacle detection device that detects a travel guidance obstacle such as a lane separator or a pylon from a captured image in front of the host vehicle. The present invention relates to a vehicle control device using the
乗用車等の車両における走行の安定性や安全性の向上等に向けての自動制御を行うためには、自車両の左右の道路面上に標示された車線や自車両の前方に存在する先行車や駐車車両、歩行者等の立体物等をできるだけ正確に検出して自車両の走行環境を的確に認識することが必要となる。 In order to perform automatic control for improving the stability and safety of driving in vehicles such as passenger cars, lanes marked on the left and right road surfaces of the host vehicle and preceding vehicles existing in front of the host vehicle In addition, it is necessary to accurately detect a three-dimensional object such as a parked vehicle or a pedestrian as accurately as possible to recognize the traveling environment of the host vehicle.
そのため、近年、自車両前方の撮像画像中から車線を認識したり(例えば特許文献1等参照)、道路形状を認識したり(例えば特許文献2、3等参照)、走行レーン上またはその周辺の立体物や車両を認識する(例えば特許文献2、4〜6等参照)等の技術が開発されている。
Therefore, in recent years, lanes are recognized from captured images in front of the host vehicle (see, for example, Patent Document 1), road shapes are recognized (for example, see
なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、車線と車線との間の車両が走行する車両通行帯を走行レーンという。また、図17(A)に示すような車線分離標や、図17(B)に示すような道路上に置かれたカラーコーン(登録商標)とも呼ばれるパイロン等を、車両の走行を誘導する障害物を表すものとして走行誘導障害物という。
ところで、自車両の走行レーン上またはその周辺に配置される走行誘導障害物のうち、車線分離標は、例えば車道中央線を表す標識として車線の代わりに道路中央に立設されている場合がある。このような場合には、車線分離標を検出して初めて走行レーンの右端位置を認識することが可能となり、それに沿うようにキープレーン制御等の自動制御を行うことが可能となる。 By the way, among the driving guidance obstacles arranged on or around the driving lane of the own vehicle, the lane separator may be erected in the center of the road instead of the lane as a sign indicating the road center line, for example. . In such a case, it is possible to recognize the right end position of the travel lane only after detecting the lane separator, and it is possible to perform automatic control such as key plane control along that.
また、道路工事や土木工事等でパイロンが走行レーン内に置かれている場合には、自車両の左側や右側の車線に沿うのではなく、そのパイロンの配置位置を正確に検出してそのパイロンの誘導に従ってパイロンに沿うように制御を行わなければ適切に自車両を走行させることができない。 In addition, when a pylon is placed in the lane for road construction or civil engineering work, the pylon is not detected along the lane on the left or right side of the host vehicle, but is accurately detected. If the control is not performed along the pylon according to the guidance of the vehicle, the host vehicle cannot be properly driven.
一方、自車両の周囲に存在する車両を認識する技術においてはレーダ装置が用いられることが多い。レーダから発射された電波は、図17(A)、(B)に示した車線分離標やパイロンの表面に塗布され或いは巻きつけられた反射材Rに強く反射されるため、車両に搭載される安価なレーダでは車線分離標やパイロン等の走行誘導障害物を車両であると誤認識してしまう場合がある。 On the other hand, a radar device is often used in a technique for recognizing a vehicle existing around the host vehicle. The radio wave emitted from the radar is strongly reflected by the lane separator shown in FIGS. 17 (A) and 17 (B) and the reflecting material R applied or wound on the surface of the pylon, so that it is mounted on the vehicle. Inexpensive radars may misrecognize lane markings, travel-guided obstacles such as pylons, etc. as vehicles.
そのため、道路上に静止した走行誘導障害物を車両と誤認識してそれとの衝突を避けるために自車両を自動的に停止させてしまったり、或いは車線分離標やパイロン等の走行誘導障害物に沿うように走行させることができなくなるという問題が生じる。このように、自車両の前方に存在する立体物の中から特に走行誘導障害物を誤認識することなく走行誘導障害物として検出することを可能とする技術の開発が望まれる。 For this reason, a travel-guided obstacle stationary on the road is mistakenly recognized as a vehicle and the host vehicle is automatically stopped to avoid a collision with it, or a travel-guided obstacle such as a lane separator or pylon is used. There arises a problem that the vehicle cannot travel along the road. As described above, it is desired to develop a technique that enables detection of a travel guidance obstacle from a three-dimensional object existing in front of the host vehicle as a travel guidance obstacle without erroneous recognition.
本発明は、このような事情に鑑みてなされたものであり、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能な走行誘導障害物検出装置を提供することを目的とする。また、この走行誘導障害物検出装置を有効に用いた車両用制御装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and is capable of accurately detecting a traveling guidance obstacle such as a lane separator or a pylon from a three-dimensional object existing in front of the host vehicle. An object of the present invention is to provide a guidance obstacle detection device. It is another object of the present invention to provide a vehicle control device that effectively uses this travel guidance obstacle detection device.
前記の問題を解決するために、第1の発明は、
走行誘導障害物検出装置において、
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする。
In order to solve the above problem, the first invention provides:
In the travel guidance obstacle detection device,
Imaging means for imaging a landscape including a road ahead of the host vehicle and outputting a pair of images having a luminance value for each pixel;
Image processing means for calculating a distance in real space for each pixel of at least one image based on the pair of captured images;
Detecting means for detecting a three-dimensional object from the one image based on the information on the luminance value and the distance, and calculating a size of the three-dimensional object in real space;
When the size of the three-dimensional object in real space is within a preset threshold and the luminance change in the vertical direction of the three-dimensional object detected in the one image has a constant pattern The three-dimensional object is detected as a traveling guidance obstacle.
第2の発明は、第1の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに前記一方の画像中に走行誘導障害物として検出された複数の立体物の配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。 According to a second aspect of the present invention, in the travel guidance obstacle detection device according to the first aspect, the detecting means calculates a position of the solid object in real space and is detected as a travel guidance obstacle in the one image. The arrangement of the three-dimensional object is approximated by a straight line or a curve, the straight line or curve obtained by the approximation is extended to a region far from the host vehicle, and the detected three-dimensional object on the extended straight line or curve Is detected as a traveling guidance obstacle.
第3の発明は、第1の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに自車両の挙動により前記一方の画像中に見出されなくなった過去の走行誘導障害物の位置を前記自車両の挙動に基づいて更新して記録し、前記過去の走行誘導障害物の位置と、前記一方の画像中に走行誘導障害物として検出された立体物の位置との配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上またはその近傍にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。 According to a third aspect of the present invention, in the travel-guided obstacle detection device of the first aspect, the detection means calculates the position of the three-dimensional object in real space and finds it in the one image by the behavior of the host vehicle. The location of past driving guidance obstacles that are no longer being updated is recorded based on the behavior of the host vehicle, and the position of the past driving guidance obstacle is detected as a driving guidance obstacle in the one image. The position of the three-dimensional object is approximated by a straight line or a curve, the straight line or curve obtained by the approximation is extended to a region far from the host vehicle, and the detection is on or near the extended straight line or curve. The detected three-dimensional object is detected as a travel guidance obstacle.
第4の発明は、車両用制御装置において、
第1から第3のいずれかの発明の走行誘導障害物検出装置と、
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする。
4th invention is a control apparatus for vehicles,
A travel guidance obstacle detection device according to any one of the first to third inventions;
Information collecting means for collecting information about a three-dimensional object around the host vehicle by means other than the imaging means;
Control for recognizing the three-dimensional object as a traveling guidance obstacle when the information on the three-dimensional object collected by the information collecting means corresponds to the information on the traveling guidance obstacle detected by the traveling guidance obstacle detection device. It has the apparatus.
第5の発明は、第4の発明の車両用制御装置において、前記制御装置は、自車両から見て前記走行誘導障害物として認識された立体物より外側にある立体物を除外して先行車を検出することを特徴とする。 According to a fifth invention, in the vehicle control device according to the fourth invention, the control device excludes a three-dimensional object outside the three-dimensional object recognized as the travel guiding obstacle when viewed from the host vehicle, and the preceding vehicle. Is detected .
第6の発明は、車両用制御装置において、
第1から第3のいずれかの発明の走行誘導障害物検出装置と、
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする。
A sixth invention is a vehicle control device,
A travel guidance obstacle detection device according to any one of the first to third inventions;
An alarm device for issuing an alarm to the driver;
When the own vehicle is approaching a three-dimensional object recognized as the travel-guided obstacle, the vehicle has a control device that outputs an alarm to the alarm device.
第7の発明は、第6の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする。
The seventh invention is the vehicle control device of the sixth invention,
Lane detection means for detecting the lane on the left and right of the host vehicle,
The control device issues an alarm when the host vehicle is approaching the lane detected by the lane detecting means, and a three-dimensional object recognized as the travel guiding obstacle is detected by the lane detecting means. In the case of being in the vicinity, the timing for issuing an alarm is earlier than in the case of lane alone.
第8の発明は、車両用制御装置において、
第1から第3のいずれかの発明の走行誘導障害物検出装置と、
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする。
The eighth invention is a vehicle control device,
A travel guidance obstacle detection device according to any one of the first to third inventions;
It has a control apparatus which controls a run of the self-vehicle so that it may run along a solid thing recognized as the run guidance obstacle.
第9の発明は、第8の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする。
A ninth invention is the vehicle control device of the eighth invention,
Lane detection means for detecting the lane on the left and right of the host vehicle,
The control device controls the traveling of the host vehicle so that the host vehicle travels along the lane detected by the lane detecting unit, and detects the three-dimensional object recognized as the traveling guidance obstacle by the lane detecting unit. When the vehicle is in the vicinity of the lane, the traveling of the host vehicle is controlled so as to travel with a larger distance from the lane than when only the lane is detected.
第10の発明は、車両用制御装置において、
第1から第3のいずれかの発明の走行誘導障害物検出装置と、
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする。
A tenth aspect of the invention is a vehicle control device,
A travel guidance obstacle detection device according to any one of the first to third inventions;
Lane detection means for detecting lanes on the left and right of the host vehicle;
When the solid object detected inside the lane detected by the lane detection means or in the vicinity thereof and recognized as the traveling guidance obstacle is a pylon, Has a control device for determining that the road on which the vehicle is traveling is under construction.
第11の発明は、第10の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線逸脱の回避制御を停止することを特徴とする。 An eleventh invention is the vehicle control device according to the tenth invention, wherein the control device stops lane departure avoidance control when it is determined that the road on which the host vehicle is traveling is under construction. It is characterized by.
第12の発明は、第10の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線追従制御を停止することを特徴とする。 A twelfth aspect of the invention is the vehicle control device according to the tenth aspect of the invention, wherein the control device stops the lane tracking control when it is determined that the road on which the host vehicle is traveling is under construction. And
第13の発明は、第10の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、自車両が前記パイロンに沿って走行するように追従制御を行うことを特徴とする。 A thirteenth invention is the vehicle control device according to the tenth invention, wherein when the control device judges that the road on which the host vehicle is traveling is under construction, the host vehicle travels along the pylon. The tracking control is performed as described above.
第1の発明によれば、前記一方の画像中に検出された立体物の幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。 According to the first aspect of the present invention, the size of the three-dimensional object detected in the one image is selected based on the width and height, and further, the selection is performed based on the repetitive luminance pattern. It is possible to accurately detect a traveling guidance obstacle such as a lane separator or a pylon from among three-dimensional objects existing in the vehicle. Therefore, a three-dimensional object that is a traveling guidance obstacle can be appropriately detected as a traveling guidance obstacle without misrecognizing it as a vehicle, for example.
第2の発明によれば、自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに除外されてしまった立体物について、立体物の実空間上の位置を算出して検出された複数の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断して走行誘導障害物として適切に検出することが可能となり、前記発明の効果がより的確に発揮される。 According to the second aspect of the present invention, a three-dimensional object that has been excluded without being detected as a luminance repetition pattern because it is far from the host vehicle is detected by calculating the position of the three-dimensional object in real space. The arrangement of the plurality of travel guidance obstacles is approximated by a straight line or curve, and a three-dimensional object on or near the straight line or curve is detected as a travel guidance obstacle. For this reason, it is possible to accurately determine whether or not a three-dimensional object for which a repeated pattern of luminance has not been detected is a travel guidance obstacle, and to appropriately detect it as a travel guidance obstacle. Exhibited accurately.
第3の発明によれば、一方の画像中に検出された複数の走行誘導障害物のみならず、自車両の挙動により一方の画像中に見出されなくなった過去の走行誘導障害物を追跡してその配置を含めて直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出することで、前記第2の発明の効果をより効果的に発揮させることが可能となる。 According to the third invention, not only a plurality of driving guidance obstacles detected in one image, but also past driving guidance obstacles that are no longer found in one image due to the behavior of the host vehicle are tracked. The three-dimensional object on the straight line or curve or in the vicinity thereof is detected as a travel guidance obstacle so that the effect of the second invention can be exhibited more effectively. It becomes possible.
第4の発明によれば、前述したようにレーダ装置等を用いる場合、走行誘導障害物を例えば車両であると誤認識してしまう場合があるが、本発明の走行誘導障害物検出装置を用い、レーダ装置等で抽出された立体物の情報と走行誘導障害物検出装置で検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を車両等と誤認識することを確実に防止することが可能となる。 According to the fourth invention, as described above, when using a radar apparatus or the like, a traveling guidance obstacle may be misrecognized as a vehicle, for example, but the traveling guidance obstacle detection apparatus of the present invention is used. By comparing the information of the three-dimensional object extracted by the radar device or the like with the information of the driving guidance obstacle detected by the traveling guidance obstacle detection device, the corresponding three-dimensional object is recognized as a traveling guidance obstacle. It is possible to reliably prevent the travel-guided obstacle from being erroneously recognized as a vehicle or the like.
第5の発明によれば、立体物の中から走行誘導障害物を特定し、その外側にある立体物を除外して先行車を検出することで、前記発明の効果に加え、制御のための演算処理を軽減することが可能となり、制御装置の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。 According to the fifth aspect of the present invention, in addition to the effects of the present invention, the driving guidance obstacle is identified from among the three-dimensional objects, and the preceding vehicle is detected by excluding the three-dimensional object outside the three-dimensional object. Arithmetic processing can be reduced, the calculation load of the control device can be reduced, and the processing speed can be improved.
第6の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して走行誘導障害物に接触したり車線を逸脱することを適切に防止することが可能となる。 According to the sixth aspect of the present invention, it is possible to reliably detect a driving guidance obstacle such as a lane separator and to issue a warning when the host vehicle approaches it, thereby effectively raising the driver's attention and driving guidance. It is possible to appropriately prevent an obstacle from being touched or departing from the lane.
第7の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。 According to the seventh invention, in a lane in which a travel guidance obstacle is erected in the vicinity and lane departure is strongly prohibited, by speeding up the timing of issuing an alarm than in the case of only a lane without a travel guidance obstacle, The driver's attention is alerted at an early stage, and lane departure can be reliably prevented, and the vehicle can be prevented from coming into contact with or colliding with a travel-guided obstacle. It becomes possible to demonstrate.
第8の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように車線追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。 According to the eighth aspect of the present invention, a lane is marked on the road surface by reliably detecting a travel-guided obstacle such as a lane separator and performing lane tracking control so that the host vehicle travels along the obstacle. Even when only a travel-guided obstacle such as a lane separator is erected, the host vehicle can automatically travel along the lane separator.
第9の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。 According to the ninth aspect of the present invention, in a lane in which a travel guidance obstacle is erected in the vicinity and departure from the lane is strongly prohibited, the lane is largely separated from the lane as compared with a lane having no travel guidance obstacle. Deviations can be reliably prevented, and the host vehicle can be prevented from coming into contact with or colliding with a travel-guided obstacle, and the effects of the present invention can be more effectively exhibited.
第10の発明によれば、走行誘導障害物検出装置において車線分離標とパイロンとを区別して検出し、検出した走行誘導障害物がパイロンであることを判断することで、自車両が走行中の道路が道路工事や土木工事等のために工事中であることを的確に判断することが可能となり、適切な車両制御を行うことが可能となる。 According to the tenth aspect of the invention, the travel guidance obstacle detection device distinguishes and detects the lane separation mark and the pylon, and determines that the detected travel guidance obstacle is a pylon. It becomes possible to accurately determine that the road is under construction for road construction or civil engineering work, and it is possible to perform appropriate vehicle control.
第11の発明によれば、道路が工事中であれば自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、自車両が走行中の道路が工事中であると判断した場合には車線逸脱の回避制御を停止することで、ドライバが意図的に車線を逸脱しようとする場合には車線逸脱の回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。 According to the eleventh aspect of the present invention, if the road is under construction, it is assumed that the own vehicle deviates from the travel lane and travels across the lane or changes to the adjacent travel lane. Therefore, when it is determined that the road on which the host vehicle is traveling is under construction, lane departure avoidance control is stopped, and when the driver intentionally departs from the lane, lane departure avoidance control is performed. Therefore, the host vehicle is controlled so as to be pulled back to the original travel lane against the driver's intention, and it is possible to prevent the travel from becoming unstable.
第12の発明によれば、自車両が走行中の道路が工事中であると判断した場合にもドライバはパイロンに衝突しないように意図的に車線を逸脱しようとするが、前記と同様に、そのような場合に車線に対する追従制御を停止することで、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。 According to the twelfth invention, even when it is determined that the road on which the host vehicle is running is under construction, the driver intentionally departs the lane so as not to collide with the pylon. In such a case, by stopping the tracking control for the lane, it is possible to prevent the vehicle from being unstable due to control so that the host vehicle is pulled back to the original travel lane against the driver's intention. Become.
第13の発明によれば、自車両が走行誘導障害物検出装置により検出されたパイロンに沿って走行するように応動部に指示信号を発して追従制御を行うため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。 According to the thirteenth invention, in order to perform the follow-up control by issuing the instruction signal to the responding unit so that the host vehicle travels along the pylon detected by the travel-guided obstacle detection device, When the vehicle is placed, it becomes possible for the host vehicle to travel along it, and to appropriately avoid contact and collision with the pylon.
以下、本発明に係る走行誘導障害物検出装置および車両用制御装置の実施の形態について、図面を参照して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of a travel guidance obstacle detection device and a vehicle control device according to the present invention will be described with reference to the drawings.
[第1の実施の形態]
まず、走行誘導障害物検出装置について説明する。本実施形態に係る走行誘導障害物検出装置1は、図1に示すように、主に撮像手段2と、画像処理手段6と、検出手段9とで構成されている。
[First Embodiment]
First, the traveling guidance obstacle detection device will be described. As shown in FIG. 1, the travel guidance
撮像手段2は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。本実施形態では、メインカメラ2aおよびサブカメラ2bにはCCDカメラが用いられている。
The imaging means 2 is for imaging the periphery of the vehicle, and is configured to capture a landscape including a road ahead of the vehicle at a predetermined sampling period and output a pair of images. In the present embodiment, a stereo camera including a pair of
メインカメラ2aとサブカメラ2bは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ2a、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ2bとされている。
The
メインカメラ2aおよびサブカメラ2bには、変換手段3としてのA/Dコンバータ3a、3bがそれぞれ接続されている。A/Dコンバータ3a、3bでは、メインカメラ2aおよびサブカメラ2bから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば256階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。そして、前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として、また距離等を求めるために比較される画像から変換されたデジタル画像が比較画像として出力されるようになっている。
A /
A/Dコンバータ3a、3bには、画像補正部4が接続されている。画像補正部4では、A/Dコンバータ3a、3bから出力されてきた基準画像および比較画像に対してメインカメラ2aおよびサブカメラ2bの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。
An
なお、例えば、基準画像Tは図2に示されるような水平方向が512画素、垂直方向が200画素分の輝度値からなる画像データとして、比較画像は図示を省略するが水平方向が640画素、垂直方向が200画素分の輝度値からなる画像データとしてそれぞれ画像補正部4から出力されるように構成されている。また、それぞれの画像データは画像補正部4に接続された画像データメモリ5に格納され、同時に検出手段9に送信されるようになっている。
For example, as shown in FIG. 2, the reference image T is image data composed of luminance values of 512 pixels in the horizontal direction and 200 pixels in the vertical direction. The
前述したように、本実施形態では、メインカメラ2a等にCCDカメラが用いられている。メインカメラ2aやサブカメラ2bは、自車両前方の風景を下側から順に水平方向にライン状に走査して撮像し、各水平ラインごとに撮像されたデータを順次変換手段3に送信する。そして、変換手段3で送信させてきた水平ラインの各画素ごとに撮像データを所定の輝度階調の輝度値に変換され、画像補正部4で画像補正が行われた後、各水平ラインごとの画像データが画像データメモリ5に格納されると同時に検出手段9に順次送信されるようになっている。
As described above, in this embodiment, a CCD camera is used for the
また、画像データメモリ5には、メインカメラ2aとサブカメラ2bから一定の時間間隔をおいて送信され、画像補正等を受けた画像のデジタルデータが時系列的に格納されるようになっている。
The
画像補正部4には、画像処理手段6が接続されており、画像処理手段6は、主に、イメージプロセッサ7と距離データメモリ8とで構成されている。
An
イメージプロセッサ7では、ステレオマッチング処理とフィルタリング処理により画像補正部4から出力された基準画像Tおよび比較画像のデジタルデータに基づいて基準画像Tの各画素または複数画素で構成するブロックからなる各設定領域について実空間における距離を算出するための視差dを算出するようになっている。この視差dの算出については、本願出願人により先に提出された特開平5−114099号公報に詳述されているが、以下、その要点を簡単に述べる。
In the
イメージプロセッサ7は、512×200画素を有する基準画像Tについて4×4画素の画素ブロックごとに1つの視差dを算出するようになっている。1つの画素ブロックを構成する16画素には、前述したようにそれぞれ0〜255の輝度値p1ijが割り当てられており、その16画素の輝度値p1ijがその画素ブロック特有の輝度値特性を形成している。
The
なお、輝度値p1ijの添字iおよびjは、基準画像Tの画像平面の左下隅を原点とし、水平方向をi座標軸、垂直方向をj座標軸とした場合の画素ブロックの左下隅の画素のi座標およびj座標を表す。また、比較画像については基準画像Tの原点に予め対応付けられた画素を原点として同様にi座標、j座標を取る。 The subscripts i and j of the luminance value p1ij are the i coordinates of the pixel at the lower left corner of the pixel block when the lower left corner of the image plane of the reference image T is the origin, the horizontal direction is the i coordinate axis, and the vertical direction is the j coordinate axis. And the j coordinate. For the comparison image, the i-coordinate and the j-coordinate are similarly taken with the pixel previously associated with the origin of the reference image T as the origin.
イメージプロセッサ7におけるステレオマッチング処理では、前記のように基準画像Tを4×4画素ごとに最大128×50個の画素ブロックに分割し、比較画像を水平方向に延在する4画素幅の水平ラインに分割する。そして、基準画像Tの1つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を1画素ずつ水平方向、すなわちi方向にシフトさせながら下記(1)式で求められるシティブロック距離CBが最小となる水平ライン上の画素ブロック、すなわち基準画像Tの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
CB=Σ|p1ij−p2ij| …(1)
In the stereo matching process in the
CB = Σ | p1ij−p2ij | (1)
なお、p2ijは比較画像上の座標(i,j)の画素の輝度値を表す。また、本実施形態では、前述したように画像補正部4から水平ラインごとの画像データが出力されるため、イメージプロセッサ7では、水平ライン4本分の画像データが入力されるごとに前記4×4画素の画素ブロックに対するステレオマッチング処理を行うようになっている。
P2ij represents the luminance value of the pixel at the coordinates (i, j) on the comparison image. In the present embodiment, as described above, the image data for each horizontal line is output from the
イメージプロセッサ7は、このようにして特定した比較画像上の画素ブロックともとの基準画像T上の画素ブロックとのずれ量を算出し、そのずれ量を視差dとして基準画像T上の画素ブロックに割り付けるようになっている。
The
この視差dは、前記メインカメラ2aおよびサブカメラ2bの一定距離の離間に由来する基準画像Tおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ2aおよびサブカメラ2bの中央位置から物体までの距離と視差dとを三角測量の原理に基づいて対応付けることができる。
The parallax d is a horizontal relative shift amount with respect to the mapping position of the same object in the reference image T and the comparison image derived from the fixed distance between the
具体的には、実空間上で、メインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、画像上の点(i,j,d)から実空間上の点(X,Y,Z)への座標変換は下記の(2)〜(4)式に基づいて行われる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(d−DP)) …(4)
Specifically, in real space, a point on the road surface directly below the center of the
X = CD / 2 + Z * PW * (i-IV) (2)
Y = CH + Z × PW × (j−JV) (3)
Z = CD / (PW × (d−DP)) (4)
すなわち、メインカメラ2aおよびサブカメラ2bの中央位置、正確には中央真下の道路面上の点から物体までの距離と視差dとは、前記(4)式のZを距離とすることで一意に対応付けられる。ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面の無限遠点のi座標およびj座標、DPは消失点視差を表す。
That is, the center position of the
また、イメージプロセッサ7は、視差dの信頼性を向上させる目的から、このようにして求めた視差dに対してフィルタリング処理を施し、有効とされた視差dのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい4×4画素の画素ブロックを比較画像の4画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差dが算出されてもその視差dの信頼性は低い。そのため、そのような視差dは前記フィルタリング処理で無効とされ、視差dの値として0を出力するようになっている。
Further, for the purpose of improving the reliability of the parallax d, the
したがって、イメージプロセッサ7から出力される基準画像Tの各画素の距離Z、すなわち基準画像Tの各画素ブロックについて実空間における距離を算出するための視差dは、通常、基準画像Tの左右方向に隣り合う画素間で輝度値p1ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。
Therefore, the distance Z of each pixel of the reference image T output from the
イメージプロセッサ7で算出された基準画像Tの各画素ブロックの視差dは距離データとして画像処理手段6の距離データメモリ8に格納されるようになっている。また、距離データメモリ8には、イメージプロセッサ7から一定の時間間隔をおいて送信されてくる距離データが時系列的に格納されるようになっている。
The parallax d of each pixel block of the reference image T calculated by the
なお、下記の検出手段9における処理では、基準画像Tの1つの画素ブロックは4×4個の画素として扱われ、1画素ブロックに属する16個の画素は同一の視差dを有する独立した画素として処理されるようになっている。なお、以下、距離データメモリ8に記憶されている各画素に視差dが割り付けられた擬似画像を距離画像という。
In the processing in the detection means 9 described below, one pixel block of the reference image T is treated as 4 × 4 pixels, and 16 pixels belonging to one pixel block are regarded as independent pixels having the same parallax d. To be processed. Hereinafter, the pseudo image in which the parallax d is assigned to each pixel stored in the
検出手段9は、車線検出手段91と、立体物検出手段92と、走行誘導障害物検出手段93と、過去障害物更新手段94とを備えている。 The detection means 9 includes a lane detection means 91, a three-dimensional object detection means 92, a travel guidance obstacle detection means 93, and a past obstacle update means 94.
また、検出手段9には、図示しないI/Oインターフェースを介して車速センサやヨーレートセンサ等のセンサ類Aが接続されており、センサ類Aから車速Vやヨーレートγ等が入力されるようになっている。なお、ヨーレートセンサを用いる代わりに、例えば、特開2004−249812号公報に記載の車両運動モデル生成装置等のヨーレート推定装置を接続することも可能である。 Sensors A such as a vehicle speed sensor and a yaw rate sensor are connected to the detection means 9 via an I / O interface (not shown), and a vehicle speed V, a yaw rate γ, and the like are input from the sensors A. ing. Instead of using the yaw rate sensor, for example, a yaw rate estimation device such as a vehicle motion model generation device described in Japanese Patent Application Laid-Open No. 2004-249812 can be connected.
車線検出手段91は、基準画像Tの各画素の輝度値p1ijと各画素の実空間における距離Zijに基づいて基準画像T上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。
The
車線検出手段91は、基準画像Tから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段91は前記特許文献1等に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。
The
車線検出手段91は、画像データメモリ5から基準画像Tの各画素の輝度値p1ijの情報を読み出し、また、距離データメモリ8から距離画像の各画素の視差dの情報を読み出す。そして、基準画像T上の1画素幅の水平ラインj上を左右方向に1画素ずつオフセットしながら探索し、図3に示すように、基準画像Tの各画素の輝度値p1ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点(Ij,Jj)としてそれぞれ検出するようになっている。
The
その際、基準画像Tに対応する距離画像に割り付けられた各画素の視差dの情報に基づいて各画素の距離Zijを算出し、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。 At that time, the distance Zij of each pixel is calculated based on the information on the parallax d of each pixel assigned to the distance image corresponding to the reference image T, and the detected pixel is excluded if it is not on the road surface. It is not detected as a candidate point.
車線検出手段91は、探索を行う水平ラインjを基準画像Tの下側から上向きに1画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図4に示すように、自車両の右側の領域Aおよび左側の領域Bにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を除外して残りの車線候補点を結ぶことで、図5に示すように基準画像T上で自車両の右側に右車線位置LRを、左側に左車線位置LLをそれぞれ検出するようになっている。左右の車線位置LR、LLはそれぞれ実空間における車線位置LR、LLにも変換されるようになっている。 The lane detecting means 91 sequentially detects lane candidate points while offsetting the horizontal line j to be searched upward by one pixel width from the lower side of the reference image T. As shown in FIG. Lane candidate points are detected in the area A and the left area B, respectively. Then, by removing the lane candidate points that cannot be consistent among them and connecting the remaining lane candidate points, the right lane position LR on the right side of the host vehicle on the reference image T as shown in FIG. The left lane position LL is detected on the left side. The left and right lane positions LR and LL are also converted into lane positions LR and LL in real space, respectively.
なお、車線候補点の探索は、基準画像T上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像T上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Tの下側から上向きに水平ラインjを1画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインjで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。 The search for lane candidate points is performed by setting a search area on the reference image T. That is, in this detection process, a search area is set in a certain range on the reference image T including the lane position based on the lane position detected in the previous detection process. In this detection, when the pixels are sequentially detected while the horizontal line j is offset by one pixel width upward from the lower side of the reference image T, no pixel satisfying the above condition is detected in a certain horizontal line j. In this case, the search area is expanded on the next horizontal line to search for lane candidate points.
車線検出手段91は、このようにして検出した左右の車線位置LR、LLの情報を図示しないメモリに保存するとともに、装置外に出力するようになっている。
The
立体物検出手段92は、距離画像の各画素の視差dから算出される実空間における距離Zijに基づいて基準画像T上に立体物を検出するようになっている。立体物検出手段92は、道路面より高い位置に存在する立体物を精度良く検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、立体物検出手段92は前記特許文献5等に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。
The three-dimensional
立体物検出手段92は、まず、距離データメモリ8から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、短冊状の各区分に属する各画素の視差dから各画素について距離Zijを算出し、道路面より高い位置に存在すると位置付けられる距離Zijに関するヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分に含まれる立体物の距離とする。これを全区分について行う。
The three-dimensional
例えば、図2に示した基準画像Tに対応する距離画像を短冊状の区分に分割して得られた各区分の距離を実空間上の点に変換すると、図6に示すように、立体物の自車両MCに面した部分に対応する部分に多少バラツキを持って各点がプロットされる。 For example, when the distance of each section obtained by dividing the distance image corresponding to the reference image T shown in FIG. 2 into strip-shaped sections is converted into points on the real space, a three-dimensional object is obtained as shown in FIG. Each point is plotted with some variation in the part corresponding to the part facing the host vehicle MC.
立体物検出手段92は、図7に示すように、各点の距離や方向性に基づいて各点をグループG1〜G7にグループ化し、図8に示すように、各点が略X軸方向に並ぶグループには正面O1〜O3とラベルし、各点が略Z軸方向に並ぶグループには側壁W1〜W4とラベルして、立体物を“正面”および“側壁”として検出するようになっている。
As shown in FIG. 7, the three-dimensional
ここで、X軸方向とは自車両の進行方向に向かって垂直の車幅方向すなわち左右方向、Z軸方向とは車長方向すなわち前後方向をいい、原点はメインカメラ2aおよびサブカメラ2bの中央位置の真下の道路面上の点にとられる。なお、Y軸方向は車高方向すなわち上下方向をいう。
Here, the X-axis direction is the vehicle width direction perpendicular to the traveling direction of the host vehicle, that is, the left-right direction, and the Z-axis direction is the vehicle length direction, ie, the front-rear direction, and the origin is the center of the
立体物検出手段92は、図8中の正面O1と側壁W1のように、“正面”と“側壁”とがそれぞれ1つの立体物に属する場合には、“正面”と“側壁”との組み合わせを立体物Sとして認識し、正面O1と側壁W1との境目のような立体物の角部をコーナー点Cとして算出するように構成されている。
When the “front” and the “side wall” belong to one solid object as in the front O1 and the side wall W1 in FIG. 8, the three-dimensional
このようにして検出された正面On、側壁Wnおよび立体物Snを枠線で囲うようにして基準画像Tに重ねて表示させた場合には、図9に示すような画像として表示される。なお、以下では、正面On、側壁Wnおよび立体物Snをあわせて立体物Snという。 When the front surface On, the side wall Wn, and the three-dimensional object Sn detected in this way are displayed on the reference image T so as to be surrounded by a frame line, the image is displayed as shown in FIG. Hereinafter, the front On, the side wall Wn, and the three-dimensional object Sn are collectively referred to as a three-dimensional object Sn.
立体物検出手段92は、このようにして検出した各立体物Snのグループのそれぞれ左端と右端の座標および高さの情報等をメモリに保存するとともに、装置外に出力するようになっている。
The three-dimensional
走行誘導障害物検出手段93は、立体物検出手段92により検出された各立体物Snの中から図17(A)、(B)に示したような反射材Rが塗布され或いは巻きつけられた走行誘導障害物を検出するようになっている。
The traveling guidance
具体的には、例えば図10に示すような車両や車線、車線分離標等が撮像された基準画像Tから前記立体物検出手段92により検出された図11に示すような立体物S1〜S15に対して、走行誘導障害物検出手段93は、各立体物Snのグループの左端から右端までの実空間上の距離すなわち各立体物Snの幅を算出するようになっている。なお、図10および図11では、立体物S1〜S5等で表される車線分離標の白黒の縞模様の明暗が実際とは逆に示されている。
Specifically, for example, the three-dimensional objects S1 to S15 as shown in FIG. 11 detected by the three-dimensional
そして、走行誘導障害物検出手段93は、立体物Snの大きさによる選別を行うようになっている。すなわち、立体物Snの幅が予め設定された閾値内にあり、かつ、高さが予め設定された閾値内にある立体物Snを選別し、他の立体物Snを除外するようになっている。
The traveling guidance
本実施形態では、走行誘導障害物の幅の閾値および高さの閾値は、走行誘導障害物が図10等に示した車線分離標である場合とパイロンである場合とで別々に設けられている。車線分離標は、通常、パイロンよりも細く、高さも異なることから、それぞれの閾値はそれらを区別できるように適宜設定される。 In the present embodiment, the width threshold value and the height threshold value of the travel guidance obstacle are provided separately for the case where the travel guidance obstacle is the lane separator shown in FIG. . Since the lane separator is usually thinner than the pylon and has a different height, the respective threshold values are appropriately set so that they can be distinguished.
走行誘導障害物検出手段93は、続いて、前記大きさによる選別で該当するとして選別された立体物Snのそれぞれについて、輝度パターンによる選別を行うようになっている。輝度パターンの検出では、走行誘導障害物検出手段93は、図12に示すように、選別された立体物Snの左右端の中心を上端から下方に向かって1画素ずつオフセットしながら各画素の輝度値p1ijを検出し、さらに各画素の輝度値p1ijとその直下の画素の輝度値との差分Δpをとるようになっている。
Subsequently, the traveling guidance
続いて、走行誘導障害物検出手段93は、図12中にQで示される輝度値の差分Δpが大きく変化する画素部分を走行誘導障害物の反射材がある明部Bと反射材がない暗部Dとの境界として検出し、境界の画素以外の画素部分で各明部Bおよび各暗部Dの輝度値の平均値pbnave、pdnaveをそれぞれ算出する。 Subsequently, the travel guidance obstacle detection means 93 uses a bright portion B with a reflective material for the travel guidance obstacle and a dark portion without a reflective material as a pixel portion where the difference Δp in luminance value indicated by Q in FIG. D is detected as a boundary with D, and average values pbnave and pdnave of the brightness values of each bright portion B and each dark portion D are calculated at pixel portions other than the boundary pixels.
そして、すべての明部Bについて各明部Bの輝度平均値pbnaveの分布を求めてその最大値と最小値の差Δpbを算出する。また、すべての暗部Dについても各暗部Dの輝度平均値pdnaveの分布を求めてその最大値と最小値の差Δpdを算出する。さらにすべての明部Bの輝度平均値pbaveとすべての暗部Dの輝度平均値pdaveを算出する。 Then, the distribution of the average luminance value pbnave of each bright part B is obtained for all the bright parts B, and the difference Δpb between the maximum value and the minimum value is calculated. In addition, for all the dark portions D, the distribution of the luminance average value pdnave of each dark portion D is obtained, and the difference Δpd between the maximum value and the minimum value is calculated. Further, the average luminance value pbave of all bright portions B and the average luminance value pdave of all dark portions D are calculated.
走行誘導障害物検出手段93は、各明部Bについての輝度平均値の最大値と最小値の差Δpbおよび各暗部Dについての輝度平均値の最大値と最小値の差Δpdがいずれも所定の規定値以内であり、かつ、すべての明部Bの輝度平均値pbaveとすべての暗部Dの輝度平均値pdaveとの差が所定の規定値以上である場合に、その立体物Snが走行誘導障害物に特有の輝度の繰り返しパターンを有すると判定するようになっている。そして、そのような輝度パターンを有する立体物Snを走行誘導障害物として選別するようになっている。 The traveling guidance obstacle detection means 93 has a predetermined difference Δpb between the maximum and minimum luminance average values for each bright portion B and a difference Δpd between the maximum and minimum luminance average values for each dark portion D. If the difference between the average brightness value pbave of all bright parts B and the average brightness value pdave of all dark parts D is equal to or greater than a predetermined specified value, the three-dimensional object Sn becomes a travel-induced obstacle. It is determined that the object has a repetitive pattern of luminance specific to the object. Then, the three-dimensional object Sn having such a luminance pattern is selected as a travel guidance obstacle.
走行誘導障害物検出手段93は、さらに距離画像に基づいて、走行誘導障害物として選別された立体物Snの各明部Bの上下方向の実空間上の長さが反射材として一般的に採用される長さと大きく異なる場合には、その立体物Snを走行誘導障害物から除外するようになっている。 The traveling guidance obstacle detecting means 93 generally adopts the length in the vertical space of each bright portion B of the three-dimensional object Sn selected as the traveling guidance obstacle based on the distance image as a reflector. If it is significantly different from the length to be generated, the three-dimensional object Sn is excluded from the traveling guidance obstacle.
走行誘導障害物検出手段93は、このようにして最終的に選別されて生き残った立体物Snを走行誘導障害物として検出するようになっている。
The traveling guidance
また、走行誘導障害物検出手段93は、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外した立体物Snのうち、検出された走行誘導障害物Knの配置から見て走行誘導障害物である判断される立体物Snを改めて走行誘導障害物として検出するようになっている。
Further, the traveling guidance
本実施形態では、走行誘導障害物検出手段93は、前記のようにして走行誘導障害物として検出した立体物Snの実空間上の位置と、後述する過去障害物更新手段94により更新され記録されている過去の走行誘導障害物の実空間上の位置との配置に基づいてより遠方の立体物Snが走行誘導障害物であるか否かを判断して検出するようになっている。 In the present embodiment, the travel guidance obstacle detection means 93 is updated and recorded by the position of the solid object Sn detected as the travel guidance obstacle as described above in the real space and the past obstacle update means 94 described later. Based on the arrangement of the past travel-guided obstacle with the position in the real space, it is determined and detected whether or not the farther three-dimensional object Sn is a travel-guide obstacle.
具体的には、図13に示すように、前記輝度パターンによる選別により検出された走行誘導障害物K1〜K3の位置と、自車両の挙動により基準画像T上に見出され得る自車両MCに最も近い位置Pより手前側に移動してしまったために基準画像T上に見出されなくなった過去の走行誘導障害物Kus1〜Kus3の位置の配置に対して最小自乗法を施して曲線Cで曲線近似するようになっている。なお、本実施形態では曲線Cを2次曲線として近似するが、例えばハフ変換等により直線近似することも可能である。 Specifically, as shown in FIG. 13, the vehicle MC that can be found on the reference image T according to the position of the travel guidance obstacles K1 to K3 detected by the selection based on the luminance pattern and the behavior of the vehicle. A curve C is obtained by applying the least square method to the arrangement of the positions of the past driving guidance obstacles Kus1 to Kus3 that are not found on the reference image T because they have moved to the near side from the nearest position P. It is designed to approximate. In the present embodiment, the curve C is approximated as a quadratic curve, but it is also possible to approximate the line C by a Hough transform or the like, for example.
続いて、曲線Cを自車両MCから遠方に延長し、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外された立体物Snのうち、延長された曲線C上または曲線Cから所定距離以内にある立体物Snを改めて走行誘導障害物Knとして検出するようになっている。 Subsequently, the curve C is extended far from the host vehicle MC, and among the three-dimensional objects Sn that are excluded as not corresponding to the travel guidance obstacle by the selection based on the luminance pattern, the curve C is predetermined on the extended curve C or from the curve C. The three-dimensional object Sn within the distance is newly detected as the travel guidance obstacle Kn.
走行誘導障害物検出手段93は、このようにして検出した各走行誘導障害物Knの情報等をメモリに保存するとともに、装置外に出力するようになっている。 The travel guidance obstacle detection means 93 is configured to store information and the like of each travel guidance obstacle Kn detected in this manner in a memory and to output it outside the apparatus.
過去障害物更新手段94は、自車両の挙動により基準画像T中に見出されなくなった過去の走行誘導障害物Kusを追跡して記録し、それらの実空間上の座標を自車両の挙動に基づいて次回の検出タイミングにおける座標に更新するようになっている。 The past obstacle update means 94 tracks and records past driving guidance obstacles Kus that are no longer found in the reference image T due to the behavior of the host vehicle, and converts the coordinates in the real space into the behavior of the host vehicle. Based on this, the coordinates at the next detection timing are updated.
例えば、図10等に示されている走行誘導障害物K1は、自車両が前進したり転回したりすると、基準画像T中には見出されなくなる。しかし、立体物検出手段92により走行誘導障害物K1の実空間上の座標が検出されている。 For example, the traveling guidance obstacle K1 shown in FIG. 10 or the like is not found in the reference image T when the host vehicle moves forward or turns. However, the coordinates in the real space of the traveling guidance obstacle K1 are detected by the three-dimensional object detection means 92.
そこで、本実施形態では、過去障害物更新手段94は、車速センサおよびヨーレートセンサから送信されてくる現在の車速Vおよびヨーレートγで自車両MCが前進や転回した場合に、走行誘導障害物K1だった走行誘導障害物すなわち自車両の挙動で基準画像T中に見出されなくなり過去の走行誘導障害物Kus1となる走行誘導障害物の座標が次回の撮像タイミングではどの位置になるかを算出するようになっている。 Therefore, in the present embodiment, the past obstacle update means 94 is the traveling guidance obstacle K1 when the host vehicle MC moves forward or turns at the current vehicle speed V and yaw rate γ transmitted from the vehicle speed sensor and the yaw rate sensor. It is calculated that the position of the coordinates of the traveling guidance obstacle that becomes the past traveling guidance obstacle Kus1 that is not found in the reference image T due to the behavior of the traveling guidance obstacle, that is, the own vehicle, is at the next imaging timing. It has become.
本実施形態では、過去障害物更新手段94は、過去の走行誘導障害物として3個の走行誘導障害物の座標を記憶するようになっており、このように新たに走行誘導障害物を過去の走行誘導障害物として記憶すると、最も過去の走行誘導障害物すなわち図13の例で言えば過去の走行誘導障害物Kus3の記録を抹消するようになっている。 In the present embodiment, the past obstacle update means 94 stores the coordinates of the three travel guidance obstacles as past travel guidance obstacles, and thus newly creates a travel guidance obstacle in the past. When stored as a travel guide obstacle, the record of the past travel guide obstacle Kus3 in the example of FIG. 13 is deleted.
また、過去障害物更新手段94は、他の過去の走行誘導障害物の座標についても現在の車速Vおよびヨーレートγに基づいて次回の撮像タイミングにおける座標を算出して更新するようになっている。なお、上記のように新たに過去の走行誘導障害物Kus1が記録される場合、図13の過去の走行誘導障害物Kus1、Kus2はそれぞれ過去の走行誘導障害物Kus2、Kus3としてその座標が更新される。 The past obstacle update means 94 is also configured to calculate and update the coordinates at the next imaging timing based on the current vehicle speed V and the yaw rate γ for the coordinates of other past travel guidance obstacles. When the past travel guidance obstacle Kus1 is newly recorded as described above, the coordinates of the past travel guidance obstacles Kus1 and Kus2 in FIG. 13 are updated as the past travel guidance obstacles Kus2 and Kus3, respectively. The
過去障害物更新手段94は、このようにして更新した過去の走行誘導障害物Kus1〜Kus3の座標をメモリに保存するようになっている。これらの座標を装置外に出力するように構成することも可能である。 The past obstacle update means 94 stores the coordinates of the past travel guidance obstacles Kus1 to Kus3 updated in this way in a memory. It is also possible to configure to output these coordinates outside the apparatus.
次に、本実施形態に係る走行誘導障害物検出装置1の作用について説明する。
Next, the operation of the travel guidance
走行誘導障害物検出装置1の検出手段9の走行誘導障害物検出手段93は、立体物検出手段92により例えば図11に示した基準画像T中から立体物S1〜S15が検出されると、それらの立体物S1〜S15に対して、各立体物Snのグループの幅と高さがそれぞれ予め設定された閾値内にある立体物S1〜S5と立体物S14を選別し、他の立体物Snを除外する。
The travel guidance obstacle detection means 93 of the detection means 9 of the travel guidance
走行誘導障害物検出手段93は、続いて、選別された立体物S1〜S5と立体物S14に対して前述したような輝度パターンによる選別を行い、立体物の上下方向の輝度変化が一定のパターンを有する立体物S1〜S3を走行誘導障害物K1〜K3として検出し、立体物S4、S5、S14を除外する。
Subsequently, the traveling guidance
しかし、除外された立体物S4、S5、S14は、自車両MCから遠くにある等のために走行誘導障害物であるが輝度パターンが明確に見えなくなっているだけである可能性が残る。 However, there is a possibility that the excluded three-dimensional objects S4, S5, and S14 are travel guidance obstacles because they are far away from the host vehicle MC, but the luminance pattern is not clearly visible.
そのため、走行誘導障害物検出手段93は、検出した走行誘導障害物K1〜K3の配置や過去障害物更新手段94により自車両の挙動に基づいて位置が更新されている過去の走行誘導障害物Kus1〜Kus3の配置に基づいてそれらの並び方の形状を直線または曲線で近似し、その直線または曲線の延長線上にある立体物S4、S5を走行誘導障害物K4、K5であるとして検出する。 Therefore, the travel guidance obstacle detection means 93 is a past travel guidance obstacle Kus1 whose position is updated based on the arrangement of the detected travel guidance obstacles K1 to K3 and the behavior of the host vehicle by the past obstacle update means 94. Based on the arrangement of .about.Kus3, the shape of the arrangement is approximated by a straight line or a curve, and the three-dimensional objects S4, S5 on the extension line of the straight line or the curve are detected as the traveling guidance obstacles K4, K5.
立体物S14は、近似された直線または曲線から大きく離れているため走行誘導障害物としては検出されない。 The three-dimensional object S14 is not detected as a traveling guidance obstacle because it is far away from the approximated straight line or curve.
なお、例えば、輝度パターンによる選別の結果、立体物S2が走行誘導障害物として検出されず立体物S1とS3のみが走行誘導障害物として検出された場合、立体物S2は、走行誘導障害物S1とS2の配置に基づく近似直線または近似曲線上或いはその近傍に存在する立体物と判定されるため、改めて走行誘導障害物S2として検出される。 For example, when the three-dimensional object S2 is not detected as a travel guidance obstacle and only the three-dimensional objects S1 and S3 are detected as travel guidance obstacles as a result of selection based on the luminance pattern, the three-dimensional object S2 is detected as the travel guidance obstacle S1. And a solid object existing on or near the approximate straight line or the approximate curve based on the arrangement of S2 and is detected again as the travel guidance obstacle S2.
以上のように、本実施形態に係る走行誘導障害物検出装置1によれば、基準画像T中に検出された立体物Snについて幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。
As described above, according to the traveling guidance
そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。 Therefore, a three-dimensional object that is a traveling guidance obstacle can be appropriately detected as a traveling guidance obstacle without misrecognizing it as a vehicle, for example.
また、大きさによる選別では選別されたが自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに前記走行誘導障害物の検出において除外されてしまった立体物Snについて、検出された走行誘導障害物や基準画像Tに見出されなくなった過去の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。 In addition, the three-dimensional object Sn that has been excluded in the detection of the travel-guided obstacle without being detected by the repetition pattern of the luminance because it has been selected by the size selection but is far from the host vehicle is detected. Approximate with the straight line or curve the arrangement of past travel guidance obstacles that have not been found in the reference image T, and detect solid objects on or near the straight line or curve as travel guidance obstacles To do.
そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断し、走行誘導障害物として適切に検出することが可能となる。 For this reason, it is possible to accurately determine whether or not a three-dimensional object for which a repeated luminance pattern has not been detected is a travel guidance obstacle, and appropriately detect it as a travel guidance obstacle.
なお、本実施形態では、基準画像T上に検出された走行誘導障害物Knの位置と過去の走行誘導障害物Kusnの位置との配置に基づいて直線近似や曲線近似によって輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出することについて述べた。しかし、基準画像T上に検出された走行誘導障害物Knの配置のみに基づいて直線近似や曲線近似を行うように構成することも可能であり、また、基準画像T上に走行誘導障害物Knが検出されない場合でも、過去の走行誘導障害物Kusnの配置のみに基づいて直線近似や曲線近似を行って基準画像T上の輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出するように構成することも可能である。 In the present embodiment, a luminance pattern is not detected by linear approximation or curve approximation based on the arrangement of the position of the traveling guidance obstacle Kn detected on the reference image T and the position of the past traveling guidance obstacle Kusn. The new detection of a three-dimensional object as a traveling guidance obstacle was described. However, it is also possible to perform a linear approximation or a curve approximation based only on the arrangement of the travel guidance obstacle Kn detected on the reference image T, and the travel guidance obstacle Kn on the reference image T. Even if no detection is detected, a three-dimensional object in which the luminance pattern on the reference image T is not detected by performing linear approximation or curve approximation based only on the past arrangement of the driving guidance obstacle Kusn is newly detected as a driving guidance obstacle. It is also possible to configure so as to.
[第2の実施の形態]
次に、以下の実施形態では、前記第1の実施形態に係る走行誘導障害物検出装置1を用いた種々の車両用制御装置について説明する。
[Second Embodiment]
Next, in the following embodiments, various vehicle control devices using the travel guidance
第2の実施形態では、前記第1の実施形態に係る走行誘導障害物検出装置1を用いた車線逸脱防止装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置10は、図14に示すように、前記第1の実施形態に係る走行誘導障害物検出装置1と、制御装置11と、警報装置12とを備えている。
In the second embodiment, a vehicle control device will be described as a lane departure prevention device using the travel guidance
制御装置11は、自車両が走行誘導障害物検出装置1により検出された左右いずれかの車線位置を逸脱する可能性があると判断した場合に、接続された警報装置12にそのスピーカ等から警報を発するように指示を出すようになっている。なお、車線検出手段を前記第1の実施形態に係る走行誘導障害物検出装置1とは別の装置として設けることも可能である。
When the
また、制御装置11は、走行誘導障害物検出装置1により検出された走行誘導障害物に自車両が所定距離以内に接近している場合にも、接続された警報装置12にそのスピーカ等から警報を発するように指示を出すようになっている。
The
さらに、制御装置11は、走行誘導障害物検出装置1により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めるようになっている。
Furthermore, when the travel guidance obstacle detected by the travel guidance
このように、本実施形態に係る車両用制御装置10によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して車線逸脱を適切に防止することが可能となる。
As described above, according to the
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。 In addition, it is possible to make the driver's attention faster by issuing a warning earlier than in the case of a lane that does not have a driving guidance obstacle in a lane in which a driving guidance obstacle is set up nearby and lane departure is strongly prohibited. This makes it possible to reliably prevent lane departure and prevent the vehicle from coming into contact with or colliding with a traveling guidance obstacle.
なお、警報を発する代わりに或いはそれと並行して、自車両を自動的に走行レーンに引き戻すように各種アクチュエータ等を自動制御するように構成することも可能である。 Note that it is also possible to automatically control various actuators or the like so that the host vehicle is automatically pulled back to the traveling lane instead of or in parallel with issuing an alarm.
[第3の実施の形態]
第3の実施形態では、前記第1の実施形態に係る走行誘導障害物検出装置1を用いた追従支援装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置20は、図15に示すように、前記第1の実施形態に係る走行誘導障害物検出装置1と、制御装置21とを備えており、制御装置21には、ステアリングサーボ機能を有する制御システムを含む応動部Bが接続されている。
[Third Embodiment]
3rd Embodiment demonstrates the control apparatus for vehicles as a tracking assistance apparatus using the driving | running | working guidance
制御装置21は、自車両が走行誘導障害物検出装置1により検出された左右の車線位置に区画される走行レーン内を走行するように、自車両が走行すべきラインを設定し或いは自車両の所定距離前方に目標点を設定し、応動部Bに指示信号を発して車線に対する追従制御を行うようになっている。
The
また、制御装置21は、自車両が走行誘導障害物検出装置1により検出された走行誘導障害物に沿って走行するように応動部Bに指示信号を発して走行誘導障害物に対する追従制御を行うようになっている。
Further, the
さらに、制御装置21は、走行誘導障害物検出装置1により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも車線からの離間距離を拡大して走行レーンの中央に近い位置を走行するように自車両の走行を制御するようになっている。
Furthermore, when the travel guidance obstacle detected by the travel guidance
このように、本実施形態に係る車両用制御装置20によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。
As described above, according to the
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。 In addition, the lane departure is surely prevented by separating the lane from the lane more than the lane where there is a lane that does not have a travel guidance obstacle. Thus, it is possible to accurately prevent the host vehicle from coming into contact with or colliding with the traveling guidance obstacle.
[第4の実施の形態]
第1の実施形態に係る走行誘導障害物検出装置1は、走行誘導障害物の幅の閾値および高さの閾値を適切に設定することで、車線分離標とパイロンとを区別して検出することができる。
[Fourth Embodiment]
The travel guidance
そのため、前記第2および第3の実施形態に係る車両用制御装置10、20の制御装置11、21で、パイロンを検出するように前記閾値を設定し、車線の内側やその近傍に検出された立体物がパイロンである場合には、自車両が走行中の道路が道路工事や土木工事等のために工事中であると判断するように構成することができる。
Therefore, in the
そして、道路が工事中であれば、自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、第2の実施形態に係る車線逸脱防止装置としての車両用制御装置10において、制御装置11を、自車両が走行中の道路が工事中であると判断した場合には車線逸脱回避制御を停止するように構成することができる。
And if the road is under construction, it is assumed that the host vehicle deviates from the travel lane and travels across the lane or changes to the adjacent travel lane. Therefore, in the
このように構成すれば、道路が工事中でドライバが意図的に車線を逸脱しようとする場合には車線逸脱回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。 With this configuration, when the road is under construction and the driver intentionally departs from the lane, the lane departure avoidance control is stopped. It is possible to prevent the running from becoming unstable by being controlled to be pulled back.
また、第3の実施形態に係る車線追従支援装置としての車両用制御装置20では、制御装置21は、自車両が走行誘導障害物検出装置1により検出されたパイロンに沿って走行するように応動部Bに指示信号を発して走行誘導障害物に対する追従制御を行う。そのため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。
Further, in the
なお、第3の実施形態に係る車線追従支援装置としての車両用制御装置20で、制御装置21が、自車両を走行誘導障害物検出装置1により検出されたパイロンに沿って走行させるように構成されていない場合には、車線追従制御を停止するように構成することが好ましい。このように構成すれば、ドライバがパイロンに衝突しないように車線を逸脱しようとする場合に、自車両が無理に元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
In the
[第5の実施の形態]
第5の実施形態に係る車両用制御装置30は、図16に示すように、前記第1の実施形態に係る走行誘導障害物検出装置1と、制御装置31と、情報収集手段32としてのレーダ装置とを備えている。本実施形態に係る車両用制御装置30は、例えば、自車両の周囲の先行車を検出するための先行車検出装置として用いることができる。
[Fifth Embodiment]
As shown in FIG. 16, the
レーダ装置は自車両の先端に設けられており、例えば30GHzから100GHzの電波を自車両周囲に送信し、反射されて戻ってくる電波を受信することで、自車両周囲の立体物の位置や大きさ等の情報を収集するようになっている。レーダ装置は、送受信データを制御装置31に送信するようになっている。
The radar device is provided at the tip of the host vehicle. For example, the position and size of a three-dimensional object around the host vehicle are transmitted by transmitting radio waves of 30 GHz to 100 GHz around the host vehicle and receiving radio waves that are reflected and returned. It collects such information. The radar device is configured to transmit transmission / reception data to the
制御装置31は、レーダ装置から送信されてくる送受信データに基づいて電波が立体物に反射されて戻ってくるまでの時間差を計測し、自車両から立体物までの相対距離を算出するようになっている。また、前記相対距離の分布状態から、同一の距離の値が連続する部分を1つの立体物として抽出し、図示しないメモリに記録するようになっている。
The
また、制御装置31は、前回抽出された立体物のデータをメモリから読み出して、今回抽出した立体物と同一である確率を求め、確率が予め設定された閾値以上であれば今回抽出したデータで立体物のデータを更新して立体物として継続登録するようになっている。また、対応する過去のデータがない場合には新たな立体物として登録するようになっている。
Further, the
さらに、制御装置31は、走行誘導障害物検出装置1から送信されてくる走行誘導障害物の位置等の情報と、レーダ装置からの送受信データに基づいて収集された立体物の位置等の情報とを対照して、位置がほぼ一致し、大きさが所定範囲内で対応する場合には、レーダ装置からの送受信データに基づいて収集された立体物を走行誘導障害物として認識し、その立体物に走行誘導障害物としてラベル付けをしてメモリに記録するようになっている。
Further, the
また、本実施形態では、制御装置31は、自車両から見て走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外するようになっている。すなわち、車両用制御装置30は例えば先行車検出装置として用いられている場合には、走行誘導障害物の外側にある立体物を先行車として検出せず、例えばメモリから抹消するようになっている。
In the present embodiment, the
このように、本実施形態に係る車両用制御装置30によれば、レーダ装置により抽出された立体物の情報と走行誘導障害物検出装置1により検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を例えば先行車と誤認識することを確実に防止することが可能となる。
As described above, according to the
また、自車両から見て走行誘導障害物の外側にある車両は走行誘導障害物を乗り越えて自車両の走行レーンに進入してくることは通常の状態では考え難い。そのため、前記のように立体物の中から走行誘導障害物を特定し、その外側にある立体物を立体物との距離を調整する制御の制御対象から除外することで制御のための演算処理を軽減することが可能となり、制御装置31の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。
In addition, it is unlikely that a vehicle outside the traveling guidance obstacle as viewed from the own vehicle will get over the traveling guidance obstacle and enter the traveling lane of the own vehicle. Therefore, as described above, the driving guidance obstacle is identified from among the three-dimensional objects, and the three-dimensional object outside the three-dimensional object is excluded from the control target of the control for adjusting the distance from the three-dimensional object, so that the arithmetic processing for the control is performed. As a result, it is possible to reduce the calculation load of the
1 走行誘導障害物検出装置
2 撮像手段
6 画像処理手段
9 検出手段
91 車線検出手段
10、20、30 車両用制御装置
11、21、31 制御装置
12 警報装置
32 情報収集手段
p1ij 輝度値
MC 自車両
T 基準画像
Zij 距離
Sn 立体物
Kn 走行誘導障害物
Kusn 過去の走行誘導障害物
C 曲線
LR、LL 車線位置
DESCRIPTION OF
Claims (13)
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする走行誘導障害物検出装置。 Imaging means for imaging a landscape including a road ahead of the host vehicle and outputting a pair of images having a luminance value for each pixel;
Image processing means for calculating a distance in real space for each pixel of at least one image based on the pair of captured images;
Detecting means for detecting a three-dimensional object from the one image based on the information on the luminance value and the distance, and calculating a size of the three-dimensional object in real space;
When the size of the three-dimensional object in real space is within a preset threshold and the luminance change in the vertical direction of the three-dimensional object detected in the one image has a constant pattern A three-dimensional object is detected as a traveling guidance obstacle.
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする車両用制御装置。 The travel guidance obstacle detection device according to any one of claims 1 to 3,
Information collecting means for collecting information about a three-dimensional object around the host vehicle by means other than the imaging means;
Control for recognizing the three-dimensional object as a traveling guidance obstacle when the information on the three-dimensional object collected by the information collecting means corresponds to the information on the traveling guidance obstacle detected by the traveling guidance obstacle detection device. A vehicle control device comprising the device.
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする車両用制御装置。 The travel guidance obstacle detection device according to any one of claims 1 to 3,
An alarm device for issuing an alarm to the driver;
A control apparatus for a vehicle, comprising: a control device that causes the alarm device to output an alarm when the host vehicle is approaching a three-dimensional object recognized as the travel guidance obstacle.
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする請求項6に記載の車両用制御装置。 Lane detection means for detecting the lane on the left and right of the host vehicle,
The control device issues an alarm when the host vehicle is approaching the lane detected by the lane detecting means, and a three-dimensional object recognized as the travel guiding obstacle is detected by the lane detecting means. The vehicle control device according to claim 6, wherein when the vehicle is in the vicinity, the timing for issuing an alarm is advanced as compared with the case of the lane alone.
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする車両用制御装置。 The travel guidance obstacle detection device according to any one of claims 1 to 3,
A control device for a vehicle, comprising: a control device that controls the travel of the host vehicle so as to travel along a three-dimensional object recognized as the travel guidance obstacle.
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする請求項8に記載の車両用制御装置。 Lane detection means for detecting the lane on the left and right of the host vehicle,
The control device controls the traveling of the host vehicle so that the host vehicle travels along the lane detected by the lane detecting unit, and detects the three-dimensional object recognized as the traveling guidance obstacle by the lane detecting unit. 9. The traveling of the host vehicle is controlled so that when the vehicle is in the vicinity of the lane, the vehicle is traveled with a larger distance from the lane than when only the lane is detected. Vehicle control device.
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする車両用制御装置。 The travel guidance obstacle detection device according to any one of claims 1 to 3,
Lane detection means for detecting lanes on the left and right of the host vehicle;
When the solid object detected inside the lane detected by the lane detection means or in the vicinity thereof and recognized as the traveling guidance obstacle is a pylon, Has a control device for determining that the road on which the host vehicle is traveling is under construction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006106701A JP4901275B2 (en) | 2006-04-07 | 2006-04-07 | Travel guidance obstacle detection device and vehicle control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006106701A JP4901275B2 (en) | 2006-04-07 | 2006-04-07 | Travel guidance obstacle detection device and vehicle control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007280132A JP2007280132A (en) | 2007-10-25 |
JP4901275B2 true JP4901275B2 (en) | 2012-03-21 |
Family
ID=38681504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006106701A Active JP4901275B2 (en) | 2006-04-07 | 2006-04-07 | Travel guidance obstacle detection device and vehicle control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4901275B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5149669B2 (en) * | 2008-03-28 | 2013-02-20 | 富士重工業株式会社 | Driving assistance device |
JP2009251637A (en) * | 2008-04-01 | 2009-10-29 | Nishi Nihon Kosoku Doro Maintenance Kansai Kk | Vehicle accident prevention robot and vehicle accident prevention system |
JP5564920B2 (en) * | 2009-12-08 | 2014-08-06 | アイシン・エィ・ダブリュ株式会社 | Driving support device, driving support method, and computer program |
JP5413516B2 (en) | 2010-08-19 | 2014-02-12 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
JP5350353B2 (en) * | 2010-12-02 | 2013-11-27 | 本田技研工業株式会社 | Vehicle control device |
MX321872B (en) * | 2011-02-21 | 2014-07-11 | Nissan Motor | Periodic stationary object detection device and periodic stationary object detection method. |
DE102011086199B4 (en) | 2011-11-11 | 2020-07-16 | Denso Corporation | Vehicle perimeter monitor |
US9056395B1 (en) | 2012-09-05 | 2015-06-16 | Google Inc. | Construction zone sign detection using light detection and ranging |
US9221461B2 (en) | 2012-09-05 | 2015-12-29 | Google Inc. | Construction zone detection using a plurality of information sources |
JP2018197059A (en) * | 2017-05-24 | 2018-12-13 | トヨタ自動車株式会社 | Collision avoidance control device |
JP6990675B2 (en) | 2019-07-04 | 2022-01-12 | 本田技研工業株式会社 | Vehicle control devices, vehicle control methods, and programs |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3324821B2 (en) * | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | Vehicle exterior monitoring device |
JP3591084B2 (en) * | 1995-10-16 | 2004-11-17 | 日産自動車株式会社 | Driving force control device for road information ahead of vehicle |
JP4327389B2 (en) * | 2001-10-17 | 2009-09-09 | 株式会社日立製作所 | Travel lane recognition device |
JP4067340B2 (en) * | 2002-06-05 | 2008-03-26 | 富士重工業株式会社 | Object recognition device and object recognition method |
JP2005018211A (en) * | 2003-06-24 | 2005-01-20 | Nissan Motor Co Ltd | Traffic lane departure preventive device |
-
2006
- 2006-04-07 JP JP2006106701A patent/JP4901275B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007280132A (en) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
JP4714104B2 (en) | Object tilt detection device | |
JP5664787B2 (en) | Moving body detection apparatus and moving body detection method | |
US9659497B2 (en) | Lane departure warning system and lane departure warning method | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
JP4568637B2 (en) | Road recognition device | |
JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
JP6787157B2 (en) | Vehicle control device | |
JP5561064B2 (en) | Vehicle object recognition device | |
JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
JP2008158640A (en) | Moving object detection apparatus | |
US10268204B2 (en) | Cross traffic detection using cameras | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP2014006885A (en) | Level difference recognition apparatus, level difference recognition method, and program for level difference recognition | |
JP2008117073A (en) | Interruption vehicle detection device | |
JP4721278B2 (en) | Lane departure determination device, lane departure prevention device, and lane tracking support device | |
WO2019065970A1 (en) | Vehicle exterior recognition device | |
JP2007264712A (en) | Lane detector | |
JP2020187474A (en) | Traveling lane recognition device, traveling lane recognition method and program | |
KR102031635B1 (en) | Collision warning device and method using heterogeneous cameras having overlapped capture area | |
JP2001195698A (en) | Device for detecting pedestrian | |
JP4956099B2 (en) | Wall detector | |
JP2002334330A (en) | Vehicle recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4901275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |