JP3341605B2 - The image processing apparatus for a vehicle - Google Patents

The image processing apparatus for a vehicle

Info

Publication number
JP3341605B2
JP3341605B2 JP32555396A JP32555396A JP3341605B2 JP 3341605 B2 JP3341605 B2 JP 3341605B2 JP 32555396 A JP32555396 A JP 32555396A JP 32555396 A JP32555396 A JP 32555396A JP 3341605 B2 JP3341605 B2 JP 3341605B2
Authority
JP
Japan
Prior art keywords
road
vehicle
image
shade
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32555396A
Other languages
Japanese (ja)
Other versions
JPH10171966A (en
Inventor
浩一 黒田
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP32555396A priority Critical patent/JP3341605B2/en
Publication of JPH10171966A publication Critical patent/JPH10171966A/en
Application granted granted Critical
Publication of JP3341605B2 publication Critical patent/JP3341605B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、車両用画像処理装置に関し、特に、道路画像より道路を抽出することができる車両用画像処理装置に関する。 The present invention relates to relates to an image processing apparatus for a vehicle, in particular, it relates to a vehicle image processing apparatus capable of extracting a road from the road image.

【0002】 [0002]

【従来の技術】従来の車両用画像処理装置としては、例えば特願平5−354605号記載のものが知られている。 As a conventional image processing apparatus for a vehicle, for example, those described Japanese Patent Application No. 5-354605 is known. その特徴は、先行車両や障害物を検出する方法として、図7(a)に示すように、道路となりそうな台形領域(イ)に予めウィンドウを設定し、図7(b)に示すように、そのウィンドウの中央下端部(ロ)を基準色としてウィンドウ内の同一色領域(ハ)を抽出する。 Its features, as a method of detecting the preceding vehicle and obstacles, as shown in FIG. 7 (a), previously set window on the road and would likely trapezoidal region (i), as shown in FIG. 7 (b) , extracts the same color region of the window (c) a central lower portion of the window (b) as a reference color. 次に、図7(c)に示すように、左直線(ニ)、右直線(ホ)、上の境界となる直線(ヘ)を求め、上の境界となる直線(ヘ)のy方向の位置が、図7(a)において設定したウィンドウの上底(ト)よりも低い場合には、 Next, as shown in FIG. 7 (c), the left line (d), the right straight line (e), determine the straight line becomes an upper boundary (F), the upper boundary straight line y direction (F) position is lower than the upper base of the window set in FIG. 7 (a) (g), the
先行車両や障害物があると判断するようにしていることである。 It is that the preceding vehicle or an obstacle is to be determined that there.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、従来の車両用画像処理装置にあっては、図7(d)に示すように、走行中に建物(チ)等の日影(リ)がこのウィンドウを横切る場合には、図7(e)に示すように、道路の領域(ヌ)が正確に抽出できなくなり、先行車両や障害物が検出できなくなるといった問題があった。 [SUMMARY OF THE INVENTION However, in the conventional image processing device for a vehicle, as shown in FIG. 7 (d), a building while driving shade of (h), etc. (Li) is the window when crossing the, as shown in FIG. 7 (e), road region (j) will not be able to accurately extract, preceding vehicle or obstacle there is a problem can not be detected. また、例えば図7(d)に示すように、日影(リ)がx軸に平行になって撮像される場合には、先行車両や障害物を誤検出してしまうといった問題があった。 For example, as shown in FIG. 7 (d), when the shade (Li) is imaged is parallel to the x-axis, there is a problem preceding vehicle and result in obstruction of the erroneous detection. 本発明は上記に鑑みてなされたもので、その目的は、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる車両用画像処理装置を提供することにある。 The present invention has been made in view of the above, the object is also when the shade is taken during the road image, the preceding vehicle and obstacles vehicular image processing erroneous can contribute to reducing the detection of to provide an apparatus.

【0004】 [0004]

【課題を解決するための手段】請求項1記載の発明は、 Means for Solving the Problems The invention according to claim 1,
上記課題を解決するため、車両前方の道路画像を撮像する撮影手段と、撮影される撮影方向を検出する撮影方向検出手段と、現在の日時を計時する計時手段と、自車両の現在位置を検出する現在位置検出手段と、前記撮影方向、現在日時および自車位置に基づいて、前記撮影された道路画像上に現れる日影形状を推定する日影形状推定手段と、推定された日影形状に基づいて、道路上の障害物または先行車両を検出する第1の対象物検出手段と、 To solve the above problems, detection and imaging means for imaging the front of the vehicle road image, the photographing direction detection means for detecting a photographing direction that is captured, and counting means for counting the current time, the current position of the vehicle current position detecting means for the imaging direction, based on the current date and time and the vehicle position, a shaded shape estimating means for estimating a shade shape appearing on the captured road image, the estimated shaded shape based on a first object detecting means for detecting an obstacle or a preceding vehicle on the road,
前記撮影された道路画像内の路面の基準色と同系色の領域を路面領域として抽出する路面領域抽出手段と、抽出された路面領域の境界形状に基づいて障害物又は先行車両を検出する第2の対象物検出手段とを備え、該路面領域の境界形状が、前記推定された日影形状と類似した場合には、抽出された路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出することを要旨とする。 Second detecting an obstacle or a preceding vehicle based on the boundary shape of the photographed and road area extracting means for a reference color similar colors areas of the road surface in the road image is extracted as a road surface region, the extracted road area of a object detecting unit, boundary shape of road surface area, in the case similar to the estimated shaded shape is not used for detection of an obstacle or preceding vehicle extracted road regions, further and summary to extract another road area.

【0005】請求項2記載の発明は、上記課題を解決するため、前記撮影された道路画像上に現れる日影の傾き値を推定する日影傾き推定手段を備え、前記抽出された路面領域の境界を表す直線の傾き値が、前記推定された日影の傾き値の近傍にある場合には、前記路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出することを要旨とする。 [0005] According to a second aspect of the invention, for solving the above problems, comprises a shade gradient estimating means for estimating a gradient value of the shade appearing on the captured road image, the extracted road area tilt value of the straight line representing the boundary, when in the vicinity of the gradient value of the estimated shaded, the not used for detection of an obstacle or preceding vehicle road area, further extracting another road area it is the gist of.

【0006】請求項3記載の発明は、上記課題を解決するため、前記撮影された道路画像上での傾きの値が、前記推定された日影の傾き値の近傍にあるエッジを抽出するエッジ抽出手段を備え、前記抽出された路面領域の境界を表す直線が、抽出されたエッジと一致する場合に、 [0006] The invention of claim 3, wherein, in order to solve the above problem, an edge value of the slope on the captured road image, extracts an edge in the vicinity of the tilt value of the estimated shaded It includes an extraction means, when the straight line representing the boundary of the extracted road region, which coincides with the extracted edge,
抽出された路面領域の境界を表す直線の傾き値が、前記推定された日影の傾き値の近傍にあるときには、該路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出することを要旨とする。 Tilt value of the straight line representing the boundary of the extracted road region, when in the vicinity of the tilt value of the estimated shaded are not used for the detection of an obstacle or a preceding vehicle a road surface area, yet another road and gist extracting the region.

【0007】請求項4記載の発明は、上記課題を解決するため、車両前方の道路画像を撮像する撮影手段と、撮影される撮影方向を検出する撮影方向検出手段と、現在の日時を計時する計時手段と、自車両の現在位置を検出する現在位置検出手段と、前記撮影方向、現在日時および自車位置に基づいて、前記撮影された道路画像上に現れる日影形状を推定する日影形状推定手段と、推定された日影形状に基づいて、道路上の障害物または先行車両を検出する第1の対象物検出手段と、前記撮影された道路画像内に設定された複数の検出領域の輝度分布を比較する輝度分布比較手段と、該輝度分布の比較結果に基づいて障害物または先行車両を検出する第3の対象物検出手段と、前記撮影された道路画像上での傾き値が、前記推定された日影の [0007] The invention of claim 4, wherein, in order to solve the above problems, measures a photographing unit configured to capture the vehicle ahead of the road image, the photographing direction detection means for detecting a photographing direction that is captured, the current date and time shaded shape estimation and timing means, the current position detecting means for detecting a current position of the vehicle, the imaging direction, based on the current date and time and the vehicle position, the shade shape appearing on the captured road image and estimating means, based on the estimated shaded shape, the first object detecting means for detecting an obstacle or a preceding vehicle on the road, of the photographed plurality of detection areas set in a road image was a luminance distribution comparison means for comparing the luminance distribution, and the third object detecting means for detecting an obstacle or a preceding vehicle based on the comparison result of the luminance distribution, the slope value on the captured road image, of the estimated shade き値の近傍にあるエッジを抽出するエッジ抽出手段とを備え、前記第3の対象物検出手段は、抽出されたエッジが検出領域内に存在する場合には、障害物や先行車両の検出を中断するか、または前回の検出結果を保持することを要旨とする。 And a edge extracting means for extracting an edge in the vicinity of the feeder value, the third object detecting means, when the extracted edge is present in the detection region, an obstacle or a preceding vehicle detection or interrupted or summarized in that to hold the previous detection result.

【0008】 [0008]

【0009】 [0009]

【発明の効果】請求項1記載の本発明によれば、車両前方の道路画像を撮像する撮影手段と、撮影される撮影方向を検出する撮影方向検出手段と、現在の日時を計時する計時手段と、自車両の現在位置を検出する現在位置検出手段と、撮影方向、現在日時および自車位置に基づいて、撮影された道路画像上に現れる日影形状を推定する日影形状推定手段と、推定された日影形状に基づいて、 Effects of the Invention According to the present invention as set forth in claim 1, and imaging means for imaging the front of the vehicle road image, the photographing direction detection means for detecting a photographing direction that is captured, counting means for counting the current date and time When the present position detecting means for detecting the current position of the vehicle, imaging direction, based on the current date and time and the vehicle position, a shaded shape estimating means for estimating a shade shape that appears on the captured road image, based on the estimated shaded shape,
道路上の障害物または先行車両を検出する第1の対象物検出手段と、撮影された道路画像内の路面の基準色と同系色の領域を路面領域として抽出する路面領域抽出手段と、抽出された路面領域の境界形状に基づいて障害物又は先行車両を検出する第2の対象物検出手段とを用意し、この路面領域の境界形状が、推定された日影形状と類似した場合には、抽出された路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日影が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 A first object detecting means for detecting an obstacle or a preceding vehicle on the road, and the road region extracting means for the reference color and similar colors areas of the road surface in the captured road image is extracted as a road area is extracted was based on the boundary shape of the road area providing a second object detecting means for detecting an obstacle or a preceding vehicle, when the boundary shape of the road area, similar to the estimated shaded shape, the extracted road regions not used for the detection of an obstacle or a preceding vehicle, since so as to further extracted another road area, even when the shade is taken during the road image, the preceding vehicle Ya it can contribute to the reduction of obstacles erroneous detection.

【0010】また、請求項2記載の本発明によれば、撮影された道路画像上に現れる日影の傾き値を推定する日影傾き推定手段を用意し、抽出された路面領域の境界を表す直線の傾き値が、推定された日影の傾き値の近傍にある場合には、路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日影が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 [0010] According to the second aspect of the present invention, prepared shade gradient estimating means for estimating a gradient value of the shade appearing on the captured road image, represents the boundary of the extracted road area inclination value of straight line, when in the vicinity of the tilt value of the estimated shaded are not used for the detection of an obstacle or preceding vehicle road area, since so as to further extract another road area , even when the shade is taken during the road image, which can contribute to a reduction in false detection of the preceding vehicle and obstacles.

【0011】また、請求項3記載の本発明によれば、撮影された道路画像上での傾きの値が、推定された日影の傾き値の近傍にあるエッジを抽出するエッジ抽出手段を用意し、抽出された路面領域の境界を表す直線が、抽出されたエッジと一致する場合に、抽出された路面領域の境界を表す直線の傾き値が、推定された日影の傾き値の近傍にあるときには、この路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日影が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 Further, according to the present invention described in claim 3, the value of the slope on captured road image, providing an edge extracting means for extracting an edge in the vicinity of the tilt value of the estimated shaded and a straight line representing a boundary of the extracted road region, when matching the extracted edge, the slope value of the straight line representing the boundary of the extracted road area, in the vicinity of the tilt value of the estimated shaded in some case, not used for the detection of an obstacle or a preceding vehicle the road area, since so as to further extracted another road area, even when the shade is taken during the road image, the preceding vehicle it can contribute to a reduction in false detection of and obstacles.

【0012】また、請求項4記載の本発明によれば、車両前方の道路画像を撮像する撮影手段と、撮影される撮影方向を検出する撮影方向検出手段と、現在の日時を計時する計時手段と、自車両の現在位置を検出する現在位置検出手段と、撮影方向、現在日時および自車位置に基づいて、撮影された道路画像上に現れる日影形状を推定する日影形状推定手段と、推定された日影形状に基づいて、道路上の障害物または先行車両を検出する第1の対象物検出手段と、撮影された道路画像内に設定された複数の検出領域の輝度分布を比較する輝度分布比較手段と、この輝度分布の比較結果に基づいて障害物または先行車両を検出する第3の対象物検出手段と、撮影された道路画像上での傾き値が、推定された日影の傾き値の近傍にあるエッジを抽 [0014] According to the present invention of claim 4, wherein the imaging means for imaging the front of the road image vehicle, a photographing direction detection means for detecting a photographing direction that is captured, counting means for counting the current date and time When the present position detecting means for detecting the current position of the vehicle, imaging direction, based on the current date and time and the vehicle position, a shaded shape estimating means for estimating a shade shape that appears on the captured road image, based on the estimated shaded shape, compares the first object detecting means for detecting an obstacle or a preceding vehicle on the road, the brightness distribution of a plurality of detection areas set in the photographed within a road image a luminance distribution comparing unit, and a third object detecting means for detecting an obstacle or a preceding vehicle based on the comparison result of the luminance distribution, the gradient value on the captured road image, estimated the shaded extracting an edge in the vicinity of the tilt value するエッジ抽出手段とを用意し、 Prepare an edge extracting means for,
第3の対象物検出手段は、抽出されたエッジが検出領域内に存在する場合には、障害物や先行車両の検出を中断するか、または前回の検出結果を保持するようにしているので、道路画像中に日影が撮影されている場合にも、 The third object detecting means, when the extracted edge is present in the detection region, or to interrupt an obstacle or a preceding vehicle detection, or because so as to retain the previous detection result, even if the shade has been taken during the road image,
先行車両や障害物の誤検出の低減に寄与することができる。 It can contribute to the reduction of false detection preceding vehicle or an obstacle.

【0013】 [0013]

【0014】 [0014]

【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the present invention with reference to the drawings. (第1の実施の形態)図1は、本発明の第1の実施の形態に係る車両用画像処理装置のシステム構成を示す図である。 (First Embodiment) FIG. 1 is a diagram showing the system configuration of a vehicle image processing apparatus according to a first embodiment of the present invention. 同図において、車両用画像処理装置1は、CCD In the figure, the vehicular image processing device 1, CCD
カメラ等を用いて道路画像を撮像する画像入力部11 Image input unit 11 for capturing the road image by using a camera or the like
と、GPS衛星からの信号を受信して自車両位置を測定する自車位置測定部13と、ジャイロ等を用いて画像入力部11の撮影方向を検出する撮影方向検出部14と、 If, by receiving a signal from a GPS satellite and vehicle position measuring unit 13 for measuring the vehicle position, a photographing direction detection unit 14 for detecting a shooting direction of the image input section 11 using the gyro,
現在の日時を計時する時計部15と、撮影方向と現在日時および自車位置に基づいて画像入力部11が撮影する画面上の日影方向を演算して日影形状を推定する日影方向演算部16と、画像入力部11と日影方向演算部16 A clock unit 15 for measuring the current date and time, shaded direction calculation for estimating the shade shape image input unit 11 calculates the shade direction on the screen to shoot on the basis of the photographing direction and the current date and time and the vehicle position and parts 16, the image input unit 11 and the shade direction calculating unit 16
からの出力に基づいて先行車両や障害物等の対象物を検出する画像処理部12と、画像処理部12によって検出された検出結果を用いて車両の制御特性を決定する車両制御部17から構成される。 An image processing unit 12 for detecting an object such as a preceding vehicle or an obstacle on the basis of the output from the structure from the vehicle control unit 17 which determines the control characteristics of the vehicle by using a detection result detected by the image processing unit 12 It is.

【0015】なお、画像入力部11は、車両前方の道路画像を撮影するために、車両の先端部を向いて例えばC [0015] Note that the image input unit 11, in order to photograph the front of the vehicle road image, for example, C toward the leading end portion of the vehicle
CDカメラが取付けられているものとする。 It is assumed that the CD camera is attached. また、自車位置測定部13は、GPS衛星の信号のみによって自車位置を検出するものではなく、地図情報に現在位置を適合させるマップマッチング処理や、車両速度を用いて自車位置の測定精度を向上するように構成してもよく、自車位置測定部13と撮影方向検出部14に搭載された各機能は一つのナビゲーション装置としてまとめて構成してもよい。 Further, the vehicle position measuring unit 13 is not intended to detect the vehicle position by only the signal of the GPS satellite, the measurement accuracy of the vehicle position by using the map matching process and to adapt the current position on the map information, the vehicle speed may be configured to improve, the function loaded vehicle position measuring unit 13 in the photographing direction detection unit 14 may be configured collectively as one of the navigation device.

【0016】次に、図2を参照しつつ、日影方向演算部16での日影方向の求め方について説明する。 [0016] Next, referring to FIG. 2, will be described shaded direction of obtaining the in shade direction calculating unit 16. 日影方向演算部16では、まず、図2(b)に示す日影曲線を用い、自車位置と時刻とに基づいて、図2(a)に示す太陽の位置の方位角および高度を求めることができる。 In shade direction calculating unit 16, first, using the shaded curve shown in FIG. 2 (b), based on the vehicle position and time to determine the azimuth and altitude of the position of the sun as shown in FIGS. 2 (a) be able to. これにより、自車位置と時刻とに基づいて求められ太陽の方位角と、撮影方向の方位角に基づいて、撮影画面上の日影方向を求め日影形状を推定することができる。 This makes it possible to the azimuth of the sun determined based on the vehicle position and time, based on the azimuth of the photographing direction, to estimate the shade shape seek shade direction on the imaging screen.

【0017】 [0017]

【0018】次に、ステップS20では、撮影方向検出部14によって検出される撮影方向の方位角βと日影の方位角αに基づいて、画像入力部11で撮影する平面上での日影の傾きWsを求めると、 Ws=tan(β−α) となる。 Next, in step S20, based on the α azimuth azimuth β and shaded photographing direction detected by the photographing direction detection unit 14, the shade on a plane to be photographed by the image input unit 11 When determining the slope Ws, the Ws = tan (β-α). 次に、ステップS30では、画像処理部12 Next, in step S30, the image processing unit 12
は、まず図4によって導かれる下記の式に従って、撮影画面全体を撮影画像内の座標系(x,y)から撮影される平面上での座標系(xr,yr)に変換する。 It is according to the following formula: first guided by 4, and converts the coordinate system of the captured image the entire imaging screen (x, y) coordinate system on a plane which is taken from (xr, yr) in the.

【0019】yr=1−l1 但し、 l=H/tanθ, l1=H/tan(dθ1+θ), dθ1=arctan(y/f), xr=l3 tan(dθ3) 但し、 l3=H+l1, dθ3=arctan(x/f) そして、座標系を変換した後の画面に基づいて、ステップS20で求めた日影の傾きWsと同方向のエッジを抽出する。 [0019] yr = 1-l1 However, l = H / tanθ, l1 = H / tan (dθ1 + θ), dθ1 = arctan (y / f), xr = l3 tan (dθ3) However, l3 = H + l1, dθ3 = arctan (x / f) then, based on the screen after converting the coordinate system to extract the inclination Ws in the same direction as the edge of the shade obtained in step S20. さらに、抽出した日影の傾きWsと同方向の各エッジを撮影画像内の座標系(x,y)に戻したときの傾きWciを求める。 Furthermore, it extracted shaded slope Ws in the same direction of the coordinate system in the captured image each edge (x, y) determining the slope Wci when returned to. なお、エッジを抽出する簡単な手法としては、周知のSobel変換を用いるようにすればよい。 As a simple method for extracting edges, it is sufficient to use a well-known Sobel conversion.

【0020】次に、ステップS40では、画像処理部1 Next, in step S40, the image processing unit 1
2は、図7(a)に示す道路領域を検出するためのウィンドウを設定する。 2 sets a window for detecting a road region shown in Figure 7 (a). このウィンドウは左右端は前回の道路領域の認識結果より少し広めに、上端は固定したy座標Wyに設定する。 This window a little wider than the recognition result of the left and right ends previous road area, the upper end is set to a fixed y-coordinate Wy. 道路幅が既知の場合には、ウィンドウを固定するようにしてもよい。 When the road width is known, it may be fixed to the window. 次に、ステップS50 Then, step S50
では、画像処理部12は、路面である確率が高いウィンドウ下端部の中央付近の色を基準色として、ウィンドウ内での同様な色の領域を抽出する。 In the image processing unit 12, a reference color color near the center of the high probability of window lower part is a road surface, to extract the same color area of ​​in the window.

【0021】次に、ステップS60では、画像処理部1 Next, in step S60, the image processing unit 1
2は、ステップS50で抽出した図7(b)に示すような道路領域の左右および上の境界点を直線に適合させる。 2 adapts boundary points of the right and left and top road area as shown in FIG. 7 (b) extracted in step S50 in a straight line. この直線適合の方法としては、周知のHough変換や最小自乗法を用いるようにすればよい。 The method of this straight-line fit, it is sufficient to use a well-known Hough transform and the least square method. ここで、ステップS70では、画像処理部12は、ステップS30 Here, in step S70, the image processing unit 12, step S30
で求めた日影の傾きWciの中で、ステップS60で求めた道路領域の境界となる直線の傾きと一致するものがある場合には、図7(e)に示すように、道路領域が日影によって区切られて抽出されたと考え、基準色を再設定してステップS50に戻る。 In in the shade of inclination Wci determined, in the case where there is a match with the slope of the line bounding the road area obtained in step S60, as shown in FIG. 7 (e), the road region day considered to be extracted separated by the shadows, the flow returns to step S50 to reset the reference color. このとき、基準色はウィンドウ中央付近において道路領域として抽出された領域以外の最下部の色とする。 In this case, the reference color is the bottom of the color other than the region extracted as the road area in the vicinity of the center of the window.

【0022】次に、ステップS80では、画像処理部1 Next, in step S80, the image processing unit 1
2は、先行車両の検出を行う。 2, the detection of the preceding vehicle. 一般に車両は水平エッジ成分を多く含むので、ステップS50で抽出した道路領域の上部の境界を水平な直線を用いて適合させる。 Since general vehicle including many horizontal edge component, to adapt the upper portion of the boundary of the extracted road region in step S50 using a horizontal straight line. そして、得られた直線yを、 y=c として、 c<Wy の場合には、先行車両があると判定する。 Then, it is determined that the resulting linear y, as y = c, in the case of c <Wy is a preceding vehicle.

【0023】次に、車両制御部17は、画像処理部12 Next, the vehicle control unit 17, the image processing unit 12
によって検出された検出結果を用いて車両の制御特性を決定する。 Determining the control characteristics of the vehicle by using a detection result detected by. なお、ステップS30において、日影方向のエッジを直線に適合した式を求め、ステップS70で道路領域の境界となる直線の式と一致するものがあるか否かを判定するように構成すれば、撮影画像内の日影の傾きが水平の場合でも、先行車両や障害物の誤検出の低減に寄与することができる。 Note that, in step S30, obtains an equation adapted to straight line shade direction of the edge, if configured to determine whether there is a match with the equation of a straight line as the boundary of the road area in step S70, the even if the inclination of the shade of the photographed image is horizontal, it is possible to contribute to a reduction in false detection of the preceding vehicle and obstacles.

【0024】このように、車両前方の道路画像を撮影する画像入力部11と、撮影される撮影方向を検出する撮影方向検出部14と、現在の日時を計時する時計部15 [0024] Thus, the clock unit 15 and the image input unit 11 for photographing the front of the vehicle road image, a photographing direction detection unit 14 for detecting a photographing direction that is captured, for clocking the current date and time
と、自車両の現在位置を検出する現在位置計測部13とを用意し、撮影方向、現在日時および自車位置に基づいて、撮影された道路画像上に現われる日影形状を日影方向演算部16によって推定し、推定された日影形状に基づいて、道路上の障害物または先行車両を画像処理部1 If, to prepare the present position measuring unit 13 for detecting the current position of the vehicle, imaging direction, based on the current date and time and the vehicle position, shade direction calculating section shade shape appearing on the captured road image estimated by 16, based on the estimated shaded shapes, the image processing unit 1 of the obstacle or preceding vehicle on the road
2によって検出することで、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 By detecting the 2, even if the shade is taken during the road image, which can contribute to a reduction in false detection of the preceding vehicle and obstacles.

【0025】また、画像処理部12は、画像入力部11 Further, the image processing unit 12 includes an image input unit 11
によって撮影された道路画像内の路面の基準色と同系色の領域を路面領域として抽出し、抽出された路面領域の境界形状に基づいて障害物または先行車両を検出することで、この路面領域の境界形状が、推定された日影形状と類似した場合には、抽出された路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 The reference color similar colors areas of the road surface in the captured road image extracted as road area by the extracted road area to detect an obstacle or a preceding vehicle based on the boundary shape of the road area boundary shape, if similar to the estimated shaded shape, the extracted road regions not used for the detection of an obstacle or a preceding vehicle, since so as to further extracted another road area, road even when the shade is photographed in the image, it is possible to contribute to a reduction in false detection of the preceding vehicle and obstacles.

【0026】さらに、画像処理部12は、画像入力部1 Furthermore, the image processing unit 12 includes an image input unit 1
1によって撮影された道路画像上に現われる日影の傾き値を推定することで、抽出された路面領域の境界を表す直線の傾き値が、推定された日影の傾き値の近傍にある場合には、路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 By estimating the slope value of the shade appearing on captured road image by 1, the slope value of the straight line representing the boundary of the extracted road region, when in the vicinity of the tilt value of the estimated shaded It is not used for the detection of an obstacle or preceding vehicle road area, since so as to further extract another road area, even when the shade is taken during the road image, the preceding vehicle and obstacles it can contribute to the reduction of false detection.

【0027】さらにまた、画像処理部12は、画像入力部11によって撮影された道路画像上での傾きの値が、 [0027] Furthermore, the image processing unit 12, the value of the slope on captured road image by the image input unit 11,
推定された日影の傾き値の近傍にあるエッジを抽出することで、抽出された路面領域の境界を表す直線が、抽出されたエッジと一致する場合に、抽出された路面領域の境界を表す直線の傾き値が、推定された日影の傾き値の近傍にあるときには、この路面領域を障害物または先行車両の検出には用いず、さらに別の路面領域を抽出するようにしているので、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 By extracting an edge in the vicinity of the estimated slope value in shade, straight line representing the boundary of the extracted road region, when matching the extracted edge, represents the boundary of the extracted road area inclination value of straight line, when in the vicinity of the tilt value of the estimated shaded are not used for the detection of an obstacle or a preceding vehicle the road area, since so as to further extracted another road area, even when the shade is taken during the road image, which can contribute to a reduction in false detection of the preceding vehicle and obstacles.

【0028】(第2の実施の形態)本発明の第2の実施の形態に係る車両用画像処理装置のシステム構成は、図1に示す第1の実施の形態に用いられた構成図と同様のものである。 The system configuration of the vehicle image processing apparatus according to the Second Embodiment The second embodiment of the present invention, similar to the configuration diagram used in a first embodiment shown in FIG. 1 belongs to. このため、その説明を省略する。 For this reason, the description thereof will be omitted. 次に、図5を参照しつつ、図6に示すフローチャートを用いて車両用画像処理装置1の動作を説明する。 Next, referring to FIG. 5, illustrating the operation of the vehicle image processing apparatus 1 with reference to the flowchart shown in FIG. なお、ステップS210〜S230に示すように、撮影画像内の日影の傾きおよび日影のエッジの直線適合処理は、第1の実施の形態におけるステップS10〜S30と同様の処理であるので、この説明を省略する。 Incidentally, as shown in step S210 to S230, a straight line fitting process of slope and shaded edges of shade of the photographed image has substantially the same processing as in step S10~S30 in the first embodiment, the description thereof will be omitted. また、以下の処理は画像処理部12において処理を施されるものである。 Further, the following process is intended to be subjected to processing in the image processing unit 12.

【0029】ステップS240では、日影のエッジを表す直線がエリアAまたはエリアBを通過するか否かを判定する。 [0029] In step S240, it determines whether the straight line representing the edge of the shade passes through the area A or area B. 日影のエッジを表す直線式を、 fi(x)=Sa(x−xs)+ys とし、エリアAの領域の頂点の座標がそれぞれA(x The linear equation that represents the edge of the shade, fi (x) = Sa (x-xs) + ys and the area A of the region vertex coordinates each A of (x
1,y1),B(x1,y2),C(x2,y2),D 1, y1), B (x1, y2), C (x2, y2), D
(x2,y1)とすると、 y2>y1 のとき、 y2>fi(x1)>y1 または、 y2>fi(x2)>y1 のいずれかを満たす場合は、エリアAを日影のエッジを表す直線が通過することとして判定する。 When (x2, y1), when y2> y1, y2> fi (x1)> y1 or, y2> fi (x2)> if any of the y1, the straight line representing the edge of the shade area A There is judged as to pass through. また、エリアBについても同様の処理を行う。 Further, the same processing is performed for the area B. そして、エリアA,B Then, the area A, B
のいずれかを日影のエッジを表わす直線が通過すると判定した場合には、先行車両や障害物の判定を中断してステップS270に進む。 One of when it is determined that the straight line passes through representing the edge of the shade, the process proceeds to step S270 to suspend the determination of the preceding vehicle and obstacles.

【0030】ステップS270では、車両が走行中の時にはエリアAまたはエリアBを日影のエッジが通過する時間は短時間であるので、前回の先行車両や障害物の検出結果を保持しておくようにする。 [0030] At step S270, since when the vehicle is traveling time through the edge of the shade area A or area B is short, as holds the detection result of the previous preceding vehicle or an obstacle to. これにより、エリアAまたはエリアBに日影と日向の境界が現われた場合での誤検出を低減させることができる。 This allows the boundary of the shaded and Hinata to area A or area B, to reduce the erroneous detection in the case appeared. 一方、ステップS On the other hand, step S
250では、ウィンドウA内の輝度の分散σaおよびウィンドウB内の輝度の分散σbを演算する。 In 250, it calculates the luminance of variance σb luminance variance σa and window B in the window A.

【0031】次に、ステップS260では、先行車や障害物がウィンドウB内に現われると、 σb>σa となるので、輝度の分散σa,σbの差が、 σb−σa≧一定値 になると、先行車や障害物を検出したこととして判定する。 Next, in step S260, the preceding vehicle or an obstacle appears in the window B, since the .sigma.b> .sigma.a, luminance dispersion .sigma.a, difference .sigma.b is equal to or .sigma.b-.sigma.a ≧ predetermined value, prior It determined as the detection of the vehicle and obstacles.

【0032】従って、図5に示すように、路面である確率が高い撮影画像の下端部付近のエリアAと、先行車両や障害物が現われる確率が高い撮影画像の中心部のエリアBとに対応するそれぞれの輝度の分布を比較することによって、日影のエッジエリアAまたはエリアBを通過する場合には、検出を中断するか、または、前回の検出結果を保持することで、日影と日向の境界による誤検出を防止することができる。 [0032] Therefore, as shown in FIG. 5, corresponding to the area A in the vicinity of the lower end portion of the high probability photographed image is road surface, the area B in the center of the probability of a preceding vehicle or an obstacle appears higher photographic image by comparing the distribution of each luminance, when passing through the edge area a or area B of shaded, either interrupt the detection, or by holding the previous detection result, shade and Hinata it is possible to prevent erroneous detection of by boundaries.

【0033】このように、画像処理部12は、画像入力部11によって撮影された道路画像内に設定された複数の検出領域の輝度分布を比較し、この輝度分布の比較結果に基づいて障害物または先行車両を検出し、さらに、 [0033] Thus, the image processing unit 12 compares a luminance distribution of a plurality of detection areas set in a road image captured by the image input unit 11, the obstacle on the basis of a comparison result of the luminance distribution or detecting the preceding vehicle, and further,
撮影された道路画像上での傾き値が、推定された日影の傾き値の近傍にあるエッジを抽出することで、抽出されたエッジが検出領域内に存在する場合には、障害物や先行車両の検出を中断するか、または前回の検出結果を保持するようにしているので、道路画像中に日陰が撮影されている場合にも、先行車両や障害物の誤検出の低減に寄与することができる。 Slope values ​​on the photographed road image, by extracting an edge in the vicinity of the tilt value of the estimated shade, when the extracted edge is present in the detection region, obstacles and prior or to interrupt the detection of the vehicle, or because so as to retain the previous detection result, if the shade is taken also to contribute to the reduction of false detection preceding vehicle or an obstacle in the road image can.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施の形態に係る車両用画像処理装置のシステム構成を示す図である。 1 is a diagram showing the system configuration of a vehicle image processing apparatus according to a first embodiment of the present invention.

【図2】太陽の位置の方位角および高度(a)と、日影曲線(b)を示す図である。 [Figure 2] and the solar azimuth and altitude position of (a), a diagram showing a shade curve (b).

【図3】本発明の第1の実施の形態に係る車両用画像処理装置1の動作を説明するためのフローチャートである。 3 is a flowchart for explaining the operation of the vehicle image processing apparatus 1 according to a first embodiment of the present invention.

【図4】撮影画像内の座標系から撮影される平面上の座標系への変換を示す図である。 4 is a diagram showing the conversion of the coordinate system on the plane to be taken from the coordinate system of the captured image.

【図5】本発明の第2の実施の形態に係る車両用画像処理装置の動作を説明するための図である。 5 is a diagram for explaining the operation of the vehicle image processing apparatus according to a second embodiment of the present invention.

【図6】本発明の第2の実施の形態に係る車両用画像処理装置1の動作を説明するためのフローチャートである。 6 is a flowchart for explaining the operation of the vehicle image processing apparatus 1 according to a second embodiment of the present invention.

【図7】従来の車両用画像処理装置の動作を説明するための図である。 7 is a diagram for explaining an operation of the conventional vehicle image processing device.

【符号の説明】 DESCRIPTION OF SYMBOLS

11 画像入力部 12 画像処理部 13 現在位置計測部 14 撮影方向検出部 15 時計部 16 日影方向演算部 11 image input unit 12 image processing unit 13 the current position measuring section 14 photographing direction detection unit 15 clock unit 16 shaded direction computing unit

フロントページの続き (58)調査した分野(Int.Cl. 7 ,DB名) G06T 1/00 330 B60R 21/00 624 G06T 7/20 200 Of the front page Continued (58) investigated the field (Int.Cl. 7, DB name) G06T 1/00 330 B60R 21/00 624 G06T 7/20 200

Claims (4)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 車両前方の道路画像を撮像する撮影手段と、 撮影される撮影方向を検出する撮影方向検出手段と、 現在の日時を計時する計時手段と、 自車両の現在位置を検出する現在位置検出手段と、 前記撮影方向、現在日時および自車位置に基づいて、前記撮影された道路画像上に現れる日影形状を推定する日影形状推定手段と、 推定された日影形状に基づいて、道路上の障害物または先行車両を検出する第1の対象物検出手段と 前記撮影された道路画像内の路面の基準色と同系色の領 1. A and imaging means for imaging the front of the vehicle road image, the photographing direction detection means for detecting a photographing direction that is captured, and counting means for counting the current time, the current for detecting the current position of the vehicle a position detecting means, the imaging direction, based on the current date and time and the vehicle position, a shaded shape estimating means for estimating a shade shape appearing on the captured road image, based on the estimated shaded shape first and object detecting means, the reference color and similar colors Ryo of the road surface of the captured in road image for detecting an obstacle or a preceding vehicle on the road
    域を路面領域として抽出する路面領域抽出手段と、 抽出された路面領域の境界形状に基づいて障害物又は先 Obstacle or above based on the frequency on the boundary shape of the road area extraction means for extracting as a road area, extracted road area
    行車両を検出する第2の対象物検出手段とを備え、 該路面領域の境界形状が、前記推定された日影形状と類 And a second object detecting means for detecting a row vehicle, boundary shape of road surface area, the estimated shaded shape and kind
    似した場合には、抽出された路面領域を障害物または先 When resemble, obstacles extracted road regions or above
    行車両の検出には用いず、さらに別の路面領域を抽出す Without using the detection of line vehicle, to further extract a different road area
    ることを特徴とする車両用画像処理装置。 Vehicular image processing device according to claim Rukoto.
  2. 【請求項2】 前記撮影された道路画像上に現れる日影 2. A shade appearing on the captured road image
    の傾き値を推定する日影傾き推定手段を備え、 前記抽出された路面領域の境界を表す直線の傾き値が、 Comprising a shade gradient estimating means for estimating a gradient value of the slope value of the straight line representing the boundary of the extracted road region,
    前記推定された日影の傾き値の近傍にある場合には、前 When in the vicinity of the tilt value of the estimated shaded is pre
    記路面領域を障害物または先行車両の検出には用いず、 Without the detection of an obstacle or a preceding vehicle a serial road area,
    さらに別の路面領域を抽出することを特徴とする請求項 Claim further characterized by extracting another road area
    1に記載の車両用画像処理装置。 The image processing system as recited in 1.
  3. 【請求項3】 前記撮影された道路画像上での傾きの値 Wherein the value of the slope on the captured road image
    が、前記推定された日影の傾き値の近傍にあるエッジを But the edge in the vicinity of the gradient value of the estimated shaded
    抽出するエッジ抽出手段を備え、 前記抽出された路面領域の境界を表す直線が、抽出され Includes an edge extracting means for extracting a straight line representing a boundary of the extracted road area is extracted
    たエッジと一致する場合に、抽出された路面領域の境界 And when matching the edge boundary of the extracted road area
    を表す直線の傾き値が、前記推定された日影の傾き値の Tilt value of the straight line representing the found gradient value of the estimated shaded
    近傍にあるときには、該路面領域を障害物または先行車 When in the vicinity, an obstacle or a preceding vehicle a road surface area
    両の検出には用いず、さらに別の路面領域を抽出するこ Not used for detection of both, child further extracted another road area
    とを特徴とする請求項1に記載の車両用画像処理装置。 Preparative image processing system as recited in claim 1, wherein the.
  4. 【請求項4】 車両前方の道路画像を撮像する撮影手段 4. A photographic means for capturing the vehicle front road image
    と、 撮影される撮影方向を検出する撮影方向検出手段と、 現在の日時を計時する計時手段と、 自車両の現在位置を検出する現在位置検出手段と、 前記撮影方向、現在日時および自車位置に基づいて、前 When the photographing direction detection means for detecting a photographing direction that is captured, and counting means for counting the current time, the current position detecting means for detecting a current position of the vehicle, the photographing direction, the current date and time and the vehicle position on the basis of, before
    記撮影された道路画像上に現れる日影形状を推定する日 Day to estimate the shade shape that appears on the serial captured road image
    影形状推定手段と、 推定された日影形状に基づいて、道路上の障害物または And shadow shape estimating means, based on the estimated shaded shapes, obstacles on the road or
    先行車両を検出する第1の対象物検出手段と、 前記撮影された道路画像内に設定された複数の検出領域 A first object detecting means for detecting a preceding vehicle, a plurality of detection areas set in the photographed within a road image
    の輝度分布を比較する輝度分布比較手段と、 該輝度分布の比較結果に基づいて障害物または先行車両 A luminance distribution comparison means for comparing the luminance distribution of an obstacle or a preceding vehicle based on the comparison result of the luminance distribution
    を検出する第3の対象物検出手段と、 前記撮影された道路画像上での傾き値が、前記推定され A third object detecting means for detecting a slope value on the captured road image is the estimated
    た日影の傾き値の近傍にあるエッジを抽出するエッジ抽 Edge extracting edges in the vicinity of the tilt value of the shade extracted
    出手段とを備え、 前記第3の対象物検出手段は、 抽出されたエッジが検出領域内に存在する場合には、障 And means output, said third object detecting means, when the extracted edge is present in the detection area, disabled
    害物や先行車両の検出を中断するか、または前回の検出 Or to interrupt the detection of harmful substances and a preceding vehicle, or the last detection
    結果を保持することを特徴とする車両用画像処理装置。 Results vehicular image processing apparatus characterized by holding the.
JP32555396A 1996-12-05 1996-12-05 The image processing apparatus for a vehicle Expired - Fee Related JP3341605B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32555396A JP3341605B2 (en) 1996-12-05 1996-12-05 The image processing apparatus for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32555396A JP3341605B2 (en) 1996-12-05 1996-12-05 The image processing apparatus for a vehicle

Publications (2)

Publication Number Publication Date
JPH10171966A JPH10171966A (en) 1998-06-26
JP3341605B2 true JP3341605B2 (en) 2002-11-05

Family

ID=18178186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32555396A Expired - Fee Related JP3341605B2 (en) 1996-12-05 1996-12-05 The image processing apparatus for a vehicle

Country Status (1)

Country Link
JP (1) JP3341605B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP3307335B2 (en) 1998-07-22 2002-07-24 日本電気株式会社 Vehicle area detecting device and a vehicle area assay method
US7038577B2 (en) 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4596566B2 (en) * 2005-03-31 2010-12-08 アイシン・エィ・ダブリュ株式会社 Vehicle information recognition device and the vehicle information recognition method
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
JP5136071B2 (en) * 2008-01-15 2013-02-06 日産自動車株式会社 Rear monitoring device and a vehicle rear monitoring method for a vehicle
JP5929330B2 (en) * 2012-03-05 2016-06-01 日産自動車株式会社 Step detecting apparatus
JP5858897B2 (en) * 2012-10-09 2016-02-10 株式会社京三製作所 Position detection system and position detection method
JP6337377B2 (en) * 2014-08-21 2018-06-06 パナソニックIpマネジメント株式会社 Sensing device, sensing system, and program

Also Published As

Publication number Publication date
JPH10171966A (en) 1998-06-26

Similar Documents

Publication Publication Date Title
EP0747870B1 (en) An object observing method and device with two or more cameras
US7460691B2 (en) Image processing techniques for a video based traffic monitoring system and methods therefor
US6985075B2 (en) Obstacle detection apparatus and method
US7586400B2 (en) Vehicle surroundings monitoring apparatus
EP0804779B1 (en) Method and apparatus for detecting object movement within an image sequence
Yu et al. Lane boundary detection using a multiresolution hough transform
US7327855B1 (en) Vision-based highway overhead structure detection system
US7209832B2 (en) Lane recognition image processing apparatus
US7949151B2 (en) Vehicle surroundings monitoring apparatus
JP3671825B2 (en) Vehicle-to-vehicle distance estimation apparatus
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
JP4002919B2 (en) Mobile height discrimination system
US6546118B1 (en) Image processing apparatus for vehicle
EP1881345B1 (en) Method for detecting stationary object located above road
KR920001616B1 (en) Method and apparatus for detecting objects
US8184859B2 (en) Road marking recognition apparatus and method
JP3861781B2 (en) Front vehicle tracking system and the vehicle ahead tracking method
US7659835B2 (en) Method and apparatus for recognizing parking slot by using bird&#39;s eye view and parking assist system using the same
US20050102070A1 (en) Vehicle image processing device
JP3669205B2 (en) Obstacle recognition device
JP5892876B2 (en) Vehicle environment recognition device
CN1223964C (en) Apparatus and method for measuring vehicle queue length
WO2009131210A1 (en) Object recognizing device and object recognizing method
US7899211B2 (en) Object detecting system and object detecting method
JP2008219063A (en) Apparatus and method for monitoring vehicle&#39;s surrounding

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees