JP5190204B2 - Road area snow detection device and road area snow detection method - Google Patents
Road area snow detection device and road area snow detection method Download PDFInfo
- Publication number
- JP5190204B2 JP5190204B2 JP2007014688A JP2007014688A JP5190204B2 JP 5190204 B2 JP5190204 B2 JP 5190204B2 JP 2007014688 A JP2007014688 A JP 2007014688A JP 2007014688 A JP2007014688 A JP 2007014688A JP 5190204 B2 JP5190204 B2 JP 5190204B2
- Authority
- JP
- Japan
- Prior art keywords
- snow
- road
- road surface
- threshold value
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 34
- 238000000926 separation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 11
- 238000002844 melting Methods 0.000 description 10
- 230000008018 melting Effects 0.000 description 10
- 230000007257 malfunction Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Description
本発明は、画像処理技術を用いた路面積雪検出装置及び路面積雪検出方法に関するものである。 The present invention relates to a road area snow detecting apparatus and a road area snow detecting method using an image processing technique.
従来において路面の積雪を検出して融雪装置を自動的に動作させるように制御可能とした技術は色々知られている。赤外線を照射し、その反射率を測定する方法もあるが、観測できる範囲はごく小さい領域に限られる。このため、センサーを回転台の上にのせ路面をスキャンする方式としているが、モーターにて回転する可動部を備えることが必要であり、結果として耐久性、信頼性が損なわれる。 Conventionally, there are various known technologies that can control the snow melting device to automatically operate by detecting snow on the road surface. There is a method of irradiating infrared rays and measuring the reflectance, but the observable range is limited to a very small area. For this reason, although it is set as the system which puts a sensor on a turntable and scans a road surface, it is necessary to provide the movable part rotated with a motor, and durability and reliability are impaired as a result.
本発明は路面の状況をカメラで捉えて画像処理する方法であるが、従来においても画像処理による路面積雪センサーは実用化されている。しかし昼夜による日光や照明の影響、建物の影、路面の濡れ・乾きによる誤作動が生じやすいといった問題がある。 Although the present invention is a method of capturing a road surface condition with a camera and performing image processing, a road area snow sensor based on image processing has been put to practical use. However, there are problems such as the effects of sunlight and lighting by day and night, building shadows, and malfunctions due to wet and dry road surfaces.
特開平８−３２７５４２号に係る「路面積雪検出装置」は広い範囲を検出することで正確に路面の積雪、乾燥および凍結状態を検出することができる積雪検出装置である。すなわち、路面を撮影する撮影手段と、該撮影手段からの画像出力をディジタル信号に変換して記録するフレームメモリと、該フレームメモリで記録されたディジタル信号をフーリエ変換するフーリエ変換部と、該フーリエ変換部で変換して求められた周波数空間上のパワースペクトル画像を記録するメモリと、パワースペクトル画像中におけるパワースペクトル成分を抽出するフィルター部と、フィルター部で抽出された特徴値が設定された値より大の時は積雪、小の時は乾燥または凍結状態を出力する判定部とを備えている。 A “road area snow detecting device” according to Japanese Patent Laid-Open No. 8-327542 is a snow detecting device that can accurately detect snow coverage, dryness, and freezing on a road surface by detecting a wide range. That is, an imaging unit that images a road surface, a frame memory that converts and outputs an image output from the imaging unit to a digital signal, a Fourier transform unit that Fourier-transforms the digital signal recorded in the frame memory, and the Fourier A memory that records the power spectrum image in the frequency space obtained by conversion by the conversion unit, a filter unit that extracts the power spectrum component in the power spectrum image, and a value in which the feature value extracted by the filter unit is set A judgment unit is provided that outputs snow when it is larger, and outputs a dry or frozen state when it is smaller.
実開平４−７３８４号に係る「路面赤外線反射式積雪センサー」は、投光器と受光器を傾斜させて別々に取着し、しかも路面の法線を中心として互いに対称なる位置にＶ形を成して配置して上記投光器からは間歇投射光を投射し、該投射光が路面に当たって反射する路面反射光を上記受光器が受け、該受光器は路面反射光の反射率を検出する機能を有し、さらに受光器側には補助光源を備えている。 The “road surface infrared reflective snow cover sensor” according to Japanese Utility Model Laid-Open No. 4-7384 has a V shape at a position symmetrical to each other about the normal line of the road surface, with the projector and the light receiver tilted and attached separately. And projecting intermittent projection light from the projector, and receiving the road surface reflected light reflected by the projected light hitting the road surface, the receiver has a function of detecting the reflectance of the road surface reflected light. Further, an auxiliary light source is provided on the light receiver side.
特開２００３−１１４２８３号に係る「積雪監視装置および融氷雪システム」は、降水検知センサー、温度センサーおよび画像撮影手段を備え、降水検知、気温低下、および画像撮影手段によって撮影された観測地点の明度の条件をもとに積雪を判断し融雪装置の制御を行う。 Japanese Patent Application Laid-Open No. 2003-114283, “Snow Coverage Monitoring Device and Melting Snow System” includes a precipitation detection sensor, a temperature sensor, and image photographing means, and includes precipitation detection, temperature drop, and brightness of an observation point photographed by the image photographing means. Snow accumulation is judged based on the above conditions and the snow melting device is controlled.
しかし、従来の画像処理による積雪センサーは上記の通り、昼夜による日光や照明の影響、建物の影の影響、路面の濡れ・乾きの影響によって誤作動を生じやすい。また、路面上の積雪が水分を含んだシャーベット状である場合には積雪のない路面との判別が難しく、従来の積雪センサーでは積雪を検知できず融雪装置が運転されないなどの問題があった。
このように、従来の積雪センサーには上記のごとき問題がある。本発明が解決しようとする課題はこれらの問題点であり、昼夜による日光や照明の影響、建物の影の影響、路面の濡れ・乾きによって誤作動を生じることのない、また、路面上の積雪が水分を含んだシャーベット状であっても、正確に積雪の有無を判断することができる路面積雪検出装置及び路面積雪検出方法を提供する。 Thus, the conventional snow cover sensor has the above-mentioned problems. The problems to be solved by the present invention are these problems. The effects of sunlight and lighting by day and night, the effects of shadows on buildings, and the occurrence of malfunctions due to wetness and dryness of the road surface. Provided is a road area snow detecting device and a road area snow detecting method capable of accurately determining the presence or absence of snow even if the water is a sherbet containing moisture.
本発明に係る路面積雪検出方法では、道路標示を含む所定領域の路面をカメラにて撮影し、撮影した信号を画像処理装置に取り込んで画像の全部または一部を階調データに変換して階調分布ヒストグラムを作成する。ヒストグラムとはカメラで撮影した画像を複数の画素に分割して各画素の諧調値を調べ、諧調値と画素数との対応関係を示したものである。本発明は路面を撮影した画像を処理してヒストグラムを用いるものであり、白色の路面標示を含む積雪のない路面画像では輝度値の階調分布ヒストグラムにおいて、路面標示の輝度値が大きい部分と路面標示以外の輝度値が小さい部分を示す二つのピークが現れる。 In the road area snow detection method according to the present invention, a road surface of a predetermined area including a road marking is photographed by a camera, the photographed signal is taken into an image processing device, and all or a part of the image is converted into gradation data to be converted into a gradation data. Create a key distribution histogram. The histogram shows the correspondence between the gradation value and the number of pixels by dividing the image captured by the camera into a plurality of pixels and examining the gradation value of each pixel. The present invention processes a captured image of a road surface and uses a histogram. In a road image without snow including a white road marking, a portion of the gradation distribution histogram of luminance values having a large luminance value of the road marking and a road surface Two peaks appear where the luminance value other than the sign is small.
そして、しきい値決定手法により求められた二値化しきい値は、この二つのピークの谷間にしきい値を設定するので、積雪のない路面標示以外の部分はしきい値以下の輝度値を持つ領域となる。一方、積雪のある路面画像では、路面標示以外の部分も積雪で覆われ、積雪または路面標示の輝度値が大きい部分と、積雪のない輝度値が小さい部分が現れる。しきい値決定手法により求められた二値化しきい値と比較し、二値化しきい値以上の輝度値を持つ領域を積雪部分と判断する。 And the binarized threshold value obtained by the threshold value determination method sets a threshold value between the valleys of these two peaks, so that the portion other than the road marking without snow has a luminance value below the threshold value. It becomes an area. On the other hand, in a road surface image with snow, portions other than the road marking are covered with snow, and a portion with a large luminance value of snow or road marking and a portion with a small luminance value without snow appear. Compared with the binarization threshold value obtained by the threshold value determination method, an area having a luminance value equal to or higher than the binarization threshold value is determined as a snow cover portion.
夜間においては照明を点灯して撮影を行うため、照明の中心部と周辺部では輝度値に差が生じ、正確な積雪判断ができない。この場合、照明から受ける明るさが同程度なりかつ各領域は路面標示を含むような複数の領域に画像を分割し、分割された領域ごとに階調分布ヒストグラムを作成し、しきい値決定手法を適用して二値化しきい値を求め、画素毎の階調値と二値化しきい値とを比較することにより照明による影響をなくし、正確な積雪判断を行うことができる。 Since shooting is performed with the illumination turned on at night, there is a difference in luminance value between the central portion and the peripheral portion of the illumination, and accurate snow cover determination cannot be made. In this case, the brightness received from the lighting is the same, and each area is divided into multiple areas including road markings, and a gradation distribution histogram is created for each of the divided areas. Is applied to obtain the binarization threshold value, and the gradation value for each pixel is compared with the binarization threshold value, so that the influence of illumination can be eliminated and accurate snow cover determination can be performed.
しかし、路面の一部が建物の影に覆われたり、路面の一部が濡れていたりしている場合には、二値化しきい値との比較では正しい積雪判断ができない場合がある。すなわち、積雪のない路面の一部が建物の影で覆われた路面においては、路面標示部、日向の路面、影に覆われた路面の三つのピークが現れ、路面の一部が濡れている場合には路面標示部、乾いた路面、濡れた路面の三つのピークが現れる。このため二値化しきい値との比較では正しい積雪判断ができない。条件によってはさらに複雑となり、四つ以上のピークが現れる場合もある。このような場合にはしきい値決定手法を適用して複数の多値化しきい値を求め積雪判断を行う。ｎ値化を行う場合、ｋ１，ｋ２，…，ｋｎ−１（ｋ１＜ｋ２＜…＜ｋｎ−１）のｎ−１個のしきい値が求まり、階調分布ヒストグラムはこれらのしきい値によりｎ個のクラスに分割される。 However, when a part of the road surface is covered with a shadow of a building or a part of the road surface is wet, it may not be possible to correctly determine the snow cover by comparison with the binarization threshold. In other words, on a road surface covered with a shadow of a building with a part of the road surface without snow cover, three peaks of the road surface marking part, the sun road surface, and the road surface covered with the shadow appear, and a part of the road surface is wet. In some cases, three peaks appear: a road marking section, a dry road surface, and a wet road surface. For this reason, a correct snow judgment cannot be made by comparison with the binarization threshold. Depending on conditions, it becomes more complicated, and more than four peaks may appear. In such a case, a threshold value determining method is applied to obtain a plurality of multi-value threshold values and snow cover judgment is performed. When performing n-value conversion, n−1 threshold values of k 1 , k 2 ,..., k n−1 (k 1 <k 2 <... <k n−1 ) are obtained, and a gradation distribution histogram is obtained. These threshold values are divided into n classes.
複数求まる多値化しきい値のうち、どの値を積雪判断のためのしきい値とするかを決定するにはクラス間分離度を用いて判断する。クラス間分離度は階調分布ヒストグラムにおいて、あるしきい値により分離された隣り合う２つのクラスがどの程度分離しているかを表す尺度であり、２つのクラスの平均値の差を用いる方法や分散を用いる方法がある。後者は２つのクラスのクラス間分散を両クラスの全分散で割った値を用いる方法である。この場合、クラス間分離度は０から１の間の値を持ち、１に近いほど、２つのクラスが大きく分離していることを示す。しきい値ｋｎ−１，ｋｎ−２，…と順番に調べ、調べようとするしきい値により分離された２つのクラスのクラス間分離度が設定された値より大きなクラス間分離度となるしきい値を積雪判断のためのしきい値とする。積雪判断のためのしきい値と領域内の各画素の階調値とを比較することにより積雪判定を行う。 In order to determine which value is to be used as a threshold value for determining snow cover among a plurality of obtained multi-value threshold values, determination is made using the degree of separation between classes. The degree of separation between classes is a measure of how much two adjacent classes separated by a certain threshold are separated in the gradation distribution histogram, and a method of using the difference between the average values of the two classes or variance There is a method of using. The latter is a method using a value obtained by dividing the inter-class variance of two classes by the total variance of both classes. In this case, the degree of separation between classes has a value between 0 and 1, and the closer to 1, the greater the separation between the two classes. Threshold values k n−1 , k n−2 ,... Are checked in order, and the class separation degree between the two classes separated by the threshold value to be examined is larger than the set value. This threshold value is used as a threshold value for determining snow cover. Snow cover determination is performed by comparing a threshold value for snow cover determination with the gradation value of each pixel in the area.
しきい値決定手法にはkittlerの方法、判別分析法などがある。判別分析法は、しきい値決定手法の一般的な手法の１つで、全ての階調値ｋに対してクラス間分散σ２（ｋ）を求め、クラス間分散σ２（ｋ）を最大とするｋ＊を求める二値化しきい値とする手法である。多値化しきい値を求める場合においても同様に判別分析法を用いることができる。ｎ値化を行うにはｎ−１個の階調値の全ての組み合わせｋ１，ｋ２，…，ｋｎ−１（ｋ１＜ｋ２＜…＜ｋｎ−１）に対してクラス間分散σ２（ｋ１，ｋ２，…，ｋｎ−１）を求め、クラス間分散σ２（ｋ１，ｋ２，…，ｋｎ−１）を最大とするｋ１ ＊，ｋ２ ＊，…，ｋｎ−１ ＊を求める多値化しきい値とする。
Examples of threshold determination methods include kittler's method and discriminant analysis method. The discriminant analysis method is one of the general methods for determining a threshold value, and obtains an interclass variance σ 2 (k) for all gradation values k, and maximizes the interclass variance σ 2 (k). This is a method of using a binarization threshold value for obtaining k * . The discriminant analysis method can also be used in the same way when obtaining a multi-value threshold. all
本発明による路面積雪検出装置は、昼夜による日光や照明の影響、建物の影の影響、路面の濡れ・乾きの影響による誤作動を生じることがなく安定した積雪検知が可能である。すなわち、階調値として輝度値を用いる場合において、しきい値を固定した値として設定し、そのしきい値と画素ごとの輝度値との比較により積雪判断を行う場合、昼と夜では画像全体の明るさが異なることから、正確な積雪判断ができない。昼と夜において異なるしきい値を設定し時刻によりしきい値の切り替えを行う場合でも、切り替わりの前後の時間において判断を誤る場合がある。しかし、本発明による路面積雪検出装置は道路上に描かれているセンターライン等の道路標示を含む画像から統計的に最適なしきい値を設定し、このしきい値と画像の各画素との比較により積雪判断を行うので、昼夜による画像全体の明るさの違いによる誤作動がなく、安定した積雪検知が可能である。 The road area snow detection device according to the present invention can detect snow stably without causing malfunction due to the effects of sunlight and lighting during the day and night, the effects of building shadows, and the effects of wetness and dryness of the road surface. In other words, when using a luminance value as a gradation value, if the threshold value is set as a fixed value, and snow coverage is determined by comparing the threshold value with the luminance value for each pixel, the entire image is displayed at day and night. Because the brightness of the snow is different, it is not possible to judge snow accurately. Even when different threshold values are set for day and night and the threshold value is switched according to the time, the judgment may be wrong in the time before and after the switching. However, the road area snow detection device according to the present invention sets a statistically optimal threshold value from an image including a road marking such as a center line drawn on the road, and compares this threshold value with each pixel of the image. Therefore, it is possible to perform stable snow detection without malfunction due to a difference in brightness of the entire image between day and night.
また、夜間の照明下においては明るさが一様でなく、照明の中心部とその周辺部では画像の明るさが異なることから、積雪のない場合においても、輝度値の大きい照明の中心部を積雪と判断してしまい判断を誤る場合がある。このような場合でも、照明から受ける明るさがほぼ同じとなるような複数の小領域に分け、それぞれの領域毎にしきい値決定手法を適用することによりしきい値を求め積雪判断を行うことで、照明の影響をキャンセルし、安定した積雪検知を行うことができる。 In addition, the brightness is not uniform under night illumination, and the brightness of the image differs between the center of the illumination and the surrounding area. There is a case where it is judged that there is snow and the judgment is wrong. Even in such a case, it can be divided into a plurality of small areas where the brightness received from the illumination is almost the same, and a threshold value determination method is applied to each area to obtain a threshold value and determine snow cover. The effect of lighting can be canceled and stable snow detection can be performed.
多値化しきい値を求め積雪判断を行う方法においては、二値化しきい値との比較による判断では誤判断するような、路面の一部が濡れていたり路面の一部が建物の影に覆われたりしている状況においても安定した積雪検知を行うことができる。さらに、従来の積雪センサーでは検知できない場合が多かったシャーベット状の雪についても確実な検知が可能となる。 In the method of determining snow cover by obtaining a multi-value threshold, part of the road surface is wet or part of the road surface is covered by the shadow of the building, which is erroneously determined by comparison with the binary threshold value. Stable snow detection can be performed even in a broken situation. Furthermore, it is possible to reliably detect the sherbet-like snow, which is often not detected by the conventional snow accumulation sensor.
本発明においては道路標示を含む路面の画像から階調分布ヒストグラムを作成し、しきい値を決定して積雪判断を行うが、本発明における道路標示は、指示標示や規制標示ばかりでなく、例えば歩道上の点字ブロックでもよく、色の３原色のいずれかまたはその組み合わせによる階調分布、または輝度、色相、彩度のいずれかによる階調分布において路面と異なる特徴を有し、路面上の雪と似た特徴を有しているものであればその階調分布を利用して積雪検知を行うことができる。 In the present invention, a gradation distribution histogram is created from an image of a road surface including road markings, and a threshold value is determined to determine snow cover. Road markings in the present invention include not only indication markings and regulation markings, but also, for example, It may be a braille block on the sidewalk, and it has different characteristics from the road surface in the gradation distribution by any one of the three primary colors or a combination thereof, or the gradation distribution by any one of luminance, hue, and saturation, and snow on the road surface Can be detected using the gradation distribution.
図１は本発明にかかる積雪センサーを備えた道路の概要を表している。同図の１はカメラ、２は照明装置、３は路面、４は道路標示であるセンターライン、５は画像処理装置、６は融雪制御装置を表している。ここで、上記カメラ１は道路標示であるセンターラインを含む路面を撮影する。さらに、上記カメラは時間をずらして撮影した複数の画像を蓄積し平均化した画像を出力する機能を有しており、道路を通行する車両や人が写らない画像を出力する。
FIG. 1 shows an outline of a road provided with a snow cover sensor according to the present invention. In the figure, 1 is a camera, 2 is an illumination device, 3 is a road surface, 4 is a center line which is a road marking, 5 is an image processing device, and 6 is a snow melting control device. Here, the
撮影された画像はビットマップデータとして画像処理装置５に取り込み、図２の７に示すしきい値決定手法適用領域における画素ごとの階調データを画像処理装置５の記憶装置に複数蓄積して階調分布ヒストグラムを作成する。階調データにはビットマップデータから計算された輝度値を採用する。そして、同図の８は積雪判断領域を示し、この領域に積雪があるか否かの判断を上記諧調ヒストグラムのしきい値を基にして行う。
The captured image is taken into the
図３は積雪のない路面の輝度を表す階調ヒストグラムを示し、同図の横軸は輝度を示し、縦軸は画素数を表している。輝度値の階調分布ヒストグラムは同図に示すようにセンターラインを示す輝度値の大きい部分Ａとアスファルト路面を示す輝度値の低い部分Ｂとに区別されている。そして輝度値の大きな部分Ａと輝度値の低い部分Ｂとの間には、画素数の小さな領域が存在している。この諧調ヒストグラムに対し、しきい値決定手法のひとつである判別分析法を適用すると、図３の９の直線で示す二値化しきい値ｋが求まる。求められたしきい値と図２の８に示す点線で囲まれた積雪判断領域内の各画素の輝度値との大小比較により積雪判断を行う。すなわち、図３において、二値化しきい値ｋより大きい部分は路面上のセンターライン、二値化しきい値ｋより小さい部分は路面の輝度を表しており、積雪判断領域領域内８にはしきい値以上の輝度を有する画素がないので積雪なしと判断することができる。 FIG. 3 shows a gradation histogram representing the brightness of the road surface without snow, in which the horizontal axis represents the brightness and the vertical axis represents the number of pixels. As shown in the figure, the luminance value gradation distribution histogram is divided into a portion A having a large luminance value indicating the center line and a portion B having a low luminance value indicating the asphalt road surface. A region having a small number of pixels exists between a portion A having a large luminance value and a portion B having a low luminance value. When a discriminant analysis method, which is one of threshold determination methods, is applied to this gradation histogram, a binarized threshold value k indicated by a straight line 9 in FIG. 3 is obtained. Snow judgment is performed by comparing the obtained threshold value with the luminance value of each pixel in the snow judgment area surrounded by a dotted line indicated by 8 in FIG. That is, in FIG. 3, the portion larger than the binarization threshold value k represents the center line on the road surface, and the portion smaller than the binarization threshold value k represents the road surface brightness. Since there is no pixel having a luminance higher than the value, it can be determined that there is no snow.
図４のように路面上に積雪１０のある場合、輝度値の階調分布ヒストグラムは図５に示すようになる。すなわち、センターライン４または積雪１０を示す輝度値の大きい部分Ａとアスファルト路面を示す輝度値の低い部分Ｂとに区別されている。この諧調ヒストグラムに対し同様に、判別分析法を適用すると、図５の９の直線で示す二値化しきい値ｋが求まる。求められた二値化しきい値と図４の積雪判断領域８内の各画素の輝度値との大小比較により積雪判断を行う。積雪判断領域内の各画素の輝度が二値化しきい値ｋ以上の輝度を有する部分を積雪１０と判断することができる。
When there is
夜間においては照明を点灯して撮影を行うため、照明の中心部と周辺部では輝度値に差が生じ、しきい値決定手法適用領域に対し一括してしきい値決定手法適用した場合、照明中心部の明るい領域を積雪と誤判定する場合がある。そこで、図６の１２の楕円で示すように照明から受ける明るさが同程度となり、かつ各領域は路面標示を含むような小領域に画像を分割し、分割された小領域ごとに階調分布ヒストグラムを作成し、しきい値決定手法を適用して二値化しきい値を求め、画素毎の階調値と二値化しきい値とを比較することにより照明による影響をなくし、正確な積雪判断を行うことができる。この小領域に分割してしきい値決定手法を適用する方法は夜間のみでなく、日中において適用してもよく、一貫した処理方法を行うことにより夜間から日中へ切り替わる時間帯の誤判断を防ぐことができる。 Since the illumination is turned on at night to take a picture, there is a difference in the brightness value between the central part and the peripheral part of the illumination. A bright area in the center may be erroneously determined as snow. Therefore, as indicated by the ellipse 12 in FIG. 6, the brightness received from the illumination is about the same, and each area is divided into small areas including road markings, and the gradation distribution is divided for each divided small area. Create a histogram, apply a threshold determination method to obtain a binarization threshold, compare the gradation value for each pixel with the binarization threshold, eliminate the influence of lighting, and accurately determine snow cover It can be performed. The method of applying the threshold determination method by dividing into these small areas may be applied not only at night but also during the day, and misjudgment of the time zone when switching from night to day by performing a consistent processing method Can be prevented.
上記の方法により積雪の有無を判断することが可能であるが、路面の一部が建物の影に覆われたり、路面の一部が濡れていたりしている場合には、３つ以上のピークが現れ、二値化しきい値との比較による方法では正しい積雪判断ができない場合がある。また、路面に積雪がある場合においてはシャーベット状の雪を積雪と判断できない場合がある。これらの場合には階調分布ヒストグラムにおいて二値化しきい値によって分けられた２つのクラスのクラス間分離度が小さくなることから、二値化しきい値によるクラス間分離度が０.８以下の場合、または積雪判断領域内に積雪ありと判断された場合には、誤判断を防ぐため、さらに次の処理を行う。 It is possible to determine the presence or absence of snow by the above method. However, if part of the road surface is covered by the shadow of the building or part of the road surface is wet, there are three or more peaks. In some cases, it is not possible to correctly determine snow cover by a method based on comparison with the binarization threshold. In addition, when there is snow on the road surface, the sherbet-like snow may not be determined as snow. In these cases, the separation between classes of the two classes divided by the binarization threshold in the gradation distribution histogram is small, so the separation between classes by the binarization threshold is 0.8 or less. If it is determined that there is snow in the snow coverage determination area, the following processing is further performed to prevent erroneous determination.
図７は路面の一部が濡れている場合の画像例である。そして、この路面の輝度値の階調分布ヒストグラムは図８に示すように、センターライン、乾いた路面、濡れた路面の３つのピークが現れる。このヒストグラムに対して判別分析法を適用して３値化しきい値ｋ１、ｋ２（ｋ１＜ｋ２）を求める。２つのしきい値は図８の直線に示すようにそれぞれ３つのピークの谷間を示しており、２つのしきい値ｋ１、ｋ２を境界として３つのクラスＡ，Ｂ，Ｃに分けられる。しきい値ｋ２で分けられた両側の２つのクラスＡ，Ｂについてクラス間分離度を計算する。一部が濡れた路面である場合はｋ２の両側の２つのクラスＡ，Ｂの分離度が大きく、０.７５以上となる。クラス間分離度が０.７５以上であればｋ２を積雪判断のためのしきい値とし、しきい値ｋ２と図７の積雪判断領域８内の各画素の輝度値との大小比較により積雪判断を行う。積雪判断領域８内にはしきい値ｋ２以上の輝度値を持つ画素がないので積雪なしと判断できる。路面の一部が周囲の建物の影で覆われている場合も同様の処理により正しい判断が可能である。
FIG. 7 is an example of an image when a part of the road surface is wet. In the gradation distribution histogram of the luminance value of the road surface, as shown in FIG. 8, three peaks of a center line, a dry road surface, and a wet road surface appear. A discriminant analysis method is applied to this histogram to obtain ternary threshold values k 1 and k 2 (k 1 <k 2 ). The two threshold values indicate valleys of three peaks as shown by the straight line in FIG. 8, and are divided into three classes A, B, and C with the two threshold values k 1 and k 2 as boundaries. Two classes A on both sides separated by the threshold k 2, calculating the interclass separation degree for B. Two Class A if a partially wet road surface on both sides of the k 2, a large degree of separation of B, of 0.75 or more. If interclass separation degree of 0.75 or more k 2 is the threshold for the snow judgment by comparison between the luminance value of each pixel in the
図９は路面に乾いた雪や水分を含んだシャーベット状の雪が存在する場合である。そして、輝度値の階調分布ヒストグラムは図１０に示すようにセンターライン４または積雪１０、シャーベット状の雪１４、路面３を表す３つのピークとなる。このヒストグラムに対して判別分析法を適用して２つのしきい値ｋ１、ｋ２（ｋ１＜ｋ２）を求める。２つのしきい値ｋ１、ｋ２で分けられた３つのクラスＡ，Ｂ，Ｃは、それぞれセンターライン４または乾いた積雪１０、シャーベット状の雪１４、路面３を示す。この場合、しきい値ｋ２で分けられた両側の２つのクラスＡ，Ｂはヒストグラム上ではっきりと区分されていないのでクラス間分離度が小さくなる。しきい値ｋ２で分けられた両側の２つのクラスＡ，Ｂについてクラス間分離度を計算し、クラス間分離度が０.７５未満であればｋ１を積雪判断のためのしきい値とする。そこで、しきい値ｋ１と積雪判断領域８内の各画素の輝度値との大小比較により積雪判断を行う。乾いた積雪１０およびシャーベット状の雪１４の両方の領域がしきい値ｋ１より大きい輝度値を持つのでシャーベット状の雪１４も積雪と判断される。このようにしてシャーベット状の雪１４であっても確実に検知することが可能である。
FIG. 9 shows a case where dry snow or sherbet-like snow containing moisture exists on the road surface. The gradation distribution histogram of luminance values has three peaks representing the
ここでは、しきい値決定手法を適用して多値化しきい値を求めて積雪判断を行う方法として、ヒストグラムを３つのクラスＡ，Ｂ，Ｃに分ける３値化を行う場合を示したが、ヒストグラムをｎ個に分けるｎ値化についても同じようにして、求められたｎ―１個のしきい値ｋｎ−１，ｋｎ−２，…，ｋ１について大きい方から順番に調べ、調べようとするしきい値により分離された２つのクラスのクラス間分離度が０．７５より大きなクラス間分離度となるしきい値を積雪判断のためのしきい値とすることで、ほぼ同様の積雪判断結果が得られる。 Here, as a method of determining a snow cover by obtaining a multi-value threshold by applying a threshold determination method, a case of performing ternarization that divides a histogram into three classes A, B, and C is shown. In the same manner for the n-value conversion that divides the histogram into n pieces, the obtained n−1 threshold values k n−1 , k n−2 ,..., K 1 are examined in order from the largest. By using the threshold value for determining the snow cover as the threshold value for the class separation degree between the two classes separated by the threshold value to be greater than 0.75, it is almost the same. Snow judgment result is obtained.
以上の方法により積雪判断を行い、積雪判断領域８の２０％以上の面積について積雪と判断された場合、６の融雪制御装置または積雪警報装置に対して信号を送り、融雪装置を作動させたり、積雪に対する注意を促す警報を発したりする。そして、雪が解け、積雪と判断された面積が積雪判断領域８の１０％以下に低下した場合、融雪装置を停止させたり積雪に対する警報の解除を行う。
When the snow accumulation judgment is performed by the above method, and it is judged that the snow is accumulated for an area of 20% or more of the snow
１ カメラ
２ 照明装置
３ 路面
４ 路面標示(センターライン)
５ 画像処理装置
６ 融雪制御装置または積雪警報装置
７ しきい値決定手法適用領域
８ 積雪判断領域
９ しきい値決定手法により求められたしきい値
10 積雪
11 照明中心
12 照明の影響をキャンセルするための小領域
13 路面上の濡れ
14 シャーベット状の積雪
1
5
10 Snow cover
11 Lighting center
12 Small area to cancel the effects of lighting
13 Wetting on the road
14 Sherbet-like snow cover
Claims (4)
The road area snow detection method according to claim 3, wherein a discriminant analysis method is applied as a threshold value determination method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007014688A JP5190204B2 (en) | 2007-01-25 | 2007-01-25 | Road area snow detection device and road area snow detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007014688A JP5190204B2 (en) | 2007-01-25 | 2007-01-25 | Road area snow detection device and road area snow detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008180622A JP2008180622A (en) | 2008-08-07 |
| JP5190204B2 true JP5190204B2 (en) | 2013-04-24 |
Family
ID=39724629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007014688A Active JP5190204B2 (en) | 2007-01-25 | 2007-01-25 | Road area snow detection device and road area snow detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5190204B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6205712B2 (en) * | 2012-03-02 | 2017-10-04 | 日産自動車株式会社 | Crosswalk detector and pedestrian crossing detection method |
| JP6413515B2 (en) * | 2014-09-04 | 2018-10-31 | 東京電力ホールディングス株式会社 | Gas turbine intake device and gas turbine intake method |
| CN108391036B (en) * | 2018-03-28 | 2023-07-11 | 东风商用车有限公司 | Vehicle-mounted camera device capable of detecting degradation of sensing function and detection method thereof |
| CN113140131B (en) * | 2021-03-29 | 2022-06-17 | 成都理工大学工程技术学院 | System for reducing high-speed traffic accidents based on digital earth |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3359729B2 (en) * | 1994-03-31 | 2002-12-24 | バブコック日立株式会社 | Automatic traffic flow measurement method and device |
| JPH09113635A (en) * | 1995-10-13 | 1997-05-02 | Nippon Koken Kogyo Kk | Device for automatically discriminating natural state change of land surface |
| JP3330285B2 (en) * | 1996-06-20 | 2002-09-30 | 本田技研工業株式会社 | Vehicle white line detection device |
| JP3232064B2 (en) * | 1999-05-24 | 2001-11-26 | 本田技研工業株式会社 | Target area extraction method for color images |
| JP2002247393A (en) * | 2001-02-14 | 2002-08-30 | Konica Corp | Method of processing image |
| JP3747056B2 (en) * | 2002-12-13 | 2006-02-22 | 小糸工業株式会社 | Road surface condition determination device |
| JP4532089B2 (en) * | 2003-09-09 | 2010-08-25 | 富士重工業株式会社 | Outside monitoring device |
| JP2005182732A (en) * | 2003-11-25 | 2005-07-07 | Victor Co Of Japan Ltd | Image processing device, image processing method and motion detector |
| JP2006308514A (en) * | 2005-05-02 | 2006-11-09 | Fukui Prefecture | Image processing type snow cover sensor on road surface and snow cover detecting method |
-
2007
- 2007-01-25 JP JP2007014688A patent/JP5190204B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008180622A (en) | 2008-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101378911B1 (en) | Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device | |
| US8294794B2 (en) | Shadow removal in an image captured by a vehicle-based camera for clear path detection | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| JP2018527569A (en) | Apparatus and method for diagnosis of electric power equipment using thermal image camera | |
| Kwon | Atmospheric visibility measurements using video cameras: Relative visibility | |
| JPH08221577A (en) | Device and method for detecting/extracting moving object | |
| JP2007232652A (en) | Device and method for determining road surface condition | |
| JP2009201064A (en) | Method and apparatus for specifying related region, and method and apparatus for recognizing image | |
| JP2006308514A (en) | Image processing type snow cover sensor on road surface and snow cover detecting method | |
| JP5190204B2 (en) | Road area snow detection device and road area snow detection method | |
| Kawai et al. | A method to distinguish road surface conditions for car-mounted camera images at night-time | |
| KR102066290B1 (en) | Image recognition apparatus and method thereof | |
| Schiopu et al. | Pothole detection and tracking in car video sequence | |
| JP2004301708A (en) | Apparatus and method for detecting road surface state for vehicle, and control program for the apparatus for detecting road surface state for vehicle | |
| KR101180421B1 (en) | Automatic detecting method of road surface condition using polarized light filter and sensors | |
| JPH02161337A (en) | Road surface state detecting device | |
| JP2004086417A (en) | Method and device for detecting pedestrian on zebra crossing | |
| JP2850890B2 (en) | Composite sensor type vehicle detector | |
| JP4064556B2 (en) | Rain and snow condition detection method and apparatus | |
| JP3612565B2 (en) | Road surface condition judgment method | |
| JP4398282B2 (en) | Pantograph slip board inspection device. | |
| JP3817611B2 (en) | Road surface condition judgment method in visible image type road surface condition grasping device | |
| Wixson et al. | Improved illumination assessment for vision-based traffic monitoring | |
| JP2003156430A (en) | Method and device for detecting water, ice and snow on road surface | |
| JP3728503B2 (en) | Sensor selection method using data certainty factor and road traffic monitoring system using it |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5190204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |