JP7472772B2 - Image processing device, overload detection system, image processing method, and image processing program - Google Patents
Image processing device, overload detection system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP7472772B2 JP7472772B2 JP2020209742A JP2020209742A JP7472772B2 JP 7472772 B2 JP7472772 B2 JP 7472772B2 JP 2020209742 A JP2020209742 A JP 2020209742A JP 2020209742 A JP2020209742 A JP 2020209742A JP 7472772 B2 JP7472772 B2 JP 7472772B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing
- vehicle
- tire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 292
- 238000001514 detection method Methods 0.000 title description 30
- 238000003672 processing method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 83
- 238000000605 extraction Methods 0.000 claims description 78
- 238000009499 grossing Methods 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000009467 reduction Effects 0.000 claims description 10
- 238000011946 reduction process Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、画像処理装置、過積載検知システム、画像処理方法および画像処理プログラムに関し、特に、車両を撮像して得られる撮像画像中で車両のタイヤに対応するタイヤ部分を特定する画像処理装置、その画像処理装置を備えた過積載検知システムおよびその画像処理装置で実行される画像処理方法およびその画像処理方法をコンピューターに実行させる画像処理プログラムに関する。 This invention relates to an image processing device, an overload detection system, an image processing method, and an image processing program, and in particular to an image processing device that identifies tire portions corresponding to the vehicle's tires in an image obtained by capturing an image of the vehicle, an overload detection system that includes the image processing device, an image processing method that is executed by the image processing device, and an image processing program that causes a computer to execute the image processing method.
通行する車両のタイヤの形状に基づいて、タイヤの変形量から車両の過積載を判定する技術が知られている。例えば、特開2002-228423号公報には、通行車両のタイヤ付近を横斜め上から撮像装置で撮像し、得られた画像をエッジ検出してタイヤの輪郭情報を検出し、検出された前記タイヤの輪郭情報に対して楕円を検出する擬似ハフ変換処理を定義し、エッジ検出画像のエッジ点において、ハフ変換のパラメータ空間での投票処理を行ってタイヤの検出を行うことを特徴とするタイヤ検出方法が知られている。 Technology is known that determines whether a vehicle is overloaded from the amount of deformation of the tires based on the shape of the tires of a passing vehicle. For example, JP 2002-228423 A discloses a tire detection method that uses an imaging device to capture an image of the area around the tires of a passing vehicle from diagonally above and to the side, detects the edges of the image obtained to detect tire contour information, defines a pseudo-Hough transform process that detects ellipses for the detected tire contour information, and performs voting processing in the parameter space of the Hough transform at the edge points of the edge detection image to detect the tires.
しかしながら、撮像装置で撮像して得られた画像からエッジとして抽出される部分は、タイヤの輪郭に限らず、タイヤ以外の部分、例えば、ボディーや他の部品の輪郭が含まれる場合がある。このため、車両のボディーや他の部品がタイヤと誤って抽出されることがある。 However, the parts extracted as edges from the image captured by the imaging device are not limited to the outline of the tire, and may include parts other than the tire, such as the outline of the body or other parts. This can lead to the vehicle's body or other parts being mistakenly extracted as tires.
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することである。 This invention has been made to solve the above-mentioned problems, and one of the objects of this invention is to provide an image processing device that can accurately extract the tire portion corresponding to the vehicle's tires from an image obtained by capturing an image of the vehicle.
この発明の他の目的は、車両を撮像して得られる撮像画像から車両の過積載を検知可能な過積載検知システムを提供することである。 Another object of the present invention is to provide an overload detection system that can detect whether a vehicle is overloaded from an image obtained by capturing an image of the vehicle.
この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することである。 A further object of the present invention is to provide an image processing method capable of accurately extracting tire portions corresponding to the vehicle's tires from an image obtained by imaging the vehicle.
この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することである。 Yet another object of the present invention is to provide an image processing program capable of accurately extracting tire portions corresponding to the vehicle's tires from an image obtained by photographing the vehicle.
上述した目的を達成するために、この発明のある局面によれば、画像処理装置は、車両の側方を撮影して得られる撮像画像を取得する取得手段と、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理手段と、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理手段と、第1処理手段により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出手段と、第2処理手段により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出手段と、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備える。 In order to achieve the above-mentioned object, according to one aspect of the present invention, an image processing device includes an acquisition means for acquiring a captured image obtained by photographing the side of a vehicle, a first processing means for performing a first image processing on the captured image and extracting edges contained in the image after the first image processing, a second processing means for performing a second image processing different from the first image processing on the captured image and extracting edges contained in the image after the second image processing, a first extraction means for extracting a first circle or ellipse by applying a Hough transform to the edges extracted by the first processing means, a second extraction means for extracting a second circle or ellipse by applying a Hough transform to the edges extracted by the second processing means, and an identification means for identifying a tire portion in the captured image that corresponds to the vehicle's tires based on the first circle or ellipse and the second circle or ellipse.
この局面に従えば、車両の側方を撮影して得られる撮像画像が取得され、撮像画像に第1画像処理が実行された画像から抽出されるエッジをハフ変換することにより第1の円または楕円が抽出され、撮像画像に第2画像処理が実行された画像から抽出されるエッジをハフ変換することにより第2の円または楕円が抽出される。そして、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分が特定される。第1画像処理と第2画像処理とは異なるので、撮像画像に第1画像処理が実行された画像から抽出されるエッジと撮像画像に第2画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第1画像処理を撮像画像中で車両のタイヤの外縁に対応する部分がエッジとして現れやすい処理とすれば、タイヤの外縁に対応する部分を含む第1の円または楕円が抽出され易くなる。また、第2画像処理を撮像画像中で車両のリムの外縁に対応する部分がエッジとして現れやすい処理とすれば、リムの外縁に対応する部分を含む第2の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することができる。 According to this aspect, an image obtained by photographing the side of a vehicle is obtained, and a first circle or ellipse is extracted by Hough transforming edges extracted from an image obtained by performing a first image processing on the image obtained by performing a second image processing on the image obtained by performing a Hough transform on the image obtained by performing a second image processing on the image obtained by performing a second circle or ellipse. Then, a tire portion corresponding to the tire of the vehicle in the image obtained by performing a first image processing on the image obtained by performing a second ... This makes it possible to provide an image processing device that can accurately extract tire portions corresponding to the vehicle's tires from an image obtained by capturing an image of the vehicle.
好ましくは、第1画像処理および第2画像処理それぞれは、画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含み、第1画像処理に含まれるスムージング処理におけるスムージングの程度が第2画像処理に含まれるスムージング処理におけるスムージングの程度よりも大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。 Preferably, each of the first image processing and the second image processing includes a smoothing process for smoothing an image, a differential image generating process for generating a differential image by differentiating the smoothed image, and a binarization process for binarizing the differential image, and the degree of smoothing in the smoothing process included in the first image processing is greater than the degree of smoothing in the smoothing process included in the second image processing, and the binarization threshold in the binarization process included in the first image processing is smaller than the binarization threshold in the binarization process included in the second image processing.
この局面に従えば、第1画像処理におけるスムージングの程度が第2画像処理におけるスムージングの程度よりも大きいので、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなる。第1画像処理における2値化の閾値が第2画像処理における2値化の閾値よりも小さいので、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。 According to this aspect, since the degree of smoothing in the first image processing is greater than the degree of smoothing in the second image processing, the differential image generated by the first image processing has less noise than the differential image generated by the second image processing. Since the binarization threshold in the first image processing is smaller than the binarization threshold in the second image processing, edges with small changes in brightness in the captured image can be extracted from the differential image generated by the first image processing. At this time, since the differential image generated by the first image processing has less noise than the differential image generated by the second image processing, it is possible to prevent the noise from being erroneously detected as an edge. Furthermore, the differential image generated by the second image processing has more noise than the differential image generated by the first image processing, but since the binarization threshold in the second image processing is greater than the binarization threshold in the first image processing, it is possible to prevent the noise from being erroneously detected as an edge, and only edges with large changes in brightness in the captured image can be extracted from the differential image generated by the second image processing.
好ましくは、第1画像処理および第2画像処理それぞれは、画像を縮小する縮小処理、縮小処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含み、第1画像処理に含まれる縮小処理における縮小の程度が第2画像処理に含まれる縮小処理における縮小の程度より大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。 Preferably, each of the first image processing and the second image processing includes a reduction processing for reducing an image, a differential image generating processing for generating a differential image by differentiating the reduced image, and a binarization processing for binarizing the differential image, and the degree of reduction in the reduction processing included in the first image processing is greater than the degree of reduction in the reduction processing included in the second image processing, and the binarization threshold in the binarization processing included in the first image processing is smaller than the binarization threshold in the binarization processing included in the second image processing.
この局面に従えば、第1画像処理における縮小の程度が第2画像処理における縮小の程度よりも大きいので、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなる。第1画像処理における2値化の閾値が第2画像処理における2値化の閾値よりも小さいので、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。 According to this aspect, since the degree of reduction in the first image processing is greater than the degree of reduction in the second image processing, the differential image generated by the first image processing has less noise than the differential image generated by the second image processing. Since the binarization threshold in the first image processing is smaller than the binarization threshold in the second image processing, edges with small changes in brightness in the captured image can be extracted from the differential image generated by the first image processing. At this time, since the differential image generated by the first image processing has less noise than the differential image generated by the second image processing, it is possible to prevent the noise from being erroneously detected as an edge. Furthermore, the differential image generated by the second image processing has more noise than the differential image generated by the first image processing, but since the binarization threshold in the second image processing is greater than the binarization threshold in the first image processing, it is possible to prevent the noise from being erroneously detected as an edge, and only edges with large changes in brightness in the captured image can be extracted from the differential image generated by the second image processing.
好ましくは、第1抽出手段は、車両に装着されたタイヤのサイズに基づき定められる第1径情報が設定され、第2抽出手段は、車両に装着されたリムのサイズに基づき定められる第2径情報が設定される。 Preferably, the first extraction means is set with first diameter information determined based on the size of a tire mounted on the vehicle, and the second extraction means is set with second diameter information determined based on the size of a rim mounted on the vehicle.
この局面に従えば、第1径情報は車両に装着されたタイヤのサイズに基づき定められるので、タイヤの外縁に相当する部分が第1の円または楕円として抽出されるようにでき、第2径情報は車両に装着されたリムのサイズに基づき定められるので、リムの外縁に相当する部分が第2の円または楕円として抽出されるようにできる。 According to this aspect, the first diameter information is determined based on the size of the tire mounted on the vehicle, so that the portion corresponding to the outer edge of the tire can be extracted as a first circle or ellipse, and the second diameter information is determined based on the size of the rim mounted on the vehicle, so that the portion corresponding to the outer edge of the rim can be extracted as a second circle or ellipse.
好ましくは、第1抽出手段は、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値が設定され、第1抽出手段は、ハフ変換における投票結果と比較される閾値として第2径情報により定まる第2閾値が設定される。 Preferably, the first extraction means sets a first threshold determined by the first diameter information as a threshold to be compared with the voting result in the Hough transform, and the first extraction means sets a second threshold determined by the second diameter information as a threshold to be compared with the voting result in the Hough transform.
この局面に従えば、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値が設定され、第2径情報により定まる第2閾値がハフ変換における投票結果と比較される閾値として設定される。このため、タイヤの外縁の径に対応する第1の円または楕円と、リムの外縁の径に対応する第2の円または楕円とを、撮像画像から抽出することができる。 According to this aspect, a first threshold determined by the first diameter information is set as a threshold to be compared with the voting result in the Hough transform, and a second threshold determined by the second diameter information is set as a threshold to be compared with the voting result in the Hough transform. Therefore, a first circle or ellipse corresponding to the diameter of the outer edge of the tire and a second circle or ellipse corresponding to the diameter of the outer edge of the rim can be extracted from the captured image.
好ましくは、特定手段により特定されたタイヤ部分に基づいて車両が過積載か否かを判断する判断手段を、さらに備える。 Preferably, the vehicle further includes a determination means for determining whether the vehicle is overloaded based on the tire portion identified by the identification means.
この局面に従えば、撮像画像から容易に車両の過積載を判断することができる。 In this way, it is easy to determine whether a vehicle is overloaded from captured images.
この発明の他の局面によれば、過積載検知システムは、上述の画像処理装置と、車両を撮像して得られる画像を画像処理装置に出力する撮像手段と、を備える。 According to another aspect of the invention, an overload detection system includes the image processing device described above and an imaging means for imaging a vehicle and outputting the image obtained to the image processing device.
この局面に従えば、車両を撮像して得られる撮像画像から車両の過積載を検知可能な過積載検知システムを提供することができる。 According to this aspect, it is possible to provide an overload detection system that can detect whether a vehicle is overloaded from an image obtained by capturing an image of the vehicle.
この発明のさらに他の局面によれば、画像処理方法は、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させる。 According to yet another aspect of the invention, the image processing method causes an image processing device to execute the following steps: an acquisition step of acquiring a captured image obtained by photographing the side of a vehicle; a first processing step of performing a first image processing on the captured image and extracting edges included in the image after the first image processing; a second processing step of performing a second image processing different from the first image processing on the captured image and extracting edges included in the image after the second image processing; a first extraction step of extracting a first circle or ellipse by applying a Hough transform to the edges extracted in the first processing step; a second extraction step of extracting a second circle or ellipse by applying a Hough transform to the edges extracted in the second processing step; and an identification step of identifying a tire portion in the captured image that corresponds to the vehicle's tire based on the first circle or ellipse and the second circle or ellipse.
この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することができる。 According to this aspect, it is possible to provide an image processing method that can accurately extract tire portions corresponding to the vehicle's tires from an image obtained by capturing an image of the vehicle.
この発明のさらに他の局面によれば、画像処理プログラムは、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させる。 According to yet another aspect of the invention, the image processing program causes a computer to execute an acquisition step of acquiring a captured image obtained by photographing the side of a vehicle, a first processing step of performing a first image processing on the captured image and extracting edges included in the image after the first image processing, a second processing step of performing a second image processing different from the first image processing on the captured image and extracting edges included in the image after the second image processing, a first extraction step of extracting a first circle or ellipse by applying a Hough transform to the edges extracted in the first processing step, a second extraction step of extracting a second circle or ellipse by applying a Hough transform to the edges extracted in the second processing step, and an identification step of identifying a tire portion in the captured image that corresponds to the vehicle's tire based on the first circle or ellipse and the second circle or ellipse.
この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することができる。 In accordance with this aspect, it is possible to provide an image processing program that can accurately extract tire portions corresponding to the vehicle's tires from an image obtained by capturing an image of the vehicle.
以下、本発明の実施の形態における画像処理装置、その画像処理装置を備えた過積載検知システムについて図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。 The following describes an image processing device according to an embodiment of the present invention, and an overload detection system equipped with the image processing device, with reference to the drawings. In the following description, identical parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions of them will not be repeated.
図1は、本実施の形態における過積載検知システムの全体概要の一例を示す図である。過積載検知システム1は、撮像装置10と、画像処理装置20とを含む。撮像装置10は、限定するものではないが、例えば、高速道路などの自動車専用道路の進入/退出レーンの脇の固定された位置に固定された向きで設けられて、当該自動車専用道路に進入または退出する車両を撮像する。撮像装置10は、カメラ11(図2参照)を備える。カメラ11は、走行路RWを走行する車両を撮影して得られる撮像画像を出力する。
Figure 1 is a diagram showing an example of an overall overview of an overload detection system in this embodiment. The
画像処理装置20は、撮像装置10から撮像画像を取得して画像処理し、車両のタイヤの変形量に基づく車両の過積載を判定する。画像処理装置20は、積載物の重量を含む車両の重量がその車両に応じた所定の基準を超過しているか否かを判断する。
The
なお、図1においては、車両の片側だけが撮影される場合が示されているが、計測精度を向上するために車両の両側が撮影されてもよい。 Note that while Figure 1 shows a case where only one side of the vehicle is photographed, both sides of the vehicle may be photographed to improve measurement accuracy.
図2は、撮像装置のハードウェア構成の一例を示すブロック図である。図2を参照して、撮像装置10は、カメラ11と、制御部12と、記憶部13と、通信部14と、を備える。制御部12は、撮像装置10の全体を制御する中央演算装置(CPU)である。記憶部13は、データを不揮発的に記憶可能なハードディスクドライブ(HDD)である。なお、記憶部13は、フラッシュメモリー等の半導体メモリであってもよい。通信部14は、画像処理装置20と通信するためのインターフェースである。通信部14は、画像処理装置20と有線で接続されてもよいし、無線で接続されてもよい。また、通信部14は、インターネットなどのネットワークを介して画像処理装置20と接続されてもよい。
Fig. 2 is a block diagram showing an example of a hardware configuration of an imaging device. Referring to Fig. 2, the
カメラ11は、外部から入力された可視光を各画素位置に導く光学装置と、各画素位置でRGB各色の入射光量を検出する検出部などを備える。光学装置により集光された光は検出部に結像される。検出部は、光電変換素子が2次元に配列され、受光した光を光電変換して、2次元に配列された複数の画素の画素値からなる撮像画像を出力する。撮像画像は、RGBそれぞれの色の明度からなるカラーの画像であってもよいし、1色の明度からなるモノクロの画像であってもよい。光電変換素子は、CMOS(Complementary Metal Oxide Semiconductor)センサー、CCD(Charge Coupled Device)センサー等である。
The
カメラ11から出力される撮像画像は、記憶部13に格納される。制御部12は、記憶部13に一時的に格納された撮像画像を適切なタイミングで通信部14を介して画像処理装置20に出力する。撮像画像は、ある時点における車両を撮像して得られる静止画であってもよいし、継続した時間の間車両を撮像して得られる動画であってもよい。
The captured image output from the
撮像画像を静止画とする場合、撮像装置10は、所定時間間隔で静止画を出力してもよい。撮像画像を動画とする場合におけるフレームレートや所定の時間間隔は、画角内を横切る各車両がそれぞれ少なくとも複数のフレーム(例えば、3~6枚など)が得られる程度であればよく、撮像装置10の設置位置やカメラ11の画角内で想定される車両の走行速度に応じて変更可能であってもよい。
When the captured images are still images, the
図3は、画像処理装置のハードウェア構成の一例を示すブロック図である。図3を参照して、画像処理装置20は、演算処理を行うコンピューターであり、画像処理装置20の全体を制御するためのCPU201と、CPU201が実行するためのプログラムを記憶するROM(Read Only Memory)202と、CPU201の作業領域として使用されるRAM(Random Access Memory)203と、データを不揮発的に記憶するHDD204と、CPU201をネットワークに接続する通信部205と、情報を表示する表示部206と、ユーザーの操作の入力を受け付ける操作部207と、外部記憶装置210と、を含む。
Fig. 3 is a block diagram showing an example of the hardware configuration of an image processing device. Referring to Fig. 3, the
通信部205は、画像処理装置20をネットワークに接続するためのインターフェースである。ネットワークは、インターネットを含む。このため、CPU201は、通信部205を介して、インターネットに接続されたコンピューターと通信可能である。また、通信部205は、外部機器と通信するためのインターフェースでもある。通信部205が通信可能に接続される外部機器としては、撮像装置10の他、例えば、過積載の車両の運転手に対して報知動作を行う報知装置、過積載の車両の通行を遮断する遮断機の動作制御装置、過積載の車両の監視員による監視装置であってもよい。
The
CPU201は、インターネット等のネットワークに接続されたコンピューターからプログラムをダウンロードしてHDD204に記憶する。また、ネットワークに接続されたコンピューターがプログラムをHDD204に書込みする場合に、HDD204にプログラムが記憶される。CPU201は、HDD204に記憶されたプログラムをRAM203にロードして実行する。
The
外部記憶装置210は、CD-ROM(Compact Disk Read Only Memory)211が装着される。本実施の形態においては、CPU201は、ROM202またはHDD204に記憶されたプログラムを実行する例を説明する。CPU201は、外部記憶装置210を制御して、CD-ROM211からCPU201が実行するためのプログラムを読出し、読み出したプログラムをRAM203に記憶して実行してもよい。
The
なお、CPU201が実行するためのプログラムを記憶する記録媒体としては、CD-ROM211に限られず、フレキシブルディスク、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programmable ROM)等の半導体メモリ等の媒体でもよい。ここでいうプログラムは、CPU201により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
The recording medium for storing the programs executed by
HDD204は、CPU201が実行するプログラムの他、車両情報を記憶する。HDD204に記憶されるプログラムには、過積載検知プログラムが含まれる。HDD204に代えて、フラッシュメモリーなどの不揮発性メモリが用いられてもよい。また、プログラムおよび車両情報は、ROM202に記憶されていてもよい。 HDD204 stores vehicle information in addition to the programs executed by CPU201. The programs stored in HDD204 include an overload detection program. Non-volatile memory such as a flash memory may be used instead of HDD204. The programs and vehicle information may also be stored in ROM202.
車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、タイヤの種別や車両の種別を特定するために用いられるデータを含む。具体的には、諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。諸元データベースは、車両の軸数、タイヤ数、タイヤの種類、車両の乾燥重量などを含んでもよい。判定基準値は、例えば、車両に対して予め定められた最大の車重に対する変形判定量である。変形判定量は、車重の違いによりタイヤが変形する度合いを示す値である。判定基準値は、過積載の有無の判定に用いられる閾値であり、車両およびタイヤの種別ごとに定めた値である。変形判定量および判定基準値の詳細は、後述する。 The vehicle information includes a specifications database and a judgment criterion value. The specifications database includes data used to identify the type of tire and the type of vehicle. Specifically, the specifications database includes the diameter of the tire mounted on the vehicle and the diameter of the rim mounted on the vehicle. The specifications database may also include the number of axles of the vehicle, the number of tires, the type of tire, the dry weight of the vehicle, and the like. The judgment criterion value is, for example, a deformation judgment amount for a maximum vehicle weight predetermined for the vehicle. The deformation judgment amount is a value indicating the degree to which the tire deforms due to differences in vehicle weight. The judgment criterion value is a threshold value used to determine whether or not the vehicle is overloaded, and is a value determined for each vehicle and tire type. Details of the deformation judgment amount and the judgment criterion value will be described later.
HDD204は、さらに、撮像画像やその解析結果を記憶してもよい。撮像画像やその解析結果は、所定の容量内で古いデータから順番に上書き更新される。また、撮像画像やその解析結果は、HDD204に記憶されてから所定の時間が経過後に消去され、空いた領域に新たな撮像画像やその解析結果が記憶されてもよい。特に、過積載であると判定された撮像画像は、別途通信部23などを介して外部から取得されるまで保持されてもよい。
図4は、本実施の形態における画像処理装置が備えるCPUが有する機能の一例を示す図である。図4に示す機能は、画像処理装置20が備えるCPU201が、ROM202、HDD204またはCD-ROM211に記憶された過積載検知プログラムを実行することにより、CPU201により実現される機能である。図4を参照して、CPU201は、撮像装置10からカメラ11が被写体を撮像して出力する撮像画像を取得する取得部251と、被写体である車両に関する情報を検出する車両情報検出部253と、撮像画像からエッジ画像を生成するエッジ画像生成部265と、エッジ画像から円または楕円を抽出する条件を決定する条件決定部267と、エッジ画像から円または楕円の形状を抽出する形状抽出部261と、撮像画像中で被写体である車両のタイヤに対応するタイヤ部分を特定する特定部255と、車両の状態が過積載であるか否かを判断する判断部257と、過積載と判断される場合に通知する出力部259と、を含む。
Figure 4 is a diagram showing an example of functions of the CPU included in the image processing device in this embodiment. The functions shown in Figure 4 are functions realized by the
取得部251は、撮像装置10が備えるカメラ11が被写体を撮像し、出力する撮像画像を撮像装置10から取得する。撮像装置10は、撮像範囲を車両が通過する間に車両を被写体として撮像する。このため、撮像装置10は、被写体としての車両を撮像するので、撮像画像は被写体である車両に対応する部分を含む。取得部251は、撮像装置10から取得された撮像画像を車両情報検出部253、特定部255、エッジ画像生成部265および条件決定部267に出力する。撮像画像は、動画であってもよいし、静止画であってもよい。取得部251は、撮像画像が動画の場合、動画に含まれる複数のフレームのうちから選択された1以上の静止画を出力する。
The
車両情報検出部253は、車両に関する車両情報を検出する。例えば、車両情報検出部253は、撮像画像に含まれる車両のナンバープレートに対応する部分を抽出し、抽出された部分を文字認識することによりナンバープレートに記載されている情報を抽出する。そして、車両情報検出部253は、ナンバープレートに記載されている情報を用いて、HDD204に予め記憶されている車両情報を検索し、撮像画像に被写体として含まれる車両の車両情報を取得する。また、撮像画像に含まれる車両の部分から車種が検出されてもよい。車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。判定基準値は、車両に対して予め定められた最大の車重に対する変形判定量である。車両情報検出部253は、検出された車両情報を条件決定部267および判断部257に出力する。
The vehicle
なお、本実施の形態においては、車両情報をHDD204に記憶する例を説明するが、車両情報は、画像処理装置20とは別のコンピューターに記憶されてもよい。例えば、画像処理装置20と通信可能にネットワークで接続されたサーバーに車両情報が記憶される場合、車両情報検出部253は、そのサーバーにナンバープレートに記されている情報を送信し、サーバーから被写体となった車両の車両情報を取得する。車両情報の諸元データベースおよび判定基準値が別のコンピューターに記憶されてもよい。例えば、諸元データベースがサーバーに記憶され、判定基準値が画像処理装置20に記憶されてもよい。
In this embodiment, an example in which vehicle information is stored in
エッジ画像生成部265は、取得部251から入力される撮像画像を画像処理することによりエッジ画像を生成する。エッジ画像は、撮像画像に含まれるエッジを含む画像である。エッジ画像生成部265は、撮像画像に第1画像処理を実行することにより第1エッジ画像を生成する第1処理部281と、撮像画像に第2画像処理を実行することにより第2エッジ画像を生成する第2処理部283とを含む。第1処理部281は、第1エッジ画像を形状抽出部261に出力し、第2処理部283は、第2エッジ画像を形状抽出部261に出力する。
The edge
第1処理部281が実行する第1画像処理および第2処理部283が実行する第2画像処理それぞれは、撮像画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含む。スムージング処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を小さくする処理である。例えば、スムージング処理は、平滑化フィルタを用いて、処理対象画像を畳み込み演算する処理である。異なる平滑化フィルタが用いられる場合、スムージングの程度が異なる。
The first image processing performed by the
微分画像生成処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を示す微分画像を生成する処理である。例えば、微分画像生成処理は、微分フィルタを用いて、処理対象画像を畳み込み演算する処理である。微分フィルタは、1次微分フィルタであってもよいし、2次微分フィルタであってもよい。 The differential image generation process is a process that generates a differential image that indicates the difference in pixel value between adjacent pixels for each of multiple pixels in an image. For example, the differential image generation process is a process that performs a convolution operation on the image to be processed using a differential filter. The differential filter may be a first-order differential filter or a second-order differential filter.
2値化処理は、微分画像生成処理により生成された微分画像を2値化する処理である。例えば、2値化処理は、微分画像の複数の画素の画素値を2値化の閾値と比較し、エッジ画素とエッジでない画素とに区別する処理である。2値化の閾値が異なる場合、2値化の程度が異なる。 The binarization process is a process of binarizing the differential image generated by the differential image generation process. For example, the binarization process is a process of comparing the pixel values of multiple pixels in the differential image with a binarization threshold value to distinguish between edge pixels and non-edge pixels. If the binarization threshold value differs, the degree of binarization differs.
なお、ここでは、第1画像処理および第2画像処理が、スムージング処理を含む場合を例に説明するが、スムージング処理に代えて、または、スムージング処理に加えて画像を縮小する縮小処理を含んでもよい。縮小処理によって、スムージング処理と同様の効果が得られる。 Note that, here, an example is described in which the first image processing and the second image processing include a smoothing process, but instead of or in addition to the smoothing process, a reduction process for reducing the size of the image may be included. The reduction process can achieve the same effect as the smoothing process.
第1画像処理と第2画像処理とは、異なる処理である。図5は、第1画像処理および第2画像処理で用いられるパラメータの違いを示す図である。図5を参照して第1画像処理におけるスムージング処理と第2画像処理におけるスムージング処理とは、スムージングの程度が異なる。第1画像処理におけるスムージング処理は、第2画像処理におけるスムージング処理よりもスムージングの程度が強い。スムージングは、隣接する画素の画素値の差を小さくする処理なので、スムージングの程度が強いほど撮像画像に含まれるノイズが減少する。逆に、スムージングの程度が低いほど撮像画像に含まれるノイズが減少しない。 The first image processing and the second image processing are different processes. FIG. 5 is a diagram showing the difference in parameters used in the first image processing and the second image processing. Referring to FIG. 5, the smoothing process in the first image processing and the smoothing process in the second image processing differ in the degree of smoothing. The smoothing process in the first image processing has a stronger degree of smoothing than the smoothing process in the second image processing. Since smoothing is a process that reduces the difference in pixel values of adjacent pixels, the stronger the degree of smoothing, the less noise is contained in the captured image. Conversely, the lower the degree of smoothing, the less noise is contained in the captured image.
第1画像処理における2値化処理と第2画像処理における2値化処理とは、2値化の閾値が異なる。第1画像処理における2値化処理の閾値は、第2画像処理における2値化処理の閾値よりも低い。微分画像は、隣接する画素間における画素値の差を示す。このため、2値化処理の閾値を低くするほど、隣接する画素と画素値の差が小さい画素が抽出される。したがって、第1画像処理により、第2画像処理よりも画素値の変化の小さなエッジが検出される。逆に、2値化処理の閾値を高くするほど、隣接する画素と画素値の差が大きな画素が抽出される。したがって、第2画像処理により、第1画像処理よりも画素値の変化の大きなエッジが検出される。 The binarization process in the first image processing and the binarization process in the second image processing have different binarization thresholds. The threshold of the binarization process in the first image processing is lower than the threshold of the binarization process in the second image processing. A differential image shows the difference in pixel value between adjacent pixels. Therefore, the lower the threshold of the binarization process, the smaller the difference in pixel value between adjacent pixels is extracted. Therefore, the first image processing detects edges with smaller changes in pixel value than the second image processing. Conversely, the higher the threshold of the binarization process, the larger the difference in pixel value between adjacent pixels is extracted. Therefore, the second image processing detects edges with larger changes in pixel value than the first image processing.
第1画像処理におけるスムージングの程度が第2画像処理におけるスムージングの程度よりも強いので、第1画像処理においてスムージング処理後の画像を微分して生成される第1微分画像は第2画像処理においてスムージング処理後の画像を微分して生成される第2微分画像よりもノイズが少なくなる。このため、第1画像処理における2値化の閾値が、第2画像処理における2値化の閾値より低い値に設定されることが可能となる。その結果、第1画像処理により生成される第1微分画像からは撮像画像中で明度の変化の小さなエッジが抽出される。したがって、第1処理部281により第1微分画像が2値化処理された第1エッジ画像は、第2処理部283により第2微分画像が2値化処理された第2エッジ画像よりも明度の変化の小さなエッジを含む。
Since the degree of smoothing in the first image processing is stronger than the degree of smoothing in the second image processing, the first differential image generated by differentiating the image after the smoothing processing in the first image processing has less noise than the second differential image generated by differentiating the image after the smoothing processing in the second image processing. Therefore, it is possible to set the binarization threshold in the first image processing to a value lower than the binarization threshold in the second image processing. As a result, edges with small changes in brightness in the captured image are extracted from the first differential image generated by the first image processing. Therefore, the first edge image obtained by binarizing the first differential image by the
また、第2画像処理により生成される第2微分画像は第1画像処理により生成される第1微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも高いので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される第1微分画像からは撮像画像中で明度の変化の大きなエッジのみが抽出される。したがって、第2処理部283により生成される第2エッジ画像は、第1処理部281により生成される第1エッジ画像よりも明度の変化の大きなエッジを含む。
In addition, the second differential image generated by the second image processing has more noise than the first differential image generated by the first image processing, but since the binarization threshold in the second image processing is higher than the binarization threshold in the first image processing, it is possible to prevent noise from being erroneously detected as an edge, and only edges with large changes in brightness in the captured image are extracted from the first differential image generated by the second image processing. Therefore, the second edge image generated by the
撮像画像において、車両のタイヤは、タイヤの周辺の領域と明度の差が小さいことが多い。一方、車両のリムは周辺をタイヤで囲まれているので、リムと周辺のタイヤとの明度の差が大きいことが多い。このため、第1画像処理は、撮像画像から車両のタイヤの外縁に対応する部分を抽出するのに適した第1エッジ画像を生成し、第2画像処理は、撮像画像から車両のリムの外縁に対応する部分を抽出するのに適した第2エッジ画像を生成する。 In the captured image, the vehicle tire often has a small difference in brightness from the surrounding area of the tire. On the other hand, the vehicle rim is surrounded by tires, so there is often a large difference in brightness between the rim and the surrounding tires. For this reason, the first image processing generates a first edge image suitable for extracting a portion corresponding to the outer edge of the vehicle tire from the captured image, and the second image processing generates a second edge image suitable for extracting a portion corresponding to the outer edge of the vehicle rim from the captured image.
図4に戻って、形状抽出部261は、条件決定部267により決定された条件に従って、エッジ画像から円または楕円の形状を抽出する。形状抽出部261は、第1処理部281から入力される第1エッジ画像から第1の円または楕円の形状を抽出する第1抽出部271と、第2処理部283から入力される第2エッジ画像から第2の円または楕円の形状を抽出する第2抽出部273と、を含む。
Returning to FIG. 4, the
条件決定部267は、第1設定部285と、第2設定部287と、を含む。第1設定部285は、車両情報に基づいて、撮像画像中で車両のタイヤの外縁に対応する部分を、第1抽出部271が第1の円または楕円として抽出するための第1抽出条件を設定する。具体的には、第1設定部285は、第1径情報と、ハフ変換における投票値の閾値と、を決定する。第1径情報は、撮像画像における車両のタイヤ部分の径から所定の範囲の径である。第1設定部285は、車両情報により定められる車両の基準となる部分の長さと車両のタイヤの径との比率から、撮像画像における車両のタイヤ部分の径を決定する。車両の基準となる部分は、撮像画像からの抽出が容易な部分として予め定めておけばよい。例えば、車両の基準となる部分は、車両の高さであってもよいし、車両の長さであってもよい。車両の基準となる部分を車両の高さとする場合、第1設定部285は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとタイヤの径との比率とから、撮像画像に含まれるタイヤ部分の径を決定する。第1設定部285は、第1径情報を、タイヤ部分の外縁に相当する第1の円または楕円を抽出するための条件として設定する。
The
ハフ変換で画素ごとに投票される投票値は、円または楕円の半径が大きくなるほど多くなる。このため、条件決定部267は、第1径情報に応じた閾値を決定する。第1径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。第1設定部285は、第1径情報を、ハフ変換で抽出されるべき第1の円または楕円の径に設定し、径に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。
The voting value cast for each pixel in the Hough transform increases as the radius of the circle or ellipse increases. For this reason, the
ここで、楕円の中心は、楕円の長径と短径とが交わる点である。タイヤとカメラ11との位置関係により、撮像画像中のタイヤ部分が円となる場合と、楕円になる場合がある。カメラ11の光軸がタイヤの中心を通る車軸の方向と一致する場合に撮像画像中のタイヤ部分が円になり、カメラ11の光軸がタイヤの中心を通る車軸の方向と交わる場合に楕円になる。カメラ11の光軸をタイヤの中心を通る車軸と同じ高さとなるようにカメラ11が設置される場合、カメラ11の光軸とタイヤの中心を通る車軸とが水平方向で交わる。この場合、撮像画像中のタイヤ部分が楕円になるが、垂直方向の長さは変化しない。このため、楕円の径は長径とすればよい。
Here, the center of the ellipse is the point where the major axis and minor axis of the ellipse intersect. Depending on the relative positions of the tire and
第2設定部287は、車両情報に基づいて、撮像画像中で車両のリムの外縁に対応する部分を、第2抽出部273が第2の円または楕円として抽出するための第2抽出条件を設定する。具体的には、第2設定部287は、第2径情報と、ハフ変換における投票値の閾値と、を決定する。第2径情報は、撮像画像における車両のリム部分の径から所定の範囲の径である。第2設定部287は、車両情報により定められる車両の基準となる部分の長さと車両のリムの径との比率から、撮像画像における車両のリム部分の径を決定する。車両の基準となる部分を車両の高さとする場合、第2設定部287は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとリムの径との比率とから、撮像画像に含まれるリム部分の径を決定する。第2設定部287は、第2径情報を、ハフ変換で抽出されるべき第2の円または楕円の径に設定し、第2径情報に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。第2径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。第2設定部287は、第2径情報を、ハフ変換で抽出されるべき第2の円または楕円の径に設定し、径に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。
The
なお、第1設定部285が撮像画像に含まれるタイヤ部分の径に応じた閾値を補正し、第2設定部287が撮像画像に含まれるリム部分の径に応じた閾値を補正してもよい。撮像画像中のタイヤ部分にタイヤの外縁のすべてが含まれるとは限られず、同様に、撮像画像中のリム部分にリムの外縁のすべてが含まれるとは限られない。このため、実験等により求められる補正値を用いて閾値が補正されてもよい。補正値は、スムージング処理の程度および2値化処理の閾値に基づいて定めるのが好ましい。
The
図6は、第1抽出条件と第2抽出条件との一例を示す図である。図6を参照して、第1抽出条件は、円または楕円の半径が第2抽出条件よりも大きく、閾値は第2抽出条件よりも小さい。 Figure 6 is a diagram showing an example of a first extraction condition and a second extraction condition. Referring to Figure 6, the first extraction condition has a larger radius of the circle or ellipse than the second extraction condition, and a smaller threshold than the second extraction condition.
図4に戻って、形状抽出部261は、第1抽出部271と、第2抽出部273と、を含む。第1抽出部271は、第1設定部285により設定された第1抽出条件に従って、第1処理部281から入力される第1エッジ画像をハフ変換することにより、第1の円または楕円を抽出する。第1抽出条件は、被写体である車両のタイヤに対応するタイヤ部分を撮像画像から抽出するための値なので、第1の円または楕円は、撮像画像に含まれるタイヤ部分の外縁の候補として抽出される。第1の円または楕円は、複数が抽出される場合がある。第1抽出部271は、第1の円または楕円の中心座標と半径との組を特定部255に出力する。
Returning to FIG. 4, the
第2抽出部273は、第2設定部287により設定された第2抽出条件に従って、第2処理部283から入力される第2エッジ画像をハフ変換することにより、第2の円または楕円を抽出する。第2抽出条件は、被写体である車両のリムに対応するリム部分を撮像画像から抽出するための値なので、第2の円または楕円は、撮像画像に含まれるリム部分の外縁の候補として抽出される。第2の円または楕円は、複数が抽出される場合がある。第2抽出部273は、第2の円または楕円の中心座標と半径との組を特定部255に出力する。
The
特定部255は、第1抽出部271から第1の円または楕円の中心座標と半径との組の1以上が入力され、第2抽出部273から第2の円または楕円の中心座標と半径との組の1以上が入力される。特定部255は、撮像画像中でタイヤ部分を特定する。具体的には、特定部255は、中心座標が所定の範囲内となる第1の円または楕円と、第2の円または楕円との組を対象組に決定する。タイヤの回転軸とリムの回転軸は一致する。このため、撮像画像中でタイヤ部分の外縁を含む第1の円または楕円の中心とリム部分の外縁を含む第2の円または楕円の中心とは一致するはずである。したがって、中心座標が所定の範囲内にある2つの円または楕円の組が、タイヤ部分の外縁を含む円または楕円とリム部分の外縁を含む円または楕円との組に相当する確率が高い。
The
さらに、特定部255は、半径比率が所定範囲にある2つの円または楕円の組を決定する。タイヤとリムとの半径比率は車両によって定まる。このため、中心座標の距離が所定範囲にある円または楕円が複数ある場合に、半径比率が所定の範囲にある2つの円または楕円の組を特定することができる。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する2つの円または楕円の組をより正確に抽出することができる。さらに、特定部255は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて、半径比率を決定する。このため、半径比率が正確に決定される。
Furthermore, the
特定部255は、撮像画像中で、対象組に含まれる第1の円または楕円から所定範囲に含まれるエッジをタイヤ部分の外縁の一部に特定する。また、特定部255は、特定されたタイヤ部分の外縁の一部を構成するエッジと連続するエッジを、タイヤ部分の外縁の一部に決定する。タイヤの地面に接地する部分は、撮像画像中で第1の円または楕円から所定範囲に含まれない場合がある。タイヤの地面に接地しない部分が、撮像画像中で第1の円または楕円から所定範囲に含まれるので、タイヤの地面に接地しない部分に対応するエッジと連続するエッジをタイヤ部分の外縁とすることで、タイヤの地面と接地する部分に対するタイヤ部分の外縁が決定される。特定部255は、撮像画像中のタイヤ部分の外縁を判断部257に出力する。なお、第1の円または楕円の内部で、撮像画像中で路面と平行なエッジがタイヤ部分の外縁に決定されてもよい。
The
図7は、撮像画像に含まれるタイヤ部分とハフ変換により抽出される円または楕円との関係の一例を示す図である。図7を参照して、撮像画像に含まれるタイヤ部分の外縁と、リム部分の外縁とが細い実線で示される。ハフ変換により抽出される円が点線または一点鎖線で示される。ハフ変換により抽出される円として、タイヤ部分の外縁に対して細い点線で示される第1の円とリム部分の外縁に対して太い点線で示される第2の円とに加えて、太い一点鎖線で示す2つの円が含まれる場合を例に示される。これら4つの円のうちで、中心座標が所定の範囲内になる2つの円の組は、細い点線で示されるタイヤ部分の外縁に対応する第1の円と、太い点線で示されるリム部分の外縁に対応する第2の円とである。なお、一点鎖線で示される2つの円は、ハフ変換により誤って検出される円である。 Figure 7 is a diagram showing an example of the relationship between the tire part included in the captured image and the circle or ellipse extracted by the Hough transform. Referring to Figure 7, the outer edge of the tire part included in the captured image and the outer edge of the rim part are shown by thin solid lines. The circle extracted by the Hough transform is shown by dotted lines or dashed lines. In addition to a first circle shown by a thin dotted line for the outer edge of the tire part and a second circle shown by a thick dotted line for the outer edge of the rim part, two circles shown by thick dashed lines are included as circles extracted by the Hough transform. Of these four circles, the pair of two circles whose center coordinates are within a predetermined range are the first circle corresponding to the outer edge of the tire part shown by the thin dotted line and the second circle corresponding to the outer edge of the rim part shown by the thick dotted line. Note that the two circles shown by the dashed lines are circles that are erroneously detected by the Hough transform.
図4に戻って、判断部257は、特定部255から撮像画像中のタイヤ部分の外縁が入力され、車両情報検出部253から車両情報が入力される。判断部257は、タイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かを判断する。例えば、判断部257は、タイヤ部分の外縁に基づいて、タイヤ部分の中心、半径および変形判定量を決定し、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かを判別する。判断部257は、変形判定量が判定基準値を超過している場合に、過積載と判断し、出力部259に警告指示を出力する。
Returning to FIG. 4, the
出力部259は、警告指示が入力されることに応じて、警告情報を出力する。例えば、出力部259は、表示部206に警告メッセージを表示する。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。
In response to the input of a warning instruction, the
図8は、タイヤの変形判定量を説明する図である。図8を参照して、タイヤTは、車輪のホイールのリムRに取り付けられている。タイヤTは、正確には、表面に凹部等の構造を有するが、ここでは、当該タイヤTを回転軸方向から見た正面画像からこれら凹部などの構造を無視したタイヤの外縁を含む円が検出されるものとして説明する。また、ここでは、水平方向をx軸方向、垂直方向をy軸方向としている。また、タイヤが接地する路面は略水平であり、x軸方向に沿って延びているとする。なお、特には限られないが、以降では、カメラ11の撮影範囲を矩形状の領域とし、撮像画像は、縦方向および横方向がそれぞれy軸方向およびx軸方向に沿っているものとして説明する。各軸の原点位置は、例えば、画像の左下端部や画像の中心位置など、任意に定められてよい。
8 is a diagram for explaining the deformation determination amount of a tire. Referring to FIG. 8, a tire T is attached to a rim R of a wheel of a wheel. Although the tire T has a structure such as a recess on its surface, to be precise, the following description will be given assuming that a circle including the outer edge of the tire is detected from a front image of the tire T viewed from the rotation axis direction, ignoring the structure such as the recess. Here, the horizontal direction is the x-axis direction, and the vertical direction is the y-axis direction. The road surface on which the tire touches the ground is assumed to be substantially horizontal and extends along the x-axis direction. Although not particularly limited, the following description will be given assuming that the shooting range of the
タイヤTは、変形していない状態で直径L2tである。タイヤTは、車両の重みによって、外縁Tsのうち路面に接地する接地部分が路面に沿って面状に変形し、圧縮幅dLyだけ垂直方向に圧縮される。正面画像で、タイヤTが路面と接地する部分を接地線という。接地線の両端点間の接地幅Lcxは、タイヤの空気圧や材質、構造が一定であれば、積載重量を含む車両の重量が大きくなるほど長くなる。これに伴って、タイヤTの回転中心である回転軸位置ORから路面までの距離Lcyや、タイヤの縦幅L2cyも短くなる。すなわち、タイヤTの形状は、底面が接地幅Lcxにわたって直線状になる接地線と、接地せずに変形が生じない円弧部分との組み合わせになる。したがって、接地部分を示すパラメータと円弧部分を示すパラメータとが得られれば、タイヤTの形状が特定される。一方、リムRは、車両の重量により真円形状から変形しないので、リム半径Lrは、x軸方向およびy軸方向のそれぞれについて変化しない。 The tire T has a diameter L2t when not deformed. The tire T is deformed into a planar shape along the road surface by the weight of the vehicle, and is compressed vertically by a compression width dLy. In the front image, the part where the tire T comes into contact with the road surface is called the ground line. If the tire air pressure, material, and structure are constant, the ground width Lcx between both ends of the ground line becomes longer as the weight of the vehicle including the load weight increases. Accordingly, the distance Lcy from the rotation axis position OR, which is the center of rotation of the tire T, to the road surface and the vertical width L2cy of the tire also become shorter. In other words, the shape of the tire T is a combination of the ground line whose bottom surface is linear over the ground width Lcx and the arc portion that does not come into contact with the ground and does not deform. Therefore, if the parameters indicating the ground portion and the parameters indicating the arc portion are obtained, the shape of the tire T can be specified. On the other hand, the rim R does not deform from a perfect circle shape due to the weight of the vehicle, so the rim radius Lr does not change in the x-axis direction and the y-axis direction.
ここでは、過積載の有無を判定するために、タイヤTの接地部分を示すパラメータとして接地幅Lcxが変形値とされ、タイヤTの円弧部分を示すパラメータとしてタイヤTの半径Lthがタイヤ基準値とされ、変形値とタイヤ基準値との比が変形判定量とされる。車両の重量が大きくなるほど変形判定量が大きくなる。タイヤTの変形判定量が、車両に対して定められた積載制限重量に対応する判定基準値を超過しているか否かが判別されることで、過積載の有無が判定される。車両に対して定められた積載制限重量は、その車両に対して予め定められた最大の重量である。 To determine whether or not an overload exists, the contact width Lcx is set as the deformation value as a parameter indicating the contact portion of the tire T, the radius Lth of the tire T is set as the tire reference value as a parameter indicating the arc portion of the tire T, and the ratio of the deformation value to the tire reference value is set as the deformation judgment amount. The greater the weight of the vehicle, the greater the deformation judgment amount. The presence or absence of an overload is determined by determining whether or not the deformation judgment amount of the tire T exceeds the judgment reference value corresponding to the load limit weight set for the vehicle. The load limit weight set for a vehicle is the maximum weight set in advance for that vehicle.
なお、変形値とタイヤ基準値との組は、車重によって変化する値と、車重によって変化しない値との組が用いられれば、他の値の組み合わせが用いられてもよい。 Note that other combinations of deformation values and tire reference values may be used as long as they are a combination of a value that changes with vehicle weight and a value that does not change with vehicle weight.
図9は、過積載検知処理の流れの一例を示すフローチャートである。過積載検知処理は、画像処理装置20が備えるCPU201が、ROM202、HDD204またはCD-ROM211に記憶された画像処理プログラムを実行することにより、CPU201により実行される処理である。図9を参照して、画像処理装置20が備えるCPU201は、撮像装置10を制御して、車両を被写体としてカメラ11に車両を撮像させる(ステップS01)。次のステップS02においては、カメラ11が車両を撮像して得られる撮像画像が撮像装置10から取得され、処理はステップS03に進む。そして、車両情報が検出される。撮像画像に含まれる車両のナンバープレートに記載された情報に基づいて、HDD204に記憶された車両情報のうちから車両に対応する車両情報が取得される。
Figure 9 is a flow chart showing an example of the flow of overload detection processing. The overload detection processing is a process executed by the
ステップS04においては、タイヤ部分抽出処理が実行され、処理はステップS05に進む。タイヤ部分抽出処理の詳細は後述するが、撮像画像に含まれる車両のタイヤに対応する部分をタイヤ部分として、撮像画像から抽出する処理である。 In step S04, a tire portion extraction process is executed, and the process proceeds to step S05. The tire portion extraction process will be described in detail later, but this process involves extracting the portion of the captured image that corresponds to the vehicle's tires as the tire portion from the captured image.
ステップS05においては、車両が過積載か否かが判断される。ステップS04にいて抽出されたタイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かが判断される。具体的には、タイヤ部分の外縁に基づいて、タイヤ部分の半径Lthおよび接地幅Lcxから変形判定量が決定され、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かが判別される。変形判定量が判定基準値を超過している場合に、過積載と判断され、処理はステップS06に進むが、そうでなければ処理は終了する。 In step S05, it is determined whether the vehicle is overloaded. Whether the vehicle is overloaded is determined based on the shape of the outer edge of the tire portion extracted in step S04 and the vehicle information. Specifically, based on the outer edge of the tire portion, the deformation judgment amount is determined from the radius Lth of the tire portion and the contact width Lcx, and it is determined whether the deformation judgment amount exceeds a judgment reference value corresponding to the vehicle's load limit weight. If the deformation judgment amount exceeds the judgment reference value, it is determined that the vehicle is overloaded, and the process proceeds to step S06, but if not, the process ends.
ステップS06においては、警告が出力される。例えば、表示部206に、警告メッセージが表示される。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。
In step S06, a warning is output. For example, a warning message is displayed on the
図10は、タイヤ部分抽出処理の流れの一例を示すフローチャートである。タイヤ部分抽出処理は、過積載検知処理のステップS04において実行される処理である。図10を参照して、CPU201は、第1条件を決定する(ステップS11)。第1条件は、撮像画像中に含まれるタイヤ部分の外縁を検出するために定められる条件である。第1条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび2値化処理の閾値を定めるパラメータを含む。ハフ変換に用いられるパラメータは、円または楕円の径および投票値と比較される閾値を含む。また、閾値を補正するための補正値が決定されてもよい。
Figure 10 is a flow chart showing an example of the flow of the tire portion extraction process. The tire portion extraction process is a process executed in step S04 of the overload detection process. Referring to Figure 10, the
ステップS12においては、第1エッジ抽出処理が実行され、処理はステップS13に進む。第1エッジ抽出処理は、ステップS11において第1条件として決定された画像処理のパラメータを用いて、後述するエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、2値化処理を含み、撮像画像を第1エッジ画像に変換する処理である。 In step S12, a first edge extraction process is performed, and the process proceeds to step S13. In the first edge extraction process, edge extraction process (described later) is performed using the image processing parameters determined as the first condition in step S11. The edge extraction process includes smoothing process, differential image generation process, and binarization process, and is a process for converting the captured image into a first edge image.
ステップS13においては、第1ハフ変換が実行され、処理はステップS14に進む。ステップS12において生成された第1エッジ画像を処理対象として、ステップS11で第1条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。 In step S13, a first Hough transform is performed, and the process proceeds to step S14. The first edge image generated in step S12 is treated as the processing target, and a Hough transform is performed using the parameters used for the Hough transform determined as the first condition in step S11.
ステップS14においては、第2条件が決定される。第2条件は、撮像画像中に含まれるリム部分の外縁を検出するために定められる条件である。第2条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび2値化処理の閾値を定めるパラメータを含む。第2条件に含まれるスムージング処理のパラメータは、第1条件におけるパラメータよりもスムージングの程度が低いパラメータである。第2条件に含まれる2値化処理のパラメータは、第1条件におけるパラメータよりも2値化の程度が高いパラメータ、換言すれば値が大きなパラメータである。 In step S14, a second condition is determined. The second condition is a condition determined for detecting the outer edge of the rim portion included in the captured image. The second condition includes image processing parameters and parameters used in the Hough transform. The image processing parameters include a parameter that determines the degree of smoothing processing and a parameter that determines the threshold value of the binarization processing. The smoothing processing parameters included in the second condition are parameters that provide a lower degree of smoothing than the parameters in the first condition. The binarization processing parameters included in the second condition are parameters that provide a higher degree of binarization than the parameters in the first condition, in other words, parameters with larger values.
ステップS15においては、第2エッジ抽出処理が実行され、処理はステップS16に進む。第2エッジ抽出処理は、ステップS14において第2条件として決定された画像処理のパラメータを用いて、後述するエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、2値化処理を含み、撮像画像を第2エッジ画像に変換する処理である。 In step S15, a second edge extraction process is performed, and the process proceeds to step S16. In the second edge extraction process, edge extraction process (described later) is performed using the image processing parameters determined as the second condition in step S14. The edge extraction process includes a smoothing process, a differential image generation process, and a binarization process, and is a process for converting the captured image into a second edge image.
ステップS16においては、第2ハフ変換が実行され、処理はステップS17に進む。ステップS16において生成された第2エッジ画像を処理対象として、ステップS14において第2条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。 In step S16, a second Hough transform is performed, and the process proceeds to step S17. The second edge image generated in step S16 is treated as the processing target, and a Hough transform is performed using the parameters used for the Hough transform determined as the second condition in step S14.
ステップS17においては、第1形状が抽出される。ステップS13においてハフ変換が実行されることにより、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第1形状が抽出される。タイヤ部分の外縁が抽出の対象となり、タイヤが地面接触する部分は水平方向の直線となるので、撮像画像中のエッジのうち特定された円または楕円と重なるエッジと、特定された円または楕円の最下点近傍で、最下点よりも上方に位置する水平方向のエッジと、で構成される形状が第1形状として抽出される。 In step S17, the first shape is extracted. By performing the Hough transform in step S13, candidates for a circle or ellipse that include the outer edge of the tire portion included in the captured image are identified, and the first shape is extracted based on the edges included in the area within the identified circle or ellipse in the captured image. The outer edge of the tire portion is the subject of extraction, and the portion where the tire contacts the ground is a horizontal straight line, so a shape composed of edges in the captured image that overlap with the identified circle or ellipse and horizontal edges located near and above the lowest point of the identified circle or ellipse is extracted as the first shape.
ステップS18においては、第2形状が抽出され、処理はステップS19に進む。ハフ変換が実行されることにより、撮像画像中に含まれるリム部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第2形状が抽出される。リムの外縁が抽出の対象となるので、特定された円または楕円と重なるエッジで構成される形状が第2形状として抽出される。 In step S18, the second shape is extracted, and the process proceeds to step S19. By performing the Hough transform, candidates for a circle or ellipse that include as part of the outer edge of the rim portion contained in the captured image are identified, and the second shape is extracted based on the edges contained in the area within the identified circle or ellipse in the captured image. Since the outer edge of the rim is the subject of extraction, a shape formed by edges that overlap with the identified circle or ellipse is extracted as the second shape.
ステップS19においては、撮像画像中のタイヤ部分が特定され、処理は過積載検知処理に戻る。具体的には、撮像画像中で、ステップS17において抽出された第1形状と、ステップS18において抽出された第2形状とで囲まれる部分がタイヤ部分に特定される。ステップS17において、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる複数の候補が特定される場合があり、ステップS18において、撮像画像中に含まれるリム部分の外縁を一部に含む円または楕円となる複数の候補が特定される場合がある。この場合、第1形状として特定された1以上の候補と、第2形状として特定された1以上の候補とのうち、中心の距離が所定の範囲内にある第1形状の候補と第2形状の候補との組が、それぞれ第1形状および第2形状に決定される。さらに、中心座標の距離が所定範囲にある第1形状の候補と第2形状の候補の組が複数ある場合に、半径比率が所定の範囲にある第1形状の候補と第2形状の候補の組が決定される。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する2つの円または楕円の組をより正確に抽出することができる。半径比率は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて決定される。 In step S19, the tire portion in the captured image is identified, and the process returns to the overload detection process. Specifically, the portion of the captured image surrounded by the first shape extracted in step S17 and the second shape extracted in step S18 is identified as the tire portion. In step S17, multiple candidates that are circles or ellipses that include the outer edge of the tire portion included in the captured image may be identified, and in step S18, multiple candidates that are circles or ellipses that include the outer edge of the rim portion included in the captured image may be identified. In this case, among one or more candidates identified as the first shape and one or more candidates identified as the second shape, pairs of first shape candidates and second shape candidates whose center distances are within a predetermined range are determined as the first shape and the second shape, respectively. Furthermore, when there are multiple pairs of first shape candidates and second shape candidates whose center coordinate distances are within a predetermined range, pairs of first shape candidates and second shape candidates whose radius ratios are within a predetermined range are determined. Therefore, when a vehicle is identified, a set of two circles or ellipses corresponding to the outer edges of the tire portion and the rim portion, respectively, can be extracted more accurately. The radius ratio is determined based on the respective radii of the tire and the rim, which are determined in the vehicle information.
図11は、エッジ抽出処理の流れの一例を示すフローチャートである。エッジ抽出処理は、タイヤ部分抽出処理のステップS12およびステップS15でそれぞれ実行される処理である。図11を参照して、CPU201は、撮像画像にスムージング処理を実行し(ステップS21)、処理をステップS22に進める。タイヤ部分抽出処理のステップS12が実行される場合は第1条件が設定されているので、第1条件で定められるスムージングの程度を示すパラメータ、ここでは第1平滑化フィルタを用いて、スムージング処理が実行される。タイヤ部分抽出処理のステップS15が実行される場合は第2条件が設定されているので、第2条件で定められるスムージングの程度を示すパラメータ、ここでは第2平滑化フィルタを用いて、スムージング処理が実行される。第1平滑化フィルタは、第2平滑化フィルタに比較して、スムージングの程度が強い。
Figure 11 is a flowchart showing an example of the flow of edge extraction processing. The edge extraction processing is a process executed in steps S12 and S15 of the tire portion extraction processing. Referring to Figure 11, the
ステップS22においては、微分画像生成処理が実行され、処理はステップS23に進む。スムージング処理された撮像画像を処理対象として、微分フィルタを用いて畳み込み演算されることにより微分画像が生成される。 In step S22, a differential image generation process is executed, and the process proceeds to step S23. The smoothed captured image is subjected to a convolution operation using a differential filter to generate a differential image.
ステップS23においては、2値化処理が実行され、処理はタイヤ部分抽出処理に戻る。タイヤ部分抽出処理のステップS12が実行される場合は第1条件が設定されているので、第1条件で定められる2値化の程度を示すパラメータ、ここでは第1閾値を用いて、2値化処理が実行される。タイヤ部分抽出処理のステップS15が実行される場合は第2条件が設定されているので、第2条件で定められる2値化の程度を示すパラメータ、ここでは第2閾値を用いて、2値化処理が実行される。第1閾値は、第2閾値に比較して、2値化の程度が低い。換言すれば、第1閾値は、第2閾値よりも小さい。 In step S23, binarization processing is performed, and processing returns to the tire portion extraction processing. When step S12 of the tire portion extraction processing is performed, the first condition is set, so the binarization processing is performed using a parameter indicating the degree of binarization determined by the first condition, here the first threshold value. When step S15 of the tire portion extraction processing is performed, the second condition is set, so the binarization processing is performed using a parameter indicating the degree of binarization determined by the second condition, here the second threshold value. The first threshold value provides a lower degree of binarization than the second threshold value. In other words, the first threshold value is smaller than the second threshold value.
以上説明したように本実施の形態における過積載検知システム1において、画像処理装置20は、車両の側方を撮影して得られる撮像画像を取得する取得部251と、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理部281と、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理部283と、第1処理部281により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出部271と、第2処理部283により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出部273と、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定部255と、を備える。第1画像処理と第2画像処理とは異なるので、撮像画像に第1画像処理が実行された画像から抽出されるエッジと撮像画像に第2画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第1画像処理を撮像画像中で車両のタイヤの外縁に対応する部分がエッジとして現れやすい処理とすれば、タイヤの外縁に対応する部分を含む第1の円または楕円が抽出され易くなる。また、第2画像処理を撮像画像中で車両のリムの外縁に対応する部分がエッジとして現れやすい処理とすれば、リムの外縁に対応する部分を含む第2の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することができる。
As described above, in the
また、画像処理装置20が実行する画像処理において、第1画像処理に含まれるスムージング処理におけるスムージングの程度が第2画像処理に含まれるスムージング処理におけるスムージングの程度よりも大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。このため、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなり、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。
In addition, in the image processing performed by the
また、画像処理装置20が実行する画像処理において、スムージング処理に代えてまたはそれに加えて縮小処理としてもよい。
In addition, in the image processing performed by the
また、画像処理装置20は、車両に装着されたタイヤのサイズに基づき定められる第1径情報を第1条件として設定し、車両に装着されたリムのサイズに基づき定められる第2径情報を第2条件として設定する。このため、タイヤの外縁に相当する部分が第1の円または楕円として抽出されるようにでき、リムの外縁に相当する部分が第2の円または楕円として抽出されるようにできる。
The
また、画像処理装置20は、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値を第1条件として設定し、ハフ変換における投票結果と比較される閾値として第2径情報により定まる第2閾値を第2条件として設定する。このため、タイヤの外縁の径に対応する第1の円または楕円と、リムの外縁の径に対応する第2の円または楕円とを、撮像画像から抽出することができる。
The
また、画像処理装置20は、撮像画像から特定されたタイヤ部分に基づいて車両が過積載か否かを判断するので、車両の過積載を容易に判断することができる。
In addition, the
なお、本実施の形態においては、撮像画像から車両情報を検出したが、車両情報を検出することなく、第1の円または楕円と、第2の円または楕円が抽出されてもよい。この場合、ハフ変換を実行するためのパラメータとして、タイヤの径およびリムの径を含む第1径情報および第2径情報が与えられないが、1以上の第1の円または楕円と、1以上の第2の円または楕円とが抽出される。この場合、中心間の距離に基づき第1の円または楕円と第2の円または楕円が特定されればよい。例えば、中心間の距離が最も短い組が特定されてもよい。 In this embodiment, vehicle information is detected from the captured image, but the first circle or ellipse and the second circle or ellipse may be extracted without detecting vehicle information. In this case, the first diameter information and the second diameter information including the tire diameter and the rim diameter are not provided as parameters for performing the Hough transform, but one or more first circles or ellipses and one or more second circles or ellipses are extracted. In this case, the first circle or ellipse and the second circle or ellipse may be identified based on the distance between their centers. For example, the pair with the shortest distance between their centers may be identified.
なお、本実施の形態においては、カメラ11が可視光を光電変換して得られる撮像画像を出力する例を示すが、赤外光を光電変換して得られる撮像画像を出力するようにしてもよい。車両が走行するとタイヤの温度が上昇するので、撮像画像から赤外光が所定値以上検出される部分を抽出することにより、タイヤ部分を特定し易くなる。
In this embodiment, an example is shown in which the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present invention is indicated by the claims, not by the above description, and is intended to include all modifications within the meaning and scope of the claims.
1 過積載検知システム、10 撮像装置、11 カメラ、12 制御部、13 記憶部、14 通信部、20 画像処理装置、23 通信部、201 CPU、202 ROM、203 RAM、204 HDD、205 通信部、206 表示部、207 操作部、210 外部記憶装置、211 CD-ROM、251 取得部、253 車両情報検出部、255 特定部、257 判断部、259 出力部、261 形状抽出部、265 エッジ画像生成部、267 条件決定部、271 第1抽出部、273 第2抽出部、281 第1処理部、283 第2処理部、285 第1設定部、287 第2設定部。 1 Overload detection system, 10 Imaging device, 11 Camera, 12 Control unit, 13 Storage unit, 14 Communication unit, 20 Image processing device, 23 Communication unit, 201 CPU, 202 ROM, 203 RAM, 204 HDD, 205 Communication unit, 206 Display unit, 207 Operation unit, 210 External storage device, 211 CD-ROM, 251 Acquisition unit, 253 Vehicle information detection unit, 255 Identification unit, 257 Judgment unit, 259 Output unit, 261 Shape extraction unit, 265 Edge image generation unit, 267 Condition determination unit, 271 First extraction unit, 273 Second extraction unit, 281 First processing unit, 283 Second processing unit, 285 First setting unit, 287 Second setting unit.
Claims (9)
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理手段と、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理手段と、
前記第1処理手段により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出手段と、
前記第2処理手段により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出手段と、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備えた、画像処理装置。 An acquisition means for acquiring an image obtained by photographing a side of a vehicle;
a first processing means for performing a first image processing on the captured image and extracting edges included in the image that has been subjected to the first image processing;
a second processing means for performing a second image processing different from the first image processing on the captured image and extracting edges included in the image on which the second image processing has been performed;
a first extraction means for extracting a first circle or an ellipse by performing a Hough transform on the edge extracted by the first processing means;
a second extraction means for extracting a second circle or ellipse by performing a Hough transform on the edge extracted by the second processing means;
and an identification means for identifying a tire portion in the captured image that corresponds to a tire of the vehicle based on the first circle or ellipse and the second circle or ellipse.
前記第1画像処理に含まれる前記スムージング処理におけるスムージングの程度が前記第2画像処理に含まれる前記スムージング処理におけるスムージングの程度よりも大きく、
前記第1画像処理に含まれる前記2値化処理における2値化の閾値が前記第2画像処理に含まれる前記2値化処理における2値化の閾値よりも小さい、請求項1に記載の画像処理装置。 each of the first image processing and the second image processing includes a smoothing processing for smoothing an image, a differential image generating processing for generating a differential image by differentiating the smoothed image, and a binarization processing for binarizing the differential image;
a degree of smoothing in the smoothing process included in the first image processing is greater than a degree of smoothing in the smoothing process included in the second image processing,
The image processing device according to claim 1 , wherein a binarization threshold in the binarization process included in the first image processing is smaller than a binarization threshold in the binarization process included in the second image processing.
前記第1画像処理に含まれる前記縮小処理における縮小の程度が前記第2画像処理に含まれる前記縮小処理における縮小の程度より大きく、
前記第1画像処理に含まれる前記2値化処理における2値化の閾値が前記第2画像処理に含まれる前記2値化処理における2値化の閾値よりも小さい、請求項1に記載の画像処理装置。 each of the first image processing and the second image processing includes a reduction processing for reducing an image, a differential image generating processing for generating a differential image by differentiating the reduced image, and a binarization processing for binarizing the differential image;
a degree of reduction in the reduction process included in the first image processing is greater than a degree of reduction in the reduction process included in the second image processing,
The image processing device according to claim 1 , wherein a binarization threshold in the binarization process included in the first image processing is smaller than a binarization threshold in the binarization process included in the second image processing.
前記第2抽出手段は、前記車両に装着されたリムのサイズに基づき定められる第2径情報が設定される、請求項1~3のいずれかに記載の画像処理装置。 The first extraction means is configured to set first diameter information determined based on a size of a tire mounted on the vehicle,
4. The image processing device according to claim 1, wherein the second extraction means sets second diameter information determined based on a size of a rim mounted on the vehicle.
前記第1抽出手段は、ハフ変換における投票結果と比較される閾値として前記第2径情報により定まる第2閾値が設定される、請求項4に記載の画像処理装置。 the first extraction means sets a first threshold determined by the first radius information as a threshold to be compared with a voting result in a Hough transform;
5. The image processing apparatus according to claim 4, wherein said first extraction means sets a second threshold determined by said second diameter information as a threshold to be compared with a voting result in a Hough transform.
前記車両を撮像して得られる画像を前記画像処理装置に出力する撮像手段と、を備えた過積載検知システム。 An image processing device according to any one of claims 1 to 6,
an imaging means for imaging the vehicle and outputting the resulting image to the image processing device.
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、
前記第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、
前記第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させる画像処理方法。 An acquisition step of acquiring an image obtained by photographing a side of a vehicle;
a first processing step of performing a first image processing on the captured image and extracting edges included in the image subjected to the first image processing;
a second processing step of performing a second image processing different from the first image processing on the captured image and extracting edges included in the image subjected to the second image processing;
a first extraction step of extracting a first circle or ellipse by performing a Hough transform on the edges extracted in the first processing step;
a second extraction step of extracting a second circle or ellipse by performing a Hough transform on the edges extracted in the second processing step;
and a step of identifying a tire portion in the captured image that corresponds to a tire of the vehicle based on the first circle or ellipse and the second circle or ellipse.
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、
前記第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、
前記第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させる画像処理プログラム。 An acquisition step of acquiring an image obtained by photographing a side of a vehicle;
a first processing step of performing a first image processing on the captured image and extracting edges included in the image subjected to the first image processing;
a second processing step of performing a second image processing different from the first image processing on the captured image and extracting edges included in the image subjected to the second image processing;
a first extraction step of extracting a first circle or ellipse by performing a Hough transform on the edges extracted in the first processing step;
a second extraction step of extracting a second circle or ellipse by performing a Hough transform on the edges extracted in the second processing step;
and a specifying step of specifying a tire portion in the captured image corresponding to a tire of the vehicle based on the first circle or ellipse and the second circle or ellipse.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209742A JP7472772B2 (en) | 2020-12-17 | 2020-12-17 | Image processing device, overload detection system, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209742A JP7472772B2 (en) | 2020-12-17 | 2020-12-17 | Image processing device, overload detection system, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022096560A JP2022096560A (en) | 2022-06-29 |
JP7472772B2 true JP7472772B2 (en) | 2024-04-23 |
Family
ID=82163902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020209742A Active JP7472772B2 (en) | 2020-12-17 | 2020-12-17 | Image processing device, overload detection system, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7472772B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3239902B2 (en) | 1990-08-28 | 2001-12-17 | ゼロックス・コーポレーション | How to automatically set document positioning and position proofing bands |
CN101699217A (en) | 2009-11-03 | 2010-04-28 | 武汉大学 | Method used for detecting concentric circle of industrial part |
WO2015052896A1 (en) | 2013-10-09 | 2015-04-16 | 日本電気株式会社 | Passenger counting device, passenger counting method, and program recording medium |
CN105172494A (en) | 2015-09-18 | 2015-12-23 | 浙江宇视科技有限公司 | Tyre safety detecting method and tyre safety detecting system |
JP2017219366A (en) | 2016-06-06 | 2017-12-14 | 日本電気株式会社 | Width measurement system, width measurement device, method and program |
JP2019158489A (en) | 2018-03-12 | 2019-09-19 | コニカミノルタ株式会社 | Tire shape calculation method, tire shape calculation device, and overload detection system |
JP2019194542A (en) | 2018-05-02 | 2019-11-07 | コニカミノルタ株式会社 | Overload detection processing device, overload detection system, and program |
JP2019196982A (en) | 2018-05-10 | 2019-11-14 | コニカミノルタ株式会社 | Image processing device, overloading detection device, overloading detection system and program |
JP2019211223A (en) | 2018-05-31 | 2019-12-12 | コニカミノルタ株式会社 | Image processing device, overload detection device, overload detection system and program |
-
2020
- 2020-12-17 JP JP2020209742A patent/JP7472772B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3239902B2 (en) | 1990-08-28 | 2001-12-17 | ゼロックス・コーポレーション | How to automatically set document positioning and position proofing bands |
CN101699217A (en) | 2009-11-03 | 2010-04-28 | 武汉大学 | Method used for detecting concentric circle of industrial part |
WO2015052896A1 (en) | 2013-10-09 | 2015-04-16 | 日本電気株式会社 | Passenger counting device, passenger counting method, and program recording medium |
CN105172494A (en) | 2015-09-18 | 2015-12-23 | 浙江宇视科技有限公司 | Tyre safety detecting method and tyre safety detecting system |
JP2017219366A (en) | 2016-06-06 | 2017-12-14 | 日本電気株式会社 | Width measurement system, width measurement device, method and program |
JP2019158489A (en) | 2018-03-12 | 2019-09-19 | コニカミノルタ株式会社 | Tire shape calculation method, tire shape calculation device, and overload detection system |
JP2019194542A (en) | 2018-05-02 | 2019-11-07 | コニカミノルタ株式会社 | Overload detection processing device, overload detection system, and program |
JP2019196982A (en) | 2018-05-10 | 2019-11-14 | コニカミノルタ株式会社 | Image processing device, overloading detection device, overloading detection system and program |
JP2019211223A (en) | 2018-05-31 | 2019-12-12 | コニカミノルタ株式会社 | Image processing device, overload detection device, overload detection system and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022096560A (en) | 2022-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
KR101935399B1 (en) | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm | |
JP6230751B1 (en) | Object detection apparatus and object detection method | |
EP2662827B1 (en) | Video analysis | |
EP3168810A1 (en) | Image generating method and apparatus | |
JP4364275B2 (en) | Image processing method, image processing apparatus, and computer program | |
US9030559B2 (en) | Constrained parametric curve detection using clustering on Hough curves over a sequence of images | |
JP2008286725A (en) | Person detector and detection method | |
JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP6996415B2 (en) | Image processing equipment, overload detection equipment, overload detection system and programs | |
JP2019211223A (en) | Image processing device, overload detection device, overload detection system and program | |
WO2014002692A1 (en) | Stereo camera | |
EP3115933B1 (en) | Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium | |
JP4864043B2 (en) | Image processing apparatus, method, and program | |
CN112766046B (en) | Target detection method and related device | |
WO2021000948A1 (en) | Counterweight weight detection method and system, and acquisition method and system, and crane | |
JP2018142828A (en) | Deposit detector and deposit detection method | |
KR20120098292A (en) | Method for detecting traffic lane | |
JP7472772B2 (en) | Image processing device, overload detection system, image processing method, and image processing program | |
JPH07249128A (en) | Picture processor for vehicle | |
JP7533195B2 (en) | Image processing device, overload detection system, image processing method, and image processing program | |
JP6701327B2 (en) | Glare detection method and device | |
JP2014029608A (en) | Character recognition device, character recognition method, and computer program | |
JP4626418B2 (en) | Object detection device and object detection method | |
JP5465594B2 (en) | Object detection size calculation system and object detection size calculation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7472772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |