JP6685704B2 - Vehicle type identification device and vehicle type identification method - Google Patents
Vehicle type identification device and vehicle type identification method Download PDFInfo
- Publication number
- JP6685704B2 JP6685704B2 JP2015232165A JP2015232165A JP6685704B2 JP 6685704 B2 JP6685704 B2 JP 6685704B2 JP 2015232165 A JP2015232165 A JP 2015232165A JP 2015232165 A JP2015232165 A JP 2015232165A JP 6685704 B2 JP6685704 B2 JP 6685704B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- length
- vehicle type
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Description
本発明の実施形態は、車種判別装置および車種判別方法に関する。 Embodiments of the present invention relate to a vehicle type identification device and a vehicle type identification method.
大型車両を対象とした道路交通法違反の取締対象の車種区分は、料金収受システムで用いられる車種区分により細分化されている。そして、取締対象の車種には、当該車種毎に、道路の通行を許可される車両の幅、高さ、長さ、および重量が定められている。 The vehicle types that are targeted for enforcement of road traffic law violations for large vehicles are subdivided according to the vehicle types used in the toll collection system. Then, the width, height, length, and weight of the vehicle permitted to pass on the road are defined for each vehicle type to be controlled.
ところで、道路の老朽化の要因として、過積載で重量超過の大型車両が問題となっており、取締対象の車種の判別の効率化が求められている。現状、取締対象の車種の判別は、人手によって行われているため、高精度な車種の判別方法が必要である。 By the way, as a factor of deterioration of roads, large vehicles that are overloaded and overweight are becoming a problem, and there is a demand for more efficient discrimination of vehicle types to be controlled. At present, the vehicle type to be controlled is determined manually, so a highly accurate vehicle type determination method is required.
実施形態の車種判別装置は、取得部と、生成部と、推定部と、補間部と、判別部と、を備える。取得部は、車両が通過する所定位置においてレーザを照射した検出点までの検出距離および検出点で反射したレーザの反射強度を検出するセンサから、検出距離および反射強度を取得し、かつ撮像部から、所定位置を撮像して得られた撮像画像を取得する。生成部は、所定位置の画像であり、検出点の濃度を、当該検出点において反射したレーザの反射強度に応じて異ならせたリフレクタンス画像を生成する。推定部は、撮像画像に基づいて車両の三次元形状を推定する。補間部は、三次元形状の特徴点とリフレクタンス画像の検出点とを照合するマッチング処理を実行し、マッチング処理の結果および検出距離を用いて、三次元形状の特徴点を補間する。判別部は、マッチング処理の結果に基づいて、特徴点を補間した三次元形状の長さ方向の付属物の長さを検出し、検出した付属物の長さに基づいて、当該三次元形状の長さを補正し、当該補正後の三次元形状に基づいて、車両の車種を判別する。
The vehicle type identification device according to the embodiment includes an acquisition unit, a generation unit, an estimation unit, an interpolation unit, and a determination unit. The acquisition unit acquires the detection distance and the reflection intensity from a sensor that detects the detection distance to the detection point irradiated with the laser at a predetermined position where the vehicle passes and the reflection intensity of the laser reflected at the detection point, and from the imaging unit. , A captured image obtained by capturing an image of a predetermined position is acquired. The generation unit generates a reflectance image, which is an image at a predetermined position, in which the density of the detection point is changed according to the reflection intensity of the laser reflected at the detection point. The estimation unit estimates the three-dimensional shape of the vehicle based on the captured image. The interpolating unit executes a matching process of matching the feature point of the three-dimensional shape with the detection point of the reflectance image, and interpolates the feature point of the three-dimensional shape using the result of the matching process and the detection distance. The discriminating unit detects the length of the appendage in the length direction of the three-dimensional shape in which the feature points are interpolated based on the result of the matching process, and based on the detected length of the appendage, The length is corrected, and the vehicle type of the vehicle is determined based on the corrected three-dimensional shape .
以下、添付の図面を用いて、本実施形態にかかる車種判別装置および車種判別方法について説明する。 Hereinafter, a vehicle type identification device and a vehicle type identification method according to the present embodiment will be described with reference to the accompanying drawings.
図１は、本実施形態にかかる車種判別システムの構成の一例を示す図である。車種判別システムは、大型の車両が通行する道路、駐車場の出入口、高速道路の料金所等に設けられている。図１に示すように、本実施形態では、車種判別システムは、カメラ１０１と、センサ１０２と、路側装置１０３と、を有している。 FIG. 1 is a diagram showing an example of the configuration of a vehicle type identification system according to the present embodiment. The vehicle type identification system is provided at a road through which large vehicles pass, an entrance / exit of a parking lot, a tollgate of an expressway, and the like. As shown in FIG. 1, in the present embodiment, the vehicle type identification system includes a camera 101, a sensor 102, and a roadside device 103.
カメラ１０１（撮像部の一例）は、単眼カメラ等であり、車両Ｖが通過する所定位置Ｔを撮像可能に設けられている。本実施形態では、カメラ１０１は、後述するセンサ１０２から撮像トリガ信号が入力された場合に、所定位置Ｔを通過する車両Ｖの撮像を行う。また、カメラ１０１は、所定位置Ｔに進入した車両Ｖの斜め上方に設けられている。また、カメラ１０１は、所定位置Ｔの道路の路面から５〜７ｍ上方に設けられている。取締対象の車種の車両の車高は、３．８ｍである。よって、カメラ１０１は、取締対象の車種の車両よりも高い位置に設けられている。 The camera 101 (an example of an image capturing unit) is a monocular camera or the like, and is provided so as to capture an image of a predetermined position T through which the vehicle V passes. In the present embodiment, the camera 101 captures an image of the vehicle V passing through the predetermined position T when an image capture trigger signal is input from the sensor 102 described below. Further, the camera 101 is provided diagonally above the vehicle V that has entered the predetermined position T. Further, the camera 101 is provided 5 to 7 m above the road surface of the road at the predetermined position T. The height of the vehicle of the vehicle type to be controlled is 3.8 m. Therefore, the camera 101 is provided at a position higher than the vehicle of the vehicle type to be controlled.
また、カメラ１０１は、所定位置Ｔの道路の路面を基準として、俯角２５〜４５度で設けられている。また、カメラ１０１は、所定位置Ｔを通過する車両Ｖ（大型車を含む）の全景を撮像可能に設けられている。具体的には、カメラ１０１は、車両Ｖの前方領域（例えば、大型車のトラクタ部の下端）と車両Ｖの後方領域（例えば、大型車のトレーラ部の後端）とが、当該カメラ１０１の画角に収まるように設けられている。さらに、カメラ１０１は、大型車の車長が長いため、当該カメラ１０１の上下方向の画角を広げるために、当該カメラ１０１を傾けて（例えば、９０度傾けて）撮像可能に設けられていても良い。そして、カメラ１０１は、車両Ｖの撮像により得られた撮像画像を、路側装置１０３に送信する。 Further, the camera 101 is provided at a depression angle of 25 to 45 degrees with reference to the road surface of the road at the predetermined position T. Further, the camera 101 is provided so as to be capable of capturing an entire view of a vehicle V (including a large vehicle) passing through a predetermined position T. Specifically, the camera 101 has a front region of the vehicle V (for example, a lower end of a tractor portion of a large vehicle) and a rear region of the vehicle V (for example, a rear end of a trailer portion of a large vehicle) of the camera 101. It is provided to fit within the angle of view. Further, since the length of a large vehicle is long, the camera 101 is provided so that the camera 101 can be tilted (for example, tilted by 90 degrees) to capture an image in order to widen the vertical angle of view of the camera 101. Is also good. Then, the camera 101 transmits the captured image obtained by capturing the image of the vehicle V to the roadside device 103.
センサ１０２は、赤外線センサ等のレーザセンサである。センサ１０２は、所定位置Ｔに対してレーザを照射可能に設けられている。そして、センサ１０２は、所定位置Ｔにおいてレーザを照射した点である検出点と自センサ（センサ１０２）との間の距離である検出点距離（検出距離の一例）を検出する。言い換えると、センサ１０２は、所定位置Ｔにおいてレーザを照射した検出点までの検出点距離を検出する。さらに、センサ１０２は、検出点で反射したレーザの反射強度を検出する。その後、センサ１０２は、各検出点について検出した検出点間距離および反射強度を路側装置１０３に送信する。 The sensor 102 is a laser sensor such as an infrared sensor. The sensor 102 is provided so that it can irradiate the predetermined position T with laser light. Then, the sensor 102 detects a detection point distance (an example of the detection distance) which is a distance between the detection point which is a point where the laser is irradiated at the predetermined position T and the own sensor (sensor 102). In other words, the sensor 102 detects the detection point distance to the detection point where the laser is irradiated at the predetermined position T. Further, the sensor 102 detects the reflection intensity of the laser reflected at the detection point. After that, the sensor 102 transmits the distance between detection points and the reflection intensity detected for each detection point to the roadside apparatus 103.
本実施形態では、センサ１０２は、所定位置Ｔの路側に設置されている。また、センサ１０２は、所定位置Ｔで反射したレーザに基づいて、所定位置Ｔを通過する車両Ｖの検知処理を行う。そして、センサ１０２は、車両Ｖを検知した場合に、車両Ｖの撮像を指示する撮像トリガ信号をカメラ１０１に出力する。また、センサ１０２は、車両Ｖを検知してから（車両Ｖが所定位置に進入してから）、車両Ｖが検知されなくなるまで（車両Ｖが所定位置から退出するまで）、車両Ｖの複数の検出点に対してレーザを照射する。具体的には、センサ１０２は、車両Ｖの進行方向に直交する方向（以下、走査方向と言う）にレーザを走査しながら、複数の検出点における検出点間距離および反射強度を検出する。 In the present embodiment, the sensor 102 is installed on the road side of the predetermined position T. Further, the sensor 102 performs a detection process of the vehicle V passing through the predetermined position T based on the laser beam reflected at the predetermined position T. Then, when the sensor V detects the vehicle V, the sensor 102 outputs an imaging trigger signal for instructing the imaging of the vehicle V to the camera 101. Further, the sensor 102 detects a plurality of vehicles V until the vehicle V is no longer detected (after the vehicle V exits from the predetermined position) after the vehicle V is detected (after the vehicle V enters the predetermined position). A laser is applied to the detection point. Specifically, the sensor 102 detects the distances between the detection points and the reflection intensity at the plurality of detection points while scanning the laser in the direction orthogonal to the traveling direction of the vehicle V (hereinafter referred to as the scanning direction).
路側装置１０３（車種判別装置の一例）は、カメラ１０１から、撮像画像を取得する。また、路側装置１０３は、センサ１０２から、各検出点の検出点間距離および反射強度を取得する。そして、路側装置１０３は、撮像画像、各検出点の検出点間距離および反射強度を用いて、所定位置Ｔを通過する車両Ｖの車種を判別する。 The roadside device 103 (an example of a vehicle type identification device) acquires a captured image from the camera 101. In addition, the roadside device 103 acquires the distance between detection points and the reflection intensity of each detection point from the sensor 102. Then, the roadside apparatus 103 determines the vehicle type of the vehicle V passing through the predetermined position T using the captured image, the inter-detection point distance of each detection point, and the reflection intensity.
図２は、本実施形態にかかる路側装置の機能構成の一例を示すブロック図である。図２に示すように、本実施形態では、路側装置１０３は、記憶部９０と、取得部９１と、生成部９２と、推定部９３と、補間部９４と、判別部９５と、を有している。記憶部９０は、予め設定された判別対象の車種（例えば、取締対象の車種）の画像パターンを記憶する。例えば、記憶部９０は、取締対象の大型車のトラクタ部やトレーラ部の形状を示す画像パターンを記憶する。取得部９１は、センサ１０２により所定位置Ｔへの車両Ｖの進入が検知された場合、センサ１０２から、複数の検出点それぞれの検出点間距離および反射強度を取得する。また、取得部９１は、センサ１０２により所定位置Ｔへの車両Ｖの進入が検知された場合、カメラ１０１から、撮像画像を取得する。 FIG. 2 is a block diagram showing an example of the functional configuration of the roadside apparatus according to the present embodiment. As shown in FIG. 2, in the present embodiment, the roadside device 103 includes a storage unit 90, an acquisition unit 91, a generation unit 92, an estimation unit 93, an interpolation unit 94, and a determination unit 95. ing. The storage unit 90 stores a preset image pattern of a vehicle type to be discriminated (for example, a vehicle type to be controlled). For example, the storage unit 90 stores an image pattern indicating the shapes of the tractor unit and the trailer unit of a large vehicle to be controlled. When the sensor 102 detects the entry of the vehicle V into the predetermined position T, the acquisition unit 91 acquires the detection point distances and the reflection intensities of the plurality of detection points from the sensor 102. In addition, when the sensor 102 detects the entry of the vehicle V into the predetermined position T, the acquisition unit 91 acquires a captured image from the camera 101.
生成部９２は、所定位置Ｔの画像であり、車両Ｖの検出点の濃度を、当該検出点において反射したレーザの反射強度に応じて異ならせたリフレクタンス画像Ｇを生成する。本実施形態では、生成部９２は、検出点の濃度を、当該検出点において反射したレーザの反射強度が強くなるに従って薄くした画像を、リフレクタンス画像Ｇとして生成する。 The generation unit 92 generates a reflectance image G, which is an image of the predetermined position T, in which the density of the detection point of the vehicle V is changed according to the reflection intensity of the laser reflected at the detection point. In the present embodiment, the generation unit 92 generates, as the reflectance image G, an image in which the density of the detection point is made thinner as the reflection intensity of the laser reflected at the detection point becomes stronger.
図３Ａは、所定位置Ｔの画像であり、検出点の濃度を、当該検出点の検出点間距離に応じて異ならせた画像（以下、点群データｇと言う）の一例を示す図である。図３Ｂは、本実施形態にかかる路側装置において生成されたリフレクタンス画像の一例を示す図である。図３Ａおよび図３Ｂにおいて、縦軸は、車両Ｖの各検出点ｐにレーザを走査した際の走査角度である。図３Ａおよび図３Ｂにおいて、横軸は、車両Ｖの各検出点ｐにレーザを走査した時刻である。 FIG. 3A is an image of a predetermined position T, and is a diagram showing an example of an image (hereinafter referred to as point group data g) in which the density of the detection points is changed according to the distance between the detection points. . FIG. 3B is a diagram showing an example of the reflectance image generated in the roadside apparatus according to the present embodiment. 3A and 3B, the vertical axis represents the scanning angle when the laser scans each detection point p of the vehicle V. In FIGS. 3A and 3B, the horizontal axis represents the time when the laser scans each detection point p of the vehicle V.
図３Ａに示すように、点群データｇは、検出点ｐの濃度が、当該検出点ｐの検出点間距離が近くなるに従って薄くなる。また、図３Ｂに示すように、リフレクタンス画像Ｇは、上述したように、検出点ｐの濃度が、当該検出点ｐで反射したレーザの反射強度が強くなるに従って薄くなる。ここで、検出点間距離は、反射強度が強くなるに従って、短くなる。そのため、図３Ａおよび図３Ｂに示すように、リフレクタンス画像Ｇおよび点群データｇは、同様の車両画像を含む画像となる。 As shown in FIG. 3A, in the point cloud data g, the density of the detection points p becomes thinner as the distance between the detection points p becomes shorter. Further, as shown in FIG. 3B, in the reflectance image G, as described above, the density of the detection point p becomes thinner as the reflection intensity of the laser reflected at the detection point p becomes stronger. Here, the distance between the detection points becomes shorter as the reflection intensity becomes stronger. Therefore, as shown in FIGS. 3A and 3B, the reflectance image G and the point cloud data g are images including similar vehicle images.
ところで、リフレクタンス画像Ｇは、カメラ１０１の撮像により得られた撮像画像との親和性が高い。そのため、リフレクタンス画像Ｇと撮像画像とを比較することにより、リフレクタンス画像Ｇ内の検出点と一致する、撮像画像の特徴点（例えば、撮像画像が含むエッジ）を特定することができる。そこで、後述する補間部９４は、リフレクタンス画像Ｇの検出点と、撮像画像を用いて推定された車両Ｖの三次元形状の特徴点とを照合する。そして、補間部９４は、その照合結果に基づいて、当該三次元形状の特徴点を補間して、より詳細な全景を得る。ただし、リフレクタンス画像Ｇが含む車両画像の長さである車長は、車両Ｖの速度によって伸縮するため、生成部９２は、車両Ｖの速度に応じて、リフレクタンス画像Ｇが含む車両画像の車長を正規化する必要がある。具体的には、生成部９２は、車両Ｖの速度が速くなるに従い、リフレクタンス画像Ｇが含む車両画像の車長を伸長する。 By the way, the reflectance image G has a high affinity with the captured image obtained by capturing with the camera 101. Therefore, by comparing the reflectance image G and the captured image, it is possible to identify the characteristic point of the captured image (for example, the edge included in the captured image) that matches the detection point in the reflectance image G. Therefore, the interpolation unit 94, which will be described later, collates the detection points of the reflectance image G with the characteristic points of the three-dimensional shape of the vehicle V estimated using the captured image. Then, the interpolation unit 94 interpolates the feature points of the three-dimensional shape based on the matching result to obtain a more detailed panoramic view. However, since the vehicle length, which is the length of the vehicle image included in the reflectance image G, expands and contracts according to the speed of the vehicle V, the generation unit 92 determines that the vehicle image included in the reflectance image G corresponds to the speed of the vehicle V. It is necessary to normalize the vehicle length. Specifically, the generation unit 92 extends the vehicle length of the vehicle image included in the reflectance image G as the speed of the vehicle V increases.
図２に戻り、推定部９３は、カメラ１０１の撮像により得られた撮像画像に基づいて車両Ｖの三次元形状Ｄ（以下、全景と言う）を推定する。図４Ａ、図４Ｂ、および図４Ｃは、本実施形態にかかる路側装置における車両の全景の推定処理の一例を説明するための図である。本実施形態では、推定部９３は、カメラ１０１によって所定位置Ｔを複数回撮像して得られた複数の撮像画像を取得する。そして、推定部９３は、ＳｆＭ（Structured from Motion）等を用いて、複数の撮像画像に従って、車両Ｖの全景Ｄを推定する。 Returning to FIG. 2, the estimation unit 93 estimates the three-dimensional shape D (hereinafter, referred to as a panoramic view) of the vehicle V based on the captured image obtained by capturing the image with the camera 101. FIG. 4A, FIG. 4B, and FIG. 4C are diagrams for explaining an example of the process of estimating the entire view of the vehicle in the roadside apparatus according to the present embodiment. In the present embodiment, the estimation unit 93 acquires a plurality of captured images obtained by capturing the predetermined position T multiple times with the camera 101. Then, the estimation unit 93 uses SfM (Structured from Motion) or the like to estimate the entire view D of the vehicle V according to the plurality of captured images.
具体的には、推定部９３は、複数の撮像画像について、当該撮像画像が含む車両画像の特徴点（例えば、エッジ）を抽出する。次いで、図４Ａに示すように、推定部９３は、被写体となった車両Ｖとカメラ１０１との位置関係に基づいて、抽出した各特徴点Ｐの位置を特定することによって、車両Ｖの全景Ｄを推定する。さらに、推定部９３は、推定した全景Ｄに対して、当該全景Ｄ内の特徴点Ｐ近傍の撮像画像を貼り合わせる。これにより、図４Ｂに示すように、推定部９３は、車両Ｖの画像が重畳された車両Ｖの全景Ｄを得ることができる。また、図４Ｂに示すように、推定部９３は、ｘ軸、ｙ軸、またはｚ軸を回転軸として、車両Ｖの全景Ｄを、任意に回転させる。これにより、図４Ｃに示すように、推定部９３は、センサ１０２のレーザの放射位置と同様の位置から車両Ｖを見た場合の車両Ｖの全景Ｄを得ることができる。 Specifically, the estimation unit 93 extracts the feature points (for example, edges) of the vehicle image included in the captured images from the plurality of captured images. Next, as illustrated in FIG. 4A, the estimation unit 93 specifies the positions of the extracted feature points P based on the positional relationship between the vehicle V that is the subject and the camera 101, and thus the panoramic view D of the vehicle V is obtained. To estimate. Further, the estimation unit 93 attaches the captured image in the vicinity of the feature point P in the panorama D to the estimated panorama D. Thereby, as shown in FIG. 4B, the estimation unit 93 can obtain the entire view D of the vehicle V on which the image of the vehicle V is superimposed. Further, as shown in FIG. 4B, the estimation unit 93 arbitrarily rotates the entire view D of the vehicle V with the x-axis, the y-axis, or the z-axis as the rotation axis. Thereby, as shown in FIG. 4C, the estimation unit 93 can obtain the entire view D of the vehicle V when the vehicle V is viewed from the same position as the laser emission position of the sensor 102.
図２に戻り、補間部９４は、推定した全景Ｄの特徴点Ｐと、リフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する。そして、補間部９４は、マッチング処理の結果および検出点ｐの検出点間距離を用いて、全景Ｄの特徴点Ｐを補間する。 Returning to FIG. 2, the interpolation unit 94 executes a matching process of matching the estimated feature point P of the whole view D with the detection point p of the reflectance image G. Then, the interpolation unit 94 uses the result of the matching process and the inter-detection point distance of the detection points p to interpolate the feature points P of the entire view D.
図５Ａは、本実施形態にかかる路側装置におけるマッチング処理の一例を説明するための図である。図５Ｂおよび図６は、本実施形態にかかる路側装置における特徴点の補間処理の一例を説明するための図である。図５Ａに示すように、補間部９４は、全景Ｄの特徴点Ｐと一致する、リフレクタンス画像Ｇの検出点ｐを特定する。その際、補間部９４は、車両Ｖの速度に依存しないように、生成部９２によって車長が正規化された車両画像を含むリフレクタンス画像Ｇを用いて、全景Ｄの特徴点Ｐと一致する、当該リフレクタンス画像Ｇの検出点ｐを特定することが好ましい。一方、車両Ｖの全景Ｄは、カメラ１０１の撮像により得られた撮像画像を用いて推定されるため、車両Ｖの速度により受ける影響が少ない。そのため、補間部９４は、推定した全景Ｄについては、全景Ｄの車長の正規化を行わなくても良い。 FIG. 5A is a diagram for explaining an example of matching processing in the roadside apparatus according to the present embodiment. 5B and 6 are diagrams for explaining an example of the feature point interpolation processing in the roadside apparatus according to the present embodiment. As shown in FIG. 5A, the interpolation unit 94 specifies the detection point p of the reflectance image G that matches the feature point P of the whole view D. At that time, the interpolation unit 94 uses the reflectance image G including the vehicle image whose vehicle length is normalized by the generation unit 92 so as not to depend on the speed of the vehicle V, and matches the feature point P of the entire view D. It is preferable to specify the detection point p of the reflectance image G. On the other hand, the panoramic view D of the vehicle V is estimated using a captured image obtained by capturing an image with the camera 101, and thus is not affected by the speed of the vehicle V. Therefore, the interpolator 94 does not have to normalize the vehicle length of the estimated full view D.
ところで、図５Ｂに示すように、点群データｇは、車両Ｖの走査方向には密に検出点ｐを有している。すなわち、センサ１０２は、車両Ｖの走査方向に密に検出点間距離を検出している。しかしながら、点群データｇは、車両Ｖの時間軸方向には検出点ｐが疎になる。言い換えると、点群データｇは、車両Ｖの時間軸方向には検出点ｐが周期的に欠落する性質を有する。一方、車両Ｖの全景Ｄは、カメラ１０１の撮像により得られた撮像画像に基づいて推定される。そのため、車両Ｖの全景Ｄは、被写体（車両Ｖ）や当該被写体を撮像する際の撮像条件等の影響を受け易く、一般的に、当該全景Ｄに含まれる特徴点Ｐが疎になる性質を有する。 By the way, as shown in FIG. 5B, the point cloud data g has detection points p densely in the scanning direction of the vehicle V. That is, the sensor 102 densely detects the distance between the detection points in the scanning direction of the vehicle V. However, in the point cloud data g, the detection points p are sparse in the time axis direction of the vehicle V. In other words, the point cloud data g has a property that the detection points p are periodically missing in the time axis direction of the vehicle V. On the other hand, the panoramic view D of the vehicle V is estimated based on a captured image obtained by capturing an image with the camera 101. Therefore, the panoramic view D of the vehicle V is easily affected by the subject (vehicle V) and the imaging conditions when the subject is imaged, and in general, the characteristic points P included in the panoramic view D are sparse. Have.
そこで、補間部９４は、推定した全景Ｄにおいて、検出点ｐと一致（照合）した特徴点Ｐ間を、当該特徴点Ｐ間に存在する検出点ｐによって補間（拡充）する。これにより、図５Ｂに示すように、補間部９４は、密な特徴点Ｐを有する全景Ａ（言い換えると、特徴点Ｐが拡充された全景Ａ）を得ることができる。 Therefore, the interpolation unit 94 interpolates (enlarges) the feature points P that match (match) the detection points p in the estimated whole view D with the detection points p existing between the feature points P. Thereby, as shown in FIG. 5B, the interpolation unit 94 can obtain the whole view A having the dense feature points P (in other words, the whole view A in which the feature points P are expanded).
例えば、図６（ａ）に示すように、補間部９４は、全景Ｄが含む特徴点Ｐ（角部）とリフレクタンス画像Ｇの検出点ｐ（角部）とを照合するマッチング処理を実行する。次いで、図６（ｂ）に示すように、補間部９４は、全景Ｄにおいて、検出点ｐと照合した特徴点Ｐ間を、当該特徴点Ｐ間に存在する点群データｇによって補間して、密な特徴点Ｐを有する全景Ｄを得る。 For example, as illustrated in FIG. 6A, the interpolation unit 94 executes a matching process of matching the feature point P (corner) included in the panoramic view D and the detection point p (corner) of the reflectance image G. . Next, as shown in FIG. 6B, the interpolation unit 94 interpolates between the feature points P collated with the detection points p in the whole view D by the point group data g existing between the feature points P, Obtain a panorama D with dense feature points P.
図２に戻り、判別部９５は、補間部９４によって特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車種を判別する。これにより、人手に依らずに、詳細な全景Ｄに基づいて、車両Ｖの車種の判別を行うことができるので、車種の判別を効率化することができ、かつ高精度な車種の判別を実現することができる。また、高精度な車種の判別を実現するために、センサ１０２の数を増やしたり、ガントリーを設置したりする必要がないので、車種の判別に要するコストを大幅に削減することができる。さらに、車種の判別結果と、所定位置Ｔを通過する車両Ｖの重量を検知する重量計による重量の検知結果とを組み合わせて、車両Ｖの車種を判別することで、過積載車両の自動検知の検知精度をより高めることができる。 Returning to FIG. 2, the determination unit 95 determines the vehicle type of the vehicle V based on the whole view D in which the feature points P are interpolated by the interpolation unit 94. As a result, the vehicle type of the vehicle V can be determined based on the detailed panoramic view D without relying on human labor, so that the vehicle type determination can be made efficient, and highly accurate vehicle type determination can be realized. can do. Further, since it is not necessary to increase the number of sensors 102 or install a gantry in order to realize highly accurate vehicle type determination, it is possible to significantly reduce the cost required for vehicle type determination. Further, by combining the determination result of the vehicle type and the detection result of the weight of the vehicle V that passes the predetermined position T by the weight scale, the determination of the vehicle type of the vehicle V enables automatic detection of an overloaded vehicle. The detection accuracy can be further improved.
本実施形態では、判別部９５は、特徴点Ｐが補間された全景Ｄと記憶部９０に記憶された各車種の画像パターンとを照合（マッチング）する。また、判別部９５は、全景Ｄと各車種の画像パターンとの類似度（以下、マッチングスコアと言う）を算出する。そして、判別部９５は、全景Ｄとのマッチングスコアが最も高い画像パターンに対応する車種を、所定位置Ｔを通過した車両Ｖの車種とする。 In the present embodiment, the determination unit 95 compares the entire view D in which the characteristic points P are interpolated with the image pattern of each vehicle type stored in the storage unit 90 (matching). Further, the determination unit 95 calculates the degree of similarity (hereinafter referred to as a matching score) between the panoramic view D and the image pattern of each vehicle type. Then, the determination unit 95 sets the vehicle type corresponding to the image pattern having the highest matching score with the entire view D as the vehicle type of the vehicle V that has passed the predetermined position T.
次に、図７および図８を用いて、リフレクタンス画像Ｇが含む車両画像の車長を正規化する処理について説明する。図７および図８は、本実施形態にかかる路側装置におけるリフレクタンス画像が含む車両画像の車長の正規化の一例を説明するための図である。 Next, the process of normalizing the vehicle length of the vehicle image included in the reflectance image G will be described with reference to FIGS. 7 and 8. 7 and 8 are diagrams for explaining an example of normalizing the vehicle length of the vehicle image included in the reflectance image in the roadside apparatus according to the present embodiment.
車両Ｖが速度Ｖ１で通過した場合のリフレクタンス画像Ｇ（図７参照）が含む車両画像の車長ｌは、車両Ｖが速度Ｖ１より速い速度Ｖ２で通過した場合のリフレクタンス画像Ｇ（図８参照）が含む車両画像の車長ｌよりも長くなる。すなわち、リフレクタンス画像Ｇが含む車両画像の車長ｌは、所定位置Ｔを通過する車両Ｖの速度が速くなるに従って、短くなる。そこで、図７および図８に示すように、生成部９２は、車両Ｖの速度に応じて、リフレクタンス画像Ｇが含む車両画像の車長ｌを所定の長さＬに正規化する。ここで、所定の長さＬは、予め設定された長さであり、全景Ｄの車長に近いことが好ましい。ただし、車両Ｖの速度に応じてリフレクタンス画像Ｇのサイズの変化率も異なるため、正規化後のリフレクタンス画像Ｇは、所定位置Ｔを通過する車両Ｖの速度が速くなるに従って、車両Ｖの車長方向（時間軸方向）への検出点ｐの数が少なくなる（図７および図８参照）。 The vehicle length 1 of the vehicle image included in the reflectance image G when the vehicle V passes at the speed V1 (see FIG. 7) is the reflectance image G when the vehicle V passes at the speed V2 faster than the speed V1 (see FIG. 8). The vehicle length is longer than the vehicle length 1 of the vehicle image included in the reference image). That is, the vehicle length l of the vehicle image included in the reflectance image G becomes shorter as the speed of the vehicle V passing through the predetermined position T becomes faster. Therefore, as shown in FIGS. 7 and 8, the generation unit 92 normalizes the vehicle length l of the vehicle image included in the reflectance image G to a predetermined length L according to the speed of the vehicle V. Here, the predetermined length L is a preset length, and is preferably close to the vehicle length of the whole view D. However, since the rate of change in the size of the reflectance image G differs depending on the speed of the vehicle V, the normalized reflectance image G shows that the speed of the vehicle V passing through the predetermined position T increases as the speed of the vehicle V increases. The number of detection points p in the vehicle length direction (time axis direction) is reduced (see FIGS. 7 and 8).
次に、図９を用いて、リフレクタンス画像Ｇを正規化する処理の具体例について説明する。図９は、本実施形態にかかる路側装置におけるリフレクタンス画像が含む車両画像の車長の正規化の具体例を説明するための図である。 Next, a specific example of the process of normalizing the reflectance image G will be described with reference to FIG. FIG. 9 is a diagram for explaining a specific example of normalizing the vehicle length of the vehicle image included in the reflectance image in the roadside apparatus according to the present embodiment.
図９に示すように、まず、生成部９２は、リフレクタンス画像Ｇが含む車両画像の車長ｌを特定する。さらに、生成部９２は、リフレクタンス画像Ｇが含む前車軸ＦＳおよび後車軸ＢＳを検知する。次いで、生成部９２は、前車軸ＦＳの幅および後車軸ＢＳの幅を特定する。さらに、生成部９２は、前車軸ＦＳの幅と後車軸ＢＳの幅の比率を、車両Ｖが所定位置Ｔを通過する際の速度変化率として算出する。そして、生成部９２は、速度変化率が「１」であり、車両Ｖが所定位置Ｔを通過する際に等速で通過した可能性が高い場合、車両画像の車長方向に向かってリフレクタンス画像Ｇを均一に伸縮させて、リフレクタンス画像Ｇが含む車両画像の車長を所定の長さＬに正規化する。 As shown in FIG. 9, first, the generation unit 92 identifies the vehicle length 1 of the vehicle image included in the reflectance image G. Further, the generation unit 92 detects the front axle FS and the rear axle BS included in the reflectance image G. Next, the generation unit 92 identifies the width of the front axle FS and the width of the rear axle BS. Further, the generation unit 92 calculates the ratio of the width of the front axle FS and the width of the rear axle BS as the speed change rate when the vehicle V passes the predetermined position T. Then, when the rate of change in speed is “1” and it is highly possible that the vehicle V passes through the predetermined position T at a constant speed, the generation unit 92 reflects the vehicle toward the vehicle length direction in the vehicle image. The image G is uniformly expanded and contracted to normalize the vehicle length of the vehicle image included in the reflectance image G to a predetermined length L.
一方、生成部９２は、速度変化率が「１」でない場合、車両Ｖが所定位置Ｔを通過する際に加減速した可能性が高いため、リフレクタンス画像Ｇの部分よって、車両画像の車長方向に対する伸縮率を変える。例えば、生成部９２は、速度変化率が「１」より小さく、車両Ｖが所定位置Ｔを通過する際に減速した可能性が高い場合、車両画像の車長方向に向かって、車両画像の後端に向かうに従い、当該リフレクタンス画像Ｇの検出点の間隔を小さくする。一方、生成部９２は、速度変化率が「１」より大きく、車両Ｖが所定位置Ｔを通過する際に加速した可能性が高い場合、車両画像の車長方向に向かって、車両画像の後端に向かうに従い、当該リフレクタンス画像Ｇの検出点の間隔を大きくする。 On the other hand, when the rate of change in speed is not “1”, the generation unit 92 is likely to have accelerated or decelerated when the vehicle V passed through the predetermined position T. Therefore, the portion of the reflectance image G indicates the vehicle length of the vehicle image. Change the expansion / contraction ratio for the direction. For example, when the speed change rate is smaller than “1” and there is a high possibility that the vehicle V has decelerated when passing the predetermined position T, the generation unit 92 may move toward the vehicle length direction of the vehicle image toward the rear of the vehicle image. The distance between the detection points of the reflectance image G is reduced toward the edge. On the other hand, when the rate of change in speed is greater than “1” and there is a high possibility that the vehicle V has accelerated when passing through the predetermined position T, the generation unit 92 proceeds toward the vehicle length direction of the vehicle image, and then the vehicle image The distance between the detection points of the reflectance image G is increased toward the end.
すなわち、生成部９２は、リフレクタンス画像Ｇが含む車軸を検知し、当該車軸の検知結果に基づく車両Ｖの速度に応じて、当該リフレクタンス画像Ｇが含む車両画像の車長ｌを所定の長さに正規化する。そして、補間部９４は、全景Ｄの特徴点Ｐと、車両画像の車長を正規化したリフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する。これにより、全景Ｄの特徴点Ｐとリフレクタンス画像Ｇの検出点ｐとの照合率が高まり、全景Ｄに対してより多くの特徴点Ｐを補間できるようになるので、全景Ｄの特徴点の密度を高められる。また、判別部９５は、より精度の高い全景Ｄを用いて、車両Ｖの車種を判別することができるので、車両Ｖの車種の判別精度を高めることができる。 That is, the generation unit 92 detects the axle included in the reflectance image G, and according to the speed of the vehicle V based on the detection result of the axle, the vehicle length 1 of the vehicle image included in the reflectance image G is set to a predetermined length. Normalize to Then, the interpolation unit 94 executes a matching process of matching the feature point P of the whole view D with the detection point p of the reflectance image G obtained by normalizing the vehicle length of the vehicle image. As a result, the matching rate between the feature points P of the panoramic view D and the detection points p of the reflectance image G is increased, and more feature points P can be interpolated with respect to the panoramic view D. You can increase the density. Further, the determination unit 95 can determine the vehicle type of the vehicle V by using the more accurate whole scene D, and thus the determination accuracy of the vehicle type of the vehicle V can be improved.
例えば、判別部９５は、全景Ｄの特徴点の密度が高まることによって、当該全景Ｄに含まれるトラクタ部とトレーラ部の分離が容易になる。そして、判別部９５は、トラクタ部から分離したトレーラ部の形状に従って、車両Ｖの車種を判別することができる。さらに、判別部９５は、全景Ｄを用いて車両Ｖの寸法をより高精度に求めることができるので、特に、大型車両または特大車両の判別精度を高めることができる。 For example, the determination unit 95 facilitates the separation of the tractor unit and the trailer unit included in the panorama D by increasing the density of feature points in the panorama D. Then, the determination unit 95 can determine the vehicle type of the vehicle V according to the shape of the trailer unit separated from the tractor unit. Further, the determination unit 95 can obtain the size of the vehicle V with higher accuracy by using the panoramic view D, so that it is possible to particularly improve the determination accuracy of a large vehicle or an oversized vehicle.
次に、図１０および図１１を用いて、本実施形態にかかる路側装置１０３による車両Ｖの車種の判別処理の具体例について説明する。図１０および図１１は、本実施形態にかかる路側装置による車両の車種の判別処理の具体例を説明するための図である。 Next, a specific example of the vehicle type determination process of the vehicle V by the roadside apparatus 103 according to the present embodiment will be described with reference to FIGS. 10 and 11. 10 and 11 are diagrams for explaining a specific example of the vehicle type determination process of the vehicle by the roadside apparatus according to the present embodiment.
本実施形態では、判別部９５は、特徴点Ｐが補間された全景Ｄから、所定の注視領域を抽出する。次いで、判別部９５は、注視領域に基づいて、車両Ｖの車種を判別する。具体的には、判別部９５は、注視領域と記憶部９０に記憶された所定の注視領域毎の画像パターンとの照合結果に基づいて、車両Ｖの車種を判別する。これにより、車種の判別において重要な注視領域のみに基づいて、車両Ｖの車種を判別するので、車両Ｖの車種の判別の誤りを軽減することができる。また、特徴点Ｐが補間された全景Ｄの注視領域のみに基づいて、車両Ｖの車種を判別するので、車種の判別による処理負荷を軽減することができる。 In the present embodiment, the determination unit 95 extracts a predetermined gaze area from the whole view D in which the feature points P are interpolated. Next, the determination unit 95 determines the vehicle type of the vehicle V based on the gaze area. Specifically, the determination unit 95 determines the vehicle type of the vehicle V based on the comparison result of the gaze area and the image pattern for each predetermined gaze area stored in the storage unit 90. As a result, the vehicle type of the vehicle V is determined based only on the gaze area that is important in the determination of the vehicle type, and thus the error in determining the vehicle type of the vehicle V can be reduced. Further, since the vehicle type of the vehicle V is determined based only on the gazing area of the whole view D in which the feature points P are interpolated, the processing load due to the determination of the vehicle type can be reduced.
例えば、図１０に示すように、判別部９５は、まず、特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車幅、車長、車高等の寸法を特定する。さらに、判別部９５は、全景Ｄから、トレーラ部９０１を注視領域として分離する。具体的には、判別部９５は、図１１（ａ）に示すように、全景Ｄに含まれるトラクタ部１００１とトレーラ部９０１との間の隙間１００２を検出する。そして、判別部９５は、図１１（ｂ）に示すように、隙間１００２を挟んで、車両Ｖの後方側の領域をトレーラ部９０１として分離する。 For example, as shown in FIG. 10, the determination unit 95 first specifies the vehicle width, vehicle length, vehicle height, and other dimensions of the vehicle V based on the entire view D in which the feature points P are interpolated. Further, the determination unit 95 separates the trailer unit 901 from the whole view D as a gaze area. Specifically, as shown in FIG. 11A, the determination unit 95 detects a gap 1002 between the tractor unit 1001 and the trailer unit 901 included in the full view D. Then, as shown in FIG. 11B, the determination unit 95 separates the region on the rear side of the vehicle V as a trailer unit 901 with a gap 1002 interposed therebetween.
次いで、図１０に示すように、判別部９５は、記憶部９０に記憶された車種別の画像パターン９０２と、分離したトレーラ部９０１とを照合する。そして、判別部９５は、車種別の画像パターン９０２とトレーラ部９０１との照合結果、および車両Ｖの寸法に基づいて、車両Ｖの車種（例えば、特大車両）を判別する。 Next, as shown in FIG. 10, the determination unit 95 compares the vehicle-specific image pattern 902 stored in the storage unit 90 with the separated trailer unit 901. Then, the determination unit 95 determines the vehicle type (for example, an oversized vehicle) of the vehicle V based on the comparison result between the image pattern 902 for each vehicle type and the trailer unit 901 and the size of the vehicle V.
また、本実施形態では、判別部９５は、マッチング処理の結果に基づいて、特徴点が補間された全景Ｄの車長方向の付属物の長さを検出する。次いで、判別部９５は、検出した付属物の長さに基づいて、当該全景Ｄの車長を補正する。そして、判別部９５は、当該車長を補正した全景Ｄに基づいて、車両Ｖの車種を判別しても良い。図１２は、本実施形態にかかる路側装置による全景の車長の補正処理の一例を説明するための図である。例えば、図１２に示すように、判別部９５は、マッチング処理の結果に基づいて、リフレクタンス画像Ｇが含む車両画像の車長方向への付属物（例えば、ミラー）の長さΔＬ１を検知する。そして、判別部９５は、全景Ｄの車長を、当該長さΔＬ１を引いた長さに補正する。これにより、より正確な全景Ｄの寸法を用いて車両Ｖの車種を判別することができるので、車種の判別精度を向上させることができる。 Further, in the present embodiment, the determination unit 95 detects the length of the accessory in the vehicle length direction of the whole view D in which the feature points are interpolated based on the result of the matching process. Next, the determination unit 95 corrects the vehicle length of the panoramic view D based on the detected length of the accessory. Then, the determination unit 95 may determine the vehicle type of the vehicle V based on the panoramic view D in which the vehicle length is corrected. FIG. 12 is a diagram for explaining an example of a process of correcting the vehicle length of the entire view by the roadside device according to the present embodiment. For example, as shown in FIG. 12, the determination unit 95 detects the length ΔL1 of an accessory (for example, a mirror) in the vehicle length direction of the vehicle image included in the reflectance image G based on the result of the matching process. . Then, the determination unit 95 corrects the vehicle length of the entire view D to a length obtained by subtracting the length ΔL1. As a result, the vehicle type of the vehicle V can be discriminated by using the more accurate dimension of the whole view D, so that the discrimination accuracy of the vehicle type can be improved.
次に、図１３を用いて、本実施形態にかかる路側装置１０３による車種の判別処理の流れについて説明する。図１３は、本実施形態にかかる路側装置による車種の判別処理の流れの一例を示すフローチャートである。 Next, the flow of the vehicle type determination processing by the roadside apparatus 103 according to the present embodiment will be described with reference to FIG. FIG. 13 is a flowchart showing an example of the flow of a vehicle type determination process by the roadside device according to the present embodiment.
取得部９１は、センサ１０２によって所定位置Ｔを通過する車両Ｖが検知されると、カメラ１０１から、撮像画像を取得する（ステップＳ１３０１）。推定部９３は、取得部９１により取得された撮像画像が含む車両画像の特徴点を抽出する（ステップＳ１３０２）。さらに、推定部９３は、車両Ｖとカメラ１０１との位置関係に基づいて、抽出した各特徴点Ｐの位置を特定することによって、車両Ｖの全景Ｄを推定する（ステップ１３０３）。次に、推定部９３は、推定した全景Ｄを回転させることによって、センサ１０２のレーザの放射位置から車両Ｖを見た場合の車両Ｖの全景を得る（ステップＳ１３０４）。 When the sensor 102 detects the vehicle V passing through the predetermined position T, the acquisition unit 91 acquires a captured image from the camera 101 (step S1301). The estimation unit 93 extracts the feature points of the vehicle image included in the captured image acquired by the acquisition unit 91 (step S1302). Further, the estimation unit 93 estimates the entire view D of the vehicle V by identifying the positions of the extracted feature points P based on the positional relationship between the vehicle V and the camera 101 (step 1303). Next, the estimation unit 93 obtains the entire view of the vehicle V when the vehicle V is viewed from the laser emission position of the sensor 102 by rotating the estimated entire view D (step S1304).
また、取得部９１は、センサ１０２によって所定位置Ｔを通過する車両Ｖが検知されると、センサ１０２から、各検出点の検出点間距離および反射強度を取得する（ステップＳ１３０５）。生成部９２は、車両Ｖの検出点の濃度を、当該検出点の反射強度に応じて異ならせたリフレクタンス画像を生成する。次いで、生成部９２は、リフレクタンス画像Ｇが含む車両画像の車長を特定する（ステップＳ１３０６）。さらに、生成部９２は、リフレクタンス画像Ｇが含む前車軸ＦＳおよび後車軸ＢＳを検知する（ステップＳ１３０７）。そして、生成部９２は、前車軸ＦＳおよび後車軸ＢＳの検知結果に基づいて、車両Ｖの速度を検出する（ステップＳ１３０８）。その後、生成部９２は、車両Ｖの速度に基づいて、リフレクタンス画像Ｇが含む車両画像の車長を所定の長さに正規化する（ステップＳ１３０９）。 Further, when the sensor 102 detects the vehicle V passing through the predetermined position T, the acquisition unit 91 acquires the detection point distance and the reflection intensity of each detection point from the sensor 102 (step S1305). The generation unit 92 generates a reflectance image in which the density of the detection point of the vehicle V is changed according to the reflection intensity of the detection point. Next, the generation unit 92 identifies the vehicle length of the vehicle image included in the reflectance image G (step S1306). Further, the generation unit 92 detects the front axle FS and the rear axle BS included in the reflectance image G (step S1307). Then, the generation unit 92 detects the speed of the vehicle V based on the detection results of the front axle FS and the rear axle BS (step S1308). Then, the generation unit 92 normalizes the vehicle length of the vehicle image included in the reflectance image G to a predetermined length based on the speed of the vehicle V (step S1309).
補間部９４は、推定した全景Ｄの特徴点Ｐと、正規化されたリフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する（ステップＳ１３１０）。次いで、補間部９４は、マッチング処理の結果および検出点ｐの検出点間距離に基づいて、全景Ｄの特徴点Ｐを補間する（ステップＳ１３１１）。判別部９５は、特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車種を判別する（ステップＳ１３１２）。そして、判別部９５は、車両Ｖの車種の判別結果を、外部装置に出力する（ステップＳ１３１３）。その際、判別部９５は、特徴点Ｐが補間された全景Ｄを用いて（例えば、全景Ｄを回転させて）、所定位置Ｔを通過した車両Ｖの車軸を検知し、その検知結果（例えば、検知した車軸の数、検知した車軸の配置）を外部装置に出力しても良い。 The interpolation unit 94 executes a matching process of matching the estimated feature point P of the entire view D with the detection point p of the normalized reflectance image G (step S1310). Next, the interpolation unit 94 interpolates the feature point P of the whole view D based on the result of the matching process and the distance between the detection points p (step S1311). The determination unit 95 determines the vehicle type of the vehicle V based on the whole view D in which the characteristic points P are interpolated (step S1312). Then, the determination unit 95 outputs the determination result of the vehicle type of the vehicle V to the external device (step S1313). At that time, the determination unit 95 detects the axle of the vehicle V that has passed the predetermined position T by using the whole view D in which the feature points P are interpolated (for example, by rotating the whole view D), and the detection result (for example, , The number of detected axles and the arrangement of the detected axles) may be output to an external device.
このように、本実施形態にかかる車種判別システムによれば、車種の判別を効率化することができ、かつ高精度な車種の判別を実現することができる。 As described above, according to the vehicle type identification system of the present embodiment, it is possible to make the vehicle type identification more efficient and to realize highly accurate vehicle type identification.
なお、本実施形態の路側装置１０３で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。本実施形態の路側装置１０３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program executed by the roadside apparatus 103 according to the present embodiment is provided by being pre-installed in a ROM (Read Only Memory) or the like. The program executed by the roadside apparatus 103 of the present embodiment is a file in an installable format or an executable format in a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). It may be configured to be provided by recording on a readable recording medium.
さらに、本実施形態の路側装置１０３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の路側装置１０３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the program executed by the roadside apparatus 103 of this embodiment may be stored in a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the roadside apparatus 103 of this embodiment may be provided or distributed via a network such as the Internet.
本実施形態の路側装置１０３で実行されるプログラムは、上述した各部（取得部９１、生成部９２、推定部９３、補間部９４、および判別部９５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部９１、生成部９２、推定部９３、補間部９４、および判別部９５が主記憶装置上に生成されるようになっている。 The program executed by the roadside device 103 of the present embodiment has a module configuration including the above-described units (the acquisition unit 91, the generation unit 92, the estimation unit 93, the interpolation unit 94, and the determination unit 95), and the actual As hardware, a CPU (Central Processing Unit) reads a program from the ROM and executes the program to load each of the above units onto a main storage device, and an acquisition unit 91, a generation unit 92, an estimation unit 93, an interpolation unit 94, and The discriminating unit 95 is generated on the main storage device.
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. This embodiment is included in the scope and the gist of the invention, and is also included in the invention described in the claims and an equivalent range thereof.
１０１ カメラ
１０２ センサ
１０３ 路側装置
９０ 記憶部
９１ 取得部
９２ 生成部
９３ 推定部
９４ 補間部
９５ 判別部
Ｔ 所定位置
Ｖ 車両
101 camera 102 sensor 103 roadside device 90 storage unit 91 acquisition unit 92 generation unit 93 estimation unit 94 interpolation unit 95 determination unit T predetermined position V vehicle
Claims (8)
前記所定位置の画像であり、前記検出点の濃度を、当該検出点において反射したレーザの前記反射強度に応じて異ならせたリフレクタンス画像を生成する、生成部と、
前記撮像画像に基づいて前記車両の三次元形状を推定する推定部と、
前記三次元形状の特徴点と前記リフレクタンス画像の前記検出点とを照合するマッチング処理を実行し、前記マッチング処理の結果および前記検出距離を用いて、前記三次元形状の前記特徴点を補間する補間部と、
前記マッチング処理の結果に基づいて、前記特徴点を補間した前記三次元形状の長さ方向の付属物の長さを検出し、検出した前記付属物の長さに基づいて、当該三次元形状の長さを補正し、当該補正後の三次元形状に基づいて、前記車両の車種を判別する判別部と、
を備えた車種判別装置。 From a sensor that detects the detection distance to the detection point where the vehicle irradiates the laser at a predetermined position where the vehicle passes and the reflection intensity of the laser reflected at the detection point, obtains the detection distance and the reflection intensity, and from the imaging unit, An acquisition unit that acquires a captured image obtained by capturing the predetermined position,
An image of the predetermined position, the density of the detection point, to generate a reflectance image that is different according to the reflection intensity of the laser reflected at the detection point, a generation unit,
An estimation unit that estimates the three-dimensional shape of the vehicle based on the captured image,
A matching process of matching the feature point of the three-dimensional shape with the detection point of the reflectance image is executed, and the feature point of the three-dimensional shape is interpolated using the result of the matching process and the detection distance. Interpolator,
Based on the result of the matching process, the length of the appendix in the length direction of the three-dimensional shape interpolating the feature points is detected, and based on the detected length of the appendix, the three-dimensional shape A discriminating unit that corrects the length and discriminates the vehicle type of the vehicle based on the corrected three-dimensional shape ,
Vehicle type identification device equipped with.
前記補間部は、前記三次元形状の特徴点と、前記車両画像の車長を正規化した前記リフレクタンス画像の前記検出点とを照合する前記マッチング処理を実行する請求項１に記載の車種判別装置。 The generation unit detects an axle included in the reflectance image, and normalizes the vehicle length of the vehicle image included in the reflectance image to a predetermined length according to the speed of the vehicle based on the detection result of the axle. ,
The vehicle type determination according to claim 1, wherein the interpolation unit executes the matching process of matching the feature points of the three-dimensional shape with the detection points of the reflectance image in which the vehicle length of the vehicle image is normalized. apparatus.
撮像部から、前記所定位置を撮像して得られた撮像画像を取得し、
前記所定位置の画像であり、前記検出点の濃度を、当該検出点において反射したレーザの前記反射強度に応じて異ならせたリフレクタンス画像を生成し、
前記撮像画像に基づいて前記車両の三次元形状を推定し、
前記三次元形状の特徴点と前記リフレクタンス画像の前記検出点とを照合するマッチング処理を実行し、
前記マッチング処理の結果および前記検出距離を用いて、前記三次元形状の前記特徴点を補間し、
前記マッチング処理の結果に基づいて、前記特徴点を補間した前記三次元形状の長さ方向の付属物の長さを検出し、
検出した前記付属物の長さに基づいて、前記三次元形状の長さを補正し、
当該補正後の三次元形状に基づいて、前記車両の車種を判別する、
ことを含む車種判別方法。 From a sensor that detects the detection distance to the detection point where the laser is irradiated at a predetermined position where the vehicle passes and the reflection intensity of the laser reflected at the detection point, the detection distance and the reflection intensity are obtained,
From the image capturing unit, obtain a captured image obtained by capturing the predetermined position,
The image of the predetermined position, the density of the detection point, to generate a reflectance image that is different according to the reflection intensity of the laser reflected at the detection point,
Estimating the three-dimensional shape of the vehicle based on the captured image,
Performing a matching process of matching the feature points of the three-dimensional shape with the detection points of the reflectance image,
Using the result of the matching process and the detection distance, the feature points of the three-dimensional shape are interpolated,
Based on the result of the matching process, the length of the appendage in the length direction of the three-dimensional shape interpolating the feature points is detected,
Based on the detected length of the accessory, correct the length of the three-dimensional shape,
Based on the corrected three-dimensional shape, determine the vehicle type of the vehicle,
Vehicle type identification method including
当該注視領域に基づいて、前記車両の車種を判別する請求項５に記載の車種判別方法。 From the three-dimensional shape obtained by interpolating the feature points, extract a predetermined gaze area,
The vehicle type determination method according to claim 5 , wherein the vehicle type of the vehicle is determined based on the gaze area.
当該車軸の検知結果に基づく前記車両の速度に応じて、前記リフレクタンス画像が含む車両画像の車長を所定の長さに正規化し、
前記三次元形状の特徴点と、前記車両画像の車長を正規化した前記リフレクタンス画像の前記検出点とを照合する前記マッチング処理を実行する請求項５に記載の車種判別方法。 Detects the axle included in the reflectance image,
According to the speed of the vehicle based on the detection result of the axle, the vehicle length of the vehicle image included in the reflectance image is normalized to a predetermined length,
The vehicle type identification method according to claim 5 , wherein the matching process is performed to compare the feature points of the three-dimensional shape with the detection points of the reflectance image obtained by normalizing the vehicle length of the vehicle image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232165A JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232165A JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017097783A JP2017097783A (en) | 2017-06-01 |
| JP6685704B2 true JP6685704B2 (en) | 2020-04-22 |
Family
ID=58817971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015232165A Active JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6685704B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107978151B (en) * | 2017-11-22 | 2019-12-10 | 武汉万集信息技术有限公司 | vehicle detection method and system |
| JP2019117434A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Image generation device |
| JP7333445B2 (en) * | 2017-12-26 | 2023-08-24 | パイオニア株式会社 | image generator |
| CN110874925A (en) | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | Intelligent road side unit and control method thereof |
| JP7267557B2 (en) * | 2019-05-30 | 2023-05-02 | 金川 典代 | Track surrounding wall photographing device and track surrounding wall photographing method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3816747B2 (en) * | 2000-12-21 | 2006-08-30 | 株式会社東芝 | Vehicle type discriminating apparatus, car type discriminating method, and storage medium storing computer readable program stored therein |
| JP2009104232A (en) * | 2007-10-19 | 2009-05-14 | Toyota Motor Corp | Vehicle model discriminating device |
| JP5511219B2 (en) * | 2008-06-06 | 2014-06-04 | 三菱電機株式会社 | Laser vehicle detection system |
| JP5558077B2 (en) * | 2009-10-30 | 2014-07-23 | 三菱電機株式会社 | Vehicle detection device and toll charge system |
| JP5963353B2 (en) * | 2012-08-09 | 2016-08-03 | 株式会社トプコン | Optical data processing apparatus, optical data processing system, optical data processing method, and optical data processing program |
| JP2014215719A (en) * | 2013-04-23 | 2014-11-17 | 株式会社東芝 | Vehicle model determination device |
| CN105809088B (en) * | 2014-12-30 | 2019-07-19 | 清华大学 | Vehicle identification method and system |
-
2015
- 2015-11-27 JP JP2015232165A patent/JP6685704B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017097783A (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6685704B2 (en) | Vehicle type identification device and vehicle type identification method | |
| US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
| EP2616768B1 (en) | A calibration apparatus, a distance measurement system, a calibration method and a calibration program | |
| JP6950170B2 (en) | Information processing device, imaging device, device control system, information processing method, and program | |
| JP6795027B2 (en) | Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs | |
| US9697430B2 (en) | Method and apparatus for identifying road signs | |
| EP3026651B1 (en) | Vehicle monitoring device and vehicle monitoring method | |
| US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
| US20200074212A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| US10832431B2 (en) | Image processing apparatus, object recognition apparatus, equipment control system, image processing method, and computer-readable recording medium | |
| EP2924671A1 (en) | Automatic automotive vehicle classification system | |
| JP2014146326A (en) | Detecting method and detecting system for multiple lane | |
| US10885351B2 (en) | Image processing apparatus to estimate a plurality of road surfaces | |
| EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| US20190001910A1 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| EP3115966A1 (en) | Object detection device, object detection method, and computer program | |
| JP2016184316A (en) | Vehicle type determination device and vehicle type determination method | |
| JP6733302B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| KR101818842B1 (en) | Driving assistant apparatus, distance detection method and width of lane detection method | |
| JP2009104232A (en) | Vehicle model discriminating device | |
| CN112304293B (en) | Road height detection method and device, readable storage medium and electronic equipment | |
| JP7036464B2 (en) | Object identification device, object identification method, and control program | |
| WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| US20180268228A1 (en) | Obstacle detection device | |
| JP6943092B2 (en) | Information processing device, imaging device, device control system, moving object, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170911 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170912 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6685704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |