JP6659929B2 - Road surface photographing system - Google Patents

Road surface photographing system Download PDF

Info

Publication number
JP6659929B2
JP6659929B2 JP2016021014A JP2016021014A JP6659929B2 JP 6659929 B2 JP6659929 B2 JP 6659929B2 JP 2016021014 A JP2016021014 A JP 2016021014A JP 2016021014 A JP2016021014 A JP 2016021014A JP 6659929 B2 JP6659929 B2 JP 6659929B2
Authority
JP
Japan
Prior art keywords
image
infrared
road surface
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016021014A
Other languages
Japanese (ja)
Other versions
JP2017138276A (en
Inventor
好幸 樅山
好幸 樅山
俊吾 松井
俊吾 松井
勇治 内田
勇治 内田
隆英 阪上
隆英 阪上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West Nippon Expressway Engineering Kansai Co., Ltd
Original Assignee
West Nippon Expressway Engineering Kansai Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West Nippon Expressway Engineering Kansai Co., Ltd filed Critical West Nippon Expressway Engineering Kansai Co., Ltd
Priority to JP2016021014A priority Critical patent/JP6659929B2/en
Publication of JP2017138276A publication Critical patent/JP2017138276A/en
Application granted granted Critical
Publication of JP6659929B2 publication Critical patent/JP6659929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Description

本発明は、道路路面の検査を主な目的として道路の撮影を行う道路路面撮影システムに関する。   The present invention relates to a road surface photographing system for photographing a road mainly for inspection of the road surface.

従来、赤外線検出器を搭載した車両を移動させることで道路等から放射される赤外線を走査、検出することで、道路等の検査を行う検査方法が知られている(例えば、特許文献1参照。)。しかしながら、赤外線による検査では、良好な検査結果が得られないという不都合があった(例えば、特許文献2の段落0008参照。)。   2. Description of the Related Art Conventionally, an inspection method for inspecting a road or the like by scanning and detecting infrared rays radiated from a road or the like by moving a vehicle equipped with an infrared detector is known (for example, see Patent Document 1). ). However, the inspection using infrared rays has a disadvantage that good inspection results cannot be obtained (for example, see paragraph 0008 of Patent Document 2).

そこで、赤外線検出器に加えて、ビデオカメラと電磁波レーダーとを併用することによって、欠陥の検出精度を向上する技術が知られている(例えば、特許文献2参照。)。   Therefore, there is known a technique for improving the defect detection accuracy by using a video camera and an electromagnetic wave radar in addition to the infrared detector (for example, see Patent Document 2).

特開昭60−89740号JP-A-60-89740 特開2002−257744号JP-A-2002-257744

しかしながら、特許文献2に記載の技術で用いられる電磁波レーダーは、コストが高いために、検査するための検査システムのコストが増大するという不都合があった。   However, the electromagnetic wave radar used in the technique described in Patent Document 2 has a disadvantage that the cost of an inspection system for inspection increases because the cost is high.

本発明の目的は、赤外線による検査精度を向上しつつ、コストを低減することが容易な道路路面撮影システムを提供することである。   SUMMARY OF THE INVENTION An object of the present invention is to provide a road and road surface photographing system that can easily reduce costs while improving inspection accuracy by infrared rays.

本発明に係る道路路面撮影システムは、路面を所定の第一方向に沿って走行する車両に取り付けられ、前記路面の赤外線による画像を、赤外撮像画像として撮像する赤外画像撮像部と、前記車両の走行距離を検出する走行距離検出部と、前記走行距離検出部によって検出された走行距離に基づき、前記車両が予め設定された基準距離走行する都度、前記赤外画像撮像部によって撮像を実行させる撮像制御部と、前記赤外画像撮像部によって撮像された前記赤外撮像画像に画像処理を施すことにより赤外線路面画像を生成する赤外画像処理部とを備え、前記赤外画像撮像部による前記路面の前記撮像範囲の、前記第一方向の長さは、前記基準距離の予め設定された設定数倍にされ、前記設定数は二以上の自然数であり、前記画像処理は、前記赤外画像撮像部により連続して撮像された複数の前記赤外撮像画像に基づくと共に前記路面に正対した画像である複数の正対画像を、前記各正対画像上での前記第一方向に対応する方向である第二方向に沿って、前記各正対画像上において前記路面における前記基準距離に対応する長さである基準画像長分、ずらしながら重ね合わせる重ね合わせ処理を含む。   The road surface imaging system according to the present invention is mounted on a vehicle traveling on a road surface in a predetermined first direction, an infrared image capturing unit that captures an image of the road surface using infrared light as an infrared image, A mileage detecting unit that detects a mileage of the vehicle, and an image is executed by the infrared imaging unit each time the vehicle travels a predetermined reference distance based on the mileage detected by the mileage detecting unit. An infrared image processing unit that generates an infrared road surface image by performing image processing on the infrared captured image captured by the infrared image capturing unit. The length of the imaging range of the road surface in the first direction is multiplied by a preset set number of the reference distance, the set number is a natural number of 2 or more, and the image processing is performed by the red processing. A plurality of directly-facing images based on the plurality of infrared-captured images continuously captured by the image capturing unit and corresponding to the road surface correspond to the first direction on each of the directly-facing images. And a superimposition process of superimposing on each of the directly-facing images while shifting by a reference image length, which is a length corresponding to the reference distance on the road surface, along the second direction that is the direction in which the road surface moves.

この構成によれば、車両を走行させつつ路面を赤外線で撮像した複数の赤外撮像画像を重ね合わせることにより赤外線路面画像が得られるので、赤外線路面画像の精度が向上する結果、赤外線による検査精度を向上することができる。また、背景技術のように、電磁波レーダーを用いなくてよいので、コストを低減することが容易である。また、重ね合わせられる複数の赤外撮像画像は、車両が予め設定された基準距離走行する都度、赤外画像撮像部によって撮像されたものであるため、重ね合わせられる複数の赤外撮像画像を得るために、複数の撮像手段を備える必要がない。   According to this configuration, since the infrared road surface image can be obtained by superimposing a plurality of infrared imaging images obtained by imaging the road surface with infrared light while the vehicle is traveling, the accuracy of the infrared road surface image is improved. Can be improved. Further, since it is not necessary to use an electromagnetic wave radar as in the background art, it is easy to reduce the cost. In addition, the plurality of superimposed infrared captured images are captured by the infrared image capturing unit each time the vehicle travels a preset reference distance, so that a plurality of superimposed infrared captured images is obtained. Therefore, there is no need to provide a plurality of imaging units.

また、前記赤外画像撮像部の撮像方向は、前記路面の垂線に対して傾斜しており、前記画像処理は、前記赤外画像撮像部により連続して撮像された前記各赤外撮像画像を、ホモグラフィ変換により前記正対画像に変換する正対変換処理を含むことが好ましい。   In addition, the imaging direction of the infrared image capturing unit is inclined with respect to a perpendicular to the road surface, and the image processing is performed on each of the infrared captured images continuously captured by the infrared image capturing unit. It is preferable to include a facing conversion process of converting the image into the facing image by homography conversion.

この構成によれば、車両に斜めに傾けて赤外画像撮像部を取り付けることによって、撮像可能な路面面積を増大することが容易である。   According to this configuration, it is easy to increase the imageable road surface area by attaching the infrared image capturing unit obliquely to the vehicle.

また、前記車両に取り付けられ、前記路面の可視光による画像を、可視撮像画像として撮像する可視画像撮像部をさらに備え、前記撮像制御部は、前記走行距離検出部によって検出された走行距離に基づき、前記可視画像撮像部による撮像を前記赤外画像撮像部と同期して行わせることが好ましい。   The image processing apparatus further includes a visible image capturing unit attached to the vehicle and configured to capture an image of the road surface using visible light as a visible captured image, wherein the image capturing control unit is configured to perform a process based on a travel distance detected by the travel distance detection unit. Preferably, the imaging by the visible image imaging unit is performed in synchronization with the infrared image imaging unit.

この構成によれば、路面の可視光による画像が可視撮像画像として撮像されるので、可視光による可視撮像画像と赤外線による赤外撮像画像との併用によって、道路の検査精度を向上させることが容易になる。また、可視画像撮像部による撮像が赤外画像撮像部と同期されるので、可視撮像画像と赤外撮像画像とで、同一の撮像位置の画像を対比させることが容易となる。   According to this configuration, since the image of the road surface with visible light is captured as the visible image, the road inspection accuracy can be easily improved by using both the visible image of visible light and the infrared image of infrared light. become. In addition, since the image pickup by the visible image pickup unit is synchronized with the infrared image pickup unit, it becomes easy to compare the images at the same image pickup position between the visible image pickup image and the infrared image pickup image.

また、前記走行距離検出部は、前記車両が予め設定された設定距離走行する都度、パルス信号を出力し、前記撮像制御部は、前記パルス信号に基づいて前記赤外画像撮像部による撮像と前記可視画像撮像部による撮像とを同期させることが好ましい。   The traveling distance detection unit outputs a pulse signal each time the vehicle travels a preset distance, and the imaging control unit performs imaging by the infrared imaging unit based on the pulse signal. It is preferable to synchronize the imaging with the visible image imaging unit.

この構成によれば、パルス信号に基づいて赤外画像撮像部による撮像と可視画像撮像部による撮像とを同期させるので、赤外画像撮像部による撮像と可視画像撮像部による撮像とを同期させることが容易である。   According to this configuration, the imaging by the infrared imaging unit and the imaging by the visible imaging unit are synchronized based on the pulse signal. Therefore, the imaging by the infrared imaging unit and the imaging by the visible imaging unit are synchronized. Is easy.

また、前記赤外線路面画像と、前記可視撮像画像とを、撮像された前記路面の位置が互いに対応するように表示する表示部をさらに備えることが好ましい。   It is preferable that the display device further includes a display unit that displays the infrared road surface image and the visible captured image so that the captured positions of the road surface correspond to each other.

この構成によれば、赤外線路面画像と、可視撮像画像とが、撮像された路面の位置が互いに対応するように表示されるので、可視撮像画像と赤外撮像画像とで、同一の撮像位置の画像を対比させることができる結果、道路の検査精度を向上させることが容易になる。   According to this configuration, the infrared road surface image and the visible captured image are displayed so that the captured road surface positions correspond to each other, so that the visible captured image and the infrared captured image have the same imaging position. As a result of comparing the images, it is easy to improve the road inspection accuracy.

また、前記車両をさらに備えることが好ましい。   Preferably, the vehicle further includes the vehicle.

この構成によれば、車両を含んで道路路面撮影システムが構成される。   According to this configuration, the road and road surface imaging system is configured to include the vehicle.

このような構成の道路路面撮影システムは、赤外線による検査精度を向上しつつ、コストを低減することが容易である。   The road surface photographing system having such a configuration can easily reduce the cost while improving the inspection accuracy by infrared rays.

本発明の一実施形態に係る道路路面撮影システムの構成を概念的に示す説明図である。FIG. 1 is an explanatory diagram conceptually showing a configuration of a road surface photographing system according to an embodiment of the present invention. 図1に示す撮像範囲と、撮像範囲の走行方向に沿う方向の長さ、基準距離、及び設定数との関係を説明するための説明図である。FIG. 2 is an explanatory diagram for describing a relationship between an imaging range illustrated in FIG. 1 and a length, a reference distance, and a set number in a direction along a traveling direction of the imaging range. 赤外画像処理部の正対変換処理について説明するための説明図である。FIG. 9 is an explanatory diagram for describing a facing conversion process of the infrared image processing unit. 赤外画像処理部によって実行される重ね合わせ処理について説明するための説明図である。FIG. 9 is an explanatory diagram for describing a superimposition process performed by an infrared image processing unit. 表示処理部によってディスプレイの表示画面に表示された赤外線路面画像と、可視撮像画像との一例を示す画面図である。FIG. 4 is a screen diagram illustrating an example of an infrared road surface image displayed on a display screen of a display by a display processing unit and a visible captured image.

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図1は、本発明の一実施形態に係る道路路面撮影システムの構成を概念的に示す説明図である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the drawings, configurations denoted by the same reference numerals indicate the same configurations, and the description thereof will be omitted. FIG. 1 is an explanatory view conceptually showing the configuration of a road surface photographing system according to one embodiment of the present invention.

図1に示す道路路面撮影システム1は、車両2、赤外線サーモグラフィーカメラ3(赤外画像撮像部)、ラインセンサカメラ4(可視画像撮像部)、走行距離検出部5、撮像制御部6、コンピュータ7、及びディスプレイ8(表示部)を備えている。   A road / road surface photographing system 1 shown in FIG. 1 includes a vehicle 2, an infrared thermography camera 3 (infrared image capturing unit), a line sensor camera 4 (visible image capturing unit), a mileage detecting unit 5, an image capturing control unit 6, and a computer 7. , And a display 8 (display unit).

車両2は、道路Rの路面RS上を走行する。図1に示す例では、紙面左方向が車両2の走行方向D1(第一方向)となっている。道路Rは、例えば高速道路である。道路Rは、床版R3、防水層R2、及び表層R1がこの順に積層されて構成されている。表層R1はアスファルト、防水層R2は水を通さない素材(例えば樹脂シート)の層、床版R3はコンクリートの板である。なお、床版R3の代わりに路盤が設けられていてもよい。   The vehicle 2 runs on the road surface RS of the road R. In the example illustrated in FIG. 1, the left direction in the drawing is the traveling direction D1 (first direction) of the vehicle 2. The road R is, for example, a highway. The road R is configured by stacking a floor slab R3, a waterproof layer R2, and a surface layer R1 in this order. The surface layer R1 is asphalt, the waterproof layer R2 is a layer of a material (for example, a resin sheet) that is impermeable to water, and the floor slab R3 is a concrete plate. In addition, a roadbed may be provided instead of the floor slab R3.

赤外線サーモグラフィーカメラ3は、赤外線による画像を撮像するカメラである。赤外線サーモグラフィーカメラ3は、後述するパルス信号P3のパルスタイミングで撮像を実行する。赤外線サーモグラフィーカメラ3は、車両2の、例えば後端上部に取り付けられている。赤外線サーモグラフィーカメラ3の撮像方向31は、車両2の後端上部から後方、かつ斜め下方に向けられている。撮像方向31は、赤外線サーモグラフィーカメラ3の光学系の光軸方向、あるいは赤外線サーモグラフィーカメラ3の撮像範囲32の中心と赤外線サーモグラフィーカメラ3を結ぶラインである。   The infrared thermography camera 3 is a camera that captures an image using infrared light. The infrared thermography camera 3 performs imaging at a pulse timing of a pulse signal P3 described later. The infrared thermography camera 3 is attached to the vehicle 2, for example, at the upper rear end. The imaging direction 31 of the infrared thermography camera 3 is directed rearward and obliquely downward from the upper rear end of the vehicle 2. The imaging direction 31 is a line connecting the optical axis direction of the optical system of the infrared thermography camera 3 or the center of the imaging range 32 of the infrared thermography camera 3 and the infrared thermography camera 3.

撮像方向31は、路面RSの垂線RVに対して傾斜している。路面RSの撮像範囲32の、走行方向D1に沿う方向の長さLaは、例えば1mとされている。撮像範囲32の走行方向D1と直交する方向の幅は、路面RSの幅(車両2が走行している車線の幅)よりも大きくされていることが好ましい。   The imaging direction 31 is inclined with respect to the perpendicular RV of the road surface RS. The length La of the imaging range 32 of the road surface RS in the direction along the traveling direction D1 is, for example, 1 m. It is preferable that the width of the imaging range 32 in the direction orthogonal to the traveling direction D1 is larger than the width of the road surface RS (the width of the lane in which the vehicle 2 is traveling).

このように、赤外線サーモグラフィーカメラ3を車両2の後端上部に取り付け、撮像方向31を路面RSの垂線RVに対して傾斜させることで、長さLaを増大させ、赤外線サーモグラフィーカメラ3によって撮像される路面RSの面積を増大させることができる。なお、赤外線サーモグラフィーカメラ3は、車両2の先端上部に取り付けられ、撮像方向31が前方かつ斜め下方に向けられていてもよい。また、赤外線サーモグラフィーカメラ3は、単一のカメラで構成される例に限らない。複数のカメラを組み合わせて赤外線サーモグラフィーカメラ3を構成し、複数のカメラの撮像範囲を合成して撮像範囲32としてもよい。   As described above, the infrared thermography camera 3 is attached to the upper rear end of the vehicle 2, and the imaging direction 31 is inclined with respect to the perpendicular RV of the road surface RS, so that the length La is increased and the image is taken by the infrared thermography camera 3. The area of the road surface RS can be increased. In addition, the infrared thermography camera 3 may be attached to the upper end of the front end of the vehicle 2, and the imaging direction 31 may be directed forward and obliquely downward. Further, the infrared thermography camera 3 is not limited to an example constituted by a single camera. The infrared thermography camera 3 may be configured by combining a plurality of cameras, and the imaging ranges of the plurality of cameras may be combined to form the imaging range 32.

ラインセンサカメラ4は、可視光による画像をライン状に撮像するカメラである。ラインセンサカメラ4は、後述するパルス信号P4のパルスタイミングで撮像を実行する。ラインセンサカメラ4は、例えば車両2の後端から後方に突出するように設けられ、下方を向いて撮像するようにされている。   The line sensor camera 4 is a camera that captures an image of visible light in a line. The line sensor camera 4 performs imaging at a pulse timing of a pulse signal P4 described later. The line sensor camera 4 is provided, for example, so as to protrude rearward from the rear end of the vehicle 2, and captures images downward.

ラインセンサカメラ4は、例えば走行方向D1と直交する方向(紙面奥行き方向)に延びるライン状に、路面RSを可視画像で撮像する。ラインセンサカメラ4の撮像範囲は、走行方向D1に沿う方向の長さLbが、例えば1mmとされている。ラインセンサカメラ4の撮像範囲の走行方向D1と直交する方向の幅は、赤外線サーモグラフィーカメラ3と同様、路面RSの幅(車両2が走行している車線の幅)よりも大きくされていることが好ましい。   The line sensor camera 4 captures the road surface RS as a visible image in a line shape extending in a direction perpendicular to the traveling direction D1 (a depth direction in the drawing). In the imaging range of the line sensor camera 4, the length Lb in the direction along the traveling direction D1 is, for example, 1 mm. The width of the imaging range of the line sensor camera 4 in the direction orthogonal to the traveling direction D1 may be larger than the width of the road surface RS (the width of the lane in which the vehicle 2 is traveling), similarly to the infrared thermography camera 3. preferable.

なお、ラインセンサカメラ4は、車両2の先端側に設けられていてもよい。また、ラインセンサカメラ4は、単一のカメラで構成される例に限らない。複数のカメラを組み合わせてラインセンサカメラ4を構成し、複数のカメラの撮像範囲を連結してラインセンサカメラ4の撮像範囲が構成されるようにしてもよい。   Note that the line sensor camera 4 may be provided on the front end side of the vehicle 2. Further, the line sensor camera 4 is not limited to an example constituted by a single camera. The line sensor camera 4 may be configured by combining a plurality of cameras, and the imaging range of the line sensor camera 4 may be configured by connecting the imaging ranges of the plurality of cameras.

走行距離検出部5は、例えば車両2の車体下部に、路面RSと対向するように配設されている。走行距離検出部5は、車両2の走行距離を検出する。具体的には、走行距離検出部5は、例えば車両2が予め設定された設定距離Ls走行する都度、パルス信号P5を出力することで、車両2の走行距離を検出する。設定距離Lsは、例えば10mmとされている。すなわち、走行距離検出部5は、車両2が10mm走行する都度、パルス信号P5を出力する。   The traveling distance detection unit 5 is disposed, for example, below the vehicle body of the vehicle 2 so as to face the road surface RS. The traveling distance detector 5 detects the traveling distance of the vehicle 2. Specifically, the traveling distance detection unit 5 detects the traveling distance of the vehicle 2 by, for example, outputting a pulse signal P5 every time the vehicle 2 travels a preset distance Ls. The set distance Ls is, for example, 10 mm. That is, the traveling distance detector 5 outputs the pulse signal P5 every time the vehicle 2 travels 10 mm.

走行距離検出部5としては、例えば市販の非接触速度計を用いることができ、例えば株式会社小野測器製の非接触速度計LC−5200を用いることができる。なお、走行距離検出部5は、車両2の走行距離を検出することができればよく、必ずしも設定距離Ls走行する都度パルス信号を出力するものに限らない。   As the traveling distance detection unit 5, for example, a commercially available non-contact velocimeter can be used, and for example, a non-contact velocimeter LC-5200 manufactured by Ono Sokki Co., Ltd. can be used. The traveling distance detection unit 5 only needs to be able to detect the traveling distance of the vehicle 2, and is not necessarily output a pulse signal every time the vehicle travels the set distance Ls.

撮像制御部6は、走行距離検出部5から出力されたパルス信号P5に基づいて、車両2が予め設定された基準距離Lc走行する都度、赤外線サーモグラフィーカメラ3によって撮像を実行させる。また、撮像制御部6は、パルス信号P5に基づいて、ラインセンサカメラ4による撮像を、赤外線サーモグラフィーカメラ3による撮像と同期して行わせる。   The imaging control unit 6 causes the infrared thermography camera 3 to execute imaging each time the vehicle 2 travels a preset reference distance Lc based on the pulse signal P5 output from the traveling distance detection unit 5. In addition, the imaging control unit 6 causes the line sensor camera 4 to perform imaging in synchronization with the imaging by the infrared thermography camera 3 based on the pulse signal P5.

具体的には、撮像制御部6は、パルス信号P5のパルス列を、逓倍する逓倍回路と分周する分周回路とを備えている。撮像制御部6は、例えばパルス信号P5のパルス列を10分周してパルス信号P3を生成し、このパルス信号P3を赤外線サーモグラフィーカメラ3へ出力する。パルス信号P5は、車両2が10mm走行する都度出力されるパルスであり、1パルスが10mmに対応しているから、パルス信号P3の1パルスは100mmに対応する。この場合、パルス信号P3はパルス信号P5が分周された信号であるから、パルス信号P3とパルス信号P5のパルスタイミングは同期している。   Specifically, the imaging control unit 6 includes a multiplying circuit for multiplying the pulse train of the pulse signal P5 and a frequency dividing circuit for dividing the frequency. The imaging control unit 6 generates a pulse signal P3 by dividing the pulse train of the pulse signal P5 by 10, for example, and outputs the pulse signal P3 to the infrared thermography camera 3. The pulse signal P5 is a pulse output every time the vehicle 2 travels 10 mm, and one pulse corresponds to 10 mm, so one pulse of the pulse signal P3 corresponds to 100 mm. In this case, since the pulse signal P3 is a signal obtained by dividing the frequency of the pulse signal P5, the pulse timings of the pulse signal P3 and the pulse signal P5 are synchronized.

また、撮像制御部6は、例えばパルス信号P5のパルス列を10逓倍してパルス信号P4を生成し、このパルス信号P4をラインセンサカメラ4へ出力する。パルス信号P5の1パルスは10mmに対応しているから、パルス信号P4の1パルスは1mmに対応する。この場合、パルス信号P4はパルス信号P5が逓倍された信号であるから、パルス信号P4とパルス信号P5のパルスタイミングは同期している。従って、パルス信号P3,P4は共にパルス信号P5と同期しているから、パルス信号P3とパルス信号P4も互いに同期している。   In addition, the imaging control unit 6 generates a pulse signal P4 by multiplying the pulse train of the pulse signal P5 by 10, for example, and outputs the pulse signal P4 to the line sensor camera 4. Since one pulse of the pulse signal P5 corresponds to 10 mm, one pulse of the pulse signal P4 corresponds to 1 mm. In this case, since the pulse signal P4 is a signal obtained by multiplying the pulse signal P5, the pulse timings of the pulse signal P4 and the pulse signal P5 are synchronized. Therefore, since the pulse signals P3 and P4 are both synchronized with the pulse signal P5, the pulse signals P3 and P4 are also synchronized with each other.

赤外線サーモグラフィーカメラ3は、パルス信号P3のパルスタイミングで撮像を実行するから、赤外線サーモグラフィーカメラ3は、車両2が100mm走行する都度撮像する。すなわち、撮像制御部6の分周回路によって、基準距離Lcは100mmに設定される。撮像範囲32の走行方向D1に沿う方向の長さLaは、上述の通り1mとされているから、長さLaは、基準距離Lcの10倍にされている。すなわち、予め設定された設定数Nsは10とされ、設定数Nsは二以上の自然数であり、長さLaは、基準距離Lcの設定数Ns倍とされている。   Since the infrared thermography camera 3 performs imaging at the pulse timing of the pulse signal P3, the infrared thermography camera 3 performs imaging each time the vehicle 2 travels 100 mm. That is, the reference distance Lc is set to 100 mm by the frequency dividing circuit of the imaging control unit 6. Since the length La of the imaging range 32 in the direction along the traveling direction D1 is 1 m as described above, the length La is set to ten times the reference distance Lc. That is, the preset set number Ns is set to 10, the set number Ns is a natural number of 2 or more, and the length La is set to be the set number Ns times the reference distance Lc.

図2は、図1に示す撮像範囲32と、長さLa、基準距離Lc、及び設定数Nsとの関係を説明するための説明図である。図2に示すように、赤外線サーモグラフィーカメラ3の撮像範囲32は、走行方向D1の長さLaが1m、撮像の都度ずれる基準距離Lcが100mmであるから、各撮像範囲32は、撮像の都度1m−100mm=90mmの範囲が重複する。   FIG. 2 is an explanatory diagram for explaining the relationship between the imaging range 32 shown in FIG. 1 and the length La, the reference distance Lc, and the set number Ns. As shown in FIG. 2, the imaging range 32 of the infrared thermography camera 3 has a length La of 1 m in the traveling direction D1 and a reference distance Lc that is shifted every time of imaging is 100 mm. The range of −100 mm = 90 mm overlaps.

そして、10回撮像が繰り返されると、符号a1で示すように、路面RSの位置A1の赤外線画像が10回(設定数Ns回)撮像されることになる。以後、符号a2〜a10で示すように、路面RSの位置A2〜A10の赤外線画像がそれぞれ10回(設定数Ns回)撮像される。これにより、道路路面撮影システム1によれば、車両2を走行させつつ、路面RSの同一位置の赤外線画像を、設定数Ns回撮像することができる。   Then, when the imaging is repeated ten times, the infrared image at the position A1 of the road surface RS is imaged ten times (the set number Ns), as indicated by reference numeral a1. Thereafter, as indicated by reference numerals a2 to a10, the infrared images at the positions A2 to A10 of the road surface RS are respectively captured 10 times (the set number Ns). Thus, according to the road and road surface imaging system 1, the infrared image at the same position on the road surface RS can be imaged a set number Ns times while the vehicle 2 is traveling.

なお、撮像が開始されてからの走行距離が、基準距離Lcの設定数Ns−1倍以下の範囲、すなわち撮像開始からの走行距離が100mm×9=900mm以下の位置範囲では、撮像回数が9回以下になる。従って、撮像が開始されてからの走行距離が基準距離Lcの設定数Ns倍に満たない範囲で撮像された画像データは、削除してもよく、あるいは画像精度が低い参考データとしてもよい。   Note that in the range where the travel distance from the start of imaging is equal to or less than the set number Ns-1 times the reference distance Lc, that is, in the position range where the travel distance from the start of imaging is 100 mm × 9 = 900 mm or less, the number of times of imaging is nine. Times or less. Therefore, image data captured in a range where the traveling distance from the start of the imaging is less than the set number Ns times of the reference distance Lc may be deleted, or may be used as reference data with low image accuracy.

一方、ラインセンサカメラ4は、パルス信号P4のパルスタイミングで撮像を実行するから、ラインセンサカメラ4は、車両2が1mm走行する都度撮像する。また、上述したとおり、ラインセンサカメラ4の撮像範囲は、走行方向D1に沿う方向の長さLbが1mmである。すなわち、撮像制御部6の逓倍回路によって、撮像範囲の走行方向D1に沿う方向の長さLbと、撮像の都度ずれる撮像位置のずれ量とが等しくされている。これにより、ラインセンサカメラ4は、路面RSの可視光画像を走査するように連続的に撮影することで、可視撮像画像Gkを生成する。   On the other hand, since the line sensor camera 4 performs imaging at the pulse timing of the pulse signal P4, the line sensor camera 4 captures an image every time the vehicle 2 travels 1 mm. Further, as described above, the length Lb of the imaging range of the line sensor camera 4 in the direction along the traveling direction D1 is 1 mm. That is, the length Lb of the imaging range along the traveling direction D1 is made equal to the shift amount of the imaging position that is shifted each time imaging is performed by the multiplying circuit of the imaging control unit 6. Thus, the line sensor camera 4 generates a visible captured image Gk by continuously capturing the visible light image of the road surface RS so as to scan the visible light image.

また、パルス信号P3とパルス信号P4が互いに同期しているから、ラインセンサカメラ4と赤外線サーモグラフィーカメラ3の撮像タイミングも同期している。従って、ラインセンサカメラ4で撮像された可視光画像と赤外線サーモグラフィーカメラ3で撮像された赤外線画像とで、同一の位置で撮像された画像同士を対応付けることが容易である。   Since the pulse signal P3 and the pulse signal P4 are synchronized with each other, the imaging timings of the line sensor camera 4 and the infrared thermography camera 3 are also synchronized. Therefore, it is easy to associate the images captured at the same position with the visible light image captured by the line sensor camera 4 and the infrared image captured by the infrared thermography camera 3.

ディスプレイ8は、液晶表示装置等のいわゆるディスプレイ表示装置である。なお、表示部は、ディスプレイ表示装置に限らない。例えば紙媒体に印刷することで画像を表示するプリンターであってもよい。   The display 8 is a so-called display device such as a liquid crystal display device. The display unit is not limited to the display device. For example, a printer that displays an image by printing on a paper medium may be used.

コンピュータ7としては、いわゆるパーソナルコンピュータ等、種々のコンピュータを用いることができる。コンピュータ7は、例えば所定の演算処理を実行するCPU(Central Processing Unit)と、一時的にデータを記憶するRAM(Random Access Memory)と、所定の制御プログラム等を記憶する不揮発性の記憶部であるHDD(Hard Disk Drive)と、赤外線サーモグラフィーカメラ3及びラインセンサカメラ4から出力された画像データを受信するためのインターフェイス回路と、これらの周辺回路等とを備えて構成されている。コンピュータ7は、例えばHDDに記憶された制御プログラムを実行することによって、赤外画像処理部71、画像記憶部72、及び表示処理部73として機能する。   As the computer 7, various computers such as a so-called personal computer can be used. The computer 7 is, for example, a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a RAM (Random Access Memory) that temporarily stores data, and a non-volatile storage unit that stores a predetermined control program and the like. The system includes an HDD (Hard Disk Drive), an interface circuit for receiving image data output from the infrared thermography camera 3 and the line sensor camera 4, and peripheral circuits thereof. The computer 7 functions as an infrared image processing unit 71, an image storage unit 72, and a display processing unit 73, for example, by executing a control program stored in the HDD.

赤外画像処理部71は、正対変換処理と、重ね合わせ処理とを実行する。正対変換処理は、赤外線サーモグラフィーカメラ3により連続して撮像された各赤外撮像画像G1を、ホモグラフィ変換により正対画像G2に変換する処理である。重ね合わせ処理は、各正対画像G2を、それらの各正対画像上での走行方向D1に対応する方向である走行方向D2(第二方向)に沿って、それらの各正対画像G2上において路面RSにおける基準距離Lcに対応する基準画像長Lg分、ずらしながら重ね合わせる処理である。   The infrared image processing unit 71 performs a facing conversion process and a superposition process. The facing conversion process is a process of converting each infrared captured image G1 continuously captured by the infrared thermography camera 3 into a facing image G2 by homography conversion. The superimposition process is performed on each of the directly-facing images G2 along a traveling direction D2 (second direction) that is a direction corresponding to the traveling direction D1 on each of the directly-facing images. Is a process of superimposing while shifting the reference image length Lg corresponding to the reference distance Lc on the road surface RS.

図3は、赤外画像処理部71の正対変換処理について説明するための説明図である。赤外線サーモグラフィーカメラ3の撮像方向31は、路面RSの垂線RVに対して傾斜しているので、実際の地面に対する撮像範囲32は、(1)で示すように台形形状となっている。このように台形形状の撮像範囲32の画像が、赤外線サーモグラフィーカメラ3によって撮像されると、(2)で示すように外形が矩形の赤外撮像画像G1となる。その結果、検査対象の路面RSの画像が、いわゆる遠近法のように遠方が細くなる形状となるため、その実際の路面RSと赤外撮像画像G1に写っている路面RSの画像との縮尺倍率が、路面RSの画像位置によって異なる。   FIG. 3 is an explanatory diagram for describing the facing conversion process of the infrared image processing unit 71. Since the imaging direction 31 of the infrared thermography camera 3 is inclined with respect to the perpendicular RV of the road surface RS, the actual imaging range 32 with respect to the ground has a trapezoidal shape as shown in (1). When the image of the trapezoidal imaging range 32 is captured by the infrared thermography camera 3, an infrared captured image G1 having a rectangular outer shape as shown in (2). As a result, the image of the road surface RS to be inspected has a shape in which the distance becomes narrow as in the so-called perspective method. Therefore, the scale magnification of the actual road surface RS and the image of the road surface RS shown in the infrared image G1. Varies depending on the image position of the road surface RS.

しかしながら、重ね合わせ処理を実行するためには、撮影位置をずらしながら撮像された複数の赤外撮像画像G1について、同一位置が撮像された画像同士で縮尺倍率が同一でなければ画像を重ね合わすことができない。そこで、路面RSに対して正対して撮像する仮想カメラV、すなわち撮像方向が路面RSに対して垂直な仮想カメラVを仮定する。そして、(3)で示すように、赤外撮像画像G1を、このような仮想カメラVで路面RSを撮像した場合に得られる正対画像G2に変換する。   However, in order to perform the superimposition process, it is necessary to superimpose images of a plurality of infrared captured images G1 that are captured while shifting the capturing positions unless the scale magnifications of the images captured at the same position are the same. Can not. Therefore, it is assumed that the virtual camera V directly captures an image of the road surface RS, that is, the virtual camera V whose imaging direction is perpendicular to the road surface RS. Then, as shown in (3), the infrared captured image G1 is converted into a directly-facing image G2 obtained when the road surface RS is captured by such a virtual camera V.

赤外画像処理部71は、ホモグラフィ変換(homography)として知られている画像処理方法を用いて赤外撮像画像G1を正対画像G2に変換する。赤外画像処理部71は、赤外線サーモグラフィーカメラ3によって赤外撮像画像G1が撮像される都度正対画像G2に変換してもよく、複数の赤外撮像画像G1を一旦記憶部に記憶させておき、後ほど記憶部から各赤外撮像画像G1を読み出して正対画像G2に変換してもよい。   The infrared image processing unit 71 converts the infrared captured image G1 into a directly-facing image G2 using an image processing method known as homography conversion (homography). The infrared image processing unit 71 may convert the infrared image G1 into the directly-facing image G2 each time the infrared image G1 is captured by the infrared thermography camera 3, and temporarily store the plurality of infrared images G1 in the storage unit. Alternatively, each infrared captured image G1 may be read from the storage unit and converted to the directly-facing image G2 later.

次に、重ね合わせ処理について説明する。図4は、赤外画像処理部71によって実行される重ね合わせ処理について説明するための説明図である。図4に示す正対画像G2の外縁が、撮像範囲32に対応している。   Next, the superposition processing will be described. FIG. 4 is an explanatory diagram for describing a superposition process performed by the infrared image processing unit 71. The outer edge of the facing image G2 illustrated in FIG. 4 corresponds to the imaging range 32.

赤外画像処理部71は、重ね合わせ処理によって、正対変換処理により得られた複数の正対画像G2を、元となる赤外撮像画像G1が撮像された順に、走行方向D2へ基準画像長Lgずつずらしながら重ね合わせることにより、赤外線路面画像G3を生成する。この場合、撮像が開始されてからの走行距離が、基準距離Lcの設定数Ns−1倍以下の範囲、すなわち撮像開始からの走行距離が100mm×9=900mm以下の位置範囲が撮像された正対画像G2の数は、設定数Nsに満たないので、この範囲に対応する部分の画像は削除してもよく、あるいは画像精度が低い参考データとしてもよい。   The infrared image processing unit 71 converts the plurality of facing images G2 obtained by the facing conversion process by the superimposition process into a reference image length in the traveling direction D2 in the order in which the original infrared captured image G1 was captured. An infrared road surface image G3 is generated by superimposing the images while shifting each Lg. In this case, the range in which the travel distance from the start of imaging is less than or equal to the set number Ns-1 times the reference distance Lc, that is, the position range in which the travel distance from the start of imaging is 100 mm × 9 = 900 mm or less, is positive. Since the number of pairs of images G2 is less than the set number Ns, the image corresponding to this range may be deleted, or may be used as reference data with low image accuracy.

撮像が開始されてからの走行距離が基準距離Lcの設定数Ns−1倍を超える範囲、すなわち撮像開始からの走行距離が900mmを超える位置範囲については、その位置の路面RSが撮像された正対画像G2が、設定数Ns重ね合わせられる。   In a range where the traveling distance from the start of the imaging exceeds the set number Ns-1 times the reference distance Lc, that is, in a position range where the traveling distance from the start of the imaging exceeds 900 mm, the correct value of the road surface RS at that position is taken. The paired images G2 are superimposed by the set number Ns.

重ね合わせは、各正対画像G2について、基準画像長Lgずつずらした状態で互いに対応する位置の各画素値を、積算する処理であってもよく、その各画素値を平均する処理であってもよい。このように、複数の正対画像G2について、路面RSの同一位置に対応する複数(設定数Ns)の画素値を重ね合わせることによって、赤外線路面画像G3が得られる。   The superimposition may be a process of integrating respective pixel values at corresponding positions with respect to each of the facing images G2 while being shifted by the reference image length Lg, and averaging the pixel values. Is also good. As described above, the infrared road surface image G3 is obtained by superimposing a plurality of (set number Ns) pixel values corresponding to the same position on the road surface RS with respect to the plurality of facing images G2.

図1を参照して画像記憶部72は、赤外画像処理部71によって生成された赤外線路面画像G3と、ラインセンサカメラ4によって撮像された可視撮像画像Gkとを記憶部に記憶させる。表示処理部73は、記憶部から、赤外線路面画像G3と、可視撮像画像Gkとを読み出して、撮像された路面RSの位置が互いに対応するようにディスプレイ8に表示させる。このとき、赤外線路面画像G3と、可視撮像画像Gkとは、パルス信号P5に基づき、同期したタイミングで撮像されているので、互いの位置関係を対応させるのが容易である。   With reference to FIG. 1, the image storage unit 72 stores the infrared road surface image G3 generated by the infrared image processing unit 71 and the visible captured image Gk captured by the line sensor camera 4 in the storage unit. The display processing unit 73 reads the infrared road surface image G3 and the visible captured image Gk from the storage unit, and causes the display 8 to display the captured road surface RS such that the positions of the road surface RS correspond to each other. At this time, since the infrared road surface image G3 and the visible image Gk are imaged at synchronized timing based on the pulse signal P5, it is easy to make the mutual positional relationship correspond.

赤外線路面画像G3を生成する過程で、画像の重ね合わせ数が設定数Nsに満たない部分を削除した場合は、対応する長さ分、可視撮像画像Gkの先頭部分を削除すればよい。また、赤外線路面画像G3を生成する過程で、画像の重ね合わせ数が設定数Nsに満たない部分を削除しなかった場合は、そのまま赤外線路面画像G3と、可視撮像画像Gkとを用いればよい。これにより、赤外線路面画像G3の先頭位置と、可視撮像画像Gkの先頭位置とを揃えることで、互いの位置関係を対応させることができる。   In the process of generating the infrared road surface image G3, if a portion where the number of superimposed images is less than the set number Ns is deleted, the head portion of the visible captured image Gk may be deleted by a corresponding length. In addition, in the process of generating the infrared road surface image G3, if a portion where the number of superimposed images is less than the set number Ns is not deleted, the infrared road surface image G3 and the visible captured image Gk may be used as they are. Thus, by aligning the head position of the infrared road surface image G3 and the head position of the visible captured image Gk, it is possible to make the mutual positional relationship correspond.

図5は、表示処理部73によってディスプレイ8の表示画面Gdに表示された赤外線路面画像G3と、可視撮像画像Gkとの一例を示す画面図である。図5に示す例では、赤外線路面画像G3と、可視撮像画像Gkとを、互いの位置関係を上下に並べて対応させている。なお、位置関係の対応は、左右に並べて対応させてもよく、あるいは赤外線路面画像G3と、可視撮像画像Gkとを重ねて表示することで対応させてもよい。   FIG. 5 is a screen diagram illustrating an example of the infrared road surface image G3 and the visible captured image Gk displayed on the display screen Gd of the display 8 by the display processing unit 73. In the example illustrated in FIG. 5, the infrared road surface image G3 and the visible captured image Gk are associated with each other by arranging the positional relationship between them vertically. Incidentally, the correspondence of the positional relationship may be arranged side by side and left or right, or the infrared road surface image G3 and the visible image Gk may be displayed in a superimposed manner.

まず、ラインセンサカメラ4により可視光で撮像された可視撮像画像Gkを見ると、略矩形形状の画像B1,B2や、線状の画像B3、B4が写っている。この画像B1,B2は、道路Rの表層R1を補修した後であり、道路Rの欠陥ではない。一方、画像B3、B4は、道路のひび割れである可能性が高い。このように、可視撮像画像Gkによれば、表層R1の補修跡やひび割れなど、路面RSの状態を確認することができる。   First, when viewing the visible image Gk captured by the line sensor camera 4 with visible light, substantially rectangular images B1 and B2 and linear images B3 and B4 are shown. The images B1 and B2 are after repairing the surface layer R1 of the road R and are not defects of the road R. On the other hand, the images B3 and B4 are likely to be road cracks. As described above, according to the visible captured image Gk, the state of the road surface RS such as repair marks and cracks on the surface layer R1 can be confirmed.

次に、赤外線サーモグラフィーカメラ3によって撮像された赤外撮像画像G1に基づく赤外線路面画像G3を見ると、可視撮像画像Gkの画像B1,B2に対応する位置に、画像B1,B2と同様の矩形をした画像B5,B6が認められる。画像B5,B6は、表層R1の補修に使われた補修材料が、他の部分と異なっているために生じた温度差が、赤外撮像画像G1の画像B5,B6として現れたものである。このように、赤外線路面画像G3と可視撮像画像Gkとを対比することによって、画像B5,B6は、道路Rの欠陥ではないと判断できる。   Next, when an infrared road surface image G3 based on the infrared captured image G1 captured by the infrared thermographic camera 3 is viewed, a rectangle similar to the images B1 and B2 is located at a position corresponding to the images B1 and B2 of the visible captured image Gk. Images B5 and B6 are recognized. In the images B5 and B6, the temperature difference generated because the repair material used for repairing the surface layer R1 is different from the other portions appears as the images B5 and B6 of the infrared image G1. Thus, by comparing the infrared road surface image G3 with the visible image Gk, it can be determined that the images B5 and B6 are not defects of the road R.

一方、可視撮像画像Gkの画像B3,B4に対応する赤外線路面画像G3の位置に、黒い影のような画像B7、B8が写っている。この場合、道路Rのひび割れから表層R1に染みこんだ雨水が、防水層R2の上に溜まっていたり、雨水の浸食で空洞ができていたりするといった欠陥が生じていると判断できる。画像B9〜B11のような画像ムラ、すなわち温度ムラが生じている場合にも、表層R1の浸食や、床版R3のクラック等の欠陥が生じていると判断することができる。   On the other hand, black shadow-like images B7 and B8 appear at the position of the infrared road surface image G3 corresponding to the images B3 and B4 of the visible captured image Gk. In this case, it can be determined that a defect such as rainwater that has permeated into the surface layer R1 from a crack in the road R has accumulated on the waterproof layer R2 or a cavity has been formed due to erosion of the rainwater. Even when image unevenness such as images B9 to B11, that is, temperature unevenness occurs, it can be determined that defects such as erosion of surface layer R1 and cracks of floor slab R3 have occurred.

このように、道路路面撮影システム1によれば、複数の赤外撮像画像G1を重ね合わせて赤外線路面画像G3を生成するので、画素値の加算により重ね合わせた場合には、道路の欠陥により生じた微小な赤外線レベルの違いが増大されて赤外線路面画像G3でその欠陥を確認することが容易になり、画素値の平均により重ね合わせた場合には、赤外撮像画像G1のノイズ成分がキャンセルされて本来の道路欠陥により生じた画像が精度よく表示される結果、その欠陥を確認することが容易になる。   As described above, according to the road surface photographing system 1, the infrared road surface image G3 is generated by superimposing the plurality of infrared captured images G1. The slight difference in the infrared level is increased, so that the defect can be easily confirmed in the infrared road surface image G3. When the pixels are superimposed by averaging the pixel values, the noise component of the infrared captured image G1 is canceled. As a result, the image generated by the original road defect is displayed with high accuracy, and the defect can be easily confirmed.

また、赤外線路面画像G3と可視撮像画像Gkとを対比させてその画像を確認することができるので、道路の欠陥状況をより詳細に確認することが可能となる。   In addition, since the infrared road surface image G3 and the visible image Gk can be compared with each other and the images can be confirmed, it is possible to confirm the defect state of the road in more detail.

このように、道路路面撮影システム1によれば、赤外線による検査精度を向上することができる。また、背景技術のように、電磁波レーダーを用いなくてもよいので、コストを低減することが容易である。   As described above, according to the road and road surface imaging system 1, the inspection accuracy by infrared rays can be improved. Also, unlike the related art, it is not necessary to use the electromagnetic wave radar, so that the cost can be easily reduced.

なお、コンピュータ7及びディスプレイ8を車両2に搭載する例を示したが、必ずしもコンピュータ7及びディスプレイ8は、車両2に搭載されていなくてもよい。例えば、コンピュータ7及びディスプレイ8は、車両2外の建屋内に設置されていてもよい。この場合、赤外撮像画像G1や可視撮像画像Gkを、記憶媒体に記憶しておいてコンピュータ7に供給したり、あるいは無線通信手段等を用いてコンピュータ7へ送信したりしてもよい。コンピュータ7は、このようにして得られた赤外撮像画像G1及び可視撮像画像Gkから赤外線路面画像G3を生成し、赤外線路面画像G3と可視撮像画像Gkとをディスプレイ8に表示させる構成としてもよい。あるいは、コンピュータ7の一部とディスプレイ8とを、車両2外の建屋内に設置してもよい。例えば、表示処理部73及びディスプレイ8は、車両2外の建屋内に設置されていてもよい。そして、赤外線路面画像G3と可視撮像画像Gkとを、記憶媒体又は無線通信手段等によって表示処理部73へ供給するようにしてもよい。   Although the example in which the computer 7 and the display 8 are mounted on the vehicle 2 has been described, the computer 7 and the display 8 do not necessarily have to be mounted on the vehicle 2. For example, the computer 7 and the display 8 may be installed in a building outside the vehicle 2. In this case, the infrared captured image G1 and the visible captured image Gk may be stored in a storage medium and supplied to the computer 7, or may be transmitted to the computer 7 using wireless communication means or the like. The computer 7 may be configured to generate an infrared road surface image G3 from the infrared captured image G1 and the visible captured image Gk thus obtained, and display the infrared road surface image G3 and the visible captured image Gk on the display 8. . Alternatively, a part of the computer 7 and the display 8 may be installed in a building outside the vehicle 2. For example, the display processing unit 73 and the display 8 may be installed in a building outside the vehicle 2. Then, the infrared road surface image G3 and the visible captured image Gk may be supplied to the display processing unit 73 by a storage medium or a wireless communication unit.

また、道路路面撮影システム1は、必ずしもラインセンサカメラ4を備えていなくてもよく、可視撮像画像Gkを表示しない構成としてもよい。また、赤外線サーモグラフィーカメラ3の撮像方向31は、必ずしも路面RSの垂線RVに対して傾斜していなくてもよく、赤外線サーモグラフィーカメラ3が路面RSに対して正対して配設され、撮像方向31が路面RSの垂線RVと一致していてもよい。この場合、赤外画像処理部71は、正対変換処理を実行しなくてもよく、赤外撮像画像G1をそのまま正対画像G2として用いることができる。   In addition, the road surface photographing system 1 does not necessarily need to include the line sensor camera 4, and may be configured not to display the visible photographed image Gk. In addition, the imaging direction 31 of the infrared thermography camera 3 does not necessarily need to be inclined with respect to the perpendicular RV of the road surface RS, and the infrared thermography camera 3 is disposed so as to face the road surface RS, and the imaging direction 31 is set. It may coincide with the perpendicular RV of the road surface RS. In this case, the infrared image processing unit 71 does not need to execute the facing conversion process, and can use the infrared captured image G1 as it is as the facing image G2.

1 道路路面撮影システム
2 車両
3 赤外線サーモグラフィーカメラ(赤外画像撮像部)
4 ラインセンサカメラ(可視画像撮像部)
5 走行距離検出部
6 撮像制御部
7 コンピュータ
8 ディスプレイ(表示部)
31 撮像方向
32 撮像範囲
71 赤外画像処理部
72 画像記憶部
73 表示処理部
D1 走行方向(第一方向)
D2 走行方向(第二方向)
G1 赤外撮像画像
G2 正対画像
G3 赤外線路面画像
Gd 表示画面
Gk 可視撮像画像
Lc 基準距離
Lg 基準画像長
Ls 設定距離
Ns 設定数
P3,P4,P5 パルス信号
R 道路
R1 表層
R2 防水層
R3 床版
RS 路面
RV 垂線
V 仮想カメラ
DESCRIPTION OF SYMBOLS 1 Road surface photographing system 2 Vehicle 3 Infrared thermography camera (infrared image pickup part)
4 Line sensor camera (visible image pickup unit)
5 running distance detection unit 6 imaging control unit 7 computer 8 display (display unit)
31 imaging direction 32 imaging range 71 infrared image processing unit 72 image storage unit 73 display processing unit D1 running direction (first direction)
D2 Running direction (second direction)
G1 Infrared captured image G2 Facing image G3 Infrared road surface image Gd Display screen Gk Visible captured image Lc Reference distance Lg Reference image length Ls Set distance Ns Set number P3, P4, P5 Pulse signal R Road R1 Surface R2 Waterproof layer R3 Floor slab RS Road surface RV Vertical line V Virtual camera

Claims (6)

路面を所定の第一方向に沿って走行する車両に取り付けられ、前記路面の赤外線による画像を、赤外撮像画像として撮像する赤外画像撮像部と、
前記車両の走行距離を検出する走行距離検出部と、
前記走行距離検出部によって検出された走行距離に基づき、前記車両が予め設定された基準距離走行する都度、前記赤外画像撮像部によって、所定の撮像範囲を1回、像させる撮像制御部と、
前記赤外画像撮像部によって撮像された前記赤外撮像画像に画像処理を施すことにより赤外線路面画像を生成する赤外画像処理部と
前記車両に取り付けられ、前記路面の可視光による画像を、可視撮像画像として撮像する可視画像撮像部とを備え、
前記撮像制御部は、前記走行距離検出部によって検出された走行距離に基づき、前記可視画像撮像部による撮像を、前記赤外画像撮像部による前記1回毎の撮像と同期して行わせる道路路面撮影システム。
An infrared image capturing unit attached to a vehicle traveling on a road surface in a predetermined first direction, and capturing an infrared image of the road surface as an infrared captured image.
A traveling distance detection unit that detects a traveling distance of the vehicle,
Based on the running distance detected by the travel distance detection unit, said each time a vehicle is the reference distance travel is preset by the infrared imaging unit once a predetermined imaging range, shooting imaging control unit for an image When,
An infrared image processing unit that generates an infrared road surface image by performing image processing on the infrared captured image captured by the infrared image capturing unit ,
Mounted on the vehicle, an image of visible light of the road surface, e Bei a visible image capturing unit that captures a visible captured images,
A road control unit configured to cause the visible image capturing unit to perform imaging in synchronization with the one-time imaging by the infrared image capturing unit based on the traveling distance detected by the traveling distance detection unit; Shooting system.
前記赤外画像撮像部による前記路面の前記撮像範囲の、前記第一方向の長さは、前記基準距離の予め設定された設定数倍にされ、前記設定数は二以上の自然数であり、The length of the imaging range of the road surface by the infrared image capturing unit, the length in the first direction is set to a preset multiple of the reference distance, the set number is a natural number of 2 or more,
前記画像処理は、前記赤外画像撮像部により連続して撮像された複数の前記赤外撮像画像に基づくと共に前記路面に正対した画像である複数の正対画像を、前記各正対画像上での前記第一方向に対応する方向である第二方向に沿って、前記各正対画像上において前記路面における前記基準距離に対応する長さである基準画像長分、ずらしながら重ね合わせる重ね合わせ処理を含む請求項1に記載の道路路面撮影システム。  The image processing is based on the plurality of infrared captured images continuously captured by the infrared image capturing unit and, on each of the directly-facing images, a plurality of directly-facing images that are images directly facing the road surface. In the second direction, which is the direction corresponding to the first direction, on each of the directly-facing images, the image is overlapped while being shifted by a reference image length that is a length corresponding to the reference distance on the road surface. The road surface photographing system according to claim 1 including processing.
前記赤外画像撮像部の撮像方向は、前記路面の垂線に対して傾斜しており、
前記画像処理は、前記赤外画像撮像部により連続して撮像された前記各赤外撮像画像を、ホモグラフィ変換により前記正対画像に変換する正対変換処理を含む請求項1又は2に記載の道路路面撮影システム。
The imaging direction of the infrared image imaging unit is inclined with respect to a perpendicular to the road surface,
The image processing according to each of the infrared image captured in succession by said infrared imaging unit, to claim 1 or 2 including a confronting conversion processing for converting the confronting images by homography transformation Road surface shooting system.
前記走行距離検出部は、前記車両が予め設定された設定距離走行する都度、パルス信号を出力し、
前記撮像制御部は、前記パルス信号に基づいて前記赤外画像撮像部による前記1回毎の撮像と前記可視画像撮像部による撮像とを同期させる請求項1〜3のいずれか1項に記載の道路路面撮影システム。
The travel distance detection unit outputs a pulse signal each time the vehicle travels a preset set distance,
The imaging control unit according to claim 1, to synchronize the imaging based on the pulse signal with the imaging of each of the one by the infrared imaging unit by the visible image capturing unit Road surface imaging system.
前記赤外線路面画像と、前記可視撮像画像とを、撮像された前記路面の位置が互いに対応するように表示する表示部をさらに備える請求項1〜4のいずれか1項に記載の道路路面撮影システム。 The road surface photographing system according to any one of claims 1 to 4, further comprising a display unit configured to display the infrared road surface image and the visible image so that positions of the photographed road surface correspond to each other. . 前記車両をさらに備える請求項1〜5いずれか1項に記載の道路路面撮影システム。   The road surface photographing system according to claim 1, further comprising the vehicle.
JP2016021014A 2016-02-05 2016-02-05 Road surface photographing system Active JP6659929B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016021014A JP6659929B2 (en) 2016-02-05 2016-02-05 Road surface photographing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016021014A JP6659929B2 (en) 2016-02-05 2016-02-05 Road surface photographing system

Publications (2)

Publication Number Publication Date
JP2017138276A JP2017138276A (en) 2017-08-10
JP6659929B2 true JP6659929B2 (en) 2020-03-04

Family

ID=59564970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016021014A Active JP6659929B2 (en) 2016-02-05 2016-02-05 Road surface photographing system

Country Status (1)

Country Link
JP (1) JP6659929B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216393A1 (en) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 Road surface state estimating method, road surface state estimating device, and road surface state estimating system
CN109142441A (en) * 2018-10-25 2019-01-04 枣庄学院 A kind of Mobile detection device and its detection method identifying potential road frost boiling
CN113853515B (en) 2019-05-30 2024-03-19 松下知识产权经营株式会社 Stress analysis device for moving object
KR102466333B1 (en) * 2022-07-01 2022-11-17 주식회사 대한이앤씨 System for investigating defects of bridge pavement surface, and method for the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5649944A (en) * 1979-10-01 1981-05-06 Mitsubishi Chem Ind Ltd Method and device for detecting defect of moving sheetlike article
JP2005016991A (en) * 2003-06-24 2005-01-20 Railway Technical Res Inst Infrared structure diagnosis system
US8094970B2 (en) * 2006-08-30 2012-01-10 Toyota Mapmaster Incorporated Road image creation system
KR100758705B1 (en) * 2007-02-01 2007-09-21 위성동 Construction of aautomatic measurement system for road pavement surface condition
JP5066219B2 (en) * 2010-05-11 2012-11-07 株式会社補修技術設計 Concrete plate deterioration inspection system
JP5276154B2 (en) * 2011-11-25 2013-08-28 株式会社パスコ Clogging evaluation device and clogging evaluation program
JP5938327B2 (en) * 2012-10-23 2016-06-22 西日本高速道路エンジニアリング関西株式会社 Road surface photographing system and tunnel wall surface photographing system

Also Published As

Publication number Publication date
JP2017138276A (en) 2017-08-10

Similar Documents

Publication Publication Date Title
JP6659929B2 (en) Road surface photographing system
JP5615441B2 (en) Image processing apparatus and image processing method
JP5602324B1 (en) Road measurement system
JP6296477B2 (en) Method and apparatus for determining the three-dimensional coordinates of an object
JP6209833B2 (en) Inspection tool, inspection method, stereo camera production method and system
JP2012198075A (en) Stereoscopic camera device and image adjusting method
KR101371065B1 (en) A System and Method for phtographing the car
JP3994217B2 (en) Abnormal point detection system by image processing
WO2011033569A1 (en) Image processing device and image processing method
JP2010016805A (en) Image processing apparatus, driving support system, and image processing method
TW201250201A (en) Tire surface shape measuring device and tire surface shape measuring method
JP6938107B1 (en) How to measure road surface damage
JP7102890B2 (en) Path simulation device
JP2019164138A (en) Information processing device, mobile body, image processing system, and information processing method
WO2011049118A1 (en) Road surface image capturing/editing device and road surface image capturing/editing program
JP5628068B2 (en) Tunnel wall development image acquisition system
JP2008292278A (en) Optical deviation detection method of distance detection device, and distance detection device
JP4551990B2 (en) Panorama video creation method and creation device
JP2012227773A (en) Image recognition device
JP4319834B2 (en) Imaging device for concrete surface and outer wall of building, and imaging method for concrete surface and outer wall of building
JP5881246B2 (en) Imaging device using line sensor camera
JP2011097640A (en) Image inspection method and image inspection apparatus
JP5848563B2 (en) In-vehicle camera
JP2005038035A (en) Image processor, image processing method and program
JP6207435B2 (en) Moving body mounted photography system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191219

R150 Certificate of patent or registration of utility model

Ref document number: 6659929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250