JP6905956B2 - Crack change determination device and method - Google Patents
Crack change determination device and method Download PDFInfo
- Publication number
- JP6905956B2 JP6905956B2 JP2018106070A JP2018106070A JP6905956B2 JP 6905956 B2 JP6905956 B2 JP 6905956B2 JP 2018106070 A JP2018106070 A JP 2018106070A JP 2018106070 A JP2018106070 A JP 2018106070A JP 6905956 B2 JP6905956 B2 JP 6905956B2
- Authority
- JP
- Japan
- Prior art keywords
- crack
- information
- width
- image
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims description 74
- 238000000034 method Methods 0.000 title claims description 22
- 238000009826 distribution Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 39
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005336 cracking Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011120 plywood Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本発明はひび割れ変化判定装置および方法に関し、特に、構造物のひび割れの変化の判定を行うためのひび割れ変化判定装置および方法に関する。 The present invention relates to a crack change determination device and a method, and more particularly to a crack change determination device and a method for determining a change in a crack in a structure.
構造物のひび割れを検出する技術としては、例えば特許文献1および特許文献2がある。特許文献1は特徴点処理で抽出されたひび割れ線分のひび割れの程度に応じた色彩でひび割れ線分を色分けする技術を開示している。ひび割れは2値化され、2値化後の描写された線は太い線も細い線も同じ太さの線として表される。
Examples of techniques for detecting cracks in structures include
特許文献2は異なる期間に記録された2つの画像におけるひび割れの伸長を2次元畳み込みニューラルネットワーク(CNN)で検出する技術を開示している。特許文献2は、トレーニングされたCNNを用いて、構造物に対する変化によらない画像の差の存在に関わらず構造物における変化を識別する、とする。
特許文献3は構造物のひび割れの幅を推定する技術を開示する。 Patent Document 3 discloses a technique for estimating the width of cracks in a structure.
同じ構造物でも異なる時点(例えば5年経過後)で撮影された画像と比較してひび割れの変化を検出する場合、画像の撮影条件(撮影位置、撮影角度、ピント、気象状況、デジタルカメラの機種や性能の違い等)のわずかな変化によって、画像のひび割れ部分の濃淡が変わるなどし、同じひび割れが同じものとして識別できない問題がある。 When detecting changes in cracks compared to images taken at different times (for example, after 5 years) even for the same structure, the shooting conditions of the image (shooting position, shooting angle, focus, weather conditions, digital camera model) There is a problem that the same crack cannot be identified as the same because the shade of the cracked part of the image changes due to a slight change in performance.
例えば図8のようにある時点で撮影されたひび割れと、図9のように別の時点で同じ場所が撮影されたひび割れとを比較すると、同じひび割れでもその画素の濃淡が異なる。これらのひび割れの画像を比較すると、同じひび割れの変化を正確に検出できない場合がある。 For example, when comparing a crack photographed at a certain time point as shown in FIG. 8 and a crack photographed at the same place at another time point as shown in FIG. 9, the same crack has different shades of pixels. Comparing these crack images, it may not be possible to accurately detect changes in the same crack.
本発明はこのような問題点に鑑みてなされたもので、構造物のひび割れの長さ方向の変化を簡便かつ迅速に判定することが可能なひび割れ変化判定装置および方法を提供することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to provide a crack change determination device and a method capable of easily and quickly determining a change in the length direction of a crack in a structure. do.
本発明の第1の態様に係るひび割れ変化判定装置は、構造物の表面を被写体として撮影された第1画像を取得する第1画像取得部と、構造物の表面を被写体として撮影され、かつ第1画像よりも後に撮影された第2画像を取得する第2画像取得部と、第1画像取得部の取得した第1画像から、構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第1ひび割れ情報を検出する第1ひび割れ情報検出部と、第2画像取得部の取得した第2画像から、構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第2ひび割れ情報を検出する第2ひび割れ情報検出部と、第1ひび割れ情報に対し構造物のひび割れの形状を比較用に加工した情報である第1ひび割れ比較情報を作成する第1ひび割れ比較情報作成部と、第2ひび割れ情報に対し構造物のひび割れの形状を比較用に加工した情報である第2ひび割れ比較情報を作成する第2ひび割れ比較情報作成部と、第1ひび割れ比較情報作成部の作成した第1ひび割れ比較情報と第2ひび割れ比較情報作成部の作成した第2ひび割れ比較情報との重なり合いに応じて、構造物の表面のひび割れの変化を判定するひび割れ変化判定部と、を備える。 The crack change determination device according to the first aspect of the present invention includes a first image acquisition unit that acquires a first image taken with the surface of the structure as a subject, and a first image acquisition unit that takes the surface of the structure as a subject and has the first aspect. It has a start point, end point, and length of cracks on the surface of the structure from the second image acquisition unit that acquires the second image taken after the first image and the first image acquired by the first image acquisition unit. From the first crack information detection unit that detects the first crack information, which is the vectorized information of the line segment, and the second image acquired by the second image acquisition unit, the start point, end point, and length of the crack on the surface of the structure. The second crack information detection unit that detects the second crack information, which is the information obtained by vectorizing the lines having a sword, and the first, which is the information obtained by processing the shape of the crack of the structure with respect to the first crack information for comparison. The first crack comparison information creation unit that creates crack comparison information and the second crack comparison information creation that creates the second crack comparison information, which is the information obtained by processing the shape of the crack of the structure for comparison with the second crack information. Changes in cracks on the surface of the structure according to the overlap between the part, the first crack comparison information created by the first crack comparison information creation unit, and the second crack comparison information created by the second crack comparison information creation unit. It is provided with a crack change determination unit for determination.
本発明の第2の態様に係るひび割れ変化判定装置において、第1ひび割れ比較情報は、第1ひび割れ情報に対し構造物のひび割れの幅を付与することでひび割れの線分を矩形化した情報であり、第2ひび割れ比較情報は、第2ひび割れ情報に対し構造物のひび割れの幅を付与することでひび割れの線分を矩形化した情報である。 In the crack change determination device according to the second aspect of the present invention, the first crack comparison information is information in which the crack line segment is rectangularized by giving the crack width of the structure to the first crack information. The second crack comparison information is information in which the line segment of the crack is rectangularized by giving the width of the crack of the structure to the second crack information.
本発明の第3の態様に係るひび割れ変化判定装置は、第1ひび割れ情報から構造物の表面のひび割れの幅を推定する第1ひび割れ幅推定部と、第2ひび割れ情報から構造物の表面のひび割れの幅を推定する第2ひび割れ幅推定部と、を備え、第1ひび割れ比較情報作成部は、第1ひび割れ幅推定部の推定したひび割れの幅に基づいて構造物の表面のひび割れの幅を付与し、第2ひび割れ比較情報作成部は、第2ひび割れ幅推定部の推定したひび割れの幅に基づいて構造物の表面のひび割れの幅を付与する。 The crack change determination device according to the third aspect of the present invention includes a first crack width estimation unit that estimates the width of cracks on the surface of the structure from the first crack information, and a crack on the surface of the structure from the second crack information. A second crack width estimation unit for estimating the width of the structure, and a first crack comparison information creation unit assigns a crack width on the surface of the structure based on the estimated crack width of the first crack width estimation unit. Then, the second crack comparison information creation unit assigns the width of the crack on the surface of the structure based on the width of the crack estimated by the second crack width estimation unit.
本発明の第4の態様に係るひび割れ変化判定装置において、第1ひび割れ幅推定部は、第1ひび割れ情報の幅方向の濃度分布に基づいて構造物の表面のひび割れの幅を推定し、第2ひび割れ幅推定部は、第2ひび割れ情報の幅方向の濃度分布に基づいて構造物の表面のひび割れの幅を推定する。 In the crack change determination device according to the fourth aspect of the present invention, the first crack width estimation unit estimates the crack width on the surface of the structure based on the concentration distribution in the width direction of the first crack information, and the second crack width is estimated. The crack width estimation unit estimates the crack width on the surface of the structure based on the concentration distribution in the width direction of the second crack information.
本発明の第5の態様に係るひび割れ変化判定装置において、第1ひび割れ比較情報作成部は、第1ひび割れ幅推定部の推定した構造物の表面のひび割れの幅をダイレーション処理により拡大し、第2ひび割れ比較情報作成部は、第2ひび割れ幅推定部の推定した構造物の表面のひび割れの幅をダイレーション処理により拡大する。 In the crack change determination device according to the fifth aspect of the present invention, the first crack comparison information creation unit expands the width of cracks on the surface of the structure estimated by the first crack width estimation unit by dilation processing, and the first crack width is increased. 2 The crack comparison information creation unit expands the width of cracks on the surface of the structure estimated by the second crack width estimation unit by dilation processing.
本発明の第6の態様に係るひび割れ変化判定装置において、第1ひび割れ比較情報作成部は、構造物の表面のひび割れの密度に応じて構造物の表面のひび割れの幅を拡大し、第2ひび割れ比較情報作成部は、構造物の表面のひび割れの密度に応じて構造物の表面のひび割れの幅を拡大する。 In the crack change determination device according to the sixth aspect of the present invention, the first crack comparison information creating unit expands the width of the crack on the surface of the structure according to the density of the crack on the surface of the structure, and the second crack. The comparative information creation unit expands the width of cracks on the surface of the structure according to the density of cracks on the surface of the structure.
本発明の第7の態様に係るひび割れ変化判定装置において、ひび割れ変化判定部は、第1画像および第2画像の一方から他方への局所的な射影変換により第1ひび割れ比較情報と第2ひび割れ比較情報とを位置合わせした上で、構造物の表面のひび割れの長さが変化したか否かを判定する。 In the crack change determination device according to the seventh aspect of the present invention, the crack change determination unit compares the first crack comparison information with the second crack by local projective conversion from one of the first image and the second image to the other. After aligning with the information, it is determined whether or not the length of the crack on the surface of the structure has changed.
本発明の第8の態様において、射影変換はアフィン変換を含む。 In the eighth aspect of the present invention, the projective transformation includes an affine transformation.
本発明の第9の態様に係るひび割れ変化判定方法は、コンピュータが、構造物の表面を被写体として撮影された第1画像を取得するステップと、構造物の表面を被写体として撮影され、かつ第1画像よりも後に撮影された第2画像を取得するステップと、第1画像から、構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第1ひび割れ情報を検出するステップと、第2画像から、構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第2ひび割れ情報を検出するステップと、第1ひび割れ情報に対し構造物のひび割れの形状を比較用に加工した情報である第1ひび割れ比較情報を作成するステップと、第2ひび割れ情報に対し構造物のひび割れの形状を比較用に加工した情報である第2ひび割れ比較情報を作成するステップと、第1ひび割れ比較情報と第2ひび割れ比較情報との重なり合いに応じて、構造物の表面のひび割れの変化を判定するステップと、を実行することを含む。 The crack change determination method according to the ninth aspect of the present invention includes a step in which the computer acquires a first image taken with the surface of the structure as the subject, and a first image taken with the surface of the structure as the subject. The step of acquiring the second image taken after the image, and the first crack information which is the vectorized information of the line having the start point, the end point, and the length of the crack on the surface of the structure from the first image. The step of detecting the second crack information, which is the vectorized information of the line having the start point, the end point, and the length of the crack on the surface of the structure from the second image, and the first crack information. The step of creating the first crack comparison information, which is the information obtained by processing the shape of the crack of the structure for comparison, and the information obtained by processing the shape of the crack of the structure for comparison with respect to the second crack information. 2. The step of creating the crack comparison information and the step of determining the change of the crack on the surface of the structure according to the overlap of the first crack comparison information and the second crack comparison information are executed.
上記のひび割れ変化判定方法をコンピュータに実行させるためのひび割れ変化判定プログラムも本発明の態様に含まれる。またひび割れ変化判定プログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的有形媒体)も本発明の態様に含まれる。 An aspect of the present invention also includes a crack change determination program for causing a computer to execute the above crack change determination method. A computer-readable recording medium (non-temporary tangible medium) on which a crack change determination program is recorded is also included in the aspect of the present invention.
本発明によると、異なる時間で撮影された画像のひび割れの幅を加工し、これらのひび割れの重なり合いからひび割れの長さ方向の変化を判定する。ひび割れの幅が加工されているので、ひび割れの幅方向の変化をひび割れの長さ方向の変化と誤判定する確率が減少し、より正確にひび割れの長さ方向の変化を判定できる。 According to the present invention, the width of cracks in images taken at different times is processed, and the change in the length direction of the cracks is determined from the overlap of these cracks. Since the width of the crack is processed, the probability that the change in the width direction of the crack is erroneously determined as the change in the length direction of the crack is reduced, and the change in the length direction of the crack can be determined more accurately.
図1は本発明の好ましい実施形態に係るひび割れ変化判定装置100のブロック構成を示す。ひび割れ変化判定装置100は、画像取得部11、配置関係推定部12、ひび割れ検出部13、ひび割れ幅推定部14、ひび割れ幅加工部15、およびひび割れ変化判定部16を備える。これらの各部は、1または複数のプロセッサにより構成される。プロセッサは、CPU(Central Processing Unit),ASIC(Application Specific Integrated Circuit),GPU(Graphics Processing Unit)などを含む。ひび割れ変化判定装置100は、スマートフォン、タブレット端末、デジタルカメラなどの携帯情報端末やパソコンなどで構成される。
FIG. 1 shows a block configuration of a crack
画像取得部11は、異なる時刻で構造物が撮影された2以上の画像を取得する。画像の撮影を行う装置および画像の取得元となる装置は、デジタルカメラ、スマートフォン、あるいはそれらで撮影された画像を取り込んで記憶するデバイス(スマートフォンやパソコンなど)である。例えば、画像取得部11は、時刻t1で撮影された第1画像I1、時刻t1よりも後の時刻t2で撮影された第2画像I2を取得する。なお撮影の対象となる構造物は、橋梁の床板、路面、ダムの堤体コンクリート表面、トンネルの覆工コンクリート表面、建築物の外壁など、特に限定されない。
The
配置関係推定部12は、画像取得部11の取得した画像のひび割れの位置の関連性を推定する。例えば、配置関係推定部12は、第1画像I1に包含される第1局所領域と第2画像I2に包含される第2局所領域で検出されたひび割れの関連性(配置関係)を推定する。すなわち、配置関係推定部12は、第1画像の局所領域R1と第2画像の局所領域R2の間で、もともと同一であったひび割れ同士の位置の対応関係を推定する。第1局所領域とは、連続したひび割れを含む最小の領域でありかつ第1画像に包含される矩形領域である。第2局所領域とは、連続したひび割れを含む最小の矩形領域でありかつ第2画像に包含される領域である。説明の都合上、第1局所領域R1、第2局所領域R1は、矩形である。ただし、その他の形状であってもよい。
The arrangement
具体的には、配置関係推定部12は、第1画像I1と第2画像I2の双方から特徴点抽出を行い、第1画像I1と第2画像I2との特徴点の対応付けを行う。そして、アフィン変換などの射影変換により、第1画像I1と第2画像I2との間で対応する特徴点同士の位置合わせを行い、第1画像I1と第2画像I2とを重ね合わせる。
Specifically, the arrangement
ただし、画像の中のひび割れの画素の濃淡は、撮影条件によって変化するため、仮に第1画像I1と第2画像I2の双方が同一の箇所を撮影した画像であっても、双方の画像の同じ個所が特徴点として検出されて対応付けられるとは限らない。 However, since the shading of the cracked pixels in the image changes depending on the shooting conditions, even if both the first image I1 and the second image I2 are shot at the same location, both images are the same. The points are not always detected as feature points and associated with each other.
ひび割れ検出部13は、画像取得部11の取得した画像からひび割れを検出し、検出したひび割れを座標情報に変換(ベクトル化)する。ベクトル化されたひび割れをひび割れベクトルと呼ぶ。ひび割れベクトルは、ひび割れの長さと向き、または、ひび割れの始点座標および終点の座標を少なくとも含む。またひび割れベクトルは、各種の付加的情報、例えばひび割れベクトルの識別情報や、ひび割れベクトルの座標にある画素の濃淡情報などを含んでもよい。ひび割れの検出はエッジ検出やディープラーニングなどの公知の方法によって行うことができる。
The
ひび割れ幅推定部14は、ひび割れ検出部13が画像から検出した個々のひび割れの幅を推定する。具体的には、ひび割れ幅推定部14は、特許文献3と同様、画像のひび割れの幅方向の濃度分布(輝度分布)を曲線で近似し、中心になるピクセル位置を実数値で推定し、ピクセル位置ゼロで濃度がピークになるように、濃度分布全体を幅方向にシフトする。これを取得したすべての濃度分布について繰り返すことで、中心が揃った複数の濃度分布を得て、中心が揃った複数の濃度分布に対応する確率分布関数(ガウス関数)を算出する。この確率分布関数と撮影時の撮影条件に基づいて、撮影画像における対象物の輝度分布と同等の輝度分布を有する線画を有するスケール画像を生成する。推定されたひび割れの幅は、ひび割れベクトルに付与される。これにより、ひび割れベクトルは、始点、終点、長さという主要成分のほか、幅という付加的成分を備えることになる。
The crack
ひび割れ幅加工部15は、ひび割れ幅推定部14の推定したひび割れ幅を増大させる加工をするひび割れ幅加工処理を行う。例えば、ひび割れ幅加工処理は、ひび割れ検出部13の検出したひび割れの輪郭上の注目画素を中心とした所定の幅の中の最大値を検索するダイレーション処理を行うことにより輪郭を1画素膨張させる。あるいは、ダイレーション処理を2回以上の任意の回数繰り返す。なお、ひび割れの加工は上記に限らず、注目画素を中心とした所定の半径の円だけひび割れの画素を拡張するなどしてもよい。ひび割れベクトルの幅は、加工されたひび割れの幅で更新される。これにより、ひび割れベクトルは、始点、終点、長さという主要成分のほか、加工された幅という付加的成分を備えることになる。
The crack
ひび割れ幅の加工の度合は、第1画像I1および第2画像I2を含む各画像におけるひび割れの密度に応じて変化させてもよい。例えば、ある画像内のひび割れの密度が高ければ、それだけひび割れの幅の膨張の度合を下げてもよい。こうすれば、隣接するひび割れ同士が、ひび割れの幅の加工により接触することを防げる。 The degree of processing of the crack width may be changed according to the density of cracks in each image including the first image I1 and the second image I2. For example, the higher the density of cracks in an image, the less the degree of expansion of the width of the cracks may be. In this way, it is possible to prevent adjacent cracks from coming into contact with each other by processing the width of the cracks.
ひび割れ変化判定部16は、配置関係推定部12により異なる2画像間で対応関係が推定されたひび割れベクトルの長さおよび幅を比較することで、2画像の撮影時間の差異に相当する経過時間に対応したひび割れの長さ方向の変化および幅方向の変化を判定する。
The crack
例えば、ひび割れ変化判定部16は、時刻t1で撮影された第1画像I1と、時刻t1よりも後の時刻t2で撮影された第2画像I2の間で対応するひび割れベクトルのひび割れの長さ方向の変化および幅方向の変化を判定する。この変化は、時間経過Δt=t2−t1に伴う、同一のひび割れの長さ方向の変化および幅方向の変化と判定することができる。
For example, the crack
ひび割れの変化は、ひび割れの幅の加工後のひび割れベクトルの重なり合いの度合に応じて判定する。例えば、射影変換により重ねあわされたひび割れベクトルの重なる部分と重ならない部分の面積比rを算出し、面積比rが一定程度の閾値(例えば50%)を超えれば、その重なりのない部分をひび割れが変化(成長)した部分と判定する。 The change in cracks is determined according to the degree of overlap of the crack vectors after processing the width of the cracks. For example, the area ratio r of the overlapping portion and the non-overlapping portion of the crack vectors overlapped by the projective transformation is calculated, and if the area ratio r exceeds a certain threshold value (for example, 50%), the non-overlapping portion is cracked. Is determined to be the changed (grown) part.
図2は配置関係推定部12による第1画像と第2画像の間でのひび割れの配置関係の推定の仕方を概念的に示す。例えば、第1画像I1と第2画像I2の双方から特徴点抽出を行い、第1画像I1と第2画像I2との特徴点の対応付けを行う。そして、アフィン変換などの射影変換により、第1画像I1と第2画像I2との間で対応する特徴点同士の位置合わせを行い、第1画像I1と第2画像I2とを重ね合わせる。アフィン変換の場合は、第1画像I1および/または第2画像I2の拡大、縮小、剪断、平行移動、回転の任意の組み合わせにより、第1画像I1と第2画像I2との間で対応する特徴点同士の位置合わせが行われる。
FIG. 2 conceptually shows how the arrangement
第1画像I1と第2画像I2から抽出される特徴点は、例えば型枠用合板(いわゆるコンパネ)の継ぎ目や表面の模様で形成された、コンクリート表面の形状である。図2では、画像I1から特徴点f1,f2,f3,f4が抽出され、画像I2から特徴点g1,g2,g3,g4が抽出されている。また、特徴点f1,f2,f3,f4と特徴点g1,g2,g3,g4とが同一位置として対応しており、これらが射影変換により位置合わせされて重ねあわされている状態が画像Gで示されている。 The feature points extracted from the first image I1 and the second image I2 are, for example, the shape of the concrete surface formed by the seams and surface patterns of the formwork plywood (so-called control panel). In FIG. 2, feature points f1, f2, f3, f4 are extracted from image I1, and feature points g1, g2, g3, g4 are extracted from image I2. In addition, the feature points f1, f2, f3, f4 and the feature points g1, g2, g3, g4 correspond to each other as the same position, and the state in which these are aligned and overlapped by the projective transformation is shown in the image G. It is shown.
図3はひび割れ検出部13により検出されたひび割れベクトルの始点、終点、長さ、および、ひび割れ幅推定部14によりそれぞれのひび割れベクトルに対応して推定されたひび割れ幅の一例を示す。個々のひび割れに対しては識別番号が付与されてもよい。
FIG. 3 shows an example of the start point, end point, length of the crack vector detected by the
図4は、第1画像I1の部分領域R1におけるひび割れベクトル、第2画像の部分領域R2におけるひび割れベクトルの一例である。部分領域R1におけるひび割れベクトルとして、V1−1、V1−2,V1−3,V1−4が示されている。また、部分領域R2におけるひび割れベクトルとして、V2−1,V2−2,V2−3,V2−4,V2−5,V2−6,V2−7が示されている。 FIG. 4 is an example of a crack vector in the partial region R1 of the first image I1 and a crack vector in the partial region R2 of the second image. V1-1, V1-2, V1-3, and V1-4 are shown as crack vectors in the partial region R1. Further, as the crack vector in the partial region R2, V2-1, V2-2, V2-3, V2-4, V2-5, V2-6, V2-7 are shown.
図5は、ひび割れ幅加工部15のひび割れ幅加工処理により幅の拡張された、第1画像I1におけるひび割れベクトル、第2画像におけるひび割れベクトルの一例である。第1画像I1におけるひび割れベクトルV1−1、V1−2,V1−3,V1−4の幅の拡張されたひび割れベクトルとして、それぞれVd1−1、Vd1−2,Vd1−3,Vd1−4が示されている。また、第2画像I2におけるひび割れベクトルV2−1,V2−2,V2−3,V2−4,V2−5,V2−6,V2−7の幅の拡張されたひび割れベクトルとして、それぞれVd2−1,Vd2−2,Vd2−3,Vd2−4,Vd2−5,Vd2−6,Vd2−7が示されている。
FIG. 5 is an example of a crack vector in the first image I1 and a crack vector in the second image whose width has been expanded by the crack width processing of the crack
図6は、配置関係推定部12により重ね合わせされたひび割れベクトルVd1−1、Vd1−2,Vd1−3,Vd1−4とひび割れベクトルVd2−1,Vd2−2,Vd2−3,Vd2−4,Vd2−5,Vd2−6,Vd2−7の重なりの様子を示す。
FIG. 6 shows the crack vectors Vd1-1, Vd1-2, Vd1-3, Vd1-4 and the crack vectors Vd2-1, Vd2-2, Vd2-3, Vd2-4 superposed by the arrangement
Vd1−1と、Vd2−1・Vd2−2・Vd2−3の組との間では、重なり合いの度合が一定の閾値(例えば面積比50%)を超えているので、同一のひび割れ(変化のないひび割れ)と判定される。また、Vd1−2と、Vd2−4・Vd2−5の組との間では、重なり合いの度合が一定の閾値を超えているので、同一のひび割れ(変化のないひび割れ)と判定される。 Since the degree of overlap between Vd1-1 and the set of Vd2-1, Vd2-2, and Vd2-3 exceeds a certain threshold value (for example, area ratio 50%), the same crack (no change). It is judged to be cracked). Further, since the degree of overlap between Vd1-2 and the set of Vd2-4 and Vd2-5 exceeds a certain threshold value, it is determined that they are the same crack (crack without change).
これに対し、Vd2−7は、第1画像I1のひび割れのいずれとも重なり合いがなく、ひび割れの変化(ひび割れの成長した部分)と判定される。従ってVd2−7の長さが、Δtの間に成長したひび割れの長さである。 On the other hand, Vd2-7 does not overlap with any of the cracks in the first image I1, and is determined to be a change in the cracks (a portion where the cracks have grown). Therefore, the length of Vd2-7 is the length of cracks grown during Δt.
図7はひび割れ変化判定処理のフローチャートである。この処理を各種のコンピュータ(プロセッサ)に実行させるためのひび割れ変化判定プログラムは、SDRAM,ROM,CD−ROMなど各種のコンピュータ(プロセッサ)読み取り可能な記録媒体に記録されている。 FIG. 7 is a flowchart of the crack change determination process. The crack change determination program for causing various computers (processors) to execute this process is recorded on various computer (processor) readable recording media such as SDRAM, ROM, and CD-ROM.
S1では、画像取得部11は、異なる時刻で撮影された2以上の画像を取得する。
In S1, the
S2では、配置関係推定部12は、第1画像に包含される第1局所領域と第2画像に包含される局所領域で検出されたひび割れの関連性(配置関係)を推定する。
In S2, the arrangement
S3では、ひび割れ検出部13は、配置関係の推定された第1画像および第2画像のそれぞれからひび割れを検出し、検出したひび割れを座標情報に変換(ベクトル化)する。
In S3, the
S4では、ひび割れ幅推定部14は、第1画像および第2画像のそれぞれから検出されたひび割れの幅を推定する。
In S4, the crack
S5では、ひび割れ幅加工部15は、ひび割れ幅推定部14の推定したひび割れ幅を増大させる加工をするひび割れ幅加工処理を行う。
In S5, the crack
S6では、ひび割れ変化判定部16は、ひび割れ幅加工部15による加工後の第1画像と第2画像のひび割れベクトルの長さおよび幅を比較することで、ひび割れの長さ方向の変化および幅方向の変化を判定する。
In S6, the crack
S7では、ひび割れ変化判定部16は、異なる時刻で撮影された2以上の画像を重ね合わせ、ベクトル同士の重なり合いの程度を算出した結果、同一のひび割れベクトルが存在しないと判定されたものについては、そのひび割れベクトルを長さ方向の変化分と判定する。
In S7, the crack
S8では、ひび割れ変化判定部16は、異なる時刻で撮影された2以上の画像を重ね合わせた結果、同一のひび割れベクトルが存在すると判定されたものについては、同一のひび割れベクトルごとに、ひび割れの幅を比較する。そして、比較の結果ひび割れの幅が異なっている場合、その異なる幅の差分を、太さ方向の変化分とする。なおひび割れの幅の変化を判定しないのであればS4およびS8は実行しなくてもよい。
In S8, the crack
このように、必ずしも同一の箇所の特徴点が対応づけられない画像においても、幅の増化したひび割れを重ね合わせ、重なりのない部分をひび割れの変化と判定することで、ひび割れの幅方向の変化を長さ方向の変化と誤判定する確率が低下する。従って、ひび割れの長さ方向の変化をより確実に判定できる。 In this way, even in an image in which the feature points of the same location are not necessarily associated with each other, the cracks with increased widths are overlapped, and the non-overlapping portion is determined to be a change in the cracks, thereby changing the cracks in the width direction. Is reduced in the probability of being erroneously determined as a change in the length direction. Therefore, the change in the length direction of the crack can be determined more reliably.
また、異なる時間で撮影された画像のひび割れの幅を加工し、これらのひび割れの重なり合いからひび割れの長さ方向の変化を判定するので、高速にひび割れの長さ方向の変化を判定できる。 Further, since the width of the cracks in the images taken at different times is processed and the change in the length direction of the cracks is determined from the overlap of these cracks, the change in the length direction of the cracks can be determined at high speed.
11 画像取得部
12 配置関係推定部
13 ひび割れ検出部
14 ひび割れ幅推定部
15 ひび割れ幅加工部
16 ひび割れ変化判定部
11
Claims (10)
前記構造物の表面を被写体として撮影され、かつ前記第1画像よりも後に撮影された第2画像を取得する第2画像取得部と、
前記第1画像取得部の取得した第1画像から、前記構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第1ひび割れ情報を検出する第1ひび割れ情報検出部と、
前記第2画像取得部の取得した第2画像から、前記構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第2ひび割れ情報を検出する第2ひび割れ情報検出部と、
前記第1ひび割れ情報に対し前記構造物のひび割れの形状を比較用に加工した情報である第1ひび割れ比較情報を作成する第1ひび割れ比較情報作成部と、
前記第2ひび割れ情報に対し前記構造物のひび割れの形状を比較用に加工した情報である第2ひび割れ比較情報を作成する第2ひび割れ比較情報作成部と、
前記第1ひび割れ比較情報作成部の作成した第1ひび割れ比較情報と前記第2ひび割れ比較情報作成部の作成した第2ひび割れ比較情報との重なり合いに応じて、前記構造物の表面のひび割れの変化を判定するひび割れ変化判定部と、
を備えるひび割れ変化判定装置。 The first image acquisition unit that acquires the first image taken with the surface of the structure as the subject, and
A second image acquisition unit that acquires a second image taken with the surface of the structure as a subject and taken after the first image.
A first crack that detects first crack information, which is information obtained by vectorizing a line segment having a start point, an end point, and a length of a crack on the surface of the structure from the first image acquired by the first image acquisition unit. Information detector and
A second crack that detects second crack information, which is information obtained by vectorizing a line segment having a start point, an end point, and a length of a crack on the surface of the structure from the second image acquired by the second image acquisition unit. Information detector and
A first crack comparison information creation unit that creates first crack comparison information, which is information obtained by processing the shape of the crack of the structure for comparison with respect to the first crack information.
A second crack comparison information creation unit that creates second crack comparison information, which is information obtained by processing the shape of the crack of the structure for comparison with respect to the second crack information.
The change of the crack on the surface of the structure is changed according to the overlap between the first crack comparison information created by the first crack comparison information creation unit and the second crack comparison information created by the second crack comparison information creation unit. The crack change judgment unit to be judged and
A crack change determination device including.
前記第2ひび割れ情報から前記構造物の表面のひび割れの幅を推定する第2ひび割れ幅推定部と、
を備え、
前記第1ひび割れ比較情報作成部は、前記第1ひび割れ幅推定部の推定したひび割れの幅に基づいて前記構造物の表面のひび割れの幅を付与し、
前記第2ひび割れ比較情報作成部は、前記第2ひび割れ幅推定部の推定したひび割れの幅に基づいて前記構造物の表面のひび割れの幅を付与する請求項2に記載のひび割れ変化判定装置。 A first crack width estimation unit that estimates the width of a crack on the surface of the structure from the first crack information,
A second crack width estimation unit that estimates the width of cracks on the surface of the structure from the second crack information,
With
The first crack comparison information creating unit imparts a crack width on the surface of the structure based on the estimated crack width of the first crack width estimation unit.
The crack change determination device according to claim 2, wherein the second crack comparison information creating unit imparts a crack width on the surface of the structure based on the crack width estimated by the second crack width estimation unit.
前記第2ひび割れ幅推定部は、前記第2ひび割れ情報の幅方向の濃度分布に基づいて前記構造物の表面のひび割れの幅を推定する請求項3に記載のひび割れ変化判定装置。 The first crack width estimation unit estimates the crack width on the surface of the structure based on the concentration distribution in the width direction of the first crack information.
The crack change determination device according to claim 3, wherein the second crack width estimation unit estimates the crack width on the surface of the structure based on the concentration distribution in the width direction of the second crack information.
前記第2ひび割れ比較情報作成部は、前記第2ひび割れ幅推定部の推定した前記構造物の表面のひび割れの幅をダイレーション処理により拡大する請求項3または4に記載のひび割れ変化判定装置。 The first crack comparison information creation unit expands the width of cracks on the surface of the structure estimated by the first crack width estimation unit by dilation processing.
The crack change determination device according to claim 3 or 4, wherein the second crack comparison information creating unit expands the crack width on the surface of the structure estimated by the second crack width estimation unit by a dilation process.
前記第2ひび割れ比較情報作成部は、前記構造物の表面のひび割れの密度に応じて前記構造物の表面のひび割れの幅を拡大する請求項5に記載のひび割れ変化判定装置。 The first crack comparison information creating unit expands the width of cracks on the surface of the structure according to the density of cracks on the surface of the structure.
The crack change determination device according to claim 5, wherein the second crack comparison information creating unit increases the width of cracks on the surface of the structure according to the density of cracks on the surface of the structure.
構造物の表面を被写体として撮影された第1画像を取得するステップと、
前記構造物の表面を被写体として撮影され、かつ前記第1画像よりも後に撮影された第2画像を取得するステップと、
前記第1画像から、前記構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第1ひび割れ情報を検出するステップと、
前記第2画像から、前記構造物の表面のひび割れの始点、終点、および長さを有する線分をベクトル化した情報である第2ひび割れ情報を検出するステップと、
前記第1ひび割れ情報に対し前記構造物のひび割れの形状を比較用に加工した情報である第1ひび割れ比較情報を作成するステップと、
前記第2ひび割れ情報に対し前記構造物のひび割れの形状を比較用に加工した情報である第2ひび割れ比較情報を作成するステップと、
前記第1ひび割れ比較情報と前記第2ひび割れ比較情報との重なり合いに応じて、前記構造物の表面のひび割れの変化を判定するステップと、
を実行するひび割れ変化判定方法。 The computer
The step of acquiring the first image taken with the surface of the structure as the subject,
A step of acquiring a second image taken with the surface of the structure as a subject and taken after the first image, and
From the first image, a step of detecting first crack information, which is information obtained by vectorizing a line segment having a crack start point, end point, and length on the surface of the structure,
From the second image, a step of detecting second crack information, which is information obtained by vectorizing a line segment having a crack start point, end point, and length on the surface of the structure,
A step of creating first crack comparison information, which is information obtained by processing the shape of the crack of the structure for comparison with respect to the first crack information.
A step of creating second crack comparison information, which is information obtained by processing the shape of the crack of the structure for comparison with respect to the second crack information.
A step of determining a change in cracks on the surface of the structure according to the overlap between the first crack comparison information and the second crack comparison information.
Crack change judgment method to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106070A JP6905956B2 (en) | 2018-06-01 | 2018-06-01 | Crack change determination device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106070A JP6905956B2 (en) | 2018-06-01 | 2018-06-01 | Crack change determination device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019211277A JP2019211277A (en) | 2019-12-12 |
JP6905956B2 true JP6905956B2 (en) | 2021-07-21 |
Family
ID=68846605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018106070A Active JP6905956B2 (en) | 2018-06-01 | 2018-06-01 | Crack change determination device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6905956B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7413383B2 (en) | 2019-07-18 | 2024-01-15 | 富士フイルム株式会社 | Information display device, method and program |
WO2021152855A1 (en) * | 2020-01-31 | 2021-08-05 | 三菱電機株式会社 | Deformation management device, deformation management method, and deformation management program |
CN111968079B (en) * | 2020-07-28 | 2023-11-17 | 武汉光谷卓越科技股份有限公司 | Three-dimensional pavement crack extraction method based on local extremum of section and segmentation sparsity |
JP7564671B2 (en) | 2020-09-29 | 2024-10-09 | キヤノン株式会社 | Information processing device, control method, and program |
EP4224381A4 (en) | 2020-09-29 | 2024-04-03 | FUJIFILM Corporation | Damage information processing device, damage information processing method, and program |
EP4254324A4 (en) * | 2020-11-27 | 2024-05-15 | FUJIFILM Corporation | Information processing device, information processing method, and information processing program |
US20230177667A1 (en) | 2021-12-03 | 2023-06-08 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
JP7510472B2 (en) | 2021-12-03 | 2024-07-03 | キヤノン株式会社 | Information processing device, information processing method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026255A (en) * | 2005-07-20 | 2007-02-01 | East Japan Railway Co | Method for extracting progress of defective point inside image |
JP5175528B2 (en) * | 2007-11-29 | 2013-04-03 | 東海旅客鉄道株式会社 | Tunnel lining crack inspection system |
WO2017014288A1 (en) * | 2015-07-21 | 2017-01-26 | 株式会社東芝 | Crack analyzer, crack analysis method, and crack analysis program |
EP3396358B1 (en) * | 2015-12-25 | 2024-05-15 | FUJIFILM Corporation | Information processing device and information processing method |
-
2018
- 2018-06-01 JP JP2018106070A patent/JP6905956B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019211277A (en) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6905956B2 (en) | Crack change determination device and method | |
JP4521235B2 (en) | Apparatus and method for extracting change of photographed image | |
JP2005037378A (en) | Depth measurement method and depth measurement device | |
JP5367091B2 (en) | Method and apparatus for dividing an obstacle | |
JP5812705B2 (en) | Crack detection method | |
JP2015121985A (en) | Object line detection device, method, and program | |
JP2020038132A (en) | Crack on concrete surface specification method, crack specification device, and crack specification system, and program | |
CN113689429A (en) | Wood board defect detection method based on computer vision | |
JP2018128309A (en) | Crack detection method | |
CN111696072A (en) | Color image line detection method, color image line detection device, electronic device, and storage medium | |
WO2018025336A1 (en) | Degradation detection device, degradation detection method, and computer-readable recording medium | |
JP2018036898A5 (en) | Image processing apparatus, image processing method, and program | |
US20160035107A1 (en) | Moving object detection | |
CN109919942B (en) | Bridge crack intelligent detection method based on high-precision noise reduction theory | |
CN106530273B (en) | High-precision FPC (Flexible printed Circuit) linear line detection and defect positioning method | |
JP6317607B2 (en) | Outside environment recognition device | |
Khaliluzzaman et al. | Stairways detection and distance estimation approach based on three connected point and triangular similarity | |
JP6165513B2 (en) | Hand gesture tracking system | |
JP2005173649A (en) | Template matching processing method and processor for image processing | |
JP6894339B2 (en) | Crack detection device, crack detection method, and computer program | |
JP2007156897A (en) | Speed-measuring apparatus, method, and program | |
Kang et al. | Line feature extraction from RGB laser point cloud | |
JP6602096B2 (en) | Defect detection device | |
JP6348747B2 (en) | Outside environment recognition device | |
JP6280418B2 (en) | Outside environment recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6905956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |