JPH03160349A - Device for detecting crack - Google Patents

Device for detecting crack

Info

Publication number
JPH03160349A
JPH03160349A JP29958889A JP29958889A JPH03160349A JP H03160349 A JPH03160349 A JP H03160349A JP 29958889 A JP29958889 A JP 29958889A JP 29958889 A JP29958889 A JP 29958889A JP H03160349 A JPH03160349 A JP H03160349A
Authority
JP
Japan
Prior art keywords
image
edge
crack
processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP29958889A
Other languages
Japanese (ja)
Inventor
Michihisa Dou
堂 通久
Takatsune Okada
岡田 孝常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Keiki Inc
Original Assignee
Tokimec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokimec Inc filed Critical Tokimec Inc
Priority to JP29958889A priority Critical patent/JPH03160349A/en
Publication of JPH03160349A publication Critical patent/JPH03160349A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

PURPOSE:To detect automatically and efficiently a crack in the surface of a substance to be inspected, on the basis of prescribed criteria of determination, by subjecting the crack in the surface to an image processing, by subjecting image data to a pattern recognition processing and by executing thereby extraction of specific features of the shape of the crack and determination thereof. CONSTITUTION:A two-dimensional image information on a digital gray scale image of a surface 9 to be inspected, which is obtained from an image pickup camera 3, is inputted to an image processing device 4 and smoothed 41, and it is subjected to density conversion in a half threshold processing element 43 according to a density threshold M determined by a density threshold determining element 42 and then subjected to edge extraction 44. An edge thus extracted is binary-coded 45 according to a threshold value K set beforehand, and isolated pixel data in binary-coded edge image data are removed 46. Then, the data are inputted to a determining/extracting device 6 and subjected therein to a series of processings for blank-filling 61, thinning 62, minute noise removal 63, joining 64 and short-line noise removal 65, and each segment image of the data thus subjected to extraction of specific features is judged in a continuous line figure determining element 66 as to whether it is a crack image or not. According to this constitution, a crack in the surface can be detected automatically and efficiently on the basis of prescribed criteria of determination.

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は、舗装路面や各種材質のスラブまたは板材な
どの被検体表面のひび割れを画像処理とパターン認識の
技術を利用して自動的に検出・判定するひび検出装置に
関するものである。
[Detailed Description of the Invention] [Industrial Application Field] This invention automatically detects cracks on the surface of objects to be inspected, such as paved roads and slabs or boards made of various materials, by using image processing and pattern recognition technology. -Relates to a crack detection device for determining cracks.

[従来の技術] 既設道路や滑走路などの舗装路面の傷み具合を評価する
手法として、数kmに及ぶ検査区間について例えば50
cm四方の単位面積ごとに幅1mm以上のひびの有無を
測定してひび割れ面の数と全測定単位面の数との割合か
らひび割れ率(%)を求め、これを路面改修の目安にす
ることが行なわれている.従来、この各単位面積毎のひ
びの測定は、現場での目視検査または単位面積ごとに写
真ti影を行なって写真画像から目視判定し、データ出
力としてはスケッチによる方法が主である.一方、鉄鋼
その他の金属製品については渦流深傷法による表面傷の
検出が公知であり、また材料組織が比較的稠密で均一な
ものに対しては超音波深傷法も利用ざれている. [発明が解決しようとする課題] まず従来の舗装路面のひび割れ検出では、現場での作業
員による目視観測または写真撮影とその写真画像の目視
検査、そしてスケッチの作成などに膨大な時間を要し、
また検査員によってひび割れの検出判断基準が異なり、
一定基型で効率よく検出することが極めて困難であると
いう問題があった。
[Prior art] As a method for evaluating the degree of damage to paved surfaces such as existing roads and runways, for example, 50
Measure the presence or absence of cracks with a width of 1 mm or more for each cm square unit area, calculate the crack rate (%) from the ratio of the number of cracked surfaces to the total number of measurement unit surfaces, and use this as a guide for road surface repair. is being carried out. Conventionally, cracks have been measured for each unit area by visual inspection at the site or by photographing each unit area and visually determining the cracks from the photographic image, and the main method for data output is sketching. On the other hand, the detection of surface flaws using the eddy current deep flaw method is well known for steel and other metal products, and the ultrasonic deep flaw method is also used for materials with relatively dense and uniform structures. [Problems to be Solved by the Invention] First, conventional crack detection on paved roads requires an enormous amount of time for on-site visual observation or photography by workers, visual inspection of the photographic images, and creation of sketches. ,
In addition, the criteria for crack detection differ depending on the inspector.
There has been a problem in that it is extremely difficult to efficiently detect a certain base type.

また渦流探傷法や超音波深傷法は自動化に適した方怯で
あるが、検査対象物の材質や形状、測定環境のノイズや
ひび内の充填物の有無などの測定条件に制限されること
が多く、用途が限られるという欠点があった。
Eddy current flaw detection and ultrasonic deep flaw detection are methods suitable for automation, but they are limited by measurement conditions such as the material and shape of the object to be inspected, noise in the measurement environment, and the presence or absence of fillers in cracks. However, there are many problems, which limits its use.

従ってこの発明で課題とするところは、検査対象物の材
質組織及び測定条件にあまり制限なしに一定判定基準で
効率よく表面のひびを自動検出することのできる多用途
のひび検出装置を堤供することである。
Therefore, an object of the present invention is to provide a versatile crack detection device that can efficiently and automatically detect surface cracks based on certain criteria without much restriction on the material structure and measurement conditions of the object to be inspected. It is.

[課題を解決するための千段] この発明のひび検出装置は、舗装路面や各種材質のスラ
ブまたは板材などの被検体表面のひび割れを画像処理と
パターン認識技術によるひび形状の特徴抽出と一定基準
での判定処理によって自動的に検出・判定するも.ので
ある. すなわち、前述の課題を解決するために、請求項1に記
載の発明に係るひび検出装置では、被検体表面を撮像し
てデジタル濃淡画像の二次元画像情報を得る画像入力手
段と、 得られた二次元画像情報を走査処理して、着目点画素の
周囲の画素の濃度に予め定められた重み付け係数を乗じ
て加算する方向別の複数の加重マトリックス演算子を用
いて各着目点画素につきその周囲の画素との方向別の濃
淡階調差を演算し,前記方向別の演算結果のうちの最大
値を各着目点画素につき保存して前記濃淡画像の輪郭エ
ッジの濃度変化の度合いに相当する一連の多値データを
生成し、この多値データを予め定められた閾値により二
値化することによって前記二次元画像情報を二値化エッ
ジ画像データに変換する画像処理手段と、 前記二値化エッジ画像データをパターン認識処理するこ
とこよりひび形状の特徴抽出及び判定を行なって被検体
表面上のひびを検出する抽出判定手段、 とを備えている. また請求項2に記載の発明に係るひび検出装置では、前
記画像処理手段が、前記方向別の?IA淡階調差の演算
に先立って、前記二次元画像情報に対し、画像画素の濃
度ヒストグラム上における予め定められた面積比率を与
える濃度閾値を境にバックグラウンド情報に対応する高
輝度側の画素濃度を一律に前記濃度閾値と同じ値に変換
固定する半閾値処理を行なう手段を含んでいる. 更に請求項3に記載の発明に係るひび検出装置では゛、
前記抽出判定手段が、前記二値化エッジ画像データ中の
エッジ画像同士の間隔が予め定められた画素数以下の箇
所について該間隔の画素をエッジ画像と同じ二値レベル
に変換する穴埋め処理手段と、穴埋め処理後のエッジ画
像データを線図形にするための細線化処理手段と、細線
化処理後のエッジ画像データの山ツジ画像の端点同士の
間隔が予め定められた画素数以下の箇所について端点間
の画素をエッジ画像と同じ二値レベルに変換する結合処
理手段と、結合処理して得られたエッジ画像のうちから
予め定められた二次元寸法を超える連続線図形をひび画
像として検出する手段とを含んでいる. [作 用] 請求項1に記載のひび検出装置において、画像入力手段
は例えばCCDリニア撮像素子やエリア撮像素子などの
撮像手段と光学系を含み、被検体表面を撮像して縦横(
xy)格子状の二次元画素配列の例えば8ビット(25
6階調)のデジタル濃淡画像の二次元画像情報を得るも
のである.この場合、好ましくは撮像領域をフードで覆
って自己の照明系により低い入射角で被検体表面を照明
し、しかも撮像手段による撮像は照明された被検体表面
を法線方向真上からの画像を得るように光学系を配置し
て、外光の影響を避けた状態でひびのエッジの作る濃い
陰を撮像するように工夫するのがよい。
[A Thousand Steps to Solve the Problem] The crack detection device of the present invention detects cracks on the surface of objects to be inspected, such as paved roads and slabs or boards made of various materials, by extracting the characteristics of the crack shape using image processing and pattern recognition technology, and using a certain standard. It is automatically detected and judged by the judgment process in . It is. That is, in order to solve the above-mentioned problem, the crack detection device according to the invention according to claim 1 includes: an image input means for imaging the surface of the object to obtain two-dimensional image information of a digital gray image; Two-dimensional image information is scanned and the density of pixels surrounding the pixel of interest is multiplied by a predetermined weighting coefficient and added using multiple weighting matrix operators for each direction. calculates the difference in gradation in each direction with respect to the pixel, and saves the maximum value of the calculation results in each direction for each pixel of interest, and calculates a series corresponding to the degree of change in density of the contour edge of the gradation image. an image processing means for converting the two-dimensional image information into binary edge image data by generating multi-value data and binarizing the multi-value data using a predetermined threshold; Extraction and determination means detects cracks on the surface of the object by performing pattern recognition processing on image data to extract and determine characteristics of crack shapes. Further, in the crack detection device according to the invention as set forth in claim 2, the image processing means may be configured to perform the image processing according to the direction. Prior to the calculation of the IA light gradation difference, pixels on the high-brightness side corresponding to the background information are determined with respect to the two-dimensional image information at a density threshold value that gives a predetermined area ratio on the density histogram of the image pixels. It includes means for performing half-threshold processing for uniformly converting and fixing the density to the same value as the density threshold. Furthermore, in the crack detection device according to the invention according to claim 3,
The extraction determination means is a hole-filling processing means for converting pixels of the interval between the edge images in the binary edge image data into the same binary level as the edge image at a location where the interval between the edge images is less than or equal to a predetermined number of pixels. , a thinning processing means for converting the edge image data after the hole filling process into a line figure; and a thinning processing means for converting the edge image data after the hole filling process into a line figure; a combination processing means for converting pixels in between to the same binary level as the edge image, and a means for detecting a continuous line figure exceeding a predetermined two-dimensional dimension from among the edge images obtained by the combination processing as a crack image. Contains. [Function] In the crack detection device according to claim 1, the image input means includes an imaging means such as a CCD linear image sensor or an area image sensor, and an optical system, and images the surface of the object to be inspected vertically and horizontally.
xy) For example, 8 bits (25
This method obtains two-dimensional image information of a digital grayscale image (6 gradations). In this case, it is preferable to cover the imaging area with a hood and illuminate the object surface with a low incidence angle using the own illumination system, and the imaging means captures an image of the illuminated object surface from directly above in the normal direction. It is best to arrange the optical system so that it captures images of the deep shadows created by the edges of the cracks while avoiding the influence of external light.

画像処理手段では、得られた二次元画像情報をたとえば
ラスター状に走査処理しつつ、例えば3×3画素の加重
マトリックス演算子によるエッジ検出を行なった後に二
値化データ変換処理を行なう.すなわち、画像人力手段
で得られる二次元画像情報中のひび部分は背景のバック
グラウンド部分より輝度(濃度〉が低いが、これは相対
的に低いということであって単純に二値化処理を行なっ
てもひび画像の検出がうまく行かない。そのためまずひ
びのエッジを検出し、その後これを二値化するという処
理を行なう.このための前記データ変換処理におけるエ
ッジ検出処理は、3×3画素の加重マトリックスの中央
画素を着目点画素として、その周囲の画素の濃度に予め
定められた重み付け係数を乗じて加算した値を着目点デ
ータとする所謂ソーベル(Sobel)オペレータによ
るエッジ強調手法の変形であるが、特にこの発明では、
XY方向とその中間の左右両斜め方向の4方向Ci性を
考慮すると8万向)について方向別の複数の加重マトリ
ックス演算子を用いて各着目点画素につきその周囲の画
素との方向別の濃淡階調差を個々に演算し、これら方向
別の演算結果のうちの最大値を各着目点画素のデータと
するものである.このようにして各着目点画素毎に演算
結果のデータを保存して前記濃淡画像の輪郭エッジの濃
度変化の度合いに相当する一連の多値データが生成され
る.次いでこの各多値データを予め定められた閾値によ
り二値化することによって前記二次元画像情報が二値化
エッジ画像データに変換される。
The image processing means scans the obtained two-dimensional image information in, for example, a raster pattern, performs edge detection using, for example, a 3×3 pixel weighted matrix operator, and then performs binarized data conversion processing. In other words, the brightness (density) of cracked areas in two-dimensional image information obtained by human image processing is lower than that of the background area, but this means that it is relatively low, so simply binarization processing is performed. However, the detection of crack images is not successful.Therefore, the edge of the crack is first detected and then it is binarized.The edge detection process in the data conversion process for this purpose is based on a 3x3 pixel image. This is a modification of the edge enhancement method using the so-called Sobel operator, in which the central pixel of the weighted matrix is taken as the pixel of interest, and the value obtained by multiplying and adding the density of the surrounding pixels by a predetermined weighting coefficient is used as the point of interest data. However, especially in this invention,
Using multiple weighted matrix operators for each direction (80,000 directions considering the 4-direction Ci of the XY direction and both left and right diagonal directions between them), each pixel of interest is shaded in each direction with respect to its surrounding pixels. The gradation differences are calculated individually, and the maximum value of the calculation results for each direction is used as data for each pixel of interest. In this way, the data of the calculation results are saved for each pixel of interest, and a series of multivalued data corresponding to the degree of density change of the contour edge of the grayscale image is generated. Next, the two-dimensional image information is converted into binarized edge image data by binarizing each of the multivalued data using a predetermined threshold.

抽出判定手段では、前記画像処理手段で変換された前記
二値化エッジ画像データからひびの部分を抽出するが、
その場合、例えば線分の接続や二次元長さ寸法の閾値処
理などのパターン認識の手法で処理することによりひび
の形状に着目して特徴抽出を行ない、しかる後、画像単
位でノイズとひびの区別(判定)を行なって、例えば所
定値を超える二次元寸法あるいは更に方向性の収束度合
いなどから連続線図形としての画像を被検体表面上のひ
びとして検出する。検出データはひび部分の位置データ
と共にブロッタやディスプレイに出力される. 請求項2に記載の発明(係るひび検出装置においては、
前記画像処理手段が二次元画像情報中のノイズを除去し
て以後の検出精度を向上させるために前記二次元画像情
報に対して半閾値処理を行なう手段を含んでいる.この
場合、前記二次元画像情報の画像画素の濃度ヒストグラ
ム上における予め定められた面積比率を与える濃度閾値
が設定される.これには、画像情報の特徴解析において
図形部分と背景部分とに二値分離するための閾値決定法
として知られているP一タイル法が利用できる.即ち、
P一タイル法では画像情報の全画面の面積S (S)と
予測される図形の面積S (F)とから比率p=s (
F)/S (S)を求めると共に、全画面の画素の濃度
についてのヒストグラムを求め、このヒストグラムにお
いて濃度の低い画素から数えて画素数が全画素数の(i
−p)の比率になる濃度を閾値とするが、この発明では
検出対象図形は比較的細い線図形のひびであり、従って
、P一タイル法で求めた閾値(例えばP=80%以上に
なる)よりも始めは或る経験値(例えば20〜30%)
だけ低く見積もった値を濃度閾値とし、前記経験値は計
測結果の蓄積で漸次少なくしていけばノイズ除去の精度
を上げることができる. この半閾値処理では、前記方向別の濃淡階調差の演算に
先立って、前記二次元画像情報(対し、前記濃度閾値を
境にバックグラウンド情報に対応する高輝度側の画素濃
度が一律に前記濃度閾値と同じ値に変換固定される.こ
れにより以後のエッジ抽出処理のためのデータ変換処理
での二値化精度が向上する. 請求項3に記載の発明に係るひび検出装置においては、
前記抽出判定手段がひび検出精度と判定精度を向上する
ためのいくつかの手段を含んでいる。即ち、前記画像処
理手段で変換された前記二値化エッジ画像データは先ず
穴埋め手段により処理され、二値化エッジ画像データ中
にエッジ画像同士の間隔が予め定められた画素数以下の
箇所があると、その箇所のエッジ画像同士の間隔の画素
がエッジ画像と同じ二値レベルに変換される。これによ
り近接エッジ画像間が穴埋めされて太い線状画像となり
、次いで穴埋め処理後のエッジ画像データは細線化処理
手段により線幅中心方向に細線化されて線図形に変換さ
れる.さらに細線化処理後のエッジ画像データは、結合
処理手段による処理を受けて、エッジ画像の端点同士の
間隔が予め定められた画素数以下の箇所について端点間
を結ぶ最短距離の線上にある画素がエッジ画像と同じ二
値レベルに変換され、このようにして接近する細線化エ
ッジ画像同士が結合される。得られたエッジ画像のうち
から予め定められた二次元寸法を超える連続線図形が判
定手段によりひび画像として検出される.この場合、短
いものはひび以外の微小傷またはノイズとしてリジェク
トし、また連続線図形の方向成分を解析して方向性の収
束度合いからループ状であると判断されたものはひび以
外の障害物や突起付着物(小石等)と見做してリジェク
トする. この発明の特徴と利点を一層理解するために、鋪装路面
のひび検出装置に適用した実施例について以下に図面と
共に説明する. [実施例] 第1図はこの発明の実施例に係る舗装路面のひび検出装
置の構成を示すブロック図で、図示しない台車等に搭載
されたフードlは路面9の検査領域を外光から覆い、内
部にハロゲンランプ等による照明器2を保持して路面検
査領域を低角度から高輝度で照明するようになっている
.画像入力手段を構成する撮像カメラ3はCCDイメー
ジセンサなとの撮像素子により512x512画素の8
ビット(256階調〉のデジタル濃淡画像の二次元画像
情報を得るものであり、路面検査領域を真上から撮像す
るように前記フード1と固定関係に設けられている.こ
のような構成の撮像部分により路面9の検査領域を撮像
すると、低角度の照明光によってひび以外の路面部分が
高輝度になり、ひび部分がそのエッジの強い陰により強
調され、従って撮像カメラ3から得られるデジタル濃淡
画像では、ひびなどの強い陰の部分C対応する画素が暗
い低濃度のものとなり5ひび以外のバックグラウンド部
分が高輝度の明るい均一な高濃度のものとなり、両者の
相対濃度差が大きく強調されたものとなる. カメラ3からの入力画像情報を受取る画像処理装置4は
、入力二次元画像情報に対して観測時のノイズを低減す
るための平滑化処理部41と、平滑化処理後の画像情報
に対して画素の濃度についてのヒストグラムをとり、ヒ
ストグラムの面積に応じて前述P一タイル法により求め
た閾値Kから別に与えられる経験値を減算して濃度閾値
Mを決定する濃度閾値決定部42と、この濃度閾値Mを
用いて平滑化処理後の二次元画像情報を濃度変換して半
閾tji処理を行なう半閾値処理郎43と、半閾値処理
後の二次元画像情報に対して前述の変形ソーベル法Cよ
る加正マトリックス演算子を用いたデータ変換処理を行
なうことにより前記濃淡画像の輪郭エッジの濃度変化の
度合いに相当する一連の多値データを生戊するエッジ抽
出処理部44と、前記多値データを前記濃度閾値決定部
42で前記P一タイル法により求めた閾値Kに外部から
補正を与えた閾値により二値化してこ値化エッジ画像デ
ータを出力する二値化処理部45と、周囲の画素から孤
立した画素の二値化情報をバックグラウンドデータに置
き換える孤立点除去処理部46とを備えている。また、
この画像処理装置4には処理画像データのためのモニタ
装置5が接続されている。
The extraction determination means extracts a crack portion from the binarized edge image data converted by the image processing means,
In that case, features are extracted by focusing on the shape of the crack by processing it using pattern recognition techniques such as connecting line segments or thresholding two-dimensional length dimensions. A distinction (judgment) is performed, and an image as a continuous line figure is detected as a crack on the surface of the object, based on, for example, a two-dimensional dimension exceeding a predetermined value or a degree of directional convergence. The detected data is output to a blotter or display along with the position data of the crack. The invention according to claim 2 (in the crack detection device,
The image processing means includes means for performing half-threshold processing on the two-dimensional image information in order to remove noise in the two-dimensional image information and improve subsequent detection accuracy. In this case, a density threshold is set that gives a predetermined area ratio on the density histogram of image pixels of the two-dimensional image information. For this purpose, the P-tile method, which is known as a threshold value determination method for binary separation into graphic parts and background parts in feature analysis of image information, can be used. That is,
In the P-tile method, the ratio p=s (
F)/S (S) is determined, and a histogram of the pixel density of the entire screen is determined, and in this histogram, the number of pixels counting from the pixels with the lowest density is equal to (i) of the total number of pixels.
-p), but in this invention, the target figure to be detected is a relatively thin line figure crack, so the threshold determined by the P-tile method (for example, when P=80% or more ) at the beginning, a certain amount of experience points (e.g. 20-30%)
The accuracy of noise removal can be improved by setting the value estimated as low as the concentration threshold, and gradually reducing the empirical value as measured results are accumulated. In this half-threshold processing, prior to calculating the gradation difference for each direction, the pixel density of the two-dimensional image information (in contrast, the pixel density on the high-brightness side corresponding to the background information with the density threshold as the boundary) is It is converted and fixed to the same value as the density threshold. This improves the binarization accuracy in the data conversion process for the subsequent edge extraction process. In the crack detection device according to the invention as set forth in claim 3,
The extraction determination means includes several means for improving crack detection accuracy and determination accuracy. That is, the binarized edge image data converted by the image processing unit is first processed by a hole filling unit, and there is a portion in the binarized edge image data where the interval between edge images is less than or equal to a predetermined number of pixels. Then, the pixels at the interval between the edge images at that location are converted to the same binary level as the edge images. As a result, the gaps between adjacent edge images are filled in to form a thick line image, and then the edge image data after the hole filling process is thinned in the direction of the center of the line width by a thinning processing means and converted into a line figure. Furthermore, the edge image data after the line thinning process is processed by a combination processing means, and pixels on the shortest distance line connecting the end points of the edge image are The thinned edge images are converted to the same binary level as the edge images, and thinned edge images that are close to each other are combined in this way. Among the obtained edge images, continuous line figures exceeding a predetermined two-dimensional dimension are detected as crack images by the determination means. In this case, short ones are rejected as minute flaws other than cracks or noise, and short ones that are determined to be loop-shaped based on the degree of convergence of direction by analyzing the directional component of the continuous line figure are rejected as obstructions other than cracks. It is considered to be a protrusion attachment (pebbles, etc.) and is rejected. In order to better understand the features and advantages of the present invention, an embodiment applied to a crack detection device for a paved road surface will be described below with reference to the drawings. [Embodiment] FIG. 1 is a block diagram showing the configuration of a crack detection device for a paved road surface according to an embodiment of the present invention, in which a hood l mounted on a cart (not shown) covers the inspection area of the road surface 9 from external light. , an illuminator 2 using a halogen lamp or the like is held inside to illuminate the road surface inspection area with high brightness from a low angle. The imaging camera 3 constituting the image input means uses an imaging device such as a CCD image sensor to capture 8 pixels of 512 x 512 pixels.
It obtains two-dimensional image information of a digital grayscale image of bits (256 gradations), and is provided in a fixed relationship with the hood 1 so as to image the road surface inspection area from directly above. When the inspection area of the road surface 9 is imaged by a portion, the road surface portions other than the cracks become highly bright due to the low-angle illumination light, and the crack portions are emphasized by the strong shadows of their edges, so that the digital grayscale image obtained from the imaging camera 3 In this case, the pixels corresponding to strong shadow areas such as cracks (C) are dark and low-density, and the background areas other than cracks 5 are bright, uniform, and high-density, and the relative density difference between the two is greatly emphasized. The image processing device 4 that receives the input image information from the camera 3 includes a smoothing processing unit 41 for reducing noise during observation on the input two-dimensional image information, and a smoothing processing unit 41 for reducing the noise during observation on the input two-dimensional image information, and the image information after the smoothing processing. a density threshold determination unit 42 that calculates a histogram of the density of the pixel, and determines the density threshold M by subtracting a separately given empirical value from the threshold K obtained by the P-tile method according to the area of the histogram; , a half-threshold processor 43 that performs half-threshold tji processing by density-converting the two-dimensional image information after the smoothing process using the density threshold M, and a half-threshold processor 43 that performs the above-described transformation on the two-dimensional image information after the half-threshold process. an edge extraction processing unit 44 that generates a series of multivalued data corresponding to the degree of density change of the contour edge of the grayscale image by performing data conversion processing using an additive matrix operator according to Sobel method C; a binarization processing unit 45 that binarizes the multi-valued data using a threshold obtained by externally correcting the threshold K obtained by the P-tile method in the density threshold determination unit 42 and outputs the digitalized edge image data; It also includes an isolated point removal processing unit 46 that replaces the binarized information of a pixel isolated from surrounding pixels with background data.
A monitor device 5 for processing image data is connected to this image processing device 4 .

画像処理装置4から出力される二値化エッジ画像データ
は孤立点が除去された二値のエッジデータであり、判定
抽出装置6は、このエッジデータをパターンB識処理す
るこheよりひび形状の特徴抽出及び判定を行なって被
検体表面上のひびを検出し、出力装置8へ出力する。こ
の実施例において、判定抽出装置6は例えばマイクロコ
ンピュータによって構成され、その機能要素として、図
示するように、穴埋め処理部61と、細線化処理部62
と、微小ノイズ除去処理郎63)二、線分結合処理部6
4と、短線ノイズ除去処理部65と、連続線図形判定部
66とを備えている。
The binarized edge image data output from the image processing device 4 is binary edge data from which isolated points have been removed, and the judgment extraction device 6 processes this edge data for pattern B recognition, thereby identifying the crack shape. Characteristic extraction and determination are performed to detect cracks on the surface of the subject and output to the output device 8. In this embodiment, the determination extraction device 6 is constituted by, for example, a microcomputer, and its functional elements include a fill-in processing section 61 and a thinning processing section 62, as shown in the figure.
and minute noise removal processing section 63) 2. Line segment combination processing section 6
4, a short line noise removal processing section 65, and a continuous line figure determination section 66.

先ず、特徴抽出の処理は穴埋め処理部61か6短線ノイ
ズ除去処理部65までの要素によって行なわれる。
First, feature extraction processing is performed by the elements up to the hole filling processing section 61 and the six short line noise removal processing section 65.

前記穴埋め処理部61は、前記画像処理装置4からの二
値化エッジ画像データ中のエッジ画像同士の間隔が予め
定められた画素数以下の箇所にー)いて該間隔内の画素
をエッジ画像と同じ二値レベルに変換し、前記細線化処
理部62は、穴埋め処理後のエッジ画像データを一般的
な細線化処理T法に従って線図形に変換処理する。微小
ノイズ除去処理部63は、細線化処理後のエッジ画像デ
ータ中の所定画素数以下の線分データおよび孤立データ
をバックグラウンドデ・一タC置き換λて除去する.こ
のようにして微小ノイズを除去されたエッジ画像データ
に対して前記結合処理部64はエッジ画像の端点同士の
間隔が予め定められた画素数以下の箇所について端点間
の画素をエッジ画像と同じ二値1ノベルに変換し、互い
の端点が近接した線図形同士を一連の線分に結合する。
The hole-filling processing unit 61 determines that the interval between edge images in the binarized edge image data from the image processing device 4 is less than or equal to a predetermined number of pixels, and identifies the pixels within the interval as an edge image. The thinning processing unit 62 converts the edge image data after the hole filling process into a line figure according to the general thinning process T method. The minute noise removal processing unit 63 removes line segment data having a predetermined number of pixels or less and isolated data in the edge image data after the line thinning process by replacing them with background data C. For the edge image data from which minute noise has been removed in this way, the combination processing unit 64 converts the pixels between the end points to the same number of pixels as the edge image for locations where the interval between the end points of the edge image is less than or equal to a predetermined number of pixels. Convert to value 1 novel, and connect line figures whose end points are close to each other into a series of line segments.

この一連の線分の.うち、設定された二次元寸法以下の
ものが短線ノイズ除去処理部65でバックグラウンドデ
ータに置き換えられて除去され、画像データのうちのひ
びらしきものだけが残される。
This series of line segments. Among them, those smaller than the set two-dimensional size are replaced by background data and removed by the short line noise removal processing unit 65, leaving only those that appear to be cracks in the image data.

特徴抽出後の画像データ中の各線分についてひびか否か
を判定する連続線図形判定部66は、短線ノイズ除去処
理部65から出力されるエッジ画像を個々に判定し、予
め定められた二次元寸法を超えるもの及び線分の方向成
分が偏った収束性をもつものをひび画像として検出する
A continuous line figure determination unit 66 that determines whether each line segment in the image data after feature extraction is a crack or not determines each edge image output from the short line noise removal processing unit 65, , and those whose directional components have biased convergence are detected as crack images.

判定抽出装置6には各部の処理画像を表示するモニター
装置7と、連続線図形判定部66の出力をプリントアウ
トまたはディスプレイ表示する出力装置8が接続されr
いる。
A monitor device 7 for displaying processed images of each section and an output device 8 for printing out or displaying the output of the continuous line figure judgment section 66 are connected to the judgment extraction device 6.
There is.

第1図に示した構戊のひび検出装置における画像処理装
置4と判定抽出装置6じよるひび検出動作を第2〜9図
と共に以下に説明する。
The crack detection operation performed by the image processing device 4 and the determination extraction device 6 in the structural crack detection device shown in FIG. 1 will be described below with reference to FIGS. 2 to 9.

まずはじめは、画像処理装置4への入力情報は撮像カメ
ラ3により得た512X512画素の8ビット(256
階調)のデジタル濃淡画像の二次元画像情報であり、照
明器2による低角度照明によって路而9の濃淡・色ムラ
などのバックグラウンドノイズを均一輝度にすることに
より予め低減し、しかもひびのエッジ部分に着目してそ
の陰影を強くだすようじしているので、エッジ部分の検
出の前社路面のひびでない部分C対してひびの境界部分
が画像情報中で濃度強調されたものとなっている。
First of all, the input information to the image processing device 4 is 8 bits (256
This is two-dimensional image information of a digital gradation image (gradation), and background noise such as gradation and color unevenness of the road 9 is reduced in advance by making it uniform brightness by low-angle illumination by the illuminator 2, and moreover, it reduces cracks. Since we are trying to focus on the edge part and make its shadow stronger, the density of the boundary part of the crack is emphasized in the image information compared to the part C that is not a crack on the road surface before detecting the edge part. .

このような入力画像を扱う画像処理装置4での画像変換
のアルゴリズムのフローは第2図に示す通りである。
The flow of the image conversion algorithm in the image processing device 4 that handles such input images is as shown in FIG.

すなわち、入力された512X512画素の8ビット(
256階調)の二次元デジタル画像情報はなず平滑化処
理部41で第3図釘示すマトリックス演算子により平滑
化処理され、画素の孤立的輝度変化がスムージングされ
る.入力画像情報は濃度強調されているものの依然とし
てかなりの輝度ムラなどのノイズを含み、従ってこれを
スムージングして観測時のノイズを減らす必要がある.
この平滑化処理のマトリックス演算子は、第3図に示す
ように、3×3のマトリックス構成をもち、中央の着目
点画素に対して周囲の画素の濃度に係数178を乗じて
これらを加算した値を着目点の濃度値として取りこみ、
これを全画面の画素について走査しながら演算処理して
画素間の孤立的輝度(濃度〉のばらつきを平滑化する。
In other words, 8 bits of input 512x512 pixels (
The two-dimensional digital image information (256 gradations) is first smoothed by the matrix operator shown in FIG. Although the input image information is density-enhanced, it still contains considerable noise such as brightness unevenness, so it is necessary to smooth this to reduce noise during observation.
The matrix operator for this smoothing process has a 3 x 3 matrix configuration as shown in Figure 3, and the density of the surrounding pixels is multiplied by a coefficient of 178 for the center pixel of interest, and these are added. Import the value as the density value of the point of interest,
This is arithmetic processed while scanning the pixels of the entire screen to smooth out isolated variations in brightness (density) between pixels.

濃度閾値決定部42は、平滑化処理後の画像情報に対し
て画素の濃度についてのヒストグラムをとり、ヒストグ
ラムの面積に応じて前述P一タイル法により求めた閾値
Kから別に与えられる経験値を減算して濃度閾値Mを決
定する.人力画像のヒストグラムの一例を第4図に示す
. 前記濃度閾値Mは、路面バックグラウンドに相当する輝
度の部分の画素について濃度的に均一化するための半閾
値処理部43における濃度変換処理に用いられる. 画像処理技術における図形の解析のための二値化閾値の
決定法には、モード法、判別分析法、P−タイル法、微
分ヒストグラム法などが知られているが、ひび検出の場
合、画像のヒストグラムをとってもモード法や判別分析
法で必要になるヒストグラムの谷が現れないことが多い
ので、ここではヒストグラムの面積に着目し、第5図に
示すように濃度閾1直決定部42において取り出したヒ
ストグラム(a)からP一タイル法によって閾値Kを求
め、これから外部設定による経験値である20〜30%
を減じて濃度閾値Mを決定する。この濃度閾値Mによる
半閾値処理はひび画像の絶対濃度の範囲限定ということ
ができ、第5図(b)に示すように平滑化入力画像の各
画素についてその濃度データを濃度閾値Mと比較し、M
以上の濃度データは一律に濃度Mに変換して、画像の輝
度のばらつきが以後のエッジ抽出に影響するのを防止す
るものである.即ち、路面自体がもつ色ムラなどの性質
とひび自体がもつ性質とでは輝度)濃度)にある程度の
差が存在し、路面に輝度ムラがあってもそれはひび部分
よりも相対的に高輝度である.そこで入力画像情報の画
素の濃度ヒストグラムをとり、例えば50%より高い濃
度のものは路面に由来するものとして均一濃度に変換し
、これにより50%以上の濃度の画素・部分Cついての
ノイズをなくしてしまうようにする.この50%という
濃度閾値は、過去の測定データからの経験値に基く前述
補正量を加減することによって修正成すればよい。
The density threshold determining unit 42 takes a histogram of pixel density for the image information after the smoothing process, and subtracts a separately given empirical value from the threshold K obtained by the P-tile method according to the area of the histogram. Then, determine the concentration threshold M. Figure 4 shows an example of a histogram of a human image. The density threshold value M is used in the density conversion process in the half-threshold processing unit 43 to equalize the density of pixels in the luminance portion corresponding to the road background. The modal method, discriminant analysis method, P-tile method, differential histogram method, etc. are known as methods for determining the binarization threshold for graphic analysis in image processing technology, but in the case of crack detection, Even if the histogram is taken, the valleys in the histogram required for the mode method or discriminant analysis method often do not appear, so here we focus on the area of the histogram, and as shown in FIG. The threshold value K is determined from the histogram (a) using the P-tile method, and from this the threshold value K is determined by an external setting of 20 to 30%.
The density threshold value M is determined by subtracting . This half-threshold processing using the density threshold M can be said to limit the range of the absolute density of the cracked image, and as shown in FIG. 5(b), the density data of each pixel of the smoothed input image is compared with the density threshold M. ,M
The above density data is uniformly converted to density M to prevent variations in image brightness from affecting subsequent edge extraction. In other words, there is a certain degree of difference in brightness (density) between the properties of the road surface itself, such as color unevenness, and the properties of the cracks themselves, and even if there is uneven brightness on the road surface, it is relatively brighter than the cracks. be. Therefore, we take the density histogram of the pixels of the input image information, and convert the density higher than 50% to a uniform density, assuming that it originates from the road surface.This eliminates the noise in pixels/part C with a density higher than 50%. Make sure that it stays in place. This concentration threshold value of 50% may be corrected by adjusting the above-mentioned correction amount based on the empirical value from past measurement data.

このようにして半閾値処理部43で濃度変換された画像
情報は次いで二値化処理によりひび検出に付されるが、
ひびの部分はその周囲の路面部分より輝度が低いとはい
うものの、これは相対的な輝度変化であり、単純に二値
化処理を行なってもひびの検出は満足な結果を与えない
。そこでここではエッジ抽出処理部44によってひびの
エッジを一先ず検出してから二値化処理を行なうように
してある。
The image information thus density-converted by the half-threshold processing unit 43 is then subjected to crack detection through binarization processing.
Although the brightness of the cracked area is lower than that of the surrounding road surface area, this is a relative change in brightness, and simply performing binarization processing will not provide satisfactory results for crack detection. Therefore, here, the edges of the cracks are first detected by the edge extraction processing section 44, and then the binarization processing is performed.

一般的な画像情報中の図形のエッジを抽出する方法には
、一次または二次微分法、ソーベル法、ロバーツ法、プ
レウイット法、ラブラシアン法などが知られているが、
この装置のエッジ抽出処理部44によるエッジ抽出では
、第6図に示すような縦横斜めの方向別に異なる4種類
の加重マトリックスを用いて処理を行なう。これは、3
×3画素の加重マトリックスの中央画素を着目点画素と
して、その周囲の画素の濃度に予め定められた重み付け
係数を乗じて加算した値を着目点データとする所謂ソー
ベル(Sobel)オペレータによるエッジ強調手法の
変形であるが、特にこの発明では、XY方向とその中間
の左右両斜め方向の計4方向(極性を考慮すると8方向
)について方向別の複数の加重マトリックス演算子を用
いて各着目点画素につきその周囲の画素との方向別の濃
淡階調差を個々に演算し、これら方向別の演算結果のう
ちの最大値を各着目点画素のデータとするものである. 第6図において各演算子は絶対値を演算し、演算子(a
)は縦方向に反応性を、演算子(b)は横方向の反応性
を、演算子(C)は右下がり斜め方向の反応性を、演算
子(.j)は左下がり斜め方向の反応性を求めるための
ものである。例えばマトリックスの各要素を、 で表わすとき、演算子(a) によるデータ変換処理を
受けた着目点画素の濃度値は、 X5=X1+2X2+X3X7−2XaX9となる。
Known methods for extracting the edges of figures in general image information include the first-order or second-order differential method, Sobel method, Roberts method, Prewitt method, and Labrassian method.
Edge extraction by the edge extraction processing section 44 of this device is performed using four types of weighting matrices that are different for the vertical, horizontal, and diagonal directions as shown in FIG. This is 3
An edge enhancement method using the so-called Sobel operator, in which the central pixel of a weighted matrix of ×3 pixels is set as the pixel of interest, and the value obtained by multiplying the density of the surrounding pixels by a predetermined weighting coefficient and adding the resultant value is the point of interest data. However, in this invention, in particular, each pixel of interest is calculated using a plurality of weighted matrix operators for each direction in a total of four directions (eight directions considering polarity): the XY directions and the left and right diagonal directions between them. For each pixel, the difference in gray scale in each direction with respect to surrounding pixels is calculated individually, and the maximum value of the calculation results in each direction is used as data for each pixel of interest. In Figure 6, each operator calculates the absolute value, and the operator (a
) indicates the reactivity in the vertical direction, operator (b) indicates the reactivity in the horizontal direction, operator (C) indicates the reactivity in the diagonal direction downward to the right, and operator (.j) indicates the reactivity in the diagonal direction downward to the left. It is for seeking sex. For example, when each element of the matrix is represented by the following, the density value of the pixel of interest that has undergone data conversion processing by operator (a) becomes X5=X1+2X2+X3X7-2XaX9.

このようにしてエッジ抽出処理部44によるエッジ抽出
では、各着目点画素毎に各演算子による演算を行ない、
各着目点画素につき4種類の演算子による?′A算結果
のうちで絶対値が最大の演算結果のデータをその着目点
画素の変換データとして保存する。かくして前記二次元
画像情報中の濃淡画像の輪郭エッジの濃度変化の度合い
(相当する一連の多値データが位置データと共に生威さ
れ、次いでこの各多値データを二値化処理部45によっ
て予め定められた閾値により二値化することにより、前
記二次元画像情報がひびの可能性をもつ部分とそうでな
い部分とに区別された二値化エッジ画像データに変換さ
れる.この場合、二値化43埋部45での二値化閾値と
しては、濃度閾値決定部42でのヒストグラムから求め
たP一タイルl去による閾値Kに外部から調整可能な補
正値を与えたものを用いる。
In this way, in edge extraction by the edge extraction processing unit 44, calculations are performed using each operator for each pixel of interest,
Using 4 types of operators for each pixel of interest? 'Among the A calculation results, the data of the calculation result with the largest absolute value is saved as the conversion data of the pixel of interest. In this way, a series of multivalued data corresponding to the degree of density change of the outline edge of the grayscale image in the two-dimensional image information is generated together with the position data, and then each multivalued data is predetermined by the binarization processing unit 45. The two-dimensional image information is converted into binarized edge image data in which parts with the possibility of cracking and parts without the possibility of cracking are binarized by binarizing using the set threshold. As the binarization threshold in the 43-filling section 45, a threshold value K obtained from the histogram in the density threshold determining section 42, obtained by removing P-tiles, is given a correction value that can be adjusted from the outside.

このようにして変換して得た二値化エッジ画像データは
次いで孤立点除去処理部46により処理されるいこれは
例えば3×3画素のマトリックス演算子を用いた走査処
理により着目点画素の周囲8画素が全てバックグラウン
ドデータであれば着目点画素のデータを同じバックグラ
ウンドデータに変換するという走査演算/A埋であり、
これにより二値化エッジ画像データ中の孤立した画素デ
ータが除去され、ひびの抽出判定がし易くなるようにし
ている。
The binarized edge image data obtained by converting in this way is then processed by the isolated point removal processing unit 46. For example, this is performed by scanning the 8 pixels around the pixel of interest using a 3×3 pixel matrix operator. If all pixels are background data, it is a scanning operation/A filling that converts the data of the pixel of interest into the same background data,
This removes isolated pixel data in the binarized edge image data, making it easier to determine if a crack is to be extracted.

次に判定抽出装置6におけるひび特徴抽出と判定処理の
アルゴリズムのフローは第7図に示taりである。
Next, the flow of the algorithm for crack feature extraction and determination processing in the determination extraction device 6 is shown in FIG.

ここで、判定抽出装置6に人力される前記二値化エッジ
画像データに含まれるひび情報の性質として考虜しなけ
ればならないのは、ひびの両端は抽出されるが中間部分
は路面の窪みなどの影響でエッジが不明瞭となり、線図
形として中間部が消失したものとなることがあることと
、必ずしもひび部分が連続線図形として抽出できず、断
続的な場合があること、そしてひびを抽出しようとする
結果、ひび以外の小石などの障害物やゴミなどによるノ
イズも線分として抽出してしまうことがあることである
. 判定抽出装置6でのひびの特徴抽出では、近接して延び
るエッジ画像間の間の画素をエッジ画像と同じデータに
して穴埋めし、その後、ひび画像を線図形的に捉らえ、
ゴミ的な微小ノイズを除去し、線図形同士の近接端点間
を結合してつなげ、ひび的な大きさ(長さ)形状でない
ものを除去すスー:南の枳理を行trう 即ち、穴埋め処理部61では、先に述べたひび端部は抽
出できても中間部が消失してしまったり断続的な線分と
してしか抽出できなかったりする事態を防ぐための穴埋
め処理を行なうが、ひびの画像の特徴から一般的な閉じ
た図形に対する穴埋め手法は適用できず、そこで第8図
に示すようにX方法とY方向の各々について例えば6画
素分の直線状画素領域について二次元方向に順次演算処
理し、該領域の両端の画素がエッジ画像データをもって
いて間の画素がデータを欠く場合にこれら間の画素をエ
ッジ画像データに置き換えて埋める処理を行なう。この
穴埋め手法は極めてシンプルであり、ひび画像の穴埋め
に効果的である。穴埋め対象の間隔画素数は前記直線状
画素領域の設定により任意であることは述べるまでもな
い。
Here, it is important to keep in mind the nature of the crack information included in the binarized edge image data manually inputted to the judgment extraction device 6. Although both ends of the crack are extracted, the middle part is a dent in the road surface, etc. Edges may become unclear due to the effect of As a result, noise caused by obstructions such as pebbles, dirt, etc. other than cracks may also be extracted as line segments. In the crack feature extraction by the judgment extraction device 6, pixels between closely extending edge images are filled in with the same data as the edge images, and then the crack images are captured in a linear manner,
Remove garbage-like minute noise, join and connect adjacent end points of line figures, and remove those that do not have a crack-like size (length) shape. The processing unit 61 performs hole-filling processing to prevent the above-mentioned situation in which the crack ends can be extracted but the middle part disappears or can only be extracted as intermittent line segments. Due to the characteristics of the image, a general hole-filling method cannot be applied to closed figures, so as shown in Figure 8, calculations are performed sequentially in the two-dimensional direction on a linear pixel area of, for example, 6 pixels in each of the X direction and Y direction. If the pixels at both ends of the area have edge image data and the pixels in between lack data, processing is performed to replace and fill in the pixels between these with edge image data. This hole filling method is extremely simple and effective for filling holes in cracked images. Needless to say, the number of interval pixels to be filled in is arbitrary depending on the setting of the linear pixel area.

このようにして穴埋め処理された二値化エッジ画像デー
タは次いで細線化処理部62によって一般的な手法に従
って細線化処理を受ける。これはひび画像は一般的には
線図形的性質をもつものでふ rl     aン.R
J− ナ ス、ψ−h−F!  一 々 4  f−0
1  F刀 nc  k  l .”r  /7’1 
 7kび形状であるからである。この細線化処理では、
穴埋め処理された各線分の両端点を固定して間の太線部
分を幅方向の両側から細線化処理する。
The binarized edge image data subjected to hole filling processing in this manner is then subjected to line thinning processing by a thinning processing section 62 according to a general method. This is because crack images generally have line graphic properties. R
J- eggplant, ψ-h-F! 4 f-0
1 F sword nc k l. ”r/7'1
This is because it has a 7k-long shape. In this thinning process,
Both end points of each filled-in line segment are fixed, and the thick line portion between them is thinned from both sides in the width direction.

微小ノイズ除去処理部63では数画素分以下の線分や孤
立点データを除去し、この処理は通常の画像処理技術と
変わるところがない。
The minute noise removal processing section 63 removes line segments and isolated point data of several pixels or less, and this processing is no different from normal image processing technology.

次いで結合処理部64では画像データの各線分間の端点
同士の間隔距離を求めてこれを設定閾値と比較し、ある
距離以内で隣接する端点同士の間の画素をエッジ画像デ
ータに変換して両線分を接続させる処理を行なう。これ
は、実際には断続図形として抽出され易いひび画像をな
るべく連続線図形として検出するためであり、そのため
にも結合処理に先立って微小ノイズ除去処理部63によ
ってひび以外のノイズ画像を可能なかぎり除去しておく
のがよい。
Next, the combination processing unit 64 calculates the interval distance between the end points of each line segment of the image data, compares this with a set threshold, converts the pixels between adjacent end points within a certain distance into edge image data, and converts the pixels between the end points of each line segment of the image data into edge image data. Perform processing to connect the parts. This is to detect crack images, which are actually easily extracted as discontinuous figures, as continuous line figures as much as possible, and for this purpose, prior to the combining process, the minute noise removal processing unit 63 removes noise images other than cracks as much as possible. It is better to remove it.

短線ノイズ除去処理部65では、結合処理後の画像デー
タ中からひび画像候補以外の短い寸法の線分画像を除去
するが、これは通常の画像処理技術と同様に線分の占め
る二次元寸法(長さ又は面積)による閾値処理である. 以上のような一連の処理で特徴抽出されたエツジデータ
の各線分画像はひび候補であり、連続線図形判定部66
ではこれらの各画像単位毎にひび画像か否かの判定を行
なう。
The short line noise removal processing unit 65 removes line segment images with short dimensions other than crack image candidates from the image data after the combination processing. This is threshold processing based on length or area). Each line segment image of the edge data whose features have been extracted through the series of processes described above is a crack candidate, and the continuous line figure determination unit 66
Then, it is determined whether or not each of these image units is a crack image.

検査対象の路面撮像画像中で抽出されるひび画像は既に
判定部66に入力されるまでに或る程度の連続線図形と
して抽出されているが、画像データ中に存在するノイズ
は完全には除去されるものではない。従って画像単位が
小さいひびなのかノイズなのかは、着目している画像単
位だけでは依然として判定できず、その周辺の状況から
の判断が必要である。ひび画像とノイズとの区別は、画
像の孤立性および密着性が基準となる.第9図にひび画
像の例を示す。判定部66での判定処理では、第9図に
おいて画像単位の線分のX方向の長さ成分LxとY方向
の長さ成分Lyとの和をA (=Lx+t,y)とし、
まずこれを判定基準とする. 判定部66に予め二つの閾値A.とA2  (但しA 
+ <A2 )を設定して、A < A Iならノイズ
としてリジエクトし、A > A +なら一先ずひびの
候補であると判断して保存する,A>A2ならばこれは
ひび画像であると判定する, A r < A < A
 2の場合は、その画像の方向性に着目して判定を行な
う。即ち、その画像単位のデータをXY二次元平面内で
等角度間隔の例えば8方向にデジタル化して方向別のヒ
ストグラムをとり、任意の隣接する例えば3方向のヒス
トグラム成分の和が全体のどれだけの比率を占めるかを
適当な閾値により判別し、方向成分に一定レベルを超え
る偏りが存在するものを線図形(即ちひび画像)である
と判定する。この方向性に大きな偏りが現われないもの
は図形としてはループ状のものである可能性が大きいの
で、これらは例えば検査対象物表面の穴または小石など
に由来するひび以外のものとしてリジェクトする. 判定部66では、以上のような判定処理を行なってひび
画像であると判定された画像データについてのみラベル
を付し、ラベル毎にその位置座標値として出力装置8に
出力する。
Although the crack image extracted from the road surface image to be inspected has already been extracted as a continuous line figure to some extent before being input to the determination unit 66, the noise present in the image data has not been completely removed. It is not something that will be done. Therefore, it is still not possible to determine whether an image unit is a small crack or noise based only on the image unit of interest, and it is necessary to make a determination based on the surrounding situation. The distinction between cracked images and noise is based on the isolation and closeness of the images. Figure 9 shows an example of a crack image. In the determination process in the determination unit 66, in FIG. 9, the sum of the length component Lx in the X direction and the length component Ly in the Y direction of the line segment of the image unit is set as A (=Lx+t,y),
First, use this as the criterion. Two threshold values A. and A2 (however, A
+ < A2 ), if A < A I, reject it as noise, if A > A +, determine it to be a crack candidate and save it, if A > A2, determine it to be a crack image. , A r < A < A
In case 2, the determination is made by focusing on the directionality of the image. That is, the data for each image is digitized in, for example, 8 directions at equal angular intervals within the XY two-dimensional plane, and a histogram for each direction is taken. It is determined by an appropriate threshold whether the ratio is high, and if the directional component has a bias exceeding a certain level, it is determined to be a line figure (that is, a crack image). If a large deviation in direction does not appear, there is a high possibility that the shape is loop-shaped, so these should be rejected as something other than cracks originating from holes or pebbles on the surface of the object to be inspected. The determining unit 66 performs the above-described determination process and labels only the image data determined to be a cracked image, and outputs each label to the output device 8 as its position coordinate value.

第10図に以上に述べた判定抽出装置によるひび画像の
抽出結果の一例を示す. 第10図(a)は画像処理装置4から与えられる二値化
エッジ画像データのモニター画像で、これは第6図の演
算子によるエッジオペレータ処理でエッジ抽出した後に
二値化処理し、孤立点除去処理部46から出力された画
像である。第10図(b)は穴埋め処理部61の出力モ
ニタ一画像であり、第10図(C)はそれを細線化処理
部62で細線化した後のモニター画像である。第10図
(d)は細線化画像から微小ノイズを除去した後に結合
処理部64で結合処理した後のモニター画像、第10図
(e)はさらにそれを短線ノイズ除去部65で処理した
ノイズ除去後のモニター画像であり、これが判定部66
へ入力されるひび特徴抽出画像である. [発明の効果] 以上に述べたように、この発明によれば、検査対象物の
表面を光学的に撮像して得られた画像情報をひびの検出
に最適化した画像処理装置と特徴抽出・判定装置によっ
て処理するので、対象物の材質組織及び測定条件にあま
り制限なしに一定判定基準で効率よく表面のひびを自勤
検出することができ、鋪装路面や各種材質のスラブまた
は板材などの被検体表面のひび割れを、画像処理とパタ
ーン認識技術によるひび形状の特徴抽出と一定基準での
判定処理によって自動的に検出・判定し、ひびの位置情
報と共にデータ出力することが可能となるものである。
Figure 10 shows an example of the results of extracting a crack image using the judgment extraction device described above. FIG. 10(a) is a monitor image of the binarized edge image data provided from the image processing device 4, which is extracted by edge operator processing using the operator in FIG. 6, then binarized, and isolated points This is an image output from the removal processing unit 46. FIG. 10(b) is an output monitor image of the hole-filling processing unit 61, and FIG. 10(C) is a monitor image after the line has been thinned by the line thinning processing unit 62. FIG. 10(d) is a monitor image after fine noise has been removed from the thin line image and then combined processing is performed in the combining processing unit 64, and FIG. This is the later monitor image, and this is the determination unit 66
This is the crack feature extraction image input to . [Effects of the Invention] As described above, according to the present invention, image information obtained by optically imaging the surface of an object to be inspected is combined with an image processing device optimized for crack detection and feature extraction/ Since the processing is performed using a judgment device, cracks on the surface can be detected efficiently and automatically using fixed judgment criteria without any restrictions on the material structure or measurement conditions of the target object, and can be used to detect surface cracks on surfaces such as paved roads and slabs or boards made of various materials. It is possible to automatically detect and judge cracks on the surface of a specimen by extracting characteristics of the crack shape using image processing and pattern recognition technology, and performing judgment processing based on certain criteria, and output the data along with the crack position information. .

【図面の簡単な説明】[Brief explanation of the drawing]

第1図はこの発明を鋪装路面のひび検出に適用した実施
例装置の構成を示すブロック図、第2図は画像処理装置
における画像情報変換処理のアルゴリズムのフローを示
す流れ図、第3図は平滑化処理のオペレータマトリック
スの一例を示す説明図、第4図は人力画像の濃度ヒスト
グラムの一例を示す線図、第5図(a)(b)は濃度閾
値決定と半閾値処理を説明するための濃度ヒストグラム
線図と半閾値処理人出力特性線図、第6図(a)〜(d
)はエッジ抽出処理のための方向別加重マトリックス演
算子の一例を示す説明図、第7図は判定抽出装置におけ
るひび抽出・判定のアルゴリズムのフローを示す流れ図
、第8図は穴埋め処理の対象画素領域を示す説明図、第
9図はひび画像の例を示す説明図、第10図(a)〜(
e)は判定抽出装置によるひび画像の抽出処理のモニタ
・一画像例を示す説明図である。 (主要部分の符号の説明) 1:フート、2:照明器、3二撮像カメラ、4 画像処
理装置、5ニモニター装置、6:判定抽出装置、7:モ
ニター装置、8:出力装置、9:被検査路面、41:平
滑化処理部、42:濃度閾値決定部、43:半閾値処理
部、44 :..Tツジ抽出処理部、45:二値化処理
部、46.孤立点除去処理部、6l:穴埋め処理部、6
2:細線化処理部、63:徴小ノイズ除去処理部、64
:結合処理部、65:短線ノイズ除去処理部、66:連
続線図形判定部。
FIG. 1 is a block diagram showing the configuration of an embodiment of an apparatus in which the present invention is applied to crack detection on a paved road surface, FIG. FIG. 4 is a diagram showing an example of a density histogram of a human-powered image, and FIGS. 5(a) and 5(b) are diagrams for explaining density threshold determination and half-threshold processing. Density histogram diagram and half-threshold processing human output characteristic diagram, Figures 6(a) to (d)
) is an explanatory diagram showing an example of a direction-based weighted matrix operator for edge extraction processing, Fig. 7 is a flowchart showing the flow of the crack extraction/judgment algorithm in the judgment extraction device, and Fig. 8 is a diagram showing target pixels for hole-filling processing. An explanatory diagram showing the area, FIG. 9 is an explanatory diagram showing an example of a crack image, and FIGS. 10 (a) to (
e) is an explanatory diagram showing an example of a monitor image of crack image extraction processing performed by the determination extraction device. (Explanation of symbols of main parts) 1: Foot, 2: Illuminator, 32 Imaging camera, 4 Image processing device, 5 Monitor device, 6: Judgment extraction device, 7: Monitor device, 8: Output device, 9: Road surface to be inspected, 41: Smoothing processing section, 42: Density threshold determining section, 43: Half threshold processing section, 44:. .. T-tsuji extraction processing section, 45: Binarization processing section, 46. Isolated point removal processing unit, 6l: Hole filling processing unit, 6
2: Thinning processing unit, 63: Small noise removal processing unit, 64
: combination processing unit, 65: short line noise removal processing unit, 66: continuous line figure determination unit.

Claims (1)

【特許請求の範囲】 1、被検体表面を撮像してデジタル濃淡画像の二次元画
像情報を得る画像入力手段と、 得られた二次元画像情報を走査処理して、着目点画素の
周囲の画素の濃度に予め定められた重み付け係数を乗じ
て加算する方向別の複数の加重マトリックス演算子を用
いて各着目点画素につきその周囲の画素との方向別の濃
淡階調差を演算し、前記方向別の演算結果のうちの最大
値を各着目点画素につき保存して前記濃淡画像の輪郭エ
ッジの濃度変化の度合いに相当する一連の多値データを
生成し、この多値データを予め定められた閾値により二
値化することによって前記二次元画像情報を二値化エッ
ジ画像データに変換する画像処理手段と、 前記二値化エッジ画像データをパターン認識処理するこ
とによりひび形状の特徴抽出及び判定を行なって被検体
表面上のひびを検出する抽出判定手段、 とを備えたことを特徴とするひび検出装置。 2、前記画像処理手段が、前記方向別の濃淡階調差の演
算に先立って、前記二次元画像情報に対し、画像画素の
濃度ヒストグラム上における予め定められた面積比率を
与える濃度閾値を境にバックグラウンド情報に対応する
高輝度側の画素濃度を一律に前記濃度閾値と同じ値に変
換固定する半閾値処理を行なう手段を含む請求項1に記
載のひび検出装置。 3、前記抽出判定手段が、前記二値化エッジ画像データ
中のエッジ画像同士の間隔が予め定められた画素数以下
の箇所について該間隔の画素をエッジ画像と同じ二値レ
ベルに変換する穴埋め処理手段と、穴埋め処理後のエッ
ジ画像データを線図形にするための細線化処理手段と、
細線化処理後のエッジ画像データのエッジ画像の端点同
士の間隔が予め定められた画素数以下の箇所について端
点間の画素をエッジ画像と同じ二値レベルに変換する結
合処理手段と、結合処理して得られたエッジ画像のうち
から予め定められた二次元寸法を超える連続線図形をひ
び画像として検出する手段とを含む請求項1に記載のひ
び検出装置。
[Scope of Claims] 1. Image input means for capturing an image of the surface of a subject to obtain two-dimensional image information of a digital grayscale image, and scanning processing of the obtained two-dimensional image information to detect pixels surrounding a pixel of interest. Using a plurality of direction-specific weighted matrix operators that multiply the density of the target pixel by a predetermined weighting coefficient and add the resultant values, the direction-specific gray scale difference between each pixel of interest and its surrounding pixels is computed, and The maximum value of the other calculation results is saved for each pixel of interest to generate a series of multi-value data corresponding to the degree of density change of the contour edge of the grayscale image, and this multi-value data is an image processing means for converting the two-dimensional image information into binarized edge image data by binarizing it using a threshold; and extracting and determining characteristics of crack shapes by subjecting the binarized edge image data to pattern recognition processing. 1. A crack detection device comprising: an extraction determination means for detecting cracks on a surface of a subject by detecting cracks on the surface of a subject. 2. The image processing means, prior to calculating the gray scale difference for each direction, processes the two-dimensional image information at a density threshold that gives a predetermined area ratio on the density histogram of the image pixel. 2. The crack detection apparatus according to claim 1, further comprising means for performing half-threshold processing for uniformly converting and fixing pixel densities on the high-brightness side corresponding to background information to the same value as the density threshold. 3. Hole-filling processing in which the extraction determination means converts the pixels of the interval between the edge images in the binarized edge image data into the same binary level as the edge image for locations where the interval between the edge images is less than or equal to a predetermined number of pixels. means, a thinning processing means for converting the edge image data after the hole filling processing into a line figure;
a combination processing means for converting the pixels between the end points into the same binary level as the edge image for locations where the interval between the end points of the edge image of the edge image data after the thinning process is less than or equal to a predetermined number of pixels; 2. The crack detection apparatus according to claim 1, further comprising means for detecting a continuous line figure exceeding a predetermined two-dimensional dimension from among the edge images obtained by the above process as a crack image.
JP29958889A 1989-11-20 1989-11-20 Device for detecting crack Pending JPH03160349A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29958889A JPH03160349A (en) 1989-11-20 1989-11-20 Device for detecting crack

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29958889A JPH03160349A (en) 1989-11-20 1989-11-20 Device for detecting crack

Publications (1)

Publication Number Publication Date
JPH03160349A true JPH03160349A (en) 1991-07-10

Family

ID=17874576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29958889A Pending JPH03160349A (en) 1989-11-20 1989-11-20 Device for detecting crack

Country Status (1)

Country Link
JP (1) JPH03160349A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886645A (en) * 1994-09-14 1996-04-02 Matsushita Electric Ind Co Ltd Device for patrolling paved road surface
JP2002310920A (en) * 2001-04-19 2002-10-23 Keisoku Kensa Kk Method for detecting crack in concrete wall and device thereof
KR100443667B1 (en) * 2002-01-23 2004-08-09 주식회사 비젼넷 Method for detecting a crack of pavement
JP2005227055A (en) * 2004-02-12 2005-08-25 Tokyo Metropolitan Sewerage Service Corp Method for extracting crack in image in pipe culvert
JP2007132786A (en) * 2005-11-10 2007-05-31 Dainippon Printing Co Ltd Apparatus and method for measuring shape of cell on gravure plate
JP2007198761A (en) * 2006-01-24 2007-08-09 Canon Chemicals Inc Flaw detection method and detector
WO2007114227A1 (en) * 2006-03-31 2007-10-11 Meidensha Corporation Device for measuring wear of trolley wire by image processing
JP2008250687A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
JP2010164349A (en) * 2009-01-13 2010-07-29 Equos Research Co Ltd Control unit
JP2011242365A (en) * 2010-05-21 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> Crack detection device and crack detection method for concrete structure image, and program therefor
JP2012098045A (en) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp Crack detector and crack detection program
JP2013238449A (en) * 2012-05-14 2013-11-28 Taisei Corp Crack detection method
JP2015102382A (en) * 2013-11-22 2015-06-04 日本電信電話株式会社 Concrete structure deterioration detection apparatus, deterioration detection method, and program thereof
JP2015132622A (en) * 2010-06-30 2015-07-23 ルミネックス コーポレーション System and method for increasing measurement accuracy in particle image creation device using light distribution
WO2016189764A1 (en) * 2015-05-26 2016-12-01 三菱電機株式会社 Detection device and detection method
WO2017130718A1 (en) * 2016-01-29 2017-08-03 富士フイルム株式会社 Crack detection device, and crack detection method and program
JP2020076606A (en) * 2018-11-06 2020-05-21 Tdk株式会社 Appearance inspection method and manufacturing method of electronic component
CN112693003A (en) * 2020-12-29 2021-04-23 王远 Crack detects disconnect-type calcium carbonate board processing apparatus

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886645A (en) * 1994-09-14 1996-04-02 Matsushita Electric Ind Co Ltd Device for patrolling paved road surface
JP2002310920A (en) * 2001-04-19 2002-10-23 Keisoku Kensa Kk Method for detecting crack in concrete wall and device thereof
KR100443667B1 (en) * 2002-01-23 2004-08-09 주식회사 비젼넷 Method for detecting a crack of pavement
JP2005227055A (en) * 2004-02-12 2005-08-25 Tokyo Metropolitan Sewerage Service Corp Method for extracting crack in image in pipe culvert
JP2007132786A (en) * 2005-11-10 2007-05-31 Dainippon Printing Co Ltd Apparatus and method for measuring shape of cell on gravure plate
JP2007198761A (en) * 2006-01-24 2007-08-09 Canon Chemicals Inc Flaw detection method and detector
WO2007114227A1 (en) * 2006-03-31 2007-10-11 Meidensha Corporation Device for measuring wear of trolley wire by image processing
US7795604B2 (en) 2006-03-31 2010-09-14 Meidensha Corporation Device for measuring wear of trolley wire by image processing
JP2008250687A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
JP4569837B2 (en) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 Feature information collecting apparatus and feature information collecting method
EP1975565B1 (en) * 2007-03-30 2018-12-05 Aisin AW Co., Ltd. Road surface feature information collecting apparatus and method
JP2010164349A (en) * 2009-01-13 2010-07-29 Equos Research Co Ltd Control unit
JP2011242365A (en) * 2010-05-21 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> Crack detection device and crack detection method for concrete structure image, and program therefor
JP2015132622A (en) * 2010-06-30 2015-07-23 ルミネックス コーポレーション System and method for increasing measurement accuracy in particle image creation device using light distribution
JP2012098045A (en) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp Crack detector and crack detection program
JP2013238449A (en) * 2012-05-14 2013-11-28 Taisei Corp Crack detection method
JP2015102382A (en) * 2013-11-22 2015-06-04 日本電信電話株式会社 Concrete structure deterioration detection apparatus, deterioration detection method, and program thereof
WO2016189764A1 (en) * 2015-05-26 2016-12-01 三菱電機株式会社 Detection device and detection method
JPWO2016189764A1 (en) * 2015-05-26 2017-08-31 三菱電機株式会社 Detection apparatus and detection method
US10620131B2 (en) 2015-05-26 2020-04-14 Mitsubishi Electric Corporation Detection apparatus and detection method
WO2017130718A1 (en) * 2016-01-29 2017-08-03 富士フイルム株式会社 Crack detection device, and crack detection method and program
JP2020076606A (en) * 2018-11-06 2020-05-21 Tdk株式会社 Appearance inspection method and manufacturing method of electronic component
CN112693003A (en) * 2020-12-29 2021-04-23 王远 Crack detects disconnect-type calcium carbonate board processing apparatus
CN112693003B (en) * 2020-12-29 2022-12-23 安徽三合建设有限公司 Crack detects disconnect-type calcium carbonate board processing apparatus

Similar Documents

Publication Publication Date Title
JPH03160349A (en) Device for detecting crack
US4876457A (en) Method and apparatus for differentiating a planar textured surface from a surrounding background
JP6620477B2 (en) Method and program for detecting cracks in concrete
CN111667462B (en) Automatic detection method and system for small and weak targets in welding defects
JP5421192B2 (en) Crack detection method
JP4150390B2 (en) Appearance inspection method and appearance inspection apparatus
JP4633245B2 (en) Surface inspection apparatus and surface inspection method
JP5705711B2 (en) Crack detection method
JP4870016B2 (en) Crack detection method
TWI512284B (en) Bubble inspection system for glass
JP2017219314A (en) Deteriorated portion detection device, deteriorated portion detection method, and program
JP3688520B2 (en) Surface inspection apparatus and surface inspection method
JPH0961138A (en) Crack extraction apparatus
JP4186117B2 (en) Crack detection method and apparatus
JP2001028059A (en) Method and device for color unevenness inspection
JPH07333197A (en) Automatic surface flaw detector
JP2003329428A (en) Device and method for surface inspection
JPH03175343A (en) Method for extracting flaw by inspection appearance
TWI510776B (en) Bubble inspection processing method for glass
JP2008185510A (en) Crack detection method
JP2008233106A (en) Visual examination method and visual examination device
JPH10232206A (en) Method and device for detecting metal surface discontinuity
JPH10208066A (en) Method for extracting edge line of check object and appearance check method using this method
JP3038092B2 (en) Appearance inspection method
JP7003786B2 (en) Particle size measuring device and particle size measuring method