KR102015706B1 - Apparatus and method for measureing a crack in a concrete surface - Google Patents

Apparatus and method for measureing a crack in a concrete surface Download PDF

Info

Publication number
KR102015706B1
KR102015706B1 KR1020170157447A KR20170157447A KR102015706B1 KR 102015706 B1 KR102015706 B1 KR 102015706B1 KR 1020170157447 A KR1020170157447 A KR 1020170157447A KR 20170157447 A KR20170157447 A KR 20170157447A KR 102015706 B1 KR102015706 B1 KR 102015706B1
Authority
KR
South Korea
Prior art keywords
information
crack
color image
image
concrete surface
Prior art date
Application number
KR1020170157447A
Other languages
Korean (ko)
Other versions
KR20190059639A (en
Inventor
심성한
김현준
이광명
Original Assignee
울산과학기술원
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원, 성균관대학교산학협력단 filed Critical 울산과학기술원
Priority to KR1020170157447A priority Critical patent/KR102015706B1/en
Publication of KR20190059639A publication Critical patent/KR20190059639A/en
Application granted granted Critical
Publication of KR102015706B1 publication Critical patent/KR102015706B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38—Concrete; ceramics; glass; bricks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

컬러 카메라를 이용하여 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 단계; 깊이 카메라를 이용하여 상기 콘크리트 표면에 대한 깊이 영상을 획득하는 단계; 상기 컬러 영상과 상기 깊이 영상을 매칭시켜 매칭 정보를 생성하는 단계; 상기 매칭 정보에 기초하여 상기 컬러 영상의 촬영 각도에 기초하여 생성된 컬러 영상의 영상 왜곡을 보정하는 단계; 및 상기 보정된 컬러 영상에 기초하여 상기 콘크리트 표면의 상기 균열에 대한 균열 정보를 추정하는 단계를 포함하는 콘크리트의 균열 측정 방법이 개시된다.Obtaining a color image of the concrete surface including cracks using a color camera; Obtaining a depth image of the concrete surface using a depth camera; Generating matching information by matching the color image with the depth image; Correcting image distortion of the color image generated based on the photographing angle of the color image based on the matching information; And estimating the crack information for the crack on the concrete surface based on the corrected color image.

Description

콘크리트 표면 균열 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASUREING A CRACK IN A CONCRETE SURFACE}Apparatus and method for measuring concrete surface cracks {APPARATUS AND METHOD FOR MEASUREING A CRACK IN A CONCRETE SURFACE}

아래의 설명은 콘크리트 표면 균열 측정 장치 및 방법에 관한 것이다.The description below relates to an apparatus and method for measuring concrete surface cracks.

콘크리트 구조물에서 내구성 및 구조 안전성에 가장 큰 영향을 주는 요인은 균열의 발생이다. 콘크리트는 압축 강도에 비해 인장 강도가 낮은 재료에 해당하므로 콘크리트 구조물에 균열이 발생하는 것은 불가피하다. 이러한 콘크리트 균열의 원인은 구조물의 건조 수축이나 과다한 응력의 발생 또는 재료적인 문제일 수 있다. 이러한 콘크리트 균열 중에는 구조물의 구조적인 안전성에 영향이 없는 균열도 있으나, 구조물의 구조적인 결함을 야기하고 구조물의 붕괴를 초래할 수 있는 균열도 있을 수 있다. 따라서, 콘크리트 구조물의 안전을 위해 반드시 균열의 발생 여부를 조사해야 한다.The most significant factor affecting durability and structural safety in concrete structures is the occurrence of cracks. Since concrete corresponds to a material having a lower tensile strength compared to compressive strength, cracking of the concrete structure is inevitable. The cause of such concrete cracks may be dry shrinkage of structures, generation of excessive stresses, or material problems. Some of these concrete cracks have no effect on the structural safety of the structure, but there may be cracks that can cause structural defects and collapse of the structure. Therefore, in order to ensure the safety of concrete structures, cracks must be investigated.

콘크리트 구조물의 균열 측정은 크랙 모니터(crack monitor) 또는 마이크로스코프(microscope)를 통해 특정 지점의 균열의 폭이나 균열의 깊이를 측정한 다음 일정 시간이 경과한 후 동일 지점의 균열을 다시 측정하여 균열의 진행 여부를 평가하였다. 해당 방식은 측정자의 손으로 직접 수행함으로써, 오차가 발생할 수 있고, 신속성이 떨어지는 단점이 있을 수 있다.Crack measurement of concrete structures is carried out by measuring the width or depth of cracking at a specific point using a crack monitor or a microscope, and then measuring the crack at the same point again after a certain time. The progress was evaluated. The method may be performed directly by the hand of a measurer, so that an error may occur, and the speed may be inferior.

일 실시예에 따른 콘크리트 균열 정보 측정 방법은 컬러 카메라를 이용하여 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 단계; 깊이 카메라를 이용하여 상기 콘크리트 표면에 대한 깊이 영상을 획득하는 단계; 상기 컬러 영상과 상기 깊이 영상을 매칭시켜 매칭 정보를 생성하는 단계; 상기 매칭 정보에 기초하여 상기 컬러 영상의 촬영 각도에 기초하여 생성된 컬러 영상의 영상 왜곡을 보정하는 단계; 및 상기 보정된 컬러 영상에 기초하여 상기 콘크리트 표면의 상기 균열에 대한 균열 정보를 추정하는 단계를 포함할 수 있다.Concrete crack information measuring method according to an embodiment comprises the steps of obtaining a color image of the concrete surface including the crack using a color camera; Obtaining a depth image of the concrete surface using a depth camera; Generating matching information by matching the color image with the depth image; Correcting image distortion of the color image generated based on the photographing angle of the color image based on the matching information; And estimating crack information on the crack of the concrete surface based on the corrected color image.

일 실시예에 따른 상기 영상 왜곡을 보정하는 단계는 상기 콘크리트 표면에 수직한 방향에서 획득한 형태로 상기 컬러 영상을 변환할 수 있다.In the correcting of the image distortion, the color image may be converted into a form obtained in a direction perpendicular to the concrete surface.

일 실시예에 따른 상기 영상 왜곡을 보정하는 단계는 상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하는 단계; 상기 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 상기 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하는 단계; 상기 획득한 법선 벡터 및 상기 카메라 좌표계에서의 픽셀들의 위치에 기초하여 상기 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하는 단계; 및 상기 회전 변환이 수행된 픽셀들을 상기 영상 좌표계로 변환하는 단계를 포함할 수 있다.The correcting of the image distortion may include calculating a position of a pixel in a camera coordinate system corresponding to a pixel included in the color image based on depth image information included in the matching information; Obtaining a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the image coordinate system based on the calculated position; Performing rotation transformation on the pixels in the camera coordinate system based on the obtained normal vector and the position of the pixels in the camera coordinate system; And converting the pixels subjected to the rotation transformation into the image coordinate system.

일 실시예에 따른 상기 균열 정보를 추정하는 단계는 상기 균열의 폭, 길이, 면적에 대한 정보 중 적어도 하나를 추정할 수 있다.In the estimating of the crack information, at least one of information on the width, length, and area of the crack may be estimated.

일 실시예에 따른 콘크리트 균열 정보 측정 장치는 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 컬러 영상 획득부; 상기 콘크리트 표면에 대한 깊이 영상을 획득하는 깊이 영상 획득부; 상기 컬러 영상과 상기 깊이 영상을 매칭시킴으로써 매칭 정보를 생성하는 매칭 정보 생성부; 상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상의 촬영 각도에 기초하여 생성된 영상 왜곡을 보정하는 영상 왜곡 보정부; 및 상기 보정된 컬러 영상에 기초하여 상기 콘크리트 표면에 대한 균열 정보를 추정하는 균열 정보 추정부를 포함할 수 있다.Concrete crack information measuring apparatus according to an embodiment includes a color image acquisition unit for obtaining a color image of the concrete surface including the crack; A depth image obtaining unit obtaining a depth image of the concrete surface; A matching information generator for generating matching information by matching the color image with the depth image; An image distortion correction unit for correcting an image distortion generated based on a photographing angle of the color image based on depth image information included in the matching information; And a crack information estimator for estimating crack information of the concrete surface based on the corrected color image.

일 실시예에 따른 상기 영상 왜곡 보정부는 상기 콘크리트 표면에 수직한 방향에서 획득한 형태로 상기 컬러 영상을 변환할 수 있다.The image distortion correction unit may convert the color image into a form obtained in a direction perpendicular to the concrete surface.

일 실시예에 따른 상기 영상 왜곡 보정부는 상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하고, 상기 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 상기 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하고, 상기 획득한 법선 벡터 및 상기 카메라 좌표계에서의 픽셀들의 위치에 기초하여 상기 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하고, 상기 회전 변환이 수행된 픽셀들을 상기 영상 좌표계로 변환할 수 있다.The image distortion correcting unit calculates a position of a pixel in a camera coordinate system corresponding to a pixel included in the color image based on the depth image information included in the matching information, and based on the calculated position. Obtaining a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the image coordinate system, and for pixels in the camera coordinate system based on the obtained normal vector and the position of the pixels in the camera coordinate system The rotation transformation may be performed, and the pixels subjected to the rotation transformation may be converted into the image coordinate system.

도 1은 촬영 각도에 따라 콘크리트 표면 균열을 측정하기 위한 컬러 영상에 왜곡이 발생하는 일례를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 콘크리트 균열 측정 방법을 설명하기 위한 흐름도이다.
도 3a 및 3b는 일 실시예에 따른 컬러 영상의 촬영 각도에 기초하여 생성된 영상 왜곡을 보정하기 위하여 컬러 영상에 포함되는 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 회전 변환을 통해 컬러 영상의 왜곡을 보정하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 콘크리트 표면 균열 측정 장치가 왜곡이 보정된 컬러 영상에 기초하여 균열 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 콘크리트 균열 정보 측정 장치의 전체 구성을 도시하는 도면이다.1 is a view for explaining an example in which distortion occurs in the color image for measuring the concrete surface cracks according to the photographing angle.
2 is a flowchart illustrating a concrete crack measuring method according to an exemplary embodiment.
3A and 3B illustrate a method of calculating a position of a pixel in a camera coordinate system corresponding to a pixel included in a color image to correct an image distortion generated based on a photographing angle of the color image, according to an exemplary embodiment. Drawing.
4 is a diagram for describing a method of correcting distortion of a color image through rotation transformation, according to an exemplary embodiment.
FIG. 5 is a diagram for describing a method of obtaining, by a concrete surface crack measurement apparatus, crack information based on a color image in which distortion is corrected.
6 is a diagram illustrating an overall configuration of an apparatus for measuring concrete crack information according to an embodiment.

실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.The structural or functional descriptions of the embodiments are disclosed for the purpose of illustration only, and may be embodied in various forms. Accordingly, the scope of the present specification is not limited to the specific forms of the disclosed embodiments, but includes changes, equivalents, or substitutes included in the technical spirit described.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but such terms should be interpreted only for the purpose of distinguishing one component from another component. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it should be understood that there may be a direct connection or connection to that other component, but there may be other components in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "have" are intended to designate that the described features, numbers, steps, acts, components, parts, or combinations thereof are present, but include one or more other features or numbers, It is to be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. Do not.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.On the other hand, when an embodiment is otherwise implemented, a function or operation specified in a specific block may be performed differently from the flowchart. For example, two consecutive blocks may actually be executed substantially simultaneously, or the blocks may be reversed according to related functions or operations.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same components will be given the same reference numerals regardless of the reference numerals, and duplicate description thereof will be omitted.

콘크리트 표면 균열 측정 시스템은 측정자가 직접 균열을 측정하지 않고, 콘크리트 표면에 대한 영상을 통해 콘크리트에 균열에 대한 정보를 측정할 수 있다. 콘크리트 표면 균열 측정 시스템은 콘크리트 표면에 대한 영상을 획득할 때에, 촬영 각도에 기초하여 발생하는 영상 왜곡을 보정하고, 보정된 영상을 통해 보다 정확한 균열 정보를 측정할 수 있는 방법을 제공할 수 있다.The concrete surface crack measurement system allows the measurer to measure the cracks in the concrete through images of the concrete surface without measuring the cracks directly. The concrete surface crack measurement system may provide a method of correcting image distortion generated based on an imaging angle when acquiring an image of a concrete surface and measuring more accurate crack information through the corrected image.

도 1은 촬영 각도에 따라 콘크리트 표면 균열을 측정하기 위한 컬러 영상에 왜곡이 발생하는 일례를 설명하기 위한 도면이다.1 is a view for explaining an example in which distortion occurs in the color image for measuring the concrete surface cracks according to the photographing angle.

도 1을 참조하면, 영상 처리를 통해 콘크리트 표면(110)의 균열 정보를 정확하게 측정하기 위해서는, 카메라(120)과 같이 콘크리트 표면에 대해 수직 방향에서 콘크리트 표면(110)에 대한 영상이 획득되어야 한다. 만약 카메라(131, 133)과 같이 콘크리트 표면(110)에 대해 수직 방향에 아닌 방향에서 획득한 영상 정보는 촬영 각도에 따라 콘크리트 표면(110)에 존재하는 균열의 크기 및 위치가 변화함에 따라 왜곡된 영상이 획득되고, 왜곡된 영상은 정확한 균열 정보를 획득하는 데에 방해가 될 수 있다.Referring to FIG. 1, in order to accurately measure crack information of the concrete surface 110 through image processing, an image of the concrete surface 110 should be obtained in a direction perpendicular to the concrete surface such as the camera 120. If the image information obtained in a direction other than the vertical direction with respect to the concrete surface 110, such as the cameras (131, 133) is distorted as the size and position of the crack existing on the concrete surface (110) changes according to the photographing angle An image is acquired, and the distorted image can interfere with obtaining accurate crack information.

도 2는 일 실시예에 따른 콘크리트 균열 측정 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a concrete crack measuring method according to an exemplary embodiment.

도 2를 참조하면, 단계(210)에서 콘크리트 표면 균열 측정 장치는 컬러 카메라를 이용하여 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득할 수 있다. 컬러 영상은 콘크리트 표면에 대한 색상 정보를 포함할 수 있다.Referring to FIG. 2, in operation 210, the concrete surface crack measurement apparatus may acquire a color image of a concrete surface including a crack using a color camera. The color image may include color information about the concrete surface.

단계(220)에서 콘크리트 표면 균열 측정 장치는 깊이 카메라를 이용하여 콘크리트 표면에 대한 깊이 영상을 획득할 수 있다. 깊이 영상은 영상에 표현된 각 지점까지의 거리 정보를 포함할 수 있다.In operation 220, the concrete surface crack measurement apparatus may acquire a depth image of the concrete surface by using a depth camera. The depth image may include distance information up to each point expressed in the image.

단계(230)에서 콘크리트 표면 균열 측정 장치는 컬러 영상 및 깊이 영상을 매칭시켜 매칭 정보를 생성할 수 있다. 예를 들어, 콘크리트 표면 균열 측정 장치는 컬러 영상의 각각의 픽셀에 대하여, 각각의 픽셀에 대응하여 깊이 영상에서 획득한 거리 정보를 매칭시킨 매칭 정보를 생성할 수 있다. 즉, 매칭 정보는 각각의 픽셀에 대한 색상 정보 및 거리 정보를 포함할 수 있다.In operation 230, the concrete surface crack measurement apparatus may generate matching information by matching the color image and the depth image. For example, the concrete surface crack measurement apparatus may generate matching information for each pixel of the color image by matching distance information obtained from the depth image corresponding to each pixel. That is, the matching information may include color information and distance information for each pixel.

단계(240)에서 콘크리트 표면 균열 측정 장치는 매칭 정보에 기초하여 컬러 영상의 촬영 각도에 기초하여 생성된 컬러 영상의 영상 왜곡을 보정할 수 있다. 일 실시예에 따르면, 콘크리트 표면 균열 측정 장치는 2D 형태로 획득된 컬러 영상을 매칭 정보에 포함된 거리 정보에 기초하여 콘크리트 표면에 수직한 방향에서 획득한 형태로 변환할 수 있다. 예를 들어, 콘크리트 표면 균열 측정 장치는 매칭 정보에 포함된 깊이 영상 정보에 기초하여 카메라의 지향 방향(카메라가 바라보는 방향)과 콘크리트 표면에 수직한 방향의 각도 차이를 추정하고, 추정된 각도 차이에 기초하여 회전 변환이 수행된 2D 컬러 영상을 획득함으로써 컬러 영상의 왜곡을 보정할 수 있다. 컬러 영상의 왜곡을 보정하는 예시적인 방법에 대해서는 이하 첨부되는 도면을 통해 구체적으로 설명된다. 컬러 영상의 촬영 각도에 따른 왜곡을 보정하는 방법은 제시된 예시에 한정되지 않고, 획득한 컬러 영상을 획득한 깊이 영상에 포함된 거리 정보에 기초하여 콘크리트 표면에 수직한 방향에서 획득한 형태의 컬러 영상으로 변환하는 임의의 방법을 포함할 수 있다.In operation 240, the concrete surface crack measurement apparatus may correct image distortion of the generated color image based on the photographing angle of the color image based on the matching information. According to an embodiment, the concrete surface crack measurement apparatus may convert the color image acquired in the 2D form into a form obtained in a direction perpendicular to the concrete surface based on the distance information included in the matching information. For example, the concrete surface crack measurement apparatus estimates an angle difference between the direction of the camera (direction facing the camera) and the direction perpendicular to the concrete surface based on the depth image information included in the matching information, and the estimated angle difference The distortion of the color image may be corrected by acquiring the 2D color image in which the rotation transformation is performed based on. An exemplary method of correcting distortion of a color image is described in detail with reference to the accompanying drawings. The method for correcting the distortion according to the photographing angle of the color image is not limited to the example presented, and the color image obtained in the direction perpendicular to the concrete surface based on the distance information included in the acquired depth image. It can include any method to convert to.

단계(250)에서 콘크리트 표면 균열 측정 장치는 보정된 컬러 영상에 기초하여 콘크리트 표면의 균열에 대한 균열 정보를 추정할 수 있다. 콘크리트 표면의 균열에 대한 균열 정보를 추정하는 방법은 도 5를 통해 구체적으로 설명된다.In operation 250, the concrete surface crack measurement apparatus may estimate the crack information on the crack of the concrete surface based on the corrected color image. The method of estimating the crack information for the crack of the concrete surface is described in detail with reference to FIG. 5.

일 실시예에 따르면, 콘크리트 표면 균열 측정 장치는 매칭 정보에 포함된 깊이 영상 정보에 기초하여 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하고, 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하고, 획득한 법선 벡터 및 카메라 좌표계에서의 픽셀들의 위치에 기초하여 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하고, 회전 변환이 수행된 픽셀들을 영상 좌표계로 변환할 수 있다.According to one embodiment, the concrete surface crack measurement apparatus calculates the position of the pixel in the camera coordinate system corresponding to the pixel included in the color image based on the depth image information included in the matching information, and based on the calculated position Acquire a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the coordinate system, perform a rotation transformation on the pixels in the camera coordinate system based on the acquired normal vector and the position of the pixels in the camera coordinate system The pixels subjected to rotation transformation may be converted into an image coordinate system.

도 3a 및 3b는 일 실시예에 따른 컬러 영상의 촬영 각도에 기초하여 생성된 영상 왜곡을 보정하기 위하여 컬러 영상에 포함되는 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하는 방법을 설명하기 위한 도면이다.3A and 3B illustrate a method of calculating a position of a pixel in a camera coordinate system corresponding to a pixel included in a color image to correct an image distortion generated based on a photographing angle of the color image, according to an exemplary embodiment. Drawing.

도 3a은 콘크리트 표면에 수직하지 않은 방향에서 촬영된 2D 컬러 영상(310)을 도시한다. 2D 컬러 영상(310)의 촬영 각도에 기초하여 생성된 컬러 영상 왜곡을 회전 변환을 통해 보정하기 위해서 콘크리트 표면 균열 측정 장치는 2D 컬러 영상(310)의 픽셀(311)에 대응되는 3D 카메라 좌표계 상의 픽셀의 위치(321)를 획득하고, 획득한 위치(321)에 기초하여 회전 변환 수행을 수행할 수 있다.3A shows a 2D color image 310 taken in a direction not perpendicular to the concrete surface. In order to correct the color image distortion generated based on the photographing angle of the 2D color image 310 through rotation transformation, the concrete surface crack measurement apparatus uses a pixel on the 3D camera coordinate system corresponding to the pixel 311 of the 2D color image 310. The position 321 of the may be obtained, and the rotation transformation may be performed based on the obtained position 321.

도 3b를 참조하면, 2D 컬러 영상에서의 픽셀(331)의 좌표가 (x, y, f)로 주어진 경우, 3D 카메라 좌표계에서 픽셀(331)에 대응하는 픽셀의 위치(332) 좌표는 (

Figure 112017117002014-pat00001
)로 계산될 수 있다(f는 카메라로부터 영상의 투영되는 뷰 포트까지의 거리,
Figure 112017117002014-pat00002
는 카메라 중심으로부터 픽셀(331)에 대응하는 위치까지의 거리). 위치(332)의 좌표 (
Figure 112017117002014-pat00003
)는 수학식 1을 통해 계산될 수 있다.Referring to FIG. 3B, when the coordinates of the pixel 331 in the 2D color image are given as (x, y, f), the coordinates of the position 332 of the pixel corresponding to the pixel 331 in the 3D camera coordinate system are (
Figure 112017117002014-pat00001
F is the distance from the camera to the projected viewport of the image,
Figure 112017117002014-pat00002
Is the distance from the camera center to the position corresponding to pixel 331. The coordinates of position 332 (
Figure 112017117002014-pat00003
) May be calculated through Equation 1.

Figure 112017117002014-pat00004
Figure 112017117002014-pat00004

콘크리트 표면 균열 측정 장치는 수학식 1을 통해 획득한 2D 컬러 영상에 포함된 모든 픽셀에 대응되는 3D 카메라 좌표계에서의 픽셀들의 위치를 계산할 수 있다.The concrete surface crack measuring apparatus may calculate the positions of the pixels in the 3D camera coordinate system corresponding to all the pixels included in the 2D color image obtained through Equation 1.

콘크리트 표면 균열 측정 장치는 계산된 3D 카메라 좌표계에서의 픽셀 위치에 기초하여 2D 영상 좌표계 상의 컬러 영상 평면에 대응되는 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득할 수 있다. 예를 들어, 콘크리트 표면 균열 측정 장치는 2D 컬러 영상에 포함된 픽셀들에 대응되는 3D 카메라 좌표계에서의 픽셀들의 개별적인 법선 벡터를 획득하고, 개별적인 법선 벡터의 합을 통해 3D 좌표계에서의 컬러 영상 평면의 법선 벡터를 생성할 수 있다. 예를 들어, 개별적인 법선 벡터는 일 픽셀의 위, 아래에 존재하는 픽셀을 연결하여 생성되는 벡터, 좌, 우에 존재하는 픽셀을 연결하여 생성되는 벡터의 외적을 통해 획득될 수 있다.The concrete surface crack measuring apparatus may obtain a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the 2D image coordinate system based on the calculated pixel position in the 3D camera coordinate system. For example, the concrete surface crack measurement apparatus obtains an individual normal vector of pixels in a 3D camera coordinate system corresponding to pixels included in a 2D color image, and adds the individual normal vectors of the color image plane in the 3D coordinate system through the sum of the individual normal vectors. You can create a normal vector. For example, an individual normal vector may be obtained through a cross product of a vector generated by connecting pixels located above and below one pixel, and a pixel generated at left and right sides.

도 4는 일 실시예에 따른 회전 변환을 통해 컬러 영상의 왜곡을 보정하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of correcting distortion of a color image through rotation transformation, according to an exemplary embodiment.

일 실시예에 따르면, 콘크리트 표면 균열 측정 장치는 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터에 기초하여 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행할 수 있다.According to an embodiment, the concrete surface crack measurement apparatus may perform rotation transformation on pixels in the camera coordinate system based on a normal vector of a color image plane in the camera coordinate system.

도 4를 참조하면, 콘크리트 표면 균열 측정 장치는 3D 카메라 좌표계에서의 컬러 영상 평면(420)의 법선 벡터 N(421)과 XY 평면(410)에 수직한 벡터

Figure 112017117002014-pat00005
(411)이 평행하도록 3D 카메라 좌표계에서의 픽셀들을 회전 변환함으로써 컬러 영상 왜곡에 대한 보정을 수행할 수 있다. 예를 들어, 콘크리트 표면 균열 측정 장치는 수학식 2 및 3을 통해 컬러 영상 왜곡에 대한 보정을 위한 회전 변환 행렬 R을 획득할 수 있다. 벡터
Figure 112017117002014-pat00006
는 N과
Figure 112017117002014-pat00007
를 외적한 벡터를 정규화한 벡터에 해당된다.Referring to FIG. 4, the apparatus for measuring the concrete surface crack is a vector perpendicular to the normal vectors N 421 and XY plane 410 of the color image plane 420 in the 3D camera coordinate system.
Figure 112017117002014-pat00005
Correction for color image distortion may be performed by rotationally transforming pixels in the 3D camera coordinate system such that 411 is parallel. For example, the concrete surface crack measurement apparatus may obtain a rotation transformation matrix R for correcting for color image distortion through Equations 2 and 3. vector
Figure 112017117002014-pat00006
With n
Figure 112017117002014-pat00007
Corresponds to the vector normalizing the cross product.

Figure 112017117002014-pat00008
Figure 112017117002014-pat00008

Figure 112017117002014-pat00009
Figure 112017117002014-pat00009

콘크리트 표면 균열 측정 장치는 수학식 4에 기초하여 획득한 회전 변환 행렬 R을 통해 3D 카메라 좌표계에서의 픽셀들을 회전 변환할 수 있다.The concrete surface crack measuring apparatus may rotate transform pixels in the 3D camera coordinate system through the rotation transformation matrix R obtained based on Equation 4.

Figure 112017117002014-pat00010
Figure 112017117002014-pat00010

콘크리트 표면 균열 측정 장치는 회전 변환이 수행된 픽셀들을 영상 좌표계로 변환하여, 왜곡이 보정된 컬러 영상을 생성할 수 있다. 예를 들어, 변환이 수행된 픽셀들을 영상 좌표계로 변환하는 방식은 수학식 1을 통해 수행된 방식과 유사한 방식으로 수행될 수 있다.The concrete surface crack measuring apparatus may convert the pixels subjected to rotation transformation into an image coordinate system to generate a color image in which distortion is corrected. For example, the method of converting the converted pixels to the image coordinate system may be performed in a manner similar to that performed through Equation 1.

도 5는 일 실시예에 따른 콘크리트 표면 균열 측정 장치가 왜곡이 보정된 컬러 영상에 기초하여 균열 정보를 획득하는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of obtaining, by a concrete surface crack measurement apparatus, crack information based on a color image in which distortion is corrected.

도 5를 참조하면, 왜곡이 보정된 컬러 영상(500)은 콘크리트 배경 영역과 균열(510)이 포함된 영역을 포함할 수 있다.Referring to FIG. 5, the color image 500 in which distortion is corrected may include a concrete background area and an area including a crack 510.

일 실시예에 따르면, 콘크리트 표면 균열 측정 장치는 보정된 컬러 영상으로부터 균열(510)의 폭, 길이, 면적에 대한 정보 중 적어도 하나를 추정할 수 있다. 또한, 콘크리트 표면 균열 측정 장치는 보정된 컬러 영상에 포함된 색상 정보에 기초하여 균열의 폭, 길이, 면적 정보 중 적어도 하나를 포함하는 균열 정보를 추정할 수 있다. 예를 들어, 콘크리트 표면에 대한 컬러 영상에서 균열을 검정색으로, 배경에 해당하는 콘크리트 표면 영역은 흰색으로 표현될 수 있고, 콘크리트 표면 균열 측정 장치는 검정색 영역을 균열에 해당하는 영역으로 판단하고, 흰색 영역을 배경에 해당하는 영역으로 판단하여 균열 정보를 측정할 수 있다. 균열 정보 및 색상에 대한 정보는 제시된 예시에 한정되지 않고, 균열 정보는 균열과 관련된 다양한 정보를 포함할 수 있고, 배경 및 균열에 대한 색상 정보는 다양한 색상 정보의 조합을 포함할 수 있다.According to an embodiment, the concrete surface crack measurement apparatus may estimate at least one of information on the width, length, and area of the crack 510 from the corrected color image. In addition, the concrete surface crack measurement apparatus may estimate the crack information including at least one of width, length, and area information of the crack based on the color information included in the corrected color image. For example, in the color image of the concrete surface, the crack may be represented by black, and the concrete surface area corresponding to the background may be represented by white, and the concrete surface crack measurement apparatus determines that the black area corresponds to the crack, Crack information may be measured by determining an area as an area corresponding to a background. The crack information and the color information are not limited to the examples presented, the crack information may include various information related to the crack, and the color information about the background and the crack may include a combination of various color information.

일 실시예에 따르면, 콘크리트 표면 균열 측정 장치는 영상 이진화(image binarization), 에지 검출(edge detection), 루트 파인더(route-finder) 중 적어도 하나에 기초하여 균열 정보를 획득할 수 있다. 예를 들어, 콘크리트 표면 균열 측정 장치는 보정된 컬러 영상을 이진화하여 콘크리트 배경과 균열 영역을 구분함으로써 균열 정보를 획득하거나, 균열 영역의 에지를 검출함으로써 균열 정보를 획득하거나 루트 파인더(route-finder)에 기초하여 균열 영역을 검출함으로써 균열 정보를 획득할 수 있다.According to an embodiment, the concrete surface crack measurement apparatus may acquire crack information based on at least one of image binarization, edge detection, and route-finder. For example, the concrete surface crack measurement device binarizes the corrected color image to distinguish the crack background from the concrete background, obtains the crack information, or obtains the crack information by detecting the edge of the crack area, or the route-finder. The crack information can be obtained by detecting the crack region on the basis of.

도 6은 일 실시예에 따른 콘크리트 균열 정보 측정 장치의 전체 구성을 도시하는 도면이다.6 is a diagram illustrating an overall configuration of an apparatus for measuring concrete crack information according to an embodiment.

일 실시예에 따르면, 콘크리트 균열 정보 측정 장치(600)는 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 컬러 영상 획득부(610), 콘크리트 표면에 대한 깊이 영상을 획득하는 깊이 영상 획득부(620), 컬러 영상과 깊이 영상을 매칭시킴으로써 매칭 정보를 생성하는 매칭 정보 생성부(630), 매칭 정보에 포함된 깊이 영상 정보에 기초하여 컬러 영상의 촬영 각도에 기초하여 생성된 영상 왜곡을 보정하는 영상 왜곡 보정부(640), 보정된 컬러 영상에 기초하여 콘크리트 표면에 대한 균열 정보를 추정하는 균열 정보 추정부(650) 및 영상 정보 및 균열 정보를 저장하는 데이터 베이스(660)를 포함할 수 있다. 예를 들어, 컬러 영상 획득부(610)는 컬러 영상을 획득하는 컬러 카메라일 수 있고, 깊이 영상 획득부(620)는 깊이 영상을 획득하는 깊이 카메라일 수 있다. 매칭 정보 생성부(630)는 컬러 영상에 포함된 각각의 픽셀에 대하여, 깊이 영상으로부터 각각의 픽셀에 대응하여 획득한 거리 정보를 매칭함으로써 매칭 정보를 생성할 수 있다.According to an embodiment, the concrete crack information measuring apparatus 600 may include a color image acquirer 610 for obtaining a color image of a concrete surface including a crack, and a depth image acquirer for obtaining a depth image of a concrete surface ( 620, a matching information generator 630 for generating matching information by matching the color image and the depth image, and correcting the image distortion generated based on the photographing angle of the color image based on the depth image information included in the matching information. The image distortion correction unit 640 may include a crack information estimator 650 for estimating crack information on the concrete surface based on the corrected color image, and a database 660 for storing image information and crack information. . For example, the color image acquirer 610 may be a color camera that acquires a color image, and the depth image acquirer 620 may be a depth camera that acquires a depth image. The matching information generator 630 may generate matching information by matching distance information obtained corresponding to each pixel from the depth image with respect to each pixel included in the color image.

일 실시예에 따르면, 영상 왜곡 보정부(640)는 컬러 영상 획득부(610)를 통해 획득한 컬러 영상을 콘크리트 표면에 수직한 방향에서 획득한 형태로 변환할 수 있다. 영상 왜곡 보정부(640)는 매칭 정보에 포함된 깊이 영상 정보에 포함된 거리 정보에 기초하여 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하고, 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하고, 획득한 법선 벡터 및 카메라 좌표계에서의 픽셀들의 위치에 기초하여 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하고, 회전 변환이 수행된 픽셀들을 영상 좌표계로 변환함으로써 컬러 영상의 왜곡을 보정할 수 있다.According to an embodiment, the image distortion correction unit 640 may convert the color image acquired through the color image acquisition unit 610 into a form obtained in a direction perpendicular to the concrete surface. The image distortion correction unit 640 calculates a position of a pixel in the camera coordinate system corresponding to the pixel included in the color image based on the distance information included in the depth image information included in the matching information, and based on the calculated position. Acquire a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the image coordinate system, and perform a rotation transformation on the pixels in the camera coordinate system based on the acquired normal vector and the position of the pixels in the camera coordinate system. The distortion of the color image may be corrected by converting the pixels on which the rotation transformation has been performed to the image coordinate system.

일 실시예에 따르면, 균열 정보 추정부(650)는 콘크리트 표면에 포함된 균열의 폭, 길이 면적에 대한 정보 중 적어도 하나를 추정할 수 있고, 컬러 영상에 포함된 색상 정보에 기초하여 균열 정보를 추정할 수 있다. 또한, 균열 정보 추정부(650)는 영상 이진화, 에지 검출, 루트 파인더 중 적어도 하나에 기초하여 균열 정보를 추정할 수 있다.According to an embodiment, the crack information estimating unit 650 may estimate at least one of information on a width and a length area of the crack included in the concrete surface, and calculate the crack information based on the color information included in the color image. It can be estimated. In addition, the crack information estimator 650 may estimate the crack information based on at least one of image binarization, edge detection, and route finder.

실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.The components described in the embodiments may include one or more digital signal processors (DSPs), processors, controllers, application specific integrated circuits (ASICs), programmable logic devices such as field programmable gate arrays (FPGAs), other electronic devices and their It may be implemented by a hardware component that includes one or more of the combination. At least some of the processes or functions described in the embodiments may be implemented by software, and the software may be recorded on the recording medium. The components, functions, and processes described in the embodiments may be implemented by a combination of hardware and software.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. Program instructions recorded on the computer readable medium may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the accompanying drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components Or even if replaced or substituted by equivalents, an appropriate result can be achieved.

Claims (13)

컬러 카메라를 이용하여 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 단계;
깊이 카메라를 이용하여 상기 콘크리트 표면에 대한 깊이 영상을 획득하는 단계;
상기 컬러 영상과 상기 깊이 영상을 매칭시켜 매칭 정보를 생성하는 단계;
상기 매칭 정보에 기초하여 상기 컬러 영상의 촬영 각도에 기초하여 생성된 컬러 영상의 영상 왜곡을 보정하는 단계; 및
상기 보정된 컬러 영상에 기초하여 상기 콘크리트 표면의 상기 균열에 대한 균열 정보를 추정하는 단계
를 포함하고,
상기 균열에 대한 균열 정보를 추정하는 단계는,
상기 보정된 컬러 영상을 이진화하는 단계; 상기 이진화된 보정된 컬러 영상에서 콘크리트 배경 영역과 균열 영역을 획득하는 단계; 및 상기 균열 영역에 기초하여 상기 균열 정보를 추정하는 단계를 포함하고,
상기 균열 영역은 검은색으로 표현되고, 상기 콘크리트 배경 영역은 흰색으로 표현되고,
상기 매칭 정보를 생성하는 단계는,
상기 컬러 영상의 각각의 픽셀에 대하여, 각각의 픽셀에 대응하여 상기 깊이 영상에서 획득한 거리 정보를 매칭시킨 매칭 정보를 생성하고, 상기 매칭 정보는 각각의 픽셀에 대한 색상 정보 및 거리 정보를 포함하고,
상기 영상 왜곡을 보정하는 단계는,
상기 매칭 정보에 포함된 거리 정보에 기초하여, 상기 획득한 컬러 영상을 상기 콘크리트 표면에 수직한 방향에서 획득한 형태의 컬러 영상으로 변환하는 단계를 포함하고,
상기 균열 정보를 추정하는 단계는,
상기 영상 왜곡이 보정된 컬러 영상에 포함된 색상 정보에 기초하여 상기 콘크리트 표면의 균열의 폭, 길이 및 면적에 대한 정보를 추정하는,
콘크리트 균열 정보 측정 방법.Obtaining a color image of the concrete surface including cracks using a color camera;
Obtaining a depth image of the concrete surface using a depth camera;
Generating matching information by matching the color image with the depth image;
Correcting image distortion of the color image generated based on the photographing angle of the color image based on the matching information; And
Estimating crack information for the crack on the concrete surface based on the corrected color image
Including,
Estimating the crack information for the crack,
Binarizing the corrected color image; Obtaining a concrete background region and a crack region in the binarized corrected color image; And estimating the crack information based on the crack area,
The crack area is represented in black, the concrete background area is represented in white,
Generating the matching information,
For each pixel of the color image, matching information is generated that matches distance information obtained from the depth image corresponding to each pixel, and the matching information includes color information and distance information for each pixel. ,
Correcting the image distortion,
Converting the obtained color image into a color image obtained in a direction perpendicular to the concrete surface, based on the distance information included in the matching information;
Estimating the crack information,
Estimating information on a width, a length, and an area of a crack of the concrete surface based on color information included in the color image in which the image distortion is corrected,
How to measure concrete crack information. 삭제delete 제1항에 있어서,
상기 영상 왜곡을 보정하는 단계는,
상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하는 단계;
상기 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 상기 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하는 단계;
상기 획득한 법선 벡터 및 상기 카메라 좌표계에서의 픽셀들의 위치에 기초하여 상기 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하는 단계; 및
상기 회전 변환이 수행된 픽셀들을 상기 영상 좌표계로 변환하는 단계
를 포함하는 콘크리트 균열 정보 측정 방법.The method of claim 1,
Correcting the image distortion,
Calculating a position of a pixel in a camera coordinate system corresponding to a pixel included in the color image based on depth image information included in the matching information;
Obtaining a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the image coordinate system based on the calculated position;
Performing rotation transformation on the pixels in the camera coordinate system based on the obtained normal vector and the position of the pixels in the camera coordinate system; And
Converting the pixels subjected to the rotation transformation into the image coordinate system
Concrete crack information measurement method comprising a. 삭제delete 삭제delete 삭제delete 삭제delete 균열을 포함하는 콘크리트 표면에 대한 컬러 영상을 획득하는 컬러 영상 획득부;
상기 콘크리트 표면에 대한 깊이 영상을 획득하는 깊이 영상 획득부;
상기 컬러 영상과 상기 깊이 영상을 매칭시킴으로써 매칭 정보를 생성하는 매칭 정보 생성부;
상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상의 촬영 각도에 기초하여 생성된 영상 왜곡을 보정하는 영상 왜곡 보정부; 및
상기 보정된 컬러 영상에 기초하여 상기 콘크리트 표면에 대한 균열 정보를 추정하는 균열 정보 추정부를 포함하고,
상기 균열 정보 추정부는,
상기 보정된 컬러 영상을 이진화하고, 상기 이진화된 보정된 컬러 영상에서 콘크리트 배경 영역과 균열 영역을 획득하고, 상기 균열 영역에 기초하여 상기 균열 정보를 추정하고,
상기 균열 영역은 검은색으로 표현되고, 상기 콘크리트 배경 영역은 흰색으로 표현되고,
상기 매칭 정보 생성부는,
상기 컬러 영상의 각각의 픽셀에 대하여, 각각의 픽셀에 대응하여 상기 깊이 영상에서 획득한 거리 정보를 매칭시킨 매칭 정보를 생성하고, 상기 매칭 정보는 각각의 픽셀에 대한 색상 정보 및 거리 정보를 포함하고,
상기 영상 왜곡 보정부는,
상기 매칭 정보에 포함된 거리 정보에 기초하여, 상기 획득한 컬러 영상을 상기 콘크리트 표면에 수직한 방향에서 획득한 형태의 컬러 영상으로 변환하고,
상기 균열 정보 추정부는,
상기 영상 왜곡이 보정된 컬러 영상에 포함된 색상 정보에 기초하여 상기 콘크리트 표면의 균열의 폭, 길이 및 면적에 대한 정보를 추정하는,
콘크리트 균열 정보 측정 장치.A color image acquisition unit for obtaining a color image of the concrete surface including cracks;
A depth image obtaining unit obtaining a depth image of the concrete surface;
A matching information generator for generating matching information by matching the color image with the depth image;
An image distortion correction unit for correcting an image distortion generated based on a photographing angle of the color image based on depth image information included in the matching information; And
A crack information estimator configured to estimate crack information on the concrete surface based on the corrected color image;
The crack information estimation unit,
Binarize the corrected color image, obtain a concrete background region and a crack region in the binarized corrected color image, estimate the crack information based on the crack region,
The crack area is represented in black, the concrete background area is represented in white,
The matching information generation unit,
For each pixel of the color image, matching information is generated that matches distance information obtained from the depth image corresponding to each pixel, and the matching information includes color information and distance information for each pixel. ,
The image distortion correction unit,
Converting the obtained color image into a color image obtained in a direction perpendicular to the concrete surface based on the distance information included in the matching information,
The crack information estimation unit,
Estimating information on a width, a length, and an area of a crack of the concrete surface based on color information included in the color image in which the image distortion is corrected,
Concrete crack information measuring device. 삭제delete 제8항에 있어서,
상기 영상 왜곡 보정부는,
상기 매칭 정보에 포함된 깊이 영상 정보에 기초하여 상기 컬러 영상에 포함된 픽셀에 대응되는 카메라 좌표계에서의 픽셀의 위치를 계산하고,
상기 계산된 위치에 기초하여 영상 좌표계 상의 컬러 영상 평면에 대응되는 상기 카메라 좌표계에서의 컬러 영상 평면의 법선 벡터를 획득하고,
상기 획득한 법선 벡터 및 상기 카메라 좌표계에서의 픽셀들의 위치에 기초하여 상기 카메라 좌표계에서의 픽셀들에 대한 회전 변환을 수행하고,
상기 회전 변환이 수행된 픽셀들을 상기 영상 좌표계로 변환하는, 콘크리트 균열 정보 측정 장치.The method of claim 8,
The image distortion correction unit,
Calculating a position of a pixel in a camera coordinate system corresponding to a pixel included in the color image based on depth image information included in the matching information,
Obtaining a normal vector of the color image plane in the camera coordinate system corresponding to the color image plane on the image coordinate system based on the calculated position,
Perform a rotation transformation on the pixels in the camera coordinate system based on the obtained normal vector and the position of the pixels in the camera coordinate system,
The concrete crack information measuring apparatus for converting the pixels subjected to the rotation conversion to the image coordinate system. 삭제delete 삭제delete 삭제delete
KR1020170157447A 2017-11-23 2017-11-23 Apparatus and method for measureing a crack in a concrete surface KR102015706B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157447A KR102015706B1 (en) 2017-11-23 2017-11-23 Apparatus and method for measureing a crack in a concrete surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157447A KR102015706B1 (en) 2017-11-23 2017-11-23 Apparatus and method for measureing a crack in a concrete surface

Publications (2)

Publication Number Publication Date
KR20190059639A KR20190059639A (en) 2019-05-31
KR102015706B1 true KR102015706B1 (en) 2019-08-28

Family

ID=66656867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157447A KR102015706B1 (en) 2017-11-23 2017-11-23 Apparatus and method for measureing a crack in a concrete surface

Country Status (1)

Country Link
KR (1) KR102015706B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210078814A (en) 2019-12-19 2021-06-29 원경훈 Measuring system for crack of construction

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110455815B (en) * 2019-09-05 2023-03-24 西安多维机器视觉检测技术有限公司 Method and system for detecting appearance defects of electronic components
KR102252845B1 (en) * 2021-01-26 2021-05-27 주식회사 도로시 Method, device and system for analyzing concrete surface through machine vision and 3d profile
CN113189612A (en) * 2021-05-17 2021-07-30 长安大学 Gravel seal quality detection device based on depth camera
KR102423217B1 (en) * 2021-12-10 2022-07-20 한국건설기술연구원 Crack investigation device using 3D distance distribution information of ToF sensor and method of deriving crack information using the same
CN114037705B (en) * 2022-01-11 2022-03-25 南通皋亚钢结构有限公司 Metal fracture fatigue source detection method and system based on moire lines
CN114839054B (en) * 2022-03-16 2023-02-28 徐州大成环境科技有限公司 Building material strength detection method and system based on artificial intelligence
CN117571720B (en) * 2024-01-12 2024-03-22 贵州科筑创品建筑技术有限公司 Method, device and system for detecting concrete appearance bubbles and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012104282A1 (en) * 2012-05-16 2013-11-21 Isra Vision Ag Method and device for inspecting surfaces of a tested object
KR101604037B1 (en) * 2014-05-09 2016-03-16 한국건설기술연구원 method of making three dimension model and defect analysis using camera and laser scanning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210078814A (en) 2019-12-19 2021-06-29 원경훈 Measuring system for crack of construction

Also Published As

Publication number Publication date
KR20190059639A (en) 2019-05-31

Similar Documents

Publication Publication Date Title
KR102015706B1 (en) Apparatus and method for measureing a crack in a concrete surface
WO2016152076A1 (en) Structure condition assessing device, condition assessing system, and condition assessing method
US8538198B2 (en) Method and apparatus for determining misalignment
KR102256583B1 (en) System for Measuring Position of Subject
JPWO2016152075A1 (en) Structure state determination apparatus, state determination system, and state determination method
JP2001324305A (en) Image correspondent position detector and range finder equipped with the same
CN106996748A (en) A kind of wheel footpath measuring method based on binocular vision
CN105953741B (en) System and method for measuring local geometric deformation of steel structure
GB2554796A (en) Testing 3D imaging systems
JP2015206798A (en) distance calculation device
JP2019020220A (en) Image processing apparatus, image processing method, and program
Sun et al. Non-contact optical sensing of asphalt mixture deformation using 3D stereo vision
JP2020126590A (en) Information processing apparatus, information processing method, and program
KR20180098945A (en) Method and apparatus for measuring speed of vehicle by using fixed single camera
WO2020158726A1 (en) Image processing device, image processing method, and program
JP2009092551A (en) Method, apparatus and system for measuring obstacle
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
KR102410300B1 (en) Apparatus for measuring position of camera using stereo camera and method using the same
Ziqiang et al. Research of the algorithm calculating the length of bridge crack based on stereo vision
KR20200082854A (en) A method of matching a stereo image and an apparatus therefor
JP2011033428A (en) Pantograph height measuring device
KR102586815B1 (en) Structure crack measurement system, method, and recording medium recording a computer-readable program for executing the method
KR101705333B1 (en) Estimation Method of Depth Vatiation around SIFT Features using a Stereo Camera
JPH0875454A (en) Range finding device
JP5712790B2 (en) Line sensor camera calibration apparatus and calibration method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right