KR20100034500A - 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법 - Google Patents

영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법 Download PDF

Info

Publication number
KR20100034500A
KR20100034500A KR1020080093682A KR20080093682A KR20100034500A KR 20100034500 A KR20100034500 A KR 20100034500A KR 1020080093682 A KR1020080093682 A KR 1020080093682A KR 20080093682 A KR20080093682 A KR 20080093682A KR 20100034500 A KR20100034500 A KR 20100034500A
Authority
KR
South Korea
Prior art keywords
crack
input image
image
shake
point
Prior art date
Application number
KR1020080093682A
Other languages
English (en)
Other versions
KR101018518B1 (ko
Inventor
이종민
문영식
이정호
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080093682A priority Critical patent/KR101018518B1/ko
Publication of KR20100034500A publication Critical patent/KR20100034500A/ko
Application granted granted Critical
Publication of KR101018518B1 publication Critical patent/KR101018518B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D33/00—Testing foundations or foundation structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G06T5/75—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Abstract

영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법을 개시한다. 구조물 점검 시스템은 구조물과 관련된 입력 영상에 대하여 흔들림 정도를 추정하는 흔들림 추정부; 상기 흔들림 정도에 따른 디블러링(deblurring)을 통해 상기 입력 영상을 복원하는 영상 복원부; 및, 상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 균열 검출부를 포함할 수 있다.
교량 점검(bridge inspection), 구조물 점검, 균열, 모션 블러(motion blur), PSF(point spread function), 디블러링(deblurring)

Description

영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법{STRUCTURE INSPECTION SYSTEM USING IMAGE DEBLURRING TECHNIQUE AND METHOD OF THEREOF}
본 발명은 영상 처리를 이용한 구조물 점검 시스템에 관한 것으로, 더욱 상세하게는 구조물 점검 과정에서 발생할 수 있는 영상의 모션 블러 현상을 해결하여 점검 결과의 정확성을 보장하기 위한 구조물 점검 시스템 및 방법에 관한 것이다.
최근 교량 안전 점검에 대한 관심이 증대되면서 다양한 검사 방법을 이용하여 교량을 점검하고 있다. 교량 점검을 통해 교량의 안전성을 검사하고 손상된 부분에 대한 유지 보수 방법을 결정하게 된다.
현재 교량 점검은 점검자가 육안으로 균열, 부식과 같은 위험 요소를 식별하여 도면에 표시하는 방법을 사용한다. 수작업으로 작성된 도면의 내용을 교량관리시스템(Bridge Management System, BMS)에 입력하고 교량의 상태를 관리한다.
그러나, 점검 결과의 정확성, 점검자의 안전, 교량 하부의 접근성이 보장되기 어렵고, 다수의 인력에 대한 비용문제가 발생하기 때문에 영상 처리 기법을 이용하여 자동으로 교량 하부 균열을 검출할 수 있는 무인 점검 시스템에 대한 필요성이 대두되고 있다.
영상 처리를 이용한 기존의 교량 점검 방법들은 카메라를 통해 입력 받은 영상을 이용하여 손상 요소를 추출한다. 이러한 경우, 일반적인 머신 비전 시스템에서는 고정된 카메라를 이용하지만, 교량 점검에서는 카메라가 이동하는 상태에서 영상을 획득하기 때문에 진동이 발생할 가능성이 더 높다. 카메라와 제어 장치를 이용하여 하드웨어적인 진동 보정은 이루어질 수 있으나, 카메라 움직임에 대한 영상의 모션 블러(motion blur) 현상에 대해서는 소프트웨어적인 해결 방법이 필요하다.
본 발명은 영상의 흔들림을 소프트웨어적으로 보정하여 고화질의 영상을 통해 구조물의 균열을 보다 정확하게 검출할 수 있는 구조물 점검 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 구조물 점검 시스템은, 구조물과 관련된 입력 영상에 대하여 흔들림 정도를 추정하는 흔들림 추정부; 상기 흔들림 정도에 따른 디블러링(deblurring)을 통해 상기 입력 영상을 복원하는 영상 복원부; 및, 상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 균열 검출부를 포함할 수 있다.
여기서, 상기 흔들림 추정부는, 상기 입력 영상을 주파수 영역으로 변환하는 영상 변환부와, 2차원 좌표 상에서 상기 주파수 영역의 영근사점(nearest zero point)을 추출하는 영근사점 추출부와, 상기 영근사점을 이용하여 상기 흔들림 정도를 나타내는 PSF(point spread function) 파라미터를 산출하는 PSF 파라미터 산출부를 포함할 수 있다.
또한, 상기 균열 검출부는, 상기 입력 영상에서 균열 후보 영역을 검출하는 후보 영역 검출부와, 상기 균열 후보 영역에 대하여 균열 경로 및 균열 폭을 추적하여 최종 균열 영역을 판단하는 균열 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 구조물 점검 방법은 구조물과 관련된 입력 영상 에 대하여 흔들림 정도를 추정하는 단계; 상기 흔들림 정도에 따른 디블러링을 통해 상기 입력 영상을 복원하는 단계; 및, 상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 단계를 포함할 수 있다.
본 발명에 따르면, 영상 디블러링 기법(image deblurring technique)을 통해 영상의 흔들림을 보정하고 아울러 영상에 포함된 구조물의 표면 잡음을 제거하여 구조물 점검을 수행함으로써 구조물 점검 결과에 대한 정확성과 신뢰성을 향상시킬 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 구조물 점검 시스템 및 방법을 상세히 설명하기로 한다.
도 1은 구조물 점검 시스템과 관련된 네트워크 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 구조물 점검 시스템(130)은 특수 제작된 이동체에 장착되며, 이동체의 이송을 제어하는 이송 장치(110) 및, 구조물의 영상을 획득하는 영상 획득 장치(120)와 연결되어 구성될 수 있다.
이때, 상기 구조물은 교량 등을 의미할 수 있다.
상기 영상 획득 장치(120)는 CCD(charge couple device) 카메라와, DVR(Digital Video Recorder) 보드 등으로 구성될 수 있으며, 상기 이송 장치(110)의 상단부에 장착될 수 있다.
상기 영상 획득 장치(120)는 구조물의 특정 부위를 정밀하게 측정하고자 할 경우 팬/필트 장치 등을 이용하여 교량의 사각 부분을 촬영하고 배율 조정 및 자동 초점 기능을 이용하여 검사에 최적인 영상을 획득할 수 있다.
상기 이송 장치(110)는 자이로(gyro) 센서를 이용하여 상기 영상 획득 장치(120)의 영상 측정 방향을 보정할 수 있으며, 레이저 센서를 통해 구조물과의 거리를 측정하여 일정한 영상 측정 거리를 조정할 수 있다.
상기 구조물 점검 시스템(130)은 상기 영상 획득 장치(120)로부터 획득한 영상을 수신한 후 수신된 영상을 이용하여 구조물의 상태 정보 및 균열 여부에 대한 검사를 수행할 수 있다.
상기 구조물의 영상을 획득하는 과정에서 차량의 이동, 바람의 영향 등의 원인으로 진동이 발생할 수 있으며 이로 인해 영상에 모션 블러가 포함될 수 있다. 모션 블러가 포함된 영상을 이용하여 측정한 정보는 정확성을 보장할 수 없기 때문에 상기 구조물 점검 시스템(130)은 모션 블러가 포함된 영상에 대하여 소프트웨어적인 복원 과정이 필수적이다.
도 2는 구조물 점검 시스템(130)의 일례를 나타낸 도면이다.
도 2를 참조하면, 상기 구조물 점검 시스템(130)은 흔들림 추정부(201)와, 영상 복원부(202)와, 균열 검출부(203)와, 데이터베이스(204)로 구성될 수 있다.
상기 흔들림 추정부(201)는 구조물의 검사를 위하여 획득한 영상(이하, '입력 영상'이라 칭함)을 입력받아 상기 입력 영상의 흔들림 정도를 추정하는 역할을 수행할 수 있다. 상기 흔들림 추정부(201)는 상기 입력 영상이 주파수 영역에서 갖는 주기성을 이용하여 PSF(point spread function) 파라미터를 산출할 수 있다. 이때, 상기 PSF 파라미터는 상기 입력 영상에 대한 흔들림의 정도를 표현하는 함수를 의미할 수 있으며, 흔들림 각도와 흔들림 크기를 인자로 구성될 수 있다.
상기 흔들림 추정부(201)에 대해서는 도 3을 참조하여 더욱 자세히 설명한다.
상기 영상 복원부(202)는 상기 흔들림 추정부(201)에서 추정된 흔들림 정도에 따라 상기 입력 영상에 대한 디블러링(deblurring)을 수행하여 영상을 복원할 수 있다. 상기 영상 복원부(202)는 상기 입력 영상과 PSF 파라미터를 반복적으로 디컨벌루션(deconvolution) 연산함으로써 상기 입력 영상에 대한 디블러링을 통해 영상을 복원할 수 있다.
상기 균열 검출부(203)는 상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 역할을 수행할 수 있다. 상기 균열 검출부(203)는 구조물 표면의 그림자, 흠집, 누수, 백태 등과 같은 잡음을 고려한 영상 처리를 통해 균열 영역의 정확한 검출이 가능하다.
상기 균열 검출부(203)에 대해서는 도 9를 참조하여 더욱 자세히 설명한다.
상기 데이터베이스(204)는 상기 균열 검출부(203)를 통해 검출된 결과를 상기 구조물의 관리 자료로 사용할 수 있도록 데이터베이스화 하여 저장하는 역할을 수행한다.
도 3은 흔들림 추정부(201)의 일례를 도시한 도면이다.
도 3을 참조하면, 상기 흔들림 추정부(201)는 영상 변환부(301)와, 영근사 점 추출부(302)와, PSF 파라미터 산출부(303)로 구성될 수 있다.
상기 영상 변환부(301)는 상기 입력 영상이 갖는 주기성을 확인하기 위하여 상기 입력 영상을 주파수 영역으로 변환하는 역할을 수행한다.
모션 블러가 포함된 상기 입력 영상은 원본 영상과 PSF 파라미터의 컨벌루션 연산을 통해 생성될 수 있으며, 수학식 1과 같이 정의할 수 있다.
Figure 112008067121212-PAT00001
이때, g(x,y)는 입력 영상, f(x,y)는 원본 영상, h(x,y)는 PSF 파라미터, *는 컨벌루션 연산자(convolution operator)에 해당한다.
상기 PSF는 한 점에 대한 퍼짐 정도를 나타내는 함수를 의미하는 것으로, 흔들린 방향과 정도로 나타낼 수 있다. 즉, 상기 PSF 파라미터는 흔들림 각도(blur angle)와 흔들림 크기(blur length)로 구성될 수 있으며, 수학식 2와 같이 정의할 수 있다.
Figure 112008067121212-PAT00002
이때, L은 흔들림 크기, θ는 흔들림 각도에 해당한다.
상기 입력 영상이 주파수 영역에서 갖는 주기적인 성질을 확인하기 위하여 상기 입력 영상에 대해 이산 푸리에 변환을 수행할 수 있으며, 이산 푸리에 변환을 거친 상기 입력 영상은 수학식 3과 같이 정의할 수 있다.
Figure 112008067121212-PAT00003
이때, G(u,v)는 g(x,y)의 푸리에 변환, F(u,v)는 f(x,y)의 푸리에 변환, H(u,v)는 h(x,y)의 푸리에 변환에 해당한다.
도 4를 참조하면, (a)는 G(u,v), (b)는 F(u,v), (c)는 H(u,v)에 해당하며, 푸리에 변환을 통해 각 영상의 주기성을 확인할 수 있다. 여기서, H(u,v)는 흔들림 각도와 흔들림 크기에 따라 다른 패턴을 가질 수 있다. 이때, 흔들림 각도(θ)의 변화에 따라 어두운 부분(dark lines)의 각도가 흔들림 각도(θ)의 방향과 직교하는 방향으로 나타난다. 또한, 흔들림 크기(L)의 변화에 따라 이웃하는 두 어두운 부분의 간격이 달라질 수 있으며, 그 간격은 흔들림 크기(L)가 클수록 좁아지고 흔들림 크기(L)가 작을수록 넓어진다.
이와 같이 상기 입력 영상이 갖는 주기적 패턴을 이용하여 상기 PSF 파라미터를 추정할 수 있다.
상기 PSF 파라미터 중 흔들림 각도는 상기 입력 영상의 주파수 영역에서 주기적으로 나타나는 어두운 부분의 방향을 찾음으로써 추정할 수 있으며, 정확한 방향을 찾기 위해 주파수 영역의 2차원 좌표 상의 영근사점(nearest zero point)을 찾는 방법을 이용할 수 있다.
다시 도 3에서, 상기 영근사점 추출부(302)는 상기 주파수 영역의 u축 및 v 축 상의 영근사점을 추출하는 역할을 수행할 수 있다.
도 5 내지 도 7은 영근사점을 추출하는 과정을 설명하기 위한 도면이다. 도 5는 입력 영상의 스펙트럼의 일례를 도시한 것이며, 도 6은 도 5의 입력 영상을 1차원으로 투영한 v축 상의 값을 도시한 것이고, 도 7은 도 6의 인근 점들에 대한 최소값 분포를 도시한 것이다.
도 5에 도시한 입력 영상의 v축 영근사점(501)를 추출하기 위하여 도 6과 같이 v축 상의 값을 1차원으로 투영하여 입력 영상의 주기성을 측정한다. 도 6에 도시한 바와 같이, 각 좌표 값의 기울기(gradient)의 변화는 일정하지 않다. 따라서, 상기 영근사점을 찾기 위해서는 단순한 변곡점을 찾는 방법이 아닌 최소 값의 기울기 변화를 이용한 방법을 사용할 수 있다.
도 6에서, 인접한 3개의 점 중 최소 값(601)을 선택하는 과정을 해당 축의 방향으로 진행할 때, 최소 값의 분포를 나타내는 도 7에서 최저값 구간(701)으로 나타나는 부분이 도 6의 최소 값(601)에 해당하며 이 값이 v축 영근사점에 해당한다. 동일한 방법으로, u축 영근사점을 구할 수 있다.
다시 도 3에서, 상기 PSF 파라미터 산출부(303)는 상기 추출된 v축 영근사점과 u축 영근사점을 이용하여 상기 PSF 파라미터인 흔들림 각도와 흔들림 크기를 추정할 수 있다. 상기 PSF 파라미터 산출부(303)는 각도 산출부와, 크기 산출부와, PSF 구성부로 구성될 수 있다.
상기 v축 영근사점과 u축 영근사점은 도 8과 같이 표현할 수 있으며, 이때, A는 v축 영근사점을, B는 u축 영근사점과 대응되는 것이다.
도 8을 참조하면, 상기 각도 산출부는 원점(O)과 상기 v축 영근사점(A) 및 u축 영근사점(B)을 연결하여 이루어진 직각 삼각형의 성질을 이용하여 상기 입력 영상에 대한 흔들림 각도(θ)를 산출할 수 있으며, 상기 흔들림 각도(θ)는 수학식 4와 같이 정의할 수 있다.
Figure 112008067121212-PAT00004
상기 크기 산출부는 상기 산출된 흔들림 각도(θ)를 이용하여 상기 입력 영상에 대한 흔들림 크기(L)를 추정할 수 있다. 상기 흔들림 크기(L)는 상기 흔들림 각도(θ)와 도 8의 직각 삼각형에서 원점(O)과 마주보는 변 간의 직교거리(d)를 이용하여 산출할 수 있으며, 수학식 5와 같이 정의할 수 있다.
Figure 112008067121212-PAT00005
여기서, d는 블러 거리(blur distance), N은 영상의 크기에 해당한다.
상기 블러 거리(d)는 상기 입력 영상의 주파수 영역에서 서로 이웃하는 어두운 부분 간의 직교거리를 의미할 수 있으며, 본 실시예에서는 상기 직각 삼각형의 원점(O)에서 첫 번째 주기 사이의 직교거리를 이용할 수 있다. 상기 블러 거 리(d)와 입력 영상의 크기(N)의 비로 상기 입력 영상의 흔들림 크기(L)를 산출할 수 있다.
상기 PSF 구성부는 상기 산출된 흔들림 각도(θ)와 흔들림 크기(L)를 상기 PSF의 파라미터로 구성할 수 있다.
이와 같이 구성된 PSF 파라미터를 상기 입력 영상과 디컨벌루션 연산을 함으로써 모션 블러가 포함된 영상을 고화질의 영상으로 복원할 수 있다.
도 9는 균열 검출부(203)의 일례를 도시한 도면이다.
도 9를 참조하면, 상기 균열 검출부(203)는 후보 영역 검출부(901)와, 표면 잡음 제거부(902)와, 균열 판단부(903)로 구성될 수 있다.
상기 후보 영역 검출부(901)는 상기 입력 영상에서 균열 후보 영역을 검출하는 역할을 수행할 수 있다. 먼저, 상기 후보 영역 검출부(901)는 상기 균일 후보 영역의 정확한 검출을 위하여 상기 입력 영상에서 그림자를 제거할 필요가 있다. 상기 후보 영역 검출부(901)는 상기 입력 영상의 그림자를 제거하기 위하여 중간값 필터(median filter)를 사용할 수 있다. 상기 후보 영역 검출부(901)는 상기 입력 영상과 상기 중간값 필터를 거친 영상의 차이를 이용하여 상기 균열 후보 영역을 검출할 수 있다.
상기 입력 영상과 상기 중간값 필터를 거친 영상 및, 두 영상 간의 차이는 도 10에 도시한 바와 같다. 상기 입력 영상(101)과 상기 중간값 필터를 거친 영상(102)의 차이(103)에 따르면, 균열 부분에서 영상 신호가 부각되는 특징을 갖기 때문에 상기 입력 영상(101)과 상기 중간값 필터를 거친 영상(102)의 차이(103)가 임계치 이상인 범위를 검출하고 이를 상기 균열 후보 영역으로 판단한다. 즉, 상기 후보 영역 검출부(901)는 그림자가 포함된 입력 영상에 대해서도 중간값 필터를 사용하여 보다 정확한 균일 후보 영역을 검출할 수 있다.
상기 표면 잡음 제거부(902)는 그림자 이외에 상기 입력 영상에 포함된 표면 잡음을 제거할 수 있다. 상기 표면 잡음 제거부(902)는 독립 점(isolated point) 제거 필터를 이용하여 흠집, 누수, 백태 등의 표면 잡음을 제거할 수 있다.
상기 균열 판단부(903)는 상기 균열 후보 영역에 대하여 균열 경로 및 균열 폭을 추적하여 최종 균열 영역을 판단하는 역할을 수행할 수 있다. 상기 균열 판단부(903)는 균열의 연결성을 보장하기 위해서 팽창(dilation)과 세선화(thinning)를 반복적으로 수행한다. 상기 팽창과 세선화의 수행횟수는 상기 균열 후보 영역의 분포에 따라 결정될 수 있다.
도 11을 참조하면, 상기 균열 후보 영역이 검출되면 상기 입력 영상의 전체를 적어도 두 개의 영역으로 분할하여 각 영역에서 중심점을 추출하고, 각 중심점에서부터 양방향으로 균열을 추적한다. 도 11의 (a)와 같이 주변 픽셀들(예를 들어, 8-neighbor pixels) 중에서 수학식 6을 이용하여 밝기가 가장 낮은 점(Pn)을 선택하고 새로운 방향(Dn)으로 추적을 진행한다.
Figure 112008067121212-PAT00006
이때, 상기 균열 판단부(903)는 양방향에 대하여 균열 경로의 검출이 완료 되면 하나의 균열로 병합한다.
또한, 상기 균열 판단부(903)는 도 11의 (b)와 같이 밝기 값의 기울기 변화를 측정하여 균열 폭(width)을 산출할 수 있다. 상기 균열 폭은 실수 형태의 픽셀 수와 픽셀의 해상도를 곱한 값으로 나타낼 수 있다. 이때, 상기 픽셀 수는 균열의 경계 부분에서 균열과 배경의 혼합이 발생하기 때문에 밝기 값의 기울기를 이용하여 실수 형태로 계산될 수 있다. 상기 균열 판단부(903)는 상기 입력 영상의 해상도를 고려하여 상기 균열 폭이 임계치 이상일 경우 최종 균일 영역으로 판단할 수 있다.
상기 균열 판단부(903)는 상기 추적된 균열 경로 및 균열 폭을 CAD 호환이 가능한 파일 포맷으로 변환하여 상기 데이터베이스(204)에 저장할 수 있다.
도 12는 본 발명의 일실시예에 따른 구조물 점검 방법의 전 과정을 도시한 흐름도이다.
본 발명의 일실시예에 따른 구조물 점검 방법은 다음과 같은 과정을 포함할 수 있다.
단계(S1210)에서 구조물 점검 시스템은 검사하고자 하는 구조물에 대하여 입력 영상을 입력받아 상기 입력 영상의 흔들림 정도를 나타내는 PSF 파라미터를 추정할 수 있다. 이때, 상기 PSF 파라미터는 흔들림 각도와 흔들림 크기로 구성될 수 있다.
상기 PSF 파라미터를 추정하는 단계(S1210)는 다음과 같은 과정을 포함할 수 있다.
상기 PSF 파라미터를 추정하는 단계(S1210)는 상기 입력 영상이 갖는 주기성을 확인하기 위하여 이산 푸리에 변환을 통해 상기 입력 영상을 주파수 영역으로 변환한다(S1211).
상기 PSF 파라미터를 추정하는 단계(S1210)는 상기 입력 영상의 주파수 영역에서 영근사점을 추출한다(S1212). 상기 입력 영상의 주파수 영역에서 어두운 부분의 방향을 찾기 위해 주파수 영역의 2차원 좌표 즉, u축 및 v축 상의 영근사점을 추출한다. 이때, 상기 영근사점은 어두운 부분에서 u축과 v축에 대하여 0점에 가장 가까운 점을 의미할 수 있다.
상기 PSF 파라미터를 추정하는 단계(S1210)는 상기 영근사점을 이용하여 상기 PSF 파라미터인 상기 입력 영상의 흔들림 각도와 흔들림 크기를 추정할 수 있다(S1213). 상기 흔들림 각도는 상기 2차원 좌표의 원점과, u축의 영근사점 및 v축의 영근사점을 연결하여 이루어진 직각 삼각형의 성질을 이용하여 산출할 수 있으며, 상기 흔들림 크기는 상기 흔들림 각도와, 상기 직각 삼각형에서 상기 원점과 마주보는 변 간의 직교 거리를 이용하여 산출할 수 있다.
단계(S1220)에서 구조물 점검 시스템은 상기 산출된 PSF 파라미터와 상기 입력 영상을 반복적으로 디컨벌루션(deconvolution) 연산함으로써 상기 입력 영상에 대한 디블러링을 통해 영상을 복원할 수 있다.
단계(S1230)에서 구조물 점검 시스템은 상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출할 수 있다. 상기 구조물 점검 시스템은 구조물 표면의 그림자, 흠집, 누수, 백태 등과 같은 잡음을 고려한 영상 처리를 통해 균열 영역의 정확한 검출이 가능하다.
상기 구조물의 균열을 검출하는 단계(S1230)는 다음과 같은 과정을 포함할 수 있다.
상기 구조물의 균열을 검출하는 단계(S1230)는 상기 입력 영상에서 균열 후보 영역을 검출한다(S1231). 먼저, 상기 균일 후보 영역의 정확한 검출을 위하여 상기 입력 영상에서 그림자를 제거할 필요가 있으며, 상기 입력 영상의 그림자를 제거하기 위하여 중간값 필터를 사용할 수 있다. 상기 입력 영상과 상기 중간값 필터를 거친 영상의 차이가 임계치 이상인 범위가 검출될 경우 이를 상기 균열 후보 영역으로 판단할 수 있다.
상기 구조물의 균열을 검출하는 단계(S1230)는 상기 입력 영상에 포함된 흠집, 누수, 백태 등의 표면 잡음을 제거할 수 있다(S1232). 상기 표면 잡음은 독립 점 제거 필터를 이용하여 제거할 수 있다.
상기 구조물의 균열을 검출하는 단계(S1230)는 상기 균열 후보 영역에 대하여 균열 경로 및 균열 폭을 추적하여 최종 균열 영역을 판단한다(S1233). 상기 균열 후보 영역이 검출되면 상기 입력 영상의 전체를 적어도 두 개의 영역으로 분할하여 각 영역에서 중심점을 추출하고, 각 중심점에서부터 양방향으로 균열 경로를 추적할 수 있다. 이어, 상기 입력 영상의 픽셀에 대하여 밝기 값의 기울기 변화를 측정하여 균열 폭을 산출할 수 있다. 상기 균열 폭은 실수 형태의 픽셀 수와 픽셀의 해상도를 곱한 값으로 나타낼 수 있다. 이때, 상기 입력 영상의 해상도를 고려하여 상기 균열 폭이 임계치 이상일 경우 최종 균일 영역으로 판단할 수 있다.
단계(S1240)에서 구조물 점검 시스템은 상기 구조물의 균열에 대하여 검출된 결과를 상기 구조물의 관리 자료로 사용할 수 있도록 데이터베이스화 하여 저장할 수 있다.
따라서, 구조물 점검 시스템은 구조물 점검 과정에서 발생할 수 있는 모션 블러의 특징을 파악하여 흔들린 영상을 고화질로 복원하고 복원된 고화질의 영상을 이용하여 구조물의 균열을 정확하게 검사할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 구조물 점검 시스템과 관련된 네트워크 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 구조물 점검 시스템의 내부 구성을 도시한 도면이다.
도 3은 도 2에 도시한 흔들림 추정부의 구성을 설명하기 위한 도면이다.
도 4는 입력 영상의 주기적 특징을 설명하기 위한 도면이다.
도 5 내지 도 7은 입력 영상의 주파수 영역에서 영근사점을 추출하는 과정을 설명하기 위한 도면이다.
도 8은 PSF 파라미터를 산출하는 과정을 설명하기 위한 도면이다.
도 9는 도 2에 도시한 균열 검출부의 구성을 설명하기 위한 도면이다.
도 10은 균열 영역에 대한 영상 특징을 설명하기 위한 도면이다.
도 11은 입력 영상 내 균열을 검출하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 구조물 점검 방법의 전 과정을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
130: 구조물 점검 시스템
201: 흔들림 추정부
202: 영상 복원부
203: 균열 검출부
204: 데이터베이스
301: 영상 변환부
302: 영근사점 추출부
303: PSF 파라미터 산출부
901: 후보 영역 검출부
902: 표면 잡음 제거부
903: 균열 판단부

Claims (22)

  1. 구조물과 관련된 입력 영상에 대하여 흔들림 정도를 추정하는 흔들림 추정부;
    상기 흔들림 정도에 따른 디블러링(deblurring)을 통해 상기 입력 영상을 복원하는 영상 복원부; 및,
    상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 균열 검출부
    를 포함하는 구조물 점검 시스템.
  2. 제1항에 있어서,
    상기 흔들림 추정부는,
    상기 입력 영상을 주파수 영역으로 변환하는 영상 변환부와,
    2차원 좌표 상에서 상기 주파수 영역의 영근사점(nearest zero point)을 추출하는 영근사점 추출부와,
    상기 영근사점을 이용하여 상기 흔들림 정도를 나타내는 PSF(point spread function) 파라미터를 산출하는 PSF 파라미터 산출부
    를 포함하는, 구조물 점검 시스템.
  3. 제2항에 있어서,
    상기 영근사점 추출부는,
    상기 주파수 영역의 어두운 부분(dark line)에서 상기 2차원 좌표의 제1축에 대한 v축 영근사점과 제2축에 대한 u축 영근사점을 추출하는, 구조물 점검 시스템.
  4. 제3항에 있어서,
    상기 영근사점 추출부는,
    각 축에 존재하는 좌표 값 중 최소값의 기울기(gradient) 변화를 이용하여 상기 v축 영근사점과 u축 영근사점을 추출하는, 구조물 점검 시스템.
  5. 제3항에 있어서,
    상기 PSF 파라미터 산출부는,
    상기 2차원 좌표의 원점과 상기 v축 영근사점 및 u축 영근사점을 연결하여 이루어진 직각 삼각형의 성질을 이용하여 상기 영상의 흔들림 각도를 산출하는 각도 산출부와,
    상기 흔들림 각도와, 상기 직각 삼각형에서 상기 원점과 마주보는 변 간의 직교 거리를 이용하여 상기 영상의 흔들림 크기를 산출하는 크기 산출부와,
    상기 흔들림 각도와 흔들림 크기를 상기 PSF 파라미터로 구성하는 PSF 구성부
    를 포함하는, 구조물 점검 시스템.
  6. 제2항에 있어서,
    상기 영상 복원부는,
    상기 입력 영상과 상기 PSF 파라미터에 대한 디컨벌루션(deconvolution) 연산을 통해 상기 입력 영상의 디블러링을 수행하는, 구조물 점검 시스템.
  7. 제1항에 있어서,
    상기 균열 검출부는,
    상기 입력 영상에서 균열 후보 영역을 검출하는 후보 영역 검출부와,
    상기 균열 후보 영역에 대하여 균열 경로 및 균열 폭을 추적하여 최종 균열 영역을 판단하는 균열 판단부
    를 포함하는, 구조물 점검 시스템.
  8. 제7항에 있어서,
    상기 후보 영역 검출부는,
    상기 입력 영상과 중간값 필터(median filter)를 거친 입력 영상 간의 차이를 이용하여 상기 균열 후보 영역을 검출하는, 구조물 점검 시스템.
  9. 제7항에 있어서,
    상기 균열 판단부는,
    임계치 이상의 균열 폭을 가진 균열 후보 영역을 상기 최종 균열 영역으로 판단하는, 구조물 점검 시스템.
  10. 제7항에 있어서,
    상기 균열 검출부는,
    상기 최종 균열 영역을 판단하기 이전에, 상기 입력 영상의 표면 잡음을 제거하는 표면 잡음 제거부
    를 더 포함하는, 구조물 점검 시스템.
  11. 제10항에 있어서,
    상기 표면 잡음 제거부는,
    독립 점(isolated point) 제거 필터를 이용하는, 구조물 점검 시스템.
  12. 구조물과 관련된 입력 영상에 대하여 흔들림 정도를 추정하는 단계;
    상기 흔들림 정도에 따른 디블러링을 통해 상기 입력 영상을 복원하는 단계; 및,
    상기 복원된 입력 영상을 이용하여 상기 구조물의 균열을 검출하는 단계
    를 포함하는 구조물 점검 방법.
  13. 제12항에 있어서,
    상기 흔들림 정도를 추정하는 단계는,
    상기 입력 영상을 주파수 영역으로 변환하는 단계와,
    2차원 좌표 상에서 상기 주파수 영역의 영근사점을 추출하는 단계와,
    상기 영근사점을 이용하여 상기 흔들림 정도를 나타내는 PSF 파라미터를 산출하는 단계
    를 포함하는, 구조물 점검 방법.
  14. 제13항에 있어서,
    상기 주파수 영역의 영근사점을 추출하는 단계는,
    상기 주파수 영역의 어두운 부분(dark line)에서 상기 2차원 좌표의 제1축에 대한 v축 영근사점과 제2축에 대한 u축 영근사점을 추출하는, 구조물 점검 방법.
  15. 제14항에 있어서,
    상기 주파수 영역의 영근사점을 추출하는 단계는,
    각 축에 존재하는 좌표 값 중 최소값의 기울기(gradient) 변화를 이용하여 상기 v축 영근사점과 u축 영근사점을 추출하는, 구조물 점검 방법.
  16. 제14항에 있어서,
    상기 PSF 파라미터 산출하는 단계는,
    상기 2차원 좌표의 원점과 상기 v축 영근사점 및 u축 영근사점을 연결하여 이루어진 직각 삼각형의 성질을 이용하여 상기 영상의 흔들림 각도를 산출하는 단계와,
    상기 흔들림 각도와, 상기 직각 삼각형에서 상기 원점과 마주보는 변 간의 직교 거리를 이용하여 상기 영상의 흔들림 크기를 산출하는 단계와,
    상기 흔들림 각도와 흔들림 크기를 상기 PSF 파라미터로 구성하는 단계
    를 포함하는, 구조물 점검 방법.
  17. 제13항에 있어서,
    상기 입력 영상을 복원하는 단계는,
    상기 입력 영상과 상기 PSF 파라미터에 대한 디컨벌루션 연산을 통해 상기 입력 영상의 디블러링을 수행하는, 구조물 점검 방법.
  18. 제12항에 있어서,
    상기 구조물의 균열을 검출하는 단계는,
    상기 입력 영상에서 균열 후보 영역을 검출하는 단계와,
    상기 균열 후보 영역에 대하여 균열 경로 및 균열 폭을 추적하여 최종 균열 영역을 판단하는 단계
    를 포함하는, 구조물 점검 방법.
  19. 제18항에 있어서,
    상기 균열 후보 영역을 검출하는 단계는,
    상기 입력 영상과 중간값 필터(median filter)를 거친 입력 영상 간의 차이를 이용하여 상기 균열 후보 영역을 검출하는, 구조물 점검 방법.
  20. 제18항에 있어서,
    상기 최종 균열 영역을 판단하는 단계는,
    임계치 이상의 균열 폭을 가진 균열 후보 영역을 상기 최종 균열 영역으로 판단하는, 구조물 점검 방법.
  21. 제18항에 있어서,
    상기 구조물의 균열을 검출하는 단계는,
    상기 최종 균열 영역을 판단하기 이전에, 상기 입력 영상의 표면 잡음을 제거하는 단계
    를 더 포함하는, 구조물 점검 방법.
  22. 제21항에 있어서,
    상기 입력 영상의 표면 잡음을 제거하는 단계는,
    독립 점(isolated point) 제거 필터를 이용하여 상기 표면 잡음을 제거하는, 구조물 점검 방법.
KR1020080093682A 2008-09-24 2008-09-24 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법 KR101018518B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080093682A KR101018518B1 (ko) 2008-09-24 2008-09-24 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080093682A KR101018518B1 (ko) 2008-09-24 2008-09-24 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100034500A true KR20100034500A (ko) 2010-04-01
KR101018518B1 KR101018518B1 (ko) 2011-03-03

Family

ID=42212641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080093682A KR101018518B1 (ko) 2008-09-24 2008-09-24 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101018518B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995781B2 (en) 2012-03-13 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for deblurring non-uniform motion blur using multi-frame including blurred image and noise image
WO2021036638A1 (zh) * 2019-04-26 2021-03-04 深圳市豪视智能科技有限公司 桥梁振动检测方法及相关装置
KR102260018B1 (ko) * 2020-09-25 2021-06-03 (주)이도가컨설턴트 콘크리트 구조물의 손상 모니터링 방법
KR102291693B1 (ko) * 2020-11-12 2021-08-19 박민종 소화전의 모니터링 방법
CN114972349A (zh) * 2022-08-01 2022-08-30 山东西曼克技术有限公司 基于图像处理的托辊运行状态检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445865B1 (ko) * 2022-02-25 2022-09-21 한국건설기술연구원 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344045A (ja) * 2002-05-29 2003-12-03 Yaskawa Electric Corp 画像処理装置
JP4488308B2 (ja) * 2004-12-08 2010-06-23 株式会社大林組 構造物表面のひび割れ検出方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995781B2 (en) 2012-03-13 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for deblurring non-uniform motion blur using multi-frame including blurred image and noise image
WO2021036638A1 (zh) * 2019-04-26 2021-03-04 深圳市豪视智能科技有限公司 桥梁振动检测方法及相关装置
KR102260018B1 (ko) * 2020-09-25 2021-06-03 (주)이도가컨설턴트 콘크리트 구조물의 손상 모니터링 방법
KR102291693B1 (ko) * 2020-11-12 2021-08-19 박민종 소화전의 모니터링 방법
CN114972349A (zh) * 2022-08-01 2022-08-30 山东西曼克技术有限公司 基于图像处理的托辊运行状态检测方法及系统
CN114972349B (zh) * 2022-08-01 2022-10-25 山东西曼克技术有限公司 基于图像处理的托辊运行状态检测方法及系统

Also Published As

Publication number Publication date
KR101018518B1 (ko) 2011-03-03

Similar Documents

Publication Publication Date Title
JP4891712B2 (ja) 類似度分布を利用したテンプレートマッチング方法を用いた検査装置
Li et al. Long-distance precision inspection method for bridge cracks with image processing
KR101018518B1 (ko) 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
JP4909859B2 (ja) 検査装置及び検査方法
US10852249B2 (en) Break analysis apparatus and method
EP3594617A1 (en) Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
WO2022105676A1 (zh) 一种工件平面磨损的测量方法和系统
CN112284260A (zh) 一种视觉位移监测方法、设备和系统
JP5705711B2 (ja) ひび割れ検出方法
US9972095B2 (en) Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded
KR101677070B1 (ko) 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR20180096096A (ko) 해색 영상을 이용한 해안선 모니터링 장치 및 방법
CN116542979B (zh) 一种基于图像测量的预测的校正方法及终端
JP3324699B2 (ja) 繊維の径分布測定方法および装置
CN115829981A (zh) 一种退役轴承端面损伤的视觉检测方法
US11796481B2 (en) Inspection device and inspection method
JP5157575B2 (ja) 欠陥検出方法
KR102141352B1 (ko) 영상 처리 기법을 이용한 콘크리트 구조물 균열 폭 평가 방법
JP2010243209A (ja) 欠陥検査方法および欠陥検出装置
KR20220154345A (ko) 가우시안 가중치 최소 자승법을 이용하는 영상 처리 장치 및 그것의 윤곽선 검출 방법
JP7228341B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2019176464A1 (ja) 検査装置及び検査方法
JP2002286411A (ja) 縞解析方法および装置
JP5346304B2 (ja) 外観検査装置、外観検査システムおよび外観検査方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160314

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 9