KR102285615B1 - 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법 - Google Patents

Abstract

본 발명은 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 관한 것으로, 그 목적은 카메라를 통해 쵤영되어 획득되는 영상들을 실시간 순차적으로 비교하고, 그 비교결과 비교영상 간의 진동변위가 발생되었을 때 그 진동변위를 가상으로 설정된 배수만큼 확장하여 보여줌으로서 영상의 모니터링만으로 관계자가 구조물의 미세진동여부를 시각적으로 신속하게 인지할 수 있도록하는 하는 동시에 미세진동이 발생된 시간구간의 영상에 대한 선등록발명에 따른 방법을 즉시 실시할 수 있도록 하는 것이며, 그 구성은 예비 가상 진동확장 이미지는 "I'(x,y,t)"이며; 상기 예비 가상 진동확장 이미지는 산출된 진동에 의한 변화 값 및 진동변위의 방향 값에 의거하여 산출되고; 상기 진동에 의한 변화 값은 임의의 위치에서의 현재영상과 이전영상 사이의 픽셀 값의 차이 값으로,

이며; 상기 진동변위의 방향 값은 현재영상이 임의 위치의 픽셀 값이 이전영상의 어느 위치의 픽셀 값에서 왔는지를 추정하여 산출되는 것을 특징으로 한다.

Description

구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법{An image processing method for improving vibration perception on vibration monitoring camera image}

본 발명은 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 관한 것으로, 더욱 상세하게는 구조물 진동 모니터링을 위한 카메라 영상의 현재영상과 이전영상을 비교하고, 그 비교결과 진동변위가 발생되었다면 그 진동변위를 가상으로 설정배수만큼 확장시킨 영상으로 디스플레이함으로써 영상을 통한 시각적 인지가 불가능한 구조물의 미세진동발생을 시각적으로 즉시 인지하여 해당 구조물에 대한 정밀한 진동분석을 신속하게 실시할 수 있도록 한 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 관한 것이다.

일반적으로, 건물, 교량, 터널, 배관 등과 같이 진동이 발생되는 구조물에 대한 진동을 측정하기 위해서는 가속도계, 레이저 측정기나 변위센서 등이 많이 사용되고 있는데, 가속도계, 레이저 측정기, 변위센서 등을 측정대상 구조물에 설치하고, 설치된 장치를 통해 구조물의 진동을 측정함으로써, 구조물의 이상 유무를 확인하고 있다.

그러나, 화력발전소나 원자력 발전소 등과 같이 고온 및 방사능 구역에서는 일반적인 건물의 구조물과는 달리, 고열로 인한 접근불가 및 피폭의 우려로 인해 가속도계, 레이저 측정기 및 변위센서 등의 장치를 구조물에 설치하는 것이 매우 곤란하다는 문제점이 있었다.

본 출원인은 상기와 같은 종래의 문제점을 해결하기 위하여 다양한 노력을 하였으며, 그 결과로써, 2013년 03월 20일자에 한국 특허청에 특허출원 제10-2013-0029742호로 출원하고, 2013년 07월 03일자에 한국등록특허 제10-1284034호(이하, '선등록 발명'이라 함)로 특허등록된 "카메라 영상을 이용한 미세진동 측정밥법"로 명명된 선등록발명을 개발하였다.

본 출원인의 선등록 발명은 센서 등을 구조물에 직접 부착하지 않고서도 구조물을 원거리에서 구조물의 미세진동을 정확하게 측정하여 구조물의 이상 유무를 파악할 수 있음은 물론 센서 등으로는 측정이 불가능한 거대 크기를 갖는 구조물에 미세진동도 간단하게 측정할 수 있도록 하는 것이다.

그러나, 이러한 본 출원인의 신등록 발명은 카메라로 촬영하여 획득된 영상을 사후에 분석하여 미세진동의 발생을 파악하고 발생된 미세진동을 정확하게 측정하는 것이며, 구조물의 미세진동은 매우 작은 진동변위로 발생됨으로 관계자가 실시간으로 디스플레이되는 영상을 시각적으로 모니터링하여 미세진동발생 여부를 인지할 수 없어 사실상 구조물의 이상 유무를 실시간으로 파악할 수 없다는 문제점이 있었다.

본 출원인은 상기와 같은 선등록 발명의 문제점을 해결할 수 있는 "구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법"을 개발하였고, 2019년 11월 25일자에 한국특허청에 특허출원하여 특허출원 제10-2019-0151840호(이하, '선출원 발명'이라함)를 부여받았다.

상기 본 출원인의 선출원 발명은 카메라를 통해 쵤영되어 획득되는 영상들을 실시간 순차적으로 비교하고, 그 비교결과 비교영상 간의 진동변위가 발생되었을 때 그 진동변위를 가상으로 설정된 배수만큼 확장하여 보여줌으로서 영상의 모니터링만으로 관계자가 구조물의 미세진동여부를 시각적으로 신속하게 인지할 수 있도록하는 하는 동시에 미세진동이 발생된 시간구간의 영상에 대한 선등록 발명에 따른 방법을 즉시 실시할 수 있도록 하는 것으로써, 그 구성은 미세진동이 발생되었을 때, 발생된 진동변위에 대한 확장횟수 값을 설정하는 확장횟수 값 설정단계와; 카메라를 통해 구조물을 연속 촬영한 연속 영상을 취득하는 연속 영상 취득단계와; 상기 연속 영상 취득 단계를 통해 2개 이상의 영상이 취득되었는지를 확인하고, 만약 취득된 영상이 2개 미만이라면 상기 연속 영상 취득 단계로 리턴하는 취득 영상 개수 확인단계와; 상기 취득 영상 개수 확인단계에서, 만약 취득된 영상이 2개 이상이라면, 후취득영상인 현재영상과 선취득영상인 이전영상을 비교하는 영상비교단계와; 상기 영상비교단계에서의 비교결과, 진동변위가 있는지를 확인하고, 만약 영상 간에 진동변위가 없다면, 상기 연속 영상 취득 단계로 리턴하는 진동변위 발생 확인단계와; 상기 진동변위 발생 확인단계에서, 만약 진동변위가 있다면, 발생된 진동변위에 해당되는 진동변화 값을 연산하고, 연산된 진동변화 값에 해당되는 가상확장 진동변화 값을 생성하는 가상확장 진동변화 값 생성단계와; 상기 가상확장 진동변화 값 생성단계에서 생성된 가상확장 진동변화 값의 진동변위를 갖는 예비 가상 진동확장 이미지을 생성하고 저장하는 예비 가상 확장 이미지 생성단계와; 상기 예비 가상 확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지가 상기 확장횟수 값 설정단계에서 설정된 확장횟수 값에 도달된 것인지를 확인하고, 만약 확장횟수 값에 도달된 것이 아니라면, 상기 영상비교단계로 리턴하는 예비 가상 확장 이미지의 확장 배수 확인단계와; 상기 예비 가상 진동확장 이미지의 확장 배수 확인단계에서, 만약 예비 가상 진동확장 이미지가 설정된 확장횟수 값에 도달된 것이라면, 상기 예비 가상 진동확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지를 가상 진동확장 이미지로 결정하고 저장하는 가상 진동확장 이미지 결정단계와; 상기 가상 진동확장 이미지 결정단계에서 결정되고 저장된 가상 진동확장 이미지를 디스플레이하는 가상 확장 이미지 디스플레이단계로 구성된다.

본 발명은 상기와 같은 선출원 발명을 원활하게 실시할 수 있도록 하기 위한 것으로서, 그 목적은 선출원 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 있어서, 예비 가상 진동확장 이미지, 가상 확장 진동변위 값 및 진동변위의 방향 값을 구체적으로 산출할 수 있도록 하여 선출원 발명을 정확하고 원활하게 실시될 수 있도록 하는 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법을 제공하는 것이다.

상기 본 발명의 목적은 미세진동이 발생되었을 때, 발생된 진동변위에 대한 확장횟수 값을 설정하는 확장횟수 값 설정단계와; 카메라를 통해 구조물을 연속 촬영한 연속 영상을 취득하는 연속 영상 취득단계와; 상기 연속 영상 취득 단계를 통해 2개 이상의 영상이 취득되었는지를 확인하고, 만약 취득된 영상이 2개 미만이라면 상기 연속 영상 취득 단계로 리턴하는 취득 영상 개수 확인단계와; 상기 취득 영상 개수 확인단계에서, 만약 취득된 영상이 2개 이상이라면, 후취득영상인 현재영상과 선취득영상인 이전영상을 비교하는 영상비교단계와; 상기 영상비교단계에서의 비교결과, 진동변위가 있는지를 확인하고, 만약 영상 간에 진동변위가 없다면, 상기 연속 영상 취득 단계로 리턴하는 진동변위 발생 확인단계와; 상기 진동변위 발생 확인단계에서, 만약 진동변위가 있다면, 발생된 진동변위에 해당되는 진동변화 값을 연산하고, 연산된 진동변화 값에 해당되는 가상확장 진동변화 값을 생성하는 가상확장 진동변화 값 생성단계와; 상기 가상확장 진동변화 값 생성단계에서 생성된 가상확장 진동변화 값의 진동변위를 갖는 예비 가상 진동확장 이미지을 생성하고 저장하는 예비 가상 확장 이미지 생성단계와; 상기 예비 가상 확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지가 상기 확장횟수 값 설정단계에서 설정된 확장횟수 값에 도달된 것인지를 확인하고, 만약 확장횟수 값에 도달된 것이 아니라면, 상기 영상비교단계로 리턴하는 예비 가상 확장 이미지의 확장 배수 확인단계와; 상기 예비 가상 진동확장 이미지의 확장 배수 확인단계에서, 만약 예비 가상 진동확장 이미지가 설정된 확장횟수 값에 도달된 것이라면, 상기 예비 가상 진동확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지를 가상 진동확장 이미지로 결정하고 저장하는 가상 진동확장 이미지 결정단계와; 상기 가상 진동확장 이미지 결정단계에서 결정되고 저장된 가상 진동확장 이미지를 디스플레이하는 가상 확장 이미지 디스플레이단계로 구성된 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 있어서, 상기 예비 가상 진동확장 이미지는 가상 확장 진동변위 값에 의거하여 생성되고; 상기 가상 확장 진동변위 값은 산출된 진동변화 값 및 진동변위의 방향 값에 의거하여 산출되고; 상기 진동변화 값은 임의의 위치에서의 현재영상과 이전영상 사이의 픽셀 값의 차이 값으로,

이며; 상기 진동변위의 방향 값은 현재영상이 임의 위치의 픽셀 값이 이전영상의 어느 위치의 픽셀 값에서 왔는지를 추정하여 산출되는 것을 특징하는 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 의해 달성될 수 있는 것이다.

본 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법은 예비 가상 진동확장 이미지, 가상 확장 진동변위 값 및 진동변위의 방향 값을 구체적으로 산출할 수 있도록 하여 선출원 발명을 정확하고 원활하게 실시할 수 있도록 하여 구조물 진동 모니터링 카메라 영상의 진동 시인성을 보다 확실하게 향상시키는 효과를 갖는다.

도 1은 본 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법 중 진동변위의 방향 값에 대한 2차원 공간에서 산출방법을 설명하는 설명도이다.

이하, 본 발명을 첨부된 도면을 참조하여 더욱 상세하게 설명하면 다음과 같다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

본 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법을 도 1를 참조하며 그 실시 예를 구체적으로 설명할 것이다.

도 1을 참조하면, 본 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법은 미세진동이 발생되었을 때, 발생된 진동변위에 대한 확장횟수 값을 설정하는 확장횟수 값 설정단계와; 카메라를 통해 구조물을 연속 촬영한 연속 영상을 취득하는 연속 영상 취득단계와; 상기 연속 영상 취득 단계를 통해 2개 이상의 영상이 취득되었는지를 확인하고, 만약 취득된 영상이 2개 미만이라면 상기 연속 영상 취득 단계로 리턴하는 취득 영상 개수 확인단계와; 상기 취득 영상 개수 확인단계에서, 만약 취득된 영상이 2개 이상이라면, 후취득영상인 현재영상과 선취득영상인 이전영상을 비교하는 영상비교단계와; 상기 영상비교단계에서의 비교결과, 진동변위가 있는지를 확인하고, 만약 영상 간에 진동변위가 없다면, 상기 연속 영상 취득 단계로 리턴하는 진동변위 발생 확인단계와; 상기 진동변위 발생 확인단계에서, 만약 진동변위가 있다면, 발생된 진동변위에 해당되는 진동변화 값을 연산하고, 연산된 진동변화 값에 해당되는 가상확장 진동변화 값을 생성하는 가상확장 진동변화 값 생성단계와; 상기 가상확장 진동변화 값 생성단계에서 생성된 가상확장 진동변화 값의 진동변위를 갖는 예비 가상 진동확장 이미지을 생성하고 저장하는 예비 가상 확장 이미지 생성단계와; 상기 예비 가상 확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지가 상기 확장횟수 값 설정단계에서 설정된 확장횟수 값에 도달된 것인지를 확인하고, 만약 확장횟수 값에 도달된 것이 아니라면, 상기 영상비교단계로 리턴하는 예비 가상 확장 이미지의 확장 배수 확인단계와; 상기 예비 가상 진동확장 이미지의 확장 배수 확인단계에서, 만약 예비 가상 진동확장 이미지가 설정된 확장횟수 값에 도달된 것이라면, 상기 예비 가상 진동확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지를 가상 진동확장 이미지로 결정하고 저장하는 가상 진동확장 이미지 결정단계와; 상기 가상 진동확장 이미지 결정단계에서 결정되고 저장된 가상 진동확장 이미지를 디스플레이하는 가상 확장 이미지 디스플레이단계로 구성되는 선출원 발명 중에서, 예비 가상 진동확장 이미지을 생성하고. 가상 확장 진동변위 값, 진동변화 값 및 진동변위의 방향 값를 산출을 산출한다.

상기 예비 가상 진동확장 이미지는 "I'(x,y,t)" 이다.

상기 예비 가상 진동확장 이미지(I'(x,y,t))은 산출된 진동에 의한 변화 값(D(x,y,t)) 및 진동변위의 방향 값(б_1~9)에 의거하여 하기 식(1)에 의해서 산출된다.

상기 현재영상(I(x,y,t))의 임의 위치 값은 진동변위의 방향 값(б_1~9) 중에서 가장 작은 값의 이전영상 픽셀 위치에서 이동된 것으로 한다.
즉, 진동변위의 방향 값인 б_1~9 는 하기 식2에 의해 구해진 값들이며, 식1에서 이 값들의 최소값이 б₁ 이라면척 번째 라인의 수식을 적용하고 최소값이 б₂ 이라면 두 번째 라인의 수식을 적용하는 것을 의미한다.

상기 진동에 의한 변화 값(D(x,y,t))은,

임의의 위치에서의 현재영상(I(x, y, t)과 이전영상(I(x,y,t-dt)) 사이의 픽셀 값의 차이 값이며, 하기 식(3)에 의해서 산출된다.

상기 진동변위의 방향 값(б_1~9)은 현재영상(I(x, y, t)이 임의 위치의 픽셀 값이 이전영상(I(x,y,t-dt))의 어느 위치의 픽셀 값에서 왔는지를 추정하는 것이며, 하기 식(2)에 의해서 산출된다.

상기 식(2)에 있어서, б₁ 내지 б₉는 도 1에서 보여지는 바와 같이, 현재형상(I(x, y, t)에서의 임의 위치에 픽셀과 인접한 위치의 각 픽셀에 대한 픽셀 차이 값이다.

상기와 같은 본 발명에 따른 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법은 연속영상 상의 진동변위를 가상으로 확장시켜 관라자의 시각으로 미세진동을 실시간으로 용이하게 확인할 수 있도록 하여 구조물의 진동에 대한 정밀한 측정 등과 같은 일련의 정밀안전진단을 실시할 수 있도록 하는 선출원 발명에서 예비 가상 진동확장 이미지, 가상 확장 진동변위 값 및 진동변위의 방향 값을 구체적으로 산출할 수 있도록 함으로써, 선출원 발명을 정확하고 원활하게 실시될 수 있도록 하는 이점이 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

I'(x,y,t): 예비 가상 진동확장 이미지
I(x,y,t): 현재영상
I(x,y,t-dt): 이전영상
D(x,y,t): 진동에 의한 변화 값
б_1~9: 진동변위의 방향 값

Claims (3)

1. 미세진동이 발생되었을 때, 발생된 진동변위에 대한 확장횟수 값을 설정하는 확장횟수 값 설정단계와; 카메라를 통해 구조물을 연속 촬영한 연속 영상을 취득하는 연속 영상 취득단계와; 상기 연속 영상 취득 단계를 통해 2개 이상의 영상이 취득되었는지를 확인하고, 만약 취득된 영상이 2개 미만이라면 상기 연속 영상 취득 단계로 리턴하는 취득 영상 개수 확인단계와; 상기 취득 영상 개수 확인단계에서, 만약 취득된 영상이 2개 이상이라면, 후취득영상인 현재영상과 선취득영상인 이전영상을 비교하는 영상비교단계와; 상기 영상비교단계에서의 비교결과, 진동변위가 있는지를 확인하고, 만약 영상 간에 진동변위가 없다면, 상기 연속 영상 취득 단계로 리턴하는 진동변위 발생 확인단계와; 상기 진동변위 발생 확인단계에서, 만약 진동변위가 있다면, 발생된 진동변위에 해당되는 진동변화 값을 연산하고, 연산된 진동변화 값에 해당되는 가상확장 진동변화 값을 생성하는 가상확장 진동변화 값 생성단계와; 상기 가상확장 진동변화 값 생성단계에서 생성된 가상확장 진동변화 값의 진동변위를 갖는 예비 가상 진동확장 이미지을 생성하고 저장하는 예비 가상 확장 이미지 생성단계와; 상기 예비 가상 확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지가 상기 확장횟수 값 설정단계에서 설정된 확장횟수 값에 도달된 것인지를 확인하고, 만약 확장횟수 값에 도달된 것이 아니라면, 상기 영상비교단계로 리턴하는 예비 가상 확장 이미지의 확장 배수 확인단계와; 상기 예비 가상 진동확장 이미지의 확장 배수 확인단계에서, 만약 예비 가상 진동확장 이미지가 설정된 확장횟수 값에 도달된 것이라면, 상기 예비 가상 진동확장 이미지 생성단계에서 생성되고 저장된 예비 가상 진동확장 이미지를 가상 진동확장 이미지로 결정하고 저장하는 가상 진동확장 이미지 결정단계와; 상기 가상 진동확장 이미지 결정단계에서 결정되고 저장된 가상 진동확장 이미지를 디스플레이하는 가상 확장 이미지 디스플레이단계로 구성된 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법에 있어서,
   상기 예비 가상 진동확장 이미지는,
   "I'(x,y,t)" 이며;
   
   상기 예비 가상 진동확장 이미지(I'(x,y,t))은,
   산출된 진동에 의한 변화 값(D(x,y,t)) 및 진동변위의 방향 값(б_1~9)에 의거하여 산출되고;
   
   상기 진동에 의한 변화 값(D(x,y,t))은,
   임의의 위치에서의 현재영상(I(x, y, t)과 이전영상(I(x,y,t-dt)) 사이의 픽셀 값의 차이 값으로, 하기 식에 의해 산출되며;
   

   

   
   
   상기 진동변위의 방향 값(б_1~9)은,
   현재영상(I(x, y, t)이 임의 위치의 픽셀 값이 이전영상(I(x,y,t-dt))의 어느 위치의 픽셀 값에서 왔는지를 추정하여 산출되는 것을 특징하는 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법.
   
2. 제1항에 있어서,
   상기 진동변위의 방향 값(б_1~9)은,
   

   

   
   상기 식에 의해 산출되며;
   상기 식에 있어서,
   б₁ 내지 б₉는 현재형상(I(x, y, t)에서의 임의 위치에 픽셀과 인접한 위치의 각 픽셀에 대한 픽셀 차이 값인 것을 특징으로 하는 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법.
   
3. 제1항에 있어서,
   상기 예비 가상 진동확장 이미지(I'(x,y,t)는,
   

   

   
   상기 식에 의해 산출되며;
   상기 현재영상(I(x,y,t))의 임의 위치 값은,
   진동변위의 방향 값(б_1~9) 중에서 가장 작은 값의 이전영상 픽셀 위치에서 이동된 것으로 하는 것을 특징으로 하는 구조물 진동 모니터링 카메라 영상의 진동 시인성 향상을 위한 영상처리방법.
   

Images