KR102602163B1 - 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치 - Google Patents

이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치 Download PDF

Info

Publication number
KR102602163B1
KR102602163B1 KR1020210119904A KR20210119904A KR102602163B1 KR 102602163 B1 KR102602163 B1 KR 102602163B1 KR 1020210119904 A KR1020210119904 A KR 1020210119904A KR 20210119904 A KR20210119904 A KR 20210119904A KR 102602163 B1 KR102602163 B1 KR 102602163B1
Authority
KR
South Korea
Prior art keywords
unit
image
motion
processing module
large structure
Prior art date
Application number
KR1020210119904A
Other languages
English (en)
Other versions
KR20230037115A (ko
Inventor
정휘권
김경화
탁윤오
김정호
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210119904A priority Critical patent/KR102602163B1/ko
Publication of KR20230037115A publication Critical patent/KR20230037115A/ko
Application granted granted Critical
Publication of KR102602163B1 publication Critical patent/KR102602163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
    • G01D11/24—Housings ; Casings for instruments
    • G01D11/245—Housings for sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
    • G01D11/30—Supports specially adapted for an instrument; Supports specially adapted for a set of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치에 관한 것으로서, 측정대상 거대 구조물의 영상을 촬상하는 이미지센서가 마련된 촬상장치와, 촬상장치에서 촬상된 영상으로부터 설정된 특징점에 대해 픽셀간의 기준거리 미만의 미세모션을 포함한 모션정보를 추출하는 영상처리모듈과, 영상처리모듈에서 추출된 모션정보를 거대 구조물의 거동정보로 변환처리하고, 변환된 거동정보로부터 이상상태를 판단하여 출력부를 통해 출력하는 거동처리모듈을 구비한다. 이러한 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치에 의하면, 접근이 어려운 거대 구조물의 원거리 동시 다점 거동측정 기능을 갖고 있기 때문에 종래 부착식 또는 레이저 기반 원거리 센서에 비해 활용이 용이하다는 장점을 갖는다.

Description

이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치{apparatus for monitoring sub-pixel motion of macrostructure based on image sensor}
본 발명은 거대 구조물의 미세모션 모니터링 장치에 관한 것으로서, 상세하게는 이미지 센서 기반에 의해 촬상된 영상정보로부터 거대 구조물의 화소 간격 이하의 미세모션까지 획득할 수 있도록 된 모니터링 장치에 관한 것이다.
구조물 건전성 모니터링 기술은 다양한 센서와 신호처리를 통해 구조물의 상태를 모니터링 하는 기술이며, 이는 기계 구조물이나 산업 시설물 및 설비의 효율적인 유지보수를 가능하게 한다. 다양한 모니터링 기술들 중 진동은 측정하기 용이하며 구조물 전반상태를 대변하는 동특성과 밀접한 관련이 있기 때문에 진동 기반 모니터링 기술이 가장 보편적으로 사용된다.
거대 구조물의 경우 지진이나 충격에 의한 구조물 손상 및 노후화에 따른 결함발생 시 이상거동이 발생할 수 있는데 진동과 같은 거동신호 분석을 통해 이상상태를 감지하고 이에 따른 선제조치를 취함으로써 재난사고 방지가 가능하다.
종래 교량과 같은 거대 구조물의 경우 건전성 모니터링을 위해 가속도계, GPS 센서, 선형 변위계 및 스트레인 게이지와 같은 접속식 센서를 활용하지만 센서 설치를 위한 접근이 요구되기 때문에 기 제작 또는 건설된 구조물에 설치할 경우 안전사고가 발생할 수 있다. 또한 정확도 있는 모니터링을 위해 센서를 일정간격으로 설치해야하는데, 거대 구조물의 경우 막대한 수의 센서 활용과 함께 케이블 관리에 현실적 어려움이 있다. 무선센서를 활용하더라도 센서 수는 줄어들지 않기 때문에 전원공급 및 관리에 대한 이슈도 항시 존재한다.
접촉식 센서의 문제를 극복하기 위해 레이저 센서와 같은 원거리 센서가 개발되었으며, 원거리에서 대상 구조물의 정밀 거동측정이 가능하지만 장비가 고가이기 때문에 다수 장비 운용이 어려우며 상시 모니터링 시스템 구축에도 용이하지 않다. 또한 조사된 광이 대상 구조물 측정점에서 충분히 반사되어야 하기 때문에 표면상태에 따라 측정이 불가능 하거나 어렵다는 문제가 있다.
상기 어려움을 극복하기 위해 카메라와 같은 영상기기를 활용한 구조물 거동측정 기술이 개발되어 왔고 국내 등록특허 제10-1283413등 당양하게 제안되어 있다. 거대 구조물은 크기로 인해 고유 진동수가 낮기 때문에 고속 샘플링이 요구되지 않은 대신 다점측정이 요구되기 때문에 영상기기 활용이 적합하며, 타 센서에 비해 경제적이다는 장점이 있다. 모션측정을 위해 보편적으로 활용되는 기법은 디지털 이미지 상관법(DIC; Digital Image Correlation)과 광학흐름(Optical Flow) 이다. 디지털 이미지 상관법(DIC)은 거동 및 국부 변형률을 정교하게 도출할 수 있지만 촬영 전 표면에 랜덤 노이즈 처리가 반드시 필요하고 계산량이 많기 때문에 처리속도가 낮다. 광학흐름(Optical flow)은 연산과정이 비교적 단순하여 처리속도가 높지만 픽셀 이하 단위의 미세한 모션을 도출하는데 한계가 있다.
이를 보완하기 위해 모션증폭 및 영상의 공간위상 정보를 통한 미세모션 추출 기술이 개발되었으나, 모션증폭은 영상왜곡을 유발하기 때문에 미세모션 추출 시 오차가 발생한다는 문제점이 있다. 그리고 위상정보를 통한 모션추출 기법은 동일한 모션이라도 영상신호에서 위상정보를 도출하는 파수 성분에 따라 모션크기가 일정하지 않기 때문에 정량화가 어렵다는 문제점이 있다. 추가로 다양한 영상처리 기반 미세모션 추출 기술들이 개발되었으나 획득된 모션신호(대상 구조물의 거동 또는 진동신호)를 통한 건전성 모니터링 기술은 거의 전무하다.
따라서 왜곡없이 일정하게 모션을 추출하는 기술과 추출된 모션신호의 처리 및 분석을 통한 거대 구조물의 모니터링 기술이 요구되고 있다.
본 발명은 상기와 같은 요구사항을 해결하기 위하여 창안된 것으로서, 이미지센서를 기반으로 획득된 거대 구조물의 영상으로부터 픽셀 간격 이하의 미세 거동도 파악할 수 있도록 지원하여 이상상태에 대한 효율적인 모니터링이 가능한 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치는 측정대상 거대 구조물의 영상을 촬상하는 이미지센서가 마련된 촬상장치와; 상기 촬상장치에서 촬상된 영상으로부터 설정된 특징점에 대해 픽셀간의 기준거리 미만의 미세모션을 포함한 모션정보를 추출하는 영상처리모듈과; 상기 영상처리모듈에서 추출된 모션정보를 상기 거대 구조물의 거동정보로 변환처리하고, 변환된 거동정보로부터 이상상태를 판단하여 출력부를 통해 출력하는 거동처리모듈;을 구비한다.
본 발명의 일 측면에 따르면, 상기 영상처리모듈은 상기 촬상장치에서 촬상된 영상으로부터 설정된 특징점을 추출하는 특징점 추출부와; 상기 특징점추출부에서 추출된 이미지를 퓨리에 변환하는 FFT변환부와; 상기 FFT변환부에서 변환된 데이터 영역이 설정된 확대영역내에 배치되게 패딩처리하는 FFT-zero 패딩부와; 상기 FFT-zero 패딩부에서 패딩처리된 데이터를 역퓨리에 변환하는 IFFT부와; 상기 IFFT부에서 생성된 현재 정밀이미지와 이전 프레임에서 산출된 이전 정밀이미지와 비교하여 모션을 추출하는 모션추출부;를 구비한다.
또한, 상기 거동처리모듈은 상기 모션추출부에서 추출된 특징점의 거동정보를 상기 이미지센서와 상기 거대 구조물과의 거리 및 화각정보를 이용하여 실거리 이동 거동정보로 변환하는 켈리브레이션부와; 상기 켈리브레이션부에서 출력되는 실거리 이동 거동정보로부터 설정된 이상상태를 판단하기 위해 설정된 신호특징을 추출하는 신호특징추출부와; 상기 신호특징추출부에서 추출된 신호특징 정보로부터 이상상태를 탐지하여 출력부를 통해 출력하는 이상상태 탐지부;를 구비한다.
상기 거동처리모듈은 상기 켈리브레이션부에서 출력되는 실거리 이동 거동정보에 포함된 노이즈를 제거하여 상기 신호특징 추출부에 제공하는 신호정제부;를 더 구비할 수 있다.
바람직하게는 상기 촬상장치는 상기 이미지센서가 내부에 수납된 상태로 촬상이 가능하게 지원하는 보호케이스를 갖는 본체와; 상기 본체를 지지하되 외부로부터 인가되는 진동이 상기 본체에 인가되는 것을 억제하는 제진바디를 구비한다.
본 발명에 따른 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치에 의하면, 접근이 어려운 거대 구조물의 원거리 동시 다점 거동측정 기능을 갖고 있기 때문에 종래 부착식 또는 레이저 기반 원거리 센서에 비해 활용이 용이하다는 장점을 갖는다. 또한 하드웨어의 경제성이 우수하기 때문에 타 센싱 기술과의 융합이 수월하다. 또한, 이미지 센서 모듈의 샘플링 속도(FPS=Frame Per Second)를 향상시키고 야간촬영이 가능한 광학계를 부착할 경우, 야간 및 악천후 상황에서도 꾸준한 거동측정이 가능하며 거대 구조물뿐 아니라 다양한 기계 구조물에도 적용할 수 있다.
도 1은 본 발명에 따른 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치를 개략적으로 나타내 보인 도면이고,
도 2는 도 1의 모니터링 장치의 제어계통을 나타내 보인 블록도이고,
도 3은 도 2의 영상처리모듈에 의한 정밀 이미지 생성과정을 설명하기 위한 도면이고,
도 4는 도 2의 켈리브레이션부에 의한 실거리 이동 거동정보 산출과정을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치를 더욱 상세하게 설명한다.
도 1은 본 발명에 따른 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치를 개략적으로 나타내 보인 도면이고, 도 2는 도 1의 모니터링 장치의 제어계통을 나타내 보인 블록도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 거대 구조물의 미세모션 모니터링 장치(100)는 촬상장치(110) 및 영상처리기(120)를 구비한다.
촬상장치(110)는 측정대상 거대 구조물의 영상을 촬상하는 이미지센서가 마련되어 있고 통상의 카메라를 적용하면 된다.
촬상장치(110)는 이미지센서가 내부에 수납된 상태로 촬상이 가능하게 지원하는 보호케이스를 갖는 본체(112)와, 본체(112)로부터 하방으로 연장된 지지다리(114)를 지지하되 외부로부터 인가되는 진동이 본체(112)에 인가되는 것을 억제하는 제진바디(116)를 갖는 구조로 되어 있다. 보호 케이스는 외부 물체에 의한 충격, 바람, 악천후와 같은 외부환경으로부터 이미지 센서를 보호하기 위해 본체(112) 전체를 감싸거나 일부 렌즈부분을 보호하는 형태로 형성될 수 있다. 여기서, 보호케이스가 본체(112) 전체는 감싸는 형태인 경우, 촬영을 위해 렌즈부분은 아크릴과 같은 투명한 재질의 보호막이 적용된 구조로 형성되면 된다. 제진바디(116)는 진동을 흡수하여 본체(112)로의 전달을 최소화 할 수 있는 구조로 적용되면 된다.
이러한 촬상장치(110)는 촬상 조건에 대한 사용자의 설정값(FPS, 해상도, 렌즈 초점, 촬영시간, 촬영간격 등)에 따라 촬영 후 영상 데이터를 영상처리기(120)로 전송한다.
영상처리기(120)는 촬상장치(110)에서 촬상된 영상을 처리하여 측정대상 거대 구조물(10)의 거동정보를 생성하며 통상의 컴퓨터로 구축될 수 있다. 영상처리기(120)는 영상처리모듈(130)과 거동처리모듈(140)을 구비한다. 도시된 예에서는 측정대상 거대 구조물(10)로서 교량이 예시되어 있고, 교량 이에외도 빌딩 등 다양한 요소가 적용될 수 있음은 물론이다.
영상처리모듈(130)은 촬상장치(110)에서 촬상된 영상으로부터 설정된 특징점에 대해 픽셀간의 기준거리 미만의 미세모션을 포함한 모션정보를 추출한다.
영상처리모듈(130)은 특징점 추출부(131), FFT변환부(132), FFT-zero 패딩부(133), IFFT부(134) 및 모션추출부(135)를 구비한다.
특징점 추출부(131)는 촬상장치(110)에서 촬상된 영상으로부터 설정된 특징점을 추출한다. 여기서, 특징점은 측정대상 거대 구조물(10)의 거동을 파악하기 위해 설정한 지점 및 영역을 말하고, 일 예로서 교량의 경우 수직상으로 연장되어 구조물을 지지하는 수직지지구조체(12)의 상단영역을 특징점으로 설정할 수 있다. 특징점을 사용자가 설정하여 지정해주는 경우 정확한 모션추출을 위해 주변과 형상 또는 명암이 확연히 대비되는 부분을 선정하면 된다. 이와는 다르게 측정대상 거대 구조물(10)에 부착하여 인식할 수 있도록 한 별도의 마커(미도시)를 특징점으로 설정할 수 있음은 물론이다. 마커가 적용되는 경우 마커의 색 대비 각 픽셀의 색 차이를 도출하고, 마커에 해당하는 픽셀의 값은 다른 부분에 비해 작은 값을 갖기 때문에 문턱(Threshold) 기법을 통해 이진화된 이미지를 얻을 수 있다. 이후 퍼컬레이션(percolation) 기법을 적용하여 개별 마커점을 인식함으로써 측정점을 인식하는 방안을 적용할 수 있다.
FFT변환부(132)는 특징점추출부(131)에서 추출된 이미지를 퓨리에 변환(Fourier transform) 한다.
FFT-zero 패딩부(133)는 FFT변환부(132)에서 변환된 데이터 영역이 설정된 확대영역내에 배치되게 패딩처리한다. 여기서, 확대영역은 특징점 추출부(131)의 영역보다 확장되게 설정된 영역으로 패드라 칭한다. 따라서, 여기서 FFT-zero 패딩부(133)는 특징점(131a)을 포함한 관심영역을 패드의 중앙에 배치하고, 나머지 영역은 제로(zero)값을 갖게 매칭시켜 처리한 데이터를 생성한다.
IFFT부(134)는 FFT-zero 패딩부(133)에서 패딩처리된 데이터를 역퓨리에 변환한다.
모션추출부(135)는 IFFT부(134)에서 생성된 현재 정밀이미지와 이전 프레임에서 산출된 이전 정밀이미지와 비교하여 모션을 추출한다.
이러한 영상처리모듈(130)의 처리과정을 도 3을 참조하여 더욱 상세하게 설명한다. 먼저, 특징점 추출부(131)는 도 3에 도시된 바와 같이 촬상된 영상 프레임(101)상에 설정된 특징점(131a)을 포함한 관심영역을 추출한다. 이후 추출된 관심영역을 2차원 FFT를 수행한 뒤 제로패딩(zero padding)(131b)에 대입한다. 여기서 제로패딩은 특징점(131a)을 포함한 관심영역(131a)을 중앙에 배치하고, 나머지 영역은 제로(zero)값을 갖게 패드(131b)에 매칭시키는 것을 말한다. 이 과정에서 관심영역을 포함하는 전체 패드(pad)(131b) 크기는 원본 이미지 사이즈 대비 원하는 해상도 향상도에 따라 결정된다. 일 예로서, 160 X 300 크기의 관심영역 원본 이미지 대비 5배 해상도가 향상된 이미지를 생성하고자할 경우, 확대영역에 해당하는 패드(pad)(131b) 크기는 800 X 1500으로 설정된다. 또한, 관심영역 원본 이미지의 FFT 결과는 패드(pad)(131b) 중앙에 위치한다. 이후 IFFT (Inverse Fast Fourier Transform)를 통해 131e로 표기된 바와 같이 관심영역에 대한 고해상도 이미지를 생성한다. 이러한 처리방법에 의해 원본 이미지에서 표현되기 어려운 픽셀 이하 크기 모션(sub-pixel motion)에 의한 차이를 명확하게 추출하여 보여줄 수 있다.
이러한 과정을 통해 고해상도 이미지 생성과정이 완료되면, 모션추출부(135)는 각 프레임 간 이동위치에 따른 이미지 상관계수 (Image correlation) 분석을 통해 영상에서 상하 및 좌우 방향에 대한 모션신호를 획득한다. 이미지 상관관계 분석(DIC 기법)에서는 병진방향, 회전, 상하 및 좌우 변형 등 복합적인 요소를 다루나, 영상처리의 효율성을 위해 상하 및 좌우 방향에 대한 모션만 추출하도록 구축되어도 된다. 위치별 상관계수 도출 시 고해상도 이미지를 활용하기 때문에 원본 이미지의 픽셀 이하에서 발생하는 특징점의 모션도 관찰할 수 있다.
한편, 선상에서 촬영하는 경우와 같이 촬상장치(110)의 지지면에서의 흔들림이 심한 경우, 흔들림 보정과정이 먼저 수행된다. 흔들림 보정과정은 대상 구조물 외 배경 부분은 거동이 거의 없다는 것을 전제로 하여 촬상된 영상에서 매 프레임에 대해 주변 픽셀값과의 차이를 맵핑한 뒤 문턱(Threshold) 값을 적용하여 각 프레임에 대한 이진화 이미지를 생성하고, 이후 첫 번째 프레임의 이미지를 기준으로 매 프레임에서 생성된 이미지의 위치별 상관관계를 도출한 후 이동경로의 반대방향으로 해당 프레임을 이동시킴으로써 원본 영상 내 존재하는 큰 흔들림을 제거 또는 억제하면 된다.
거동처리모듈(140)는 영상처리모듈(130)에서 추출된 모션정보를 거대 구조물(10)의 거동정보로 변환처리하고, 변환된 거동정보로부터 이상상태를 판단하여 출력부(145)를 통해 출력한다.
거동처리모듈(140)은 켈리브레이션부(141), 신호 정제부(142), 신호특징추출부(143), 이상상태 탐지부(144) 및 출력부(145)를 구비한다.
켈리브레이션부(141)는 모션추출부(135)에서 추출된 특징점의 거동정보를 촬상장치(110)의 이미지센서와 거대 구조물(10)과의 거리 및 화각정보를 이용하여 실거리 이동 거동정보로 변환하고 도 4를 함께 참조하여 설명한다.
앞서 모션추출부(135)에서 획득된 모션신호의 크기는 영상 내 픽셀 기준으로 도출되며, 이를 실제 거동크기로 변환하기 위해 픽셀 당 거리 비인 MPP(Meter Per Pixel) 정보가 필요하다. 거대 구조물(10)에 특징점에 해당하는 마커가 있는 경우 마커의 실제 크기와 영상 내 마커를 표현하는 픽셀 수를 통해 MPP를 도출하며 이러한 방식은 마커 대신 거대 구조물(10)의 형상정보를 이용하는 경우에도 동일한 방법을 활용하면 된다. 예를들어 마커의 크기가 20cm이고 영상에서 해당 마커가 5개의 픽셀로 표현될 때, MPP는 0.04m per pixel이다. 또는 촬영지점과 거대 구조물(10) 간 거리(L), 촬상장치(110)의 이미지 센서(110a)의 화각(θ)정보를 이용하여 픽셀 당 거리 비를 아래의 수학식1을 이용하여 산출할 수 있다.
Figure 112021104157230-pat00001
여기서, NP는 영상 내 픽셀 수(해상도)이다.
신호정제부(142)는 켈리브레이션부(141)에서 출력되는 실거리 이동 거동정보에 포함된 노이즈를 제거하여 신호특징 추출부(143)에 제공한다.
신호정제부(142)는 켈리브레이션부(141)를 통해 획득된 모션신호에서 노이즈 성분을 제거하기 위해 밴드패스(band-pass) 또는 하이패스(high-pass) 필터(filter)를 적용할 수 있다. 신호정제부(142)는 0.5 Hz 이상 이미지 센서의 FPS를 고려하여 최대 주파수 이하 범위의 성분만 남도록 필터가 적용될 수 있다. 일 예로서, 이미지 센서의 FPS가 30 Hz인 경우 밴드패스 필터(band-pass filter) 범위는 0.5 ~ 15 Hz로 적용한다. 또한, 노이즈 제거를 통한 신호정제를 위해 알려진 기타 방법들(주성분 분석, average, wavelet transform 등)을 활용할 수 있다.
신호특징추출부(143)는 켈리브레이션부(141)에서 출력되어 신호정제부(142)를 거친 실거리 이동 거동정보로부터 설정된 이상상태를 판단하기 위해 설정된 신호특징을 추출한다.
신호특징추출부(143)는 일 예로서, 통계학적 특성을 나타내는 First four momentum 성분들인 평균(Mean), 표준편차(Standard deviation), 위도(Skewness), 첨도(Kurtosis)와 동특성과 관련된 고유진동수, 감쇠, 모드형상 정보를 신호특징으로 추출하도록 구축될 수 있다. 또한, 신호특징추출부(143)는 모드형상 변화정도 분석을 통한 변형률도 신호특징으로 추출하도록 구축될 수 있다.
신호특징추출부(143)의 신호특징 추출과정은 설정된 측정주기 마다 수행된다.
이상상태 탐지부(144)는 신호특징추출부(143)에서 추출된 신호특징 정보로부터 이상상태를 탐지하여 출력부(145)를 통해 출력한다. 이상상태 탐지부(144)는 신호특징추출부(143)에서 추출된 신호특징들 각각에 대한 변화를 모니터링하고, 변화정도가 설정된 정상상태를 벗어나는 지를 판단한다. 이상상태 탐지부(144)는 거대 구조물(10)에 대한 정상상태를 판단하기 위한 각 신호특징들에 대한 정상범주가 설정되어 있다. 따라서, 이상상태 탐지부(144)는 신호특징들에 대해 모니터링을 수행하는 과정에서 해당 값들이 정상범주를 넘어갈 경우 이로부터 이상상태 발생여부를 결정하고, 이상상태로 판단되면 출력부로 적용된 표시장치에 표시하여 사용자에게 알려줄 수 있다. 이와는 다르게 이상상태로 판단되면 관리자 단말기로 이상상태 발생정보를 전송하도록 구축될 수 있음은 물론이다.
여기서, 이상상태는 각 신호특징의 조합에 대해 설정된 정상범위를 벗어난 경우로 구축될 수 있음은 물론이다.
이상에서 설명된 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치에 의하면, 접근이 어려운 거대 구조물의 원거리 동시 다점 거동측정을 지원하면서도 픽셀 이하의 거동에 대한 파악도 지원할 수 있는 장점을 제공한다. 또한, 장기간 모니터링을 통해 모션신호 데이터와 각 데이터에 따른 이벤트 정보를 축적하면 현 상태 모니터링뿐 아니라 고장예지에도 활용할 수 있다.
110: 촬상장치 120: 영상처리기
130: 영상처리모듈 131: 특징점 추출부
132: FFT변환부 133: FFT-zero 패딩부
134: IFFT부 135: 모션추출부
140: 거동처리모듈 141: 켈리브레이션부
142: 신호 정제부 143: 신호특징추출부
144: 이상상태 탐지부 145: 출력부

Claims (5)

  1. 삭제
  2. 측정대상 거대 구조물의 영상을 촬상하는 이미지센서가 마련된 촬상장치와;
    상기 촬상장치에서 촬상된 영상으로부터 설정된 특징점에 대해 픽셀간의 기준거리 미만의 미세모션을 포함한 모션정보를 추출하는 영상처리모듈과;
    상기 영상처리모듈에서 추출된 모션정보를 상기 거대 구조물의 거동정보로 변환처리하고, 변환된 거동정보로부터 이상상태를 판단하여 출력부를 통해 출력하는 거동처리모듈;을 구비하고,
    상기 영상처리모듈은
    상기 촬상장치에서 촬상된 영상으로부터 설정된 특징점을 추출하는 특징점 추출부와;
    상기 특징점추출부에서 추출된 이미지를 퓨리에 변환하는 FFT변환부와;
    상기 FFT변환부에서 변환된 데이터 영역이 설정된 확대영역내에 배치되게 패딩처리하는 FFT-zero 패딩부와;
    상기 FFT-zero 패딩부에서 패딩처리된 데이터를 역퓨리에 변환하는 IFFT부와;
    상기 IFFT부에서 생성된 현재 정밀이미지와 이전 프레임에서 산출된 이전 정밀이미지와 비교하여 모션을 추출하는 모션추출부;를 구비하는 것을 특징으로 하는 거대 구조물의 미세모션 모니터링 장치.
  3. 제2항에 있어서, 상기 거동처리모듈은
    상기 모션추출부에서 추출된 특징점의 거동정보를 상기 이미지센서와 상기 거대 구조물과의 거리 및 화각정보를 이용하여 실거리 이동 거동정보로 변환하는 켈리브레이션부와;
    상기 켈리브레이션부에서 출력되는 실거리 이동 거동정보로부터 설정된 이상상태를 판단하기 위해 설정된 신호특징을 추출하는 신호특징추출부와;
    상기 신호특징추출부에서 추출된 신호특징 정보로부터 이상상태를 탐지하여 출력부를 통해 출력하는 이상상태 탐지부;를 구비하는 것을 특징으로 하는 거대 구조물의 미세모션 모니터링 장치.
  4. 제3항에 있어서, 상기 거동처리모듈은
    상기 켈리브레이션부에서 출력되는 실거리 이동 거동정보에 포함된 노이즈를 제거하여 상기 신호특징 추출부에 제공하는 신호정제부;를 더 구비하는 것을 특징으로 하는 거대 구조물의 미세모션 모니터링 장치.
  5. 제2항에 있어서, 상기 촬상장치는 상기 이미지센서가 내부에 수납된 상태로 촬상이 가능하게 지원하는 보호케이스를 갖는 본체와;
    상기 본체를 지지하되 외부로부터 인가되는 진동이 상기 본체에 인가되는 것을 억제하는 제진바디를 구비하는 것을 특징으로 하는 거대 구조물의 미세모션 모니터링 장치.
KR1020210119904A 2021-09-08 2021-09-08 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치 KR102602163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119904A KR102602163B1 (ko) 2021-09-08 2021-09-08 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119904A KR102602163B1 (ko) 2021-09-08 2021-09-08 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치

Publications (2)

Publication Number Publication Date
KR20230037115A KR20230037115A (ko) 2023-03-16
KR102602163B1 true KR102602163B1 (ko) 2023-11-15

Family

ID=85985176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119904A KR102602163B1 (ko) 2021-09-08 2021-09-08 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치

Country Status (1)

Country Link
KR (1) KR102602163B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002914A (ja) * 2007-06-25 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> 施設被災監視装置及び施設被災監視方法
KR101800297B1 (ko) * 2017-04-27 2017-11-22 주식회사 이바다 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템
JP2018028439A (ja) * 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002914A (ja) * 2007-06-25 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> 施設被災監視装置及び施設被災監視方法
JP2018028439A (ja) * 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法
KR101800297B1 (ko) * 2017-04-27 2017-11-22 주식회사 이바다 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템

Also Published As

Publication number Publication date
KR20230037115A (ko) 2023-03-16

Similar Documents

Publication Publication Date Title
CN110108348B (zh) 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
Chen et al. Video camera–based vibration measurement for civil infrastructure applications
JP6970893B2 (ja) 変位検出装置および変位検出方法
US9560246B2 (en) Displacement monitoring system having vibration cancellation capabilities
CN102967263B (zh) 一种桥梁挠度-转角一体化测量方法
US20220074808A1 (en) System and method for testing structure mode of vibration based on digital image recognition
CN103591939A (zh) 基于主动立体视觉技术的模拟海床地形测量方法及测量装置
KR101811378B1 (ko) 케이블 장력 측정 장치 및 방법
CN105547635A (zh) 一种用于风洞试验的非接触式结构动力响应测量方法
KR101063565B1 (ko) 실시간 영상처리를 이용한 진동측정 시스템 및 방법
KR101284034B1 (ko) 카메라 영상을 이용한 미세진동 측정방법
CN109239099A (zh) 多机协同环境下的路面破损实时检测系统及其检测方法
JP5680476B2 (ja) 構造物の振動及び寸法の非接触計測による測定方法及びその測定装置
CN102062574B (zh) 一种测量物体的三维坐标的方法和装置
KR102602163B1 (ko) 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치
Li et al. Dynamic characteristics identification of an arch dam model via the phase-based video processing
CN104034266A (zh) 基于表面微结构的高精度长度检测方法
RU2387561C1 (ru) Оптико-электронная система для контроля пространственного положения железнодорожного пути
Yang et al. Image analyses for video-based remote structure vibration monitoring system
JP2017100474A (ja) 重錘位置検出装置及び方法
Frøseth et al. Operational displacement estimations of railway catenary systems by photogrammetry and the integration of acceleration time series
EP4127733B1 (en) Vibration remote sensor based on speckles tracking, which uses an optical-inertial accelerometer, and method for correcting the vibrational noise of such a sensor
Tian et al. Application of digital image correlation for long-distance bridge deflection measurement
Yaryshev et al. Development of a digital camera-based method for bridge deformation measurement
KR20210123267A (ko) 무인항공기를 이용한 송전설비의 진단방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant