KR102565719B1 - 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템 - Google Patents

비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템 Download PDF

Info

Publication number
KR102565719B1
KR102565719B1 KR1020210047367A KR20210047367A KR102565719B1 KR 102565719 B1 KR102565719 B1 KR 102565719B1 KR 1020210047367 A KR1020210047367 A KR 1020210047367A KR 20210047367 A KR20210047367 A KR 20210047367A KR 102565719 B1 KR102565719 B1 KR 102565719B1
Authority
KR
South Korea
Prior art keywords
displacement
feature point
data
acceleration data
image frame
Prior art date
Application number
KR1020210047367A
Other languages
English (en)
Other versions
KR20220141160A (ko
Inventor
손훈
최재묵
마잔시옹
김기영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020210047367A priority Critical patent/KR102565719B1/ko
Priority to PCT/KR2022/003490 priority patent/WO2022220414A1/ko
Priority to CN202280041438.7A priority patent/CN117480356A/zh
Priority to US18/554,919 priority patent/US20240202898A1/en
Publication of KR20220141160A publication Critical patent/KR20220141160A/ko
Application granted granted Critical
Publication of KR102565719B1 publication Critical patent/KR102565719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G01P15/097—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values by vibratory elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템이 개시된다. 시간에 따라 측정대상 구조물에 설치된 카메라가 상기 구조물 외부의 정지된 표적을 소정의 제1 샘플 주파수로 촬영한 영상 프레임 데이터와 상기 측정대상 구조물에 설치된 가속도계가 소정의 제2 샘플 주파수로 계측한 가속도 데이터를 이용하여, 상기 영상 프레임 데이터의 픽셀 해상도와 실제 공간의 거리 해상도 간의 환산 계수인 스케일 팩터(α)를 자동으로 산출한다. 향상된 특징점 매칭 알고리즘과 상기 스케일 팩터를 이용하여 상기 구조물의 변위값을 추정하고, 그 추정된 변위값을 이용하면서 비동기 된 상기 영상 프레임 데이터와 상기 가속도 데이터를 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 균등하게 융합하는 것에 의해 상기 가속도 데이터의 샘플링 주파수로 상기 구조물의 변위를 추정한다.

Description

비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템{Method of Estimating Displacement of Structure based on Fusing Asynchronous Acceleration and Vision Measurements Using Natural Target and System for the Same}
본 발명은 변위 측정 기술 분야에 관한 것으로, 더욱 상세하게는 가속도 데이터와 영상 계측데이터를 함께 이용하여 구조물의 변위를 실시간으로 측정하는 방법과 시스템에 관한 것이다.
변위는 구조적 무결성 및 건강성과 관련된 중요한 정보를 제공하기 때문에 시민사회 기반 시설의 평가, 모니터링 및 제어에서 중요한 역할을 한다. 직접 변위 측정을 위한 여러 기술을 사용할 수 있다.
대부분의 변위 측정 센서는 설치 과정에서 움직이지 않는 견고한 고정 지지점을 요구하기에 대형 구조물에 설치하는 것에서 한계를 보인다. 선형 가변 차동 변압기 (linear variable differential transformer: LVDT)는 길이가 약 50cm의 기다란 원통형 구조를 갖는 피스톤 형식의 센서이다. 그것의 한쪽 끝은 구조물에, 다른 끝은 고정된 지지점에 부착되는 형태로 설치된다. 즉, 구조물의 목표 지점과 상대 변위를 측정하기 위한 고정 기준 지점 사이에 배치된다. LVDT는 높은 정확도로 변위를 측정할 수 있다. 하지만, 교량 등의 구조물에 설치할 때 계측지점 50cm 거리에 지지점을 확보하기가 쉽지 않은 경우가 많은데, 그 경우 가설 구조물과 같은 추가적인 설치수단이 필요하여 실제 적용에는 편리하지 않다.
실시간 운동학 글로벌 항법 위성 시스템 (real-time kinematic global navigation satellite system: RTK-GNSS)의 사용은 변위 측정을 위한 또 다른 옵션이다. GPS-RTK는 고정 지지점 설치가 필요 없는 센서로서, 2개의 GPS 센서를 활용한다. GNSS 안테나 및 수신기 세트는 측정대상 구조물의 목표 지점에 배치되고, 다른 세트는 구조물로부터 소정 거리 이내의 고정 기준점에 배치된다. 두 지점의 안테나는 여러 위성으로부터 동시에 반송파를 수신하므로 두 측정 지점에서 수신한 반송파 간의 위상차를 기반으로 목표 지점에서의 변위를 계산할 수 있다. 그러나 RTK-GNSS는 일반적으로 최대 20Hz의 낮은 샘플링 속도를 가지며, 정확도는 약 7 ~ 10mm로 제한된다. 센서에서 수신되는 위성의 개수가 4개 이하이거나, 날씨 조건이 좋지 않거나, 주변 이동체나 이물질에 의해 GNSS 안테나의 시야에 방해가 될 경우, 측정 정확도는 급격히 낮아진다. 또한, GNSS 거부 환경에서는 작동하지 않는다.
변위 추정을 위해 비전 카메라가 이용되기도 한다. 비전 카메라는 템플릿 매칭 기술, 광학 흐름 기술, 특징 매칭 알고리즘 등을 기반으로 표적 구조물 상의 인공 또는 자연 표적의 움직임을 추적한다. 이 비전 기반 기술에 따르면, 먼저 비전 측정에서 얻어진 이미지 프레임들에서 이동량(translation)을 픽셀 단위로 추정되고, 그 추정된 이동량은 축척 계수 즉, '스케일 팩터(scale factor)'를 사용하여 길이 단위의 변위로 변환된다. 그 변환된 변위가 실제 공간에서의 움직인 길이에 해당한다.
그런데, 위와 같은 종래기술은 다음과 같은 단점 또는 한계가 있다. 스케일 팩터는 사전에 물리적 단위로 표적의 크기를 식별하는 것에 의해 추정할 수 있다. 그러나 현장에서 표적의 크기를 수동으로 측정하는 것은 어려울 수 있다. 또한, 비전 카메라가 설치된 고정 지지점이 필수적이고, 별도로 인공 표적을 설치해야 할 수도 있는 등, 그 방법을 사용하기 위해서는 유지/관리의 추가 소요가 있어 비용 상승을 초래한다. 상기 종래기술은 계산 비용이 상대적으로 높은데, 이 점은 높은 샘플링 속도로 변위를 실시간 추정하는 것을 방해한다. 또한, 비전 카메라의 촬영이 상대적으로 낮은 샘플링 주파수로 이루어지는 점 등으로 인해 대부분은 측정 결과가 노이즈에 오염되어 측정 정확도를 높이는 데 한계가 있다.
한편, 데이터 융합에 기반한 변위 추정 기술도 제안되었다. 이러한 기술은 다른 방식의 측정 결과를 결합하여 더욱 정확한 변위 추정을 생성한다. 예를 들어 RTK-GNSS와 가속도계의 융합에 기반한 기술(아래 비특허 문서 (1) 참조)과 스트레인 게이지와 가속도계의 융합에 기반한 기술(아래 비특허 문서 (2) 및 (3) 참조) 등이 있다. 그러나 전자는 GNSS 거부 환경에서 사용할 수 없고, 후자는 대상 구조의 모드 모양에 대한 사전 지식이 필요하다는 제한이 있다.
비전 카메라와 가속도계를 융합하려는 시도도 있었다(아래 비특허 문서 (4) 및 (5) 참조). 비전 측정에서 얻어지는 낮은 샘플링 속도의 변위와 높은 샘플링 속도의 가속 측정은 다중 속도 칼만 필터에 의해 융합되어 높은 샘플링 속도 변위를 추정한다. 그런데 이들 기술은 도 1에 도시된 것과 마찬가지로 인공 표적을 측정대상 구조물에 설치하고, 그 구조물로부터 멀리 떨어진 외부의 고정지점에 설치된 비전 카메라가 그 인공 표적을 촬영하는 방식을 따른다. 따라서 이 종래기술 역시 도 1에 도시된 비전 카메라 기반 변위 측정 방식이 갖는 단점 또는 한계에서 벗어날 수 없다. 즉, 그러나 이러한 기술들은 스케일 팩터를 추정하기 위해 표적의 실제 길이를 미리 알아야 한다는 한계가 있다. 또한, 비전 측정과 가속도 측정 간에 동기화가 이루어지는 조건에서만 이용될 수 있다는 제한도 있다.
(1) Kim, K., Choi, J., Koo, G. & Sohn, H. (2016), Dynamic displacement estimation by fusing biased high-sampling rate acceleration and low-sampling rate displacement measurements using two-stage Kalman estimator, Smart Structures and Systems, 17(4), 647-667. (2) Park, J.W., Sim, S.H. & Jung, H.J. (2013), Displacement estimation using multimetric data fusion, IEEE/ASME Transactions on Mechatronics, 18(6), 1675-1682. (3) Park, J. W., Lee, K. C., Sim, S. H., Jung, H. J. & Spencer Jr, B. F. (2016), Traffic safety evaluation for railway bridges using expanded multisensor data fusion, Computer-Aided Civil and Infrastructure Engineering, 31(10), 749-760. (4) Chang, C. C. & Xiao, X. H. (2010), An integrated visual-inertial technique for structural displacement and velocity measurement, Smart Structures and Systems, 6(9), 1025-1039. (5) Xu, Y., Brownjohn, J. M. W. & Huseynov, F. (2019), Accurate deformation monitoring on bridge structures using a cost-effective sensing system combined with a camera and accelerometers: case study, Journal of Bridge Engineering, 24(1). (6) Smyth, A. & Wu, M. (2007), Multi-rate Kalman filtering for the data fusion of displacement and acceleration response measurements in dynamic system monitoring, Mechanical Systems and Signal Processing, 21(2), 706-723.
본 발명의 일 목적은 계측대상 구조물에 설치된 가속도계와 비전 카메라가 각각 계측한 구조물의 가속도 데이터와 구조물 외부의 자연 표적의 영상 계측데이터의 융합에 기초하여 구조물의 변위를 낮은 유지관리비와 높은 정확도로 계측할 방법과 이를 위한 시스템을 제공하는 것이다.
본 발명의 다른 목적은 구조물의 가속도 데이터를 활용한 영상 계측데이터의 이동치(translation)에 관한 스케일 팩터 자동 산출, 그리고 영상 계측데이터에 대한 개선된 특징 매칭 알고리즘의 적용을 통해 구조물의 변위를 정확하게 계측할 수 있는 비동기적 자연 표적 영상 계측과 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법과 이를 위한 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 비동기적인 저속 샘플링의 비전 측정과 고속 샘플링의 가속도 측정을 적응형 다중 속도 칼만 필터로 융합하여 높은 샘플링 속도와 향상된 정확도로 구조물의 변위를 계측할 수 있는 비동기적 자연 표적 영상 계측과 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법과 이를 위한 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역에서 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 본 발명의 일 목적을 실현하기 위한 실시예들에 따른 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법은 시간에 따라 측정대상 구조물에 설치된 카메라가 상기 구조물 외부의 정지된 표적을 소정의 제1 샘플 주파수로 촬영한 영상 프레임 데이터와 상기 측정대상 구조물에 설치된 가속도계가 소정의 제2 샘플 주파수로 계측한 가속도 데이터를 이용하여, 상기 영상 프레임 데이터의 픽셀 해상도와 실제 공간의 거리 해상도 간의 환산 계수인 스케일 팩터(α)를 자동으로 산출하는 단계; 및 향상된 특징점 매칭 알고리즘과 상기 스케일 팩터를 이용하여 상기 구조물의 변위값을 추정하고, 그 추정된 변위값을 이용하면서 비동기 된 상기 영상 프레임 데이터와 상기 가속도 데이터를 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 균등하게 융합하는 것에 의해 노이즈 감소 및 시간 동기화하여 상기 가속도 데이터의 샘플링 주파수로 상기 구조물의 변위를 추정하는 단계를 포함한다.
예시적인 실시예들에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는, 기준 영상 프레임과 비교 대상 영상 프레임 간에 소정의 특징점들을 비교하여 동일한 특징점들끼리 매칭하는 특징점 매칭 알고리즘을 적용하여 특징짐들의 픽셀 단위의 이동치를 추정하는 단계; 및 상기 가속도 데이터를 이중 적분하여 실제 공간에서의 길이 단위의 변위를 추정하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는 구해진 상기 이동치의 추정치와 상기 변위의 추정치를 노이즈 제거를 위해 대역통과필터링 처리를 수행하는 단계를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 대역통과필터링 시 상기 카메라의 샘플링 주파수가 상기 영상 프레임의 주파수 성분의 최고 주파수보다 적어도 10배 이상일 수 있다.
예시적인 실시예들에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는 상기 변위 추정치를 상기 이동치 추정치와 동기화하기 위해 대역통과필터링 처리된 변위의 추정치를 다운 샘플링 처리를 하여 단계를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 스케일 팩터(α)는 대역통과필터링 처리를 거친 상기 이동치 추정치 들과 상기 변위 추정치()들을 비교하여 구해진 그 두 값 간의 기울기일 수 있다.
예시적인 실시예들에 있어서, 상기 스케일 팩터 (α)는 대역통과필터링 처리된 이동치 추정치()들과 다운 샘플링 처리된 변위 추정치()들에 최소자승법 또는 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하여 구해질 수 있다.
예시적인 실시예들에 있어서, 상기 구조물의 변위를 추정하는 단계는, 현재의 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 단계; 소정의 특징점 매칭 알고리즘을 이용하여 첫 번째 영상 프레임의 관심영역(1st ROI) 내의 N개의 특징점과 상기 i번째 영상 프레임의 관심영역(ith ROI) 내의 N개의 특징점을 매칭시키는 단계; 신뢰도 높은 변위계측을 위해 미스매치 제거 알고리즘을 이용하여 N개의 특징점 매치 중에서 미스매치를 제거하고 양호한 특징점 매치들만 남기는 단계; 및 상기 양호한 특징점 매치들의 이동치들(translations)의 평균과 관심영역(ROI) 이동치(movement)의 합에 상기 스케일 팩터를 적용한 식 (단, 는 양호한 매치의 개수임)을 이용하여 최종 이동치를 추정하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 단계는, 상기 길이 단위 변위의 사전 상태 추정치를 스케일 팩터를 이용하여 픽셀 단위로 환산하는 단계; 상기 i번째 영상 프레임의 관심타겟(TOI)의 픽셀 단위 이동치(di TOI)를 픽셀 단위로 환산된 상기 사전 상태 추정치를 활용하여 구하는 단계; 상기 i번째 관심영역(ith ROI)의 이동치(di ROI)를 반올림 함수(a 'round' function) 를 이용하여 구하는 단계; 및 구해진 i번째 관심영역(ith ROI)의 이동치(di ROI)를 이용하여 i번째 이미지 프레임의 관심영역(ith ROI)의 위치를 업데이트하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 '미스매치를 제거하고 양호한 매치들만 남기는 단계'는 제1 특징점 미스매치 제거 알고리즘을 이용하여 특징점 미스매치를 제거하는 단계를 포함할 수 있다. 상기 제1 특징점 미스매치 제거 알고리즘은, 상기 특징점 매치 중에서 최우수 특징점 매치(best match)를 선정하는 단계; 및 상기 최우수 특징점 매치를 기준으로 남은 특징점 매치들을 비교(cross-checking)하여 미스매치를 제거하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 최우수 특징점 매치(best match)를 선정하는 단계는,
첫 번째 영상 프레임의 관심영역과 상기 i번째 영상 프레임의 관심영역 간의 상기 N개의 특징점 매치들을 두 개씩 짝을 지어 N/2개 또는 (N-1)/2개의 특징점 매치 그룹을 형성하는 단계; 상기 N/2개 또는 (N-1)/2개의 특징점 매치 그룹 각각의 거리변동지수를 산출하는 단계; 및 산출된 N/2개 또는 (N-1)/2개의 거리변동지수 중에서 가장 작은 지수값()을 갖는 매치 그룹을 최우수 매치 그룹(best match group)으로 선정하고, 그 최우수 매치 그룹에 속하는 두 개의 매치 중 하나의 매치를 최우수 매치로 선택하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 미스매치를 제거하는 단계는, 선택된 최우수 매치를 기준으로 나머지 특징점 매치들 각각에 대하여 거리 간격들을 산출하여 미스매치 조건에 해당하는지를 판별하는 단계; 및 상기 특징점 미스매치들 중에서 상기 미스매치 조건에 해당하는 특징점들을 제거하고 양호한 매치들만 남기는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 미스매치 조건은 제1 및 제2 거리간격 조건을 포함하며, 상기 제1 거리간격 조건은 '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상인 것이고, 상기 제2 거리간격 조건은 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상일 것이며, 여기서 j= 1, 2, ..., N이다.
예시적인 실시예들에 있어서, 상기 '미스매치를 제거하고 양호한 매치들만 남기는 단계'는 제2 특징점 미스매치 제거 알고리즘을 이용하여 특징점 미스매치를 제거하는 단계를 포함할 수 있다. 상기 제2 특징점 미스매치 제거 알고리즘은, 상기 제1 특징점 미스매치 제거 알고리즘으로 필터링 처리되고 남은 특징점 매치들 각각에 대하여 이동치(di j)가 계산하는 단계; 및 계산된 이동치가 식으로 표현된 이동치(di j)의 범위 내에 속하지 못하는 특징점 매치를 미스매치로 간주하여 제거하는 단계를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은, 현재의 가속도 데이터(ak)만 가용하고, 그 현재의 가속도 데이터(ak)와 이전의 가속도 데이터(ak-1) 사이의 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 가용한 영상 프레임 데이터가 존재하지 않는 타입 1 시간단계에서, 제1식 를 이용하여 변위의 사전 상태추정치()를 구하고, 제2식 를 이용하여 상기 사전 상태추정치()의 오차 공분산 행렬()을 구하는 단계; 및 시간 (k-1)Δta에서, 상기 사전 상태추정치() 및 그것의 사전 오차 공분산 행렬()과 동일한 사후 상태추정치()와 이의 사후 오차 공분산 행렬()을 구하는 단계의 수행을 통해 이루어질 수 있다. 여기서, Δta는 가속도 데이터들 간의 시간 간격이고, k는 가속도 데이터의 k번째 시간 간격을 나타내고, 와 ak-1는 '이전 시간 단계'에서의 사후 상태 추정치(posterior state estimate)와 가속도 데이터이고, 이다.
예시적인 실시예들에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은, 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 영상 프레임 데이터(ith frame)만 가용하고, 가속도 데이터는 가용하지 않는 타입 2 시간단계에서, 시간간격을 Δta에서 (i-1)Δtd-(k-1)Δta로 변경하여, 상기 제1 식 및 제2 식을 이용하여 변위의 사전 상태추정치()와 이의 사전 오차 공분산 행렬()을 추정하는 단계; 구해진 상기 사전 상태추정치()와 이의 상기 사전 오차 공분산 행렬()을 이용하여 i번째 영상 프레임의 관심영역(ith ROI)을 업데이트하는 단계; 제1 및 제2 특징점 미스매치 제거 알고리즘에 기반한 특징점 미스매치 제거에 구해진 상기 사전 상태추정치()와 이의 상기 사전 오차 공분산 행렬()을 적용하여 영상기반 변위(ui)를 추정하는 단계; 구해진 변위의 사전 상태추정치()와 이의 오차 공분산 행렬()과, 추정된 영상기반 변위(ui)를 이용하여, 영상기반 변위(ui)의 노이즈 분산(Ri)을 추정하는 단계; 구해진 영상기반 변위의 노이즈 분산(Ri)을 이용하여 칼만 이득(K)을 식 를 이용하여 산출하는 단계; 및 상기 칼만 이득(K)을 이용하여 시간 t=(i-1)Δtd에서 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 식 및 를 활용하여 구하는 단계의 수행을 통해 이루어질 수 있다. 위 식들에서 x와 P는 y와 G로 표현되고, H는 벡터 [1, 0] 이고, i는 영상 계측데이터의 i번째 시간 스텝이고, Δtd는 영상 계측데이터들 간의 시간 간격이다.
예시적인 실시예들에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은, 현재의 가속도 데이터(ak)와 이후의 가속도 데이터(ak+1) 사이의 시간간격 [t-Δta, t] 내에서 가속도 데이터와 영상 프레임 데이터가 모두 가용한 타입 3 시간단계에서, 상기 타입 1 시간단계의 가속도 데이터(ak)와 상기 타입 2 시간단계에서 구한 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 이용하여 변위의 사전 상태추정치()를 식 을 이용하여 구하는 단계; 상기 변위의 사전 상태추정치()의 오차 공분산 행렬()을 식 을 이용하여 구하는 단계의 수행을 통해 이루어질 수 있다. 여기서, , , 그리고 이다.
한편, 상기 본 발명의 일 목적을 실현하기 위한 실시예들에 따른 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 시스템은 카메라, 가속도계, 그리고 변위추정부를 포함한다. 상기 카메라는 측정대상 구조물에 설치되어 상기 구조물 외부의 정지된 표적을 소정의 제1 샘플 주파수로 촬영하도록 구성된다. 상기 가속도계는 상기 측정대상 구조물의 상기 카메라 근처에 설치되어, 소정의 제2 샘플 주파수로 가속도를 측정하도록 구성된다. 상기 변위 추정부는 스케일 팩터 산출부와 적응형 이종 샘플링 주파수 칼만 필터부를 포함한다.상기 스케일 팩터 산출부는 상기 카메라와 상기 가속도계가 시간에 따라 계측한 일련의 영상 프레임 데이터와 가속도 데이터를 이용하여 상기 영상 프레임 데이터의 픽셀 해상도와 실제 공간의 거리 해상도 간의 환산 계수인 스케일 팩터(α)를 자동으로 산출하는 기능을 수행하도록 구성된다. 상기 적응형 이종 샘플링 주파수 칼만 필터부는 향상된 특징점 매칭 알고리즘과 상기 스케일 팩터를 이용하여 상기 구조물의 변위값을 추정하고, 그 추정된 변위값을 이용하면서 비동기된 상기 영상 프레임 데이터와 상기 가속도 데이터를 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 균등하게 융합하는 것에 의해 상기 가속도 데이터의 샘플링 주파수로 상기 구조물의 변위를 추정하는 기능을 수행하도록 구성된다.
예시적인 실시예들에 있어서, 상기 변위 추정부는 상기 스케일 팩터 산출부와 상기 적응형 이종 샘플링 주파수 칼만 필터부를 구성하는 컴퓨터 프로그램과, 상기 컴퓨터 프로그램을 실행하여 상기 스케일 팩터(α)를 자동으로 산출하는 작업과 상기 구조물의 변위를 산출하는 작업을 수행하는 프로세서부를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 스케일 팩터를 자동으로 산출하는 기능은, 기준 영상 프레임과 비교 대상 영상 프레임 간에 소정의 특징점들을 비교하여 동일한 특징점들끼리 매칭하는 특징점 매칭 알고리즘을 적용하여 특징짐들의 픽셀 단위의 이동치를 추정하는 기능; 및 상기 가속도 데이터를 이중 적분하여 실제 공간에서의 길이 단위의 변위를 추정하는 기능을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 구조물의 변위를 추정하는 기능은, 현재의 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 기능; 소정의 특징점 매칭 알고리즘을 이용하여 첫 번째 영상 프레임의 관심영역(1st ROI) 내의 N개의 특징점들과 상기 i번째 영상 프레임의 관심영역(ith ROI) 내의 N개의 특징점들을 매칭시키는 기능; 신뢰도 높은 변위계측을 위해 미스매치 제거 알고리즘을 이용하여 N개의 특징점 매치들 중에서 미스매치를 제거하고 양호한 특징점 매치들만 남기는 기능; 및 상기 양호한 특징점 매치들의 이동치들(translations)의 평균과 관심영역(ROI) 이동치(movement)의 합에 상기 스케일 팩터를 적용한 식 (단, 는 양호한 매치의 개수임)을 이용하여 최종 이동치를 추정하는 기능을 포함할 수 있다.
본 발명의 예시적인 실시예들에 따르면, 비전 카메라와 가속도계를 측정대상 구조물에 설치하고, 그 구조물의 외부에 떨어져서 존재하는 자연적인 표적을 그 비전 카메라의 표적으로 활용한다. 비전 카메라 설치를 위한 고정 지지점이 필요하지 않고, 표적의 크기 및 비전 카메라와 표적 간의 거리 등에 관한 정보를 사전이 미리 계측할 필요가 없다. 비전 카메라를 계측대상 구조물의 외부에 설치해야 하는 종래기술과 비교할 때, 본 발명은 변위 계측 시스템의 유지관리 비용을 낮출 수 있고, 실시를 훨씬 더 간편하게 해줄 수 있다.
본 발명의 예시적인 실시예들에 따르면, 영상 계측데이터 내의 이동치를 실제 공간에서의 거리로 환산해주는 스케일 팩터가 자동으로 계산될 수 있다. 또한, 본 발명의 예시적인 실시예들에 따르면, 적응형 다중 속도 칼만 필터가 제안되었다. 그 적응형 다중 속도 칼만 필터를 이용함으로써, 비동기적인 가속도 데이터와 영상 계측데이터를 융합하여 높은 샘플링 속도와 정확도로 구조물의 변위를 추정할 수 있다.
또한, 본 발명의 예시적인 실시예에 따르면, 관심 영역 (Region of interest: ROI)을 업데이트함으로써 순차 비전 이미지에서 자연 표적의 매칭을 개선할 수 있고, 자동 불일치 거부 알고리즘을 이용하여 특징 매칭의 정확도를 높여 구조물의 변위 계측의 정확도를 더욱 향상시킬 수 있다.
도 1은 기존의 비전 카메라를 이용하는 특징점 기반 변위예측 방법을 도식적으로 나타낸다.
도 2는 특징점 매칭 알고리즘을 이용한 변위 추정 절차를 나타낸다.
도 3은 전형적인 변위 계측기술의 몇 가지 한계를 설명하기 위한 도면이다.
도 4는 본 발명의 예시적인 일 실시예에 따른 구조물 변위 추정 방법을 수행하는 시스템을 개략적으로 도시한다.
도 5는 본 발명의 예시적인 실시예에 따른 구조물 변위 추정 방법의 전체적인 개요를 도식적으로 도시한다.
도 6은 도 5에 도시된 스케일 팩터 산출 단계의 세부 수행 과정을 나타내는 흐름도이다.
도 7a 및 7b는 본 발명의 예시적인 실시예에 따라 적응형 이종 샘플링 주파수 칼만 필터와 향상된 특징점 매칭 알고리즘에 기반한 실시간 변위 추정 단계(S200)의 세부 수행 과정을 나타내는 흐름도이다.
도 8은 본 발명의 예시적인 실시예에 따른 관심영역(ROI) 업데이트 알고리즘의 작동원리를 나타낸다.
도 9는 본 발명의 예시적인 실시예에 따라 영상 프레임들에서 특징점 매치들 중 최우수 매치를 선정하는 방법을 도식적으로 나타낸다.
도 10은 본 발명의 예시적인 실시예에 따라 미스매치를 제거하기 위해 최우수 매치를 기준으로 나머지 매치들의 교차 확인(cross-check)하는 방법을 도식적으로 나타낸다.
도 11은 본 발명의 예시적인 실시예에 따라 적응형 이종샘플 주파수 칼만 필터를 이용하여 비동기 가속도 데이터와 영상 계측데이터를 융합하는 개념의 개요를 도식적으로 나타낸다.
도 12는 본 발명의 예시적인 실시예에 따라 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 비동기 가속도 데이터와 영상 계측데이터를 융합하는 과정을 예시적으로 나타낸다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
먼저, 본 발명의 개념을 잘 이해하기 위해서는 비전 카메라를 이용한 특징점 기반 변위예측 방법의 기본 개념을 이해할 필요가 있다. 도 1은 기존의 비전 카메라를 이용하는 특징점 기반 변위예측 방법을 도식적으로 나타낸다. 일반적으로, 비전 카메라(14)는 변위 측정대상 구조물(target structure)인 교량(10)과 떨어져 있는 외부의 움직이지 않는 고정지점에 설치되어 그 교량(10)에 존재하거나 설치된 자연 표적 또는 인공 표적(12)을 계측한다. 이때, 비전 카메라(14)의 시야각(field of view: FOV) 안에 표적(12)이 있어야 한다. 비전 카메라(14)가 촬영한 일련의 이미지 프레임들 중에서 첫 번째 이미지 프레임은 참조 이미지로 활용된다. 첫 번째 이미지 프레임과 i 번째 이미지 프레임에 특징 매칭 알고리즘을 적용하여 특징점을 매칭하는 것을 통해 첫 번째 이미지 프레임에서의 표적에 대한 i 번째 이미지 프레임에서의 표적의 상대 변위를 산정할 수 있다. 이에 관한 자세한 과정이 도 2에 도시되어 있다.
도 2는 특징점 매칭 알고리즘을 이용한 변위 추정 절차를 나타낸다. 도 2에는 수직 방향 변위 추정만 설명되어 있지만, 그 설명된 변위 추정 기법은 수평 방향 변위의 추정에도 쉽게 적용될 수 있다.
도 2를 참조하면, 먼저 비교 대상인 두 이미지 프레임(201, 20i)에서 관심영역(22)을 선택할 수 있다(도 2의 (a) 참조). 관심영역(ROI)(22)의 크기와 위치는 첫 번째 이미지 프레임(201)의 관심타겟(target of interest: TOI)(24)을 포함하며, 그 동일한 관심영역(22)이 그 이후의 다른 이미지 프레임에도 적용될 수 있다.
두 이미지 프레임(201, 20i)의 관심영역(22)에서 특징점을 검출하여 서로 매칭한다(도 2의 (b) 참조). 첫 번째 이미지 프레임(201)의 관심영역(22) 내에서 검출된 특징점 M1 1, M1 2, ..., M1 N은 i 번째 이미지 프레임(20i)의 관심영역(22)의 특징점 Mi 1, M1 2, ..., Mi N과 매칭된다. 여기서, 매칭된 두 특징점, 예컨대 도 2의 (b)에서 M1 1과 Mi 1은 특징점 매치(feature match) 또는 간단하게 매치(match)라고 부른다. 여기서, 특징점 찾기 및 매칭에 사용될 수 있는 알고리즘들이 여러 가지 알려져 있는데, 그 알고리즘들(Lowe, 2004; Bay et al., 2006; Rublee et al., 2011)은 본 발명에 적용될 수 있다. 그중에서도, 높은 정확도와 연산속도를 고려한 SURF (Speeded up robust features (SURF) (Bay, Tuytelaars and Van Gool, 2006)) 기술이 적용될 수 있다.
그리고 첫 번째 이미지(201)와 i번째 이미지(20i) 간의 j번째 특징점 매치(M1 j, Mi j)의 상대적인 이동치(di j)를 산출할 수 있다. N개의 특징점, M1 1, M1 2, ..., M1 N,의 상대적인 이동치의 평균(di)은 아래 식으로 계산될 수 있다(도 2의 (c) 참조).
......(1)
여기서, N은 특징점 매칭된 숫자이다. 픽셀 단위의 이동치는 스케일 팩터(α)를 활용하여 공간 단위의 변위로 환산될 수 있다(도 2의 (d) 참조). 다시 말해, 스케일 팩터(α)는 영상 이미지의 픽셀 해상도를 공간 해상도로 변환시키기 위한 환산 계수이다.
......(2)
여기서 스케일 팩터(α)는 다음과 같은 식으로 표현된다.
......(3)
여기에서, utarget은 인공/자연표적의 실제 물리적인 크기를 나타내고, dtarget 은 인공/자연표적의 픽셀 단위 크기를 나타낸다.
그러나 전형적인 변위 계측기술은 몇 가지 한계를 가진다. 도 3은 이를 설명하기 위한 도면이다. 첫 번째로, 관심영역(ROI)을 결정하기 위해서, 최대변위를 먼저 알아야 한다. 왜냐하면, 모든 이미지에서 관심영역(ROI) 위치가 고정된 경우, 만약 관심 타겟(TOI)(32)의 이동치가 너무 크면, 관심영역(ROI)(30)을 벗어나기 때문이다. 도 3의 (a)에서 이 현상을 볼 수 있다. 그럼에도 불구하고 도 3의 (b)에서 도시된 것처럼, 관심영역(34)의 사이즈가 크면 더 많은 계산시간이 필요하고, 원하지 않는 타겟(36)이 관심영역(34) 안에 있을 수 있다. 두 번째로, 전형적인 특징점 매칭 알고리즘은 종종 미스매치(mismatching)이 발생해 변위 계측의 정확도를 떨어뜨린다. 관계없는 두 특징점(예컨대, 도 2의 (b)에서 M1 1과 Mi 2)이 변위 추정을 위해 매칭될 때, 그 경우를 미스매치(mismatch)라 정의한다. 비록 그러한 미스매치 제거를 위한 알고리즘이 알려진 것이 있긴 하지만, 사용자와의 상호작용을 해야 하거나, 또는 많은 계산량을 유발하여 실시간 계측을 어렵게 하는 등의 한계를 가진다. 세 번째, 스케일 팩터의 계산을 위해서 타겟의 크기와 길이를 미리 알고 있어야 하는데, 이 점은 도시 인프라구조(civil infrastructure)에 적용하는 데 번거로움을 유발할 수 있다.
한편, 영상기반 변위 계측 방법은 많은 연산량을 필요로 하기 때문에, 영상을 이용한 변위 계측은 주로 낮은 샘플링 속도로 제한된다. 이를 보완하기 위해, 낮은 샘플 주파수로 획득된 영상 계측데이터와 높은 샘플 주파수로 획득된 가속도 데이터를 이종 샘플링 주파수 칼만 필터(multi-rate Kalman filter)로 융합하여 높은 샘플링 속도로 변위를 추정하려는 시도들이 있었다. 이종 샘플링 주파수 칼만 필터의 원리는 다음과 같다.
및 xk가 각각 k 번째 시간 단계에서 실제 속도와 변위를 나타낸다고 할 때, 가속도-변위 관계에 대한 이산 상태 공간 모델(discrete state space model)은 다음과 같이 표현될 수 있다.
......(4)
......(5)
여기서, xk는 상태변수 이고 ak-1 및 uk는 각각 측정된 가속도 및 영상기반 변위이다. wk-1 및 vk는 각각 분산이 Q 및 R인 해당 노이즈이다. Δta는 일련의 가속도 데이터들(ak)이 측정되는 시간 간격이다. H는 벡터 [1, 0] 이다. A와 B는 가속도 측정 시간 간격 Δta의 함수이다.
......(6)
이 모델을 기반으로 이종 샘플링 주파수 칼만 필터는 서로 다른 샘플링 속도에서 동시에 샘플링된 가속도 및 영상기반 변위를 사용하여 변위 추정을 위해 공식화된다. 여기서 동기 측정(synchronous measurement)은 가속도 측정의 샘플링 주파수가 영상기반 변위의 정수배임을 나타낸다. 사전 상태 추정치(prior state estimate)()는 아래 식에 나타낸 것처럼 '이전 시간 단계'에서의 사후 상태 추정치(posterior state estimate)()와 가속도 (ak-1)를 사용하여 얻을 수 있다.
......(7)
사전 상태 추정치()의 오차 공분산 행렬(error covariance matrix)()은 다음과 같다.
......(8)
여기서, 는 의 오차 공분산 행렬을 나타낸다.
만약, k번째 시간 단계에서 영상기반 변위(uk)와 가속도 둘 다 가용하면, 그때의 칼만 이득(Kalman gain: K)은 다음과 같이 계산된다.
......(9)
그리고 사후 상태 추정치() 및 이의 오차 공분산 행렬()은 다음과 같다.
......(10)
......(11)
만약 k번째 시간 단계에서 영상기반 변위(uk)는 가용하지 않고 오직 가속도 데이터만 가용하면, 아래 두 식에 나타낸 것처럼 변위의 사후 상태 추정치는 사전 상태 추정치와 같고, 이 두 추정치의 오차 공분산 행렬도 같다.
......(12)
......(13)
이 칼만 필터는 가속도 데이터와 영상 계측데이터가 동기화되고 그 두 데이터의 샘플링 속도의 비율이 정수인 경우에만 적용된다. 또한, 칼만 필터의 성능은 Q 및 R의 추정치에 크게 의존한다. Q 값은 실험실 환경에서 가속도 데이터를 통해 추정할 수 있지만, 조명 조건, 비전 카메라와 표적 사이의 거리 및 표적의 텍스처에 의해 영향을 많이 받기 때문에 영상기반 변위에 관한 노이즈 분산(R)의 추정은 어렵다. 노이즈 분산(R)에 대한 적응형 추정 기법이 요구된다.
위에서 언급한 한계점들을 해결하기 위해, 본 발명의 예시적인 실시예에 따른 새로운 변위 추정 방법이 제공된다. 도 4는 본 발명의 예시적인 일 실시예에 따른 구조물 변위 추정 방법을 수행하는 시스템을 개략적으로 도시한다.
도 4를 참조하면, 구조물 변위 추정 시스템(100)은 비전 카메라(110), 가속도계(120), 그리고 변위 추정부(130)를 포함할 수 있다. 비전 카메라(110)는 비디오 녹화를 위한 카메라와 그 녹화된 비디오를 분석하기 위한 분석 프로그램을 포함할 수 있다. 비전 카메라(110)와 가속도계(120)는 변위 측정대상 구조물(70)에 배치될 수 있다. 즉, 상대적으로 낮은 샘플링 속도를 갖는 비전 카메라(110)는 구조물(70) 주변의 자연적인 표적(80)을 추적하기 위해 구조물(70)의 원하는 지점에 설치될 수 있다. 가속도계(120)도 비전 카메라(110)와 동일한 위치에 배치되어 상대적으로 높은 샘플링 속도로 가속도를 측정할 수 있다. 표적(80)은 구조물(70)의 외부에 존재하면서 그 위치가 변하지 않는 정지된 것 중에서 선정하면 될 것이다.
변위 추정부(130)는 비전 카메라(110)로부터 표적(80)을 촬영한 영상 계측데이터와 가속도계(120)로부터 구조물(70)의 가속도 데이터를 제공받아 구조물(70)의 변위를 산출할 수 있도록 구성된다. 이를 위해, 변위 추정부(130)는 후술하는 알고리즘에 따라 구현된 변위 추정용 컴퓨터 프로그램과, 그 컴퓨터 프로그램을 실행하여 원하는 변위 추정치를 산출할 수 있는 연산 처리를 수행할 수 있는 하드웨어 자원을 포함할 수 있다. 변위 추정부(130)를 위한 하드웨어 자원은 프로세서(132)를 포함하는 컴퓨팅 장치를 포함할 수 있다. 그 컴퓨팅 장치는 프로세서(132) 외에도, 메모리(134), 비휘발성 저장장치인 데이터 스토리지(136), 입/출력부(138) 등을 포함할 수 있다. 예컨대 변위 추정부(130)의 하드웨어는 위와 같은 수단들을 포함하는 범용 또는 본 발명 전용의 컴퓨터 장치, 워크스테이션 장치 등을 포함할 수 있다.
도 5는 본 발명의 예시적인 실시예에 따른 구조물 변위 추정 방법의 전체적인 개요를 도식적으로 도시한다.
도 5를 참조하면, 상기 구조물 변위 추정 방법은 크게 스케일 팩터 산출부(150)에 의해 스케일 팩터를 자동으로 산출하는 스케일 팩터 산출 단계(S100)와, 적응형 이종 샘플링 주파수 칼만 필터부(160)와 향상된 특징점 매칭 알고리즘에 기반하여 구조물(70)의 변위를 실시간으로 추정하는 변위 추정 단계(S200)를 포함할 수 있다.
도 6은 도 5에 도시된 스케일 팩터 산출 단계(S100)의 세부 수행 과정을 나타내는 흐름도이다.
도 6을 참조하면, 스케일 팩터의 산출에는 비전 카메라(110)로 촬영한 영상 계측데이터와 가속도계(120)로 측정한 가속도 데이터가 함께 이용된다. 스케일 팩터의 산출 작업은 변위 추정부(130)의 스케일 팩터 산출부(150)에서 수행될 수 있다. 스케일 팩터 산출부(150)는 컴퓨터 프로그램으로 구현되어 프로세서(132)에 의해 실행될 수 있다. 스케일 팩터 산출부(150)는 프로세서(132)로 하여금 비전 카메라(110)와 가속도계(120)가 각각 계측한 영상 계측데이터와 가속도 데이터를 비전 카메라(110)와 가속도계(120)로부터 각각 제공받도록 할 수 있다(S102, S112). 비전 카메라(110)의 촬영과 가속도계(120)의 계측은 짧은 시간 주기마다 이루어질 수 있는데, 영상 계측데이터의 샘플링 속도가 가속도 데이터의 샘플링 속도보다는 느릴 수 있다.
영상 계측데이터 즉, 시간에 따라 촬영된 일련의 영상 프레임들에 있어서, 도 2에서 설명한 것처럼 기준 영상 프레임(예컨대 첫 번째 영상 프레임)과 비교 대상 영상 프레임(예컨대 i번째 영상 프레임) 간에 소정의 특징점들을 비교하여 동일한 특징점들끼리 매칭하는 특징점 매칭 알고리즘을 적용하여 그 특징점들의 픽셀 단위의 이동치(translation)를 추정할 수 있다(S104, S106). 특징점들의 이동치는 앞에서 설명한 식 (1) 등을 이용하여 추정될 수 있다. 시간에 따라 계측된 가속도 데이터를 이중 적분하여 실제 공간에서의 길이 단위의 변위가 추정될 수 있다(S114, S116).
이렇게 구한 이동치 추정치와 변위 추정치는 노이즈 제거를 위해 대역 통과 필터링 처리를 할 수 있다(S108, S118). 여기서, df(t)는 대역통과필터를 거친 이동치를 나타내고, uf(t)는 대역통과필터를 거친 변위를 나타낸다 (S110, S120). 대역통과필터링에 있어서, 저주파수 대역의 차단 주파수(flc)는 가속도 신호 왜곡 즉, 가속도 기반 변위에서의 저주파수 드리프트를 제거하기 위하여 충분히 높게 설정될 수 있고, 고주파수 대역 차단 주파수(fuc)는 비전 카메라(110)의 샘플링 주파수를 고려하여 설정된다. 일예로, 고주파수 대역 차단 주파수(fuc)는 비전 카메라(110)의 샘플링 속도의 1/10 정도로 설정되어, 비전 카메라(110)의 샘플링 주파수가 영상 계측데이터의 주파수 성분의 최고 주파수보다 적어도 10배 이상이 될 수 있다. 즉, 시간 영역에서 확인하고 싶은 주파수 대역이 있다면, 그보다 10배 이상의 샘플 주파수로 데이터를 획득해야 가능하다.
필터링 처리까지 거친 이동치 추정치(df(t))와 변위 추정치(uf(t)) 간에는 스케일 팩터(α)로 맺어지는 다음과 같은 관계가 존재한다.
......(14)
예시적인 실시예에서, 스케일 팩터(α)는 최소자승법(least square estimation) 알고리즘을 적용하여 산출될 수 있다(S126). 다른 예로서, 스케일 팩터(α)는 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용하여 산출될 수도 있다. 최소자승법 또는 RANSAC 알고리즘을 이용하여 이동치 추정치(df(t))와 변위 추정치 (uf(t))를 비교하여 그 두 값 간의 기울기를 구할 수 있는데, 그 기울기가 바로 구하고자 하는 스케일 팩터(α)이다.
변위(uf(t))의 샘플링 속도와 이동치(df(t))의 샘플링 속도를 일치시키기 위해, 대역통과필터를 거친 변위(uf(t))는 최소자승법 알고리즘 적용(S126) 전에 다운샘플링 되어 비전 카메라(110)의 샘플 주파수와 같아지도록 하는 전처리를 거칠 수도 있다(S124). 이를 통해 상기 변위 추정치를 상기 이동치 추정치에 동기화될 수 있다.
구해진 스케일 팩터(α)는 변위 추정(S200)에 이용될 수 있다(S128).
도 7a 및 7b는 본 발명의 예시적인 실시예에 따라 적응형 이종 샘플링 주파수 칼만 필터와 향상된 특징점 매칭 알고리즘에 기반한 실시간 변위 추정 단계(S200)의 세부 수행 과정을 나타내는 흐름도이다.
변위 추정 단계(S200)는 적응형 이종 샘플링 주파수 칼만 필터부(160)에서 수행될 수 있다. 적응형 이종 샘플링 주파수 칼만 필터부(160)는 컴퓨터 프로그램으로 구현되어 프로세서(132)에 의해 실행될 수 있다.
도 7a 및 도 7b를 참조하면, 적응형 이종 샘플링 주파수 칼만 필터부(160)는 프로세서(132)로 하여금 비전 카메라(110)로부터 제공받아 데이터 스토리지(136)에 저장해둔 영상 계측데이터를 프레임 인덱스(i)를 1씩 증가시키면서 프레임 단위로 읽어 들일 수 있다(S210, S212). 일련의 영상 프레임들은 시간(t)에 따라 제1 소정 시간간격(Δtd)을 가지면서 촬영된 것일 수 있다.
기존의 특징점 매칭에 비해 본 발명이 제안하는 방법의 주요한 개선점은 관심영역(ROI) 업데이트와 두 가지 미스매치 제거 알고리즘을 추가하는 것일 수 있다. 연속적인 영상 프레임에서 관심영역(ROI)의 위치는 시간에 따라 구조물(70)의 움직임 등으로 인해 달라질 수 있다. 본 발명은 상관관계 기반 템플릿 매칭을 사용한다. 템플릿으로 간주되는 관심영역 (ROI)의 초기 선택을 제외하고는 사용자 개입에 거의 의존하지 않는다. 템플릿 매칭 방법은 배경 및 조명 변화에 민감하다. 따라서 장기간 기록 (예: 몇 시간 이상)의 경우 주기적으로 ROI 템플릿을 업데이트하여 오차 누적을 완화할 필요가 있다. 향상된 특징점 매칭 알고리즘은 영상기반 변위 계측치의 신뢰도를 더 높여줄 수 있다. 신뢰도 향상을 위해 현재의 i번째 영상 프레임(즉, ith 프레임) 내의 관심영역(이하, 'i번째 관심영역(ith ROI)'이라 함)을 업데이트할 수 있다(S214, S216). 길이 단위 변위의 사전 상태 추정치()(이것은 도 7b의 단계 S234에서 얻어짐)를 이용하여, i번째 이미지 프레임의 관심영역(ith ROI)이 업데이트될 수 있다.
도 8은 본 발명의 예시적인 실시예에 따른 관심영역(ROI) 업데이트 알고리즘의 작동원리를 나타낸다.
도 8을 참조하면, 첫 번째로 관심타겟(TOI)의 픽셀 단위 이동치(di TOI)를 예측된 길이 단위 변위의 사전 상태 추정치((1))를 활용하여 구할 수 있다. 이때, 길이 단위 변위의 사전 상태 추정치((1))는 변위 단위이기 때문에 스케일 팩터를 활용하여 아래 식으로부터 픽셀 단위로 환산할 수 있다.
......(15)
길이 단위 변위의 사전 상태 추정치 는 의 첫 번째 항을 나타낸다. i번째 이미지 프레임 내의 관심영역(ith ROI)은 관심타겟(TOI)의 픽셀 단위 이동치(di TOI)를 활용하여 이동된다. i번째 관심영역(ith ROI)의 이동치(di ROI)는 픽셀 단위로 이산화하게 되어 있다. 따라서 i번째 관심영역(ith ROI)의 이동치(di ROI)는 다음과 같이 반올림 함수(a 'round' function)를 이용하여 구할 수 있다.
......(16)
구해진 i번째 관심영역(ith ROI)의 이동치(di ROI)를 이용하여 i번째 이미지 프레임의 관심영역(ith ROI)의 위치를 업데이트할 수 있다.
i번째 이미지 프레임의 관심영역(ith ROI)이 업데이트된 후에, 소정의 특징점 매칭 알고리즘을 이용하여 첫 번째 영상 프레임의 관심영역(1st ROI) 내의 N개의 특징점과 그 업데이트된 i번째 영상 프레임의 관심영역(ith ROI) 내의 N개의 특징점 간에 특징점 매칭이 수행될 수 있다(S218). 기존의 공지된 특징점 매칭 알고리즘이 이용될 수 있다.
그런데 이렇게 매칭된 N개의 특징점 매치 중에는 정확하게 매칭된 것도 있지만 그렇지 못한 미스매치들도 존재할 수 있다. 영상 프레임에서 정확한 이동치 추정을 위해서는 도 2의 (b)에 도시된 것처럼 연관된 특징점들끼리 고 신뢰도로 매칭되도록 하는 중요하다. 그러나 기존의 특징점 매칭 기법은 종종 특징점들의 미스매치를 유발한다. 이는 이동치 및 스케일 팩터의 정확도를 떨어뜨린다. 고신뢰도 변위계측을 위해 미스매치 제거 알고리즘을 이용하여 N개의 특징점 매치들 중에서 미스매치를 제거하고 양호한 특징점 매치들만 남길 수 있다(S220, S222). 미스매치들은 단계 S234에서 산출되는 길이 단위 변위의 사전 상태 추정치()와 이의 오차 공분산 행렬()을 활용한 두 가지 미스매치 알고리즘에 의해 제거될 수 있다. 결국, 남겨진 고신뢰도 특징점 매치들만 변위 추정에 이용됨으로써, 변위 계측의 신뢰도를 높일 수 있다.
예시적인 실시예에서, 매칭된 특징점 매치들에 대하여 제1 및 제2 특징점 미스매치 제거 알고리즘이 순차적으로 수행될 수 있다.
먼저, 제1 특징점 미스매치 제거 알고리즘은 크게 다음과 같은 두 단계를 포함할 수 있다: (1) 특징점 매치들 중에서 최우수 특징점 매치(best match)를 선정하는 단계(도 8 참조)와, (2) 최우수 특징점 매치를 기준으로 남은 특징점 매치들을 비교(cross-checking)하여 미스매치를 제거하는 단계 (도 9 참조). 제1 특징점 미스매치 제거 알고리즘의 수행을 통해 남은 특징점 매치들에 대하여 제2 특징점 미스매치 제거 알고리즘이 수행될 수 있다. 특징점 미스매치를 제거함에 있어서 기본 가정은 영상 평면에서 두 특징점 간의 거리는 시간에 따라 변하지 않는다는 점이다.
먼저, 제1 특징점 미스매치 제거 알고리즘을 이용한 특징점 미스매치의 1단계 제거를 설명한다.
도 9는 본 발명의 예시적인 실시예에 따라 영상 프레임들에서 특징점 매치 중 최우수 매치를 선정하는 방법을 도식적으로 나타낸다.
도 6과 도 9를 참조하면, 제1 단계는 최우수 매치를 선정하는 단계일 수 있다. 우선 도 9의 (A)에 도시된 것처럼 특징점 매치들을 두 개씩 그룹핑 할 수 있다. 첫 번째 영상 프레임의 관심영역(1st ROI)과 i번째 영상 프레임의 관심영역(ith ROI)이 N개의 특징점들을 각각 포함한다고 할 때, 특징점 매칭 알고리즘을 적용하여 첫 번째 관심영역(ROI)과 i번째 관심영역(ROI)에서 N개의 특징점 매치를 획득했다고 가정할 수 있다. 여기서, 각 특징점 매치는 첫 번째 관심영역(1st ROI)과 i번째 관심영역(ith ROI) 각각에서 선택된 하나의 특징점과 선택된 하나의 특징점으로 구성될 수 있다. 그 N개의 특징점 매치들 중에서 두 개의 특징점 매치들을 임의로 선택하여 하나의 매치 그룹을 구성할 수 있다. 이러한 그룹핑을 N개의 모든 특징점 매치들에 대하여 반복함으로써 N/2개의 매치 그룹을 만들 수 있다. 만약 N이 홀수이면, 남는 특징점 매치는 그룹핑할 때 무시할 수 있다. 따라서 이때는 (N-1)/2개의 매치 그룹이 만들어진다. 각 매치 그룹은 첫 번째 관심영역(ROI)에 있는 두 개의 특징점과 i번째 관심영역(ROI)에 있는 대응되는 두 개의 특징점들을 포함한다 (도 9의 (A) 참조).
위와 같이 N/2개 또는 (N-1)/2개의 매치 그룹을 구성한 다음, 도 9의 (B)에 도시된 것처럼 각 매치 그룹의 거리변동지수(distance variation index)를 산출할 수 있다. 거리변동지수는 아래 식을 이용하여 산출될 수 있다.
......(17)
여기서, μs는 s번째 매치 그룹(여기서, s는 N/2개 또는 (N-1)/2보다 작은 자연수)의 거리변동지수로 정의한다. l1 s 는 첫 번째 영상 프레임에서 관심영역(ROI) 내의 s번째 매치 그룹의 두 개의 특징점 간의 거리이고, l1 s는 i번째 영상 프레임에서 관심영역(ROI) 내의 s번째 그룹의 두 개의 특징점 간의 거리이다.
거리변동지수의 값이 0에 가까이 갈수록 고신뢰도 그룹/매치를 나타낸다. 따라서 도 9의 (c)에 도시된 것처럼, 산출된 N/2개 또는 (N-1)/2개의 거리변동지수들 중에서 가장 작은 지수값(μs)을 갖는 매치 그룹이 최우수 매치 그룹(best match group)으로 선택될 수 있다. 최우수 매치 그룹에 속하는 두 개의 특징점 매치 중 하나가 최우수 매치로 정의될 수 있다. 도 9의 (c)에서는 예컨대 r번째 특징점 매치 {M1 r, Mi r})가 최우수 매치로 예시되어 있다.
도 10은 본 발명의 예시적인 실시예에 따라 미스매치를 제거하기 위해 최우수 매치를 기준으로 나머지 매치들의 교차 확인(cross-check)하는 방법을 도식적으로 나타낸다.
도 10은 최우수 매치를 기준으로 나머지 매치들에 관한 거리 간격들을 산출하는 것을 나타낸다.
도 10을 참조하면, 일단 최우수 매치(예: (M1 r, Mi r)가 선택된 후, 그 선택된 최우수 매치를 기준으로 나머지 특징점 매치들 각각에 대하여 거리 간격들(distance intervals)을 산출하여 미스매치를 판별하고 제거할 수 있다. 구체적으로, 첫 번째 영상 프레임에서 관심영역(1st ROI) 내 임의의 특징점(예: M1 j)과 최우수 매치 특징점(M1 r) 간의 실제 거리는 도 9에 도시된 것처럼 그 두 특징점 M1 j 과 M1 r 사이의 최대거리 와 최소거리 사이에 들어오게 된다. 여기서, j= 1, 2, ..., N 이고 j≠r이다.
첫 번째 영상 프레임에서 관심영역(1st ROI) 내 임의의 특징점 M1 j 과 최우수 매치 특징점 M1 r 사이의 최대거리()과 최소거리()는 아래 식과 같이 표현될 수 있다.
......(18)
여기서, ε는 x축 방향과 y축 방향에서 최대 픽셀 이산화 오차(maximum pixel discretization error)이며, 도 9에서는 예시적으로 그 값이 0.5 pixel로 설정되어 있다. 또한, Δx1 j와 Δy1 j는 각각 특징점 M1 j 과 특징점 M1 r 의 x방향 및 y방향 좌표값의 차이를 나타낸다.
마찬가지로, i번째 영상 프레임에서 관심영역(ith ROI) 내 임의의 특징점 (Mi j)과 최우수 매치 특징점(Mi r) 간의 최대거리()와 최소거리()도 식(18)을 이용하여 계산될 수 있다.
결국, 이와 같은 방식으로 첫 번째 및 i번째 영상 프레임의 각 관심영역에서 최우수 매치 특징점을 기준으로 나머지 특징점들까지의 최대거리와 최소거리를 모두 계산할 수 있다.
첫 번째 영상 프레임의 관심영역에서 계산된 최대거리()과 최소거리()와 i번째 영상 프레임의 관심영역에서 계산된 최대거리()와 최소거리()가 다음 두 가지 거리 간격 조건을 만족하는지를 판별할 수 있다. 여기서, j= 1, 2, ..., N이고, j≠r이다.
(i) 거리 간격 조건 1: '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상일 것; 그리고
(ii) 거리 간격 조건 2: 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상일 것.
아래 식 (17)은 그 두 조건을 나타낸 것이다. 판별 결과, 아래 식을 만족하지 못하는 특징점 매치는 미스매치로 분류되어 제거될 수 있다.
0, 0 ......(19)
이렇게 제1 특징점 미스매치 제거 알고리즘을 적용한 특징점 미스매치 제거 후, 제2 특징점 미스매치 제거 알고리즘까지 적용하여 특징점 미스매치를 제거할 수 있다. 향상된 특징점 매칭 알고리즘은 영상기반 변위 계측치의 신뢰도를 더 높여줄 수 있다
구체적으로, 제1 특징점 미스매치 제거 알고리즘으로 필터링 된 후에, 남은 특징점 매치들 각각에 대하여 이동치(di j)가 계산될 수 있다. 그 이동치(di j)에 대하여 99.7% 신뢰구간을 추정할 수 있으며, 길이 단위 변위의 사전 상태 추정치()의 오차가 공분산()을 갖는 정규분포를 갖는다고 가정한다. 이동치(di j)의 범위는 다음 식으로 표현될 수 있다.
......(20)
여기에서, 공분산 오차 은 변위의 사전 상태 추정치의 공분산 오차 행렬()의 첫 번째 항을 나타낸다. 픽셀 이산 오차(ε)는 이 신뢰구간의 추정 내에서 고려될 수 있다. 이 신뢰구간 내에 속하지 못하는 특징점 매치는 미스매치로 간주되어 제거된다.
이렇게 제1 및 제2 특징점 미스매치 제거 알고리즘을 수행하여 미스매치로 분류된 특징점 매치들을 제거하고 남은 특징점 매치들을 양호한 특징점 매치(good matches)로 확보할 수 있다(S222).
양호한 특징점 매치(good matches)들을 이용하여 이동치를 추정할 수 있다(S224). 최종 이동치(final translation)는 남은 모든 양호한 특징점 매치들의 이동치들(translations)의 평균과 관심영역(ROI) 이동치(movement)의 합을 이용하여 구할 수 있다.
이렇게 구한 최종 이동치의 합에 S100 단계에서 구한 스케일 팩터(α)를 적용하여 구하려는 구조물(70)의 변위(displacement)(ui)를 추정할 수 있다(S224). 예시적인 실시예에서, 변위(ui)는 아래 식을 이용하여 산출될 수 있다(S226).
......(21)
여기에서, 는 양호한 매치 즉, 고신뢰도 매치의 개수이다.
한편, 위에서 언급했듯이 기존의 칼만 필터는 데이터 융합에 사용되는 가속도 데이터와 영상 계측데이터는 시간 동기화되어 있다고 가정한다. 하지만 앞에서 언급하였듯이 비전 카메라(110)와 가속도계(120)의 계측 속도는 비동기적일 수 있다. 예시적인 실시예에 따른 적응형 이종 샘플 주파수 칼만 필터(160)는 시간 비동기화된 가속도 데이터와 영상기반 데이터를 균등하게 융합할 수 있다. 또한, 비전 카메라(110)의 초당 프레임 수(FPS)는 실제 촬영에 있어서 시간에 따라 정밀하게 일정 값(예컨대 30 FPS)으로 유지되지 않고 다소의 편차(예컨대, 29.5 FPS, 30.3 FPS 등과 같이)를 갖는다. 칼만 필터(160)는 영상기반 변위에 관한 이런 노이즈 분산(R)을 적응적으로(adaptively) 추정할 수 있게 해준다.
도 11은 본 발명의 예시적인 실시예에 따라 적응형 이종샘플 주파수 칼만 필터를 이용하여 비동기 가속도 데이터와 영상 계측데이터를 융합하는 개념의 개요를 도식적으로 보여준다. 도 12는 본 발명의 예시적인 실시예에 따라 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 비동기 가속도 데이터와 영상 계측데이터를 융합하는 과정을 예시적으로 보여준다.
도 7b를 도 11 및 12와 함께 참조하면, 시간에 따라 가속도계(120)로 계측된 가속도 데이터(ak)들은 Δta의 시간 간격을 가질 수 있다. k번째 시간 단계에서, 가속도 데이터(ak)가 변위추정부(130)의 칼만 필터 부(160)에 입력될 수 있다(S230). 여기서, k는 가속도 데이터의 인덱스이다.
칼만 필터(160)에서 모든 시간 스텝은 가속도 데이터와 영상 계측데이터의 가용성에 따라 3가지 타입으로 구분될 수 있다. 최종 추정 변위는 가속도 측정과 동일한 샘플링 속도를 갖도록 가속도 단계에서의 상태 추정치들이 유지될 수 있다. 즉, 예측 결과로 얻어지는 변위의 샘플 주파수는 상대적으로 더 높은 가속도 데이터의 샘플 주파수와 같을 수 있다.
비전 카메라(110)에서 촬영된 영상 프레임 데이터들(ith frame)은 Δtd의 시간 간격을 가질 수 있다. 시간축상으로 볼 때, 영상 프레임 데이터들은 인접하는 두 가속도 데이터 사이에 존재할 수도 있고 그렇지 않을 수도 있다. 예시적인 실시예에 따른 칼만 필터는 세 가지 시간 타입으로 계산될 수 있다.
(i) 타입1 시간단계(180-1): 이 시간단계에서는 현재의 가속도 데이터(ak)만 가용하고, 그 현재의 가속도 데이터(ak)와 이전의 가속도 데이터(ak-1) 사이의 시간 간격 [t-Δta, t] 내에 가용한 영상 프레임 데이터가 존재하지 않는다.
(ii) 타입 2 시간단계(180-2): 이 시간단계에서는 영상 프레임 데이터(ith frame)만 가용한 반면, 가속도 데이터는 가용하지 않다.
(iii) 타입 3 시간단계(180-3): 이 시간 단계에서는 현재의 가속도 데이터(ak)와 이후의 가속도 데이터(ak+1) 사이의 시간간격 [t-Δta, t] 내에서 가속도 데이터와 영상 프레임 데이터가 모두 가용하다.
변위 추정부(130)의 칼만 필터(160)는 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 영상 프레임 데이터가 존재하는지를 판별할 수 있다(S232).
만약 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 가용한 영상 프레임 데이터가 존재하지 않은 경우는 타입1 시간단계(180-1)에 해당한다. 타입1 시간단계(180-1)에서는, 가속도 데이터만 가용하므로, 상태변수(xk)와 이것의 공분산 오차 행렬()이 앞에서 언급한 식(7)과 식(8), 그리고 식(12), 식(13)을 활용하여 각각 계산될 수 있다(S250, S252). 이것은 기존의 칼만 필터와 유사하다. 구체적으로, 시간 (k-1)Δta에서 식 (7)을 이용하여 변위의 사전 상태추정치()를 산출하고, 식 (8)을 이용하여 그것의 사전 오차 공분산 행렬()을 구할 수 있다. 계속해서, 시간 (k-1)Δta에서, 식 (10)을 이용하여 변위의 사후 상태 추정치()를 구하고, 이것의 사후 오차 공분산 행렬()을 식 (11)을 이용하여 구할 수 있다. 위 식 (12)와 (13)에서 언급한 것처럼, 이렇게 구한 변위의 사전 및 사후 상태추정치( 와 )는 서로 동일하고, 이들의 오차 공분산 행렬(와 () 역시 서로 동일하다.
만약 단계 S232에서 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 영상 프레임 데이터가 존재하는 것으로 판단되면, 타입 2 시간 스텝(180-2) 또는 타입 3 시간 스텝(180-3)에 해당할 수 있다.
타입 2 시간단계(180-2)에서는, 상태변수와 이것의 오차 공분산 행렬은 식 (7)과 식(8)을 이용하여 구할 수 있다. 다만, 이때에는 단순히 시간간격이 Δta에서 {(i-1)Δtd - (k-1)Δta} 로 바뀐다. 여기서, k는 가속도 데이터의 k번째 시간 스텝이고, i는 영상 계측데이터의 i번째 시간 스텝이다. Δta는 가속도 데이터 간의 시간 간격이고, Δtd는 영상 계측데이터 간의 시간 간격이다. 타입 2 시간단계(180-2)에서, 시간 t=(i-1)Δtd 에서 변위의 사전 상태추정치()와 이의 오차 공분산 행렬()을 구할 수 있다(S234).
구해진 변위의 사전 상태추정치()와 이의 오차 공분산 행렬()은, 앞에서 언급한 것처럼, i번째 영상 프레임의 관심영역(ith ROI)의 업데이트(S214, S216)에 이용될 수 있다. 뿐만 아니라, 향상된 제1 및 제2 특징점 미스매치 제거 알고리즘이 영상 계측데이터에 적용되어 특징점 미스매치들을 제거하는 데도 이용되어(S218-S222), 영상기반 변위(ui)의 추정값을 얻을 수 있다(S224-S226).
또한, 구해진 변위의 사전 상태추정치()와 이의 오차 공분산 행렬()과, 추정된 영상기반 변위(ui)를 이용하여, 영상기반 변위(ui)의 노이즈 분산(Ri)을 추정할 수 있다(S236-S238). 영상기반 변위(ui)의 노이즈 분산(Ri)은 아래 식을 이용하여 적응적으로 예측될 수 있다(S238). 이 분산식은 공지된 공분산 매칭 기술(covariance matching technique, Mohamed and Schwarz, 1999)을 통해 제안된 것이다.
......(22)
여기에서, Ri는 영상기반 변위(ui)의 노이즈 분산이고, E(·)는 기댓값 연산자이다. 그리고 계측치와 예측치의 차이 즉, 이노베이션(innovation)(ηi) 은 다음과 같이 정의될 수 있다.
......(23)
비록 ηiηi T의 기댓값은 가동시간창(moving time window) 내에서 ηi 2를 평균하여 근사적으로 계산될 수 있다. 이때, 가동시간창의 크기로 인해, 계산량이 많아질 수 있다. 이 문제를 해결하기 위해, 영상기반 변위의 노이즈 분산(Ri)의 적응적 추정을 위해 아래 식과 같은 망각 요소(forgetting factor)(β)를 이용할 수 있다(Akhlaghi et al., 2017).
......(24)
여기서, 망각 요소(β)는 0<β<1의 범위에서 값을 갖는다.
구해진 영상기반 변위의 노이즈 분산(Ri)을 이용하여 칼만 이득(K)을 계산할 수 있다(S240). 칼만 이득(K)은 식 (9)를 이용하게 계산될 수 있다.
칼만 이득(K)을 구해지면 그것을 이용하여 타입 2 시간단계(180-2)에서 즉, 시간 t=(i-1)Δtd에서 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 구할 수 있다. 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()은 앞에서 언급한 식 (10)과 식(11)을 활용하여 계산될 수 있다(S242).
다음으로, 타입 3 시간단계(180-3)에서 변위의 사전추정치 및 사후추정치와 그것의 오차 공분산 행렬을 구할 수 있다(S244, S246).
현재의 가속도 데이터(ak)와 이후의 가속도 데이터(ak+1) 사이의 시간간격 [t-Δta, t] 내에서 가속도 데이터와 영상 프레임 데이터가 모두 가용한 타입 3 시간단계(180-3)에서, kΔta-(i-1)Δta 시간 동안에, 변위의 사전 상태추정치는 타입 1 시간단계(180-1)의 가속도 데이터(ak)와 타입 2 시간단계(180-2)에서 구한 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 이용하여 구할 수 있다. 또한, 이 시간단계(180-3)에서는 변위의 사전 상태추정치와 사후 상태추정치는 동일하다. 이를 식으로 표현하면 다음과 같다.
.....(25)
, 및 ak들의 관계에 따라 식 (25)는 다음과 같이 표현될 수 있다.
......(26)
여기서, W1, W2, W3는 각각 다음과 같다.
......(27)
......(28)
......(29)
왜냐하면 , ak, 그리고 ui 값들은 서로 독립적이기 때문에 의 오차 공분산 행렬은 다음과 같이 표현된다.
......(30)
위와 같이 비동기적인 가속도 데이터와 영상 계측데이터를 적응형 다중 속도 칼만 필터로 융합하는 것에 의해 시간 t=(k-1)Δta에서의 변위의 상태변수()를 추정할 수 있다(S248).
이상에서 설명한 것처럼 예시적인 실시예에 따른 구조물 변위 추정 방법은 영상 프레임과 가속도는 이종데이터로 시간 비 동기화된 상태로 획득되기 때문에 칼만 필터를 적용해 보정할 수 있다. 이때 해상도 및 음영에 따라 변화하는 영상기반 변위 노이즈는 자동 산정되어 감소된다.
이상에서 설명된 실시예에 따른 구조물 변위 추정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현된 소프트웨어일 수 있다. 그 소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 그 프로그램 명령은 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
설명된 실시예에 따른 구조물 변위 추정 방법을 실시하기 위한 컴퓨터 수단은 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
본 발명은 교량, 건물 등과 같은 고도의 안전이 요구되는 구조물의 변위를 실시간으로 모니터링 하는 데 이용될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 구조물 변위 추정 시스템 110: 비전 카메라
120: 가속도계 130: 변위 추정부

Claims (24)

  1. 시간에 따라 측정대상 구조물에 설치된 카메라가 상기 구조물 외부의 정지된 표적을 소정의 제1 샘플 주파수로 촬영한 영상 프레임 데이터와 상기 측정대상 구조물에 설치된 가속도계가 소정의 제2 샘플 주파수로 계측한 가속도 데이터를 이용하여, 상기 영상 프레임 데이터의 픽셀 해상도와 실제 공간의 거리 해상도 간의 환산 계수인 스케일 팩터(α)를 자동으로 산출하는 단계; 및
    향상된 특징점 매칭 알고리즘과 상기 스케일 팩터를 이용하여 상기 구조물의 변위값을 추정하고, 그 추정된 변위값을 이용하면서 비동기 된 상기 영상 프레임 데이터와 상기 가속도 데이터를 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 균등하게 융합하는 것에 의해 영상 노이즈의 감소 및 시간 동기화하여 상기 가속도 데이터의 샘플링 주파수로 상기 구조물의 변위를 추정하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  2. 제1항에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는,
    기준 영상 프레임과 비교 대상 영상 프레임 간에 소정의 특징점들을 비교하여 동일한 특징점들끼리 매칭하는 특징점 매칭 알고리즘을 적용하여 특징짐들의 픽셀 단위의 이동치를 추정하는 단계; 및 상기 가속도 데이터를 이중 적분하여 실제 공간에서의 길이 단위의 변위를 추정하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  3. 제2항에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는 구해진 상기 이동치의 추정치와 상기 변위의 추정치를 노이즈 제거를 위해 대역통과필터링 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  4. 제3항에 있어서, 상기 대역통과필터링 시 상기 카메라의 샘플링 주파수가 상기 영상 프레임의 주파수 성분의 최고 주파수보다 적어도 10배 이상인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  5. 제3항에 있어서, 상기 스케일 팩터를 자동으로 산출하는 단계는 상기 변위 추정치를 상기 이동치 추정치와 동기화하기 위해 대역통과필터링 처리된 변위의 추정치를 다운 샘플링 처리를 하여 단계를 더 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  6. 제3항에 있어서, 상기 스케일 팩터(α)는 대역통과필터링 처리를 거친 상기 이동치 추정치 들과 상기 변위 추정치()들을 비교하여 구해진 그 두 값 간의 기울기인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  7. 제5항에 있어서, 상기 스케일 팩터 (α)는 대역통과필터링 처리된 이동치 추정치()들과 다운 샘플링 처리된 변위 추정치()들에 최소자승법 또는 RANSAC (RANdom SAmple Consensus) 알고리즘을 적용하여 구해지는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  8. 제1항에 있어서, 상기 구조물의 변위를 추정하는 단계는,
    현재의 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 단계; 소정의 특징점 매칭 알고리즘을 이용하여 첫 번째 영상 프레임의 관심영역(1st ROI) 내의 N개의 특징점과 상기 i번째 영상 프레임의 관심영역(ith ROI) 내의 N개의 특징점을 매칭시키는 단계; 신뢰도 높은 변위계측을 위해 미스매치 제거 알고리즘을 이용하여 N개의 특징점 매치 중에서 미스매치를 제거하고 양호한 특징점 매치들만 남기는 단계; 및 상기 양호한 특징점 매치들의 이동치들(translations)의 평균과 관심영역(ROI) 이동치(movement)의 합에 상기 스케일 팩터를 적용한 식 (단, 는 양호한 매치의 개수임)을 이용하여 최종 이동치를 추정하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  9. 제8항에 있어서, 상기 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 단계는,
    길이 단위 변위의 사전 상태 추정치를 스케일 팩터를 이용하여 픽셀 단위로 환산하는 단계; 상기 i번째 영상 프레임의 관심타겟(TOI)의 픽셀 단위 이동치(di TOI)를 픽셀 단위로 환산된 상기 사전 상태 추정치를 활용하여 구하는 단계; 상기 i번째 관심영역(ith ROI)의 이동치(di ROI)를 반올림 함수(a 'round' function) 를 이용하여 구하는 단계; 및 구해진 i번째 관심영역(ith ROI)의 이동치(di ROI)를 이용하여 i번째 이미지 프레임의 관심영역(ith ROI)의 위치를 업데이트하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  10. 제8항에 있어서, 상기 '미스매치를 제거하고 양호한 매치들만 남기는 단계'는 제1 특징점 미스매치 제거 알고리즘을 이용하여 특징점 미스매치를 제거하는 단계를 포함하고,
    상기 제1 특징점 미스매치 제거 알고리즘은,
    상기 특징점 매치 중에서 최우수 특징점 매치(best match)를 선정하는 단계; 및 상기 최우수 특징점 매치를 기준으로 남은 특징점 매치들을 비교(cross-checking)하여 미스매치를 제거하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  11. 제10항에 있어서, 상기 최우수 특징점 매치(best match)를 선정하는 단계는,
    첫 번째 영상 프레임의 관심영역과 상기 i번째 영상 프레임의 관심영역 간의 상기 N개의 특징점 매치들을 두 개씩 짝을 지어 N/2개 또는 (N-1)/2개의 특징점 매치 그룹을 형성하는 단계; 상기 N/2개 또는 (N-1)/2개의 특징점 매치 그룹 각각의 거리변동지수를 산출하는 단계; 및 산출된 N/2개 또는 (N-1)/2개의 거리변동지수 중에서 가장 작은 지수값()을 갖는 매치 그룹을 최우수 매치 그룹(best match group)으로 선정하고, 그 최우수 매치 그룹에 속하는 두 개의 매치 중 하나의 매치를 최우수 매치로 선택하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  12. 제11항에 있어서, 상기 미스매치를 제거하는 단계는,
    선택된 최우수 매치를 기준으로 나머지 특징점 매치들 각각에 대하여 거리 간격들을 산출하여 미스매치 조건에 해당하는지를 판별하는 단계; 및 상기 특징점 미스매치들 중에서 상기 미스매치 조건에 해당하는 특징점들을 제거하고 양호한 매치들만 남기는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  13. 제12항에 있어서, 상기 미스매치 조건은 제1 및 제2 거리간격 조건을 포함하며, 상기 제1 거리간격 조건은 '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상인 것이고, 상기 제2 거리간격 조건은 'i번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최대거리'가 '첫 번째 영상 프레임의 관심영역 내 j번째 특징점과 최우수 매치 특징점 간의 최소거리' 이상일 것이며, 여기서 j= 1, 2, ..., N인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  14. 제11항에 있어서, 상기 거리변동지수는 식 으로 산출되고, 여기서 는 s번째 매치 그룹의 거리변동지수이며, 는 첫 번째 영상 프레임의 관심영역(ROI)에서 두 개의 특징점 간의 거리이고, 는 i번째 영상 프레임의 관심영역(ROI)에서 두 개의 특징점 간의 거리를 나타내는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  15. 제8항에 있어서, 상기 '미스매치를 제거하고 양호한 매치들만 남기는 단계'는 제2 특징점 미스매치 제거 알고리즘을 이용하여 특징점 미스매치를 제거하는 단계를 포함하고,
    상기 제2 특징점 미스매치 제거 알고리즘은,
    상기 제1 특징점 미스매치 제거 알고리즘으로 필터링 처리되고 남은 특징점 매치들 각각에 대하여 이동치(di j)가 계산하는 단계; 및 계산된 이동치가 식 으로 표현된 이동치(di j)의 범위 내에 속하지 못하는 특징점 매치를 미스매치로 간주하여 제거하는 단계를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  16. 제1항에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은,
    현재의 가속도 데이터(ak)만 가용하고, 그 현재의 가속도 데이터(ak)와 이전의 가속도 데이터(ak-1) 사이의 시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 가용한 영상 프레임 데이터가 존재하지 않는 타입 1 시간단계에서,
    제1식 를 이용하여 변위의 사전 상태추정치()를 구하고, 제2식 를 이용하여 상기 사전 상태추정치()의 오차 공분산 행렬()을 구하는 단계; 및
    시간 (k-1)Δta에서, 상기 사전 상태추정치() 및 그것의 사전 오차 공분산 행렬()과 동일한 사후 상태추정치()와 이의 사후 오차 공분산 행렬()을 구하는 단계의 수행을 통해 이루어지며,
    여기서, Δta는 가속도 데이터들 간의 시간 간격이고, k는 가속도 데이터의 k번째 시간 간격을 나타내고, 와 ak-1는 '이전 시간 단계'에서의 사후 상태 추정치(posterior state estimate)와 가속도 데이터이고, 인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  17. 제16항에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은,
    시간 간격 [(k-2)Δta, (k-1)Δta] 사이에 영상 프레임 데이터(ith frame)만 가용하고, 가속도 데이터는 가용하지 않는 타입 2 시간단계에서,
    시간간격을 Δta에서 (i-1)Δtd-(k-1)Δta로 변경하여, 상기 제1 식 및 제2 식을 이용하여 변위의 사전 상태추정치()와 이의 사전 오차 공분산 행렬()을 추정하는 단계;
    구해진 상기 사전 상태추정치()와 이의 상기 사전 오차 공분산 행렬()을 이용하여 i번째 영상 프레임의 관심영역(ith ROI)을 업데이트하는 단계;
    제1 및 제2 특징점 미스매치 제거 알고리즘에 기반한 특징점 미스매치 제거에 구해진 상기 사전 상태추정치()와 이의 상기 사전 오차 공분산 행렬()을 적용하여 영상기반 변위(ui)를 추정하는 단계;
    구해진 변위의 사전 상태추정치()와 이의 오차 공분산 행렬()과, 추정된 영상기반 변위(ui)를 이용하여, 영상기반 변위(ui)의 노이즈 분산(Ri)을 추정하는 단계;
    구해진 영상기반 변위의 노이즈 분산(Ri)을 이용하여 칼만 이득(K)을 식 를 이용하여 산출하는 단계; 및
    상기 칼만 이득(K)을 이용하여 시간 t=(i-1)Δtd에서 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 식 및 를 활용하여 구하는 단계의 수행을 통해 이루어지며,
    위 식들에서 x와 P는 y와 G로 표현되고, H는 벡터 [1, 0] 이고, i는 영상 계측데이터의 i번째 시간 스텝이고, Δtd는 영상 계측데이터들 간의 시간 간격인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  18. 제17항에 있어서, 상기 적응형 이종 샘플링 주파수 칼만 필터를 이용한 상기 영상 프레임 데이터와 상기 가속도 데이터의 융합은,
    현재의 가속도 데이터(ak)와 이후의 가속도 데이터(ak+1) 사이의 시간간격 [t-Δta, t] 내에서 가속도 데이터와 영상 프레임 데이터가 모두 가용한 타입 3 시간단계에서,
    상기 타입 1 시간단계의 가속도 데이터(ak)와 상기 타입 2 시간단계에서 구한 변위의 사후 상태 추정치() 및 이것의 오차 공분산 행렬()을 이용하여 변위의 사전 상태추정치()를 식 을 이용하여 구하는 단계;
    상기 변위의 사전 상태추정치()의 오차 공분산 행렬()을 식 을 이용하여 구하는 단계의 수행을 통해 이루어지며,
    여기서, , , 그리고 인 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 기재된 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  20. 제1항 내지 제18항 중 어느 한 항에 기재된 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램.
  21. 측정대상 구조물에 설치되어 상기 구조물 외부의 정지된 표적을 소정의 제1 샘플 주파수로 촬영하도록 구성된 카메라;
    상기 측정대상 구조물의 상기 카메라 근처에 설치되어, 소정의 제2 샘플 주파수로 가속도를 측정하도록 구성된 가속도계; 및
    상기 카메라와 상기 가속도계가 시간에 따라 계측한 일련의 영상 프레임 데이터와 가속도 데이터를 이용하여 상기 영상 프레임 데이터의 픽셀 해상도와 실제 공간의 거리 해상도 간의 환산 계수인 스케일 팩터(α)를 자동으로 산출하는 기능을 수행하도록 구성된 스케일 팩터 산출부와, 향상된 특징점 매칭 알고리즘과 상기 스케일 팩터를 이용하여 상기 구조물의 변위값을 추정하고, 그 추정된 변위값을 이용하면서 비동기된 상기 영상 프레임 데이터와 상기 가속도 데이터를 적응형 이종 샘플링 주파수 칼만 필터를 이용하여 균등하게 융합하는 것에 의해 상기 가속도 데이터의 샘플링 주파수로 상기 구조물의 변위를 추정하는 기능을 수행하도록 구성된 적응형 이종 샘플링 주파수 칼만 필터부를 포함하는 변위 추정부를 구비하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 시스템.
  22. 제21항에 있어서, 상기 변위 추정부는 상기 스케일 팩터 산출부와 상기 적응형 이종 샘플링 주파수 칼만 필터부를 구성하는 컴퓨터 프로그램과, 상기 컴퓨터 프로그램을 실행하여 상기 스케일 팩터(α)를 자동으로 산출하는 작업과 상기 구조물의 변위를 산출하는 작업을 수행하는 프로세서부를 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 시스템.
  23. 제21항에 있어서, 상기 스케일 팩터를 자동으로 산출하는 기능은,
    기준 영상 프레임과 비교 대상 영상 프레임 간에 소정의 특징점들을 비교하여 동일한 특징점들끼리 매칭하는 특징점 매칭 알고리즘을 적용하여 특징짐들의 픽셀 단위의 이동치를 추정하는 기능; 및 상기 가속도 데이터를 이중 적분하여 실제 공간에서의 길이 단위의 변위를 추정하는 기능을 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 시스템.
  24. 제21항에 있어서, 상기 구조물의 변위를 추정하는 기능은,
    현재의 i번째 영상 프레임에서 관심영역(ith ROI)을 업데이트하는 기능; 소정의 특징점 매칭 알고리즘을 이용하여 첫 번째 영상 프레임의 관심영역(1st ROI) 내의 N개의 특징점들과 상기 i번째 영상 프레임의 관심영역(ith ROI) 내의 N개의 특징점들을 매칭시키는 기능; 신뢰도 높은 변위계측을 위해 미스매치 제거 알고리즘을 이용하여 N개의 특징점 매치들 중에서 미스매치를 제거하고 양호한 특징점 매치들만 남기는 기능; 및 상기 양호한 특징점 매치들의 이동치들(translations)의 평균과 관심영역(ROI) 이동치(movement)의 합에 상기 스케일 팩터를 적용한 식 (단, 는 양호한 매치의 개수임)을 이용하여 최종 이동치를 추정하는 기능을 포함하는 것을 특징으로 하는 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 시스템.
KR1020210047367A 2021-04-12 2021-04-12 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템 KR102565719B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210047367A KR102565719B1 (ko) 2021-04-12 2021-04-12 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템
PCT/KR2022/003490 WO2022220414A1 (ko) 2021-04-12 2022-03-11 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템
CN202280041438.7A CN117480356A (zh) 2021-04-12 2022-03-11 基于自然目标的异步视觉测量数据和结构的加速度数据的融合来测量结构位移的方法及其系统
US18/554,919 US20240202898A1 (en) 2021-04-12 2022-03-11 Method of measuring structure displacement based on fusion of asynchronous vision measurement data of natural target and acceleration data of structure, and system for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210047367A KR102565719B1 (ko) 2021-04-12 2021-04-12 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템

Publications (2)

Publication Number Publication Date
KR20220141160A KR20220141160A (ko) 2022-10-19
KR102565719B1 true KR102565719B1 (ko) 2023-08-11

Family

ID=83640395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210047367A KR102565719B1 (ko) 2021-04-12 2021-04-12 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템

Country Status (4)

Country Link
US (1) US20240202898A1 (ko)
KR (1) KR102565719B1 (ko)
CN (1) CN117480356A (ko)
WO (1) WO2022220414A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115790401B (zh) * 2023-02-09 2023-06-16 西北工业大学 一种基于视觉测量的位移测量方法及相关设备
CN117367307B (zh) * 2023-11-24 2024-07-30 江苏省特种设备安全监督检验研究院 非接触式应变测量方法、系统及机械设备运行监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803503B1 (ko) 2017-02-06 2017-11-30 주식회사 풍산에프앤에스 구조물의 정밀 계측 시스템 및 그 방법
KR102200824B1 (ko) 2020-09-01 2021-01-12 (주)영신디엔씨 카메라 및 가속도센서를 이용한 실시간 파일항타 관입량 및 리바운드량 자동측정시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996779B1 (ko) * 2019-02-15 2019-07-04 화창건축사사무소 주식회사 초고층 건축요소의 치수 변형 예측 및 안정화 제어 시스템
KR102230397B1 (ko) * 2020-06-15 2021-03-22 반석안전주식회사 변형률 및 가속도값에 기반한 구조물의 변위 추정방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803503B1 (ko) 2017-02-06 2017-11-30 주식회사 풍산에프앤에스 구조물의 정밀 계측 시스템 및 그 방법
KR102200824B1 (ko) 2020-09-01 2021-01-12 (주)영신디엔씨 카메라 및 가속도센서를 이용한 실시간 파일항타 관입량 및 리바운드량 자동측정시스템

Also Published As

Publication number Publication date
WO2022220414A1 (ko) 2022-10-20
CN117480356A (zh) 2024-01-30
US20240202898A1 (en) 2024-06-20
KR20220141160A (ko) 2022-10-19

Similar Documents

Publication Publication Date Title
Ma et al. Real‐time structural displacement estimation by fusing asynchronous acceleration and computer vision measurements
KR102565719B1 (ko) 비동기 자연 표적 영상 계측데이터와 가속도 데이터의 융합에 기초한 구조물 변위 측정 방법 및 이를 위한 시스템
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US10366500B2 (en) Autonomous characterization of water flow from surface water velocity
JP4809291B2 (ja) 計測装置及びプログラム
US20140168422A1 (en) Displacement monitoring system having vibration cancellation capabilities
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
KR101885961B1 (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
CN112630729B (zh) 一种基于热电堆传感器定位和跟踪室内人类目标的方法
Macdonald et al. Real-time remote monitoring of dynamic displacements by computer vision
JPWO2017221965A1 (ja) 状態判定装置、状態判定方法、及びプログラム
KR101387876B1 (ko) 구조물 변위 측정 시스템 및 방법
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
CN111723597B (zh) 跟踪算法的精度检测方法、装置、计算机设备和存储介质
JP2006318064A (ja) 画像センサ
US9176221B2 (en) Distance estimation in camera-based systems utilizing motion measurement and compression attributes
CN107270904B (zh) 基于图像配准的无人机辅助引导控制系统及方法
JP5267100B2 (ja) 運動推定装置及びプログラム
Rodriguez et al. Optical analysis of strength tests based on block‐matching techniques
JP2019002790A (ja) 形状推定装置、形状推定方法及びプログラム
JP6739367B2 (ja) カメラ装置
KR20180008066A (ko) 단일 카메라를 이용한 구조물의 3차원 변위 측정 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant