KR102445865B1 - 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents

영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR102445865B1
KR102445865B1 KR1020220024744A KR20220024744A KR102445865B1 KR 102445865 B1 KR102445865 B1 KR 102445865B1 KR 1020220024744 A KR1020220024744 A KR 1020220024744A KR 20220024744 A KR20220024744 A KR 20220024744A KR 102445865 B1 KR102445865 B1 KR 102445865B1
Authority
KR
South Korea
Prior art keywords
image
feature
feature point
cameras
displacement measurement
Prior art date
Application number
KR1020220024744A
Other languages
English (en)
Inventor
정문경
고영훈
서승환
박종배
Original Assignee
한국건설기술연구원
주식회사 케이티앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원, 주식회사 케이티앤씨 filed Critical 한국건설기술연구원
Priority to KR1020220024744A priority Critical patent/KR102445865B1/ko
Application granted granted Critical
Publication of KR102445865B1 publication Critical patent/KR102445865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 영상기반 토목 구조물 실시간 변위계측 시스템은, 영상 획득부, 특징점 검출부, 특징점 정합부, 특징점 추적부, 및 변위 검출부를 포함한다. 영상 획득부는 복수의 카메라를 이용하여 구조물의 영상을 획득하고, 특징점 검출부는 복수 영상에서 각각 복수의 특징점을 각각 검출하고, 특징점 정합부는 서로 다른 영상에서 각각 검출된 복수의 특징점을 정합하고, 특징점 추적부는 정합된 특징점들의 거동을 추적하며, 변위 검출부는 정합된 특징점들의 거동에 대한 정보를 이용하여 구조물의 변위 정보를 산출한다.

Description

영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {Image-based civil structure real-time displacement measurement system, method, and a recording medium recording a computer-readable program for executing the method}
본 발명은 구조물 계측 관련 기술에 관한 것으로서, 더욱 상세하게는 영상을 기반으로 토목 구조물의 실시간 변위계측을 수행하기 위한 시스템 및 방법에 관한 것이다.
통상적으로 건설현장의 안전도 모니터링 활동에는 변형률계가 사용되고, 사용성 모니터링 활동에서는 가속도계나 변위계가 사용된다. 따라서, 구조물의 안전성을 평가하기 위해 구조물의 각 위치에서 발생하는 변형률과 응력을 추정하는 것은 매우 중요하다.
이때, 구조물의 모든 위치에서 응력을 측정하기는 어려우므로, 구조해석을 통해 큰 응력이 나타나는 부위들을 찾아내고, 그러한 지점들에 변형률 센서들을 부착하여 계측 값들을 기초로 구조 해석하여 변형률과 응력을 산출할 수 있다.
하지만, 실제 구조물에서 구조물에 가해지는 하중의 위치와 크기를 정확히 알기 어렵고 지점 조건(support conditions)도 불확실하므로, 구조 해석의 결과를 충분히 신뢰하기 어렵다는 점과, 센서들이 유선으로 연결되므로 배선이 복잡하고 계측 위치들이 제한된다는 문제점이 있다.
또한, 기존 건설현장 계측시스템은 설치지점의 경향성만 살피는 등 전체의 변형을 모니터링에 반영하지 못하고, 기존 접촉식 계측은 계측지점간 면적 또는 공간의 변형정보는 보간을 통해서 추정하는 등 한계를 가진다.
KR 101283413 B1
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 센서의 설치 위치에 구애받지 않고서도 공백 영역 없이 구조물 전체 지점의 변형을 용이하고 신뢰성 있게 계측할 수 있는 계측 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 영상기반 토목 구조물 실시간 변위계측 시스템은, 영상 획득부, 특징점 검출부, 특징점 정합부, 특징점 추적부, 및 변위 검출부를 포함한다.
영상 획득부는 복수의 카메라를 이용하여 구조물의 영상을 획득하고, 특징점 검출부는 복수 영상에서 각각 복수의 특징점을 각각 검출하고, 특징점 정합부는 서로 다른 영상에서 각각 검출된 복수의 특징점을 정합하고, 특징점 추적부는 정합된 특징점들의 거동을 추적하며, 변위 검출부는 정합된 특징점들의 거동에 대한 정보를 이용하여 구조물의 변위 정보를 산출한다.
이와 같은 구성에 의하면, 별도의 센서나 마커 등의 장치가 없이도 구조물의 변위를 측정할 수 있으며, 공백 영역 없이 구조물 전체 지점의 실시간 변위를 보다 용이하고 신뢰성 있게 계측할 수 있게 된다.
이때, 복수의 카메라의 변위 정보를 획득하는 카메라 변위 검출부를 더 포함하고, 카메라 변위 정보를 이용하여 특징점을 보정하는 특징점 보정부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 서로 이격된 카메라 자체에 각각 변위가 발생하는 경우에도 이를 반영하여 보다 정확하게 구조물의 변위를 측정할 수 있게 된다.
또한, 복수의 카메라는 영상 획득 영역이 다른 카메라와 일부만 중첩되도록 배치될 수 있다. 이와 같은 구성에 의하면, 복수의 카메라를 보다 효과적으로 배치하여 측정의 정밀도를 개선할 수 있게 된다.
또한, 복수의 카메라는 2개의 카메라일 수 있다. 이와 같은 구성에 의하면, 가장 단순한 형태의 시스템인 stereo camera system을 이용함으로써, 서로 다른 시야의 단안 카메라 2개의 영상 정보로부터 삼각 측량 기법을 적용하여 대상물의 거리 정보를 얻을 수 있게 된다.
또한, 특징점 추적부는 특징점들의 개별 거동을 추적할 수 있으며, 특징점들의 전체 거동을 더 추적할 수 있다. 이와 같은 구성에 의하면, 구조물 내에서의 부분 변위는 물론 구조물 전체의 변위까지 효과적으로 측정할 수 있게 된다.
또한, 구조물의 변위 정보가 미리 설정된 기준 범위를 벗어나는 경우 위험 신호를 출력하는 위험 신호 출력부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 구조물에서의 변위 상태에 따라 관리자가 신속하게 대응할 수 있게 된다.
또한, 획득된 영상의 화질을 개선하는 화질 개선부를 더 포함할 수 있다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.
본 발명에 의하면, 별도의 센서나 마커 등의 장치가 없이도 구조물의 변위를 측정할 수 있으며, 공백 영역 없이 구조물 전체 지점의 실시간 변위를 보다 용이하고 신뢰성 있게 계측할 수 있게 된다.
또한, 서로 이격된 카메라 자체에 각각 변위가 발생하는 경우에도 이를 반영하여 보다 정확하게 구조물의 변위를 측정할 수 있게 된다.
또한, 복수의 카메라를 보다 효과적으로 배치하여 측정의 정밀도를 개선할 수 있게 된다.
또한, 가장 단순한 형태의 시스템인 stereo camera system을 이용함으로써, 서로 다른 시야의 단안 카메라 2개의 영상 정보로부터 삼각 측량 기법을 적용하여 대상물의 거리 정보를 얻을 수 있게 된다.
또한, 구조물 내에서의 부분 변위는 물론 구조물 전체의 변위까지 효과적으로 측정할 수 있게 된다.
또한, 구조물에서의 변위 상태에 따라 관리자가 신속하게 대응할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상기반 토목 구조물 실시간 변위계측 시스템의 개략적인 블록도.
도 2는 스테레오 카메라의 에피폴라 기하(Epipolar Geometry)를 설명하기 위한 도면.
도 3은 스테레오 정렬을 설명하기 위한 도면.
도 4는 정렬된 에피폴라라인(Epipolar Line)을 설명하기 위한 도면.
도 5는 스테레오 카메라의 거리에 따른 시차변동곡선을 도시한 도면.
도 6은 매칭비용(Matching Cost/or Score) 함수의 예를 도시한 도면.
도 7은 Epipolar line을 이용한 Block Matching을 설명하기 위한 도면.
도 8은 3차원 및 거리맵 복원절차를 설명하기 위한 도면.
도 9는 가우시안 및 DoG 영상 형성과 특징점의 예시를 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 영상기반 토목 구조물 실시간 변위계측 방법의 시스템 알고리즘을 도시한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상기반 토목 구조물 실시간 변위계측 시스템의 개략적인 블록도이다. 도 1에서 영상기반 토목 구조물 실시간 변위계측 시스템은 영상 획득부(110), 특징점 검출부(120), 특징점 정합부(130), 특징점 추적부(140), 변위 검출부(150), 카메라 변위 검출부(160), 특징점 보정부(170), 위험 신호 출력부(180), 및 화질 개선부(190)를 포함한다.
영상 획득부(110)는 복수의 카메라를 이용하여 구조물의 영상을 획득한다. 이때, 복수의 카메라는 영상 획득 영역이 다른 카메라와 일부만 중첩될 수 있다. 이와 같은 구성에 의하면, 복수의 카메라를 보다 효과적으로 배치하여 측정의 정밀도를 개선할 수 있게 된다.
또한, 복수의 카메라는 2개의 카메라일 수 있다. 이와 같은 구성에 의하면, 가장 단순한 형태의 시스템인 stereo camera system을 이용함으로써, 서로 다른 시야의 단안 카메라 2개의 영상 정보로부터 삼각 측량 기법을 적용하여 대상물의 거리 정보를 얻을 수 있게 된다. 스테레오 카메라(Stereo Camera) 모델에 보다 구체적으로 설명하면 다음과 같다.
촬영대상 세계의 3차원 객체에서, 시야에 보이는 부분의 3차원 좌표는 영상의 2차원 좌표로 투영(projection)될 수 있으나, 2차원의 영상좌표는 3차원 좌표로 역투영(reprojection)될 수 없다. 동일 투영라인에 위치한 서로 거리가 다른 모든 3차원 좌표는 동일한 영상좌표로 투영되기 때문에. 역으로 3차원 위치의 거리부분을 특정할 수 없기 때문이다.
서로 다른 위치에서 2개 이상의 카메라로 동일한 3차원 객체를 촬영한다면. 각 카메라의 2차원 영상좌표로부터 3차원으로 역투영하는 것이 가능하다. 아래에서는 2개의 카메라로 구성된 스테레오 카메라 시스템에서의 투영에 따른 변환과 역투영에 의해 3차원 좌표를 복원하는 과정에 대해 검토해 본다.
1. 에피폴라 기하(Epipolar Geometry)
도 2는 스테레오 카메라의 에피폴라 기하(Epipolar Geometry)를 설명하기 위한 도면이다. 도 2는 스테레오 카메라 시스템에서의 투영관계를 보여준다. 3차원 세계 공간에서의 점P(P')가, 좌우 영상평면에서 각각 p와 p'에 투영되었고, 두 카메라의 원점을 잇는 선과 영상평면이 만나는 점을 각각 e, e'라 하면, e, e'를 epipole이라 하고, 직선 pe, p'e'를 epiline(또는epipolar line)이라 한다.
epiline은 점 P와 두 카메라의 원점을 잇는 삼각형으로 형성되는 epipolar plane이 좌우 각 영상평면과 교차하는 교선과도 같다. 도 2에서 하나의 카메라 A에 점 p로 투영되는 모든 3차원 좌표 P는 다른 카메라 B에서의 epiline 상에 있게 되고, 반대로 B 카메라의 점 p'로 투영되는 모든 3차원의 점 P'는 A 카메라의 epiline 상에 있게 된다. 투영점 p 와 p'가 정규화(normalized)된 영상평면에서의 동축(homogeneous) 좌표라할 때, 다음 관계가 항상 성립한다.
Figure 112022021303962-pat00001
(1)
여기서 3 x 3의 형태를 가지는 E를 Essential matrix라 하고, 식(1)을 epipolar constraint라 한다. 즉, 동일한 3차원점에 대응하는 두 대 카메라에서의 매칭(matching)되는 영상 투영점 사이의 관계를 규정한다. 또한, 동일한 3차원점을 두 대의 카메라에서 각각의 카메라 좌표계 기준으로 볼 때의 3차원 점의 위치를 각각 P, P'라 했을때 다음관계가 성립한다.
Figure 112022021303962-pat00002
(2)
식(1)과 식(2)는 정규화된 영상평면에서의 매칭점들 사이의 관계를 규정하는데, 카메라 내부 파라미터가 포함된 실제 영상평면에서의 매칭점을 Pimg, Pimg'라 한다면, 다음 관계가 항상 성립한다.
Figure 112022021303962-pat00003
(3)
이 3 x 3 형태를 가지는 F를 Fundamental matrix라 부른다. 여기서, 카메라의 내부파라미터를 각각 K, K'라 하면 essential matrix와 fundamental matrix 사이에 다음 관계가 성립한다.
Figure 112022021303962-pat00004
(4)
Figure 112022021303962-pat00005
(5)
이상의 식(1) ~(5)에 의해, E matrix 와 스테레오 카메라 각각의 내부 파라미터 또는 F matrix를 알고 있다면, 카메라 영상의 매칭점으로부터 3차원 세계 좌표점의 위치를 완전히 복원(역투영)할 수 있다.
2. 스테레오 정렬(stereo rectify)
도 3에 스테레오 카메라의 투영과 영상평면의 정렬관계를 나타냈다. 도 3은 스테레오 정렬을 설명하기 위한 도면이다. 영상평면의 정렬(rectification)이란, 각 카메라의 epipole을 무한대로 보내어 epipolar 라인을 영상평면상에서 수평으로 만들고, 각 카메라 epipolarline의 영상평면 내에서의 수직위치를 일치시키는 것과 같다. 이와 같이 하면, 하나의 영상평면에서 투영점에 대해, 다른 카메라 영상평면에서 대응되는 매칭점을 특정할 때 수평위치만 고려하면 되기 때문에 매칭쌍을 찾는 속도면에서 유용하고, 잘못 매칭될 가능성을 경감할 수 있다. 이 과정을 도 4에 보였다. 도 4는 정렬된 에피폴라라인(Epipolar Line)을 설명하기 위한 도면이다.
도 4에서 스테레오 카메라를 구성하고 있는 두 대의 카메라간의 간격을 T, 카메라 원점을 잇는 기준선에서 3차원 좌표점의 Z축 방향거리를 Z, 카메라의 초점거리를 f, 3차원 세계 좌표점에 대한 좌우 카메라 각각의 영상 좌표점을 xl, xr이라 하면. 다음이 성립한다.
Figure 112022021303962-pat00006
(6)
Z에 대해 정리하면,
Figure 112022021303962-pat00007
(7)
식(7)에서 d는 3차원 세계 좌표점에 대한 좌우 카메라 영상에서 매칭되는 영상점의 'x' 좌표값의 차이며 '시차(disparity)'라 한다. 이와 같이 매칭쌍을 찾은 후 시차를 계산하면 그로부터 3차원 세계의 좌표점을 특정할 수 있다. 영상내의 모든 매칭쌍들에 대해 3차원 세계 좌표를 복원하면 결국 스테레오로 얻은 2차원 영상으로부터 3차원 세계 좌표를 복원할 수 있게 되는 것이다. 식(7)을 시차 d에 대해 정리하고, 거리변화 Z에 대한 시차의 변화 즉, 시차의 거리에 대한 미분을 보면 식(8)과 같다.
Figure 112022021303962-pat00008
(8)
시차는 거리에 반비례하기 때문에, 거리변화에 대한 시차의 변화는 거리의 제곱에 반비례하여 거리가 멀어질수록 시차는 더 작아진다. 카메라 간격 T에 따른 시차변동의 예를 도 5에 그래프로 나타냈다. 도 5는 스테레오 카메라의 거리에 따른 시차변동곡선을 도시한 도면이다.
도 5는 카메라 렌즈 초점거리 12mm, 피사체거리 30m, 픽셀크기 345um이고, 카메라 간격 T를 각 9m, 12m, 15m로 설정했을 경우, 피사체거리가 30m에서 1mm씩 변동할 때 시차변동을 각각 보여준다. 스테레오 카메라의 간격 T가 12m라면 거리 5mm 변할 때 시차변동은 약 0.23 픽셀로 변동량이 상당히 작음을 알 수 있다.
3. 시차지도(disparity map)
스테레오 영상에서. 서로 대응되는 매칭쌍들을 찾아 시차맵을 얻을 수 있다. 매칭쌍을 찾는 방법에 따라 지역적, 전역적 등으로 구분되어지는데 대표적으로는. BM(block matching), DP(dynamic programming), GC(graph cuts)같은 방법들이 있다.
BM은 관심 있는 매칭점들 주위의 소규모 화소집단에 대해. 제약조건들을 이용하여 매칭쌍을 찾는 방법이고, DP와 GC는 매칭점들을 찾는 라인 전체 또는 전체 영상 내에서의 제약조건들을 이용하는 방법이다. 제약조건에는 다음과 같은 것들이 있다.
- Epipolar 제약: 대응되는 점은 epistolary line 상에 있다.
- 유사성(similarity): 대응된 화소의 밝기, 색상정보는 유사하다.
- 유일성(uniqueness): 대응되는 화소는 유일하게 결정된다.
- 연속성(continuity): 이웃하는 대응점의 시차는 비슷하다.
- 순차성(ordering): 대응되는 점의 위치는 연속된다.
매칭쌍을 찾는 방법 중 하나인, SGBM(Semi-Global Block Matching)은 공개소스(OpenCV)로 구현되어 있는데. 이러한 제약사항들을 사용하는 방법을 잘 보여 준다. SGBM은 다음과 같이 크게 3가지의 단계를 따라 매칭쌍을 찾아 시차지도를 작성한다.
- 전처리: prefiltering, normalize, enhancement 등 보다 용이하고 강건한 매칭쌍들을 찾을 수 있도록 영상특성을 보강
- 매칭쌍 탐색: epipolar line 상에서 SAD 창을 사용하여 탐색
- 후처리: 제약조건들을 검사하여 잘못 매칭된 쌍들을 제거
여기서, SAD(Sum of Absolute Difference)창 탐색은, 좌(또는 우) 영상에서 선택한 화소 주위로, 사전에 정의된 크기의 사각창을 설정하고, 우(또는좌)영상에서 대응하는 화소를 찾기 위해, 동일한 크기의 사각창을 epiline을 따라 미끄러져 가며 좌우 영상의 사각창내의 화소들에 대해 서로 차를 계산한 후 전체를 합산하여 그 값이 가장 작게 되는 경우에 매칭쌍으로 선정하는 방식이다.
창의 크기는 최소 5 x 5에서 최대 21 x 21까지 설정할 수 있다. 시차지도의 정밀도를 화소단위보다 더 작게 계산해야할 경우에는 SAD가 최소가 되는 화소를 찾은 후, 인접한 화소에서의 값과 보간하는 방법으로 하여 화소단위 이하(sub-pixel)의 정밀한 시차값 추정이 가능하다.
도 6에 블록단위의 유사도 계산을 통하여 매칭쌍을 선정하는데 많이 사용되는 함수의 예를 들었다. 매칭함수는 비용(cost) 또는 득점(score) 형태로, 함수에 따라 값이 가장 작게 나오거나 최대인 경우를 매칭쌍으로 선정한다. 도 6은 매칭비용(Matching Cost/or Score) 함수의 예를 도시한 도면이다.
도 7에 epipolarline상에서 matching score 함수를 사용 블록단위로 미끄러져 이동해가며 비교하여 매칭쌍을 찾는 개념도를 보였다. 도 7은 Epipolar line을 이용한 Block Matching을 설명하기 위한 도면이다.
4. 깊이지도(Depth map) 및 3차원 역투영(3D Reprojection)
스테레오 영상에서 시차지도가 얻어지면, 스테레오 교정(calibration) 및 정렬(rectification) 과정에서 구해지는 파라미터들을 이용하여 3차원 세계좌표로 역투영(reprojection)하여 영상의 각 화소에 대응하는 투영 전의 3차원 좌표값, 또는 거리(깊이)정보를 계산해 낼 수 있다. 식 (9는)는 3차원 역투영행렬에 의해 3차원 좌표를 복원하는 과정을 보여준다.
Figure 112022021303962-pat00009
(9)
여기서, [XYZW]T는 3차원 동차좌표계이므로, (X/W, Y/W, Z/W)로 하여 3차원 좌표로 바꿀 수 있다. Q 행렬에서 cx, cy는 주점의 좌표, cx'는 다른 카메라 주점의 x 좌표, Tx는 스테레오 카메라의 설치간격, f는 정렬된 카메라에서의 초점거리를 각각 나타낸다. Q행열의 우측에서 곱해지는 행렬은, 영상좌표에 대응하는 x, y 좌표에서의 시차값으로. 'disparity(x, y)'를 가지는 시차맵이다. 도 8에 3차원 형상 및 거리맵 정보를 복원하는 과정을 보였다. 도 8은 3차원 및 거리맵 복원절차를 설명하기 위한 도면이다.
특징점 검출부(120)는 복수 영상에서 각각 복수의 특징점을 각각 검출하고, 특징점 정합부(130)는 서로 다른 영상에서 각각 검출된 복수의 특징점을 정합한다. 특징점 정합(Keypoint Matching)을 보다 구체적으로 설명하면 다음과 같다.
시차지도를 생성하는데 있어, 스테레오 카메라에서 얻어지는 한 쌍의 두 영상에서 서로 쌍인 대응점들을 찾는 과정이 선행되어야 하는데, 앞서 설명된 BM이나 SGBM처럼 통합된 방법외에, 대응점들을 찾기 위한 방법들이 여럿 제시되어 있다.
대응점은 영상에서 현저한 특징을 가지고 있어 다른 점들과 잘 구분될 경우 서로 쌍으로 결정하기 용이하다. 특징에 기반하지 않고, 영상내의 모든 점들이나 모든 점들을 일정한 간격으로 두고 선택하는 방법도 있으나, 본 발명에서는 그 중 특징을 이용하는 방법으로 사용되는 것들을 검토해 보았다.
특징점 매칭 과정은 3단계로 구분할 수 있다. 어떤 것을 특징으로할 것인지에 따른 특징규정 및 검출단계(detection), 검출된 특징점을 표현하는 특징 기술단계(description), 표현된 특징점을 비교하여 유사도를 평가하고. 대응쌍으로 매칭하는 단계(matching)로 구분한다. 특징점의 규정 및 표현을 하나로 통합시킨 방법들도 있으나 각각을 독립적으로 살펴보았다.
1. 특징점 검출(Keypoint Detection)
영상에서. 다른 부분과 구별되어 고유하게 특정할 수 있는 점들을 특징점으로 삼을 수 있다. 모서리(corner)점들은 평탄한(flat) 부분과 경계(edge) 부분과는 달리 고유한 특징들을 가지고 있어 다른 부분과 변별력 있게 검출할 수 있다. HARRIS, GFTT(Good Feature To Track), FAST(Features from Accelerated Segment Test)등이 모서리를 특징점으로 검출하는 방법들이다.
HARRIS는 영상의 일부 작은 영역이 모든 방향에 대해 변화가 큰 경우 코너로 규정한다. 영상의 수평 및 수직 방향으로 경사(gradient)를 구하고, 경사에 대한 행렬을 구성한 후 응답함수를 반환하여 모서리점 여부를 판단한다. 응답함수는 행렬에 대한 2개의 고유값(eigen value)으로 표현되는데 고유값이 서로 크고 비슷하면 모서리로 인정한다.
GFTT는 HARRIS 모서리검출을 개선한 방법이다. 응답함수에서 구한 2개의 고유값에 대해서, 고유값 중 작은 값이 일정기준(threshold)을 넘을 경우 모서리로 판단한다. 실제의 모서리 부분에서는 인접한 점에서도 동일하게 모서리점으로 인정될 수 있으나, 인접한 여러 점이 모서리점으로 검출될 경우 비최대억제(NMS, Non Maximum Suppression)방법을 사용하여 가장 큰 값을 가진 점을 모서리점으로 특정한다.
FAST는 HARRIS, GFTT와는 조금 다른 방법을 사용한다. 영상 내 어떤 점을 기준으로 기준점과 주변에 있는 화소의 값을 비교하여, 주변 화소값들의 기준점 화소값에 대한 차이가 특정 기준값(threshold)보다 크거나 작은 것이 몇 개 이상 연속적으로 반복되는가에 따라 특징점으로 검출하는 방법이다.
일반적으로, 기준점을 중심으로 반경 3을 취하여, 반경 3 위치에 있는 주변 화소의 수 총 16개 중에서, 큰 것 또는 작은 것이 연속 9개에서 12개 정도가 나타날 때를 모서리점으로 선택한다. HARRIS와 GFTT가 영상의 경사값(2차미분)을 수평, 수직, 대각 방향으로 구한 후, 고유치를 계산하여야 하는데 비해, GFTT는 주변 화소와의 단순 비교동작만을 하기때문에 연산속도면에서 매우 빠르게 동작한다.
HARRIS, GFTT 및 FAST가 모서리의 이동 회전변화에는 강인하지만, 크기변화에 취약하다는 점을 개선한 것으로, DoG(Difference of Gaussian), Fast HESSIAN, BRISK(Binary Robust Invariant Scalable Keypoints), ORB(Oriented FAST and Rotated BRiEF), KAZE, AKAZE(Accelerated KAZE) 등의 방법이 있는데, 하나씩 살펴보도록 한다.
DoG는 3단계의 과정을 거친다. 첫째로, 주어진 영상을 가우시안 필터를 통해 점진적으로 선예도를 떨어뜨리는(blurring) 스케일 영상을 만들고, 스케일이 2가 되었을 때 영상의 크기를 1/2로 축소시키는 과정을 통하여 스케일 공간영상(scale space image, 또는 image pyramid)을 구성한다. 스케일이 다르고. 같은 크기인 영상군을 옥타브(octave)영상이라 한다.
둘째로, 크기가 같은 영상군 내에서 인접한 영상간에 차영상(DoG)을 구한다. 셋째로. 구해진 차영상에서 주변 화소값보다 작거나 큰 국지최소 또는 국지최대값을 다 구한 후, 각각이 2개의 인접한 차영상에서 같은 화소 위치의 인접한 화소값보다 국지최소 또는 국지최대값인지 추가로 확인하여, 총 26개의 인접화소대비 크거나 같을 경우 특징점으로 선택한다..
도 9에 DoG 영상형성 및 특징점 예를 나타냈다. DoG 특징점 검출방법은 선예도가 다른 영상 및 크기가 다른 영상에서 공통적으로 검출되는 점을 특징점으로 하기 때문에 각도 등의 작은 변화에 대해 강건한 검출능력을 가졌으나 연산량이 많아 실시간 처리에는 적합하지 않다. 문헌(OpenCV 등)에서 SiFT라 표현된 기법에서의 특징점 검출방법 부분은 DoG를 의미한다. 도 9는 가우시안 및 DoG 영상 형성과 특징점의 예시를 도시한 도면이다.
DoG와 SiFT의 관계와 유사하게, Fast HESSIAN은 SURF 기법이 기반으로 하고 있는 특징점 검출방법이다. DoG를 근사적 방법으로 구하여 속도를 빠르게 하였고, DoG와 다르게 국지최소 또는 최대값을 취하지 않고, 국지최대값만을 특징점으로 선택한다. DoG와 유사하게 영상에서의 경계 또는 모서리를 검출한다.
BRiSK는 FAST를 크기변화에 대해서도 강건하게 하기 위해서 Dog에서 사용한 것과 유사하게 여러 단계의 크기가 다른 영상으로 image pyramid를 구성하고, 중심으로부터 반경 3인 위치의 화소들에 대해, 연속적으로 9개의 화소값이 중심 화소값보다 크거나 작은지를 판단한다. 연산속도가 빨라 실시간 처리에 적합하다.
ORB는 FAST의 또다른 변형이다. BRiSK의 방법에서 선정된 특징점에 대해, HARRIS의 방법과 같은 고유값을 적용하여 순위를 매긴 후 특정순위(예: 500) 이하는 버린다. 그리고 3번째 단계로 특징점 부위의 영상조각에 대해 image centroid를 구하여 회전에 대한 강건성을 부가하였다.
KAZE는 DoG를 바탕으로 한 기존의 스케일공간 특징점 검출방법이 잡음제거뿐만 아니라 물체의 세부사항(detail) 역시 약화시켜, 특징점의 위치를 찾는데 어려움이 있다는 점을 개선하였다. KAZE는 AOS(additive operator splitting) 기법으로 구성한 비선형 스케일공간에서 비선형 확신필터링으로 특징점을 검출하여 특징점의 위치도 더 명확하게 찾고 다른 특징점과의 분별도 더 명확하게할 수 있다. AKAZE는 KAZE의 연산속도를 빠르게 하기 위해 이진화시킨 버전으로 볼 수 있다.
2. 특징점 기술(Key point description)
검출한 특징점을 기술할 때는 특징점 주변의 화소들을 포함한 작은 영상조각에 대하여 특징을 표현한다. SiFT(Scale Invariant Feature Transform), RootSiFT, SURF(Speeded Up robust Features), KAZE 등의 실수형(real valued) 기술자(descriptor)와 Brief(Binary Robust Independent Elementary Features), ORB, BRISK, FREAK(Fast Retina Key point)등의이진형(binary valued) 기술자가 있다. KAZE, ORB 및 BRiSK 같은 경우 특징점 추출방법과 기술자가 같은 기법 내에 구현되어 있어 특징점 검출과 특징점 기술 양쪽에 걸쳐 이름이 보인다.
여기서는 특징점 기술자로 SiFT, RootSiFT 및 SURF에 대해 간략히 살펴볼 것이다. SiFT는 특징점을 중심으로 주변의 16x16개의 화소를 선정하고, 선택영역을 4x 4의 작은 영역 16개로 다시 분할한다. 각 분할된 영역 내의 화소값들에 대해 경사(gradient)의 크기와 방향을 각각 계산하고, 방향에 따라 8개 방향으로 분류하여 크기를 합산한다.
결과적으로 하나의 특징점에 대해 128개(4 x 4 x 8)의 특징기술자(또는, 128차원 특징벡터)가 생성된다. 생성된 전체 특징기술자는 L2-정규화(L2 Normalize)과정을 거치고 매칭단계에서는 이 정규화된 128차원 특징벡터를 하나의 단위로하여 비교한다.
RootSiFT는 SiFT를 바탕으로 하되 매칭시의 정밀도를 높이기 위한 방법으로 고안되었다. SiFT에서 구한 128차원 특징벡터를 L1으로 정규화한 후, 특징벡터의 각 요소를 제곱하여 구성한 것을 새로운 특징벡터로 한다. 원래 SiFT의 단순한 변형인데도 정밀도에 상당한 개선효과를 볼 수 있다.
SURF는 특징점을 중심으로 하여 주변을 4 x 4의 작은 영역으로 나누되, 각 소영역 내에 균일하게 분포된 5 x 5의 샘플점을 포함하도록 구획한다. 5 x 5의 샘플점을 가진 소영역에 Harr wavelet 필터를 적용하여 수평, 수직방향의 응답(필터출력)을 얻고, 각 응답에 대한 절대값을 취한 것을 별도로 계산한다. 수평과 수직방향에 대한 응답 및 그 절대값을 방향별로 각각 합산하여 하나의 소영역에 대해 4개의 기술자를 얻는다.
4 x 4개의 소구역에 대해 각각 4개의 특징기술자를 가지므로 하나의 특징점에 대해 64개(4x4x4)의 특징기술자(또는 64차원의 특징벡터)를 얻게 되고, 최종적으로는 64개의 특징벡터를 L2 정규화하여 사용한다. SiFT에 대비하여 연산속도가 빠르고, 특징벡터의 크기도 64차원으로 SiFT의 128차원에 비해 1/2이므로 매칭시에도 SiFT 대비 빠른 연산이 가능하다.
3. 특징점 매칭
특징점은 그 주변을 포함하여 고차원(Sift의 경우 128차원)의 벡터형태로 기술하여 표현할 수 있음을 보았다. 이와 같이 표현된 특징점을 비교하여 서로 얼마나 같은지를 판단하여 특징점이 서로 매칭하는지를 결정할 수 있다.
서로 다른 두 영상에서 각각 특징점 및 특징벡터를 구한 후 서로 비교하는 것에 의하여 두 영상 내에 같은 내용이 포함되어 있는지 검색하는 것도 가능하고, 스테레오 영상일 경우 매칭쌍을 구하여 시차계산을 통해 3차원 형상복원에도 활용한다.
특징점을 매칭하는 방법 중 대표적인 것으로 Bruteforce, Bruteforce-L1, Bruteforce-L2, Bruteforce-Hamming, FLANNbased(Fast Library for Approximate Nearest Neighbors) 등이 있다. Bruteforce-L1은 특징벡터의 유사성을 두 벡터간의 L1 거리차로 판단하는 것으로, 두 벡터를 서로 빼서 절대값을 취한 후 전체를 더한 값으로 처리한다.
맨하탄거리(Manhattan distance)라고도 하며 직선거리의 개념이 아닌 경로가 포함된 거리를 의미한다. Bruteforce-L2는 특징벡터를 서로 뺀 후 제곱을 해서 합산하고 다시 제곱근을 취한값 즉 L2 거리(직선거리개념)로 두 벡터의 유사성을 판단한다.
Bruteforce-Hamming은 Binary 형태의 특징벡터를 비교하여 같은값의 개수로 유사성을 판단하고, FLANNbased는 큰 영상의 특성매칭을 보다 빠르게 하기 위한 라이브러리의 모음을 이용한 방법이다.
매칭방법에는 특징점 검출방법이나 특징점을 기술하는 기술자와 같이 많은 기법들이 제시되어 있지 않고, 특징 기술자에 따라 결정되는 측면도 있어 추가로 별도의 분석은 생략한다.
특징점 추적부(140)는 정합된 특징점들의 거동을 추적한다. 이때, 특징점 추적부(140)는 특징점들의 개별 거동을 추적할 수 있으며, 특징점들의 전체 거동을 더 추적할 수 있다. 이와 같은 구성에 의하면, 구조물 내에서의 부분 변위는 물론 구조물 전체의 변위까지 효과적으로 측정할 수 있게 된다.
변위 검출부(150)는 정합된 특징점들의 거동에 대한 정보를 이용하여 구조물의 변위 정보를 산출한다. 이와 같은 구성에 의하면, 별도의 센서나 마커 등의 장치가 없이도 구조물의 변위를 측정할 수 있으며, 공백 영역 없이 구조물 전체 지점의 실시간 변위를 보다 용이하고 신뢰성 있게 계측할 수 있게 된다.
카메라 변위 검출부(160)는 복수의 카메라의 변위 정보를 획득하고, 특징점 보정부(170)는 카메라 변위 정보를 이용하여 특징점을 보정한다. 이와 같은 구성에 의하면, 서로 이격된 카메라 자체에 변위가 발생하는 경우에도 이를 반영하여 보다 정확하게 구조물의 변위를 측정할 수 있게 된다.
위험 신호 출력부(180)는 구조물의 변위 정보가 미리 설정된 기준 범위를 벗어나는 경우 위험 신호를 출력한다. 이와 같은 구성에 의하면, 구조물에서의 변위 상태에 따라 관리자가 신속하게 대응할 수 있게 된다. 화질 개선부(190)는 획득된 영상의 화질을 개선한다.
도 10은 본 발명의 일 실시예에 따른 영상기반 토목 구조물 실시간 변위계측 방법의 시스템 알고리즘을 도시한 흐름도이다. 도 10에서 먼저, 관심부위 특징점들의 집합을 상호 매칭하고, 개별 특징점들의 위치 변동 및 집합적 위치 변동을 계산한다. 이어서, 상호 매칭된 특징점 부위의 거동 또는 관심부위 전체의 거동을 추적하고, 스테레오 영상에서의 특징점 매칭에 의한 3차원 거동을 추적하는 일상 모니터링을 수행한다. 마지막으로 설정해 놓은 변위 한계에 도달할 경우 위험경보를 알린다.
본 발명은 일반 건축물 및 굴착공사현장의 흙막이시설,　도로사면,　터널과 같은 토목시설물을 대상으로　0.5mm　수준의 거리방향 정밀도로　3차원 측정이 가능하고, 3차원 이미지 영상상관 계산과정 중 자체 및 주변 환경 변화에 강건한　3차원 실시간 영상정보 기반 변위계측 통합 시스템이므로,　높은　3차원 정밀도를 가진다.
또한,　두 대의 카메라로 스테레오 카메라를 구성(2~10m　이내의 기저선 거리 배치)하여 최대　600m2　면적을 실시간으로 모니터링 수행 가능하므로,　대면적 모니터링이 가능하다
또한, 계측할 대상의 거리가 피사계 심도의 경계에 포함되도록 하는 가장 가까운 거리에 카메라의 초점을 맞추고 이러한 상태에서 더 앞쪽의 근거리 쪽 피사계 심도 경계에서 교정용 차트를 이용해 개별 카메라의 교정을 하고, 이 교정 데이터를 이용해 스테레오 카메라의 근거리 교점에서 외부 파라미터를 교정하여, 넓은 기저선을 가지는 스테레오 카메라 교정방법이 가능하다.
또한, 본 발명은 도심지 내 대형 지반굴착 현장의 흙막이 가시설과 인접 건물, 보강토　옹벽 등에 대한 실시간 전면 변위계측과 붕괴위험 감지 용도로 시스템으로의 활용이 가능하다. 도심지 굴착현장에서 각종 모든 공정으로부터 발생 가능한 대규모 붕괴사고를 조기에 방지할 수 있고, 기존 수동 계측시스템 대비 비용 절감 또한 가능한 형태이다.
영상계측 방식은 건축·토목 시설물에 대한 대면적 계측이 가능하므로 기존 계측방식 대비 비용 효과적으로 관리가 가능(약 3.5백만원/대)하고, 실시간 정밀 측정으로 계측관리의 공백이 없다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.
110: 영상 획득부
120: 특징점 검출부
130: 특징점 정합부
140: 특징점 추적부
150: 변위 검출부
160: 카메라 변위 검출부
170: 특징점 보정부
180: 위험 신호 출력부
190: 화질 개선부

Claims (17)

  1. 복수의 카메라를 이용하여 구조물의 영상을 획득하는 영상 획득부;
    상기 복수 영상에서 각각 복수의 특징점을 각각 검출하는 특징점 검출부;
    서로 다른 영상에서 각각 검출된 상기 복수의 특징점을 정합하는 특징점 정합부;
    상기 정합된 특징점들의 거동을 추적하는 특징점 추적부; 및
    상기 정합된 특징점들의 거동에 대한 정보를 이용하여 상기 구조물의 변위 정보를 산출하는 변위 검출부를 포함하는 영상기반 토목 구조물 실시간 변위계측 시스템으로서,
    상기 복수의 카메라는 2개의 카메라이고,
    상기 특징점은 상기 구조물에 대응하여 미리 설정되지 않은 임의의 점이고,
    상기 특징점 검출부는 상기 복수 영상에서 각각 다른 부분과 구별되어 고유하게 특정할 수 있는 점들에 대한 특징을 규정한 특징규정에 따라 상기 특징점을 검출하고,
    상기 특징점 정합부는 검출된 상기 특징점을 표현하는 특징을 기술하되, 상기 특징점 주변 미리 설정된 영역의 화소들을 포함한 영상조각에 대하여 특징을 표현함으로써 상기 특징을 기술하고,
    기술된 상기 특징을 이용하여 다른 영상의 특징점들과 서로 비교하여 유사도를 평가하고, 유사도가 가장 높은 특징점들을 상기 2개의 카메라에 의한 스테레오 영상에서의 대응쌍으로 매칭하며,
    상기 영상으로부터 상기 복수의 카메라의 변위 정보를 획득하는 카메라 변위 검출부; 및
    상기 카메라 변위 정보를 이용하여 상기 특징점을 보정하는 특징점 보정부를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 복수의 카메라는 영상 획득 영역이 다른 카메라와 일부만 중첩되도록 배치되는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  4. 삭제
  5. 청구항 3에 있어서,
    상기 특징점 추적부는 상기 특징점들의 개별 거동을 추적하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  6. 청구항 5에 있어서,
    상기 특징점 추적부는 상기 특징점들의 전체 거동을 더 추적하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  7. 청구항 6에 있어서,
    상기 구조물의 변위 정보가 미리 설정된 기준 범위를 벗어나는 경우 위험 신호를 출력하는 위험 신호 출력부를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  8. 청구항 7에 있어서,
    상기 획득된 영상의 화질을 개선하는 화질 개선부를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 시스템.
  9. 영상기반 토목 구조물 실시간 변위계측 시스템이 수행하는 변위 계측 방법으로서,
    복수의 카메라를 이용하여 구조물의 영상을 획득하는 영상 획득 단계;
    상기 복수 영상에서 각각 복수의 특징점을 각각 검출하는 특징점 검출 단계;
    서로 다른 영상에서 각각 검출된 상기 복수의 특징점을 정합하는 특징점 정합 단계;
    상기 정합된 특징점들의 거동을 추적하는 특징점 추적 단계; 및
    상기 정합된 특징점들의 거동에 대한 정보를 이용하여 상기 구조물의 변위 정보를 산출하는 변위 검출 단계를 포함하는 영상기반 토목 구조물 실시간 변위계측 방법으로서,
    상기 복수의 카메라는 2개의 카메라이고,
    상기 특징점은 상기 구조물에 대응하여 미리 설정되지 않은 임의의 점이고,
    상기 특징점 검출 단계는 상기 복수 영상에서 각각 다른 부분과 구별되어 고유하게 특정할 수 있는 점들에 대한 특징을 규정한 특징규정에 따라 상기 특징점을 검출하고,
    상기 특징점 정합 단계는 검출된 상기 특징점을 표현하는 특징을 기술하되, 상기 특징점 주변 미리 설정된 영역의 화소들을 포함한 영상조각에 대하여 특징을 표현함으로써 상기 특징을 기술하고,
    기술된 상기 특징을 이용하여 다른 영상의 특징점들과 서로 비교하여 유사도를 평가하고, 유사도가 가장 높은 특징점들을 상기 2개의 카메라에 의한 스테레오 영상에서의 대응쌍으로 매칭하며,
    상기 복수의 카메라의 변위 정보를 획득하는 카메라 변위 검출 단계; 및
    상기 카메라 변위 정보를 이용하여 상기 특징점을 보정하는 특징점 보정 단계를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  10. 삭제
  11. 청구항 9에 있어서,
    상기 복수의 카메라는 영상 획득 영역이 다른 카메라와 일부만 중첩되는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  12. 삭제
  13. 청구항 11에 있어서,
    상기 특징점 추적 단계는 상기 특징점들의 개별 거동을 추적하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  14. 청구항 13에 있어서,
    상기 특징점 추적 단계는 상기 특징점들의 전체 거동을 더 추적하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  15. 청구항 14에 있어서,
    상기 구조물의 변위 정보가 미리 설정된 기준 범위를 벗어나는 경우 위험 신호를 출력하는 위험 신호 출력 단계를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  16. 청구항 15에 있어서,
    상기 획득된 영상의 화질을 개선하는 화질 개선 단계를 더 포함하는 것을 특징으로 하는 영상기반 토목 구조물 실시간 변위계측 방법.
  17. 청구항 9, 11, 13 내지 16 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.

KR1020220024744A 2022-02-25 2022-02-25 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 KR102445865B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220024744A KR102445865B1 (ko) 2022-02-25 2022-02-25 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220024744A KR102445865B1 (ko) 2022-02-25 2022-02-25 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Publications (1)

Publication Number Publication Date
KR102445865B1 true KR102445865B1 (ko) 2022-09-21

Family

ID=83452856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220024744A KR102445865B1 (ko) 2022-02-25 2022-02-25 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR102445865B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132913A (zh) * 2023-10-26 2023-11-28 山东科技大学 基于无人机遥感与特征识别匹配的地表水平位移计算方法
CN118089576A (zh) * 2024-01-26 2024-05-28 西南交通大学 基于三维激光扫描的桥墩建造质量非接触快速检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726009B1 (ko) * 2006-10-13 2007-06-08 최성환 구조물의 변위 측정 시스템 및 방법
KR101018518B1 (ko) * 2008-09-24 2011-03-03 한양대학교 산학협력단 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
KR101130482B1 (ko) * 2011-07-07 2012-03-27 순천대학교 산학협력단 사진측량을 이용한 구조물 진동의 3차원 측정 방법
KR101283413B1 (ko) 2013-01-04 2013-07-08 (주)대우건설 적외선 열화상 카메라를 이용한 구조물의 3차원 실시간 영상계측 모니터링 시스템
KR101309443B1 (ko) * 2010-11-15 2013-10-04 연세대학교 산학협력단 모션 캡처를 이용한 구조물 모니터링 장치 및 방법
KR102107145B1 (ko) * 2018-04-25 2020-05-06 경북대학교 산학협력단 구조물 변형 측정 장치 및 방법, 기록 매체

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726009B1 (ko) * 2006-10-13 2007-06-08 최성환 구조물의 변위 측정 시스템 및 방법
KR101018518B1 (ko) * 2008-09-24 2011-03-03 한양대학교 산학협력단 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
KR101309443B1 (ko) * 2010-11-15 2013-10-04 연세대학교 산학협력단 모션 캡처를 이용한 구조물 모니터링 장치 및 방법
KR101130482B1 (ko) * 2011-07-07 2012-03-27 순천대학교 산학협력단 사진측량을 이용한 구조물 진동의 3차원 측정 방법
KR101283413B1 (ko) 2013-01-04 2013-07-08 (주)대우건설 적외선 열화상 카메라를 이용한 구조물의 3차원 실시간 영상계측 모니터링 시스템
KR102107145B1 (ko) * 2018-04-25 2020-05-06 경북대학교 산학협력단 구조물 변형 측정 장치 및 방법, 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132913A (zh) * 2023-10-26 2023-11-28 山东科技大学 基于无人机遥感与特征识别匹配的地表水平位移计算方法
CN117132913B (zh) * 2023-10-26 2024-01-26 山东科技大学 基于无人机遥感与特征识别匹配的地表水平位移计算方法
CN118089576A (zh) * 2024-01-26 2024-05-28 西南交通大学 基于三维激光扫描的桥墩建造质量非接触快速检测方法

Similar Documents

Publication Publication Date Title
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
KR102445865B1 (ko) 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
Kurka et al. Applications of image processing in robotics and instrumentation
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
CN103959307B (zh) 从灰度图像中检测和描述特征的方法
US7764284B2 (en) Method and system for detecting and evaluating 3D changes from images and a 3D reference model
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN107590444B (zh) 静态障碍物的检测方法、装置及存储介质
CN107492107B (zh) 基于平面与空间信息融合的物体识别与重建方法
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
Bethmann et al. Object-based multi-image semi-global matching–concept and first results
Dhiman et al. Road surface distress detection in disparity space
CN113706635B (zh) 一种基于点特征和线特征融合的长焦距相机标定方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN114821497A (zh) 目标物位置的确定方法、装置、设备及存储介质
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
JPWO2020075237A1 (ja) 画像処理装置および画像処理方法
US11748876B2 (en) Joint surface safety evaluation apparatus
Petitpas et al. Roughness measurement from multi-stereo reconstruction
Dal Poz et al. RANSAC-based segmentation for building roof face detection in lidar point cloud
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.
CN116704138B (zh) 倾斜摄影三维模型的建立方法及装置
Pirahansiah et al. Camera calibration for multi-modal robot vision based on image quality assessment