KR102463522B1 - 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법. - Google Patents

고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법. Download PDF

Info

Publication number
KR102463522B1
KR102463522B1 KR1020200146089A KR20200146089A KR102463522B1 KR 102463522 B1 KR102463522 B1 KR 102463522B1 KR 1020200146089 A KR1020200146089 A KR 1020200146089A KR 20200146089 A KR20200146089 A KR 20200146089A KR 102463522 B1 KR102463522 B1 KR 102463522B1
Authority
KR
South Korea
Prior art keywords
image
spectral
phase
decomposed
local phase
Prior art date
Application number
KR1020200146089A
Other languages
English (en)
Other versions
KR20220060601A (ko
Inventor
박규해
이난 먀오
공예슬
전준영
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200146089A priority Critical patent/KR102463522B1/ko
Publication of KR20220060601A publication Critical patent/KR20220060601A/ko
Application granted granted Critical
Publication of KR102463522B1 publication Critical patent/KR102463522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 관한 것으로, 더욱 상세하게는 중복 계산과 측정하고자하는 대상 구조물의 영상에서 단일 방향성의 특정 스케일 영역에 해당하는 위상 정보를 기반으로 대상 구조물의 움직임에 대한 속도와 변위 측정이 가능함으로써, 불필요하고 복잡한 연산 과정없이 불균일한 조명 조건과 복잡한 배경 등이 존재하는 환경에서도 높은 처리 효율로 정확한 구조물의 움직임 측정이 가능한 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 관한 것이다.

Description

고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.{Image-based structure motion measurement method using high-order image decomposition filter}
본 발명은 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 관한 것으로, 더욱 상세하게는 중복 계산과 측정하고자 하는 대상 구조물의 영상에서 단일 방향성의 특정 스케일 영역에 해당하는 위상 정보를 기반으로 대상 구조물의 움직임에 대한 속도와 변위 측정이 가능함으로써, 불필요하고 복잡한 연산 과정없이 불균일한 조명 조건과 복잡한 배경 등이 존재하는 환경에서도 높은 처리 효율로 정확한 구조물의 움직임 측정이 가능한 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 관한 것이다.
카메라 기반의 컴퓨터 비전 기법은 최근 구조 건전성 모니터링 분야에서 구조 또는 기계 시스템의 새로운 진동 측정 방식으로 각광받고 있으며, 많은 수의 물리적 부착 센서를 구조물에 설치하는 대신 카메라를 이용하여 구조물의 비디오 모션을 캡처함으로써, 질량 부하 효과없이 고해상도 측정이 가능하며 유지비용을 크게 줄일 수 있는 장점이 있다.
현재 구조물 건전성 모니터링 분야에서 사용되고 있는 컴퓨터 비전 기법은 주로, 구조물의 가장자리, 고대비 원형 점 또는 반점 패턴과 같은 특징이 밀집된 영역을 추적하는 방법을 사용하고 있으며, 최근에는 추적 마커, 패턴 등을 필요로 하지 않는 자동 추적 기법이 활발히 연구되고 있다.
대표적인 자동 추적 기법으로 시간 및 공간 영역에서의 위상 변화를 기반으로 일정한 위상 윤곽을 추적하여 속도를 추정하는 위상 기반의 옵티컬 플로우(POF,Phase-based Optical Flow)가 있다.
그러나, 위상 기반의 옵티컬 플로우 등 자동 추적 기법은 불균일한 조명 조건, 복잡한 배경 등에서 구조물의 움직임을 안정적으로 추정할 수 없는 비선형적인 부분을 고려하지 않아 구조물 촬영시 통제된 촬영 조건을 필요로 하였으며, 영상을 획득 후 노이즈 제거를 위한 고급 신호처리 과정이 필수적이다.
또한, 기존의 위상 기반의 옵티컬 플로우의 경우 Quadrature pair 필터 뱅크, 스티어러블 필터등을 사용하는데, 이러한 필터들은 1개의 이미지에 대해 많은 수의 필터를 사용함에 따라 각 필터별 컨볼루션을 필요로 하며, 머신러닝 등의 과정을 통해 필터별로 도출된 속도를 종합하는 과정이 추가로 요구된다.
즉, 이러한 중복 작업이 수행됨에 따라 처리 비용이 크게 증가될 뿐만 아니라 종합하는 방식에 따라 정확도가 좌우되는 단점을 지닌다.
A Phase-Based Approach to the Estimation of the Optical Flow Field Using Spatial Filtering"Courtesy of Temujin Gautama, et al (2002)
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 불균일한 조명 조건, 복잡한 배경 등의 환경에서도 별도의 추적 마커 없이 구조물의 움직임을 측정할 수 있고, 더나아가 불필요한 필터를 사용하지 않아 중복 계산을 방지하고, 머신러닝 등을 통한 필터별 속도 종합 과정이 없이 높은 처리 효율로 정확한 구조물의 움직임 측정이 가능한 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법을 제공하는 데 있다.
상기의 목적을 달성하기 위하여 본 발명은 속도, 변위를 측정하고자 하는 구조물이 촬영된 영상(이하, "입력 영상",이라함)을 입력받는 영상 입력 단계; 이전 프레임의 입력 영상과 현재 프레임의 입력 영상에 각각 그레이스케일 변환을 수행하여 제1 그레이스케일 영상과 제2 그레이스케일 영상을 생성하는 그레이스케일 변환 단계; 상기 제1 그레이스케일 영상과 상기 제2 그레이스케일 영상에 각각 푸리에 변환을 수행하여 제1 스펙트럼 영상과 제2 스펙트럼 영상을 생성하는 푸리에 변환 단계; 상기 제1 스펙트럼 영상과 상기 제2 스펙트럼 영상에 각각 고차수 이미지 분해 필터를 적용하여 복수의 방향성과 스케일 영역 중 기설정된 단일 방향성의 특정 스케일 영역에 해당하는 주파수 정보를 갖는 제1 스펙트럼 분해 영상과 제2 스팩트럼 분해 영상을 생성하는 스펙트럼 분해 영상 생성 단계; 상기 제1 스펙트럼 분해 영상과 상기 제2 스펙트럼 분해 영상에 각각 역푸리에 변환을 수행하여 제1 국소 위상 영상과 제2 국소 위상 영상을 얻는 국소 위상 영상 획득 단계; 및 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상에 포함된 위상 정보를 기반으로 구조물의 움직임 속도 및 변위를 계산하는 구조물 움직임 측정 단계;를 포함하는 것을 특징으로 하는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법을 제공한다.
바람직한 실시예에 있어서, 상기 스펙트럼 분해 영상 생성 단계:는 상기 제1 스펙트럼 영상과 상기 제2 스펙트럼 영상 각각에 스티어러블(Steerable) 필터를 적용하여 기설정된 단일 방향성에 해당하는 영역의 주파수 정보를 갖는 방향 분해 영상과 기설정된 스케일 영역에 해당하는 영역의 주파수 정보를 갖는 스케일 분해 영상을 추출하는 단계; 및 각 대응되는 스펙트럼 영상의 방향 분해 영상과 상기 스케일 분해 영상을 곱셈 연산하여 제1 스펙트럼 분해 영상과 제2 스펙트럼 분해 영상을 생성하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 스티어러블(Steerable) 필터는 16개 이상의 방향성과 6개 이상의 스케일 영역으로 분해되도록 설계될 수 있다.
바람직한 실시예에 있어서, 상기 구조물의 움직임 측정 단계에서 상기 위상 정보는 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상의 위상 그래디언트와 국소 위상 영상들 간의 위상차로 상기 구조물의 움직임 속도 및 변위는 아래의 수학식에 의해 계산될 수 있다.
[수학식 2]
Figure 112020117761616-pat00001
Figure 112020117761616-pat00002
여기서, vc 는 속도,
Figure 112020117761616-pat00003
공간 영역 상의 상기 제1 국소 위상 영상(
Figure 112020117761616-pat00004
)과 상기 제2 국소 위상 영상(
Figure 112020117761616-pat00005
)의 신호 차,
Figure 112020117761616-pat00006
는 상기 제1 국소 위상 영역의 위상 그래디언트와 상기 제2 국소 위상 영역의 위상 그래디언트를 각 축의 픽셀별로 합산한 후 평균을 계산한 값, d는 변위, FPS는 입력 영상의 샘플링 간격을 의미한다.
또한, 본 발명은 상기 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법을 수행하기 위한 기록 매체에 저장된 컴퓨터 프로그램을 더 제공할 수 있다.
본 발명은 다음과 같은 우수한 효과가 있다.
본 발명의 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 따르면, 고차수로 분해된 방향성과 스케일 영역 중 단일 방향성에 해당하는 특정 스케일 영역의 위상 정보를 기반으로 구조물의 속도와 변위를 측정할 수 있어, 필터별 중복 계산을 수행하지 않으며, 머신 러닝 등을 통한 속도 종합 과정 등의 후처리 과정 없이 구조물의 움직임을 측정할 수 있는 장점이 있다.
또한, 본 발명의 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법에 따르면, 단일 방향성에 대한 특정 스케일 영역의 위상 정보를 이용하기 때문에 비선형적이고 안정적이지 않은 위상 정보가 포함되는 것을 최소화할 수 있어, 불균일한 조명 조건, 복잡한 배경 등이 존재하는 실제 촬영 환경 하에도 별도의 추적 마커 없이 구조물의 움직임을 정확히 측정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 구조물 움직임 측정 방법의 순서도,
도 2는 본 발명의 일 실시예에 따른 스펙트럼 분해 영상 생성 과정을 설명하기 위한 순서도,
도 3은 본 발명의 일 실시예에 따른 고차수 이미지 필터 구조와 스펙트럼 분해 영상 생성 과정을 설명하기 위한 그림,
도 4는 본 발명의 일 실시예에 따른 고차수 이미지 필터의 방향성 분해 개수에 따른 스펙트럼 분해 영상의 위상 영역 비교 결과를 보여주는 그래프,
도 5는 본 발명의 일 실시예에 따른 다양한 조명 조건에서 촬영된 구조물 영상의 변위 측정 비교 결과를 보여주는 그래프,
도 6는 본 발명의 일 실시예에 따른 복잡한 배경 조건에서 촬영된 구조물 영상의 변위 측정 비교 결과를 보여주는 그래프
도 7은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 구조물 움직임 측정 방법과 종래의 POF 방법을 비교하기 위한 모드 형상 추출 결과를 보여주는 그래프이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명을 실시하기 위한 구체적인 내용에 기재되거나 사용된 의미르 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법은 카메라로 촬영된 구조물 영상을 컴퓨터가 입력받아 푸리에 변환 후 고차수 이미지 분해 필터를 이용하여 사용자가 측정하고자 하는 구조물의 움직임 방향에 해당하는 스케일 영역의 위상 정보를 기반으로 구조물의 속도와 변위를 측정할 수 있는 방법이다.
또한, 상기 컴퓨터에는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법을 수행하기 위한 프로그램이 설치되며, 상기 컴퓨터는 일반적은 퍼스널 컴퓨터뿐만 아니라 임베디드 시스템, 스마트 기기 등을 포함하는 광의의 컴퓨팅 장치이다.
또한, 상기 프로그램은 별도로 기록 매체에 저장되어 제공될 수 있으며, 상기 기록매체는 본 발명을 위하여 특별히 설계되어 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에서 공지되어 사용 가능할 것일 수 있으며, 예를 들면, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치일 수 있다.
또한, 상기 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성된 프로그램일 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.
도 1은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법의 순서도, 도 2는 본 발명의 일 실시예에 따른 스펙트럼 분해 영상 생성 방법의 순서도로, 이하에서는 도 1 내지 도 2를 참조하며, 본 발명의 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 임직임 측정 방법에 대해 상세히 설명한다.
본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법은 크게, 구조물 영상 입력 단계(S1000), 그레이스케일 변환 단계(S2000), 푸리에 변환 단계(S3000), 스펙트럼 분해 영상 생성 단계(S4000) 국소 위상 영상 획득 단계(S5000) 및 구조물의 움직임 측정 단계(S6000)를 포함한다.
도 1은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법의 순서도로, 도 1을 참조하면 상세하게는 먼저, 구조물을 촬영한 영상(이하, "입력 영상", 이라함)을 입력받는다(S1000).
이때, 상기 입력 영상은 종래의 방법들과 달리 별다른 조건 환경없이 촬영된 영상으로, 조명 또는 배경에 의한 노이즈가 포함될 수 있다.
또한, 상기 입력 영상은 프레임 단위로 입력되며 설명의 편위를 위해 현재 시간 이전에 입력되는 프레임의 입력 영상을 이전 프레임 영상, 현재 시간에 입력된 프레임의 입력 영상을 현재 프레임 영상이라고 표현한다
다음, 상기 이전 프레임 영상과 현재 프레임 영상에 각각 그레이스케일(Grayscale) 변환을 수행한다(S2000).
또한, 상기 그레이 스케일 변환은 공지된 다양한 방법에 의해 수행될 수 있으며, 상기 이전 프레임 영상을 그레이스케일 변환하여 제1 그레이스케일 영상을 생성하고, 상기 현재 프레임 영상을 그레이스케일 변환하여 제2 그레이스케일 영상을 생성한다.
다음, 상기 제1 그레이스케일 영상과 상기 제2 그레이스케일 영상에 푸리에 변환을 수행한다(S3000).
또한, 상기 푸리에 변환은 2차원 고속 푸리에 변환(2-D Fast Fourier Transform) 알고리즘을 통해 수행될 수 있으며, 상기 제1 그레이스케일 영상을 푸리에 변환하여 제1 스펙트럼 영상을 생성하고, 상기 제2 그레이스케일 영상을 푸리에 변환하여 제2 스펙트럼 영상을 생성한다.
다음, 상기 제1 스펙트럼 영상과 상기 제2 스펙트트럼 영상에서 단일 방향성의 특정 스케일 영역에 해당하는 주파수 정보를 갖는 제1 스펙트럼 분해 영상과 제2 스펙트럼 분해 영상들을 생성한다(S4000).
상세하게는 먼저, 상기 제1 스펙트럼 영상과 상기 제2 스펙트럼 영상에 각각 고차수 이미지 분해 필터를 적용하여, 기설정된 단일 방향성에 해당하는 영역의 주파수 정보를 갖는 스케일 분해 영상과 기설정된 스케일 영역에 해당하는 영역의 주파수 정보를 갖는 스케일 분해 영상을 각각 추출한다(S4100).
여기서, 상기 방향성은 각도를 의미하며, 상기 스케일 영역은 주파수 영역을 의미한다.
또한, 도 3은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터의 구조와 스펙트럼 분해 영상을 생성하는 방법을 설명하기 위한 도면으로, (a)는 스펙트럼 영상으로부터 첫번째 스케일 영역에 해당하는 주파수 영역이 추출된 스케일 분해 영상, (b)는 스펙트럼 영상으로부터 0도를 갖는 방향성의 영역에 해당하는 주파수 영역이 추출된 방향 분해 영상, (c)는 스펙트럼 분해 영상, (d)는 스펙트럼 분해 영상의 3차원 영상이다.
도 3을 참조하면, 상기 고차수 이미지 분해 필터는 영상을 n개의 방향성과 스케일 영역으로 분해할 수 있는 필터로, 본 발명에서는 상기 스펙트럼 영상들로부터 특정 방향성과 특정 스케일 영역 검출하기 위한 수단으로 활용되며, 이를 위해 상기 고차수 이미지 분해 필터로 스티어러블(Steerable) 필터가 사용될 수 있다.
또한, 도 3에는 상기 스티어러블 필터가 5개의 방향성과 2개의 스케일 영역으로 분해되는 구조로 되어 있으나, 상기 스티어러블 필터는 사전에 영상에서 분해될 방향성의 개수와 스케일 영역이 설계될 수 있으며, 상기 방향성의 개수는 16개 이상, 상기 스케일 영역의 개수는 6개 이상으로 분해되는 구조를 갖도록 설계하는 것이 바람직하다.
더욱 바람직하게는 상기 방향성의 개수는 512개 상기 스케일 영역의 개수는 6개로 분해되는 구조를 갖도록 설계될 수 있다.
또한, 기설정된 단일 방향성과 스케일 영역은 사용자가 측정하고자하는 구조물의 움직임 방향에 따라 다양하게 설정될 수 있다.
따라서, 본 발명은 상기 고차수 이미지 필터를 통해 상기 스펙트럼 영상에서 복수 개의 방향성과 스케일 영역 중 기설정된 방향성과 스케일 영역에 해당 주파수 정보들만을 추출하여 상기 방향성 분해 영상과 상기 스케일 분해 영상을 생성할 수 있다.
다음, 각 대응되는 스펙트럼 영상의 방향 분해 영상과 상기 스케일 분해 영상을 곱셈 연산하여 스펙트럼 분해 영상을 생성한다.
상세하게는 상기 제1 스펙트럼 영상으로부터 추출된 제1 방향 분해 영상과 제1 스케일 분해 영상을 서로 곱셈하여 상기 제1 스펙트럼 분해 영상을 생성하고, 상기 제2 스펙트럼 영상으로부터 추출된 제2 방향 분해 영상과 제2 스케일 분해 영상을 서로 곱셈하여 상기 제2 스펙트럼 분해 영상을 생성한다.
이와 같은 과정을 통해 도 3의 (d)와 같이 단일 방향성의 특정 스케일 영역에 해당하는 주파수 정보를 갖는 스펙트럼 분해 영상을 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 고차수 이미지 필터의 방향성 분해 개수에 따른 스펙트럼 분해 영상의 위상 영역 비교 결과를 보여주며, 도 4를 참조하면 분해된 방향성의 개수(ka)가 높을수록, 원본 샘플 이미지(Sample Image)에 있던 에지 성분들이 위상 영역에서 제거되어 나타나는 것을 확인할 수 있다
따라서, 방향성과 스케일 영역의 분해되는 개수가 높을수록 영역들이 세분화되어, 공간 에일리어싱 없이 영상 분해가 가능하며, 아래에서 설명할 위상 정보를 추출할 때 비선형적인 정보와 안정적이지 않은 정보를 최대한 포함되지 않도록 할 수 있어, 불안정한 조명 조건과 복잡한 배경 등의 촬영 조건에도 안정적인 위상 정보를 도출할 수 있는 장점이 있다.
따라서, 본 발명은 상기 스티어러블 필터의 복수 개 방향성과 스케일 영역들 중 사용자가 측정하고자 하는 구조물의 움직임 방향에 해당하는 단일 방향성과 스케일 영역의 주파수 정보만을 스펙트럼 영상으로부터 추출하여, 아래에서 설명할 구조물의 움직임 속도 및 변위를 측정하기 때문에, 불필요한 방향성과 스케일 영역의 계산을 최소화할 수 있어, 복잡하고 많은 계산량을 필요로 하지 않는 장점이 있다.
다음, 생성된 제1 스펙트럼 분해 영상과 상기 제2 스펙트럼 분해 영상에, 역푸리에 변환을 각각 수행하여 제1 국소 위상 영상과 제2 국소 위상 영상를 획득한다.
또한, 상기 역푸리에 변환은 2차원 고속 역푸리에 변환(2-D inverse fast fourier transform) 알고리즘을 통해 수행될 수 있으며, 상기 역푸리에 변환을 통해 획득된 각 스펙트럼 분해 영상의 실수부(Aim(x,y)와 허수부(Are(x,y) 정보를 아래의 수학식 1에 대입하여 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상를 획득할 수 있다.
Figure 112020117761616-pat00007
여기서,
Figure 112020117761616-pat00008
는 국소 위상 영상, Aim(x,y)은 역푸리에 변환된 스펙트럼 분해 영상의 실수부, Are(x,y)는 역푸리에 변환된 스펙트럼 분해 영상의 허수부를 의미한다.
다음, 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상로에 포함된 위상 정보를 기반으로 구조물의 움직임을 측정한다.
여기서, 상기 위상 정보는 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상 각각의 공간 영역상의 위상 그래디언트와 상기 국소위상 영상들 간의 위상 신호 차이를 포함한다,
또한, 상기 구조물의 움직임은 구조물의 움직임에 대한 속도와 변위를 포함할 수 있으며, 상기 속도와 변위는 아래의 수학식 2에 의해 각각 계산될 수 있다.
Figure 112020117761616-pat00009
Figure 112020117761616-pat00010
여기서, vc 는 속도,
Figure 112020117761616-pat00011
공간 영역 상의 상기 제1 국소 위상 영상(
Figure 112020117761616-pat00012
)과 상기 제2 국소 위상 영상(
Figure 112020117761616-pat00013
)의 신호 차,
Figure 112020117761616-pat00014
는 상기 제1 국소 위상 영역의 위상 그래디언트와 상기 제2 국소 위상 영역의 위상 그래디언트를 픽셀별로 합산한 후 평균을 계산한 값, d는 변위, FPS는 입력 영상의 샘플링 간격을 의미한다.
도 5는 본 발명의 일 실시예에 따른 다양한 조명 조건에서 촬영된 구조물 영상의 변위 측정 비교 결과를 보여주는 그래프, 도 6는 본 발명의 일 실시예에 따른 복잡한 배경 조건에서 촬영된 구조물 영상의 변위 측정 비교 결과를 보여주는 그래프로, 조명의 밝기 조건과 구조물의 주변에 복잡한 배경을 갖는 상황에서 본 발명의 영상 기반의 구조물 움직임 측정 방법(Camera)을 이용하여 측정된 변위 결과와 도플러 효과를 이용하여 구조물의 움직임을 측정할 수 있는 레이저 센서(LDV)를 이용하여 측정된 변위 결과를 서로 비교하였다.
도 5 내지 6을 참조하면, 각 측정된 변위 결과를 비교한 결과, 매우 어둡고 밝은 환경과 배경이 복잡한 환경에서도 레이저 센서를 이용하여 측정된 변위 결과와 본 발명의 영상 기반의 구조물 움직임 측정 방법을 이용하여 측정된 변위 결과가 유사한 성능을 나타내는 것을 확인할 수 있다.
또한, 도 7은 본 발명의 일 실시예에 따른 고차수 이미지 분해 필터를 활용한 구조물 움직임 측정 방법과 종래의 POF 방법을 비교하기 위한 모드 형상 추출 결과를 보여주는 그래프로, 도 7을 참조하면 종래의 POF을 통해 추출된 모드 형상 보다 본 발명의 고차수 이미지 분해 필터를 활용한 구조물 움직임 측정 방법을 통해 추출된 모드 형상의 노이즈가 크게 줄어든 것을 확인할 수 있다.
따라서, 본 발명은 고차수로 분해된 방향성과 스케일 영역 중 단일 방향성에 해당하는 특정 스케일 영역의 위상 정보를 기반으로 구조물의 속도와 변위를 측정할 수 있어, 필터별 중복 계산을 수행하지 않으며, 머신 러닝 등을 통한 속도 종합 과정 등의 후처리 과정 없이 구조물의 움직임을 측정할 수 있는 장점이 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
삭제

Claims (5)

  1. 속도, 변위를 측정하고자 하는 구조물이 촬영된 영상(이하, "입력 영상",이라함)을 입력받는 영상 입력 단계;
    이전 프레임의 입력 영상과 현재 프레임의 입력 영상에 각각 그레이스케일 변환을 수행하여 제1 그레이스케일 영상과 제2 그레이스케일 영상을 생성하는 그레이스케일 변환 단계;
    상기 제1 그레이스케일 영상과 상기 제2 그레이스케일 영상에 각각 푸리에 변환을 수행하여 제1 스펙트럼 영상과 제2 스펙트럼 영상을 생성하는 푸리에 변환 단계;
    상기 제1 스펙트럼 영상과 상기 제2 스펙트럼 영상에 각각 고차수 이미지 분해 필터를 적용하여 복수의 방향성과 스케일 영역 중 기설정된 단일 방향성의 특정 스케일 영역에 해당하는 주파수 정보를 갖는 제1 스펙트럼 분해 영상과 제2 스팩트럼 분해 영상을 생성하는 스펙트럼 분해 영상 생성 단계;
    상기 제1 스펙트럼 분해 영상과 상기 제2 스펙트럼 분해 영상에 각각 역푸리에 변환을 수행하여 제1 국소 위상 영상과 제2 국소 위상 영상을 얻는 국소 위상 영상 획득 단계; 및
    상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상에 포함된 위상 정보를 기반으로 구조물의 움직임 속도 및 변위를 계산하는 구조물 움직임 측정 단계;를 포함하는 것을 특징으로 하는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
  2. 제 1 항에 있어서,
    상기 고차수 이미지 분해 필터링 단계:는
    상기 제1 스펙트럼 영상과 상기 제2 스펙트럼 영상 각각에 스티어러블(Steerable) 필터를 적용하여 기설정된 단일 방향성에 해당하는 영역의 주파수 정보를 갖는 방향 분해 영상과 기설정된 스케일 영역에 해당하는 영역의 주파수 정보를 갖는 스케일 분해 영상을 추출하는 단계; 및
    각 대응되는 스펙트럼 영상의 방향 분해 영상과 상기 스케일 분해 영상을 곱셈 연산하여 제1 스펙트럼 분해 영상과 제2 스펙트럼 분해 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
  3. 제 2 항에 있어서,
    상기 스티어러블(Steerable) 필터는 16개 이상의 방향성과 6개 이상의 스케일 영역으로 분해되도록 설계된 것을 특징으로 하는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
  4. 제 1 항에 있어서,
    상기 구조물의 움직임 측정 단계에서 상기 위상 정보는 상기 제1 국소 위상 영상과 상기 제2 국소 위상 영상의 위상 그래디언트와 국소 위상 영상들 간의 위상차로, 상기 구조물의 움직임 속도와 변위는 아래의 수학식 2에 의해 각각 계산되는 것을 특징으로 하는 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
    [수학식 2]
    Figure 112020117761616-pat00015

    Figure 112020117761616-pat00016

    여기서, vc 는 속도,
    Figure 112020117761616-pat00017
    공간 영역 상의 상기 제1 국소 위상 영상(
    Figure 112020117761616-pat00018
    )과 상기 제2 국소 위상 영상(
    Figure 112020117761616-pat00019
    )의 신호 차,
    Figure 112020117761616-pat00020
    는 상기 제1 국소 위상 영역의 위상 그래디언트와 상기 제2 국소 위상 영역의 위상 그래디언트를 픽셀별로 합산한 후 평균을 계산한 값, d는 변위, FPS는 입력 영상의 샘플링 간격을 의미한다.
  5. 제 1 항 내지 제 4 항 중 어느 한 항의 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법을 수행하기 위한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020200146089A 2020-11-04 2020-11-04 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법. KR102463522B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146089A KR102463522B1 (ko) 2020-11-04 2020-11-04 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146089A KR102463522B1 (ko) 2020-11-04 2020-11-04 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.

Publications (2)

Publication Number Publication Date
KR20220060601A KR20220060601A (ko) 2022-05-12
KR102463522B1 true KR102463522B1 (ko) 2022-11-04

Family

ID=81590701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146089A KR102463522B1 (ko) 2020-11-04 2020-11-04 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.

Country Status (1)

Country Link
KR (1) KR102463522B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9004685B2 (en) 2012-04-04 2015-04-14 Canon Kabushiki Kaisha Image processing apparatus and method thereof
JP2018028439A (ja) 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法
JP2019194565A (ja) 2018-03-28 2019-11-07 ザ・ボーイング・カンパニーＴｈｅＢｏｅｉｎｇ Ｃｏｍｐａｎｙ マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法
JP6687969B2 (ja) 2016-07-28 2020-04-28 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9004685B2 (en) 2012-04-04 2015-04-14 Canon Kabushiki Kaisha Image processing apparatus and method thereof
JP6687969B2 (ja) 2016-07-28 2020-04-28 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム
JP2018028439A (ja) 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法
JP2019194565A (ja) 2018-03-28 2019-11-07 ザ・ボーイング・カンパニーＴｈｅＢｏｅｉｎｇ Ｃｏｍｐａｎｙ マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法

Also Published As

Publication number Publication date
KR20220060601A (ko) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110956653B (zh) 相关滤波器与运动估计融合的卫星视频动态目标追踪方法
US9510787B2 (en) Method and system for reconstructing sampled signals
KR20150027291A (ko) 광류 추적 방법 및 장치
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
US10860891B2 (en) Memory-guide simulated pattern recognition method
CN109308713A (zh) 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN114993452B (zh) 基于宽带相位运动放大的结构微小振动测量方法与系统
WO2016193393A1 (en) Real-time temporal filtering and super-resolution of depth image sequences
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
Boutelier TecPIV—A MATLAB-based application for PIV-analysis of experimental tectonics
JP6819794B2 (ja) レーダ画像処理装置、レーダ画像処理方法およびレーダ画像処理プログラム
Bober et al. A hough transform based hierarchical algorithm for motion segmentation
KR102463522B1 (ko) 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
Alam et al. Improved multiple target tracking via global motion compensation and optoelectronic correlation
Li et al. Parameter estimation and restoration for motion blurred images
CN103093481B (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
CN111385583B (zh) 图像运动估计方法、装置及计算机可读存储介质
Shi et al. Accurate estimation of motion blur parameters in noisy remote sensing image
Carratù et al. Development of a new speed measurement technique based on deep learning
SR OBJECT DETECTION, TRACKING AND BEHAVIOURAL ANALYSIS FOR STATIC AND MOVING BACKGROUND.
Hadar et al. Restoration of images degraded by extreme mechanical vibrations
Li Restoration of atmospheric turbulence degraded video using kurtosis minimization and motion compensation
Gothane et al. Architecture for automatic detection of noise and adaptive approach for noise removal on road images
Ismaili Alaoui et al. A comparative study of new HOS-based estimators for moving objects in noisy video sequence
Yinan et al. A video deblurring optimization algorithm based on motion detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant