KR102392631B1 - 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램 - Google Patents

딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램 Download PDF

Info

Publication number
KR102392631B1
KR102392631B1 KR1020200070057A KR20200070057A KR102392631B1 KR 102392631 B1 KR102392631 B1 KR 102392631B1 KR 1020200070057 A KR1020200070057 A KR 1020200070057A KR 20200070057 A KR20200070057 A KR 20200070057A KR 102392631 B1 KR102392631 B1 KR 102392631B1
Authority
KR
South Korea
Prior art keywords
image
matching
images
panoramic
pairs
Prior art date
Application number
KR1020200070057A
Other languages
English (en)
Other versions
KR20210153235A (ko
Inventor
박종웅
원종빈
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020200070057A priority Critical patent/KR102392631B1/ko
Publication of KR20210153235A publication Critical patent/KR20210153235A/ko
Application granted granted Critical
Publication of KR102392631B1 publication Critical patent/KR102392631B1/ko

Links

Images

Classifications

    • G06T3/16—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0087—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

본 발명은, 딥매칭을 이용하는 이미지매칭부와; 파라메트릭모델을 통해 매칭된 이미지쌍들을 정제하는 이미지정제부와; 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 파노라마 이미지생성부와; 이미지업데이트부;를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템을 제공할 수 있다. 상기한 바에 따르면 교량과 같은 콘크리트 구조물의 표면 이미지들에서 파노라마 이미지를 효과적으로 생성할 수 있으며, 생성되는 파노라마 이미지의 품질도 향상시킬 수 있다.

Description

딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램 {System for panoramic image generation and update of concrete structures or bridges using deep matching, a method for generating and updating panoramic images, and a program for generating and updating panoramic images}
본 발명은 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램에 관한 것으로서, 보다 상세하게는 교량과 콘크리트 구조물의 표면 이미지들에서 파노라마 이미지를 효과적으로 생성할 수 있으며, 생성되는 파노라마 이미지의 품질을 향상시킬 수 있음은 물론, 새롭게 생성된 구조물의 손상에 대하여 새롭게 부분촬영 된 이미지를 기존의 파노라마 이미지에 부분 업데이트도 할 수 있는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성시스템, 이의 파노라마 이미지 생성방법 및 파노라마 이미지 생성프로그램에 관한 것이다.
일반적으로 콘크리트 구조물이나 교량의 육안 검사는 구조건전도 평가(SHM, Structure Health Monitoring)의 일환으로 구조물의 안전 및 기능성을 평가하는 데 사용되는 기본프로세스로서, 구조물의 효율적인 유지 관리에 중요하다고 할 수 있다.
그런데, 이러한 육안 검사는 작업자가 직접 육안으로 확인하고 평가하여 표시해야 하는 작업을 하는 만큼 작업시간이 많이 소요된다. 때문에 최근에는 콘트리트 구조물이나 교량의 검사를 광학, 로봇 및 무인항공기(UAV) 기술을 이용하여 교량에서 이미지를 캡처하고, 이렇게 캡처한 이미지를 사용하여 손상된 위치를 알아내고 정량화 할 수 있는 이미지처리기술이 사용되고 있다.
한편, 이러한 이미지처리기술은, 이미지 스티칭을 통하여 일련의 겹치는 교량 이미지를 결합하여 손상된 위치와 크기를 알 수 있는 파노라마 교량 표면이미지를 구성 할 수 있다.
여기서, 이미지 스티칭은 여러 인접 이미지에서 파노라마 이미지를 생성하기위한 이미지 처리 기술로서, 형상 추출, 일치, 재 투영, 조정 및 혼합과 같은 다양한 이미지 처리 단계로 구성될 수 있다. 이러한 이미지 스티칭은 과학 분야와 실제 응용 분야에서 상당한 관심을 끌고 있으며, 특히 토목 공학 분야에서는 이미지 스티칭 기술을 구조건전도평가(SHM)에 적용하는 것에 대한 연구가 수행되고 있다.
이러한 이미지 스티칭 기술에 대한 연구로서, Zhu et al.은 기존의 특징 기반 이미지 스티칭 기술을 사용하여 여러 다양한 위치에서 얻은 콘크리트 기둥 이미지를 획득하는 기술을 개시한 바 있으며, Jahanshahi 등은 종래의 특징 기반 이미지 스티칭 방법을 사용하여 트러스 구조를 재구성하기 위해 이미지 스티칭 기술을 사용하는 기술을 개시한 바 있다. 또한, SIFT(Scale-Invariant Feature Transform) 또는 SURF(Speed-up Stronge Feature)와 같은 연구에서는 공간 변화를 나타내는 그래디언트를 기반으로 이미지의 키포인트를 식별하고, 픽셀 단위로 강조하여 두 이미지 사이의 키포인트를 일치시키는 연구가 진행된 바 있다. 한편, 이러한 피처 기반 방법은 뚜렷한 이미지 그래디언트의 경우에는 효과적이지만, 텍스처가 약한 이미지의 경우에는 효과적이지 않는 문제점이 있었다.
한편, 상기한 특징 기반 방법과는 달리, 상호 정보 (MI) 기반 방법 및 정규 교차 상관 (NCC) 기반 방법과 같은 템플릿 기반 방법이 이미지 스티칭에 고려 될 수 있다. 이러한 방법은, 한 쌍의 이미지에 공통적인 패치를 식별하고, 이미지쌍에서 해당 패치의 위치를 찾는 것과 관련된 기술로서 이 방법을 사용하면 템플릿 패치를 모든 후보 패치와 직접 비교하여 이미지쌍에서 일치하는 지점을 식별 할 수 있다. 그러나 이러한 방법은, 서로 다른 스케일과 회전을 갖는 두 이미지를 일치시키는 경우 두 이미지 간에 공통으로 발견 된 패치가 모호 할 수 있어, 밀집된 이미지를 추출하는 것은 어려운 문제점이 있었다.
따라서 종래의 이미지 생성방법은, 구조물의 텍스처의 상태, 이미지들 간의 스케일 차이 또는 회전정도에 따라 이미지 생성이 어려운 문제점이 있었으며, 특히 콘크리트 구조물이나 교량과 같은 경우에는 표면이미지들에서 인접 영상을 연결하기 위한 기준 특징점 역할을 할 수 있는 뚜렷한 패턴 등이 없기 때문에 이러한 콘크리트 구조물이나 교량의 표면이미지에서 파노라마 이미지를 생성하기는 어려운 문제점이 있었다.
또한, 종래의 이미지 생성방법은, 이미지의 해상도차이, 그리고 작은 부분을 매칭할 수 있을 만큼 강인한 매칭기술이 없기 때문에, 생성된 파노라마 이미지에 대하여 일부분만 새로운 손상 이미지로 바꾸는 부분 업데이트을 할 수 있는 기술은 불가능하다는 문제점이 있다.
대한민국 공개특허공보 제10-2015-0058871호 대한민국 등록특허공보 제10-1868740호 대한민국 공개특허공보 제10-2009-0099580호
본 발명은, 교량과 같은 콘크리트 구조물의 표면 이미지들에서 파노라마 이미지를 효과적으로 생성할 수 있으며, 또한 생성되는 파노라마 이미지의 품질을 향상시킬 수 있는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램을 제공하는 것을 목적으로 한다.
또한, 본 발명은 생성된 파노라마 이미지에 대하여 추후 발생한 구조물의 손상을 부분적으로 업데이트할 수 있는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 의하면, 본 발명은 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하고, 생성된 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 이미지쌍들의 일치점을 식별하여 이미지쌍들의 일치 여부를 결정하는 이미지매칭부와; 매칭된 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성하는 이미지정제부와; 호모그래피를 사용하여 이미지들을 순차적으로 매핑시키고, 매핑된 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 파노라마 이미지생성부;를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템을 제공할 수 있다.
여기서, 이미지매칭부는, 델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들을 페어링하여 이미지쌍을 생성하는 페어링모듈을 포함하여 구성될 수 있다.
또한, 이미지매칭부는, 딥매칭을 통하여 생성된 이미지쌍들 간의 대응관계를 결정하기 위하여, 이미지쌍들 각각의 픽셀단위의 밀도 일치성을 식별하는 딥매칭모듈을 포함하여 구성될 수 있다.
또한, 이미지정제부는, 파라메트릭모델로 RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하여 유효 이미지쌍을 결정하고, 유효 이미지쌍으로부터 호모그래피를 생성하도록 구성될 수 있다.
이때, 이미지정제부는, RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 수학식 3을 만족하는 이미지쌍을 유효 이미지쌍으로 결정하도록 구성되고, 수학식 3에서 α의 임계 값은 10으로 설정되고, β는 0으로 결정될 수 있다.
수학식 3
Figure 112020059501174-pat00001
여기서, nf는 매칭된 이미지들의 총 개수이고, ni는 RANSAC를 통해 획득된 인라이어 개수이며, α는 바이어스이고, β는 가중치를 나타낸다.
한편, 이미지생성부는, 이미지들을 라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 멀티밴드블렌딩을 수행하도록 구성될 수 있다.
본 발명은 이미지생성부에 의하여 생성된 파노라마 이미지에 새롭게 입력된 이미지를 부분적으로 업데이트하는 이미지업데이트부;를 더 포함하여 구성될 수 있다.
여기서, 이미지업데이트부는, 이미지생성부에 의하여 생성된 파노라마 이미지와 새롭게 입력된 이미지에 대하여 딥매칭을 수행하고, 파노라마 이미지와 새롭게 입력된 이미지를 복수개의 주파수 대역에 걸쳐 블랜딩하는 멀티밴드블랜딩을 통하여 변경되는 해당 부분만을 업데이트하도록 구성될 수 있다.
본 발명의 다른 측면에 의하면, 본 발명은, 이미지매칭부에 의하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하고, 생성된 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 이미지쌍들의 일치점을 식별하여 이미지쌍들의 일치 여부를 결정하는 이미지매칭단계와; 이미지정제부에 의하여 매칭된 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성하는 이미지정제단계와; 이미지생성부에 의하여 호모그래피를 사용하여 이미지들을 순차적으로 매핑시키고, 매핑된 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 스티칭단계를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 제공할 수 있다.
여기서, 이미지매칭단계는, 페어링모듈에 의하여 델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하는 이미지페어링단계와; 딥매칭모듈에 의하여 생성된 이미지쌍들 각각에 대하여 딥매칭을 통하여 픽셀단위의 밀도 일치성을 식별하여 이미지쌍들 간의 대응관계를 결정하는 매칭단계를 포함하여 구성될 수 있다.
이때, 매칭단계는, 이미지를 겹치지 않는 설정 픽셀배열의 서브패치들로 각각 분할하고, 히스토그램 형태의 특징(feauture)을 추출하는 HOG(histograms of oriented gradient)알고리즘을 통하여 각 서브패치들에서 상관(correlation)여부를 분석하여 서로 대응하는 서브패치들을 추출하여 상관맵(correlation map)들을 생성하는 상관단계(correlation stage)와, 생성된 상관맵들을 필터링하여 최대 풀링(max pooled)을 수행하고, 계산복잡도를 감소시키기 위하여 다운샘플링(Down Sampling)하여 평균화시키고, 빠른 수렴발생을 방지하도록 정류(rectification)하여 상관맵들을 집성(aggregation)하는 집성단계(aggregation stage)와, RANSAC(random sample consensus)을 사용하여 특이치 이미지 일치점을 제거하여 호모 그래피를 추정하고, 잔차오차(residual error)의 최대 유클리드거리(maximum Euclidean distance)보다 작은 인라이어(inlier) 수를 최대화할 수 있도록 호모 그래피를 추출하는 대응추출단계(correspondence extraction stage)를 포함하여 구성될 수 있다.
여기서, 잔차오차는, 수학식 2에 의하여 계산될 수 있다.
수학식 2
Figure 112020059501174-pat00002
여기서,
Figure 112020059501174-pat00003
는 잔차오차를 나타내고,
Figure 112020059501174-pat00004
는 이미지 j에서 k 번째 매칭점의 위치를 나타내고, Hji는 이미지 i의 포인트를 이미지j의 포인트로 변환하는 호모 그래피이며,
Figure 112020059501174-pat00005
는 이미지 i의 k 번째 일치 포인트이며,
Figure 112020059501174-pat00006
는 이미지 i에서 이미지 j까지의 투영 점 위치를 나타낸다.
한편, 이미지정제단계는, 이미지정제부가 파라메트릭모델로 RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하여 유효 이미지쌍을 결정하는 단계와, 유효 이미지쌍을 인라이어수에 따라 링크로 구성하여 형성되는 스패닝트리를 사용하여 이미지매칭트리를 획득하는 단계와, 이미지매칭트리를 통하여 호모그래피를 생성하는 단계를 포함하여 구성될 수 있다.
이때, 유효 이미지쌍을 결정하는 단계는, RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 수학식 3을 만족하는 이미지쌍을 유효 이미지쌍으로 결정하도록 구성되고, 수학식 3에서 α의 임계 값은 10으로 설정되고, β는 0으로 결정되는 것이 바람직하다.
수학식 3
Figure 112020059501174-pat00007
여기서, nf는 매칭된 이미지들의 총 개수이고, ni는 RANSAC를 통해 획득된 인라이어 개수이며, α는 바이어스이고, β는 가중치를 나타낸다.
나아가, 스티칭단계는, 이미지매칭트리를 통해 재구성된 호모 그래피를 사용하여 이미지들을 순차적으로 파노라마 도메인에 매핑시켜 번들조정(Bundle Adjustment)을 수행하는 단계와, 라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 번들조정된 이미지들을 n개의 대역 통과 이미지들로 분해하여 다수의 주파수 대역에 걸쳐 블렌딩을 수행하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 단계를 포함하여 구성될 수 있다.
더불어, 본 발명은 이미지업데이트부에 의하여 생성된 파노라마 이미지에 새롭게 입력된 이미지를 부분적으로 업데이트하는 이미지업데이트단계;를 더 포함하여 구성될 수 있으며, 이미지업데이트단계는, 생성된 파노라마 이미지와 새롭게 입력된 이미지에 대하여 딥매칭을 수행하고, 파노라마 이미지와 새롭게 입력된 이미지를 복수개의 주파수 대역에 걸쳐 블랜딩하는 멀티밴드블랜딩을 수행하여, 변경되는 해당 부분만을 업데이트하도록 구성될 수 있다.
본 발명의 또 다른 측면에 의하면, 본 발명은 프로세서 또는 컴퓨터에 의해 실행될 때 전술한 파노라마 이미지 생성방법의 단계들을 수행하게 하는 파노라마 이미지 생성 및 업데이트 프로그램을 제공할 수 있다.
본 발명에 따른 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램은 다음과 같은 효과를 제공할 수 있다.
첫째, 교량과 같은 콘크리트 구조물의 표면 이미지들에서 파노라마 이미지를 효과적으로 생성할 수 있으며, 생성되는 파노라마 이미지의 품질 또한 향상시킬 수 있다.
둘째, 이미지쌍 사이의 조밀 한 일치점을 성공적으로 식별할 수 있으며, 고스팅(ghosting)과 드리프트(drift)의 qkftodd을 최소화하면서 파노라마 이미지를 생성할 수 있다.
셋째, 딥매칭 기반 파노라마 이미지 생성을 통하여, 평평한 콘크리트 이미지와 같은 약한 텍스처를 갖는 이미지에 대해서도 향상된 품질의 이미지 결합을 유도 및 획득할 수 있으며, 콘크리트 구조물의 검사를 비롯한 교량검사 수행 등에 특화되어 좋은 품질의 파노라마 이미지를 생성할 수 있다.
넷째, 높은 매칭점을 획득하여 우수한 파노라마 이미지를 생성할 수 있으며, 이에 비교적 약한 텍스처를 갖는 콘크리트 구조물 벽에 대해서도 높은 품질의 파노라마 이미지를 생성할 수 있으며, 명확한 연속 균열 경로를 재구성할 수 있어 성공적인 이미지 스티칭이 가능하다.
다섯째, 고스팅 및 미스 얼라인먼트 없이 이미지를 성공적으로 결합할 수 있으며, 충분한 이미지 특징점을 추출함으로써 왜곡이나 겹침을 줄일 수 있고, 불충분한 이미지의 경우에도 모든 이미지를 일치시킬 수 있으며, 드리프트의 축적 없이 겹침이 극히 낮은 스티칭 이미지를 획득할 수 있다.
여섯째, 기존에는 없는 이미지의 해상도차이와 작은 부분을 매칭할 수 있을 만큼의 강인한 매칭기술로서, 새로운 손상이 발생했을 시 구조물 전체의 이미지를 다시 한번 스티칭하지 않고 기 생성된 파노라마 이미지에 손상 부분의 사진만 업데이트하는 부분업데이팅 기술을 통해 새로운 파노라마 이미지를 획득할 수 있다.
도 1은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 나타내는 절차도이다.
도 3은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 2D들로네 삼각분할을 사용하여 구현된 이미지 페어링를 나타내는 도면이다.
도 4는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 딥매칭과정을 나타내는 도면이다.
도 5는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 RANSAC을 통한 호모 그래피 및 인라이어(inlier) 추정 과정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 이미지쌍에서 매칭포인트와 인라이어의 상관관계를 나타내는 도면이다.
도 7은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 인라이어 수에 따른 최적화된 이미지트리를 나타내는 도면이다.
도 8은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 콘크리트 벽의 테스트영역 및 사용된 이미지경로를 나타내는 도면이다.
도 9는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 원시이미지에 대한 본 발명과 비교기술과의 일치점을 비교한 사진이다.
도 10은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 통하여 획득한 스티치 이미지를 나타내는 사진이다.
도 11은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 테스트하기 위하여 예시적으로 설정된 콘크리트 구조물의 경로중심 이미지를 나타내는 사진이다.
도 12는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법에서 이미지 스티칭에 대한 중첩영역을 사례별로 나타낸 사진이다.
도 13 및 도 14는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법과 종래의 방법에서 원본 이미지에서 검출되는 매칭 인라이어를 비교하여 나타낸 사진이다.
도 15 및 도 16은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법과 종래의 이미지 생성방법에 의하여 생성된 이미지 스티칭 결과를 각각 비교하여 나타낸 사진이다.
도 17은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 통하여 예시적으로 적용된 교량의 총 이미지를 나타내는 사진이다.
도 18은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법과 종래기술(SURF기반) 각각으로부터 추출된 정합 인라이어를 비교하여 나타낸 사진이다.
도 19는 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법과 종래기술을 사용하여 획득한 파노라마 이미지를 비교한 사진이다.
도 20은 본 발명의 실시예에 의한 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 통하여 새롭게 획득한 손상부분 이미지를 기존의 파노라마 이미지에 업데이트한 것을 나타낸 사진이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템(이하 '파노라마 이미지 생성시스템'이라 한다)은, 이미지매칭부(100)와, 이미지정제부(200)와, 이미지생성부(300)와, 이미지업데이트부(400)를 포함하여 구성될 수 있다.
먼저, 이미지매칭부(100)는, 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하고, 생성된 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 이미지쌍들의 일치점을 식별하여 이미지쌍들의 일치 여부를 결정하도록 구성될 수 있다.
세부적으로, 이미지매칭부(100)는, 페어링모듈(110)과, 딥매칭모듈(120)을 포함하여 구성될 수 있다. 페어링모듈(110)은, 델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들을 페어링하여 이미지쌍을 생성하도록 구성될 수 있다. 여기서, 델로네 삼각분할은, 평면위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최소값이 최대가 되도록 하는 분할을 말하며, 이는 공지의 기술로서 이에 대한 상세한 설명은 생략하기로 한다.
딥매칭모듈(120)은, 딥매칭을 통하여 생성된 이미지쌍들 간의 대응관계를 결정하기 위하여, 이미지쌍들 각각의 픽셀단위의 밀도 일치성을 식별하도록 구성될 수 있다.
이미지정제부(200)는, 매칭된 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성하는 역할을 한다. 여기서, 이미지정제부(200)는, 파라메트릭모델로 RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하여 유효 이미지쌍을 결정하고, 유효 이미지쌍으로부터 호모그래피를 생성하도록 구성될 수 있다.
세부적으로, 이미지정제부(200)는, RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 임계값보다 큰 것을 유효한 이미지쌍으로 판단하고, 이들로부터 이미지매칭트리를 획득할 수 있다.
이미지생성부(300)는, 호모그래피를 사용하여 이미지들을 순차적으로 매핑시키고, 매핑된 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하도록 구성될 수 있다. 이때, 이미지생성부(300)는, 이미지들을 라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 멀티밴드블렌딩을 수행하도록 구성될 수 있다.
이미지업데이트부(400)는, 구조물의 새롭게 생성된 손상에 대하여 부분촬영된 이미지를 업데이트 하는 역할을 한다. 이미지업데이트부(400)는, 전술한 과정에 의하여 생성된 파노라마 이미지와 새롭게 발생한 손상을 촬영한 이미지간 딥매칭과 멀티밴드블렌딩을 통해 업데이트 된 파노라마 이미지를 생성하도록 구성될 수 있다.
이러한 이미지업데이트부(400)는, 구조물의 새로운 손상이 발생되었을 경우 구조물 전체의 이미지를 스티칭할 필요 없이 기 생성된 파노라마 이미지에 손상 부분의 이미지만 업데이트 할 수 있으며, 이 때문에 작업의 효율성을 향상시킬 수 있음은 물론 작업속도도 향상시킬 수 있다.
한편, 전술한 이미지매칭부(100), 이미지정제부(200) 및 이미지생성부(300)에 대한 세부구성에 대한 내용은 후술하는 파노라마 이미지 생성방법에서 보다 상세하게 살펴보기로 하며, 이에 대한 상세한 설명은 생략하기로 한다.
이하에서는 본 발명의 실시예에 따른 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성방법(이하 '파노라마 이미지 생성방법'이라 한다)에 대하여 살펴보기로 한다.
도 2를 참조하면, 파노라마 이미지 생성방법은, 크게 입력된 이미지들을 매칭하는 이미지매칭단계(S10)와, 매칭된 이미지들을 정제하여 유효 이미지쌍을 획득하는 이미지정제단계(S20)와, 정제된 유효 이미지쌍들을 스티칭하여 파노라마 이미지를 생성하는 스티칭단계(S30)를 포함하여 구성될 수 있다.
먼저 이미지매칭단계에 대하여 세부적으로 살펴보면, 이미지매칭단계는, 이미지매칭부(100)에 의하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하며, 생성된 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 이미지쌍들의 일치점을 식별하고 이미지쌍들의 일치 여부를 결정한다.
세부적으로, 이미지매칭단계는, 이미지페어링단계(S11)와, 매칭단계(S12)와 RANC알고리즘을 사용하여 호모 그래피를 추정하는 단계(S13)를 포함하여 구성될 수 있다.
이미지페어링단계(S11)는, 페어링모듈(110)에 의하여 델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하는 단계이다.
먼저, 2D 들로네 삼각 분할 (Delaunay Triangulation)을 사용한 이미지 페어링(Image Paring)에 대하여 살펴보기로 한다.
우선, 모든 이미지쌍 간의 대응 관계를 결정하는 것은 픽셀단위의 밀도 일치성을 식별하기 위한 딥매칭을 이용할 수 있으며, 이러한 딥매칭은 완전히 계산적으로 수행될 수 있다.
한편, 이러한 계산적 부담을 줄이기 위하여, 본 발명에서는 2D 들로네 삼각 분할(Delaunay Triangulation)을 적용할 수 있으며, 이는 촬영 된 이미지의 경로에 기초하여 이웃 이미지들 사이의 일치만을 식별하도록 구성된다.
도 3은 2D 들로네 삼각 분할을 사용하여 실현 된 이미지를 나타낸 도면으로,도면을 참조하면 페어링 이미지들 사이에 알려진 상대적 지오메트리로 획득 된 총 12 개의 이미지의 예를 나타낸다. 도면을 참조하면, 이러한 이미지에서 2D 들로네 삼각 분할 은 주변 이미지의 가능한 이미지쌍을 생성할 수 있다. 예를 들어, 이미지 1은 이미지 2 및 6과 쌍을 이루고, 이미지 2는 이미지 6, 5, 4 및 3과 쌍을 이루며, 가능한 모든 이미지쌍에 대해 조밀한 일치를 결정하기 위해 딥 매칭이 적용될 수 있다.
이미지를 매칭하는 매칭단계(S12)는, 딥매칭모듈(120)에 의하여 생성된 이미지쌍들 각각에 대하여 딥매칭(deepmatching)을 통하여 픽셀단위의 밀도 일치성을 식별하여 이미지쌍들 간의 대응관계를 결정하는 단계이다. 여기서, 딥매칭은, Revaud J, Weinzaepfel P, Harchaoui Z, et al. 의 'Deepmatching: Hierarchical deformable dense matching'(INT J COMPUT VISION 2016; 120: 300??323.)의 내용을 적용할 수 있다. 또한, 딥매칭 알고리즘을 구현하기 위하여 인텔 i7-8700k CPU 및 16Gb RAM을 사용하여 1K 이미지쌍에 대해 딥매칭을 구현하는 데 약 60 초가 소요되었으며, 일치하는 이미지쌍 수에 따라 계산이 선형 적으로 증가하였다.
세부적으로 딥매칭모듈(120)의 딥매칭 알고리즘은, 상관단계(correlation stage)와, 집성단계(aggregation stage)와, 대응추출단계(correspondence extraction stage)를 포함하여 구성될 수 있다.
먼저, 상관단계는, 이미지를 겹치지 않는 설정 픽셀배열의 서브패치들로 각각 분할하고, 히스토그램 형태의 특징(feauture)을 추출하는 HOG(histograms of oriented gradient)알고리즘을 통하여 각 서브패치들에서 상관(correlation)여부를 분석하여 서로 대응하는 서브패치들을 추출하여 상관맵(correlation map)들을 생성한다.
이러한 상관단계에 대하여 세부적으로 살펴보면, 상관 단계에서, 이미지 1은 겹치지 않는 4×4 픽셀 서브-패치들로 분할되고, HOG(histograms of oriented gradient)알고리즘이 각 서브 패치로부터 추출되고, 이는 이미지 2와 상관되어, 대응하는 상관 맵이 각 서브 패치에 대하여 생성된다.
여기서, 상기 HOG 알고리즘은 SIFT 알고리즘과 동등한 그래디언트(gradient) 기반의 특징추출법으로서, 히스토그램 형태의 특징(feauture)를 추출하기 위한 알고리즘이다.
여기서, SIFT 알고리즘은 조도의 변화에 대한 불변한 특징(invariant feature)을 잡기 위해서 물체의 극소, 극대점을 잡는데, 여기에서 가우시안 피라미드를 사용할 수 있다. 이때, SIFT 알고리즘은은 한 개의 점을 찾기 위해서 위, 아래의 스케일공간에서 3x3 블록안에 모든 점들, 총 26개의 점들을 비교하게 되고, 추출한 특징점들 중 대비(Contrast)가 낮거나 에지(Edge)부분에서 검출된 특징점들은 키(Key)값으로는 좋은 특징점이 아니라 그 값들을 제거해준다. 그리고 추출한 Key의 방향을 계산해주는데, 이것은 회전 변환에도 강인한 매칭 성능을 위해 처리된다. 계산된 Key값에 방향과 크기는 상대적인 값들이라서 실제 이미지와 매칭이 불가능하기 때문에 SIFT 디스크립터(Descriptor)를 계산 한다. 그리고 나서 계산된 SIFT D디스크립터와 타겟 이미지의 각 Key와의 거리를 유클리드 거리(Euclidean distance)을 사용하여 구한다. 마지막으로 제대로 매칭되었는지 확인함으로써 SIFT 알고리즘은 종료하게 된다.
집성단계는, 생성된 상관맵들을 필터링하여 최대 풀링(max pooled)을 수행하고, 계산복잡도를 감소시키기 위하여 다운샘플링(Down Sampling)하여 평균화시키고, 빠른 수렴발생을 방지하도록 정류(rectification)하여 상기 상관맵들을 집성한다.
다시 말해, 집성 단계에서, 각 상관맵은 3×3 필터를 사용하여 최대로 풀링(pooled)되고, 다운 샘플링(Down Sampling)되어 계산 복잡도를 2 배 정도 감소시킨다. 평균화 단계는 4 개의 이웃 상관맵으로 구현되고, 정류 단계는 빠른 수렴의 발생을 방지하기 위해 적용된다.
이에 따라 이러한 집성 단계가 반복되면, 8×8, 16×16,…,
Figure 112020059501174-pat00008
픽셀 서브 패치에 해당하는 가상 상관 맵이 구성된다. 여기서 n은 반복 횟수 대응 추출 단계에서, 각각의 반복에서 구성된 상관 맵은 멀티-스케일 피라미드를 포함하기 위해 상향식 접근법으로 함께 적층되고, 유사 밀도 대응은 하향식 접근법에서 스케일 공간 로컬 최대값을 추출하여 결정될 수 있다.
대응추출단계는, RANSAC(random sample consensus)을 사용하여 특이치 이미지 일치점을 제거하여 호모 그래피를 추정하고, 잔차오차(residual error)의 최대 유클리드거리(maximum Euclidean distance)보다 작은 인라이어(inlier) 수를 최대화할 수 있도록 호모 그래피를 추출한다.
이하에서는, RANSAC알고리즘을 사용하여 호모 그래피를 추정하는 단계(S13)에 대하여 살펴보기로 한다. 우선, 이때 RANSAC알고리즘을 사용하여 호모 그래피를 추정하는 단계는 이후의 이미지 정제단계(S20)의 RANSAC알고리즘을 통하여 인라이어 개수에 따른 유효 이미지쌍을 정제하는 단계와 이어진다.
먼저, 호모 그래피 및 RANSAC(random sample consensus)에 대하여 살펴보기로 한다.
호모 그래피는 하나의 이미지 평면을 다른 이미지 평면에 매핑하는 투영 공간에서 두 이미지 간의 기하학적 변환을 나타낸다. 이때, 호모 그래피는, 한 이미지 평면에서 이미지 포인트 X, Y와 다른 이미지 평면에서 X ', Y'로의 변환은 수학식 1로 표현 될 수 있다.
수학식 1
Figure 112020059501174-pat00009
여기서, H는 3×3 호모 그래피 매트릭스이며, 호모 그래피 매트릭스는 8자유도를 가지며 알려진 점이 4개 이상인 최소 제곱 문제를 해결하여 계산할 수 있다(도 5참조). 또한, X, Y 및 X ', Y'는 두 이미지 사이의 이미지 일치점을 나타낸다.
호모 그래피를 추정하기 위해 RANSAC를 사용하여 특이치 이미지 일치점을 제거하고, 잔차오차(residual error)의 최대 유클리드 거리보다 작은 인라이어 수를 최대화하는 최상의 호모 그래피를 결정할 수 있다. 이미지i에서 이미지j까지의 잔차 오차
Figure 112020059501174-pat00010
는 수학식 2로 계산될 수 있다.
수학식 2
Figure 112020059501174-pat00011
여기서,
Figure 112020059501174-pat00012
는 이미지 j에서 k 번째 매칭점의 위치를 나타내고, Hji는 이미지 i의 포인트를 이미지j의 포인트로 변환하는 호모 그래피이며,
Figure 112020059501174-pat00013
는 이미지 i의 k 번째 일치 포인트이며,
Figure 112020059501174-pat00014
는 이미지 i에서 이미지 j까지의 투영 점 위치를 나타낸다.
한편, 이때 잔차 오차와 인라이어 포인트 수 간의 트레이드 오프(trade-off )에 주목해야할 필요가 있다. 이는, 만약 잔차 오차를 낮추면 인라이어 포인트에 더 엄격한 공차를 가함으로써 적합도가 향상되나, 정확한 이미지 일치를 위해 인라이어 포인트 수가 충분하지 않을 수 있으므로, 본 발명에서는 0.1 픽셀의 최대 잔류 거리는 보다 엄격한 매칭을 실현하기 위해 사용될 수 있다.
이미지정제단계(S20)는, 이미지정제부(200)에 의하여 매칭된 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성한다.
세부적으로, 이미지정제단계는, 이미지정제부(200)가 파라메트릭모델로서 RANSAC 알고리즘을 이용하고, RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하여 유효 이미지쌍을 결정(S21,S23)하고, 결정된 유효 이미지쌍을 인라이어수에 따라 링크로 구성하여 형성되는 스패닝트리를 사용하여 이미지매칭트리를 획득(S22)하며, 이미지매칭트리를 통하여 호모그래피를 생성(S24)하는 과정을 포함한다.
이때, 유효 이미지쌍의 결정은, RANSAC 알고리즘을 이용하여 매칭된 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수에 따라 유효 이미지쌍을 결정한다.
이하에서는, 최적의 스티칭을 위한 정제 이미지 일치 및 유효한 이미지 일치를 결정하기위한 파라메트릭 모델에 대하여 살펴보기로 한다.
우선, RANSAC는 주어진 두 이미지 사이의 특이 치를 식별할 수 있으며, 이 이미지에는 오 탐지 및 오 탐지 이미지쌍이 포함될 수 있다. 한편, 여기서 이미지 스티칭(SIFT 기반)을 위한 이미지 검증 확률 모델은 수학식 3 베이즈의 정리(Bayes' rule)을 구현하여 획득할 수 있다.
수학식 3
Figure 112020059501174-pat00015
이때, 이미지에서 검출 된 매칭 포인트의 총 개수는 nf이고, RANSAC를 통해 획득 된 인라이어 개수는 ni이고, α 및 β는 각각 정확한 이미지 정합을 결정하기위한 선형 파라메트릭 모델의 바이어스 및 가중치를 나타낸다.
여기서, 유효한 이미지쌍은 인라이어 수 ni가 수학식 3에 제시된 조건을 만족하는 경우에만 결정될 수 있다. 이에 실험적으로, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 수학식 3을 만족하는 이미지쌍을 유효 이미지쌍으로 결정될 수 있으며, 이때의 α의 임계 값은 10으로 설정되고, β는 0으로 결정될 수 있다.
한편, 상기에서 α 및 β 매개 변수가 새로 정의되었는데, 이러한 매개 변수는 잔류 오차의 0.1 최대 유클리드 거리를 갖는 딥매칭 및 RANSAC를 사용하여 300 개의 정확한 이미지쌍과, 300 개의 잘못된 이미지쌍으로부터 모든 일치점과 인라이어를 얻음으로써 경험적으로 결정될 수 있다.
도 6은 정확하거나 잘못된 이미지쌍에 대한 모든 일치 지점과 인라이어 지점의 수를 나타낸다. 도면을 참조하면, 올바른 쌍의 경우, 일치하는 점의 수는 5에서 10,000 사이이며, 이를 살펴볼 때, 일치하는 점의 수는 반드시 인라이어 수에 비례하지는 않는다는 것을 확인할 수 있다. 반면, 쌍이 올바르지 않은 경우에는, 일치하는 수가 많더라도 인라이어 수가 10을 초과하지 않는다는 것을 확인할 수 있다. 따라서 정확한 이미지쌍을 식별하기 위해 α의 임계 값은 10으로, β는 0으로 결정될 수 있다.
한편, 본 발명의 성능을 종래의 SURF 기반 방법과 비교하기 위하여, 모든 매칭 포인트 및 인라이어를 도 6에 도시하였다. 이를 살펴보면, 종래의 SURF 기반 방법과 본 발명은 0.1 픽셀의 잔류 오차의 최대 유클리드 거리를 갖는 동일한 데이터 세트를 사용하여 구현될 수 있다.
이를 비교해보면, SURF 기반 방법을 사용한 경우 올바른 쌍으로 최대 800 개의 일치점을 추출하고 인라이어 포인트의 수는 3에서 50까지이며, 이는 본 발명보다 훨씬 낮음을 확인할 수 있으며, 잘못된 쌍의 경우 SURF 기반 방법에 대해 유효한 이미지쌍의 인라이어 수를 3 개로 낮게 설정할 수 있으며 이러한 소수의 인라이어에 의해 호모 그래피의 정확도가 크게 영향을 받을 수 있다. 반면, 본 발명은 SURF 기반 방법과 비교하여 충분한 수의 인 라이어를 사용하여 정확하고 엄격한 호모 그래피를 제공 할 수 있다.
세부적으로, 먼저 정제된 유효한 일치 쌍은 인라이어 수에 따라 최대 스패닝 트리를 사용하여 최적화될 수 있다. 이때, 스패닝 트리는 최소 개수의 링크를 구성하는 이미지 트리의 하위 집합이며, 최대 스패닝 트리는 각 이미지쌍의 인라이어 수로 표시되는 가중치 합계를 최대화하는 링크를 찾을 수 있다. 예를 들어, 도 7은 6 개의 이미지를 사용하는 최적의 이미지 일치트리를 보여준다. 도 7을 참조하면, 각 모서리는 이미지 i와 j 사이의 링크와 일치하는 인라이어(inliers) 수를 나타낸다. 최적의 매칭 순서는 가능한 모든 링크 조합에서 인라이어 수의 합을 최대화함으로써 결정될 수 있다. 여기서, 최적화 된 이미지 트리(도 7(b) 참조)는 도시된 바와 같이 추출 된 정합 인라이어의 결과를 기반으로 생성될 수 있다.
이렇게, 최적화 된 이미지 트리(T)가 획득되면, 최적화 된 이미지 매칭 쌍들 사이의 호모 그래피는 호모 그래피 매트릭스가 아이덴티티 매트릭스로 초기화되는 기준으로 재구성된다.
스티칭단계(S30)는, 이미지생성부(300)에 의하여 호모그래피를 사용하여 이미지들을 순차적으로 매핑시키고, 매핑된 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성한다.
스티칭단계는, 이미지매칭트리를 통해 재구성된 호모 그래피를 사용하여 이미지들을 순차적으로 파노라마 도메인에 매핑시켜 번들조정(Bundle Adjustment)을 수행하고(S31), 라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 번들조정된 이미지들을 n개의 대역 통과 이미지들로 분해하여 다수의 주파수 대역에 걸쳐 블렌딩을 수행하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 유효 이미지쌍을 스티칭(S32)하여, 파노라마 이미지를 생성한다(S33).
이하에서는, 이러한 파노라마 이미지 생성과정에 대하여 보다 상세하게 살펴보기로 한다.
먼저, 번들 조정(Bundle Adjustment)은 파노라마 이미지로의 각 이미지의 2D 변환의 글로벌 최적화를 포함한다. 이미지 트리(T)를 통해 재구성된 호모 그래피를 사용하여 이미지가 순차적으로 파노라마 도메인에 매핑되고, 새로운 이미지가 파노라마 도메인에 매핑 될 때 각 이미지의 관절과 관련된 재투영 에러가 반복적으로 최적화된다. 각 이미지의 호모 그래피를 가장 일치시키는 이미지의 호모 그래피를 초기화하여 모든 이미지에 대해 조정 프로세스가 반복된다. 이때, 에러 함수는 수학식 4와 같이 L2 규범 최적화의 빠른 수렴 속성을 결합한 잔차 에러의 합으로 구성될 수 있다.
수학식 4
Figure 112020059501174-pat00016
여기서 T는 이미지쌍 i, j의 링크를 포함하는 이미지 트리이다. F(i,j)는 이미지 i와 j 사이의 일치점의 인덱스이고
Figure 112020059501174-pat00017
는 수학식 2의 잔차이다. 그리고 오차 함수는 비선형 최소 제곱 문제이며 Levenberg-Marquardt 알고리즘을 사용하여 해결할 수 있다.
멀티밴드블렌딩(Multi-band Blending)은 넓은 공간 범위의 저주파수와 짧은 공간 범위의 고주파를 결합하는 것을 말한다. 그리고 라플라시안 피라미드는 이미지를 N 개의 대역 통과 이미지로 분해하여 다수의 주파수 대역에 걸쳐 블렌딩을 수행하는데 사용된다. 본 발명에서는 간단한 대역 통과 (N = 2)가 수행될 수 있다. 한편, 이미지의 라플라시안 피라미드(Laplacian pyramid)는 수학식 5 같이 정의될 수 있다.
수학식 5
Figure 112020059501174-pat00018
여기서 Rk는 최종 조합에 대한 라플라시안 피라미드 분해의 k 번째 레벨이고,
Figure 112020059501174-pat00019
및
Figure 112020059501174-pat00020
는 각각의 i, j 이미지에 대한 라플라시안 피라미드 분해의 k 번째 레벨을 나타내고 Gk는 k 번째 레벨이다. 그리고 이미지 마스크의 가우스 피라미드 분해 저주파 정보를 추출하기 위해 선형 가중합을 사용하여 고주파수 정보를 선택하기 위해 블렌딩이 수행된다.
이하에서는, 파노라마 이미지의 부분 업데이트 방법에 대하여 보다 상세하게 살펴보기로 한다.
먼저, 앞선 방법으로 생성된 파노라마 이미지와 새롭게 발생한 손상을 촬영한 축척이 다른 두 이미지간 딥매칭을 수행한다. 그런 다음, 이렇게 수행한 딥매칭에 대해 RANSAC을 통해 인라이어를 추출하고 호모그래피를 구성한다. 이후, 구성된 호모그래피를 기반으로 축척이 다른 두 이미지를 겹치고 블렌딩을 수행함으로써, 기존의 파노라마 이미지에 새로운 손상 이미지가 부분적으로 업데이트된다.
이하에서는, 본 발명에 의하여 생성된 파노라마 이미지의 검증과정 및 결과에 대하여 살펴보기로 한다.
먼저, 본 발명을 검증하기 위하여 일련의 실험이 수행되었으며, 얻어진 결과는 기존의 SURF 기반 방법 및 상용 소프트웨어 Photoshop-photomerge의 결과와 비교하였으며,평평한 콘크리트 벽에서 실험실 규모의 실험을 수행하였다.
- 실험 셋업(Experimental Setup)
본 발명의 실험적 검증은, 도 8에 도시된 바와 같이 균열 콘크리트 벽의 이미지를 사용하여 실험실 규모의 테스트를 통해 수행 되었다. 실험을 위해, 3 개의 주요 방향 즉, 중앙에서 우측 상단으로, 중앙에서 좌측 상단으로, 및 하단에서 중앙으로 균열을 포함하는 0.9 x 1.2m의 영역이 선택되었다.
도 8에 표시된 지정된 경로를 통해 벽에서 0.3m에서 총 6 개의 이미지를 얻었으며, 이러한 이미지는 960×720 해상도의 Samsung Galaxy S9 + 휴대 전화 카메라를 사용하여 캡처하였다. 본 발명을 사용하여 클로즈업 이미지를 스티칭하고 기존의 SURF 기반 이미지 스티칭 및 상용 소프트웨어(Photoshop의 Photomerge 명령)와 비교하였다.
- 결 과
이미지 스티칭의 성공에 영향을 미치는 가장 중요한 요소는 이미지 사이의 일치점을 추출하는 것이다. 본 발명과 종래의 SURF 기반 방법을 사용하여 추출 된 정합점 수를 비교하여 표 1에 나타내었다.
본 발명과 SURF 기반 방법을 사용하여 이미지 1과 2 사이에서 각각 822 및 4 개의 일치 지점을 얻었다. 표 1를 살펴보면, 종래의 SURF 기반 방법을 사용하여 얻은 일치 지점은 이미지의 가능한 모든 일치 항목에서 0에서 6까지의 범위이나, 본 발명은 이미지 2와 4 사이의 일치에서 최소 21 점, 이미지 5와 6 사이의 일치에서 최대 2,391 점을 추출할 수 있었다.
이에 따르면, SURF 기반 방법을 사용하여 획득 된 매칭점의 수는 이미지의 모든 가능한 매칭 쌍에서 0 내지 6의 범위 내였지만, 본 발명은 최소 21, 최대 2,391 개의 매칭점을 획득하여 그 우수성을 입증할 수 있었다. 그리고 본 발명의 이러한 일치점 추출은 파노라마 콘크리트 벽 이미지를 성공적으로 생성하고 벽에 명확한 연속 균열 경로를 재구성할 수 있는 반면, 다른 방법은 이미지의 일치 및 스티칭에 실패하였음을 확인할 수 있었다.
표 1
Figure 112020059501174-pat00021
도 9는 비교 목적으로 SURF 기반 방법과 본 발명을 사용하여 원본 이미지에서 감지 된 매칭 인라이어를 나타낸다. 도면에서 (a)는 원시이미지를 나타내고, (b)는 SURF 기반 방법을 사용한 매칭 인라이어의 분포를 나타내고, (c)는 본 발명의 매칭 인라이어의 분포를 나타낸다. 도면을 참조하면, SURF 기반 방법은 관심 영역의 가장자리에서 일치점을 감지했지만(도 9(b) 참조), 본 발명은 전체 이미지에서 일치점을 풍부하게 감지할 수 있다.
도 10은 본 발명을 사용하여 생성 된 파노라마 이미지를 도시 한 도면이다. 여기서 도 10의 (a)는 본 발명을 통하여 획득한 스티치 이미지를 나타내며, (b)는 균열 접합점에서 확대된 스티치 이미지를 나타낸다.
도면을 참조하면, 겹쳐진 영역에서 고스팅(ghosting) 현상이 발생하지 않고 6개의 이미지가 모두 성공적으로 연결되었음을 확인할 수 있다. 더욱이, 생성 된 파노라마 이미지는 미스 얼라인먼트(mis-alignment) 없이 연속적인 균열 경로를 묘사 하고 있음을 확인할 수 있다(도 10(b)참조). 반면, 종래의 방법(SURF 기반 방법과 Photoshop-photomerge)은 기능 포인트가 충분하지 않아 파노라마 이미지를 생성하지 못하였다.
이하에서는, 콘크리트 교량 데크에 대한 현장 테스트 내용에 대하여 살펴보기로 한다.
- 테스트 설정
현장 실험은 한국 원주에 위치한 콘크리트 박스 거더 교량에서 수행되었으며, 1280×960의 해상도로 교량의 절반 범위에 대한 이미지를 얻었다. 도 11은 원주 교량의 경로 중심이미지를 나타내며, (a)는 높은 중첩을 갖는 케이스1을 나타내고, (b)는 낮은 중첩은 갖는 케이스2를 나타낸다. 도면을 참조하면, 12 개의 행과 3 개의 열에 해당하는 사전 정의 된 경로(도 11(a)참조)를 사용하여 총 36 개의 이미지를 얻었으므로 순차 이미지의 전체 겹친 영역이 앞쪽 랩에서 80 %, 측면 랩에서 50 %보다 크다.
본 발명의 견고성을 검증하기 위해 두 가지 경우가 고려되었다. 도 12는 앞쪽 랩과 측면 랩의 파란색과 빨간색 상자에서 두 이미지 사이의 겹친 영역을 보여준다. 케이스 1은 이미지 스티칭(도 12(a)참조)에 대해 중첩이 높은 36 개의 원본 이미지로 구성되었으며 케이스2는 5 개의 행과 2 개의 열(도 11(b)참조)이 20 개 미만인 10 개의 이미지로만 구성되었다. 이러한 이미지는 해당 오버랩 시나리오를 시뮬레이션하기 위해 수동으로 선택되었다(도 12(b)참조). 또한 이미지 보정을 위한 고유 파라미터를 얻도록 카메라를 보정하였다.
- 결 과
표 2는 각각 높은 중첩의 케이스1과 낮은 중복의 케이스2에 대한 매칭 포인트 수로 SURF 기반 방법과 본 발명을 비교 한 결과이다. 이를 살펴보면, 모든 일치하는 쌍을 나열하는 대신 일치하는 쌍의 샘플이 예제로 제공된다. SURF-기반 방법은 본 발명에서 RANSAC에 사용 된 0.1 픽셀 대신 1 픽셀의 잔류 오차의 최대 유클리드 거리로 수행되었다. 결과는 본 발명이 RANSAC에 대해 0.1 픽셀의 더 엄격한 임계 값을 가졌음에도 불구하고 본 발명이 SURF 기반 방법보다 적어도 5 배 더 많은 인라이어를 감지했음을 보여준다. 또한 본 발명에서는 케이스2에서 충분한 수의 인라이어가 발견되었지만(겹침이 적음) SURF 기반 방법에서는 몇 개의 포인트가 발견되지 않아 정확한 파노라마 이미지 생성에 미흡한 부분이 있었다.
표 2
Figure 112020059501174-pat00022
도 13 및 도 14는 원본 이미지에서 높은 중첩의 케이스1과 낮은 중첩의 케이스2 각각에 대한 인라이어 매칭에 대하여 본 발명과 종래기술을 비교한 사진이다.
도면을 참조하면, 종래의 SURF 기반 방법은 관심 영역의 가장자리에서 특징이 검출되지만, 본 발명은 이미지 i와 j의 상관관계에 기초하여 특징을 검출하여 풍부한 딥매칭 검색 결과를 제공할 수 있으며, 이에 따라 강력한 매칭 포인트를 제공함을 확인할 수 있다.
도 15는 케이스 1에 대한 높은 중첩에 대한 스티치 결과를 비교하여 나타낸 도면으로, (a)는 SURF 기반 방법의 결과를 나타내고, (b)는 Photoshop-photomerge 결과를 나타내며, (c) 본 발명의 결과를 나타낸다.
도면을 참조하면, 도면에서 빨간색으로 표시된 참조선은 생성 된 이미지의 드리프트를 나타낸다. SURF 기반 방법으로 생성 된 파노라마 이미지는 겹친 영역의 고스트를 빨간색 원으로 표시하고(도 15(a)참조) 있으며, 왼쪽으로 구부러져 있음을 확인할 수 있다. 또한, Photoshop-photomerge에서 생성 된 이미지는 참조선을 기준으로 왼쪽으로 약간 기울어 져 있는 것을 확인할 수 있다. 반면, 본 발명은 기준선에 대해 중첩 된 에지 및 드리프트에서 고스팅(ghosting)이 발생하지 않는 고품질 스티칭 이미지를 얻을 수 있었다.
도 16은 낮은 중첩에 대한 케이스 2의 스티치 결과를 비교하여 나타낸 도면으로, (a)는 SURF 기반 방법 결과를 나타내고, (b)는 Photoshop-photomerge 결과를 나타내며, (c)는 본 발명의 결과를 나타낸다. 도면을 참조하면, 케이스 2의 불충분한 인라이어로 인해 SURF 기반 방법으로 얻은 이미지는 이미지의 하단 및 중간 부분에서 비정상적으로 왜곡되어 잘못된 결과를 나타내고 있다. 또한, Photoshop-photomerge에 의해 생성 된 이미지는 낮은 사이드 랩에도 불구하고 케이스 1에서와 유사한 스티칭 결과를 나타낸다. 그러나 이미지의 하단 부분(도 16(b) 참조)은 사례 1(도 15(b)참조)보다 더 왜곡되어 있는 것을 확인할 수 있다. 반면, 본 발명은 측면 랩에서 낮은 중첩이 있음에도 불구하고 케이스 1에서 얻은 것만큼 좋은 스티칭된 이미지를 얻을 수 있었다.
이하에서는 육안 검사 데이터 셋에 적용하는 경우 이에 대한 내용을 살펴보기로 한다.
- 테스트 설정
본 발명의 견고성을 입증하기 위해 도 17과 같이 한국 도로 공사가 제공 한 육안 검사 데이터 세트를 기반으로 검증을 수행하였다. 여기서, 데이터 세트는 교량 A의 28 개 이미지(예: 4행 7열)와 경로 이미지 사이의 오버랩을 최소화하기 위해 수동으로 결정되었다. 그리고 이미지는 수동 스티칭에 사용되었기 때문에 기능 기반 이미지 일치를 고려하지 않고 직접 스티칭을 위해 이미지 간의 겹침을 최소화하였다. 극단적인 경우의 성능을 보여주기 위하여 5%미만의 중첩을 갖는 실제 교량 검사 이미지를 가지고 검증하였으며, 도면에서 5 % 미만의 겹침 영역은 파란색으로 강조 표시하였다. 한편, 이 데이터 세트는 일반 용도로 개발 된 SURF 기반 방법 및 상용 소프트웨어와 비교하여 콘크리트 이미지에 대한 파노라마 스티칭의 견고성을 입증하고 본 발명의 검증을 위해 선택되었다.
- 결 과
도 18은 SURF 기반 및 본 발명을 사용하여 추출 된 정합 인라이어의 예를 도시한 사진으로 (a)는 원시 이미지를 나타내고, (b)는 SURF 기반 방법에 의한 정합 인라이어 결과를 나타내고, (c)는 본 발명의 정합 인라이어 결과를 나타낸다. 도면을 참조하면, 도 18 (b)에서 파란색 사각형으로 표시된 오버랩 영역의 경우 SURF 기반 방법은 두 개의 불일치와, 세 개의 정확히 일치하는 인라이어(inliers)를 포함하여 5 개의 점을 탐지한 반면, 본 발명의 딥매칭(Deepmatching)은 불일치하지 않고 35 개의 정확히 일치하는 인라이어를 추출할 수 있엇다. 한편, 이미지 사이의 작은 겹침으로 인해 일치하는 인라이어 수가 적었으나, 본 발명은보다 안정적인 매칭된 인라이어를 제공하는 것으로 확인할 수 있었다.
도 19는 SURF 기반 방법, Photoshop-photomerge 및 본 발명을 사용하여 얻은 파노라마 이미지를 비교 한 사진들로서, (a)는 SURF 기반 방법에 의하여 얻어진 파노라마 이미지를 나타내고, (b)는 Photoshop-photomerge를 통하여 얻어진 파노라마 이미지를 나타내고, (c)는 본 발명에 의하여 획득한 파노라마 이미지를 나타내고 있다.
도면을 참조하면, SURF 기반 방법을 사용하여 얻은 결과는 이미지들 사이의 불일치한 인라이어들로 인해 중간에 단절된 영역이 존재하고, 구성된 이미지의 오른쪽에 큰 왜곡이 있음을 확인할 수 있다. 또한, Photoshop-photomerge는 10% 이상의 겹침이 있는 이미지의 대부분을 성공적으로 연결했으나, 생성 된 이미지의 중앙 부분의 오른쪽에서 고스팅이 관찰되었다. 이러한 고스팅 현상은 도 17에서 파란색으로 표시된 바와 같이 불충분한 오버랩 영역에서 발생하였다. 반면, 본 발명은 이미지 일치 사이의 드리프트를 최소화하여 모든 이미지를 스티칭할 수 있었으며, 많은 수의 일치하는 인라이어 포인트가 있다.
- 부분 업데이트
도 20은 기존 생성된 파노라마 이미지, 새롭게 촬영된 손상 이미지, 그리고 부분 업데이트 된 파노라마 이미지의 예를 도시한 사진으로, 두 이미지간 매칭을 통해 부분 업데이트된 파노라마 이미지를 얻을 수 있음을 확인할 수 있었다.
- 결 론
로봇 교량 검사 분야에서 가장 중요한 프로세스 중 하나는 검사 이미지를 파노라마 이미지로 결합하여 정기적인 유지 보수를 통해 식별된 손상을 추적하는 것이다. 이에, 본 발명은 딥 매칭 기반 파노라마 이미지 생성을 통하여, 교량 검사를 수행하기 위해 평평한 콘크리트 이미지와 같은 약한 텍스처를 갖는 이미지를 결합하는 데 특화된 이미지 스티칭 방법을 제시할 수 있다.
상기한 바에 따르면, 본 발명은 파노라마 이미지를 생성하기 위하여, 가능한 매칭 이미지쌍은 모든 이미지쌍을 검색하는 대신 2D 들로네 삼각 분할에 의해 구성되고, 이미지쌍 사이의 일치점을 식별하기 위하여 딥매칭을 수행하며, RANSAC을 사용하여 각 이미지쌍의 국소적 호모 그래피를 획득하도록 구성될 수 있다. 또한, 본 발명은 유효한 이미지 매칭 쌍을 개선하기 위해 파라메트릭 모델을 적용하여, 각각의 이미지에 대한 최적의 글로벌 호모 그래피가 정의되도록 구성된다. 또한, 본 발명은 번들 조정에 대하여 각 이미지의 전체적인 호모 그래피를 조정하고 강화 된 파노라마 이미지를 제공하도록 구성된다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 이미지매칭부 110 : 페어링모듈
120 : 딥매칭모듈 200 : 이미지정제부
300 : 이미지생성부 400 : 이미지업데이트부

Claims (17)

  1. 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하고, 생성된 상기 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 상기 이미지쌍들의 일치점을 식별하고, 상기 이미지쌍들의 일치 여부를 결정하는 이미지매칭부와;
    매칭된 상기 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 상기 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성하는 이미지정제부와;
    상기 호모그래피를 사용하여 상기 이미지들을 순차적으로 매핑시키고, 매핑된 상기 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)에 의하여 상기 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 파노라마 이미지생성부;를 포함하고,
    상기 이미지정제부는,
    상기 파라메트릭모델로서 RANSAC 알고리즘을 이용하고, 상기 이미지정제부가 상기 RANSAC 알고리즘을 이용하여 매칭된 상기 이미지쌍들을 정제하여 상기 유효 이미지쌍을 결정하고,
    상기 유효 이미지쌍을 인라이어수에 따라 링크로 구성하여 형성되는 스패닝트리를 사용하여 이미지매칭트리를 획득하고,
    상기 이미지매칭트리를 통하여 호모그래피를 생성하도록 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  2. 제 1 항에 있어서,
    상기 이미지매칭부는,
    델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들을 페어링하여 상기 이미지쌍을 생성하는 페어링모듈을 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  3. 제 2 항에 있어서,
    상기 이미지매칭부는,
    딥매칭을 통하여 생성된 상기 이미지쌍들 간의 대응관계를 결정하기 위하여, 상기 이미지쌍들 각각의 픽셀단위의 밀도 일치성을 식별하는 딥매칭모듈을 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 이미지정제부는,
    RANSAC 알고리즘을 이용하여 매칭된 상기 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 수학식 3을 만족하는 이미지쌍을 유효 이미지쌍으로 결정하도록 구성되고, 수학식 3에서 α의 임계 값은 10으로 설정되고, β는 0으로 결정됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
    수학식 3
    Figure 112020059501174-pat00023

    여기서, nf는 매칭된 이미지들의 총 개수이고, ni는 RANSAC를 통해 획득된 인라이어 개수이며, α는 바이어스이고, β는 가중치를 나타낸다.
  6. 제 1 항에 있어서,
    상기 이미지생성부는,
    상기 이미지들을 라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 멀티밴드블렌딩을 수행하도록 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  7. 제 1 항에 있어서,
    상기 이미지생성부에 의하여 생성된 파노라마 이미지에 새롭게 입력된 이미지를 부분적으로 업데이트하는 이미지업데이트부;를 더 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  8. 제 7 항에 있어서,
    상기 이미지업데이트부는,
    상기 이미지생성부에 의하여 생성된 파노라마 이미지와 새롭게 입력된 이미지에 대하여 딥매칭을 수행하고, 상기 파노라마 이미지와 새롭게 입력된 상기 이미지를 복수개의 주파수 대역에 걸쳐 블랜딩하는 멀티밴드블랜딩을 통하여 변경되는 해당 부분만을 업데이트하도록 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템.
  9. 이미지매칭부에 의하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하며, 생성된 상기 이미지쌍들에 대하여 딥매칭(deepmatching)을 이용하여 상기 이미지쌍들의 일치점을 식별하고 상기 이미지쌍들의 일치 여부를 결정하는 이미지매칭단계와;
    이미지정제부에 의하여 매칭된 상기 이미지쌍들을 파라메트릭모델을 이용하여 정제하고, 정제된 상기 이미지쌍들에서 유효한 유효 이미지쌍을 결정하여 호모그래피를 생성하는 이미지정제단계와;
    이미지생성부에 의하여 상기 호모그래피를 사용하여 상기 이미지들을 순차적으로 매핑시키고, 매핑된 상기 이미지들을 복수개의 주파수 대역에 걸쳐 블렌딩하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 상기 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 스티칭단계를 포함하고,
    상기 이미지정제단계는,
    상기 파라메트릭모델로서 RANSAC 알고리즘을 이용하고, 상기 이미지정제부가 상기 RANSAC 알고리즘을 이용하여 매칭된 상기 이미지쌍들을 정제하여 상기 유효 이미지쌍을 결정하는 단계와,
    상기 유효 이미지쌍을 인라이어수에 따라 링크로 구성하여 형성되는 스패닝트리를 사용하여 이미지매칭트리를 획득하는 단계와,
    상기 이미지매칭트리를 통하여 호모그래피를 생성하는 단계를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
  10. 제 9 항에 있어서,
    상기 이미지매칭단계는,
    페어링모듈에 의하여 델로네 삼각분할(Delaunay Triangulation)을 이용하여 입력된 이미지들에서 경로(path)가 일치하는 이미지들을 페어링(Image Paring)하여 이미지쌍을 생성하는 이미지페어링단계와;
    딥매칭모듈에 의하여 생성된 상기 이미지쌍들 각각에 대하여 딥매칭을 통하여 픽셀단위의 밀도 일치성을 식별하여 상기 이미지쌍들 간의 대응관계를 결정하는 매칭단계를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
  11. 제 10 항에 있어서,
    상기 매칭단계는,
    상기 이미지를 겹치지 않는 설정 픽셀배열의 서브패치들로 각각 분할하고, 히스토그램 형태의 특징(feauture)을 추출하는 HOG(histograms of oriented gradient)알고리즘을 통하여 각 서브패치들에서 상관(correlation)여부를 분석하여 서로 대응하는 서브패치들을 추출하여 상관맵(correlation map)들을 생성하는 상관단계(correlation stage)와,
    생성된 상기 상관맵들을 필터링하여 최대 풀링(max pooled)을 수행하고, 계산복잡도를 감소시키기 위하여 다운샘플링(Down Sampling)하여 평균화시키고, 빠른 수렴발생을 방지하도록 정류(rectification)하여 상기 상관맵들을 집성(aggregation)하는 집성단계(aggregation stage)와,
    RANSAC(random sample consensus)을 사용하여 특이치 이미지 일치점을 제거하여 호모 그래피를 추정하고, 잔차오차(residual error)의 최대 유클리드거리(maximum Euclidean distance)보다 작은 인라이어(inlier) 수를 최대화할 수 있도록 호모 그래피를 추출하는 대응추출단계(correspondence extraction stage)를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
  12. 제 11 항에 있어서,
    상기 잔차오차는,
    수학식 2에 의하여 계산됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
    수학식 2
    Figure 112020059501174-pat00024

    여기서,
    Figure 112020059501174-pat00025
    는 잔차오차를 나타내고,
    Figure 112020059501174-pat00026
    는 이미지 j에서 k 번째 매칭점의 위치를 나타내고, Hji는 이미지 i의 포인트를 이미지j의 포인트로 변환하는 호모 그래피이며,
    Figure 112020059501174-pat00027
    는 이미지 i의 k 번째 일치 포인트이며,
    Figure 112020059501174-pat00028
    는 이미지 i에서 이미지 j까지의 투영 점 위치를 나타낸다.
  13. 삭제
  14. 제 9 항에 있어서,
    상기 유효 이미지쌍을 결정하는 단계는,
    RANSAC 알고리즘을 이용하여 매칭된 상기 이미지쌍들을 정제하되, RANSAC 알고리즘에 의하여 획득된 인라이어 개수가 수학식 3을 만족하는 이미지쌍을 유효 이미지쌍으로 결정하도록 구성되고, 수학식 3에서 α의 임계 값은 10으로 설정되고, β는 0으로 결정됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
    수학식 3
    Figure 112022007639812-pat00029

    여기서, nf는 매칭된 이미지들의 총 개수이고, ni는 RANSAC를 통해 획득된 인라이어 개수이며, α는 바이어스이고, β는 가중치를 나타낸다.
  15. 제 9 항에 있어서,
    상기 스티칭단계는,
    상기 이미지매칭트리를 통해 재구성된 호모 그래피를 사용하여 상기 이미지들을 순차적으로 파노라마 도메인에 매핑시켜 번들조정(Bundle Adjustment)을 수행하는 단계와,
    라플라시안 피라미드(Laplacian pyramid)모델을 적용하여 번들조정된 상기 이미지들을 n개의 대역 통과 이미지들로 분해하여 다수의 주파수 대역에 걸쳐 블렌딩을 수행하는 멀티밴드블렌딩(Multi-band Blending)을 통하여 상기 유효 이미지쌍을 스티칭하여 파노라마 이미지를 생성하는 단계를 포함하여 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
  16. 제 9 항에 있어서,
    이미지업데이트부에 의하여 생성된 상기 파노라마 이미지에 새롭게 입력된 이미지를 부분적으로 업데이트하는 이미지업데이트단계;를 더 포함하여 구성되며,
    상기 이미지업데이트단계는,
    생성된 파노라마 이미지와 새롭게 입력된 이미지에 대하여 딥매칭을 수행하고, 상기 파노라마 이미지와 새롭게 입력된 상기 이미지를 복수개의 주파수 대역에 걸쳐 블랜딩하는 멀티밴드블랜딩을 수행하여, 변경되는 해당 부분만을 업데이트하도록 구성됨을 특징으로 하는 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법.
  17. 제 9 항 내지 제 12 항 및 제 14 항 내지 제 16 항 중 어느 한 항에 기재된, 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 방법을 실행하도록 구성된, 컴퓨터로 판독가능한 기록매체에 저장된 컴퓨터 판독가능한 프로그램.
KR1020200070057A 2020-06-10 2020-06-10 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램 KR102392631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200070057A KR102392631B1 (ko) 2020-06-10 2020-06-10 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200070057A KR102392631B1 (ko) 2020-06-10 2020-06-10 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램

Publications (2)

Publication Number Publication Date
KR20210153235A KR20210153235A (ko) 2021-12-17
KR102392631B1 true KR102392631B1 (ko) 2022-04-29

Family

ID=79033786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200070057A KR102392631B1 (ko) 2020-06-10 2020-06-10 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램

Country Status (1)

Country Link
KR (1) KR102392631B1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100614004B1 (ko) * 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
US8331725B2 (en) 2007-01-12 2012-12-11 Qualcomm Incorporated Panoramic imaging techniques
KR20150058871A (ko) 2013-11-21 2015-05-29 한국전자통신연구원 촬상 장치 및 촬상 이미지 스티칭 방법
KR101753360B1 (ko) * 2015-12-04 2017-07-03 광운대학교 산학협력단 시점 변화에 강인한 특징점 정합 방법
KR101868740B1 (ko) 2017-01-04 2018-06-18 명지대학교 산학협력단 파노라마 이미지 생성 방법 및 장치
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Revaud et al. DeepMatching: Hierarchical Deformable Dense Matching, arXiv, 2015년 10월, pp. 1-22. 1부.*
미어 사데크 빌라흐 외 1명. 스티칭 영상의 객관적 영상화질의 평가 방법, 방송공학회논문지 제23권 제2호, 2018년 3월, pp. 227-233. 1부.*

Also Published As

Publication number Publication date
KR20210153235A (ko) 2021-12-17

Similar Documents

Publication Publication Date Title
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
Motta et al. Vessel optimal transport for automated alignment of retinal fundus images
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN105678722A (zh) 一种全景拼接图像弯曲矫正方法及装置
Von Hansen Robust automatic marker-free registration of terrestrial scan data
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
Chang et al. Graph-matching-based correspondence search for nonrigid point cloud registration
Moussa et al. A fast approach for stitching of aerial images
He et al. Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems
Bellavia et al. Image orientation with a hybrid pipeline robust to rotations and wide-baselines
Won et al. Bridge-surface panoramic-image generation for automated bridge-inspection using deepmatching
Ihmeida et al. Image registration techniques and applications: Comparative study on remote sensing imagery
KR102392631B1 (ko) 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램
Torre-Ferrero et al. 3D point cloud registration based on a purpose-designed similarity measure
Hou et al. POS-GIFT: A geometric and intensity-invariant feature transformation for multimodal images
CN105184781B (zh) 图像配准方法及装置
Pichat et al. Part-to-whole registration of histology and mri using shape elements
CN114078245A (zh) 一种图像处理方法及图像处理装置
Gogu et al. Multifocus Image Fusion using TE-CSR Technique
Melo et al. Creation of Retinal Mosaics for Diabetic Retinopathy Screening: A Comparative Study
Zhang et al. Guided feature matching for multi-epoch historical image blocks pose estimation
Yao et al. Robust range image registration using 3D lines

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant