KR20220165552A - 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치 - Google Patents

구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치 Download PDF

Info

Publication number
KR20220165552A
KR20220165552A KR1020210074322A KR20210074322A KR20220165552A KR 20220165552 A KR20220165552 A KR 20220165552A KR 1020210074322 A KR1020210074322 A KR 1020210074322A KR 20210074322 A KR20210074322 A KR 20210074322A KR 20220165552 A KR20220165552 A KR 20220165552A
Authority
KR
South Korea
Prior art keywords
captured image
location
model
captured
image
Prior art date
Application number
KR1020210074322A
Other languages
English (en)
Inventor
유동완
임채덕
김경일
김법균
신진아
우덕균
이수형
임유진
정양재
하수정
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210074322A priority Critical patent/KR20220165552A/ko
Publication of KR20220165552A publication Critical patent/KR20220165552A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치가 제공된다. 정합 장치가, 글로벌 3차원 좌표계가 매핑된 구조물의 3차원 모델을 획득하고, 상기 구조물을 촬영한 촬영 영상을 획득한다. 이후, 촬영 영상의 좌표 정보를 추출하고, 추출된 좌표 정보를 이용하여 3차원 모델과 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출한다. 그리고 상기 촬영 영상의 촬영에 관련된 정보를 기반으로 상기 촬영 영상에서 상기 구조물의 결함의 위치를 획득한다.

Description

구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치{Method and apparatus for matching three dimensional model with photographed image of structure}
본 개시는 영상과 3차원 모델의 정합에 관한 것으로, 더욱 상세하게 말하자면, 구조물 3차원 검사 관리를 위한 촬영 영상과 3차원 모델의 정합 방법 및 장치에 관한 것이다.
고층 건물, 높은 교각, 경기장 등과 같은 구조물의 안전 점검을 위해, 일반적으로 검사자가 카메라를 들고 다니면서 건물의 표면 사진을 획득하고, 이후 획득된 사진을 육안으로 검사하여 구조물의 크랙(crack), 박리 등을 확인한다.
그러나 고층 건물의 표면이나 높은 교각의 경우, 접근이 어렵고 위험하다. 더욱이, 촬영된 사진이 구조물의 어느 위치에서 촬영되었는지를 구별하기 쉽지 않을 때가 많다. 즉, 고층 구조물의 안전 점검시, 작업자의 접근이 어려워 근접 촬영이 어렵고, 작업자에게 위험성이 존재한다. 또한, 안정성 검사를 위한 사진을 획득하기 위해 사다리차, 암벽 등반 전문가 활용 등으로 비용이 많이 들고, 시간 또한 많이 소요된다. 또한, 촬영 후 정확한 촬영 위치 파악이 어려운 문제점이 있다.
본 개시가 해결하고자 하는 과제는, 드론을 이용하여 구조물을 촬영하고, 촬영된 영상과 구조물에 대응하는 3차원 모델과의 정합을 수행하는 방법 및 장치를 제공하는 것이다.
본 개시의 일 실시 예에 따르면, 구조물 촬영 영상과 3차원 모델을 정합하는 방법이 제공된다. 상기 방법은, 정합 장치가, 글로벌 3차원 좌표계가 매핑된 구조물의 3차원 모델을 획득하는 단계; 상기 정합 장치가, 상기 구조물을 촬영한 촬영 영상을 획득하는 단계; 상기 정합 장치가, 상기 촬영 영상의 좌표 정보를 추출하는 단계; 상기 정합 장치가, 상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및 상기 정합 장치가, 상기 촬영 영상의 촬영에 관련된 정보를 기반으로 상기 촬영 영상에서 상기 구조물의 결함의 위치를 획득하는 단계를 포함한다.
일 구현 예에서, 상기 촬영 영상이 촬영된 위치를 추출하는 단계는, 상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계를 포함할 수 있다.
일 구현 예에서, 상기 추출된 좌표 정보는 위도, 경도, 고도를 포함할 수 있다.
일 구현 예에서, 상기 촬영 영상의 촬영에 관련된 정보는 상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 포함할 수 있다.
일 구현 예에서, 상기 구조물의 결함의 위치를 획득하는 단계는, 상기 자세 정보, 화각, 그리고 거리를 이용하여 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하는 단계를 포함할 수 있다.
일 구현 예에서, 상기 3차원 모델을 획득하는 단계는, 3차원 모델링을 위한 상기 구조물의 영상을 획득하는 단계; 상기 영상을 기반으로 3차원 모델링을 수행하여 3차원 객체를 생성하는 단계; 상기 3차원 객체의 3차원 좌표를 생성하는 단계; 및 GCP(Ground Control Point) 기반 글로벌 3차원 좌표계를 상기 생성된 좌표를 가지는 상기 3차원 객체에 매핑하여, 상기 글로벌 좌표계를 가지는 3차원 모델을 생성하는 단계를 포함할 수 있다.
본 개시의 다른 실시 예에 따르면, 구조물의 3차원 검사 관리를 위한 모니터링 방법이 제공된다. 상기 방법은, 모니터링 장치가, 촬영 장치로부터 상기 구조물의 촬영에 따른 데이터 - 상기 데이터는 촬영 영상 및 비행 정보를 포함함 - 를 수신하는 단계; 상기 모니터링 장치가, 상기 데이터를 기반으로 상기 구조물에 대하여 결함이 있는지를 분석하고, 상기 결함에 따른 상기 구조물의 안전성을 분석하는 단계; 상기 모니터링 장치가, 상기 데이터에 포함된 촬영 영상을 글로벌 3차원 좌표계가 매핑된 상기 구조물의 3차원 모델과 정합하여, 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및 상기 모니터링 장치가, 상기 분석에 따른 결과와 상기 데이터에 포함된 촬영 영상을 기반으로, 상기 촬영 영상에서 상기 결함의 위치를 획득하여 가시화하는 단계를 포함한다.
일 구현 예에서, 상기 촬영 영상이 촬영된 위치를 추출하는 단계는, 상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계를 포함할 수 있다.
일 구현 예에서, 상기 촬영 영상이 촬영된 위치를 추출하는 단계는, 상기 촬영 영상의 좌표 정보- 상기 좌표 정보는 위도, 경도, 고도를 포함함 - 를 추출하는 단계; 및 상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계를 포함할 수 있다.
일 구현 예에서, 상기 결함의 위치를 획득하여 가시화하는 단계는, 상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 기반으로, 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하는 단계를 포함할 수 있다.
일 구현 예에서, 상기 촬영 장치는 드론일 수 있다.
본 개시의 또 다른 실시 예에 따르면, 구조물 촬영 영상과 3차원 모델을 정합하는 장치가 제공된다. 상기 장치는, 인터페이스 장치; 및 프로세서를 포함하고, 상기 프로세서는, 상기 인터페이스 장치를 통해 글로벌 3차원 좌표계가 매핑된 구조물의 3차원 모델을 획득하고, 상기 구조물을 촬영한 촬영 영상을 획득하는 단계; 상기 촬영 영상의 좌표 정보를 추출하는 단계; 상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및 상기 촬영 영상의 촬영에 관련된 정보를 기반으로 상기 촬영 영상에서 상기 구조물의 결함의 위치를 획득하는 단계를 수행하도록 구성된다.
일 구현 예에서, 상기 프로세서는 상기 촬영 영상이 촬영된 위치를 추출하는 단계 수행시, 추가적으로, 상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계를 수행하도록 구성될 수 있다.
일 구현 예에서, 상기 추출된 좌표 정보는 위도, 경도, 고도를 포함하고, 상기 촬영 영상의 촬영에 관련된 정보는 상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 포함할 수 있다.
일 구현 예에서, 상기 프로세서는 상기 구조물의 결함의 위치를 획득하는 단계 수행시, 상기 자세 정보, 화각, 그리고 거리를 이용하여 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하도록 구성될 수 있다.
일 구현 예에서, 상기 프로세서는, 3차원 모델링을 위한 상기 구조물의 영상을 획득하는 단계 수행시, 상기 영상을 기반으로 3차원 모델링을 수행하여 3차원 객체를 생성하는 단계; 상기 3차원 객체의 3차원 좌표를 생성하는 단계; 및 GCP(Ground Control Point) 기반 글로벌 3차원 좌표계를 상기 생성된 좌표를 가지는 상기 3차원 객체에 매핑하여, 상기 글로벌 좌표계를 가지는 3차원 모델을 생성하는 단계를 수행하도록 구성될 수 있다.
실시 예들에 따르면, 드론을 이용하여 구조물의 촬영 영상을 구조물에 대응하는 3차원 모델과 정합함으로써, 구조물의 3차원 검사가 용이하게 이루어질 수 있다. 특히, 구조물의 안전 검사시, 점검자가 접근하기 어려운 부분에도 드론을 이용하여 촬영된 사진을 3차원 모델과의 정합을 통해 분석하여, 구조물 상의 결함(크랙, 박리 등)을 찾고 결함 위치를 정확하게 찾아낼 수 있다.
따라서, 고층 구조물의 안전 관리시 위험한 근접 촬영에 대한 작업자에게 안전을 제공할 수 있다. 또한, 안정성 검사에 따른 사진을 획득하기 위한 비용과 시간을 줄일 수 있다. 또한, 촬영 후 사진으로부터 촬영 위치와 결함 위치를 정확하고 빠르게 찾을 수 있다.
도 1은 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법의 흐름도이다.
도 2는 본 개시의 실시 예에 따른 모델 생성 및 3차원 좌표계 매핑 과정의 흐름도이며, 도 3은 본 개시의 실시 예에 따른 모델 생성 및 3차원 좌표계 매핑 과정의 구현을 나타낸 예시도이다.
도 4는 본 개시의 실시 예에 따른 정합/가시화 과정의 흐름도이며, 도 5는 본 개시의 실시 예에 따른 정합/가시화 과정의 구현을 나타낸 예시도이다.
도 6은 본 개시의 실시 예에 따른 모니터링 시스템의 구조를 나타낸 도이다.
도 7은 본 개시의 실시 예에 따른 구조물의 3차원 검사 관리를 위한 모니터링 방법의 흐름도이며, 도 8은 본 개시의 실시 예에 따른 구조물의 3차원 검사 관리를 위한 모니터링 구현 과정을 나타낸 예시도이다.
도 9는 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 나타낸다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
또한, 본 개시의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
다음에는 첨부된 도면을 참조하여 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치에 대하여 설명한다.
도 1은 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법의 흐름도이다.
본 개시의 실시 예에서는 구조물의 3차원 검사 관리를 위한 촬영 영상과 3차원 모델의 정합을 위해, 다음과 같은 단계를 수행한다.
(가) 구조물에 대응하는 3차원 모델을 생성하고, 생성된 3차원 모델에 GCP(Ground Control Point) 기반 글로벌(Global) 3차원 좌표계를 매핑하는 단계
(나) 구조물을 촬영한 촬영 영상에 포함된 좌표 정보를 추출하는 단계
(다) 글로벌 좌표계를 가진 3차원 모델을 기준으로, 촬영 영상이 획득된 구조물의 위치를 추출하는 정합/가시화 단계
(라) 메타 정보를 사용하여 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하여 정밀한 위치를 찾는 단계
구체적으로, 첨부한 도 1에서와 같이, 안전 검사를 하고자 하는 구조물에 대응하는 3차원 모델을 생성한다(S100). 그리고 생성된 3차원 모델에 GCP 기반 글로벌 3차원 좌표계를 매핑한다(S110).
이후, 안전 검사를 하고자 하는 구조물을 촬영한 영상을 획득한다(S120). 여기서 촬영된 영상은 정지 영상일 수 있으며, 반드시 이에 한정되는 것은 아니다. 촬영 영상으로부터 좌표 정보를 추출한다(S130). 여기서 좌표 정보는 예를 들어, WGS84(World Geodetic System 84), TM(Transverse Mercator) 등 좌표계의 위도, 경도, 고도를 포함할 수 있다.
다음에, 단계(S110)에서 획득된 글로벌 좌표계를 가진 3차원 모델과 촬영 영상의 정합을 수행하여, 촬영 영상이 촬영된 위치를 추출한다. 여기서, 촬영 영상의 좌표 정보를 기반으로 3차원 모델과의 정합을 통해 촬영된 위치를 추출할 수 있으며, 추출된 위치는 촬영 영상이 구조물의 어느 위치에 대응하는지를 나타낸다. 정합을 통해 추출된 위치에 대응하는 3차원 구조물의 영역을 가시화할 수 있다(S140).
그리고, 메타 정보를 사용하여 촬영 영상에서 기준 좌표를 계산하고, 기준 좌표를 기반으로 해당 촬영 영상에서 확인된 결함(크랙, 박리 등)의 위치를 찾는다(S150). 여기서 메타 정보는 카메라 자세정보, 화각, 거리를 포함할 수 있다.
다음에는 위와 같이 수행되는 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법에서의 각 단계별 구체적인 방법에 대해서 설명한다.
먼저, 3차원 모델을 생성하고 생성된 3차원 모델에 GCP 기반 글로벌 3차원 좌표계를 매핑하는 과정(설명의 편의상, 모델 생성 및 3차원 좌표계 매핑 과정이라고 함)에 대해 설명한다.
도 2는 본 개시의 실시 예에 따른 모델 생성 및 3차원 좌표계 매핑 과정의 흐름도이며, 도 3은 본 개시의 실시 예에 따른 모델 생성 및 3차원 좌표계 매핑 과정의 구현을 나타낸 예시도이다.
첨부한 도 2에서와 같이, 3차원 모델링을 위한 영상을 획득한다(S300). 예를 들어, 도 3에서와 같이, 드론을 사용하여 구조물의 3차원 모델링을 위한 촬영을 하여, 모델링을 위한 영상을 획득한다(도 3의 1_1). 촬영시, 촬영되는 영상의 중첩도를 예를 들어, 80% 이상으로 하여, 구조물 복원 모델의 품질을 높일 수 있다.
다음에, 획득된, 모델링을 위한 영상을 기반으로 3차원 (복원) 모델링을 수행하여 3차원 객체를 생성한다(S310). 여기서, 단계(S300)에서 드론으로 촬영한 2차원 영상으로 구조물의 3차원 복원을 수행한다. 3차원 모델링을 수행하여 3차원 객체를 생성하며, 특히, 메시(mesh)와 텍스처(texture)로 이루어진 3차원 객체 또는 포인트 클라우드로 구성된 3차원 객체를 생성한다(도 3의 1-2).
이와 같이 생성된 3차원 객체 즉, 3차원 모델의 3차원 좌표를 생성한다(S320). 여기서, GCP(Ground Control Point) 기반 3차원 모델의 글로벌 3차원 좌표를 생성한다. 예를 들어, 구조물 주위에 4개의 GCP 좌표(예: GCP1, GCP2, GCP3, GCP4)를 기준 좌표로 하여 3차원 모델의 글로벌 3차원 좌표를 생성한다. 이를 통해, 위도, 경도, 고도를 획득한다(도 3의 1-3).
다음에, 글로벌 3차원 좌표계를 3차원 모델에 매핑하여, 글로벌 좌표계를 가지는 3차원 모델을 생성한다(S330). 단계(S320)에서 생성된 3차원 좌표들인 3차원 모델의 로컬 좌표계를 실제 GCP의 글로벌 좌표와 매핑하여, 3차원 객체의 모든 포인트에 글로벌 좌표가 매핑된다. 예를 들어, 3차원 모델의 3차원 좌표들을 포함하는 obj 파일내의 GCP의 버텍스(vertex) 위치를 기반으로 글로벌 3차원 좌표계를 매핑하는 과정을 통해, 3차원 모델에 글로벌 3차원 좌표계가 매핑된다.
다음에는 안전 검사 관리를 위해 구조물을 촬영한 촬영 영상을 글로벌 좌표계를 가진 3차원 모델을 기준으로 정합하여, 촬영 영상이 획득된 구조물의 위치를 추출하는 과정(설명의 편의상, 정합/가시화 과정이라고 함)에 대해 설명한다.
도 4는 본 개시의 실시 예에 따른 정합/가시화 과정의 흐름도이며, 도 5는 본 개시의 실시 예에 따른 정합/가시화 과정의 구현을 나타낸 예시도이다.
글로벌 3차원 좌표계가 매핑된 3차원 모델이 획득된 후에, 이러한 3차원 모델을 기반으로 구조물에 대해 촬영된 영상의 정합/가시화를 수행한다.
이를 위해, 도 4에서와 같이, 구조물에 대한 3차원 모델을 입력받는다(S500). 예를 들어, 3차원 모델을 GUI(graphical user interface) 화면으로 로딩한다(도 5의 2_1). 입력 후 위의 도 3에서의 글로벌 좌표계로 변환하는 것에 의해, 3차원 모델을 글로벌 좌표계를 가진 3차원 객체로 변환한다.
다음에, 안전 검사를 위하여 구조물에 대한 촬영 영상을 입력받는다(S510). 구조물 안전 검사를 위해, 드론을 이용하여 구조물을 촬영하여 복수의 사진(촬영 영상)을 획득한다(도 5의 2_2). 구조물의 촬영 영상(사진)을 GUI 기반 가시화 화면에 입력받는다. 이후, 입력된 촬영 영상에서 결함(크랙, 박리 등)을 찾는 결함 분석을 수행할 수 있다. 이러한 결함 분석은 선택적으로 수행될 수 있다. 결함 분석이 별도로 수행되지 않은 경우, 결함 분석에 따른 결함에 대한 정보(예를 들어, 촬영 영상에서의 결함 여부, 결함 좌표 등)를 별도로 제공받을 수 있다.
입력된 촬영 영상에서 좌표 정보를 추출한다(S520). 입력된 촬영 영상에서 좌표 정보(위도, 경도, 고도)를 추출한다(도 5의 2_3). 예를 들어, 촬영된 사진의 EXIF(Exchangeable Image File Format) 내에 촬영된 위치의 좌표 정보가 포함된 경우가 있으며, 이러한 좌표 정보를 추출할 수 있다.
다음에, 글로벌 좌표계를 가진 3차원 모델을 기준으로 구조물의 안전 검사를 위한 영상(사진)이 촬영된 위치를 계산하여 정합/가시화한다(S530). 글로벌 좌표계를 가진 3차원 모델을 기준으로 영상(사진)이 촬영된 위치를 계산하고, 계산된 촬영 위치를 3차원 모델에 대응하여 GUI 화면 상에서 표시하는 정합/가시화를 수행한다(도 5의 2_4). 여기서 계산된 촬영 위치는 도 5에서와 같이, 구조물에서 촬영이 이루어진 위치이나, 촬영 영상에서 발견되는 결함의 정밀한 위치는 아닐 수 있다.
이를 고려하여, 메타 정보를 기반으로 결함의 정밀 위치를 찾는다(S540). 여기서, 메타 정보는 구조물 촬영된 관련된 정보이며, 카메라 자세정보, 화각, 거리를 포함한다. 예를 들어, 메타 정보를 이용하여 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산한다. 그리고, 계산된 중심점 또는 꼭지점의 좌표를 기반으로 결함의 정밀한 위치를 찾는다. 여기서, 예를 들어, 도 5에서와 같이, 촬영 영상에서 확인된 결함의 위치를 찾는 경우, 화각(θ)과 거리(d), 그리고 폭(W)이 주어지면, Tanθ= W/d의 관계가 있다. 이를 기반으로, 화각(θ)과 거리(d), 그리고 폭(W)로 이루어진 삼각형의 꼭지점 좌표를 계산하고, 계산된 꼭지점 좌표를 기반으로 결함의 정밀 위치를 획득한다(도 5의 2_5). 이와 같이, 1차로, 촬영 영상의 좌표를 사용하여 해당 영상을 촬영한 드론의 위치(영상이 촬영된 위치)를 획득하여 3차원 모델에 드론의 위치를 나타내고, 그 위치에서 2차로, 카메라의 화각과 피사체와의 거리 등을 사용하여, 결함(크랙 등)의 정확한 정밀 위치를 획득한다.
이러한 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법을 기반으로, 다음과 같이 구조물의 3차원 검사 관리를 위한 모니터링 시스템을 구현할 수 있다.
도 6은 본 개시의 실시 예에 따른 모니터링 시스템의 구조를 나타낸 도이다.
첨부한 도 6에서와 같이, 본 개시의 실시 예에 따른 모니터링 시스템(1)은, 촬영 장치(2)로부터 제공되는 데이터를 수신하도록 구성된 데이터 서버(10), 분석 서버(20) 및 모니터링 서버(30)를 포함한다.
촬영 장치(2)는 적어도 하나의 드론이다. 촬영 장치(20는 비행하면서, 구조물을 촬영하고, 촬영된 영상에 대한 데이터를 데이터 서버(10)로 송신하도록 구성된다.
데이터 서버(10)는 촬영 장치(2)로부터 송신되는 데이터를 수신하여 저장하고, 수신된 데이터를 분석 서버(20) 및 모니터링 서버(30)로 전달하도록 구성된다.
분석 서버(20)는 AI(artificial intelligence) 서버일 수 있다. 분석 서버(20)는 데이터 서버(10)로부터 제공받은 데이터를 기반으로 안정성/결함을 분석하도록 구성된다. 일 예로, 고속 통신망(예: 5G) 무선 통신을 이용하여 드론으로부터 실시간 전송을 받은 촬영 영상에 대해 실시간 AI 분석을 수행할 수 있다.
모니터링 서버(30)는 데이터 서버(10)로부터 제공받은 데이터를 사용자에게 가시화하며 제공하도록 구성되며, 특히, 위에 설명된 촬영 영상과 3차원 모델의 정합 방법을 기반으로 영상과 3차원 모델의 정합/가시화를 수행할 수 있다.
도 7은 본 개시의 실시 예에 따른 구조물의 3차원 검사 관리를 위한 모니터링 방법의 흐름도이며, 도 8은 본 개시의 실시 예에 따른 구조물의 3차원 검사 관리를 위한 모니터링 구현 과정을 나타낸 예시도이다.
첨부한 도 7 및 도 8에서와 같이, 구조물(예를 들어, 건축물)의 검사 현장에서 촬영 장치 즉, 적어도 하나의 드론(2)이 비행하면서, 구조물을 촬영한다(S700). 드론(2)은 촬영된 영상에 대한 데이터를 데이터 서버(10)로 송신한다(S710). 여기서 드론(2)에 의해 송신되는 데이터는 정지 영상 및/또는 동영상, 비행 정보(좌표 등)을 포함한다.
데이터 서버(10)는 드론(2)으로부터 송신되는 데이터를 수신하여 저장하고(S720), 또한 수신된 데이터를 분석 서버(20) 및 모니터링 서버(30)로 전달한다(S730).
분석 서버(20)는 AI(artificial intelligence) 서버일 수 있다. 분석 서버(20)는 데이터 서버(10)로부터 제공받은 데이터(정지영상 및/또는 동영상, 비행정보(좌표) 등)를 기반으로 안정성/결함을 분석한다(S740). 예를 들어, 정지 영상 및/또는 동영상으로부터 결함을 찾고, 찾아진 결함에 따른 안정성 분석 결과를 생성할 수 있다. 이후, 분석 서버(20)는 안정성/결함 분석 결과를 모니터링 서버(30)로 전달한다(S750).
한편, 모니터링 서버(30)는 데이터 서버(10)로부터 제공받은 데이터를 사용자에게 가시화한다. 특히, 위에 설명된 촬영 영상과 3차원 모델의 정합 방법을 기반으로 영상과 3차원 모델의 정합/가시화를 수행하여, 3차원 모델에 대응하는 구조물과 영상이 촬영된 위치 등을 사용자에게 가시화할 수 있다(S760).
또한, 모니터링 서버(30)는 분석 서버(20)로부터 제공되는 분석 결과를 사용자 에게 가시화하여 제공한다(S770). 모니터링 서버(30)는 분석 결과에 포함된 결함(크랙, 박리, 녹 등)의 정밀 위치를 위에 기술된 바와 같이 계산하고, 이를 기반으로 결함을 가시화하여 사용자에게 제공할 수 있다.
이러한 본 개시의 실시 예들에 따르면, 구조물(특히, 고층 구조물 등)의 안전관리를 위한 위험한 근접 촬영에 대한 작업자에게 안전성을 제공하면서, 구조물 안전 검사를 위한 사진 촬영에 대한 비용과 시간을 줄일 수 있고, 촬영 후 사진으로부터 정확한 촬영 위치와 결함 위치를 정확하고 빠르게 찾을 수 있다. 예를 들어, 높은 교각 또는 (굴뚝) 시설물의 경우 사람이 직접 육안, 장비(카메라)를 통하여 1일 소요되는 검사를 본 개시와 같이 드론을 통해 촬영하여 검사할 경우, 1시간으로 축소될 수 있다.
도 9는 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다.
첨부한 도 9에 도시되어 있듯이, 본 개시의 일 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법은 컴퓨팅 장치(100)를 이용하여 구현될 수 있다.
컴퓨팅 장치(100)는 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(150) 및 네트워크 인터페이스 장치(160) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성요소들은 공통 버스(170)가 아니라, 프로세서(110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.
프로세서(110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(120) 또는 저장 장치(150)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(110)는 메모리(120) 및 저장 장치(150) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(1100)는 위의 도 1 내지 도 8을 토대로 설명한 기능 및 방법들을 구현하도록 구성될 수 있다.
또한, 프로세서(110)는 버스(170)를 통하여 다른 프로세서와 통신할 수 있으며, 또는 네트워크 인터페이스 장치(160)를 통하여 네트워크 상의 다른 디바이스와 통신할 수 있다. 예를 들어, 네트워크 인터페이스 장치(160)를 통해, 드론으로부터 구조물을 촬영한 영상에 대한 데이터를 직접 획득하거나, 또는 드론과 통신하는 데이터 서버로부터 구조물을 촬영한 영상에 대한 데이터를 제공받거나, 또는 안정성/결함을 분석하는 분석 서버로부터 분석 결과를 제공받을 수 있다. 프로세서(110)는 이와 같이 획득되는 데이터를 기반으로 도 1 내지 도 8을 토대로 설명한 기능 및 방법들을 수행할 수 있다. 예를 들어, 프로세서(110)는 도 6에서의 모니터링 서버의 기능을 수행하면서 본 개시의 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법을 구현하도록 구성될 수 있다.
메모리(120) 및 저장 장치(150)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(121) 및 RAM(random access memory)(122)를 포함할 수 있다. 본 개시의 실시 예에서 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.
입력 인터페이스 장치(130)는 입력되는 데이터를 프로세서(110)로 제공하도록 구성된다. 출력 인터페이스 장치(140)는 프로세서(110)로부터의 데이터를 출력하도록 구성되며, 예를 들어, 프로세서(110)에서의 처리 결과를 GUI 화면 상에 디스플레이할 수 있다.
네트워크 인터페이스 장치(160)는 유선 네트워크 또는 무선 네트워크를 통해 다른 장치와 신호를 송신 또는 수신할 수 있다.
이러한 구조로 이루어지는 컴퓨팅 장치(100)는 영상 및 모델의 정합 장치로 명명되어, 본 개시의 일 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법을 구현할 수 있다.
또한, 본 개시의 일 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법 중 적어도 일부는 컴퓨팅 장치(100)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
또한, 본 개시의 일 실시 예에 따른 구조물 촬영 영상과 3차원 모델의 정합 방법 중 적어도 일부는 컴퓨팅 장치(100)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
본 개시의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 개시가 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 개시의 실시 예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (16)

  1. 구조물 촬영 영상과 3차원 모델을 정합하는 방법으로서,
    정합 장치가, 글로벌 3차원 좌표계가 매핑된 구조물의 3차원 모델을 획득하는 단계;
    상기 정합 장치가, 상기 구조물을 촬영한 촬영 영상을 획득하는 단계;
    상기 정합 장치가, 상기 촬영 영상의 좌표 정보를 추출하는 단계;
    상기 정합 장치가, 상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및
    상기 정합 장치가, 상기 촬영 영상의 촬영에 관련된 정보를 기반으로 상기 촬영 영상에서 상기 구조물의 결함의 위치를 획득하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 촬영 영상이 촬영된 위치를 추출하는 단계는
    상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계
    를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 추출된 좌표 정보는 위도, 경도, 고도를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 촬영 영상의 촬영에 관련된 정보는 상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 구조물의 결함의 위치를 획득하는 단계는,
    상기 자세 정보, 화각, 그리고 거리를 이용하여 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하는 단계
    를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 3차원 모델을 획득하는 단계는,
    3차원 모델링을 위한 상기 구조물의 영상을 획득하는 단계;
    상기 영상을 기반으로 3차원 모델링을 수행하여 3차원 객체를 생성하는 단계;
    상기 3차원 객체의 3차원 좌표를 생성하는 단계; 및
    GCP(Ground Control Point) 기반 글로벌 3차원 좌표계를 상기 생성된 좌표를 가지는 상기 3차원 객체에 매핑하여, 상기 글로벌 좌표계를 가지는 3차원 모델을 생성하는 단계
    를 포함하는, 방법.
  7. 구조물의 3차원 검사 관리를 위한 모니터링 방법으로서,
    모니터링 장치가, 촬영 장치로부터 상기 구조물의 촬영에 따른 데이터 - 상기 데이터는 촬영 영상 및 비행 정보를 포함함 - 를 수신하는 단계;
    상기 모니터링 장치가, 상기 데이터를 기반으로 상기 구조물에 대하여 결함이 있는지를 분석하고, 상기 결함에 따른 상기 구조물의 안전성을 분석하는 단계;
    상기 모니터링 장치가, 상기 데이터에 포함된 촬영 영상을 글로벌 3차원 좌표계가 매핑된 상기 구조물의 3차원 모델과 정합하여, 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및
    상기 모니터링 장치가, 상기 분석에 따른 결과와 상기 데이터에 포함된 촬영 영상을 기반으로, 상기 촬영 영상에서 상기 결함의 위치를 획득하여 가시화하는 단계
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 촬영 영상이 촬영된 위치를 추출하는 단계는,
    상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계
    를 포함하는, 방법.
  9. 제7항에 있어서,
    상기 촬영 영상이 촬영된 위치를 추출하는 단계는,
    상기 촬영 영상의 좌표 정보- 상기 좌표 정보는 위도, 경도, 고도를 포함함 - 를 추출하는 단계; 및
    상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계
    를 포함하는, 방법.
  10. 제7항에 있어서,
    상기 결함의 위치를 획득하여 가시화하는 단계는,
    상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 기반으로, 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하는 단계
    를 포함하는, 방법.
  11. 제7항에 있어서,
    상기 촬영 장치는 드론인, 방법.
  12. 구조물 촬영 영상과 3차원 모델을 정합하는 장치로서,
    인터페이스 장치; 및
    프로세서
    를 포함하고,
    상기 프로세서는
    상기 인터페이스 장치를 통해 글로벌 3차원 좌표계가 매핑된 구조물의 3차원 모델을 획득하고, 상기 구조물을 촬영한 촬영 영상을 획득하는 단계;
    상기 촬영 영상의 좌표 정보를 추출하는 단계;
    상기 추출된 좌표 정보를 이용하여 상기 3차원 모델과 상기 촬영 영상의 정합을 수행하여 상기 촬영 영상이 촬영된 위치를 추출하는 단계; 및
    상기 촬영 영상의 촬영에 관련된 정보를 기반으로 상기 촬영 영상에서 상기 구조물의 결함의 위치를 획득하는 단계
    를 수행하도록 구성되는, 장치.
  13. 제12항에 있어서,
    상기 프로세서는 상기 촬영 영상이 촬영된 위치를 추출하는 단계 수행시, 추가적으로, 상기 3차원 모델에 상기 촬영 영상이 촬영된 위치를 대응시켜 가시화하는 단계를 수행하도록 구성되는, 장치.
  14. 제12항에 있어서,
    상기 추출된 좌표 정보는 위도, 경도, 고도를 포함하고, 상기 촬영 영상의 촬영에 관련된 정보는 상기 촬영 영상 촬영시 사용된 촬영 장치의 자세 정보, 화각, 그리고 거리를 포함하는, 장치.
  15. 제14항에 있어서,
    상기 프로세서는 상기 구조물의 결함의 위치를 획득하는 단계 수행시,
    상기 자세 정보, 화각, 그리고 거리를 이용하여 상기 촬영 영상의 중심점 또는 꼭지점의 좌표를 계산하고, 상기 계산된 좌표를 기반으로 상기 촬영 영상의 결함의 위치를 획득하도록 구성되는, 장치.
  16. 제12항에 있어서,
    상기 프로세서는, 3차원 모델링을 위한 상기 구조물의 영상을 획득하는 단계 수행시,
    상기 영상을 기반으로 3차원 모델링을 수행하여 3차원 객체를 생성하는 단계;
    상기 3차원 객체의 3차원 좌표를 생성하는 단계; 및
    GCP(Ground Control Point) 기반 글로벌 3차원 좌표계를 상기 생성된 좌표를 가지는 상기 3차원 객체에 매핑하여, 상기 글로벌 좌표계를 가지는 3차원 모델을 생성하는 단계
    를 수행하도록 구성되는, 장치.

















KR1020210074322A 2021-06-08 2021-06-08 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치 KR20220165552A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210074322A KR20220165552A (ko) 2021-06-08 2021-06-08 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210074322A KR20220165552A (ko) 2021-06-08 2021-06-08 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220165552A true KR20220165552A (ko) 2022-12-15

Family

ID=84439681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210074322A KR20220165552A (ko) 2021-06-08 2021-06-08 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220165552A (ko)

Similar Documents

Publication Publication Date Title
Kopsida et al. A review of automated construction progress monitoring and inspection methods
Lin et al. A framework for model-driven acquisition and analytics of visual data using UAVs for automated construction progress monitoring
KR102038127B1 (ko) 무인비행체를 이용한 시설물 관리 장치 및 방법
Eschmann et al. High-resolution multisensor infrastructure inspection with unmanned aircraft systems
WO2021092397A1 (en) System and method for vegetation modeling using satellite imagery and/or aerial imagery
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN114898234B (zh) 搭载激光雷达热成像技术的无人机电网巡检三维成像方法
CN106683038A (zh) 一种生成火情态势图的方法及装置
JP7427615B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019216257A1 (ja) 検査システム
JP2016090547A (ja) ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
CN110580443B (zh) 一种低空近实时建筑震害评估方法
JPWO2019198562A1 (ja) 構造物管理装置、構造物管理方法、及び構造物管理プログラム
JP4588369B2 (ja) 撮影装置及び撮影方法
CN114531700A (zh) 一种非人工的基站天线工参采集系统及方法
JP2007193850A (ja) 変化領域認識装置
Wang et al. Optimal UAV image overlap for photogrammetric 3d reconstruction of bridges
JP6928217B1 (ja) 測定処理装置、方法及びプログラム
Kong et al. Detecting type and size of road crack with the smartphone
JP2005310044A (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
KR20220165552A (ko) 구조물 촬영 영상과 3차원 모델의 정합 방법 및 장치
KR20240051806A (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
JP4491293B2 (ja) モデル形成装置及びモデル形成方法
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
KR20230138105A (ko) LiDAR 데이터를 활용한 드론 사진 이미지 단위 변환 방법