KR102525764B1 - 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법 - Google Patents

항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법 Download PDF

Info

Publication number
KR102525764B1
KR102525764B1 KR1020220164639A KR20220164639A KR102525764B1 KR 102525764 B1 KR102525764 B1 KR 102525764B1 KR 1020220164639 A KR1020220164639 A KR 1020220164639A KR 20220164639 A KR20220164639 A KR 20220164639A KR 102525764 B1 KR102525764 B1 KR 102525764B1
Authority
KR
South Korea
Prior art keywords
image
image model
photographing
model
direction information
Prior art date
Application number
KR1020220164639A
Other languages
English (en)
Inventor
고동일
마성진
김동찬
조정민
김민호
Original Assignee
삼아항업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼아항업(주) filed Critical 삼아항업(주)
Priority to KR1020220164639A priority Critical patent/KR102525764B1/ko
Application granted granted Critical
Publication of KR102525764B1 publication Critical patent/KR102525764B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0068—Geometric image transformation in the plane of the image for image registration, e.g. elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법은, (a) 이미지 모델의 촬영 위치 및 상기 이미지 모델을 촬영한 촬영 디바이스의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득하는 단계, (b) 상기 외부표정요소를 이용하여 상기 이미지 모델의 촬영 방향 정보를 도출하는 단계, (c) 상기 촬영 방향 정보에 기초하여 상기 이미지 모델의 회전 필요성을 판단하는 단계 및 (d) 상기 판단의 결과에 따라, 상기 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 상기 이미지 모델을 회전시킨 정렬 이미지 모델을 생성하는 단계를 포함할 수 있다.

Description

항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법{APPARATUS AND METHOD FOR ARRANGING IMAGE MODEL CONSIDERING AERIAL PHOTOGRAPHY DIRECTION}
본원은 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법에 관한 것이다. 예를 들면, 본원은 서로 다른 촬영방향으로 촬영된 이미지 모델의 표시 방향을 자동 일치시키는 기법에 관한 것이다.
GPS/INS가 장착된 항공기에 장착된 디지털카메라로 촬영한 항공사진은 종중복, 횡중복이 일어나도록 복수 회 촬영되게 되며, 동일한 지역이 중복된 부분을 포함하는 복수의 영상을 모델로 구성하여 3차원 좌표를 추출할 수 있다. 또한, 인접 지역을 연속적으로 촬영한 영상이나 촬영시기가 서로 다른 여러 모델을 동시에 화면에 표시하여 각각을 비교하면서 변화지역 탐지, 폐쇄영역 내 지형지물 파악 등을 수행할 수 있다.
이 때, 각 이미지 모델의 촬영방향이 서로 다른 경우 모델별 화면 표시가 뒤집어져서 표시될 수 있어, 목표 지형지물 파악의 어려움 및 상반된 위치 이동 방향으로 인하여 작업에 지장을 초래하게 된다. 이러한 문제를 해결하기 위하여는 각 모델의 표시 방향을 일치시켜는 추가 작업이 요구되는데, 종래에는 주로 각 모델의 촬영 방향을 작업자가 일일이 확인하여 개별 이미지 모델을 회전시켜야 했기 때문에 작업 효율을 저하시키는 문제가 있었다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-0779022호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 각 이미지 모델의 촬영 당시의 위치 및 항공기 자세를 포함하는 외부표정요소(EOP, Exterior Orientation Parameter)를 이용하여 이미지 모델의 회전 필요 여부를 판단하고, 이를 기초로 하여 복수의 이미지 모델의 화면 표시 방향을 일치시킴으로써 효율적인 도화 작업이 가능한 작업 환경을 제공할 수 있는 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법은, (a) 이미지 모델의 촬영 위치 및 상기 이미지 모델을 촬영한 촬영 디바이스의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득하는 단계, (b) 상기 외부표정요소를 이용하여 상기 이미지 모델의 촬영 방향 정보를 도출하는 단계, (c) 상기 촬영 방향 정보에 기초하여 상기 이미지 모델의 회전 필요성을 판단하는 단계 및 (d) 상기 판단의 결과에 따라, 상기 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 상기 이미지 모델을 회전시킨 정렬 이미지 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 이미지 모델은 대상 영역의 상공을 비행하며 상기 대상 영역에 대한 영상을 획득하는 항공 촬영 모듈을 상기 촬영 디바이스로 하여 획득될 수 있다.
또한, 상기 (b) 단계는, 상기 항공 촬영 모듈의 비행 경로를 고려하여 설정되는 상기 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 상기 촬영 방향 정보로서 산출할 수 있다.
또한, 상기 (c) 단계는, 상기 촬영 방향 각도가 미리 설정된 각도 범위를 충족하는 것으로 판단되면, 해당 이미지 모델의 회전이 필요한 것으로 판단할 수 있다.
또한, 상기 기준 방향 정보는, 상기 정렬 이미지 모델이 북쪽 방향이 상측을 향하는 형태로 생성되도록, 상기 항공 촬영 모듈이 서쪽에서 동쪽을 향하는 상기 비행 경로에서 촬영한 상기 이미지 모델의 촬영 방향 정보를 기준으로 설정될 수 있다.
또한, 상기 각도 범위는 상기 기준 방향 정보를 기준으로 한 180도 촬영 방향 각도를 포함하도록 설정될 수 있다.
또한, 상기 (d) 단계는, 상기 이미지 모델을 해당 이미지 모델의 상기 촬영 방향 각도와 상기 각도 범위를 고려하여 설정되는 조정 각도만큼 회전시킬 수 있다.
또한, 상기 이미지 모델은 연속적으로 촬영된 복수의 이미지를 포함할 수 있다.
또한, 상기 (d) 단계는, 상기 복수의 이미지 중 좌측 이미지를 상기 조정 각도만큼 회전시킨 후 우측 영상 버퍼를 이용해 표시하는 단계 및 상기 복수의 이미지 중 우측 이미지를 상기 조정 각도만큼 회전시킨 후 좌측 영상 버퍼를 이용해 표시하는 단계를 포함할 수 있다.
또한, 상기 (a) 단계는, 복수의 이미지 모델 각각에 대하여 할당된 식별 정보 중 상기 이미지 모델에 대응하는 식별 정보를 기준으로 상기 외부표정요소를 검색할 수 있다.
또한, 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법은, (e) 상기 대상 영역에 대하여 획득된 복수의 이미지 모델 각각에 대하여 상기 (a) 내지 (d) 단계를 수행하여 복수의 정렬 이미지 모델이 획득하는 단계 및 (f) 상기 복수의 정렬 이미지 모델을 상기 복수의 이미지 모델 각각의 상기 촬영 위치를 기준으로 중첩한 통합 오버레이 모델을 생성하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법은, (g) 상기 통합 오버레이 모델을 이용하여 상기 대상 영역에 대한 변화 탐지 정보를 포함하는 영역 분석 정보를 도출하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치는, 이미지 모델의 촬영 위치 및 상기 이미지 모델을 촬영한 촬영 디바이스의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득하는 수집부, 상기 외부표정요소를 이용하여 상기 이미지 모델의 촬영 방향 정보를 도출하고, 상기 촬영 방향 정보에 기초하여 상기 이미지 모델의 회전 필요성을 판단하는 판단부 및 상기 판단의 결과에 따라, 상기 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 상기 이미지 모델을 회전시킨 정렬 이미지 모델을 생성하는 모델 가공부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 각 이미지 모델의 촬영 당시의 위치 및 항공기 자세를 포함하는 외부표정요소(EOP, Exterior Orientation Parameter)를 이용하여 이미지 모델의 회전 필요 여부를 판단하고, 이를 기초로 하여 복수의 이미지 모델의 화면 표시 방향을 일치시킴으로써 효율적인 도화 작업이 가능한 작업 환경을 제공할 수 있는 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 서로 다른 촬영방향으로 촬영된 다수의 모델을 동시에 화면에 표시하는 경우 그 표시 방향을 자동으로 일치시킴으로써 효율적인 도화 작업이 가능한 작업 환경을 제공할 수 있는 기반을 마련할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치를 포함하는 항공 이미지 모델 가공 시스템의 개략적인 구성도이다.
도 2는 외부표정요소를 이용하여 이미지 모델의 촬영 방향 정보를 도출하는 프로세스를 설명하기 위한 개념도이다.
도 3은 이미지 모델의 촬영 방향 정보에 기초하여 해당 이미지 모델의 회전 필요성을 판단하는 프로세스를 설명하기 위한 개념도이다.
도 4는 정렬 이미지 모델을 생성하는 프로세스를 설명하기 위한 개념도이다.
도 5는 정렬 이미지 모델 생성 프로세스의 수행 예시를 개략적으로 나타낸 도면이다.
도 6은 원본 상태의 복수의 이미지 모델을 나타낸 도면이다.
도 7은 정렬 이미지 모델을 생성하여 복수의 이미지 모델을 정렬하여 표시한 도면이다.
도 8은 복수의 정렬 이미지 모델을 중첩한 통합 오버레이 모델을 설명하기 위한 개념도이다.
도 9는 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치의 개략적인 구성도이다.
도 10은 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법에 대한 동작 흐름도이다.
도 11은 본원의 일 실시예에 따른 변화 탐지 정보에 대한 분석 프로세스에 대한 세부 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법에 관한 것이다. 예를 들면, 본원은 서로 다른 촬영방향으로 촬영된 이미지 모델의 표시 방향을 자동 일치시키는 기법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치를 포함하는 항공 이미지 모델 가공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 항공 이미지 모델 가공 시스템(10)은 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치(100)(이하, '이미지 모델 정렬 장치(100)'라 한다.), 촬영 디바이스(200) 및 사용자 단말(300)을 포함할 수 있다.
이미지 모델 정렬 장치(100), 촬영 디바이스(200) 및 사용자 단말(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
또한, 본원의 실시예에 관한 설명에서 촬영 디바이스(200)는 대상 영역의 상공을 비행하며 대상 영역에 대한 영상(이미지 모델)을 획득하는 항공 촬영 모듈(200)을 포함할 수 있다. 이와 관련하여 본원의 실시예에 관한 설명에서 도면부호 200은 촬영 디바이스(200) 및 항공 촬영 모듈(200)에 대하여 혼용될 수 있다.
달리 말해, 본원에서 개시하는 이미지 모델 정렬 장치(100)는 GPS/INS 등의 측위 수단과 디지털 카메라 등의 촬영 수단이 구비(장착)된 항공기(예를 들면, 무인 드론 등) 등에 해당하는 항공 촬영 모듈(200)을 이용하여 대상 지역을 중복되게 촬영한 이미지 모델을 항공 촬영 모듈(200)로부터 획득할 수 있다.
또한, 본원에서 개시하는 이미지 모델 정렬 장치(100)는 획득한 각 이미지 모델의 촬영방향이 서로 다른 경우 모델 별 화면 표시가 뒤집어져서 표시되는 경우, 대상 영역 내의 목표 지형지물의 파악이 어려운 문제 및 상반된 위치 이동 방향으로 인하여 도화 작업 등에 지장을 초래하는 문제를 해소하기 위하여, 서로 다른 방향의 모델을 동시에 표시하는 경우 촬영 당시의 위치 및 항공기 자세를 포함하는 외부표정요소(EOP, Exterior Orientation Parameter)의 촬영방향 정보를 추출하여 특정 방향으로 항공 촬영 모듈(200)이 이동하며 촬영된 모델인지를 파악하고, 이러한 항공 촬영 모듈(200)의 이동 방향, 이미지 모델의 촬영 방향 등을 고려하여 회전이 필요한 모델이라고 판단된 경우 관련 정보 셋팅을 거쳐 해당 모델을 회전시킴으로써 화면에 표시된 이미지 모델 간의 방향을 일치시키도록 동작하는 것일 수 있다.
이하에서는 도 2 내지 도 8을 참조하여 이미지 모델 정렬 장치(100)의 구체적인 기능 및 동작에 대하여 설명하도록 한다.
도 2는 외부표정요소를 이용하여 이미지 모델의 촬영 방향 정보를 도출하는 프로세스를 설명하기 위한 개념도이다.
도 2를 참조하면, 이미지 모델 정렬 장치(100)는 획득한 이미지 모델의 촬영 위치 및 해당 이미지 모델을 촬영한 촬영 디바이스(200)의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득할 수 있다.
참고로, 본원의 실시예에 관한 설명에서 외부표정요소는 사진측량 분야에서 항공사진을 촬영 당시의 기하학적 조건으로 재현하기 위한 것으로서 사진좌표계를 소요의 좌표계로 전환하기 위한 표정(Orientation)을 의미하며, 이러한 외부표정요소에 대한 사항은 통상의 기술자에게 자명한 사항인바, 보다 구체적인 설명은 생략하도록 한다.
구체적으로 이미지 모델 정렬 장치(100)는 복수의 이미지 모델 각각에 대하여 할당된 식별 정보(ID) 중 입력된 이미지 모델에 대응하는 식별 정보를 기준으로 외부표정요소(EOP)를 검색할 수 있다.
또한, 이미지 모델 정렬 장치(100)는 획득한 이미지 모델의 외부표정요소(EOP)를 이용하여 해당 이미지 모델의 촬영 방향 정보를 도출할 수 있다. 구체적으로 이미지 모델 정렬 장치(100)는 항공 촬영 모듈(200)의 비행 경로를 고려하여 설정되는 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 해당 이미지 모델의 촬영 방향 정보로서 산출할 수 있다.
한편, 본원의 일 실시예에 따르면, 이미지 모델의 촬영 방향 정보를 정량화 하기 위한 기준이 되는 기준 방향 정보는 이미지 모델 정렬 장치(100)에 의해 원본 이미지 모델로부터 가공되는 정렬 이미지 모델이 북쪽 방향이 상측을 향하는 형태로 생성되도록, 항공 촬영 모듈(200)이 서쪽에서 동쪽을 향하는 비행 경로에서 촬영한 이미지 모델의 촬영 방향 정보를 기준으로 설정될 수 있으나, 이에만 한정되는 것은 아니고, 본원의 구현예에 따라 정렬 이미지 모델에 대하여 적용될 출력 방향 등을 고려하여 동쪽에서 서쪽으로 향하는 비행 경로에서 촬영한 이미지 모델의 촬영 방향 정보를 기준 방향 정보로서 설정하는 등의 구현예 역시 적용될 수 있다.
보다 구체적으로 예시하면, 이미지 모델 정렬 장치(100)는 도화 작업을 위하여 선택된 이미지 모델의 촬영 방향 정보를 각 이미지 모델의 식별 정보(모델명, ID 등)을 기준으로 외부표정요소(EOP, Exterior Orientation Parameter)를 검색하여 찾아내고, 항공 촬영 모듈(200)이 서쪽에서 동쪽을 향하는 비행 경로에서 촬영한 이미지 모델의 촬영 방향 정보를 기준 방향 정보로서 적용하여, 탐색된 외부표정요소 중 항공 촬영 모듈(200)의 비행 경로를 3시 방향을 0도로 하여 시계 방향으로 각도를 측정한 카파(Kappa) 값을 촬영 방향 정보로서 추출할 수 있다.
참고로, 본원의 실시예에 관한 설명에서 카파(Kappa) 값은 평가 일치(agreement)를 나타내는 통계 지표로서, 범주형 자료의 일치도(agreement)를 주로 나타내며, 값이 작을수록 일치도가 낮고, 값이 1에 가까워질수록 일치도가 높은 것으로 해석될 수 있다. 이러한 카파 상관계수에 대한 사항은 통상의 기술자에게 자명한 사항인바, 보다 구체적인 설명은 생략하도록 한다.
도 3은 이미지 모델의 촬영 방향 정보에 기초하여 해당 이미지 모델의 회전 필요성을 판단하는 프로세스를 설명하기 위한 개념도이다.
도 3을 참조하면, 이미지 모델 정렬 장치(100)는 도출된 촬영 방향 정보에 기초하여 해당 이미지 모델의 회전 필요성을 판단할 수 있다.
구체적으로 이미지 모델 정렬 장치(100)는 외부표정요소의 카파값을 통해 산출된 촬영 방향 각도가 미리 설정된 각도 범위를 충족하는 것으로 판단되면, 해당 이미지 모델의 회전이 필요한 것으로 판단할 수 있다.
본원의 일 실시예에 따르면, 이미지 모델 정렬 장치(100)는 통상적인 지도 데이터가 북쪽 방향이 위쪽(상측) 방향으로 향하도록 표시되는 것이 일반적임을 고려하여, 도화 작업시에도 목표 지형지물의 위치 정보를 파악하는데 용이하도록 서쪽에서 동쪽으로 촬영한 모델은 그대로 표시하고, 반대로 동에서 서로 촬영한 모델은 회전시키도록 하는 정렬 기능을 수행할 수 있으며, 이러한 촬영 방향(촬영 방향 각도)에 따른 회전 필요성을 판단하기 위하여, 서에서 동으로 촬영된 이미지 모델을 기준 모델로 설정할 때, 동에서 서로 촬영한 이미지 모델의 촬영 방향 각도가 180도에 근접한 값으로 도출됨을 고려하여 회전 필요성의 판단을 위한 각도 범위를 미리 설정된 기준 방향 정보를 기준으로 한 180도 촬영 방향 각도를 포함하도록 설정할 수 있다.
예시적으로, 이미지 모델 정렬 장치(100)는 회전 필요성의 판단을 위한 촬영 방향 각도에 대한 각도 범위로서 150도 내지 210도의 각도 범위를 적용할 수 있으나, 이에만 한정되는 것은 아니고, 촬영 대상이 되는 대상 영역의 면적, 이미지 모델의 수, 각 이미지 모델에 포함되는 이미지의 수 등을 고려하여 회전 필요 여부를 판단하기 위한 각도 범위의 레인지는 가변적으로 설정될 수 있음은 물론이다.
종합하면, 이미지 모델 정렬 장치(100)는 각 이미지 모델의 회전 필요성을 판단하기 위하여, 외부표정요소의 카파값을 통해 산출된 촬영 방향 각도를 0도 내지 360도 사이 범위의 값으로 정규화한 후, 미리 설정된 각도 범위(예를 들면, 150도 내지 210도 범위)에 속하는지를 판단하여, 각도 범위 내의 촬영 방향 각도에 대응되는 이미지 모델은 회전이 필요한 모델로 판단할 수 있다.
전술한 바와 같이 해당 이미지 모델의 회전 필요성이 판단되고 나면, 이미지 모델 정렬 장치(100)는 해당 이미지 모델의 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 이미지 모델을 회전시킨 정렬 이미지 모델을 생성할 수 있다.
구체적으로 이미지 모델 정렬 장치(100)는 이미지 모델을 해당 이미지 모델의 촬영 방향 각도와 각도 범위를 고려하여 설정되는 조정 각도만큼 회전시킬 수 있다. 예시적으로 이미지 모델 정렬 장치(100)는 입력된 이미지 모델이 동에서 서로 촬영한 모델에 해당하여 정규화된 촬영 방향 각도가 180도로 산출된 경우, 미리 설정된 각도 범위 내인 것으로 보아 회전이 필요한 것으로 판단하고, 해당 이미지 모델의 촬영 방향 각도에 따라 180도 회전을 적용한 정렬 이미지 모델을 생성할 수 있다.
한편, 본원에서 개시하는 이미지 모델 정렬 장치(100)는 각 이미지 모델에 연속적으로 촬영된 복수의 이미지가 포함될 수 있음을 고려하여, 이미지 모델의 회전 설정 파라미터와 표시 방식을 복수의 이미지 간 순서에 따라 적용할 수 있다.
이와 관련하여 도 4는 정렬 이미지 모델을 생성하는 프로세스를 설명하기 위한 개념도이다.
도 4를 참조하면, 이미지 모델 정렬 장치(100)는 회전이 필요한 것으로 판단된 이미지 모델 내 이미지(항공사진)의 픽셀 정보를 수정하는 대신에 각 이미지가 표시되는 윈도우(창)의 좌표축 및 좌, 우측 표시 영상을 출력하는 버퍼를 전환하여 지정하는 방식으로 정렬 이미지 모델을 생성할 수 있다.
구체적으로 도 4를 참조하면, 이미지 모델 정렬 장치(100)는 첫 번째로 회전 대상으로 판단된 모델을 표시할 창은 촬영방향에 180도를 더한 각도로 회전시킨 상태로 생성하고, 이렇게 생성된 창에 모델을 구성하는 항공사진 중 좌측 사진을 오른쪽 영상 버퍼에, 우측 사진을 좌측 영상 버퍼에 출력한 후, 이를 화면에 표시함으로써 작업자가 해당 모델이 180도 회전된 상태(달리 말해, 북쪽 방향이 위쪽으로 향하는 상태)로 표시되는 화면 상에서 도화를 수행하도록 보조할 수 있다.
달리 말해, 이미지 모델 정렬 장치(100)는 회전 대상으로 판단된 이미지 모델에 포함된 복수의 이미지 중 좌측 이미지를 조정 각도(예를 들면, 180도)만큼 회전시킨 후 우측 영상 버퍼를 이용해 표시하고, 복수의 이미지 중 우측 이미지를 같은 조정 각도만큼 회전시킨 후 좌측 영상 버퍼를 이용해 표시할 수 있다.
이와 관련하여 도 5는 정렬 이미지 모델 생성 프로세스의 수행 예시를 개략적으로 나타낸 도면이다.
도 5를 참조하면, 본원에서 개시하는 이미지 모델 정렬 장치(100)는 사용자 단말(300) 등을 이용하여 이미지 모델을 표출하는 유저 인터페이스 상에서 시계열적으로 (n-1) 번째 시점의 프레임과 n 번째 시점의 프레임을 순서대로 배치하면 서에서 동으로 촬영한 모델과 동에서 서로 촬영한 모델이 서로 어긋난다는 곤란성을 고려하여 연산된 조정 각도에 따른 회전을 각 이미지(프레임)에 대하여 적용한 후 역순의 배치를 자동 수행하는 기능을 제공할 수 있다.
이하에서는 도 6 및 도 7을 참조하여 실제 이미지 모델에 대한 이미지 모델 정렬 장치(100)의 자동 정렬 기능 적용 예시를 설명하도록 한다.
도 6은 원본 상태의 복수의 이미지 모델을 나타낸 도면이고, 도 7은 정렬 이미지 모델을 생성하여 복수의 이미지 모델을 정렬하여 표시한 도면이다.
구체적으로 도 6의 (a)는 제1시점에 대상 영역에 대하여 촬영된 원본 상태의 제1이미지 모델(M1)을 나타내고, 도 6의 (b)는 전술한 제1시점과 상이한 제2시점에 대상 영역에 대하여 촬영된 원본 상태의 제2이미지 모델(M2)을 나타낸다. 예를 들어, 도 6의 (a)에 도시된 제1이미지 모델(M1)과 도 6의 (b)에 도시된 제2이미지 모델(M2)은 서로 다른 항공 촬영 모듈(200)을 이용하여 획득된 이미지 모델일 수 있다.
또한, 도 6을 참조하면, 항공 촬영 모듈(200)의 촬영 수행 방향(이미지 모델 획득 시의 비행 방향)이 서로 다른 경우 각 이미지 모델을 원본 상태 그대로 표시할 경우, 각 모델의 화면 방향이 어긋나게 표출될 수 있어 각 이미지 모델에 반영된 대상 영역 상의 목표 지형지물의 파악 작업 등이 어려울 수 있다.
이를 고려하여 이미지 모델 정렬 장치(100)는 도 7의 (a)에 도시된 바와 같이 동일한 지역(대상 영역)에 대한 중복된 부분을 포함하는 영상 부분을 각 이미지 모델에서 추출하고, 도 7의 (b)에 도시된 바와 같이 회전이 필요한 것으로 판단된 제2이미지 모델(M2)에 대한 외부표정요소 및 촬영 방향 각도 기반의 회전 가공을 적용한 제2정렬 이미지 모델(M2')을 생성하고, 생성된 제2정렬 이미지 모델(M2')을 회전이 미적용된 기준 이미지 모델인 제1이미지 모델(M1)과 함께 표시하여 작업자의 도화 작업이 용이해지도록 보조할 수 있다.
또한, 도 6 및 도 7을 참조하면, 이미지 모델 정렬 장치(100)는 이미지 모델을 사용자 단말(300) 등을 통해 출력할 경우, 각 이미지 모델의 촬영 방향 정보를 나타내는 인디케이터(A)를 중첩하여 표시할 수 있으며, 도 7의 (a)를 참조하면, 정렬 이미지 모델의 가공 전에는 제1이미지 모델(M1)과 제2이미지 모델(M2)의 촬영 방향이 불일치하는 반면, 제2정렬 이미지 모델(M2')은 제1이미지 모델(M1)의 촬영 방향과 일치하도록 회전된 것을 확인할 수 있다.
한편, 본원의 일 실시예에 따르면, 이미지 모델 정렬 장치(100)는 도 7의 (b)에 도시된 바와 같이 서로 다른 시점에 대상 영역에 대하여 획득된 한 쌍의 이미지 모델(M1, M2)에 대하여, 일부 이미지 모델에 대한 회전 가공을 적용한 한 쌍의 정렬 이미지 모델(M1, M2')을 상호 비교가 가능한 형태로 나란히 표시하되, 각 이미지 모델(정렬 이미지 모델 또는 원본 상태의 이미지 모델)에서 탐색되는 기준점의 위치 정보 간의 편차, 대상 영역 내에서 설정되는 기준 오브젝트의 존부, 해당 기준 오브젝트의 크기, 해당 기준 오브젝트의 표시 비율 등을 기초로 하여 한 쌍의 정렬 이미지 모델의 갱신 필요성을 판단할 수 있다.
예를 들어, 도 7의 (b)의 좌측에 도시된 제1이미지 모델(M1)의 좌측하단 영역에 나타나는 미리 설정된 기준 오브젝트(2)에 대한 표시 영역이 기준 오브젝트(2)의 전체 영역 대비 미리 설정된 표시 비율(예를 들면, 70% 등) 이상을 차지하는 것으로 판단되나, 도 7의 (b)의 우측에 도시된 제2정렬 이미지 모델(M2')의 좌측하단 영역에 나타나는 동일한 기준 오브젝트(2)에 대한 표시 영역은 해당 기준 오브젝트(2)의 전체 영역 대비 미리 설정된 표시 비율 미만에 해당하는 것으로 판단되면, 이미지 모델 정렬 장치(100)는 사용자 단말(300) 등을 통해 나란히 표출되는 한 쌍의 이미지 모델이 대상 영역 내에서의 변화 영역 탐지 등을 위한 상호 비교를 수행하기에 부적합한 것으로 보아, 1차적으로 표출된 한 쌍의 이미지 모델 중 제2정렬 이미지 모델(M2')에 대한 갱신이 필요한 것으로 판단할 수 있다.
또한, 본원의 일 실시예에 따르면, 이미지 모델 정렬 장치(100)는 갱신이 필요한 것으로 판단된 이미지 모델을 후술하는 통합 오버레이 모델(MT)에서 일부 구간을 특정하여 재추출하는 방식으로 갱신할 수 있다. 예를 들어, 갱신되는 이미지 모델은 전술한 기준 오브젝트(2)의 표시 비율이 미리 설정된 표시 비율 이상이 되도록 통합 오버레이 모델(MT)로부터 재추출되는 것일 수 있다.
도 8은 복수의 정렬 이미지 모델을 중첩한 통합 오버레이 모델을 설명하기 위한 개념도이다.
도 8을 참조하면, 이미지 모델 정렬 장치(100)는 대상 영역(1)에 대하여 획득된 복수의 이미지 모델 각각에 대하여 전술한 회전 필요성 판단 및 회전 적용을 수행함으로써 복수의 정렬 이미지 모델을 획득할 수 있다.
또한, 이미지 모델 정렬 장치(100)는 변환된 복수의 정렬 이미지 모델을 복수의 이미지 모델 각각의 촬영 위치를 기준으로 중첩한 통합 오버레이 모델(MT)을 생성할 수 있다. 예를 들어, 도 6 및 도 7에 도시된 바와 같이 각 이미지 모델은 대상 영역을 이루는 일부 영역의 화상(항공 이미지)을 포함하도록 생성될 수 있으며, 이미지 모델 정렬 장치(100)는 이러한 각 일부 영역에 대하여 획득되는 이미지 모델을 대상 영역(1)의 전체 영역을 커버하도록 상호 연결함으로써 통합 오버레이 모델(MT)을 구축할 수 있다.
한편, 본원의 일 실시예에 따르면, 이미지 모델 정렬 장치(100)는 대상 영역(1)에 대한 복수의 이미지 모델을 특정 촬영 시점 또는 특정한 항공 촬영 모듈(200)을 기준으로 하여 중첩한 통합 오버레이 모델(MT)을 복수 개 생성할 수 있다. 예를 들어, 이미지 모델 정렬 장치(100)는 도 5에 도시된 바와 같이, 항공기 A를 이용하여 대상 영역(1)을 제1시점에 촬영한 복수의 이미지 모델을 통해 제1통합 오버레이 모델(MT1)을 구축하고, 동일한 대상 영역(1)을 다른 항공 촬영 모듈(200)인 항공기 B를 이용하여 항공기 A의 촬영 시점과 다른 제2시점에 촬영한 복수의 이미지 모델을 통해 제2통합 오버레이 모델(MT2)을 구축할 수 있다.
이와 관련하여, 제1통합 오버레이 모델(MT1)과 제2통합 오버레이 모델(MT2)은 앞서 상세히 설명한 바와 같이 항공 촬영 모듈(200)의 촬영 수행 방향(이미지 모델 획득시의 비행 방향)에 따른 이미지 모델의 표시 방향의 불일치를 정합시킨 정렬 이미지 모델을 이용하여 구축될 수 있으므로, 제1시점과 제2시점에서의 변화 지역 비교(탐색), 폐쇄영역 내 지형지물 파악 등의 후속 작업이 각 항공 촬영 모듈(200)의 촬영 수행 방향의 차이와 무관하게 용이하게 수행될 수 있는 이점이 있다.
또한, 이미지 모델 정렬 장치(100)는 구축된 통합 오버레이 모델(MT)을 이용하여 대상 영역(1)에 대한 변화 탐지 정보를 포함하는 영역 분석 정보를 도출할 수 있다.
예시적으로 도 8을 참조하면, 이미지 모델 정렬 장치(100)는 서로 다른 시점에 촬영된 이미지 모델을 통해 구축된 복수의 통합 오버레이 모델(MT)을 확대 비율, 종중복/횡중복에 따른 중복 영역 등을 일치시키는 정규화를 수행하고 중첩한 후, 중첩된 모델에서 색상 변화, 미리 설정된 기준점 또는 기준 오브젝트의 형상 변화, 이미지에 반영된 개별 객체의 경계 영역의 변화 등을 기초로 하여 시점 간 변화가 발생한 것으로 판단되는 변화 후보 영역을 특정하고, 특정된 변화 후보 영역을 나타내는 인디케이터(B)를 중첩 표시된 통합 오버레이 모델(MT) 상에 표시하여 작업자가 용이하게 변화 후보 영역의 위치, 형상 등에 대한 정보를 확인하도록 보조할 수 있다.
또한, 본원의 일 실시예에 따르면, 이미지 모델 정렬 장치(100)는 대상 영역(1)에 대하여 과거 시점에 촬영된 이미지 모델을 누적한 모델 데이터 및 동일한 영역을 촬영한 이미지 모델에서 변화 영역이 탐지됨에 따라 신규 촬영된 이미지 모델로 대체된 이력 데이터를 포함하는 학습 데이터를 이용한 학습을 통해 구축되는 인공지능 기반의 변화 탐지 모델을 보유할 수 있다.
보다 구체적으로, 변화 탐지 모델은 제1시점에 대상 영역(1)에 대하여 촬영된 복수의 이미지 모델에 대한 제1시점 모델 데이터 셋과 제1시점 대비 이후의 시점인 제2시점에 대상 영역(1)에 대하여 촬영된 복수의 이미지 모델에 대한 제2시점 모델 데이터 셋을 구분하여 저장하고, 대상 영역(1) 내에서의 지형지물, 객체 등의 변화 발생에 따라 제1시점 모델 데이터 셋으로부터 제2시점 모델 데이터 셋을 이용하여 갱신(대체)된 영역에 대한 이력 데이터를 수집하여 학습 데이터를 획득하고, 학습 데이터를 기초로 하여 서로 다른 시점에 촬영된 이미지 모델을 이용한 한 쌍의 통합 오버레이 모델(MT)이 입력되면, 해당 통합 오버레이 모델(MT)에서 변화 후보 영역의 존부, 위치 및 변화 발생 유형 중 적어도 하나에 대한 정보를 출력하도록 구축되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 인공지능 기반의 변화 탐지 모델의 학습을 위한 학습 데이터 중 이력 데이터는 기존 이미지 모델을 신규 이미지 모델로 대체할 경우 해당 영역에서 발생한 변화 발생 유형에 대한 정보(예를 들면, 토지피복 변화, 신규 도로 건설, 건물 건축/철거 등)를 포함하도록 수집될 수 있으며, 이러한 변화 발생 유형에 대한 정보를 포함하는 이력 데이터를 이용하여 구축된 변화 탐지 모델은 한 쌍의 통합 오버레이 모델(MT)에서 변화 후보 영역의 존부 뿐만 아니라, 각 변화 후보 영역의 변화 발생 유형에 대한 추정을 수행하도록 구축될 수 있으며, 전술한 변화 후보 영역을 표시하기 위한 인디케이터(B)의 형상(예를 들면, 색상, 크기, 패턴/강조 표시, 음영 등)이 추정된 변화 발생 유형에 따라 구분되는 것일 수 있다.
한편, 본원에서는 변화 탐지 모델의 구축을 위하여 합성곱 신경망(Convolutional Neural Network, CNN), 딥러닝 네트워크, 머신 러닝 등 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 기반의 학습 알고리즘 모델을 적용할 수 있다.
도 9는 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 장치의 개략적인 구성도이다.
도 9를 참조하면, 이미지 모델 정렬 장치(100)는 수집부(110), 판단부(120), 모델 가공부(130), 통합 모델 구축부(140) 및 분석 수행부(150)를 포함할 수 있다.
수집부(110)는 이미지 모델의 촬영 위치 및 해당 이미지 모델을 촬영한 촬영 디바이스(200)의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득할 수 있다.
이와 관련하여 본원의 일 실시예에 따르면, 수집부(110)는 복수의 이미지 모델 각각에 대하여 할당된 식별 정보 중 해당 이미지 모델에 대응하는 식별 정보를 기준으로 외부표정요소(EOP)를 검색할 수 있다.
판단부(120)는 수집한 외부표정요소를 이용하여 이미지 모델의 촬영 방향 정보를 도출할 수 있다. 구체적으로, 판단부(120)는 항공 촬영 모듈(200)의 비행 경로를 고려하여 설정되는 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 촬영 방향 정보로서 산출할 수 있다.
또한, 판단부(120)는 도출된 촬영 방향 정보에 기초하여 이미지 모델의 회전 필요성을 판단할 수 있다. 구체적으로, 판단부(120)는 산출된 촬영 방향 각도가 미리 설정된 각도 범위를 충족하는 것으로 판단되면, 해당 이미지 모델의 회전이 필요한 것으로 판단할 수 있다.
모델 가공부(130)는 판단부(120)의 회전 필요성에 대한 판단 결과에 따라, 해당 이미지 모델의 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 이미지 모델을 회전시킨 정렬 이미지 모델을 생성할 수 있다.
구체적으로, 모델 가공부(130)는 이미지 모델을 해당 이미지 모델의 촬영 방향 각도와 각도 범위를 고려하여 설정되는 조정 각도만큼 회전시킬 수 있다.
또한, 본원의 일 실시예에 따르면, 이미지 모델이 연속적으로 촬영된 복수의 이미지를 포함하는 경우, 모델 가공부(130)는 복수의 이미지 중 좌측 이미지를 산출된 조정 각도만큼 회전시킨 후 우측 영상 버퍼를 이용해 표시하고, 복수의 이미지 중 우측 이미지를 산출된 조정 각도만큼 회전시킨 후 좌측 영상 버퍼를 이용해 표시할 수 있다.
통합 모델 구축부(140)는 대상 영역에 대하여 획득된 복수의 이미지 모델 각각에 대하여 도출된 복수의 정렬 이미지 모델을 복수의 이미지 모델 각각의 상기 촬영 위치를 기준으로 중첩한 통합 오버레이 모델을 생성할 수 있다.
분석 수행부(150)는 구축된 통합 오버레이 모델을 이용하여 대상 영역에 대한 변화 탐지 정보를 포함하는 영역 분석 정보를 도출할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 10은 본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법에 대한 동작 흐름도이다.
도 10에 도시된 항공 촬영방향을 고려한 이미지 모델 정렬 방법은 앞서 설명된 이미지 모델 정렬 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 이미지 모델 정렬 장치(100)에 대하여 설명된 내용은 항공 촬영방향을 고려한 이미지 모델 정렬 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 10을 참조하면, 단계 S11에서 수집부(110)는 (a) 이미지 모델의 촬영 위치 및 해당 이미지 모델을 촬영한 촬영 디바이스(200)의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득할 수 있다.
구체적으로, 단계 S11에서 수집부(110)는 복수의 이미지 모델 각각에 대하여 할당된 식별 정보 중 해당 이미지 모델에 대응하는 식별 정보를 기준으로 외부표정요소(EOP)를 검색할 수 있다.
다음으로, 단계 S12에서 판단부(120)는 (b) 단계 S11에서 획득한 외부표정요소를 이용하여 이미지 모델의 촬영 방향 정보를 도출할 수 있다.
구체적으로, 단계 S12에서 판단부(120)는 항공 촬영 모듈(200)의 비행 경로를 고려하여 설정되는 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 촬영 방향 정보로서 산출할 수 있다.
다음으로, 단계 S13에서 판단부(120)는 (c) 단계 S12에서 도출된 촬영 방향 정보에 기초하여 이미지 모델의 회전 필요성을 판단할 수 있다.
구체적으로, 단계 S13에서 판단부(120)는 산출된 촬영 방향 각도가 미리 설정된 각도 범위를 충족하는 것으로 판단되면, 해당 이미지 모델의 회전이 필요한 것으로 판단할 수 있다.
다음으로, 단계 S14에서 모델 가공부(130)는 (d) 단계 S13에서의 판단 결과에 따라, 해당 이미지 모델의 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 이미지 모델을 회전시킨 정렬 이미지 모델을 생성할 수 있다.
구체적으로, 단계 S14에서 모델 가공부(130)는 이미지 모델을 해당 이미지 모델의 촬영 방향 각도와 각도 범위를 고려하여 설정되는 조정 각도만큼 회전시킬 수 있다.
또한, 본원의 일 실시예에 따르면, 이미지 모델이 연속적으로 촬영된 복수의 이미지를 포함하는 경우, 단계 S14에서 모델 가공부(130)는 복수의 이미지 중 좌측 이미지를 산출된 조정 각도만큼 회전시킨 후 우측 영상 버퍼를 이용해 표시할 수 있다.
또한, 단계 S14에서 모델 가공부(130)는 복수의 이미지 중 우측 이미지를 산출된 조정 각도만큼 회전시킨 후 좌측 영상 버퍼를 이용해 표시할 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 11은 본원의 일 실시예에 따른 변화 탐지 정보에 대한 분석 프로세스에 대한 세부 동작 흐름도이다.
도 11에 도시된 변화 탐지 정보에 대한 분석 프로세스는 앞서 설명된 이미지 모델 정렬 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 이미지 모델 정렬 장치(100)에 대하여 설명된 내용은 도 11에 대한 설명에도 동일하게 적용될 수 있다.
도 11을 참조하면, 단계 S21에서 통합 모델 구축부(140)는 대상 영역에 대하여 획득된 복수의 이미지 모델 각각에 대하여 도출된 복수의 정렬 이미지 모델을 복수의 이미지 모델 각각의 상기 촬영 위치를 기준으로 중첩한 통합 오버레이 모델을 생성할 수 있다.
다음으로, 단계 S22에서 분석 수행부(150)는 단계 S21을 통해 구축된 통합 오버레이 모델을 이용하여 대상 영역에 대한 변화 탐지 정보를 포함하는 영역 분석 정보를 도출할 수 있다.
상술한 설명에서, 단계 S21 내지 S22는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 항공 촬영방향을 고려한 이미지 모델 정렬 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 항공 촬영방향을 고려한 이미지 모델 정렬 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 항공 이미지 모델 가공 시스템
100: 항공 촬영방향을 고려한 이미지 모델 정렬 장치
110: 수집부
120: 판단부
130: 모델 가공부
140: 통합 모델 구축부
150: 분석 수행부
200: 촬영 디바이스
300: 사용자 단말
20: 네트워크

Claims (10)

  1. 항공 촬영방향을 고려한 이미지 모델 정렬 방법에 있어서,
    (a) 이미지 모델의 촬영 위치 및 상기 이미지 모델을 촬영한 촬영 디바이스의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득하는 단계;
    (b) 상기 외부표정요소를 이용하여 상기 이미지 모델의 촬영 방향 정보를 도출하는 단계;
    (c) 상기 촬영 방향 정보에 기초하여 상기 이미지 모델의 회전 필요성을 판단하는 단계; 및
    (d) 상기 판단의 결과에 따라, 상기 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 상기 이미지 모델을 회전시킨 정렬 이미지 모델을 생성하는 단계,
    를 포함하고,
    상기 이미지 모델은 대상 영역의 상공을 비행하며 상기 대상 영역에 대한 영상을 획득하는 항공 촬영 모듈을 상기 촬영 디바이스로 하여 획득되는 것이고,
    상기 (b) 단계는,
    상기 항공 촬영 모듈의 비행 경로를 고려하여 설정되는 상기 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 상기 촬영 방향 정보로서 산출하는 것인, 정렬 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (c) 단계는,
    상기 촬영 방향 각도가 미리 설정된 각도 범위를 충족하는 것으로 판단되면, 해당 이미지 모델의 회전이 필요한 것으로 판단하는 것인, 정렬 방법.
  4. 제3항에 있어서,
    상기 기준 방향 정보는, 상기 정렬 이미지 모델이 북쪽 방향이 상측을 향하는 형태로 생성되도록, 상기 항공 촬영 모듈이 서쪽에서 동쪽을 향하는 상기 비행 경로에서 촬영한 상기 이미지 모델의 촬영 방향 정보를 기준으로 설정되고,
    상기 각도 범위는 상기 기준 방향 정보를 기준으로 한 180도 촬영 방향 각도를 포함하도록 설정되는 것인, 정렬 방법.
  5. 제4항에 있어서,
    상기 (d) 단계는,
    상기 이미지 모델을 해당 이미지 모델의 상기 촬영 방향 각도와 상기 각도 범위를 고려하여 설정되는 조정 각도만큼 회전시키는 것인, 정렬 방법.
  6. 제5항에 있어서,
    상기 이미지 모델은 연속적으로 촬영된 복수의 이미지를 포함하고,
    상기 (d) 단계는,
    상기 복수의 이미지 중 좌측 이미지를 상기 조정 각도만큼 회전시킨 후 우측 영상 버퍼를 이용해 표시하는 단계; 및
    상기 복수의 이미지 중 우측 이미지를 상기 조정 각도만큼 회전시킨 후 좌측 영상 버퍼를 이용해 표시하는 단계,
    를 포함하는 것인, 정렬 방법.
  7. 제1항에 있어서,
    상기 (a) 단계는,
    복수의 이미지 모델 각각에 대하여 할당된 식별 정보 중 상기 이미지 모델에 대응하는 식별 정보를 기준으로 상기 외부표정요소를 검색하는 것인, 정렬 방법.
  8. 제1항에 있어서,
    (e) 상기 대상 영역에 대하여 획득된 복수의 이미지 모델 각각에 대하여 상기 (a) 내지 (d) 단계를 수행하여 복수의 정렬 이미지 모델이 획득하는 단계; 및
    (f) 상기 복수의 정렬 이미지 모델을 상기 복수의 이미지 모델 각각의 상기 촬영 위치를 기준으로 중첩한 통합 오버레이 모델을 생성하는 단계,
    를 더 포함하는 것인, 정렬 방법.
  9. 제8항에 있어서,
    (g) 상기 통합 오버레이 모델을 이용하여 상기 대상 영역에 대한 변화 탐지 정보를 포함하는 영역 분석 정보를 도출하는 단계,
    를 더 포함하는 것인, 정렬 방법.
  10. 항공 촬영방향을 고려한 이미지 모델 정렬 장치에 있어서,
    이미지 모델의 촬영 위치 및 상기 이미지 모델을 촬영한 촬영 디바이스의 촬영 시점의 자세 정보를 포함하는 외부표정요소(Exterior Orientation Parameter, EOP)를 획득하는 수집부;
    상기 외부표정요소를 이용하여 상기 이미지 모델의 촬영 방향 정보를 도출하고, 상기 촬영 방향 정보에 기초하여 상기 이미지 모델의 회전 필요성을 판단하는 판단부; 및
    상기 판단의 결과에 따라, 상기 촬영 방향 정보 및 미리 설정된 기준 방향 정보에 기초하여 상기 이미지 모델을 회전시킨 정렬 이미지 모델을 생성하는 모델 가공부,
    를 포함하고,
    상기 이미지 모델은 대상 영역의 상공을 비행하며 상기 대상 영역에 대한 영상을 획득하는 항공 촬영 모듈을 상기 촬영 디바이스로 하여 획득되는 것이고,
    상기 판단부는,
    상기 항공 촬영 모듈의 비행 경로를 고려하여 설정되는 상기 기준 방향 정보에 대한 촬영 방향 각도를 측정한 카파(Kappa) 값을 상기 촬영 방향 정보로서 산출하는 것인, 정렬 장치.
KR1020220164639A 2022-11-30 2022-11-30 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법 KR102525764B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164639A KR102525764B1 (ko) 2022-11-30 2022-11-30 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164639A KR102525764B1 (ko) 2022-11-30 2022-11-30 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102525764B1 true KR102525764B1 (ko) 2023-04-26

Family

ID=86099613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164639A KR102525764B1 (ko) 2022-11-30 2022-11-30 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102525764B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0637134B2 (ja) * 1984-12-19 1994-05-18 マツダ株式会社 パワ−ユニツトのマウンテイング装置
KR101124437B1 (ko) * 2011-12-26 2012-03-21 중앙항업(주) Ｇｐｓ/ｉｎｓ 및 항공경사영상 자료를 활용한 다방향 항공경사영상의 모자이크영상 제작방법
KR101346192B1 (ko) * 2013-09-11 2014-02-07 (주)아세아항측 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
KR102186199B1 (ko) * 2020-04-22 2020-12-03 주식회사 그린블루 다시점 영상이미지를 이용한 화면분할 기반 영상처리시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0637134B2 (ja) * 1984-12-19 1994-05-18 マツダ株式会社 パワ−ユニツトのマウンテイング装置
KR101124437B1 (ko) * 2011-12-26 2012-03-21 중앙항업(주) Ｇｐｓ/ｉｎｓ 및 항공경사영상 자료를 활용한 다방향 항공경사영상의 모자이크영상 제작방법
KR101346192B1 (ko) * 2013-09-11 2014-02-07 (주)아세아항측 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
KR102186199B1 (ko) * 2020-04-22 2020-12-03 주식회사 그린블루 다시점 영상이미지를 이용한 화면분할 기반 영상처리시스템

Similar Documents

Publication Publication Date Title
US10360247B2 (en) System and method for telecom inventory management
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
US11313684B2 (en) Collaborative navigation and mapping
US10297074B2 (en) Three-dimensional modeling from optical capture
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
Yahyanejad et al. Incremental mosaicking of images from autonomous, small-scale uavs
US8797400B2 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
US8902308B2 (en) Apparatus and method for generating an overview image of a plurality of images using a reference plane
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
US11238647B2 (en) Apparatus for building map using machine learning and image processing
US11176700B2 (en) Systems and methods for a real-time intelligent inspection assistant
KR102195051B1 (ko) 드론의 영상 정보를 이용한 공간 정보 생성 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
CN111652929A (zh) 一种视觉特征的识别定位方法及系统
He et al. Ground and aerial collaborative mapping in urban environments
CN114842139A (zh) 一种基于空间分析的建筑三维数字化模型构建方法
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN111783849B (zh) 一种室内定位方法、装置、电子设备及存储介质
KR102525764B1 (ko) 항공 촬영방향을 고려한 이미지 모델 정렬 장치 및 방법
Luo et al. Indoor mapping using low-cost MLS point clouds and architectural skeleton constraints
CN115187736A (zh) 目标地图生成方法以及装置、ar地图生成方法以及装置
US20210407069A1 (en) Fusing Map Reconstructions Generated from Multiple Batches of Data
CN111612894B (zh) 基于航拍图像与cim的植被模型辅助生成方法与系统
CN112069997A (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant