KR20190061791A - Uav 측면영상 분석을 위한 알고리즘 및 도구 개발 - Google Patents

Abstract

본 발명은 무인 항공기(UAV; Unmanned Aerial Vehicle)로 시설물의 측면을 촬영한 측면 영상을 이용하여 상기 시설물의 옆면을 분석하는 측면 영상 분석 방법에 관한 것이다.

Description

UAV 측면영상 분석을 위한 알고리즘 및 도구 개발{Algorithm and tool development for side-image analysis captured by Unmanned Aerial Vehicle}

본 발명은 UAV로 측면을 촬영한 영상을 이용하여 건물이나 시설물의 옆면을 효과적으로 분석하기 위한 도구를 개발하고, 측면영상 분석의 각 단계 별로 활용하는 개발 알고리즘과 요소기술 그리고 전반적인 작업절차에 관한 것이다.

UAV(unmanned aerial vehicle)는 원격으로 항공영상을 취득하고, 후처리를 통해 지도 제작(photogrammetry), 수치표면모델(DSM, digital surface model) 구축, 원격 모니터링 등 다양한 응용분야에서 활용하는 새로운 센서로 주목받고 있다.

최근에는 UAV 운용의 저비용성과 항공영상 취득의 신속함으로 영상 관련 연구들이 많이 진행되고 있으며, 특히 영상처리를 통한 3차원 객체 모델링과 수치표면자료 생성 그리고 신속한 지도제작 등이 주요한 연구 및 활용 분야이다.

이와 관련된 제반 기술은 대상 객체를 효과적으로 모델링하기 위한 UAV영상 취득, 취득된 영상 후처리를 위한 GPS/INS 정보처리 기술, 3차원 지형 및 객체 생성 기술 등이 있으며, 나열한 모든 요소 기술은 아직 그 성숙도가 초기 단계에 있다.

항공기를 통해 취득되는 영상은 일반적으로 카메라가 지면을 바라보면서 촬영되는 수직(vertical) 영상이 주를 이루었으나, 최근에는 저고도로 촬영이 가능한 UAV가 활용되면서 건물의 벽면과 같이 측면(side)을 촬영하는 영상도 취득이 가능하다.

본 발명에서는 UAV로 촬영한 측면 영상을 분석하기 위하여 필요한 측면영상의 표출과 분석을 위해 필요한 알고리즘들과 소프트웨어를 개발하여, 효과적으로 측면영상을 분석하는 도구를 개발하는 것에 그 목적이 있다.

본 발명은 UAV를 통해 측면으로 촬영된 영상을 효과적으로 표출하고, 분석을 위해 필요한 요소 기술들을 개발하며, 이를 실제 C++ 개발언어로 구현하여 기존 소프트웨어들로 불가능한 UAV 측면영상 처리용 분석도구를 개발하고자 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 측면 영상 분석 방법은 무인 항공기(UAV; Unmanned Aerial Vehicle)로 시설물의 측면을 촬영한 측면 영상을 이용하여 상기 시설물의 옆면을 분석한다.

이때, 상기 측면 영상 분석 방법은, 첫번째 측면 영상에서 분석 영역을 생성하는 단계; 및 공선조건식의 원리에 의해 상기 분석 영역에 대응하는 동일한 영역이 두번째 측면 영상에 표시되도록 하는 단계를 포함할 수 있다.

이때, 상기 두번째 측면 영상에 표시된 영역에 대한 지상좌표를 공간 전방 교회(space intersection) 원리를 통해서 확인하는 단계를 더 포함할 수 있다.

이때, 상기 측면 영상 분석 방법은, 상기 측면 영상의 분석을 위해서 기반 좌표계(coordinate system) 정보 및 상기 측면 영상을 촬영한 비행 고도 정보의 정보를 포함하는 입력 데이터를 수신하는 단계를 포함할 수 있다.

이때, 상기 측면 영상 분석 방법은, 상기 시설물의 3D 모델과 촬영된 측면 영상들을 매칭하는 단계; 및 상기 측면 영상들의 궤적 정보를 네모 박스 형태로 연속적으로 표시하는 단계를 포함할 수 있다.

본 발명은 UAV로 구조물의 벽면을 촬영한 측면영상을 적절히 표출분석하는 알고리즘과 분석도구를 고안하였다. 개발된 알고리즘과 분석도구는 기존 항공사진측량 분야에서 대상으로 하는 수직영상의 관리와 분석을 측면영상을 대상으로도 가능하게 해주는 기반 기술이다.

최근 UAV로 다양한 활용 분야를 개척하려는 국가와 민간에서 과연 측면영상을 취득하여 무엇을 할지, 어떻게 분석할지에 관한 시사점과 기술적 기반을 제공해주어 UAV 영상 활용분야에 관한 이해를 높이는 기초자료가 될 것으로 기대된다.

도 1은 회전익 UAV 기체를 도시한 도면이다.
도 2는 취득된 UAV 측면영상 샘플을 도시한 도면이다.
도 3은 촬영영상 위치자세정보 형태(외부표정요소)를 도시한 도면이다.
도 4는 AV를 이용한 수직영상과 측면영상의 촬영 원리를 도시한 도면이다.
도 5는 수직영상과 측면영상의 궤적정보 표출 방법을 도시한 도면이다.
도 6은 측면영상 처리를 위한 공선조건 변형 알고리즘의 원리를 도시한 도면이다.
도 7은 측면영상 거리(depth) 개념 설정과 적용한 예를 도시한 도면이다.
도 8은 측면영상 기반 분석 알고리즘의 기본 원리를 도시한 도면이다.
도 9는 측면영상을 효과적으로 표출하고 분석하는 알고리즘을 도시한 도면이다.
도 10은 측면영상 분석 관리를 위한 데이터 입력 모듈 구현을 도시한 도면이다.
도 11은 수직영상과 측면영상의 사용자 화면구성 예시를 도시한 도면이다.
도 12는 입력 모듈에서 필요한 상세한 입력정보를 도시한 도면이다.
도 13은 측면영상 제반 데이터 입력 후의 관리 모듈을 도시한 도면이다.
도 14는 3D 텍스처링 모델 도시한 도면이다.
도 15는 3D 솔리드 모델을 도시한 도면이다.
도 16은 3D 와이어프레임 모델을 도시한 도면이다.
도 17은 3D 데이터들의 중첩을 도시한 도면이다.
도 18은 영상 궤적정보에서의 UAV 영상을 실시간으로 표출하는 예을 도시한 도면이다.
도 19는 ‘UAV 촬영시점 모드’에서 도시되는 화면을 도시한 도면이다.
도 20은 측면영상 기반 분석도구 메인화면 구성을 도시한 도면이다.
도 21은 측면영상 기반 분석의 실행 화면을 도시한 도면이다.
도 22는 측면영상 기반 분석의 실행 화면을 도시한 도면이다.
도 23은 측면영상 분석도구의 면적 측정 실행화면을 도시한 도면이다.
도 24는 UAV 측면영상 후처리를 통한 3D 점군데이터를 도시한 도면이다.
도 25는 3D 점군데이터 기반 거리 측정 실행화면의 일 예을 도시한 도면이다.
도 26은 3D 점군데이터 기반 면적 측정 실행화면의 다른 예를 도시한 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

이하에서는, 본 발명의 일 실시 예에 따른 UAV 측면영상 분석을 위한 알고리즘 및 도구 개발을 첨부된 도 1 내지 도 26을 참조하여 상세히 설명한다.

UAV 측면영상 개념과 기술적 고려사항

UAV 시스템은 무인항공기 기체, 탑재카메라, GPS/INS 장비로 구성이 되며, 해당 시스템을 통해 촬영된 무인항공기 영상이 주요한 분석 데이터가 된다. 정밀한 3차원 지형이나 구조물의 생성을 위한 데이터 취득용 UAV는 일반적으로 수직 이착륙과 자유로운 방향 전환이 가능하고, 호버링(hovering)을 통한 안정적 촬영이 가능한 회전익 기체를 사용한다.

이상 설명한 영상 취득을 위한 UAV 기체는 도 1과 같다.

도 1은 회전익 UAV 기체를 도시한 도면이다.

일반적으로 3차원 모델을 만들기 위한 데이터 취득을 위해 UAV는 대상 구조물을 약 50~100m 상공인 저고도에서 수직 촬영을 수행하며, 취득 영상은 약 70~80% 중복도로 촬영한다. 하지만 측면 촬영의 경우는 그보다 더 낮은 50m 이하에서 촬영을 수행하며, 보다 정교한 촬영 기술이 필요하다. 더구나 단순 구조물이 아닌 복잡도가 높은 구조물을 촬영하기 위해서는 자동 촬영이 어려우며, UAV 조종사의 정교한 비행 기술이 요구된다.

영상 촬영 시, 개별 영상은 촬영 시점의 위치 및 회전요소가 정확히 추출되어야 영상들의 후처리를 통해 생성되는 결과물의 품질이 보장되며, 이때 필요한 데이터는 외부표정요소(external orientation parameters)라고 명명하며 각 영상의 위치정보와 자세정보가 포함된다.

취득되는 영상은 아래 그림과 같이 대상 구조물이 사진 내에 충분히 포함되도록 촬영하며, 고해상도로 촬영될수록 후처리의 품질을 높일 수 있다.

도 2는 취득된 UAV 측면영상 샘플을 도시한 도면이다.

도 2에서 보듯이 UAV로 취득된 측면영상은 기존의 수직영상과 비교하여 매우 다른 기하학적 형태를 가짐을 알 수 있다. 또한 후처리를 통한 분석 목적을 고려하면 인접 영상과의 중복도를 충분히 고려하여 촬영하는 것도 중요한 요소이다.

일반적으로 위 데이터와 함께 영상처리 작업을 위해 필요한 제반 데이터는 영상의 카메라 위치자세 정보, 카메라 자체의 보정값인 캘리브레이션 정보(camera calibration parameters), 그리고 지오레퍼런싱(geo-referencing)을 위해 사전에 설치하는 지상기준점(ground control point) 자료가 입력 자료로 사용된다.

영상이 촬영된 지점의 카메라 위치·자세 정보는 각 영상이 취득되는 당시의 카메라의 위치와 촬영 각도가 실제 GPS 좌표가 어떤 값인지, 비행체가 얼마나 수평과 비교하여 기울어졌는지를 정확한 값으로 도출해야 하므로, 모든 영상은 촬영 시점의 위치와 자세가 모두 다른 값을 갖는다.

취득된 영상과 후처리된 결과 데이터는 특정 타원체 내에서 절대적인 위치좌표를 가져야 하나, 지상기준점을 통한 보정 프로세스를 거치지 않으면 장비에서 추출되는 GPS/INS 초기치만으로 절대적 위치값을 확보하기 어렵다.

특히 측면영상의 경우는 수직영상에서의 위치 값은 동일한 방법으로 인식할 수 있으나, 자세 정보는 촬영 방향의 상이함으로 인하여 다른 방법으로 인식되어야 한다. 이를 해결하기 위한 방법 또한 본 발명에서 다루어지며, 도 3은 비행체에 탑재된 GPS/INS에서 추출되는 위치 및 자세정보의 값을 보여준다.

도 3은 촬영영상 위치자세정보 형태(외부표정요소)를 도시한 도면이다.

외부표정요소 자체는 수직영상과 동일한 포맷으로 들어오나, 측면영상의 경우에 자세정보인 omega, phi, kappa 값은 촬영 기체와 이동방향과 카메라 측정 각도가 다르므로 이를 고려한 처리가 필요하다.

UAV를 이용한 수직영상과 측면영상의 촬영 원리는 도 4와 같다.

도 4는 AV를 이용한 수직영상과 측면영상의 촬영 원리를 도시한 도면이다.

측면영상은 기존 사진측량 분야에서 활용하던 방법론과는 다른 방법으로 촬영 영상을 표출하고 분석을 수행하게 되며, 본 발명에서는 측면영상의 효과적인 관리와 분석 방법을 개발하였다.

UAV로 촬영한 측면영상은 대상 구조물과 시설물에 근접하여 촬영이 수행되는 특징이 있으며, 이는 촬영 범위가 기존 수직영상과 달라짐을 의미한다. 사용자가 촬영영상의 촬영 위치와 이동궤적을 확인하기 위해서는 카메라 위치를 적절히 포착하여, 화면에 도시되어야 하며 이를 위해서는 측면영상을 적절히 도시하는 형태가 필요하다.

예를 들어, 수직에서 촬영한 영상은 지도 기반으로 영상촬영 궤적 정보를 보여줬다고 하면, 측면영상의 경우에는 지도 기반이 아니라 대상 구조물에 초점을 두어 촬영 위치 및 궤적정보를 표출하여야 한다(도 5 참조).

도 5는 수직영상과 측면영상의 궤적정보 표출 방법을 도시한 도면이다.

대상 구조물은 3D 형태로 제작된 3차원 점군데이터(pointcloud)이거나 3차원 메쉬(mesh) 모델 데이터를 사용하며, 도 5의 우측 그림과 같이 대상구조물이 배경으로 사용될 경우, 측면영상이 올바로 표출되게 된다.

도 5와 같이 UAV 측면영상을 표출하기 위해서는 사용자 시선 기준의 View 화면이 구성되어야 하며, 측면영상의 처리와 분석에 특화된 전용 UI(user interface)와 프로그램이 필요하다.

측면영상을 표출하기 위해 개선이 필요한 기술적 문제는 다음과 같다.

1) 수직영상에서 영상 궤적정보를 표출하기 위한 배경지도는 2D 기반의 전자지도를 활용하였으나, 측면영상의 경우는 촬영 대상 구조물 자체의 모델을 배경 데이터로 활용한다.

2) 수직영상에서는 영상의 네 모서리 점을 공선조건으로 지상좌표를 계산하여 연결한 폴리곤을 표출하였으나, 측면영상은 카메라와 배경데이터 사이의 거리(depth)를 적용하여 사진의 지상좌표를 계산한다.

측면영상 분석을 위한 개발 알고리즘 설명

측면영상의 표출을 위해서는 기존 사진측량(photogrammetry) 분야에서 영상 궤적정보 표출에 활용되었던 공선조건식을 변형한 알고리즘을 개발하였다.

기존의 공선조건식에서는 해당 영상의 네 모서리 끝점의 절대좌표를 계산하기 위하여 Z값 인자를 평균해수면으로 사용하였으나, 측면영상은 기존의 공선조건을 이용하되 평균해수면 인자를 depth(거리) 개념을 접목하여 수정/개발하였다.

depth는 UAV에 탑재된 카메라가 대상체의 벽면을 바라보는 시점을 기준으로 하는 거리 개념이며, 촬영 당시에는 해당 거리를 설정하거나 임의의 대략적 거리를 적용한다.

기존의 공선조건식과 변환된 거리개념을 접목한 공선조건의 원리는 도 6으로 설명될 수 있다.

도 6은 측면영상 처리를 위한 공선조건 변형 알고리즘의 원리를 도시한 도면이다.

공선조건에서 거리(depth) 개념의 적용은 먼저 대상 구조물과의 거리를 측정할 기준을 설정해야 하며, 이 기준은 해당 영상을 촬영한 카메라의 위치로 설정한다.

카메라 위치는 영상 촬영 시 획득되는 외부표정요소의 GPS 좌표값을 이용하며, 이 위치에서 촬영 방향의 벡터를 계산한다. 이는 초기 depth 값으로 아직은 정확하지 않은 거리 값으로 계산된다.

카메라 위치에서 계산된 방향 벡터는 반직선(ray) 개념을 이용하여, 카메라 위치에서 대상 구조물까지의 직선 벡터를 그리며, 이 직선 벡터는 직선을 포함하는 버퍼(buffer)로 설정하여 반직선이 대상 구조물 포인트 혹은 모델과 만나는 부분을 검색한다.

하나 혹은 두 개 이상의 포인트가 반직선과 겹쳐지면 가장 먼저 만나는 포인트를 기준으로 하여 해당 포인트를 선택하며, 이 포인트 데이터는 카메라 위치 좌표와의 거리를 계산하여 실제 정확히 계산된 거리(depth) 값을 산정한다.

구조물 데이터가 3D 점군 데이터가 아닌 모델 데이터일 경우도 촬영방향 벡터의 반직선은 해당 모델 데이터와 교차하는 위치를 검색하여 동일한 원리로 거리 값을 계산한다.

이때 선택된 포인트로 계산된 거리 값은 측면영상에 적용하는 변형된 공선조건의 depth 파라미터 값으로 적용되어 실제 영상의 모서리 네 꼭지점의 지상좌표를 계산해낸다. 이렇게 계산된 네 꼭지점의 지상좌표는 서로를 연결하여 폴리곤화 하며, 이 사각형 폴리곤이 특정 영상의 크기를 나타내어 전체 영상들의 궤적정보를 표출하는 형상을 표출하여 준다.

상기한 측면영상의 거리 개념 설정과 이를 이용한 영상궤적 정보 표출은 도 7과 같은 원리로 화면에 도시한다.

도 7은 측면영상 거리(depth) 개념 설정과 적용한 예를 도시한 도면이다.

화면 표출과 관련된 알고리즘과 함께 측면영상 분석도구에서 중요한 알고리즘을 구성하는 것은 구조물 측면의 거리나 면적을 산출하는 알고리즘이며, 이는 인접영상에 space intersection 기법을 접목한 알고리즘이다.

도 8은 측면영상 기반 분석 알고리즘의 기본 원리를 도시한 도면이다.

기본 원리는 도 8의 예와 같이 인접한 두 영상에서 동일 지점을 선택하여 해당 지점의 좌표값을 추출하고, 이 점들의 좌표 값들의 관계를 이용하여 상호 간의 거리로 길이를 측정하고, 면적과 같은 영역 정보를 산출해낸다.

측면영상 분석도구의 영상정보 분석모듈은 UAV로 촬영된 영상 데이터를 기반으로 피해분석을 수행하며, 입체모델을 구성하는 인접 영상 두 장의 공액점 a1, a2를 이용하여 지상의 미지점 A의 지상좌표를 구하는 방법으로, 각 영상의 외부표정요소에 의해 공선조건식을 선형화하여 지상좌표를 계산한다.

측면영상 분석의 절차는 첫 번째 영상에서 분석 영역을 수동으로 생성하며, 공선조건식의 원리에 의해 동일한 영역이 두 번째 영상에 그려지도록 알고리즘을 설계하였으며, 자동으로 그려지는 두 번째 영상의 영역은 space intersection 원리에 의해 자동으로 지상좌표가 계산되어 대략적 위치가 결정된다.

도 9는 측면영상을 효과적으로 표출하고 분석하는 알고리즘을 도시한 도면이다.

도 9의 알고리즘의 내용들은 기존에 사진측량 분야에서 주로 다루는 주요 알고리즘을 측면영상의 기하학적 특성에 맞게 새로 개발한 알고리즘으로 측면영상을 효과적으로 표출하고 분석하도록 최적화되어 있다.

측면영상 분석도구의 구현 방법

측면영상을 분석하기 위한 도구는 가장 먼저 측면영상 데이터와 이를 처리하기 위한 외부표정요소, 그리고 측면영상을 효과적으로 표출하거나 분석을 수행하기 위한 3D 데이터가 필요하다.

또한 해당 영상과 3D 모델 데이터가 분석되기 위한 기반 좌표계(coordinate system), 비행 고도, 촬영 영상의 형태, 영상 등 기본 데이터들, 사용하는 3D 데이터의 로딩 작업들이 필요하므로, 이러한 데이터들을 모두 입력하는 모듈의 구현이 필요하다.

도 10은 측면영상 분석 관리를 위한 데이터 입력 모듈 구현을 도시한 도면이다.

도 10은 위와 같은 작업을 수행하기 위하여 입력데이터들을 한 번에 관리하는 프로젝트 생성 모듈이며, 로컬 단위로 개별 데이터를 입력하기 위한 메뉴 구성을 기반으로 데이터베이스 시스템을 통해 모든 데이터를 통합적으로 입력하기 위한 프로젝트 입력 기능이 추가된 모듈의 구현 모습이다.

도 10의 프로젝트 생성은 가장 먼저 작업을 수행할 기본 좌표계를 선택하며, 이 좌표계는 xyz 좌표 기반의 계산을 위해 TM(transverse mercator) 좌표계가 기반이 된다.

비행고도는 UAV를 이용한 영상 촬영 당시의 평균 고도를 입력하게 되며, 이는 개별 영상의 외부표정요소 Z값의 평균을 자동 계산하여 입력된다.

다음 ‘types of aerial photos’ 항목은 수직으로 촬영한 영상과 측면에서 촬영한 영상을 구분하여 주는 기능으로, 사용자 선택 입력에 의해 구분한다.

수직영상의 입력으로 인한 사용자 화면과 측면영상의 입력으로 인한 사용자 화면 구성은 도 11의 예와 같다.

도 11은 수직영상과 측면영상의 사용자 화면구성 예시를 도시한 도면이다.

‘Open MDAS’ 기능은 개별적으로 입력되는 데이터들인 영상, 타입, 좌표계, 외부표정요소, 카메라 캘리브레이션 정보, 3D 데이터 선택 등의 모든 항목을 사용자가 사전에 데이터베이스로 구성하여 저장할 경우, 한번의 클릭으로 입력받을 수 있도록 구성된 기능이다.

해당 데이터베이스에서는 촬영 방식을 수직(0), 측면(1)로 구분하여 사전 입력하며, 촬영 지역의 좌표계는 사전에 정의된 숫자로 이루어진 4개 코드로 입력한다.

분석을 위해 필요한 영상과 외부표정요소, 카메라 파일 등은 사전에 저장된 경로 정보를 읽어 들여 입력한다.

입력 모듈에서 필요한 상세한 입력정보는 도 12의 표와 같이 구성된다.

도 12는 입력 모듈에서 필요한 상세한 입력정보를 도시한 도면이다.

측면영상을 입력한 후에 가장 먼저 도시되는 관리모듈은 입력 영상의 배경으로 쓰이는 3차원 데이터와 영상 궤적정보를 기반으로 화면이 구성된다. 3차원 데이터는 매칭결과 데이터와 모델 데이터 두 가지 모두를 포함한다.

도 13은 측면영상 제반 데이터 입력 후의 관리 모듈을 도시한 도면이다.

개발된 분석도구는 가운데 메인 화면에 입력된 3D 데이터가 배경으로 도시되며, 측면으로 촬영된 영상 궤적정보들이 도 13의 예와 같이 네모 박스 형태로 연속적으로 도시된다.

개별 영상 궤적정보는 각 영상을 촬영한 카메라 위치로부터 계산되며, 이를 효과적으로 표출하기 위하여 메인화면에 카메라 위치가 녹색 점(dot)으로 표시되도록 구성한다.

3D 포인트데이터의 경우, 화면에 도시하는 옵션은 초기세팅으로 컬러테이블 상의 높이 기준으로 도시하며 사용자 선택에 의해 포인트들의 크기와 색을 조절할 수 있다.

측면영상 분석도구의 상단은 화면상의 객체 이동, 확대, 축소 그리고 회전을 가능하게 하는 기본 뷰어 기능이 있으며, 3D 모델링 데이터를 효과적으로 도시하기 위한 옵션들이 구성되어 있다.

3D 모델의 옵션에 따른 화면 표출 형태는 도 14의 예와 같은 기본 텍스처링(texturing) 모델 화면, 도 15의 예와 같은 텍스처링이 제외된 솔리드(solid) 모델 화면, 모델의 형상은 유지하되 빠른 입출력을 가능하게 하는 도 16의 예와 같은 와이어프레임(wireframe) 모델 화면이 모두 가능하다.

도 14는 3D 텍스처링 모델 도시한 도면이다.

도 15는 3D 솔리드 모델을 도시한 도면이다.

도 16은 3D 와이어프레임 모델을 도시한 도면이다.

그리고 도 17과 같이 3D 모델 데이터와 포인트 데이터의 중첩 도시도 가능하다.

도 17은 3D 데이터들의 중첩을 도시한 도면이다.

구조물을 측면에서 촬영한 UAV 영상들은 분석도구 내부에 개별 카메라 위치에 저장되어 있으며, 사용자가 궤적정보 특정 위치에서의 촬영된 영상을 육안으로 확인하고 싶을 경우에는 해당 궤적정보를 클릭하여 영상 자체를 확인할 수 있다.

고해상도의 영상을 도시하기 위해서는 일반적으로 영상의 로딩 시간이 다소 필요하나, 본 분석도구의 경우는 측면영상을 내부적으로 가지고 있다가, 표출 요청을 받으면 도 18의 예와 같이 원본 해상도의 1/10 크기의 해상도로 리싸이징(resizing)하여 실시간 표출을 가능하게 한다.

도 18은 영상 궤적정보에서의 UAV 영상을 실시간으로 표출하는 예을 도시한 도면이다.

본 분석도구는 UAV영상을 촬영하는 기체인 UAV가 보는 시점에서 표출되는 ‘UAV 촬영시점 모드’를 추가하여 영상의 촬영 분포가 직관적으로 표출되도록 알고리즘을 개발하였으며, 도 19의 예와 같이 분석도구에서 스페이스바(spacebar)를 누르는 즉시 촬영 시점의 화면이 도시된다.

도 19는 ‘UAV 촬영시점 모드’에서 도시되는 화면을 도시한 도면이다.

측면영상을 분석하기 위한 분석도구에서 영상기반의 분석 모듈은 도 20의 예와 같이 인접영상들의 선택, 선택영상의 표출, 해당 영상의 위치를 표출해주는 궤적정보 그리고 분석된 값을 숫자로 보여주는 프레임으로 구성된다.

도 20은 측면영상 기반 분석도구 메인화면 구성을 도시한 도면이다.

도 20은 그림의 프레임을 기초로 측면영상을 기반으로 측정 등을 수행하기 위한 분석도구는 가장 기본적으로 좌측 영상 리스트에서 원하는 영상을 선택하여 사용자가 측정을 원하는 영역이 포함된 사진을 찾는다.

우측 영상리스트에서는 좌측 측면영상과 조금이라도 중복되는 영역이 있는 모든 영상들을 표출해주며, 이 리스트에서도 역시 사용자가 비교하기를 원하는 두 번째 영상을 선택한다. 이 기능으로 분석을 원하는 인접한 두 장의 영상이 화면에 도시된다.

거리나 면적을 측정하기 위해 사용자는 좌측 첫 영상에서 원하는 영역을 포인트 기반으로 선택을 수행한다. 거리를 측정할 경우는 두 점을 선택하며, 면적을 측정할 경우에는 두 점 이상의 폐합된 폴리곤을 구성한다.

측정된 영역은 내부적으로 적용된 알고리즘을 통해 우측 두 번째 영상에 동일한 지점이라고 생각되는 영역을 자동으로 계산해주며, 이는 공선조건식을 구성하는 외부표정요소의 정확도에 따라 정확한 폴리곤 구성 여부가 결정된다.

하지만 일반적으로 정확히 보정되지 않은 외부표정요소가 아닌 경우, 일부 위치오차가 발생되어 해당 영역의 인접한 지역에 두 번째 폴리곤이 형성된다. 사용자는 두 번째 영상에서 폴리곤을 선택하여 이동 등 미세조정을 통해 정확한 지점의 위치로 이동할 수 있다.

상기한 방법대로 측면영상 측정을 수행하는 화면은 도 21과 같다.

도 21은 측면영상 기반 분석의 실행 화면을 도시한 도면이다.

도 21에서 보듯이 선택된 두 영상은 하단 좌측의 영상 궤적정보(footprint) 표출 프레임에서 어떤 영상이 선택되었는지 확인할 수 있으며, 첫 번째 선택영상은 빨강색, 두 번째 선택영상은 파랑색으로 구분하여 표출된다.

또한 분석도구의 상단에는 아이콘으로 두 점 선택으로 인한 거리 측정과 네 점 선택으로 인한 면적 측정을 위한 버튼을 리본바(ribbon bar) 형식으로 구성하여, 최신 소프트웨어들의 트렌드 구성을 고려하여 개발하였다.

분석도구를 이용하여 길이 측정을 수행하는 실행화면은 다음 도 22와 같다.

도 22는 측면영상 기반 분석의 실행 화면을 도시한 도면이다.

분석도구를 이용하여 면적 측정을 수행하는 실행화면은 도 23과 같다.

도 23은 측면영상 분석도구의 면적 측정 실행화면을 도시한 도면이다.

영상을 기반으로 측정하는 기능은 UAV 측면영상의 후처리로 생성되는 3D 점군데이터에서도 동일하게 적용할 수 있다. 3D 점군데이터는 UAV 영상을 이용한 영상매칭이라는 기법으로 첫 단계에서 생성되는 데이터이며, 복잡한 형상을 가진 객체를 3차원으로 세밀하게 표현하기에 적합한 구조이다.

또한 형상을 구성하는 모든 점 데이터들은 위치좌표(xyz) 값을 가지고 있어서, 거리와 면적 계산 등에 용이하다.

영상매칭을 통해 구축되는 3D 점군데이터는 일반적으로 전문 소프트웨어들을 통해서 만들어지며, 대표적인 상용 제품으로는 Pix4D사의 Pix4D mapper, Agisoft사의 Photoscan professional 등이 있다.

UAV 측면영상을 영상매칭 처리한 데이터는 도 24와 같이 점(point) 형태의 벡터데이터 집합군으로 이루어져 있다.

도 24는 UAV 측면영상 후처리를 통한 3D 점군데이터를 도시한 도면이다.

일반적으로 3차원 좌표계에서 거리의 계산은 하나의 점에서 다른 점까지의 좌표값을 이용하여 계산을 수행하며, 잘 알려진 유클리드 거리공식을 사용한다.

UAV 측면영상으로 제작한 3차원 점군데이터도 도 25 및 도 26과 같이 점 데이터 기반으로 거리와 면적 계산이 가능하며, 이를 위해 분석도구에서는 Measure distance, Measure area 기능을 구현하였다.

도 25는 3D 점군데이터 기반 거리 측정 실행화면의 일 예을 도시한 도면이다.

도 26은 3D 점군데이터 기반 면적 측정 실행화면의 다른 예를 도시한 도면이다.

도 25에서 보듯이 분석도구에서는 기존 측면영상 기반 분석과는 달리 점군데이터 기반 분석을 위해 3D 기반의 뷰어를 개발하였으며, xyz 값을 가진 포인트 데이터들로 구성된 형상 데이터가 도시된다.

도시된 데이터들은 마우스를 이용하여 거리 측정을 원하는 두 지점을 클릭하게 되며, 그림과 같이 화면상에 붉은 선(line)으로 표시되면서, 우측 하단에는 유클리드 거리공식으로 계산된 실제 길이 값이 표시된다.

영상매칭으로 추출되는 3차원 점군데이터는 옵션 설정에 따라 사용하는 프로그램에 따라 차이가 있지만 일반적으로 매우 높은 점밀도(density)를 가진 데이터가 생성되므로, 마우스를 통한 클릭으로 해당 점 데이터를 선택하기 용이하다.

하지만 점밀도가 낮은 데이터의 경우, 마우스 선택이 용이하지 않을 수 있으므로 분석도구에서는 점을 선택하지 못하고 빈 공간에 클릭을 할 경우, 가장 가까운 점 데이터를 선택하도록 구현하여, 사용자의 의도를 반영한 직관적 분석 도구로 구현하였다.

동일한 원리로 면적 계산도 가능한 기능을 추가하였으며 실행화면은 도 26과 같다.

분석도구는 도 26과 같이 사용자의 선택에 따라 두 점 이상의 점 데이터 선택으로 삼각형을 비롯한 n 다각형까지 원하는 폴리곤을 구성할 수 있으며, 선택 지점의 좌표 값을 이용하여 면적 계산이 가능하다.

개발된 분석도구는 구조물의 측면 촬영에서 주로 활용되는 손상 지점의 측정, 손상 지점의 영상 확인 등을 효과적으로 수행하는 적절한 알고리즘과 기술을 제공한다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

1. 무인 항공기(UAV; Unmanned Aerial Vehicle)로 시설물의 측면을 촬영한 측면 영상을 이용하여 상기 시설물의 옆면을 분석하는 측면 영상 분석 방법.
   
2. 제1항에 있어서,
   상기 측면 영상 분석 방법은,
   첫번째 측면 영상에서 분석 영역을 생성하는 단계; 및
   공선조건식의 원리에 의해 상기 분석 영역에 대응하는 동일한 영역이 두번째 측면 영상에 표시되도록 하는 단계
   를 포함하는 측면 영상 분석 방법.
   
3. 제2항에 있어서,
   상기 두번째 측면 영상에 표시된 영역에 대한 지상좌표를 공간 전방 교회(space intersection) 원리를 통해서 확인하는 단계
   를 더 포함하는 측면 영상 분석 방법.
   
4. 제1항에 있어서,
   상기 측면 영상 분석 방법은,
   상기 측면 영상의 분석을 위해서 기반 좌표계(coordinate system) 정보 및 상기 측면 영상을 촬영한 비행 고도 정보의 정보를 포함하는 입력 데이터를 수신하는 단계
   를 포함하는 측면 영상 분석 방법.
   
5. 제1항에 있어서,
   상기 측면 영상 분석 방법은,
   상기 시설물의 3D 모델과 촬영된 측면 영상들을 매칭하는 단계; 및
   상기 측면 영상들의 궤적 정보를 네모 박스 형태로 연속적으로 표시하는 단계
   를 포함하는 측면 영상 분석 방법.
   
6. 제1항 내지 제5항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.

Images