KR20230138101A - 무인항공기 라이다 및 카메라 모듈의 캘리브레이션 및 타임라인별 데이터 분할과 이를 활용한 이미지 내 수치측정 방법 - Google Patents

Abstract

본 발명은 무인항공기에 부착된 라이다와 카메라 일체형 모듈에 캘리브레이션을 통해 동일 영역에 데이터를 취득하여 결합할 수 있도록 범위를 일치화시키고 카메라에 의한 단사진 촬영 시 일정 시간동안 정지한 상태에서 촬영 영역을 부착된 라이다로 스캔하여 저장하며, 이때 촬영한 이미지 데이터와 별도로 저장된 스캔파일의 파일명을 일치시키며, PC에 의한 데이터 처리 시 동일한 시간에 수집한 이미지 및 스캔 데이터를 연동하여 자체적으로 시설의 수치를 검출할 수 있다.

Description

무인항공기 라이다 및 카메라 모듈의 캘리브레이션 및 타임라인별 데이터 분할과 이를 활용한 이미지 내 수치측정 방법{Calibration and data division by timeline of unmanned aerial vehicle lidar and camera module, and a method of measuring numerical values in an image using them}

본 발명은 무인항공기 라이다 및 카메라 모듈의 캘리브레이션 및 타임라인별 데이터 분할과 이를 활용한 이미지 내 수치측정 방법에 관한 것이다.

최근 노후한 건물이나 사회 기반 시설 등에 대한 안전 점검 및 유지 관리 수요가 증가하고 있다. 이러한 노후 구조물의 수명관리와 안전성 확보를 위해서는 구조물의 외관 안전 점검을 통해, 구조물 표면에 발생한 균열 등을 조기에 탐지하여 유지보수를 하는 것이 중요하다.

그러나, 종래의 구조물 외관 안전 점검 기술은 대부분 사람이 직접 육안으로 확인하는 방식에 의존하고 있어, 높은 구조물이나 사람의 접근이 어려운 구조물에 대해서는 외관 안전 점검이 어려운 문제점이 있었다.

최근, 사회 전반에서 드론의 활용도가 높아지면서, 구조물 외관 안전 점검에도 드론 기술을 활용하려는 시도가 증가하고 있다. 드론에 카메라를 탑재하여 운용하면, 사람의 접근이 어려운 구조물에도 손쉽게 접근하여 구조물의 외관을 촬영할 수 있는 장점이 있다.

한편, 무인항공기에 부착된 라이다와 카메라 일체형 모듈에 캘리브레이션을 통해 동일 영역에 데이터를 취득하여 결합할 수 있도록 범위를 일치화시키고 카메라에 의한 단사진 촬영 시 일정 시간동안 정지한 상태에서 촬영 영역을 부착된 라이다로 스캔하여 저장하며, 이때 촬영한 이미지 데이터와 별도로 저장된 스캔파일의 파일명을 일치시키며, PC에 의한 데이터 처리 시 동일한 시간에 수집한 이미지 및 스캔 데이터를 연동하여 자체적으로 시설의 수치를 검출한다.

드론에 부착된 라이다 및 카메라 일체형 모듈의 경우 스캔 데이터와 영상 데이터 간 결합이 불가한 형태로 저장되며, 드론에 부착된 라이다의 특성상 비행경로별 오차보정을 수동/자동으로 수행하며 스캔 데이터는 통합 파일로 저장되어 촬영 이미지와 동일 영역을 추출하는 기능을 수행할 수 없다.

대한민국 등록특허공보 제10-2366968호 (2022.03.02 공고)

본 발명의 실시예들을 통해 해결하고자 하는 기술적 과제는, 동일한 시간에 수집한 촬영 이미지와 라이다의 스캔 데이터를 일치화시키고, 매 촬영별 스캔 데이터를 분할 저장하여 PC 상에서 이미지 내 시설물 등 기타 특정 대상의 수치를 측정할 때, 동일한 시간에 분할 저장된 스캔 데이터와 매칭하여 수치측정 기능으로 이미지상의 일정 영역을 클릭하여 수치 데이터를 즉시 정밀하게 측정하는 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 복수의 카메라를 구비한 드론에 의해 수행되는 촬영 방법은 복수의 카메라와 피사체의 표면 간 거리에 기초하여 상기 피사체에 대한 상기 복수의 카메라 각각의 촬영각을 조정하는 단계, 상기 촬영각이 조정된 상기 복수의 카메라 각각을 통해 상기 피사체를 촬영하고, 상기 촬영에 의해 얻어진 복수의 영상을 저장하는 단계, 및 상기 복수의 영상을 스티칭(stitching)하는 단계를 포함할 수 있다.

일 실시예로서, 상기 복수의 카메라 각각의 촬영각을 조정하는 단계는 상기 피사체의 유형을 결정하는 단계, 상기 피사체의 유형이 제1 유형이면 상기 복수의 카메라 각각을 제1 방향으로 지향시키는 단계, 상기 복수의 카메라 각각과 상기 피사체의 표면간 거리를 측정하는 단계, 및 상기 측정된 거리에 기초하여 상기 피사체에 대한 상기 드론의 위치 또는 자세를 조정하는 단계를 포함할 수 있다.

일 실시예로서, 상기 드론의 위치 또는 자세 조정에 의해 상기 제1 방향은 상기 피사체의 표면과 서로 수직하게 될 수 있다.

일 실시예로서, 상기 복수의 카메라 각각의 촬영각을 조정하는 단계는 상기 드론의 위치 또는 자세를 조정한 이후에 상기 복수의 카메라 중 적어도 둘 이상의 카메라에 대해 상기 피사체의 표면과의 거리를 측정하는 2차 측정 단계를 더 포함할 수 있다.

일 실시예로서, 상기 복수의 카메라는 제1 카메라, 상기 제1 카메라의 일측에 위치한 제2 카메라, 상기 제1 카메라의 타측에 위치한 제3 카메라를 포함하고, 상기 복수의 카메라 각각의 촬영각을 조정하는 단계는 상기 피사체의 유형을 결정하는 단계, 상기 피사체의 유형이 제2 유형이면, 상기 제1 카메라와 상기 피사체의 표면 간 제1 거리를 측정하는 단계, 및 상기 제1 거리에 기초하여, 상기 피사체에 대한 상기 제2 카메라의 촬영각과 상기 제3 카메라의 촬영각을 각각 조정하는 단계를 포함할 수 있다.

일 실시예로서, 상기 피사체에 대한 상기 제2 카메라의 촬영각은 산출식 에 기초하여 결정되고, 상기 L1은 상기 제1 거리이고, 상기 D는 상기 피사체의 직경이고, 상기 k1은 상기 피사체에 대한 상기 제2 카메라의 촬영각이고, 상기 w1은 상기 제1 카메라와 상기 제2 카메라 간 거리일 수 있다.

일 실시예로서, 상기 피사체에 대한 상기 제3 카메라의 촬영각은 산출식 에 기초하여 결정되고, 상기 L1은 상기 제1 거리이고, 상기 D는 상기 피사체의 직경이고, 상기 k2는 상기 피사체에 대한 상기 제3 카메라의 촬영각이고, 상기 w2는 상기 제1 카메라와 상기 제3 카메라 간 거리일 수 있다.

일 실시예로서, 상기 복수의 카메라 각각의 촬영각을 조정하는 단계는 상기 제2 카메라와 상기 피사체의 표면 간 제2 거리와 상기 제3 카메라와 상기 피사체의 표면 간 제3 거리에 기초하여, 상기 제2 카메라의 촬영각 또는 상기 제3 카메라의 촬영각을 재조정하는 단계를 더 포함할 수 있다.

일 실시예로서, 상기 복수의 영상을 저장하는 단계는 상기 복수의 영상 각각에 대한 속성 정보를 함께 저장할 수 있다.

일 실시예로서, 상기 복수의 카메라 각각의 촬영각을 조정하는 단계 이전에 상기 복수의 카메라의 자세 및 렌즈 위치를 캘러브레이션(calibration)하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 복수의 카메라를 구비한 드론은 모터, 상기 모터에 의해 구동되는 프로펠러, 상기 프로펠러의 구동에 의해 부양되는 바디부, 상기 바디부에 탑재된 복수의 카메라, 및 상기 복수의 카메라의 촬영각을 제어하는 제어부를 포함하고, 상기 제어부는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 상기 복수의 카메라와 피사체의 표면 간 거리에 기초하여 상기 피사체에 대한 상기 복수의 카메라 각각의 촬영각을 조정하는 동작, 상기 촬영각이 조정된 상기 복수의 카메라 각각을 통해 상기 피사체를 촬영하고 상기 촬영에 의해 얻어진 복수의 영상을 저장하는 동작, 및 상기 복수의 영상을 스티칭(stitching)하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.

상기한 본 발명의 실시예들에 따르면, 동일한 시간에 수집한 촬영 이미지와 라이다의 스캔 데이터를 일치화시키고, 매 촬영별 스캔 데이터를 분할 저장하여 PC 상에서 이미지 내 시설물 등 기타 특정 대상의 수치를 측정할 때, 동일한 시간에 분할 저장된 스캔 데이터와 매칭하여 수치측정 기능으로 이미지상의 일정 영역을 클릭하여 수치 데이터를 즉시 정밀하게 측정할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 라이다 기반 실시간 항로 추적 가이드 시스템의 작동을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 라이다 기반 실시간 항로 추적 가이드 시스템 구성의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 복수의 카메라를 구비한 드론의 하드웨어 구성을 나타내는 도면이다.
도 4는 도 3에 도시된 제1 카메라의 구성을 구체적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 복수의 카메라를 구비한 드론의 촬영 방법을 나타내는 순서도이다.
도 6은 도 5의 S200 단계를 더욱 구체화한 일 실시예를 나타내는 순서도이다.
도 7 내지 도 9는 도 6의 실시예를 부연설명하기 위한 도면이다.
도 10은 도 5의 S200 단계를 더욱 구체화한 다른 실시예를 나타내는 순서도이다.
도 11은 도 5의 S200 단계를 더욱 구체화한 또 다른 실시예를 나타내는 순서도이다.
도 12 및 도 13은 도 9의 실시예를 부연설명하기 위한 도면이다.
도 14는 도 5의 S400 단계에서 설명된 스티칭 방법을 예시적으로 설명하기 위한 도면이다.
도 15는 본 발명의 다양한 실시예들을 구현하기 위해 사용되는 컴퓨팅 장치의 하드웨어 구성을 예시적으로 나타내는 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 따른, 복수의 카메라를 구비한 드론의 하드웨어 구성을 나타내는 도면이다. 도 3의 (a)는 드론(100)을 정면에서 바라본 정면도를 나타내며, 도 3의 (b)는 드론(100)을 위에서 내려다본 평면도를 나타낸다.

도 3의 (a)를 참조하면, 드론(100)은 바디부(110), 바디부(110)에 탑재된 복수의 카메라(121, 122, 123), 복수의 카메라(121, 122, 123)의 촬영각을 제어하는 제어부(130), 프로펠러(140), 프로펠러(140)를 구동시키는 모터(150)를 포함한다.

먼저, 모터(150)가 동작하여 프로펠러(140)를 구동시키면, 프로펠러(140)는 회전운동을 하여 양력을 발생시키고, 그에 의해 바디부(110)가 부양된다. 이후, 드론(100)은 건축 구조물과 같은 피사체 근처로 비행하고, 피사체의 형상에 따라 복수의 카메라(121, 122, 123)의 촬영각을 조정한 후, 각 카메라(121, 122, 123)을 통해 피사체를 촬영한다. 마지막으로, 각 카메라(121, 122, 123)가 촬영한 영상을 스티칭(stitching)하여 최종적인 피사체 영상이 완성된다.

이처럼, 드론(100)에 탑재된 복수의 카메라(121, 122, 123)를 통해 여러 시점으로 피사체를 촬영하면, 하나의 시점으로 피사체를 촬영했을 때 발생할 수 표면 수치 분석의 오차를 최소화할 수 있다. 가령, 단일 카메라로 피사체를 촬영하면 피사체 형상에 따른 원근감 차이에 의해 어느 시점에서 촬영하느냐에 따라 지상 표본 거리(Ground Sample Distance) 차이가 발생하여, 표면 수치 분석의 오차가 발생할 수 있다. 그에 반해, 본 발명과 같이 복수의 카메라(121, 122, 123)를 이용하여 피사체를 다양한 시점으로 촬영한 후, 그 촬영된 영상을 합성하면, 그러한 지상 표본 거리 차이에 의한 오차가 최소화될 수 있어, 피사체의 외관을 더욱 정확하고 정밀하게 분석할 수 있게 된다.

한편, 이처럼, 드론(100)에 복수의 카메라(121, 122, 123)를 탑재하여 피사체를 촬영하는 경우, 정확한 촬영 영상을 얻기 위해서는 각 카메라(121, 122, 123)의 광학축이 피사체의 표면과 수직하게 되도록 각 카메라(121, 122, 123)의 촬영각을 조정하는 것이 필요하다. 각 카메라(121, 122, 123)의 촬영각을 조정하는 구체적인 방법은 도 5 이하에서 상세히 설명되므로 여기서는 그에 대한 설명을 생략한다.

도 4는 도 3에 도시된 제1 카메라의 구성을 구체적으로 나타내는 도면이다. 도 4에서는 도 3의 복수의 카메라(121, 122, 123) 중 제1 카메라(121)만 도시하고 있으나, 이는 대표적으로 제1 카메라(121)를 예로 든 것일 뿐이며, 제2 카메라(122) 및 제3 카메라(123) 또한 도 4에 도시된 제1 카메라(121)의 구성과 동일한 구성을 포함할 수 있다.

도 4를 참조하면, 제1 카메라(121)는 렌즈(Lens, A) 및 거리 측정 센서(B)를 포함한다.

렌즈(A)는 피사체를 촬영하기 위한 광학 부품으로서, 렌즈(A)의 구체적인 구성 및 기능은 당해 기술분야에 널리 알려져 있는 바 여기서는 그에 대한 설명을 생략한다.

거리 측정 센서(B)는 제1 카메라(121)와 피사체의 표면 간 거리를 측정하는 센서이다. 거리 측정 센서(B)는 적외선 센서, 라이다 센서, 또는 초음파 센서일 수 있으나, 이에 한정되는 것은 아니다.

도 5은 본 발명의 일 실시예에 따른, 복수의 카메라를 구비한 드론의 촬영 방법을 나타내는 순서도이다. 도 5에서 설명되는 촬영 방법은 도 3의 드론(100) 또는 제어부(130)에 의해 수행될 수 있다. 따라서, 이하의 단계들에서 수행주체가 생략되는 경우 그 수행주체는 상기 드론(100) 또는 제어부(130)인 것으로 전제한다.

S100 단계에서, 카메라의 자세 및 렌즈 위치에 대한 카메라 캘러브레이션(Calibration)이 수행된다.

우리가 존재하는 실제 세상은 3차원이지만 이것을 카메라로 찍으면 2차원의 이미지로 변하게 된다. 이 때, 3차원의 점들이 이미지 상에서 어디에 맺히는지는 기하학적으로 생각하면 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정된다. 하지만 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받는다. 따라서, 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해진다. 그리고 이러한 내부 요인의 파라미터 값을 구하는 과정을 카메라 캘러브레이션이라 한다.

카메라 캘러브레이션은 렌즈 캘러브레이션과 모듈 캘러브레이션의 두 단계로 구성된다. 렌즈 캘러브레이션은 각 카메라 렌즈가 갖는 고유의 왜곡, 및 렌즈 중심과 이미지 센서 중심 간 오차를 보정하는 작업이다. 모듈 캘러브레이션은 드론에 구비된 복수의 카메라 간 물리적 위치 고정값과 각 카메라별 미세 자세값을 산출하여 기록하는 작업이다. 렌즈 캘러브레이션 및 모듈 캘러브레이션의 구체적인 수행 방법은 당해 기술분야에 널리 알려져 있으므로 여기서는 그에 대한 설명을 생략한다.

S200 단계에서, 복수의 카메라와 피사체의 표면 간 거리에 기초하여 상기 피사체에 대한 상기 복수의 카메라 각각의 촬영각이 조정된다.

동일 피사체를 복수의 카메라로 촬영할 때, 정확한 촬영 영상을 얻기 위해서는 각 카메라의 광학축이 피사체의 표면과 수직하게 되어야 한다. 이를 위해, 각 카메라에 구비된 거리 측정 센서를 이용하여 카메라와 피사체 표면 간 거리를 산출한 후, 산출된 거리를 이용하여 드론의 자세 및 위치(Roll, Pitch, Yaw)를 제어하거나 각 카메라의 촬영각이 조정된다. 상기 측정된 거리를 이용하여 드론의 자세 및 위치를 제어하거나 각 카메라의 촬영각을 조정하는 구체적인 방법은 도 6 이하에서 상세히 후술된다.

S300 단계에서, 촬영각이 조정된 복수의 카메라 각각을 통해 피사체를 촬영하고, 상기 촬영에 의해 얻어진 복수의 영상을 저장한다.

일 실시예로서, 동일 순간에 대해, 복수의 카메라 각각마다 하나의 촬영 영상을 출력할 수 있다. 예를 들어, 드론에 3개의 카메라가 구비된 경우, t1 시간에 각 카메라가 동일 피사체를 촬영하여 3개의 촬영 영상을 출력하고, t2 시간에 다시 각 카메라가 동일 피사체를 촬영하여 3개의 촬영 영상을 다시 출력하는 방식으로, 촬영 영상을 출력할 수 있다.

일 실시예로서, 복수의 영상을 저장할 때 복수의 영상 각각에 대한 속성 정보가 함께 저장될 수 있다.

속성 정보는 예를 들어, 파일명, 카메라명, 초점거리, 이미지 센서 크기, 촬영 시점의 자세 및 회전값(Roll, Pitch, Yaw), 카메라 촬영각, 카메라와 피사체 표면 간 측정 거리, 드론에 함께 탑재된 다른 카메라와의 거리 등을 포함할 수 있다.

S400 단계에서, 저장된 복수의 영상을 스티칭하여 합성 영상이 생성된다. 복수의 영상을 스티칭하여 합성 영상을 생성하는 구체적인 방법은 도 14에서 상세히 설명된다.

도 6는 도 5의 S200 단계를 더욱 구체화한 일 실시예를 나타내는 순서도이다. 도 6의 실시예는 피사체의 유형이 평면 피사체 또는 다각형 피사체인 경우의 촬영각 조정 방법을 설명한다. 이하, 이하 도면을 참조하여 설명한다.

S211 단계에서, 피사체의 유형이 결정된다.

일 실시예로서, 피사체의 유형은 드론을 운용하는 애플리케이션을 통해 사용자가 피사체의 유형을 선택 또는 입력하는 방식으로 결정될 수 있다. 예를 들어, 사용자가 상기 애플리케이션을 통해 피사체의 유형을'평면 또는 다각형'으로 선택하면, 피사체의 유형이 평면 또는 다각형으로 결정된다.

일 실시예로서, 사용자가 피사체의 유형을 선택 또는 입력할 때, 피사체의 폭 또는 직경이 함께 입력될 수 있다.

S212 단계에서, 피사체의 유형이 제1 유형이면, 상기 복수의 카메라 각각이 제1 방향으로 지향된다. 여기서, 제1 유형은'평면 또는 다각형'인 것으로 가정된다. 또한, 제1 방향은 드론을 기준으로 정면 방향인 것으로 가정된다. 제1 방향이 정면 방향인 경우, 이는 각 카메라의 촬영각이 0도로 조정된 것을 의미한다. 이와 관련하여 도 7를 참조한다. 도 7에는 피사체의 유형이'평면 또는 다각형'에 해당하여, 드론(100)에 구비된 각 카메라(121, 122, 123)가 모두 동일 방향, 여기서는 드론을 기준으로 할 때 정면 방향으로 지향된 예가 도시된다. 그에 따라, 각 카메라(121, 122, 123)의 촬영각도 0도로 동일하게 조정된다.

S213 단계에서, 복수의 카메라 각각과 상기 피사체의 표면간 거리가 측정된다. 이때, 각 카메라의 광학축이 피사체의 표면과 수직하면, 각 카메라와 피사체 표면 간 측정된 거리들이 서로 동일할 것이다. 그렇지 않고, 각 카메라와 피사체 표면 간 측정된 거리들이 서로 다르다면, 이는 각 카메라의 광학축이 피사체의 표면과 수직하지 않은 것을 의미한다. 이와 관련하여 도 8을 참조한다. 도 8의 (a)에는 각 카메라(121, 122, 123)의 광학축이 피사체(10)의 표면과 수직한 경우, 즉 드론(100) 피사체(10)를 평행하게 마주보는 경우의 예가 도시된다. 도 8의 (b)에는 각 카메라(121, 122, 123)의 광학축이 피사체(10)의 표면과 수직하지 않은 경우, 즉 드론(100) 피사체(10)를 평행하게 마주보지 않는 경우의 예가 도시된다. 도 8의 (a)에서 각 카메라(121, 122, 123)로부터 피사체(10) 표면까지의 거리를 측정하면, 각 거리(L1, L2, L3)는 서로 동일하게 측정된다. 반면에, 도 8의 (b)에서 각 카메라(121, 122, 123)로부터 피사체(10) 표면까지의 거리를 측정하면, 각 거리(L1, L2, L3)는 서로 다르게 측정된다.

S214 단계에서, 측정된 거리에 기초하여 피사체에 대한 드론의 위치 또는 자세가 조정된다. 만약, 각 카메라로부터 피사체 표면까지의 거리가 서로 동일하게 측정되었다면, 이는 이미 각 카메라의 광학축이 피사체의 표면과 수직함을 의미하므로 드론의 위치 또는 자세는 현재 상태로 유지된다. 반면에, 각 카메라로부터 피사체 표면까지의 거리가 서로 다르게 측정되었다면, 이는 이미 각 카메라의 광학축이 피사체의 표면과 수직하지 않음을 의미하므로, 드론의 위치 또는 자세가 조정되어야 한다. 이와 관련하여 도 9을 참조한다. 도 9의 (a)에는 각 카메라(121, 122, 123)의 광학축이 피사체(10)의 표면과 수직하지 않아, 각 카메라(121, 122, 123)로부터 측정된 거리(L1, L2, L3)가 서로 다른 예가 도시된다. 이러한 경우, 상기 각 거리(L1, L2, L3)가 서로 동일하게 될 때까지, 드론(100)은 자신의 자세 또는 위치를 조정한다. 드론(100)의 자세 또는 위치가 조정되면, 도 9의 (b)에 도시된 것처럼, 드론(100)은 피사체(10)의 표면을 평행하게 마주보고, 그 때의 각 카메라(121, 122, 123)와 피사체(10) 표면 간 측정된 거리(L1, L2, L3)는 서로 동일하게 된다.

도 10은 도 5의 S200 단계를 더욱 구체화한 다른 실시예를 나타내는 순서도이다. 도 10의 실시예는 도 6의 실시예와 많은 부분이 유사하다. 가령, 도 10의 S221 단계 내지 S224 단계는 도 6의 S211 단계 내지 S214 단계와 실질적으로 동일하다. 다만, 도 10의 실시예에 S225 단계가 더 포함되는 점이 상이하다.

도 10에서 S221 단계 내지 S224 단계는 도 6의 S211 단계 내지 S214 단계와 그 내용이 실질적으로 동일하므로 설명의 중복을 피하기 위해 여기서는 추가적인 설명을 생략한다. 이하 S225 단계부터 설명한다.

S225 단계에서, 복수의 카메라 중 적어도 둘 이상의 카메라에 대해 피사체의 표면과의 거리가 2차 측정된다. 이는 드론의 자세 또는 위치를 조정한 이후에 이미 각 카메라의 광학축이 피사체의 표면과 수직하게 잘 유지되고 있는지 위한 목적이다. 2차 측정은 복수의 카메라 모두에 대해 수행될 수도 있지만, 간단하게는 복수의 카메라 중 가장 멀리 떨어진 2개의 카메라에 대해서만 수행되어도 충분하다.

만약, 2차 측정 결과 둘 이상의 카메라에서 측정된 거리가 서로 동일하다면, 이는 각 카메라의 광학축이 피사체의 표면과 수직하게 잘 유지되고 있는 것을 의미하므로, 카메라의 촬영각을 다시 조정하지 않아도 된다. 그러나, 2차 측정 결과 측정된 거리가 서로 다르다면, 이는 각 카메라의 광학축이 피사체의 표면과 수직하게 잘 유지되지 않음을 의미하므로, 각 카메라의 광학축이 피사체의 표면과 수직하도록 각 카메라의 촬영각이 조정될 수 있다.

도 11는 도 5의 S200 단계를 더욱 구체화한 또 다른 실시예를 나타내는 순서도이다. 도 11의 실시예는 피사체의 유형이 원형 피사체인 경우의 촬영각 조정 방법을 설명한다. 본 실시예에서, 드론에는 복수의 카메라가 탑재되고, 복수의 카메라는 제1 카메라, 제1 카메라의 일측에 위치한 제2 카메라, 제1 카메라의 타측에 위치한 제3 카메라를 포함하는 것으로 가정한다. 이하, 이하 도면을 참조하여 설명한다.

S231 단계에서, 피사체의 유형이 결정된다.

일 실시예로서, 피사체의 유형은 드론을 운용하는 애플리케이션을 통해 사용자가 피사체의 유형을 선택 또는 입력하는 방식으로 결정될 수 있다. 예를 들어, 사용자가 상기 애플리케이션을 통해 피사체의 유형을'원형'으로 선택하면, 피사체의 유형이 원형으로 결정된다.

일 실시예로서, 사용자가 피사체의 유형을 선택 또는 입력할 때, 피사체의 폭 또는 직경이 함께 입력될 수 있다.

S232 단계에서, 피사체의 유형이 제2 유형이면, 제1 카메라와 피사체의 표면 간 제1 거리가 측정된다. 여기서, 제2 유형은'원형'인 것으로 가정된다.

S233 단계에서, 제1 거리에 기초하여, 피사체에 대한 제2 카메라의 촬영각과 제3 카메라의 촬영각이 각각 조정된다. 이에 대한 구체적인 설명을 위해, 도 12을 참조한다.

도 12은 드론이 원형 피사체를 촬영하는 경우를 도시한다. 드론(100)은 복수의 카메라(121, 122, 123)를 구비하며, 그 중 제1 카메라(121)와 제2 카메라(122)는 w1만큼 떨어져 있고, 제1 카메라(121)와 제3 카메라(123)는 w2만큼 떨어져 있다.

먼저, 드론은 제1 카메라(121)를 기준으로 피사체(20) 표면을 평행하게 마주하도록 자세 제어된다. 그리고, 제1 카메라(121)와 피사체(20) 표면 간 제1 거리(L1)가 측정된다.

그리고, 측정된 제1 거리(L1)를 기초로 제2 카메라(122)의 최적 촬영각(k1)과 제3 카메라(123)의 최적 촬영각(k2)이 결정된다. 이때, 제2 카메라(122)의 촬영각(k2) 및 제3 카메라(123)의 촬영각(k3)은 아래 수학식 1 및 수학식 2에 의해 각각 결정될 수 있다.

여기서, L1은 제1 거리이고, D는 피사체의 직경이고, k1은 피사체에 대한 제2 카메라의 촬영각이고, w1은 제1 카메라와 제2 카메라 간 거리이다.

여기서, L1은 제1 거리이고, D는 피사체의 직경이고, k2는 피사체에 대한 제3 카메라의 촬영각이고, w2는 제1 카메라와 제3 카메라 간 거리이다.

위 수학식 1 및 수학식 2는 드론(100)과 피사체(20) 간 삼각함수 관계를 이용하여 도출될 수 있다.

가령, 도 12을 참조하면, 제2 카메라(122)의 경우, 제2 카메라(122)의 광학축이 피사체(20) 표면과 수직하게 되도록 하는 최적 촬영각(k1)은 피사체의 중심(P1), 제1 카메라의 중심(P2), 제2 카메라의 중심(P3)을 세 꼭지점으로 하는 직각 삼각형의 내각(k1)과 같을 것이다. 따라서, P1, P2, P3를 세 꼭지점으로 하는 직각 삼각형의 탄젠트 식으로부터 수학식 1이 도출된다.

유사하게, 제3 카메라(123)의 경우, 제3 카메라(123)의 광학축이 피사체(20) 표면과 수직하게 되도록 하는 최적 촬영각(k2)은 피사체의 중심(P1), 제1 카메라의 중심(P2), 제3 카메라의 중심(P4)을 세 꼭지점으로 하는 직각 삼각형의 내각(k2)과 같을 것이다. 따라서, P1, P2, P4를 세 꼭지점으로 하는 직각 삼각형의 탄젠트 식으로부터 수학식 2가 도출된다.

한편, 수학식 1 및 수학식 2에서 참조되는 피사체의 직경(D)은 앞서 S231 단계에서 설명한 바와 같이 사용자가 직접 입력하는 방식으로 결정될 수 있다.

다시 도 11로 돌아가면, S234 단계 내지 S236 단계는 드론의 자세 또는 위치를 점검하기 위한 단계이다. 가령, S231 단계 내지 S233 단계를 통해 각 카메라의 촬영각이 조정되었어도, 드론의 자세나 위치가 다소 변동되어 카메라의 촬영각이 다소 어긋나게 될 수도 있다. 이 경우, S234 단계 내지 S236 단계를 통해 각 카메라의 촬영각을 재조정하게 된다. 이하, 도면을 참조하여 설명한다.

S234 단계에서, 제2 카메라와 피사체의 표면 간 제2 거리가 측정된다.

S235 단계에서, 제3 카메라와 피사체의 표면 간 제3 거리가 측정된다.

S236 단계에서, 제2 거리 및 제3 거리에 기초하여, 제2 카메라의 촬영각 또는 제3 카메라의 촬영각을 재조정한다. 예를 들어, 제2 거리 및 제3 거리의 측정된 값들이 서로 동일하다면, 각 카메라의 촬영각이 어긋나지 않고 잘 유지되고 있다는 의미이므로 제2 카메라의 촬영각 또는 제3 카메라의 촬영각을 재조정하지 않아도 무방하다. 그러나, 제2 거리 및 제3 거리의 측정된 값들이 서로 다르다면, 각 카메라의 촬영각이 어긋난 상태라는 의미이므로 제2 카메라의 촬영각 또는 제3 카메라의 촬영각은 재조정되어야 한다. 이에 대해, 도 13을 참조하여 부연설명한다.

도 13을 참조하면, 원형 피사체(20)에 대해 제2 카메라(122)와 제3 카메라(123)의 촬영각이 조정된 예가 도시된다. 도 13에서 제1 카메라(121)와 제2 카메라(122) 간 거리(w1) 및 제1 카메라(121)와 제3 카메라(123) 간 거리(w2)는 서로 동일한 것으로 가정한다.

이때, 도 13에 도시된 것과 같이, 제2 카메라(122)의 광학축과 제3 카메라(123)의 광학축이 피사체(20) 표면에 각각 수직인 경우라면, 제2 카메라(122)와 피사체(20) 표면 간 제2 거리(L2)와 제3 카메라(123)와 피사체(20) 표면 간 제3 거리(L3)도 서로 동일하게 된다. 따라서, 역으로 상기 제2 거리(L2)와 제3 거리(L3)가 서로 다르다면, 이는 제2 카메라(122)의 광학축과 제3 카메라(123)의 광학축 중 적어도 하나는 피사체(20) 표면과 수직이 아님을 의미한다.

그러므로, 제2 거리(L2) 및 제3 거리(L3)를 측정한 결과 그 값이 서로 다르다면, 앞서의 S232 단계 또는 S233 단계를 반복 수행하여 각 카메라(122, 123)의 촬영각을 재조정하게 된다.

도 14는 도 5의 S400 단계에서 설명된 스티칭 방법을 예시적으로 설명하기 위한 도면이다. 도 14의 실시예에서는 드론에 구비된 세 개의 카메라를 통해 각각 세 개의 영상(M1, M2, M3)가 촬영, 저장된 것으로 가정한다. 또한, 제1 영상(M1)은 복수의 카메라 중 가운데 위치한 제1 카메라에서 촬영된 영상이고, 제2 영상(M2)은 복수의 카메라 중 제1 카메라의 일측에 위치한 제2 카메라에서 촬영된 영상이고, 제3 영상(M3)은 복수의 카메라 중 제1 카메라의 타측에 위치한 제3 카메라에서 촬영된 영상인 것으로 가정한다.

먼저, 세 개의 영상(M1, M2, M3)의 스티칭을 위해, 복수의 영상에 공통적으로 표시된 특징점들이 있는지 확인된다. 구체적으로, 제1 영상(M1)과 제2 영상(M2)을 분석하여 제1 영상(M1)과 제2 영상(M2)에 공통적으로 표시된 특징점들(G1, G2)이 식별된다. 그리고, 제1 영상(M1)과 제3 영상(M3)을 분석하여 제1 영상(M1)과 제3 영상(M3)에 공통적으로 표시된 특징점들(G3, G4)이 식별된다.

이어서, 식별된 특징점들(G1, G2, G3, G4)를 기준으로 각 영상(M1, M2, M3)을 중첩시키는 방식으로, 세 개의 영상(M1, M2, M3)을 스티칭하여 하나의 합성 영상(H)을 생성한다.

일 실시예로서, 이러한 영상 스티칭은 각 카메라가 촬영하는 영상의 프레임마다 수행될 수 있다. 예를 들어, 각 카메라를 통해 t1 시간에 3개의 영상이 촬영되고, t2 시간에 다시 3개의 영상이 촬영된다고 가정하면, t1 시간에 촬영된 3개의 영상을 스티칭하여 하나의 합성 영상을 생성하고, t2 시간에 촬영된 3개의 영상을 스티칭하여 다시 하나의 다른 합성 영상을 생성할 수 있다.

지금까지 설명한 본 발명의 실시예들에 따르면, 드론을 통해 구조물을 근접 촬영하는 경우에도, 구조물의 굴곡이나 형상적 특징에 따른 왜곡이 없는 온전한 영상을 얻을 수 있다. 또한, 드론에 탑재된 복수의 카메라를 통해 촬영된 영상들을 스티칭하여 근접 촬영에 따른 영상 왜곡을 제거하는 구체적인 촬영 방법 및 영상 처리 방법이 제공되며, 복수의 카메라와 피사체 간 상대적 위치 관계에 기초하여 드론에 탑재된 복수의 카메라 각각의 촬영각을 최적 상태로 조정할 수 있다.

이하에서는, 도 15을 참조하여 본 발명의 다양한 실시예에서 설명된 방법들이 구현되는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다. 예를 들어, 도 15의 컴퓨팅 장치(500)는 도 3의 드론(100) 또는 제어부(130)일 수 있다.

도 15은 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.

도 15에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 15에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.

버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 지휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션(Instruction)들을 포함할 수 있다.

예를 들어, 컴퓨터 프로그램(591)은 복수의 카메라와 피사체의 표면 간 거리에 기초하여 상기 피사체에 대한 상기 복수의 카메라 각각의 촬영각을 조정하는 동작, 상기 촬영각이 조정된 상기 복수의 카메라 각각을 통해 상기 피사체를 촬영하고 상기 촬영에 의해 얻어진 복수의 영상을 저장하는 동작, 및 상기 복수의 영상을 스티칭(stitching)하는 동작을 수행하기 위한 인스트럭션들을 포함할 수 있다.

컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.

지금까지 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

1. 무인항공기 라이다 및 카메라 모듈의 캘리브레이션 및 타임라인별 데이터 분할과 이를 활용한 이미지 내 수치측정 방법.