KR20240023926A - 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법 - Google Patents

무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20240023926A
KR20240023926A KR1020220102239A KR20220102239A KR20240023926A KR 20240023926 A KR20240023926 A KR 20240023926A KR 1020220102239 A KR1020220102239 A KR 1020220102239A KR 20220102239 A KR20220102239 A KR 20220102239A KR 20240023926 A KR20240023926 A KR 20240023926A
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
image
mapping
location information
Prior art date
Application number
KR1020220102239A
Other languages
English (en)
Inventor
허철균
Original Assignee
(주)메타파스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메타파스 filed Critical (주)메타파스
Priority to KR1020220102239A priority Critical patent/KR20240023926A/ko
Publication of KR20240023926A publication Critical patent/KR20240023926A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템에 관한 것으로서, 최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 위치정보 추정부; 상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 위치정보 최적화부; 상기 이미지를 정사이미지에서 실제 촬영된 영역에 매핑하는 이미지 매핑부;를 포함하는 것을 특징으로 한다.

Description

무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법{System and method for Unmanned Aerial Data Mapping of Unmanned Aerial Based Thermal Imaging Inspection Platform}
본 발명은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법에 관한 것으로서, 무인 항공기 데이터를 공간정보에 정확히 매핑하여 사용자를 위하여 시각적인 가독성을 높이는 것이 가능한 것이다.
태양광 발전시설, 풍력 발전시설, 송전시설, 댐, 교량 등 국가 사회간접자본(SOC: Social Overhead Capital) 시설 등과 같은 대형 산업시설을 검사하는 무인 항공기(UAV: Unmanned Aerial Vehicle)인 드론이 촬영하는 드론 데이터는 이미지와 이미지 분석을 통해 분류되는 객체(결함) 정보 등 다양하게 저장되고 있다.
드론 데이터는 지도와 같은 공간정보에 정확히 매핑하여 시각적인 가독성을 높여서 사용자에게 제공되어야 하는데, 드론의 촬영 환경을 고려할 때 바람 등에 의하여 발생하는 드론 또는 카메라의 흔들림에 의한 각도와 위치정보의 오차 등으로 정확한 매핑에 어려움이 있다.
등록특허공보 제10-1943342호는 무인 비행체를 이용한 태양광 패널 관리 시스템 및 방법에 관한 것으로서, 지면과 수직한 방향을 향하는 가시광 카메라와 지면과 비스듬하게 배치되는 태양광 패널을 향하는 열화상 카메라는 서로 촬영각도에 차이가 발생하여 가시광 카메라의 촬영 지점과 열화상 카메라의 촬영 지점이 동일하지 않으므로 이를 일치시키기 위하여 열화상 이미지와 관련된 위치 정보와 각도 정보를 기초로 위치 보정치를 산출하고 있으나, 바람 등에 의하여 발생하는 흔들림에 의한 각도와 위치정보의 오차 등을 고려하여 정사이미지와 공간정보에 정확하게 매핑하는데 어려움이 발생한다는 문제점이 있다.
등록특허공보 제10-2250247호는 무인 비행체를 이용한 태양광 패널 관리장치 및 시스템에 관한 것으로서, 드론과 같은 무인 비행체를 이용하여 태양광 패널의 오염이나 손상 또는 발전효율 저하 등의 오류를 감지하여 신속한 유지, 보수가 이루어질 수 있도록 날씨정보와 환경정보에 근거하여 비행 중단 여부를 결정하여 태양광 패널의 공중 촬영 타이밍과 비행 경로를 최적화하고 있으나, 바람 등에 의하여 발생하는 흔들림에 의한 각도와 위치정보의 오차 등을 고려하여 정사이미지와 공간정보에 정확하게 매핑하는데 어려움이 발생한다는 문제점이 있다.
등록특허공보 제10-2040289호는 드론 위치 정보 보정 장치 및 방법에 관한 것으로서 영상 회득부에서 드론의 위치 정보에 기초하여 지상 영상을 획득하고, 이를 사용자에 의해 설정된 위치 정보에 대응하는 영상 지도와 비교하고 드론의 위치 정보와 사용자에 의해 설정된 위치 정보 사이의 편차량을 산출하여 드론의 위치 정보를 보정하고 있으나, 바람 등에 의하여 발생하는 흔들림에 의한 각도와 위치정보의 오차 등을 고려하여 정사이미지와 공간정보에 정확하게 매핑하는데 어려움이 발생한다는 문제점이 있다.
등록특허공보 제10-2417591호는 드론 카메라 동영상 객체 위치 좌표 획득 시스템에 관한 것으로서, 드론기체의 자세와 카메라짐벌 자세를 실시간 연동하고 지피에스에 보정정보를 연동하여 카메라가 바라보는 좌표를 산출하고 있으나, 바람 등에 의하여 발생하는 흔들림에 의한 각도와 위치정보의 오차 등을 고려하여 정사이미지와 공간정보에 정확하게 매핑하는데 어려움이 발생한다는 문제점이 있다.
등록특허공보 제10-1943342호 등록특허공보 제10-2250247호 등록특허공보 제10-2040289호 등록특허공보 제10-2417591호
본 발명은 무인 항공기 데이터를 공간정보에 정확히 매핑하여 사용자를 위하여 시각적인 가독성을 높이는 것이 가능하도록 하는 것을 목적으로 한다.
또한 본 발명의 다른 목적은, 바람 등의 촬영 환경에 의하여 발생하는 무인 항공기 또는 카메라의 흔들림에 의한 촬영 각도와 위치정보의 오차를 보정하여 정사이미지와 공간정보에 정확하게 매핑하는 것을 가능하도록 하는 것이다.
또한 본 발명의 다른 목적은, 공간정보에 정사이미지를 제작하여 매핑하고 이를 기반으로 무인 항공기 데이터를 공간정보에 정확히 매핑하여 사용자의 가독성을 향상시키는 것이 가능하도록 하는 것이다.
또한 본 발명의 다른 목적은, 최신 정보가 누락되거나 저해상도를 갖는 공간정보에 정사이미지를 제작하여 매핑하고 여기에 무인 항공기 데이터를 정확히 매핑하여 정확도와 가독성을 향상시키는 것이 가능하도록 하는 것이다.
본 발명이 해결하고자 하는 과제는 상기 목적으로만 제한하지 아니하고, 위에서 명시적으로 나타내지 아니한 다른 기술적 과제는 이하 본 발명의 구성 및 작용을 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있을 것이다.
본 발명에서는, 상기 과제를 해결하기 위하여 이하의 구성을 포함한다.
본 발명은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템에 관한 것으로서, 최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 위치정보 추정부; 상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 위치정보 최적화부; 상기 이미지를 정사이미지에서 실제 촬영된 영역에 매핑하는 이미지 매핑부;를 포함하는 것을 특징으로 한다.
본 발명의 상기 위치정보 추정부는, 상기 카메라 센서의 회전각도와 최초 설정된 촬영 각도의 제 1 차분만큼 회전행렬을 적용하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 것을 특징으로 한다.
본 발명의 상기 위치정보 최적화부는, 무인 항공기의 비행 로그 정보에 기입된 위치정보에 대하여 전리층과 대류층에 의한 오차를 보정하고, 보정된 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 것을 특징으로 한다.
본 발명의 상기 이미지 매핑부는, 상기 정사이미지를 공간정보에 매핑하고, 상기 이미지를 상기 정사이미지에서 실제 촬영된 영역에 매핑하는 것을 특징으로 한다.
또한 본 발명은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법에 관한 것으로서, 최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 단계; 상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 단계; 정사이미지를 공간정보에 매핑하는 단계; 상기 이미지를 상기 정사이미지에서 상기 실제 촬영된 영역에 매핑하는 단계;를 포함하는 것을 특징으로 한다.
또한 본 발명은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램일 수 있다.
본 발명은 무인 항공기 데이터를 공간정보에 정확히 매핑하여 사용자를 위하여 시각적인 가독성을 높이는 것이 가능한 효과가 있다.
또한 본 발명의 다른 효과는, 바람 등의 촬영 환경에 의하여 발생하는 무인 항공기 또는 카메라의 흔들림에 의한 촬영 각도와 위치정보의 오차를 보정하여 정사이미지와 공간정보에 정확하게 매핑하는 것이 가능한 것이다.
또한 본 발명의 다른 효과는, 공간정보에 정사이미지를 제작하여 매핑하고 이를 기반으로 무인 항공기 데이터를 공간정보에 정확히 매핑하여 사용자의 가독성을 향상시키는 것이 가능한 것이다.
또한 본 발명의 다른 효과는, 최신 정보가 누락되거나 저해상도를 갖는 공간정보에 정사이미지를 제작하여 매핑하고 여기에 무인 항공기 데이터를 정확히 매핑하여 정확도와 가독성을 향상시키는 것이 가능한 것이다.
본 발명에 의한 효과는 상기 효과로만 제한하지 아니하고, 위에서 명시적으로 나타내지 아니한 다른 효과는 이하 본 발명의 구성 및 작용을 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있을 것이다.
도 1은 본 발명인 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템의 전체적인 구성도를 도시한다.
도 2(a), 도 2(b), 도 2(c)는 무인 항공기 데이터의 오차정보, 회전방향 보정, 위치정보 보정을 도시한다.
도 3(a)는 공간정보를 도시하고, 도 3(b)는 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습을 도시한다.
도 4는 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습의 확대도를 도시한다.
도 5는 본 발명의 무인 항공기 기반 열화상 검사 플랫폼에서 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습을 구현하고 있다.
도 6은 본 발명인 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법의 흐름도를 도시한다.
이하 본 발명의 바람직한 실시예에 따른 전체적인 구성 및 작용에 대해 설명하기로 한다. 이러한 실시예는 예시적인 것으로서 본 발명의 구성 및 작용을 제한하지는 아니하고, 실시예에서 명시적으로 나타내지 아니한 다른 구성 및 작용도 이하 본 발명의 실시예를 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있는 경우는 본 발명의 기술적 사상으로 볼 수 있을 것이다.
도 1은 본 발명인 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템의 전체적인 구성도를 도시한다.
도 1을 참조하면, 본 발명인 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템은 이미지 저장부(110), 비행 로그 정보 저장부(120), 위치정보 추정부(210), 위치정보 최적화부(220), 정사이미지 저장 데이터베이스(DB: Database)(310), 공간정보 제공부(320), 이미지 매핑부(400)를 포함하고 있다.
드론과 같은 무인 항공기는 카메라를 장착하여 촬영 임무를 수행할 수 있으며, 촬영된 이미지는 메타데이터와 함께 상기 이미지 저장부(110)에 저장되고, 무인 항공기의 비행 로그 정보는 상기 비행 로그 정보 저장부(120)에 저장된다.
상기 메타데이터의 형식(Format)으로 일반적으로 사용되는 교환 이미지 파일 형식(EXIF: Exchangeable Image File Format)이 있는데, 이러한 EXIF 메타데이터는 카메라로 촬영한 이미지와 관련하여 날짜와 시간 정보 외에도 상기 카메라의 설정인 초점 거리, ISO 감도, 조리개 셔터 속도, 회전 방향 등이 저장되며, 위치 정보도 저장될 수 있다.
카메라가 무인 항공기에 장착되는 경우 바로 고정될 수도 있지만, 1축 짐벌, 2축 짐벌, 3축 짐벌 등에 고정될 수 있으며, 무인 항공기에 장착되는 카메라의 회전 방향은 무인 항공기 또는 짐벌의 움직임에 따라 롤(Roll), 피치(Pitch), 요(Yaw) 값으로 카메라 센서(IMU: inertial Measurement Unit)에 의하여 검출하고 이를 EXIF 메타데이터로 저장하게 되고, 롤(Roll), 피치(Pitch), 요(Yaw) 값을 초기에 설정하여 최초 설정된 촬영 각도를 지정할 수 있다.
상기 비행 로그 정보에도 위치정보가 포함되는데, 일반적으로 사용되는 위치정보인 GPS(Global Positioning System) 좌표값은 전리층과 대류권 등의 영향으로 오차가 발생하고, 또한 드론의 촬영 환경을 고려할 때 바람 등에 의하여 발생하는 드론 또는 카메라의 흔들림에 의한 위치정보의 오차가 발생할 수 있으므로, 이러한 오차를 보정하기 위하여 RTK(Real Time Kinematic) GPS를 사용할 수 있으며, 이외에도 다른 일반적인 방식으로 이러한 오차를 보정할 수도 있다.
상기 위치정보 추정부(210)는 최초 설정된 촬영 각도인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α1, β1, γ1)과 무인 항공기에서 촬영한 이미지의 메타데이터로 저장된 카메라의 회전 방향인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α2, β2, γ2)을 비교하여 차분(α=α2 - α1, β=β2 - β1, γ=γ2 - γ1)을 계산하고, 이를 회전행렬(R)로 다음과 같이 적용한다.
이는 드론의 촬영 환경을 고려할 때 바람 등에 의하여 발생하는 드론 또는 카메라의 흔들림에 의한 촬영 각도의 오차가 발생할 수 있으므로, 이를 보정하기 위함이다.
상기 위치정보 최적화부(220)는 상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는데, 상기 이미지가 촬영된 시점에 무인 항공기의 비행 로그 정보에 기입된 위치정보에 대하여 전리층과 대류층에 의한 오차를 보정하고, 보정된 위치정보 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환한다.
전리층과 대류층에 의한 오차를 보정하기 위하여 RTK(Real Time Kinematic) GPS를 사용할 수 있으며, 이외에도 다른 일반적인 방식으로 이러한 오차를 보정할 수도 있다.
상기 이미지가 촬영된 시점의 실제 위치정보는 카메라의 메타데이터로 기입되거나, 무인 항공기의 비행 로그 정보에 기입될 수 있고, 상기 이미지가 촬영된 시점의 실제 위치정보는 실제 촬영된 영역 내에서 어느 한 지점일 수 있다.
상기 정사이미지 데이터베이스(DB: Database)(310)는 사전에 드론이 촬영한 태양광 발전소 등의 고해상도 이미지를 사용하여 제작된 정사이미지(Orthomosaic)를 저장한 데이터베이스로서, 일반적인 공간정보를 제공하는 지도 서비스에서 해상도가 낮아서 가독성이 떨어지거나 지도 서비스의 업데이트가 지연되어 태양광 발전소 등이 설치되기 전의 공간정보, 즉 태양광 발전소 등이 누락된 공간정보가 제공되는 경우에 이러한 공간정보에 상기 정사이미지를 매핑하여 정확성과 가독성을 향상시킬 수 있다.
상기 공간정보 제공부(320)는 공간정보를 제공하는 일반적인 지도 서비스이고, 상기 이미지 매핑부(400)는 상기 공간정보에 상기 정사이미지와 드론에서 촬영한 상기 이미지를 매핑하여 사용자에게 보여주게 된다.
도 2(a), 도 2(b), 도 2(c)는 무인 항공기 데이터의 오차정보, 회전방향 보정, 위치정보 보정을 도시한다.
도 2(a)를 참조하면, P1은 최초 설정된 촬영 임무 영역이고, P2는 무인 항공기에서 실제 촬영된 영역으로서, 바람 등의 촬영 환경에 의하여 발생하는 드론 또는 카메라의 흔들림에 의하여 최초 설정된 촬영 임무 영역인 P1을 촬영하지 못하고 P2를 촬영하게 된 것이다.
최초 설정된 촬영 임무 영역인 P1은 4개의 꼭지점의 좌표 a1, b1, c1, d1으로 설정될 수 있지만, 실제 촬영된 영역 P2는 4개의 꼭지점의 좌표를 아직 알 수 없는 상태이므로, 상기 이미지가 촬영된 시점의 메타데이터로 저장된 카메라의 회전 방향과 실제 위치정보를 활용하여 최초 설정된 촬영 임무 영역인 P1의 4개의 꼭지점의 좌표 a1, b1, c1, d1을 변환하게 된다.
도 2(b)를 참조하면, 무인 항공기에서 실제 촬영된 영역인 P2는 최초 설정된 촬영 임무 영역인 P1에 비하여 촬영 각도의 오차가 발생하였으므로, 최초 설정된 촬영 각도인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α1, β1, γ1)과 무인 항공기에서 촬영한 이미지의 메타데이터로 저장된 카메라의 회전 방향인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α2, β2, γ2)을 비교하여 차분(α=α2 - α1, β=β2 - β1, γ=γ2 - γ1)을 계산하고, 이로부터 회전행렬(R)을 적용하여 최초 설정된 촬영 임무 영역인 P1의 4개의 꼭지점의 좌표 a1, b1, c1, d1을 변환하게 된다.
최초 설정된 촬영 임무 영역인 P1의 4개의 꼭지점 좌표 a1, b1, c1, d1에 대해서 상기 회전행렬(R)을 적용하여 P1’의 4개의 꼭지점 좌표 a1’, b1’, c1’, d1’를 얻을 수 있다.
도 2(c)를 참조하면, 상기 이미지가 촬영된 시점의 실제 위치정보의 전리층과 대류층에 의한 오차를 보정하기 위하여 RTK(Real Time Kinematic) GPS를 사용할 수 있으며, 이외에도 다른 일반적인 방식으로 이러한 오차를 보정할 수도 있다.
보정된 상기 이미지가 촬영된 시점의 실제 위치정보는 실제 촬영된 영역 P2의 특정 지점일 수 있는데 이는 사전에 설정될 수 있으며, P1’의 4개의 꼭지점 좌표 a1’, b1’, c1’, d1’과 상기 특정 지점의 관계로부터 실제 촬영된 영역 P2의 4개의 꼭지점 좌표 a2, b2, c2, d2를 모두 구하거나, 적어도 2개의 좌표인 P2의 좌측 상단 꼭지점(a2)의 좌표와 P2의 우측 하단 꼭지점(c2)의 좌표를 구할 수 있다.
도 3(a)는 공간정보를 도시하고, 도 3(b)는 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습을 도시한다.
도 3(a)를 참조하면, 공간정보(410)는 일반적인 지도 제공 서비스에서 제공하는 지도이고, 상기 공간정보(410)에는 태양광 발전 시스템이 누락된 상태를 보여주고 있다.
도 3(b)를 참조하면, 상기 공간정보(410)에 태양광 발전 시스템의 정사이미지(420)가 매핑되어 보여지고, 상기 정사이미지(420)에 무인 항공기에서 실제 촬영된 영역(430)인 P2가 매핑되어 보여지고 있다.
상기 공간정보(410)에 태양광 발전 시스템이 함께 제공된다고 하더라도 해상도가 낮아서 가독성이 떨어질 수 있으므로, 본 발명은 고해상도의 정사이미지(420)를 상기 공간정보(410)에 매핑하여 정확도와 가독성을 향상시킬 수 있다.
도 4는 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습의 확대도를 도시한다.
도 4를 참조하면, 상기 정사이미지(420)에 무인 항공기에서 실제 촬영된 영역(430)인 P2가 매핑되고 확대된 모습을 보여주고 있는데, 상기 실제 촬영된 영역(430)의 열화상 이미지(440)와 가시광 이미지(450)가 확대된 모습을 보여주고 있는 것이다.
도 5는 본 발명의 무인 항공기 기반 열화상 검사 플랫폼에서 공간정보에 정사이미지와 무인 항공기 데이터가 매핑된 모습을 구현하고 있다.
도 5를 참조하면, 상기 공간정보(410)에 태양광 발전 시스템의 정사이미지(420)가 매핑되어 보여지고, 상기 정사이미지(420)에 무인 항공기에서 실제 촬영된 영역(430)인 P2가 매핑되어 보여지고 있으며, 특히 결함이 발생된 태양광 패널들에 표시를 하고, 상기 표시와 연결된 열화상 이미지(440)를 확대하여 보여주고 있다.
도 6은 본 발명인 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법의 흐름도를 도시한다.
도 6을 참조하면, 최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 단계(S100)에서 위치정보 추정부(210)는 최초 설정된 촬영 각도인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α1, β1, γ1)과 무인 항공기에서 촬영한 이미지의 메타데이터로 저장된 카메라의 회전 방향인 롤(Roll), 피치(Pitch), 요(Yaw) 값(α2, β2, γ2)을 비교하여 차분(α=α2 - α1, β=β2 - β1, γ=γ2 - γ1)을 계산하고, 이를 회전행렬(R)로 다음과 같이 적용한다.
이는 드론의 촬영 환경을 고려할 때 바람 등에 의하여 발생하는 드론 또는 카메라의 흔들림에 의한 촬영 각도의 오차가 발생할 수 있으므로, 이를 보정하기 위함이다.
무인 항공기에서 실제 촬영된 영역인 P2는 최초 설정된 촬영 임무 영역인 P1에 비하여 촬영 각도의 오차가 발생하였으므로, 최초 설정된 촬영 임무 영역인 P1의 4개의 꼭지점 좌표 a1, b1, c1, d1에 대해서 상기 회전행렬(R)을 적용하여 P1’의 4개의 꼭지점 좌표 a1’, b1’, c1’, d1’를 얻을 수 있다.
다음은, 상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 단계(S200)를 수행하는데, 상기 이미지가 촬영된 시점의 실제 위치정보의 전리층과 대류층에 의한 오차를 보정하기 위하여 RTK(Real Time Kinematic) GPS를 사용할 수 있으며, 이외에도 다른 일반적인 방식으로 이러한 오차를 보정할 수도 있다.
보정된 상기 이미지가 촬영된 시점의 실제 위치정보는 실제 촬영된 영역 P2의 특정 지점일 수 있는데 이는 사전에 설정될 수 있으며, P1’의 4개의 꼭지점 좌표 a1’, b1’, c1’, d1’과 상기 특정 지점의 관계로부터 실제 촬영된 영역 P2의 4개의 꼭지점 좌표 a2, b2, c2, d2를 모두 구하거나, 적어도 2개의 좌표인 P2의 좌측 상단 꼭지점(a2)의 좌표와 P2의 우측 하단 꼭지점(c2)의 좌표를 구할 수 있다.
다음으로, 정사이미지를 공간정보에 매핑하는 단계(S300)를 수행하며,
상기 정사이미지는 정사이미지 DB(310)로부터 제공될 수 있으며, 일반적인 공간정보를 제공하는 지도 서비스에서 해상도가 낮아서 가독성이 떨어지거나 지도 서비스의 업데이트가 지연되어 태양광 발전소 등이 설치되기 전의 공간정보, 즉 태양광 발전소 등이 누락된 공간정보가 제공되는 경우에 이러한 공간정보에 상기 정사이미지를 매핑하여 정확성과 가독성을 향상시킬 수 있다.
상기 공간정보는 일반적인 지도 서비스인 공간정보 제공부(320)에 의하여 제공될 수 있고, 상기 공간정보에 상기 정사이미지를 매핑하여 사용자에게 보여주게 된다.
상기 이미지를 상기 정사이미지에서 상기 실제 촬영된 영역에 매핑하는 단계(S400)에서 상기 이미지는 실제 촬영된 영역 P2의 4개의 꼭지점 좌표 a2, b2, c2, d2에 따라 상기 정사이미지에 매핑되거나, 적어도 2개의 좌표인 P2의 좌측 상단 꼭지점(a2)의 좌표와 P2의 우측 하단 꼭지점(c2)의 좌표에 따라 상기 정사이미지에 매핑될 수 있다.
또한 이와 같은 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법의 흐름도는 컴퓨터프로그램으로 구현될 수 있으며, 본 발명의 각 구성요소는 하드웨어 또는 소프트웨어로 구현될 수 있다는 점에서 하나의 하드웨어 또는 개별적인 하드웨어에서 구동되는 소프트웨어로 구현될 수도 있다. 또한 본 발명의 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법은 컴퓨터프로그램으로서 기록매체에 저장되어 구현될 수도 있다.
110: 이미지 저장부
120: 비행 로그 정보 저장부
210: 위치정보 추정부
220: 위치정보 최적화부
310: 정사이미지 저장 DB
320: 공간정보 제공부
400: 이미지 매핑부
410: 공간정보
420: 정사이미지
430: 실제 촬영된 영역
440: 열화상 이미지
450: 가시광 이미지

Claims (6)

  1. 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템에 있어서,
    최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 위치정보 추정부;
    상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 위치정보 최적화부;
    상기 이미지를 정사이미지에서 실제 촬영된 영역에 매핑하는 이미지 매핑부;를 포함하는 것을 특징으로 하는 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템.
  2. 제 1 항에 있어서,
    상기 위치정보 추정부는,
    상기 카메라 센서의 회전각도와 최초 설정된 촬영 각도의 제 1 차분만큼 회전행렬을 적용하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 것을 특징으로 하는 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템.
  3. 제 1 항에 있어서,
    상기 위치정보 최적화부는,
    무인 항공기의 비행 로그 정보에 기입된 위치정보에 대하여 전리층과 대류층에 의한 오차를 보정하고, 보정된 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 것을 특징으로 하는 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템.
  4. 제 1 항에 있어서,
    상기 이미지 매핑부는,
    상기 정사이미지를 공간정보에 매핑하고,
    상기 이미지를 상기 정사이미지에서 실제 촬영된 영역에 매핑하는 것을 특징으로 하는 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템.
  5. 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법에 있어서,
    최초 설정된 촬영 각도와 이미지가 촬영된 시점의 카메라의 회전각도를 비교하여 최초 설정된 촬영 임무 영역 4개의 좌표를 회전하는 단계;
    상기 이미지가 촬영된 시점의 실제 위치정보를 활용하여 상기 회전된 4개의 좌표를 이동하여 최초 설정된 촬영 임무 영역을 실제 촬영된 영역으로 변환하는 단계;
    정사이미지를 공간정보에 매핑하는 단계;
    상기 이미지를 상기 정사이미지에서 상기 실제 촬영된 영역에 매핑하는 단계;를 포함하는 것을 특징으로 하는 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법.
  6. 제 5 항의 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램.
KR1020220102239A 2022-08-16 2022-08-16 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법 KR20240023926A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220102239A KR20240023926A (ko) 2022-08-16 2022-08-16 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220102239A KR20240023926A (ko) 2022-08-16 2022-08-16 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240023926A true KR20240023926A (ko) 2024-02-23

Family

ID=90041801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220102239A KR20240023926A (ko) 2022-08-16 2022-08-16 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240023926A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101943342B1 (ko) 2018-08-29 2019-01-29 (주)메타파스 무인 비행체를 이용한 태양광 패널 관리 시스템 및 방법
KR102040289B1 (ko) 2017-07-27 2019-11-04 전남대학교산학협력단 드론 위치 정보 보정 장치 및 방법
KR102250247B1 (ko) 2019-06-27 2021-05-10 (주)에이치엠솔루션 무인비행체를 이용한 태양광 패널 관리장치 및 시스템
KR102417591B1 (ko) 2021-12-23 2022-07-06 주식회사 두시텍 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040289B1 (ko) 2017-07-27 2019-11-04 전남대학교산학협력단 드론 위치 정보 보정 장치 및 방법
KR101943342B1 (ko) 2018-08-29 2019-01-29 (주)메타파스 무인 비행체를 이용한 태양광 패널 관리 시스템 및 방법
KR102250247B1 (ko) 2019-06-27 2021-05-10 (주)에이치엠솔루션 무인비행체를 이용한 태양광 패널 관리장치 및 시스템
KR102417591B1 (ko) 2021-12-23 2022-07-06 주식회사 두시텍 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템

Similar Documents

Publication Publication Date Title
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及系统
US10789673B2 (en) Post capture imagery processing and deployment systems
CN108168521A (zh) 一种基于无人机实现景观三维可视化的方法
CN101919235A (zh) 正射影像图像的生成方法以及摄影装置
JP6877293B2 (ja) 位置情報記録方法および装置
CN110555813B (zh) 一种无人机遥感影像的快速几何校正方法及系统
US20230105991A1 (en) Method of imaging a wind turbine rotor blade
CN113415433B (zh) 基于三维场景模型的吊舱姿态修正方法、装置和无人机
Bevilacqua et al. Digital technology and mechatronic systems for the architectural 3D metric survey
CN103411587A (zh) 定位定姿方法及系统
CN114881931A (zh) 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质
CN116594419A (zh) 巡检航线规划方法、装置、电子设备及存储介质
CN111444385B (zh) 一种基于影像角点匹配的电子地图实时视频镶嵌方法
JP6799635B2 (ja) 空撮画像位置特定システムおよび空撮画像位置特定方法。
KR20240023926A (ko) 무인 항공기 기반 열화상 검사 플랫폼의 무인 항공기 데이터 매핑을 위한 시스템 및 방법
de Vasconcelos et al. Store separation: photogrammetric solution for the static ejection test
CN115112100A (zh) 遥感控制系统及方法
JP4523833B2 (ja) 撮影計画支援装置及びそのためのプログラム
CN112257630A (zh) 电力系统的无人机探测成像方法及装置
CN110969664A (zh) 一种相机外部参数的动态标定方法
JP6938749B2 (ja) 空撮画像特定システムおよび空撮画像特定方法。
Friedel et al. Mosaics‐a system to produce state‐of‐the‐art satellite imagery for resource managers
JP7453643B1 (ja) ソーラーパネルの経緯度特定方法
Orlik et al. 3D modelling using aerial oblique images with close range UAV based data for single objects
Erdnüß Calibration and synchronization of geospatial metadata for aerial sensor systems