WO2023055223A1 - 관제 객체의 3차원 지형현장 정보 산출 방법 - Google Patents

관제 객체의 3차원 지형현장 정보 산출 방법 Download PDF

Info

Publication number
WO2023055223A1
WO2023055223A1 PCT/KR2022/014905 KR2022014905W WO2023055223A1 WO 2023055223 A1 WO2023055223 A1 WO 2023055223A1 KR 2022014905 W KR2022014905 W KR 2022014905W WO 2023055223 A1 WO2023055223 A1 WO 2023055223A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
terrain
aircraft
calculating
control
Prior art date
Application number
PCT/KR2022/014905
Other languages
English (en)
French (fr)
Inventor
설윤호
Original Assignee
설윤호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 설윤호 filed Critical 설윤호
Priority claimed from KR1020220126067A external-priority patent/KR20230047934A/ko
Publication of WO2023055223A1 publication Critical patent/WO2023055223A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

본 발명은 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보를 바탕으로 2차원으로 촬영된 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있는 관제 객체의 3차원 지형현장 정보 산출방법에 관한 것으로서, 지형현장을 촬영하는 영상 촬영 단계, 지아이에스(GIS) 지형정보를 획득하는 지형정보 획득 단계, 항공체 센서정보를 획득하는 항공체 센서정보 획득 단계, 영상정보를 획득하는 영상정보 획득 단계, 상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보를 바탕으로 상기 관제 객체의 3차원 지형현장 정보를 계산하는 관제 객체 지형현장 정보 계산 단계를 포함한다.

Description

관제 객체의 3차원 지형현장 정보 산출 방법
본 발명은 관제 객체의 3차원 지형현장 정보 산출 방법에 관한 것으로, 보다 상세하게는 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보를 바탕으로 2차원으로 촬영된 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있는 관제 객체의 3차원 지형현장 정보 산출방법에 관한 것이다.
최근 재난 현장 등 실시간 현장 상황을 탐지하기 위한 항공체을 활용한 기술이 연구되고 있다.
종래에는 최초 재난이 발생하면, 작업자가 현장에 도착해 항공체을 띄워 주로 동영상을 촬영하고, 획득한 동영상에서 침수, 범람, 산불 등의 재난 현장을 확인하고 있다.
그러나 작업자가 동영상에서 재난 현장을 찾았다고 하더라고 해당 위치를 자세하게 파악하기 어렵기 때문에 정밀한 데이터를 취득하기 위해서는 항공체을 이용하여 다시 고도, 중복도 등을 고려하여 정밀촬영을 하고 있다.
이때 항공체 비행시 작업자가 자신의 경험에 의존하여 항공체 비행을 수행하고 있어 잘못된 지역을 촬영할 수도 있기에 작업자는 여러 횟수에 걸쳐 항공체 비행을 수행하게 되어 작업의 효율성이 떨어지는 문제점이 있다.
이에 인공지능모듈과 융합하여 영상의 다양한 관제 객체의 3차원 지형현장 정보를 실시간으로 분석, 추정, 제공하는 관제 객체의 3차원 지형현장 정보를 산출하는 기술이 요구된다.
선행기술문헌으로는 대한민국 등록특허공보 제10-2203135호(공고일: 2021년 01월 14일)가 있다.
본 발명의 해결하고자 하는 과제는 상기와 같은 문제를 해결하기 위한 것으로서, 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보를 바탕으로 2차원으로 촬영된 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있는 관제 객체의 3차원 지형현장 정보 산출방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위하여, 본 발명은 관제 객체의 3차원 지형현장 정보 산출 방법에 있어서, 항공체에 장착된 촬영모듈을 통하여 상기 관제 객체를 포함하는 지형현장을 촬영하는 영상 촬영 단계; 제어부가 항공체의 운영 기준점을 기준으로 관심대상 영역의 지아이에스(GIS) 지형정보를 서버로부터 획득하는 지형정보 획득 단계; 상기 항공체에 장착된 센서모듈을 통하여 상기 항공체의 위치, 진행 방향 및 고도를 포함하는 항공체 센서정보를 획득하는 항공체 센서정보 획득 단계; 인공지능모듈을 통하여 상기 영상 촬영단계에서 촬영된 영상의 해당 영상프레임에서 상기 관제 객체에 대한 인식정보, 상기 영상프레임상 상기 관제 객체의 좌표정보 및 상기 영상프레임과 관련된 프레임 정보를 포함하는 영상정보를 획득하는 영상정보 획득 단계; 및 상기 제어부가 상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보를 바탕으로 상기 관제 객체의 3차원 지형현장 정보를 계산하는 객체 지형현장 정보 계산 단계를 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법을 제공한다.
상기 객체 지형현장 정보 계산단계는 상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보에 기반하여 상기 영상프레임상에서 상기 관제 객체에 대한 시계선 정보를 추출하는 시계선 정보 추출단계를 포함할 수 있다.
상기 객체 지형현장 정보 계산단계는 상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보에 기반하여 상기 시계선 정보 중의 관제 요각(yaw angle of object)에 따른 지형의 단면정보를 추출하는 지형단면정보 추출단계를 더 포함할 수 있다.
상기 객체 지형현장 정보 계산단계는 상기 지형단면정보의 지형표면라인과 상기 시계선 정보 중의 관제 피치각(pitch angle of object)에 따른 연장선의 교차점에 기반하여 상기 관제 객체의 3차원 위치를 추정하는 3차원 위치 추정단계를 더 포함할 수 있다.
상기 관제 객체의 3차원 위치 중 지피에스(GPS) 좌표계상의 고도는 상기 항공체의 지피에스(GPS) 좌표계상의 고도, 상기 관제 피치각, 상기 항공체와 상기 관제 객체와의 거리를 바탕으로 산출될 수 있다.
상기 관제 객체의 3차원 위치 중 지피에스(GPS) 좌표계상의 위도와 경도는 상기 항공체의 지피에스(GPS) 좌표계상의 위도와 경도, 상기 관제 요각, 상기 항공체와 상기 관제 객체와의 거리를 바탕으로 산출될 수 있다.
상기 객체 지형현장 정보 계산단계는 상기 항공체와 상기 관제 객체와의 수평거리, 상기 영상프레임 상의 상기 관제 객체의 크기에 기반하여 상기 관제 객체의 실제 크기를 추정하는 객체 크기 추정단계를 더 포함할 수 있다.
본 발명에 따른 관제 객체의 3차원 지형현장 정보 산출 방법은 상기 관제 피치각(pitch angle of object)에 대하여 상기 지형단면정보의 지형표면라인을 관측 제한지역과 관측 용이지역으로 분류하는 관측지역 분류단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 관제 객체의 3차원 지형현장 정보 산출 방법에 의하면, 본 발명은 관제지역의 지아이에스(GIS) 지형정보, 항공체에 탑재된 센서모듈에서 측정되는 항공체 센서정보 및 촬영된 영상을 바탕으로 인공지능모듈이 산출하는 영상정보를 기반으로 2차원 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있는 장점을 가진다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명에 따른 관제 객체의 3차원 지형현장 정보 산출 방법에 대한 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 객체 지형현장 정보 계산단계의 세부적인 과정을 나타내는 흐름도이다.
도 3은 항공체에 장착된 촬영모듈이 관제영역을 촬영하는 상태를 나타내는 도면이다.
도 4는 항공체의 기수방향을 기준으로 제어부가 서버로부터 전달받는 지아에스(GIS) 지형정보의 영역을 나태낸 도면이다.
도 5는 지아이에스(GIS) 좌표계 상에서 관제 객체에 대한 시계선 정보 중 관제요각을 나타내는 도면이다.
도 6은 도 2의 지형단면정보 추출단계에서 지형단면정보를 추출하는 과정을 설명하기 위한 도면이다.
도 7은 도 2의 3차원 위치 추정단계에서 관제 객체의 고도를 산출하는 과정을 설명하기 위한 도면이다.
도 8은 도 2의 3차원 위치 추정단계에서 관제 객체의 위도와 경도를 산출하는 과정을 설명하기 위한 도면이다.
도 9는 관제 피치각에 대하여 지형단면정보의 지형표면라인을 관측 제한지역과 관측 용이지역으로 분류하는 과정을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어떠한 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성요소에 “직접 연결되어” 있다거나 또는 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들도 마찬가지로 해석되어야 한다.
본 명세서에서 사용되는 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명에 따른 관제 객체의 3차원 지형현장 정보 산출 방법에 대한 일 실시예를 나타내는 흐름도이고, 도 2는 도 1의 객체 지형현장 정보 계산단계의 세부적인 과정을 나타내는 흐름도이고, 도 3은 항공체에 장착된 촬영모듈이 관제영역을 촬영하는 상태를 나타내는 도면이고, 도 4는 항공체의 기수방향을 기준으로 제어부가 서버로부터 전달받는 지아에스(GIS) 지형정보의 영역을 나태낸 도면이다.
도 1 내지 도 4를 참조하면, 본 발명에 따른 관제 객체의 3차원 지형현장 정보 산출 방법은 영상 촬영 단계(100), 지형정보 획득단계(200), 항공체 센서정보 획득단계(300), 영상정보 획득단계(400) 및 객체 지형현장 정보 계산단계(500)를 포함할 수 있다.
영상 촬영 단계(100)는 항공체(10)에 장착된 촬영모듈(11)이 관제 객체(F)를 포함하는 지형현장을 촬영하는 과정이다. 지형현장에 대한 영상은 일정 시간 간격으로 활영되는 복수개의 영상프레임으로 구성될 수 있다.
여기서, 항공체(10)는 드론, 헬기, 열기구, 비행선, 도심항공 모빌리티(UAM: Urban Air Mobility), 무인항공기(UAV: Unmanned Aerial Vehicle), 자율비행장치 등을 포함할 수 있고, 관제 객체(F)는 불, 연기, 사람, 화재근원지, 건물, 탑 등을 포함할 수 있다.
지형정보 획득단계(200)는 항공체(10) 또는 외부의 서버(미도시)에 구비되는 제어부(미도시)가 항공체(10)의 운영 기준점을 기준으로 관심대상 영역, 즉 관제영역의 지아이에스(GIS: Geographic Information System) 지형정보를 서버로부터 획득하는 과정이다.
구체적으로, 제어부가 항공체(10)의 지피에스(GPS: Global Positioning System) 위치정보를 기준으로 항공체(10)의 운영기점에 대한 일정범위 내의 지아이에스(GIS) 지형정보를 서버에게 요청하면, 서버는 해당 범위 내의 지아이에스(GIS) 지형정보를 제어부에 전송하게 된다. 항공체(10)의 지피에스(GPS) 위치정보는 후술하는 항공체의 센서모듈에서 획득된 항공체 센서정보에 포함된다.
이 때 제어부는 도 4에 도시된 바와 같이, 항공체(10)의 기수방향에 해당되는 제1 영역(A)에 해당되는 지아이에스(GIS) 지형정보만을 서버에게 요청하여 획득하게 된다.
제어부가 항공체(10)의 운영 기준점을 둘러싸고 있는 모든 영역의 지아이에스(GIS) 지형정보를 수신하지 않고, 항공체의 운영 기준점을 기준으로 항공체(10)의 기수방향의 일부영역에 해당되는 지아이에스(GIS) 지형정보만을 수신하여 활용함으로써 제어부의 연산속도가 빨라지고 메모리의 사용량을 줄일 수 있는 장점을 가지게 된다.
지아이에스(GIS) 지형정보는 디이엠(DEM: Digital elevation model)자료로서 래스터(Raster) 형식의 데이터로써 일정간격을 기준으로 디지털화된 3차원 지형정보이다. 이러한 형식의 지아이에스(GIS) 지형정보는 지형정보가 축약된 데이트로서 연산속도가 향상되고, 알고리즘의 실시간성을 확보할 수 있게 해주는 장점을 가진다.
지아이에스(GIS) 지형정보는 세계 지자기장 모델 및 주기적으로 변하는 지역별 자기계 정보를 반영하여 주기적으로 업데이트 될 수 있다. 이로 인하여 관체 객체의 3차원 위치정보를 추정함에 있어서 보다 정확성을 높일 수 있는 장점을 가진다.
항공체의 위치정보는 지피에스(GPS) 위치정보이므로 항공체에 대한 기준이 되는 좌표계를 지피에스(GPS) 좌표계라 하고, 지아이에스(GIS) 지형정보에 대한 기준이 되는 좌표계를 지아이에스(GIS) 좌표계라 한다.
여기서, 영상프레임 내에서 객체에 대한 객체 좌표는 지아이에스(GIS) 지형정보상의 특정위치와 대응될 수 있다. 또한, 영상프레임 내의 좌표기준이 되는 프레임 좌표계는 2차원 형태이지만, 특정 평면에서 지아이에스(GIS) 좌표계와 매칭될수 있다.
따라서, 제어부가 항공체의 지피에스(GPS) 위치정보를 알고 있고, 항공체(10)의 지피에스(GPS) 위치정보를 기반으로 항공체 기수방향의 일부영역, 예를 들면 항공체의 운영 기준점에서 좌우 8km, 전방 8km의 내부영역에 있는 지아이에스(GIS) 지형정보를 전달받는다면, 지피에스(GPS) 좌표계를 기준으로 항공체(10)와 영상 프레임 내의 관제 객체(F)와의 거리를 알 수 있다. 마찬가지로, 지아이에스(GIS) 좌표계를 기준으로 항공체(10)와 영상 프레임 내의 관제 객체(F)와의 거리를 알 수 있다.
항공체 센서정보 획득단계(300)는 항공체(10)에 장착된 센서모듈(미도시)이 항공체의 위치, 진행 방향 및 고도를 포함하는 항공체 센서정보를 획득하는 과정이다.
센서모듈은 항공체의 지피에스(GPS) 정보를 수신하기 위한 지피에스(GPS) 수신기, 지구자기장을 측정하기 위한 지자계 측정장치, 항공체의 기수방향을 파악하기 위한 방향계, 항공체의 고도를 측정하기 위한 고도계, 항공체의 가속도를 측정하기 위한 가속도계, 관성을 측정하기 위한 관성측정장치 등을 포함할 수 있다.
영상정보 획득단계(400)는 항공체 또는 서버에 구비된 인공지능모듈(미도시)이 영상의 해당 영상프레임에서 관제 객체(F)에 대한 인식정보, 영상 프레임상 관제 객체(F)의 좌표정보 및 영상프레임과 관련된 프레임 정보를 포함하는 영상정보를 획득하는 과정이다.
인공지능모듈은 영상에서 해당 영상프레임 마다 관제 객체(F)를 인식하여 관제 객체의 종류와, 해당 영상프레임의 좌표기준점에 대하여 관제 객체의 좌표정보를 파악하게 된다.
여기서, 인공지능모듈은 관제 객체에 대하여 박스형태, 객체의 외곽 테두리 형태, 점 형태 등의 형식으로 해당 영상프레임에서 관제 객체(F)를 인식하게 된다.
특히, 관제 객체(F)의 좌표정보를 산출함에 있어서 보는 각도에 따라 형상이 다르거나 위로 높은 형태의 관제 객체, 예를 들면, 연기, 대형 산불, 건물, 탑 등의 경우에 있어서는 해당 관제 객체의 대표 위치좌표를 해당 관제 객체의 정중앙이 아닌 하단측 정보를 활용한다.
또한, 인공지능모듈은 센서모듈에서 측정되는 항공체 센서정보를 바탕으로 해당 영상프레임 마다 프레임의 크기, 해당 영상프레임의 촬영시간, 촬영모듈(11)의 짐벌각도, 항공체(10)의 기수방향정보 및 시계선 정보, 촬영모듈의 초점거리 및 화각 등의 정보를 산출하게 된다.
객체 지형현장 정보 계산단계(500)는 제어부가 상기 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보를 바탕으로 관제 객체의 3차원 지형현장 정보를 계산하는 과정이다.
도 5는 지아이에스(GIS) 좌표계 상에서 관제 객체에 대한 시계선 정보 중 관제요각을 나타내는 도면이고, 도 6은 도 2의 지형단면정보 추출단계에서 지형단면정보를 추출하는 과정을 설명하기 위한 도면이며, 도 7은 도 2의 3차원 위치 추정단계에서 관제 객체의 고도를 산출하는 과정을 설명하기 위한 도면이고, 도 8은 도 2의 3차원 위치 추정단계에서 관제 객체의 위도와 경도를 산출하는 과정을 설명하기 위한 도면이다.
도 3 및 도 5 내지 도 8을 참조하여, 관제 객체의 3차원 지형현장 정보를 계산하는 객체 지형현장 정보 계산 단계를 설명하면 다음과 같다.
객체 지형현장 정보 계산단계(500)는 시계선정보 추출단계(510), 지형단면정보 추출단계(520), 3차원 위치 추정단계(530) 및 객체크기 추정단계(540)를 포함할 수 있다.
시계선정보 추출단계(510)는 제어부가 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보에 기반하여 상기 영상의 해당 영상프레임상에서 상기 관제 객체에 대한 시계선 정보를 추출하는 과정이다.
시계선 정보는 촬영모듈의 화각 중심위치와 관제 객체(F)를 연결하는 라인을 포함하는 평면(B)이 진북(True North)에 대하여 기울어진 각도, 즉 관제 요각(yaw angle of object)(ψ)과, 화각 중심위치와 관제 객체(F)를 연결하는 라인이 항공체의 기수방향에 대하여 기울어진 각도, 즉 관제 피치각(pitch angle of object)(θ)를 포함한다.
화각의 중심위치는 항공체의 지피에스(GPS) 위치정보를 바탕으로 산출되지만, 앞서 살펴본 항공체의 지피에스(GPS) 위치정보와 지아이에스(GIS) 지형정보와 상관관계를 통하여 항공체의 위치정보, 즉 화각의 중심위치는 지아이에스(GIS) 좌표계에서 정의될 수 있다.
지형단면정보 추출단계(520)는 제어부가 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보에 기반하여 시계선 정보의 관제 요각(ψ)에 따른 지형의 단면정보를 추출하는 과정이다.
제어부가 관제 객체의 3차원 위치를 추출함에 있어서 서버에서 수신한 지아이에스(GIS) 지형정보 전체를 사용하는 것이 아니라 관제 요각에 따른 지형의 단면정보만을 추출하기 때문에 연산시간이 단축되고 이로 인하여 실시간성을 확보할 수 있게 된다.
여기서, 지아이에스(GIS) 지형정보 중에서 관제요각(ψ)에 따른 지형단면정보는 서버에서 수신된 지아이에스(GIS) 지형정보에는 개시되어 있지 않은 정보이므로 새롭게 산출하여야 하는 정보에 해당된다.
제어부는 지아이에스(GIS) 좌표계 상에서의 항공체 위치정보(P1),지아이에스(GIS) 좌표계 상에서 관제요각(ψ)을 따라 연장되는 라인과 관심영역의 테두리 부분이 교차하는 포인트(P2), 즉 끝단 지형점의 지아이에스(GIS) 좌표계 상의 위치정보, 관제요각에 따른 단면 주변의 지아이에스(GIS) 위치정보를 바탕으로 라인 알고리즘을 적용하여 관제요각에 따른 지형단면정보를 산출하게 된다. 여기서, 끝단 지형점의 지아이에스(GIS) 좌표계 상의 위치정보는 지아이에스(GIS) 지형정보에서 얻어지는 값에 해당된다.
지형단면정보는 지아이에스(GIS) 좌표계에서 관제 요각(ψ)을 따라 연장되는 라인의 단위길이당 높이에 관한 정보로서, 도 6에 보여지는 바와 같이 이웃하는 막대그래프들의 형상을 가진다.
도 6에 도시된 막대그래프들은 도 7에 도시된 바와 같이 막대그래프들의 중심점을 잇는 커브피팅(curve fitting)을 통하여 완만한 곡선을 형성하게 되고, 이러한 완만한 곡선은 지형단면정보의 지형표면라인에 해당된다.
지형단면정보 추출단계에서 사용되는 서버로부터 수신된 지아이에스(GIS) 지형정보를 모두 사용하지 않고 항공체를 기준으로 지정된 반경거리 내에서의 지아이에스(GIS) 지형정보를 사용할 수도 있다.
또한, 관제 지역 중에서 관제 객체(F)의 중요도를 기준으로 지형단면정보를 우선적으로 추출할 수도 있다. 예를 들면, 관제 객체(F)의 인식과정에서 사람과 불에 해당하는 관제 객체에 대해서만 지형단면정보가 추출될 수 있다. 또한, 관제 객체(F)의 인식순서를 기준으로 초기에 인식되는 관제 객체(F)에 대한 지형단면정보를 추출하거나, 영상프레임의 정중앙 지역에 위치하는 관제 객체(F)에 대한 지형단면정보를 추출할 수 있다.
이처럼 관심이 있는 관제 객체에 대하여 우선적으로 지형단면정보를 추출함으로써 관심현장에 대하여 빠른 상황판단을 할 수 있게 된다.
3차원 위치 추정단계(530)는 지형단면정보의 지형표면라인과 시계선 정보의 관제 피치각(θ)의 교차점에 기반하여 관제 객체의 3차원 위치를 추정하는 과정이다.
도 7에 도시된 바와 같이, 지아이에스(GIS) 좌표계 상에서 지형표면라인에 대하여 항공체에서 관제 피치각(θ)을 따라 연장선을 연장시켜서 지형표면라인과 연장선이 만나는 위치가 관제 객체(F)가 존재하는 위치가 된다.
관제 객체의 3차원 위치 중 고도, 즉 지피에스(GPS) 좌표계 상에서의 관제 객체의 고도(H1)는 지피에스(GPS) 좌표계 상에서의 항공체의 고도(H), 관제 피치각(θ), 항공체와 관제 객체와의 수평거리(D)를 바탕으로 산출될 수 있다.
구체적으로, [수식 1]에서와 같이, 지피에스(GPS) 좌표계 상에서의 관제 객체의 고도(H1)는 항공체의 고도(H)에서 항공체와 관제 객체와의 수평거리(D)와 관체 피치각의 싸인값의 곱을 뺀 값에 해당된다.
[수식 1] 관제 객체의 고도(H1)= 항공체의 고도(H)- 수평거리(D)*sinθ
여기서, 항공체의 고도는 항공체의 지피에스(GPS) 위치정보를 바탕으로 산출되고, 항공체와 관제 객체와의 거리는 앞서 살펴본 대로 항공체의 지피에스(GPS) 위치정보와 지아이에스(GIS) 지형정보와 상관관계를 통하여 산출되며, 관제 피치각은 시계선 정보에서 산출된다.
관제 객체의 3차원 위치 중 지피에스(GPS) 좌표계 상에서 관제 객체(F)의 위도와 경도(X1, Y1)는 지피에스(GPS) 좌표계상 항공체의 위도와 경도(X, Y), 관제 요각(ψ), 항공체와 관제 객체와의 수평거리(D)를 바탕으로 산출될 수 있다.
도 8에서 O(0,0)은 지피에스(GPS) 좌표계의 기준점을 의미하고, P(0,0)은 지아이에스(GIS) 좌표계의 기준점을 의미하고, R은 지피에스(GPS) 좌표계상 항공체의 위치를 의미한다.
아래의 [수식 2]에서와 같이, 지피에스(GPS) 좌표계 상에서의 관제 객체의 위도(X1)는 지피에스(GPS) 좌표계 상에서의 항공체의 위도(X)와, 항공체와 관제 객체와의 수평거리(D)에 관제요각(Ψ)의 싸인 값을 곱한 값을 합한 값이 된다.
[수식 2] 관제 객체의 위도(X1)= 항공체의 위도(X) + 수평거리(D)*sinψ
또한, 아래의 [수식 3]에서와 같이 지피에스(GPS) 좌표계 상에서의 관제 객체의 경도(Y1)는 지피에스(GPS) 좌표계 상에서의 항공체의 경도(Y)와, 항공체와 관제 객체와의 수평거리(D)에 관제요각(Ψ)의 코싸인 값을 곱한 값을 합한 값이 된다.
[수식 3] 관제 객체의 경도(Y1)= 항공체의 경도(Y) + 수평거리(D)*cosψ
결과적으로, 제어부는 지아이에스(GIS) 지형정보, 항공체 센서정보 및 영상정보를 바탕으로 2차원 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있게 된다.
객체크기 추정단계(540)는 항공체의 위치, 진행 방향 및 고도와 영상프레임 상의 관제 객체의 크기에 기반하여 상기 관제 객체의 실제 크기를 추정하는 과정이다.
예를 들면, 관제 객체의 실제크기는 항공체와 관제 객체와의 수평거리, 영상프레임 상의 관제 객체의 크기 및 특정상수를 모두 곱한 값으로 산출될 수 있다.
여기서, 특정상수는 제어부에 미리 저장된 상수 값으로서 실제 관제 객체의 크기, 영상프레임상의 관제 객체의 크기, 항공체와 관제 객체와의 수평거리에 대한 상관관계에서 산출될 수 있다.
한편, 본 발명에 따른 관제 객체의 3차원 지형현장 정보 산출 방법은 시계선 정보의 관제 피치각(θ)에 대하여 지형단면정보의 지형표면라인을 관측 제한지역(Q)과 관측 용이지역(V)으로 분류하는 관측지역 분류단계를 더 포함할 수 있다.
관측지역 분류단계는 제어부가 지형표면라인 중에서 관제 객체의 관찰이 용이한지 여부를 기준으로 지형표면라인을 관측 제한지역(Q)과 관측 용이지역(V)으로 분류하는 과정이다. 물론, 제어부는 지형표면라인 중에서 관측 제한지역과 관측 용이지역의 중간영역을 관측 중간영역으로 분류할 수도 있다.
도 9에 도시된 바와 같이, 지형표면라인이 굴곡라인을 형성하고 있는 경우에 관제 피치각(θ)을 따라 항공체에서 지형표면라인을 향하여 연장선을 그리는 경우에 위치에 따라 교차점의 관측이 용이한 관측 용이지역(V)과, 교차점의 관측이 어려운 관측 제한지역(Q)이 발생할 수 있다.
관측 용이지역(V)과 관측 제한지역(Q)은 항공체의 고도, 관제 피치각, 촬영모듈의 화각에 따라 가변되므로 제어부는 항공체의 고도, 관제 피치각, 촬영모듈의 화각에 따라 지형표면라인의 특정영역이 관측 용이지역인지 관측 제한지역인지 판단하여 분류할 수 있다.
결과적으로, 제어부가 지형단면정보에 대하여 관제 객체의 관측이 어려운 지역과 용이한 지역을 구분하여 저장 및 관리함으로써 이후 현재의 항공체의 기수방향과 시계선 정보와 동일한 상태로 해당지역을 관찰하는 경우에 해당지역이 관체객체를 관찰하기에 용이한지 어려운지 사전에 구분할 수 있게 된다.
상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
본 발명은 관제지역의 지아이에스(GIS) 지형정보, 항공체에 탑재된 센서모듈에서 측정되는 항공체 센서정보 및 촬영된 영상을 바탕으로 인공지능모듈이 산출하는 영상정보를 기반으로 2차원 영상에서 관제 객체의 3차원 지형현장 정보를 실시간으로 정확하게 산출할 수 있기 때문에 산업상 널리 사용될 수 있다.

Claims (8)

  1. 관제 객체의 3차원 지형현장 정보 산출 방법에 있어서,
    항공체에 장착된 촬영모듈을 통하여 상기 관제 객체를 포함하는 지형현장을 촬영하는 영상 촬영 단계;
    제어부가 항공체의 운영 기준점을 기준으로 관심대상 영역의 지아이에스(GIS) 지형정보를 서버로부터 획득하는 지형정보 획득 단계;
    상기 항공체에 장착된 센서모듈을 통하여 상기 항공체의 위치, 진행 방향 및 고도를 포함하는 항공체 센서정보를 획득하는 항공체 센서정보 획득 단계;
    인공지능모듈을 통하여 상기 영상 촬영단계에서 촬영된 영상의 해당 영상프레임에서 상기 관제 객체에 대한 인식정보, 상기 영상프레임상 상기 관제 객체의 좌표정보 및 상기 영상프레임과 관련된 프레임 정보를 포함하는 영상정보를 획득하는 영상정보 획득 단계; 및
    상기 제어부가 상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보를 바탕으로 상기 관제 객체의 3차원 지형현장 정보를 계산하는 객체 지형현장 정보 계산 단계를 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
  2. 제1항에 있어서,
    상기 객체 지형현장 정보 계산단계는,
    상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보에 기반하여 상기 영상프레임상에서 상기 관제 객체에 대한 시계선 정보를 추출하는 시계선 정보 추출단계를 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
  3. 제2항에 있어서,
    상기 객체 지형현장 정보 계산단계는,
    상기 지아이에스(GIS) 지형정보, 상기 항공체 센서정보 및 상기 영상정보에 기반하여 상기 시계선 정보 중의 관제 요각(yaw angle of object)에 따른 지형의 단면정보를 추출하는 지형단면정보 추출단계를 더 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
  4. 제3항에 있어서,
    상기 객체 지형현장 정보 계산단계는,
    상기 지형단면정보의 지형표면라인과 상기 시계선 정보 중의 관제 피치각(pitch angle of object)에 따른 연장선의 교차점에 기반하여 상기 관제 객체의 3차원 위치를 추정하는 3차원 위치 추정단계를 더 포함하는 것을 특징으로 하는 객체의 3차원 지형현장 정보 산출 방법.
  5. 제4항에 있어서,
    상기 관제 객체의 3차원 위치 중 지피에스(GPS) 좌표계상의 고도는 상기 항공체의 지피에스(GPS) 좌표계상의 고도, 상기 관제 피치각, 상기 항공체와 상기 관제 객체와의 거리를 바탕으로 산출되는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
  6. 제4항에 있어서,
    상기 관제 객체의 3차원 위치 중 지피에스(GPS) 좌표계상의 위도와 경도는 상기 항공체의 지피에스(GPS) 좌표계상의 위도와 경도, 상기 관제 요각, 상기 항공체와 상기 관제 객체와의 거리를 바탕으로 산출되는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출방법.
  7. 제4항에 있어서,
    상기 객체 지형현장 정보 계산단계는,
    상기 항공체와 상기 관제 객체와의 수평거리, 상기 영상프레임 상의 상기 관제 객체의 크기에 기반하여 상기 관제 객체의 실제 크기를 추정하는 객체 크기 추정단계를 더 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
  8. 제4항에 있어서,
    상기 관제 피치각(pitch angle of object)에 대하여 상기 지형단면정보의 지형표면라인을 관측 제한지역과 관측 용이지역으로 분류하는 관측지역 분류단계를 더 포함하는 것을 특징으로 하는 관제 객체의 3차원 지형현장 정보 산출 방법.
PCT/KR2022/014905 2021-10-01 2022-10-04 관제 객체의 3차원 지형현장 정보 산출 방법 WO2023055223A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210131203 2021-10-01
KR10-2021-0131203 2021-10-01
KR1020220126067A KR20230047934A (ko) 2021-10-01 2022-10-04 관제 객체의 3차원 지형현장 정보 산출 방법
KR10-2022-0126067 2022-10-04

Publications (1)

Publication Number Publication Date
WO2023055223A1 true WO2023055223A1 (ko) 2023-04-06

Family

ID=85783310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014905 WO2023055223A1 (ko) 2021-10-01 2022-10-04 관제 객체의 3차원 지형현장 정보 산출 방법

Country Status (1)

Country Link
WO (1) WO2023055223A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967838B1 (ko) * 2009-10-26 2010-07-05 (주)지오투정보기술 항공 라이다 정보와 디지털 항공 사진 정보를 이용하여 3차원 지리 정보를 생성하는 방법 및 그 시스템
JP2011112556A (ja) * 2009-11-27 2011-06-09 Nec Corp 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
KR101557295B1 (ko) * 2014-05-21 2015-10-05 주식회사 더에스 3차원 시간 비행 이미지 획득 장치
KR20190049086A (ko) * 2017-11-01 2019-05-09 주식회사 두시텍 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
KR102203135B1 (ko) * 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967838B1 (ko) * 2009-10-26 2010-07-05 (주)지오투정보기술 항공 라이다 정보와 디지털 항공 사진 정보를 이용하여 3차원 지리 정보를 생성하는 방법 및 그 시스템
JP2011112556A (ja) * 2009-11-27 2011-06-09 Nec Corp 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
KR101557295B1 (ko) * 2014-05-21 2015-10-05 주식회사 더에스 3차원 시간 비행 이미지 획득 장치
KR20190049086A (ko) * 2017-11-01 2019-05-09 주식회사 두시텍 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
KR102203135B1 (ko) * 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2019093532A1 (ko) 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
KR100647807B1 (ko) 그림자 분석을 통한 3차원 건물정보 추출방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
CN107703951B (zh) 一种基于双目视觉的无人机避障方法及系统
CN105700547B (zh) 一种基于导航飞艇的空中立体视频街景系统及实现方法
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
JPWO2004113836A1 (ja) 撮影映像表示方法
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
JPH1166319A (ja) 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2023120908A1 (ko) 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템
WO2017022994A1 (ko) 그린에서의 퍼팅정보 제공방법
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2023100642A (ja) 検査システム
WO2012134237A2 (ko) 촬영화상의 카메라 자세 추정 시스템 및 방법
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876994

Country of ref document: EP

Kind code of ref document: A1