KR20210015624A - 드론 기반 재난상황 관제 방법 및 시스템 - Google Patents

드론 기반 재난상황 관제 방법 및 시스템 Download PDF

Info

Publication number
KR20210015624A
KR20210015624A KR1020200067999A KR20200067999A KR20210015624A KR 20210015624 A KR20210015624 A KR 20210015624A KR 1020200067999 A KR1020200067999 A KR 1020200067999A KR 20200067999 A KR20200067999 A KR 20200067999A KR 20210015624 A KR20210015624 A KR 20210015624A
Authority
KR
South Korea
Prior art keywords
disaster
drone
posture
site
command
Prior art date
Application number
KR1020200067999A
Other languages
English (en)
Other versions
KR102384543B1 (ko
Inventor
장윤섭
장인성
주인학
김광수
김주완
김형선
이아현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20210015624A publication Critical patent/KR20210015624A/ko
Application granted granted Critical
Publication of KR102384543B1 publication Critical patent/KR102384543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B64C2201/12—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치에 의해 수행되는 재난 상황 관제 방법이 개시된다. 본 발명의 일 실시예에 따른 재난 상황 관제 방법은, 재난 현장에 대한 3차원 공간 및 객체를 시각화하는 단계; 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하는 단계; 촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하는 단계; 비행 및 촬영 계획을 하나 이상의 드론에 제공하는 단계; 상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하는 단계; 및 상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하는 단계를 포함할 수 있다.

Description

드론 기반 재난상황 관제 방법 및 시스템{SYSTEM AND METHOD FOR MANAGING AND CONTROLLING DISASTER SITUATION USING DRONE}
본 발명은 드론 기반 재난상황 관제 방법 및 시스템에 관한 것으로, 더욱 상세하게는 가상현실 또는 혼합현실을 이용한 드론 기반 재난상황 관제 방법 및 시스템에 관한 것이다.
최근 드론은 다양한 현장의 영상을 활용하는 데 있어서 사람이 직접 접근하기 어렵거나 위험한 상항에, 또는 기존 고가의 장비를 대체하는 데 널리 활용되고 있다. 특히 최근에는 화재 및 재난 상황에도 현장을 촬영하는 목적으로 도입되고 있다.
하지만, 드론을 이용해 취득되는 영상들은 아직까지 평면적인 형태로만 활용되고 있으며, 현장의 3차원 공간 및 입체 건물 등 공간객체와는 별개로 활용되고 있다. 따라서, 촬영 위치와 자세 등 공간정보를 갖는 드론의 영상을 충분히 활용하지 못하는 한계가 존재한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치에 의해 수행되는 재난 상황 관제 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 상기 재난 상황 관제 방법을 이용하는 지상 제어 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 재난 상황 관제 방법은 하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치에 의해 수행되는 재난 상황 관제 방법으로서, 재난 현장에 대한 3차원 공간 및 객체를 시각화하는 단계; 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하는 단계; 촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하는 단계; 비행 및 촬영 계획을 하나 이상의 드론에 제공하는 단계; 상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하는 단계; 및 상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하는 단계를 포함할 수 있다.
상기 재난 상황 관제 방법은, 재난 상황이 발샘함에 따라 재난 현장의 위치를 조회하는 단계; 및 상기 재난 현장에 대한 3차원 공간 데이터를 관제 서버로부터 획득하는 단계를 더 포함할 수 있다.
상기 재난 현장에 대한 3차원 공간 및 객체를 시각화하는 단계는, 가상현실(Virtual Reality; VR) 또는 혼합현실(Mixed Reality; MR) 환경에서 3차원 공간 및 객체를 시각화하는 단계를 포함할 수 있다.
상기 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하는 단계는, 3차원 공간 상에 배치된 가상의 드론 객체를 기반으로, 또는 HMD(Head Mount Display)를 착용한 사용자의 자세를 기반으로 상기 드론의 촬영 위치 및 자세를 저작하는 단계를 포함할 수 있다.
상기 재난 현장에 대한 영상 및 관련 정보는, 재난 현장을 촬영한 영상, 해당 영상에 매칭되는 촬영 위치 및 드론의 자세에 대한 정보를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 지상 제어 장치는 하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치로서, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함할 수 있다.
상기 적어도 하나의 명령은, 재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령; 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령; 촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하도록 하는 명령; 비행 및 촬영 계획을 하나 이상의 드론에 제공하도록 하는 명령; 상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하도록 하는 명령; 및 상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하도록 하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 재난 상황이 발샘함에 따라 재난 현장의 위치를 조회하도록 하는 명령; 및 상기 재난 현장에 대한 3차원 공간 데이터를 관제 서버로부터 획득하도록 하는 명령을 더 포함할 수 있다.
상기 재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령은, 가상현실(Virtual Reality; VR) 또는 혼합현실(Mixed Reality; MR) 환경에서 3차원 공간 및 객체를 시각화하도록 하는 명령을 포함할 수 있다.
상기 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령은, 3차원 공간 상에 배치된 가상의 드론 객체를 기반으로, 또는 HMD(Head Mount Display)를 착용한 사용자의 자세를 기반으로 상기 드론의 촬영 위치 및 자세를 저작하도록 하는 명령을 포함할 수 있다.
상기 재난 현장에 대한 영상 및 관련 정보는, 재난 현장을 촬영한 영상, 해당 영상에 매칭되는 촬영 위치 및 드론의 자세에 대한 정보를 포함할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 화재와 같은 재난상황에 있어서 VR 및 MR 환경의 3차원 공간 및 건물과 같은 공간객체를 보며 이를 기반으로 드론의 촬영계획을 수립함으로써, 현장을 효과적으로 파악할 수 있으며 보다 직관적인 방식이 가능해진다.
또한 본 발명에 따르면, 사용자가 원하는 결과에 부합되는 보다 정확한 현장영상을 촬영할 수 있다.
나아가, VR 및 MR 환경에 재현되는 재난현장의 3차원 공간 및 공간객체에 드론의 촬영영상을 촬영위치 및 자세 그대로 반영하여 정합해 시각화함으로써 원격지의 재난상황을 효과적으로 관제하고 신속히 대처할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 드론 기반 재난상황 관제 방법의 개략적인 순서도이다.
도 2a 및 도 2b는 VR/MR 환경에서 재난현장에 대한 촬영 계획 수립 개념도이다.
도 3은 본 발명의 일 실시예에 따라 드론의 출동 및 복귀 상황을 관제하는 개념을 도시한다.
도 4a 내지 4c는 본 발명의 실시예들에 따라 재난현장에 대한 영상을 시각화하는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 관제 서버 및 지상 제어 장치의 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른 드론의 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따라 재난상황을 관제하는 방법의 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 지상 제어 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 드론 기반 재난상황 관제 방법의 개략적인 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 재난사황 관제 방법은 크게 드론에 의해 수행될 촬영 계획을 수립하는 단계(S100), 드론의 출동 및 복귀 단계(S200), 현장에서의 드론에 의한 촬영 수행(S300) 등 3가지 측면에서 설명될 수 있다.
보다 구체적으로, 촬영 계획 수립 단계(S100)에서는, 본 발명에 따른 지상 제어 장치는 화재와 같은 재난 발생시 해당 현장의 위치를 기준으로 관련 관제 서버로 3차원 공간정보를 요청하여 수신할 수 있다. 여기서, 관제 서버는 지형에 대한 데이터를 저장 및 관리하며, 이에 더하여 현장정보, 촬영영상, 드론의 위치 및 자세 정보를 저장 및 관리할 수 있다.
지상 제어 장치는 수신한 3차원 공간정보를 VR/MR 환경의 3차원 가상모델로 재현하고, 재현된 3차원 가상모델 주위에 가상의 드론 객체를 배치 및 조정하거나, 사용자가 직접 원하는 위치 및 자세에서 바라보며 재난현장에서 드론이 촬영할 위치, 자세, 경로 등을 설정하고 계획할 수 있다.
드론의 출동 및 복귀 단계(S200)에서는, 지상 제어 장치가 드론으로부터 목표지점까지의 비행거리, 남은 거리와 함께 실시간으로 촬영된 영상을 수신하여 VR/MR 환경에서 출동 및 복귀 상황을 파악할 수 있다.
드론이 재난현장에 도착한 이후 현장에서 수행되는 드론에 의한 촬영(S300)에서는, 드론에 의해 실시간으로 촬영된 영상에 공간정보 즉, 촬영위치와 자세를 매핑해 지상 제어 장치로 전송함으로써, 지상 제어 장치의 GCS(Ground Control Station) 소프트웨어를 통해, VR/MR 환경에 공간정보 매핑된 촬영영상을 3D 가상모델에 정합해 시각화하여 원격지 재난현장을 효과적으로 관제, 대응할 수 있도록 한다.
이처럼 본 발명은 드론의 공간정보 즉, 촬영위치와 자세를 적극 활용하고, 드론의 영상을 3차원 공간 및 공간객체와 긴밀하게 융합하기 위해 가상현실(VR) 및 혼합현실(MR)을 결합함으로써 원격지의 재난상황을 효과적으로 관제할 수 있는 방법을 제공한다. 보다 구체적으로 본 발명은, 재난상황 발생시 VR/MR 환경에서 보다 직관적인 방식으로 드론의 촬영위치, 자세 및 경로를 설정하여 저장하고, 드론을 이용해 취득되는 현장의 실시간 영상을 VR/MR 환경의 3차원 공간 및 공간 객체에 정합해 시각화할 수 있다.
도 2a 및 도 2b는 VR/MR 환경에서 재난현장에 대한 촬영 계획 수립 개념도이다.
본 발명의 실시예들에 따르면 드론을 이용해 재난현장을 촬영하기 위해 VR/MR 환경에서 미리 촬영위치와 자세를 설정하여 촬영계획을 수립할 수 있음을 살펴보았다.
이를 위해, 지상 제어 장치는 재난상황이 발생하면 해당 현장의 위치를 조회하여 서버 측에 3차원 공간 데이터를 요청한다. 여기서, 3차원 공간 데이터는 지형 데이터, 항공영상, 3차원 건물모델 등을 포함할 수 있다. 수신된 3차원 공간 데이터는 VR/MR 환경(앱)에서 3차원 공간 및 가상모델로 시각화된다. VR의 경우에는 전체가 가상인 공간에서 3차원 가상모델이 시각화된다. MR의 경우에는 3차원 가상모델이 홀로그램 형태로 시각화되어 홀로렌즈와 같은 시쓰루(See-through) 장비를 통해 시각화될 수 있다. MR이 사용될 때에는 홀로그램 모델을 탁자 등의 현실 공간에 정합해 시각화함으로써 여러 사용자 간의 협업도 가능하다.
VR/MR 환경에서 3차원 공간과 가상객체를 기반으로 드론의 촬영위치, 자세, 경로를 설정하는 방식으로는 크게 두 가지가 가능하다. 가상의 드론 객체를 3차원 공간 상에 배치 및 조정하는 방식과 HMD(Head Mount Display)를 착용한 사용자가 직접 3차원 가상모델 주위로 움직이고 바라보며 설정하는 방식이 그것이다.
도 2a에서는 가상의 드론 객체를 배치하는 방식으로 촬영 계획을 수립하는 개념을 도시한다. 해당 방식에서는, 3차원 공간 상에 드론 객체의 위치를 설정한 후 각도를 조정하는 방식으로 자세를 설정할 수 있다. 이때, View Frustum 그래픽을 통해 촬영될 예상 영역을 가상모델에 투영해 시각화함으로써 드론의 촬영 위치 및 자세를 설정하는 것을 보조할 수 있다. 드론 촬영 위치 사이의 촬영경로는 직접 드론 객체를 움직이며 설정하거나 설정된 위치들을 기반으로 자동 계산할 수 있다.
도 2b는 HMD를 착용한 사용자가 직접 3차원 가상모델 주위로 움직이고 바라보며 촬영 계획을 수립하는 방식의 개념을 나타낸다.
도 2b를 참조하면, HMD를 착용한 사용자의 머리 위치와 시선 방향을 이용하여 촬영 계획을 수립하는 방식에서는 사용자가 원하는 위치와 거리로 이동하고, 원하는 방향으로 바라본 후 제스쳐나 음성, 또는 기기의 버튼을 이용해 드론의 촬영위치와 자세를 기록 및 설정할 수 있다. 이때, 사용자 위치와 자세는 HMD 기기의 센서 정보로부터 측정 및 계산될 수 있다. 이 경우에도 역시, 사용자의 머리 위치와 자세를 기반으로 촬영이 예상되는 영역이 실시간으로 3차원 가상 공간 및 객체 위에 투영되어 그래픽으로 시각화될 수 있다.
이후, 이와 같이 설정된 촬영위치와 자세를 기반으로 촬영경로가 계산된다. 계산된 촬영위치, 자세, 경로 등 촬영계획을 기반으로 재난현장까지의 출동 및 복귀경로 또한 계산될 수 있다.
도 3은 본 발명의 일 실시예에 따라 드론의 출동 및 복귀 상황을 관제하는 개념을 도시한다.
지상 제어 장치(100)는 현장에서 수행할 촬영계획과 함께 현장까지의 출동 및 복귀 경로를 대기 중인 드론(200)에 전송한다. 드론(200)은 재난현장까지 출동 비행하여 관련 현장을 촬영한 영상과 함께 관련 위치 정보를 지상 제어 장치(100)로 전송한다. 이때, 지상 제어 장치(100)는 VR/MR 환경에 실시간 촬영영상과 함께 지도, 비행거리, 남은거리 등 진행현황을 시각화하여 디스플레이함으로써, 사용자가 드론의 출동 상황을 파악할 수 있도록 한다. 이는 복귀비행의 경우도 마찬가지이다.
도 4a 내지 4c는 본 발명의 실시예들에 따라 재난현장에 대한 영상을 시각화하는 개념도이다.
본 발명의 실시예들은 재난현장에서 전송되는 촬영영상을 VR/MR 환경에 정합해 시각화할 수 있다. 본 발명의 실시예들에 따라 재난현장에서 전송되는 공간정보 매핑된 촬영 영상을 VR/MR의 3차원 공간 및 객체에 시각화하는 방법은 크게 도 4a 내지 4c에 도시된 세 가지 방법이 있다.
도 4a에 도시된 방식은 투영이나 정합 등의 변형 없이 별도의 3차원 정보 창에 촬영영상을 재생하고 관련된 건물 또는 위치를 연결선 등의 그래픽으로 연결해 보여주는 방식이다.
도 4b에서는 드론의 위치에서 촬영영역을 바라보는 가상의 View Frustum을 사각뿔 그래픽으로 시각화하고 촬영영상을 3차원 공간 상에 투영해 시각화하여 도시한다. 이때 HMD를 착용한 사용자는 VR/MR 환경에서 드론의 위치, 자세대로 이동하여 촬영영상을 보다 정확하게 보고 파악할 수 있다.
도 4c에서는 재난상황 촬영영상을 상황이 발생한 건물벽면 또는 지면에 직접 정합해 시각화함으로써 재난상황을 최대한 직관적으로 파악할 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 관제 서버 및 지상 제어 장치의 블록 구성도이다.
도 5를 참조하면, 본 발명에 따른 재난상황 관제 시스템은 관제 서버(300) 및 지상 제어 장치(100)를 포함하여 구성될 수 있으며, 더 나아가 도 6을 통해 설명할 드론(200)을 더 포함할 수 있다.
관제 서버(300)는 3차원 도시모델 제공부(310) 및 촬영정보 저장부(320)를 포함할 수 있다. 3차원 도시모델 제공부(310)는 재난상황 발생시 GCS의 요청에 따라 재난현장 위치의 지도/항공영상, 지형모델, 3차원 건물모델 데이터를 제공한다. 촬영정보 저장부(320)는 현장에 대한 주소, 날짜, 시간, 위치, 날씨 등 현장 정보와 함께 현장에서 전송되는 촬영영상, 그리고 촬영위치, 자세 등 공간정보를 저장할 수 있다.
지상 제어 장치(Ground Control Station; GCS)(100)는 VR/MR을 기반으로 동작하며 시스템의 핵심이 되는 구성요소이다. 지상 제어 장치(Ground Control Station; GCS)(100)는 3차원 도시공간 시각화부(101), 촬영영상 정합 및 시각화부(102), 촬영위치 및 자세 저작부(103), 비행 및 촬영경로 계산부(104), 촬영정보 송수신부(105)를 포함하여 구성될 수 있다.
3차원 도시공간 시각화부(101)는 서버에 재난현장에 대한 3차원 도시모델 데이터를 요청하여 그 결과를 VR/MR에 3차원 공간 및 객체로 시각화할 수 있다. 3차원 도시공간 시각화부(101) 내 가상현실 시각화 모듈은 가상공간에 가상객체를 시각화하고, 혼합현실 시각화 모듈은 현실공간에 홀로그램 형태의 가상객체를 정합해 시각화한다.
촬영위치 및 자세 저작부(103)에서는 3차원 도시공간 시각화부의 VR/MR 결과를 기반으로 촬영계획 즉, 드론의 촬영위치와 자세를 설정한다. 가상객체기반 저작모듈은 가상의 드론객체를 VR/MR 공간 상에 배치 후 방향을 전환하는 방식으로, 사용자 기반 저작 모듈은 사용자가 착용한 HMD의 센서정보를 이용해 사용자가 이동하여 바라보는 머리의 위치와 시선방향을 계산하는 방식으로 드론의 촬영위치와 자세를 설정한다.
비행 및 촬영경로 계산부(104)에서는 촬영위치 및 자세 저작부(103)에 의해 설정된 드론의 위치 및 자세 정보를 바탕으로 재난현장의 촬영경로와 현장까지의 출동 및 복귀경로를 계산할 수 있다. 촬영정보 송수신부(105)에서는 촬영위치 및 자세 저작부(103)에 의해 설정 및 계산된 드론의 촬영위치 및 자세 정보를 드론에게 송신한다. 또한 드론이 보내오는 촬영영상과 그에 매핑된 위치 및 자세 정보를 수신하여 촬영영상 정합 및 시각화부(102)에 전달하여 VR/MR 환경의 공간 및 객체에 정합되어 시각화되도록 하며, 동시에 서버로 전송하여 저장 및 향후에 활용되도록 한다.
촬영영상 정합 및 시각화부(102)는 촬영위치 및 자세가 매핑된 촬영영상을 VR/MR 환경의 3차원 가상공간 또는 객체에 직접 정합해 시각화할 수 있다.
도 6은 본 발명의 일 실시예에 따른 드론의 블록 구성도이다.
본 발명의 일 실시예에 따른 드론(또는 무인기, 무인체, 무인비행체)(200)은 현장영상 취득부(210), 촬영정보 송수신부(220), 비행 및 회피기동부(230)를 포함하여 구성될 수 있다.
드론은 촬영정보 송수신부(220)를 통해 지상 제어 장치(GCS)(100)로부터 비행 및 촬영할 위치와 자세 정보를 수신할 수 있다. 비행 및 촬영 관련 위치와 자세정보는 비행 및 회피기동부(230)에 전달되며, 비행 및 회피기동부(230)는 해당 정보에 기초한 제어를 통해 출동 및 복귀 비행, 현장촬영 비행, 위험 상황시 회피기동을 수행할 수 있다. 드론은 출동 및 복귀 비행, 촬영 비행을 수행하면서 현장영상 취득부(210)를 통해 현장영상을 취득하고 동시에 촬영위치 및 자세 정보를 매핑할 수 있다. 촬영위치 및 자세 정보는 촬영영상의 매 프레임별 또는 특정 프레임 간격이나 시간 간격에 따라 기록 및 매핑될 수 있다. 현장영상 및 해당 현장영상과 매핑되는 촬영위치 및 자세 정보는 촬영정보 송수신부(220)를 통해 지상 제어 장치(100)로 전달될 수 있다.
도 7은 본 발명의 일 실시예에 따라 재난상황을 관제하는 방법의 흐름도이다.
도 7에서는 지상 제어 장치(GCS)(100) 및 드론(200)의 동작 순서 및 이들 간에 이루어지는 동작 흐름을 도시한다.
재난상황이 발생하면(S710), GCS는 현장의 위치를 조회하고(S711), 해당 현장에 대한 3차원 공간 데이터를 서버에 요청한다(S712).
GCS는 서버로부터 수신한 3차원 공간 데이터를 이용해 3차원 도시공간 및 객체를 VR/MR 환경에 시각화한다(S713). 이후 GCS는 드론의 촬영위치 및 자세 저작 작업을 수행한다(S714). 여기서, 촬영위치 및 자세 저작 작업에는 시각화된 VR/MR 환경의 3차원 공간 및 객체를 기반으로 가상 드론 객체를 배치하는 방법 또는 사용자의 머리 위치 및 시선 방향 기반으로 드론의 촬영위치 및 자세를 저작하는 방법이 사용될 수 있다. 이어서 GCS는 설정된 촬영위치와 자세를 기반으로 비행 및 촬영경로를 계산하고(S715), 계산된 비행 및 촬영 계획을 드론으로 전송한다(S716).
대기(S750)하고 있던 드론은 GCS로부터 비행 및 촬영 계획 정보를 수신하고(S751) 출동 비행을 수행한다(S752). 이때, 드론은 비행하며 촬영한 영상과 촬영 위치에 대한 정보를 GCS로 송신한다. GCS는 드론으로부터 수신한 촬영영상과 위치를 시각화하며 드론의 출동상황을 확인한다(S717). 드론은 현장에 도착한 이후, 촬영 비행을 하며 영상을 취득하고 동시에 촬영영상에 촬영위치와 자세를 매핑하여 지상 제어 장치로 이들 결과를 송신한다(S753). GCS는 드론이 보고하는 재난 현장의 영상을 확인하고 현장상황을 관제할 수 있다(S718).
드론은 임무를 마친 후 복귀 비행을 수행하며(S754), 복귀 비행 중 촬영한 영상과 위치를 GCS로 계속 송신한다. GCS는 드론의 복귀상황을 확인한 후 상황을 종료한다(S719, S720).
도 8은 본 발명의 다른 실시예에 따른 지상 제어 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 지상 제어 장치는, 적어도 하나의 프로세서(110), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(120) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(130)를 포함할 수 있다.
상기 적어도 하나의 명령은, 재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령; 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령; 촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하도록 하는 명령; 비행 및 촬영 계획을 하나 이상의 드론에 제공하도록 하는 명령; 상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하도록 하는 명령; 및 상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하도록 하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 재난 상황이 발샘함에 따라 재난 현장의 위치를 조회하도록 하는 명령; 및 상기 재난 현장에 대한 3차원 공간 데이터를 관제 서버로부터 획득하도록 하는 명령을 더 포함할 수 있다.
상기 재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령은, 가상현실(Virtual Reality; VR) 또는 혼합현실(Mixed Reality; MR) 환경에서 3차원 공간 및 객체를 시각화하도록 하는 명령을 포함할 수 있다.
상기 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령은, 3차원 공간 상에 배치된 가상의 드론 객체를 기반으로, 또는 HMD(Head Mount Display)를 착용한 사용자의 자세를 기반으로 상기 드론의 촬영 위치 및 자세를 저작하도록 하는 명령을 포함할 수 있다.
상기 재난 현장에 대한 영상 및 관련 정보는, 재난 현장을 촬영한 영상, 해당 영상에 매칭되는 촬영 위치 및 드론의 자세에 대한 정보를 포함할 수 있다.
지상 제어 장치(100)는 또한, 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 지상 제어 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(110)는 메모리(120) 및 저장 장치(160) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 포함할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중 적어도 하나로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치에 의해 수행되는 재난 상황 관제 방법으로서,
    재난 현장에 대한 3차원 공간 및 객체를 시각화하는 단계;
    시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하는 단계;
    촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하는 단계;
    비행 및 촬영 계획을 하나 이상의 드론에 제공하는 단계;
    상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하는 단계; 및
    상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하는 단계를 포함하는, 재난 상황 관제 방법.
  2. 청구항 1에 있어서,
    재난 상황이 발샘함에 따라 재난 현장의 위치를 조회하는 단계; 및
    상기 재난 현장에 대한 3차원 공간 데이터를 관제 서버로부터 획득하는 단계를 더 포함하는, 재난 상황 관제 방법.
  3. 청구항 1에 있어서,
    상기 재난 현장에 대한 3차원 공간 및 객체를 시각화하는 단계는,
    가상현실(Virtual Reality; VR) 또는 혼합현실(Mixed Reality; MR) 환경에서 3차원 공간 및 객체를 시각화하는 단계를 포함하는, 재난 상황 관제 방법.
  4. 청구항 1에 있어서,
    상기 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하는 단계는,
    3차원 공간 상에 배치된 가상의 드론 객체를 기반으로, 또는 HMD(Head Mount Display)를 착용한 사용자의 자세를 기반으로 상기 드론의 촬영 위치 및 자세를 저작하는 단계를 포함하는, 재난 상황 관제 방법.
  5. 청구항 1에 있어서,
    상기 재난 현장에 대한 영상 및 관련 정보는,
    재난 현장을 촬영한 영상, 해당 영상에 매칭되는 촬영 위치 및 드론의 자세에 대한 정보를 포함하는, 재난 상황 관제 방법.
  6. 하나 이상의 드론과 연동하여 재난 상황을 관제하는 지상 제어 장치로서,
    프로세서; 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 명령은,
    재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령;
    시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령;
    촬영위치와 자세를 기반으로 비행 및 촬영 경로를 계산하도록 하는 명령;
    비행 및 촬영 계획을 하나 이상의 드론에 제공하도록 하는 명령;
    상기 하나 이상의 드론으로부터 재난 현장에 대한 영상 및 관련 정보를 수신하도록 하는 명령; 및
    상기 재난 현장에 대한 영상 및 관련 정보에 기초해 현장 상황을 관제하도록 하는 명령을 포함하는, 지상 제어 장치.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 명령은,
    재난 상황이 발샘함에 따라 재난 현장의 위치를 조회하도록 하는 명령; 및
    상기 재난 현장에 대한 3차원 공간 데이터를 관제 서버로부터 획득하도록 하는 명령을 더 포함하는, 지상 제어 장치.
  8. 청구항 6에 있어서,
    상기 재난 현장에 대한 3차원 공간 및 객체를 시각화하도록 하는 명령은, 가상현실(Virtual Reality; VR) 또는 혼합현실(Mixed Reality; MR) 환경에서 3차원 공간 및 객체를 시각화하도록 하는 명령을 포함하는, 지상 제어 장치.
  9. 청구항 6에 있어서,
    상기 시각화된 3차원 공간 및 객체를 기초로 촬영을 수행할 드론의 촬영 위치 및 자세를 저작하도록 하는 명령은,
    3차원 공간 상에 배치된 가상의 드론 객체를 기반으로, 또는 HMD(Head Mount Display)를 착용한 사용자의 자세를 기반으로 상기 드론의 촬영 위치 및 자세를 저작하도록 하는 명령을 포함하는, 지상 제어 장치.
  10. 청구항 6에 있어서,
    상기 재난 현장에 대한 영상 및 관련 정보는,
    재난 현장을 촬영한 영상, 해당 영상에 매칭되는 촬영 위치 및 드론의 자세에 대한 정보를 포함하는, 지상 제어 장치.
KR1020200067999A 2019-08-01 2020-06-05 드론 기반 재난상황 관제 방법 및 시스템 KR102384543B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190093786 2019-08-01
KR20190093786 2019-08-01

Publications (2)

Publication Number Publication Date
KR20210015624A true KR20210015624A (ko) 2021-02-10
KR102384543B1 KR102384543B1 (ko) 2022-04-08

Family

ID=74561614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200067999A KR102384543B1 (ko) 2019-08-01 2020-06-05 드론 기반 재난상황 관제 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102384543B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350668B1 (ko) * 2021-09-24 2022-01-12 주식회사 풍국 드론을 이용한 인공지능 기반의 조경작업용 스마트 사용자 상황 감시 시스템 및 방법
KR102597400B1 (ko) * 2022-11-15 2023-11-02 주식회사 유인프라웨이 디지털트윈 및 드론을 이용한 웹기반 구조물 영상 서비스 방법
CN117440140A (zh) * 2023-12-21 2024-01-23 四川师范大学 一种基于虚拟现实技术的多人异地过节服务系统
KR102664178B1 (ko) * 2024-02-07 2024-05-08 주식회사 유인프라웨이 디지털트윈 기반 영상 감시 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150005232A (ko) * 2013-07-05 2015-01-14 한국건설기술연구원 재난 신고 시스템
KR20170111933A (ko) * 2016-03-30 2017-10-12 한국과학기술연구원 임의 시점 렌더링을 위한 자동 항공 촬영 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20170143439A (ko) * 2016-06-21 2017-12-29 건국대학교 산학협력단 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법
KR20180131932A (ko) * 2017-06-01 2018-12-11 충남대학교산학협력단 드론과 공간정보를 이용한 하천지형정보 생성 방법
KR20190013176A (ko) * 2017-07-31 2019-02-11 한국전자통신연구원 드론을 이용한 구조물의 변화 탐지 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150005232A (ko) * 2013-07-05 2015-01-14 한국건설기술연구원 재난 신고 시스템
KR20170111933A (ko) * 2016-03-30 2017-10-12 한국과학기술연구원 임의 시점 렌더링을 위한 자동 항공 촬영 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20170143439A (ko) * 2016-06-21 2017-12-29 건국대학교 산학협력단 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법
KR20180131932A (ko) * 2017-06-01 2018-12-11 충남대학교산학협력단 드론과 공간정보를 이용한 하천지형정보 생성 방법
KR20190013176A (ko) * 2017-07-31 2019-02-11 한국전자통신연구원 드론을 이용한 구조물의 변화 탐지 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350668B1 (ko) * 2021-09-24 2022-01-12 주식회사 풍국 드론을 이용한 인공지능 기반의 조경작업용 스마트 사용자 상황 감시 시스템 및 방법
KR102597400B1 (ko) * 2022-11-15 2023-11-02 주식회사 유인프라웨이 디지털트윈 및 드론을 이용한 웹기반 구조물 영상 서비스 방법
CN117440140A (zh) * 2023-12-21 2024-01-23 四川师范大学 一种基于虚拟现实技术的多人异地过节服务系统
CN117440140B (zh) * 2023-12-21 2024-03-12 四川师范大学 一种基于虚拟现实技术的多人异地过节服务系统
KR102664178B1 (ko) * 2024-02-07 2024-05-08 주식회사 유인프라웨이 디지털트윈 기반 영상 감시 방법

Also Published As

Publication number Publication date
KR102384543B1 (ko) 2022-04-08

Similar Documents

Publication Publication Date Title
KR102384543B1 (ko) 드론 기반 재난상황 관제 방법 및 시스템
KR102275520B1 (ko) 현실 세계를 대표하는 실시간 3d 가상 세계 내에서 실시간 3d 가상 객체의 양방향 실시간 대화형 오퍼레이션
US11196964B2 (en) Merged reality live event management system and method
US9947230B2 (en) Planning a flight path by identifying key frames
US9928649B2 (en) Interface for planning flight path
US10532814B2 (en) Augmented reality travel route planning
CN109561282B (zh) 一种用于呈现地面行动辅助信息的方法与设备
CN109459029B (zh) 一种用于确定目标对象的导航路线信息的方法与设备
WO2012018497A2 (en) ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
CN105573341A (zh) 一种飞行器光学控制方法及系统
WO2020236315A1 (en) Real-world object recognition for computing device
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN110062916A (zh) 用于模拟可移动平台的操作的视觉模拟系统
CN111443723A (zh) 一种无人机第三视角视景生成和显示程序
KR102319649B1 (ko) 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치
JP2022507715A (ja) 測量方法、装置及びデバイス
CN111885366A (zh) 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备
Ai et al. Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
US11210843B1 (en) Virtual-world simulator
CN111968221A (zh) 基于温度场与实景视频流的双模式三维建模方法及装置
US20220358725A1 (en) Digital mission preparation system
JP2021035002A (ja) 画像特定システムおよび画像特定方法
EP3882846B1 (en) Method and device for collecting images of a scene for generating virtual reality data
KR101781900B1 (ko) 홀로그램 영상 제공 시스템 및 방법
KR102181809B1 (ko) 시설물 점검 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant