KR101948792B1 - 증강 현실을 이용한 무인 항공기 운용 방법 및 장치 - Google Patents

증강 현실을 이용한 무인 항공기 운용 방법 및 장치 Download PDF

Info

Publication number
KR101948792B1
KR101948792B1 KR1020180054613A KR20180054613A KR101948792B1 KR 101948792 B1 KR101948792 B1 KR 101948792B1 KR 1020180054613 A KR1020180054613 A KR 1020180054613A KR 20180054613 A KR20180054613 A KR 20180054613A KR 101948792 B1 KR101948792 B1 KR 101948792B1
Authority
KR
South Korea
Prior art keywords
information
image
flight
computer
augmented reality
Prior art date
Application number
KR1020180054613A
Other languages
English (en)
Inventor
이승엽
정재호
이민호
고인석
Original Assignee
(주)제타럭스시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제타럭스시스템 filed Critical (주)제타럭스시스템
Priority to KR1020180054613A priority Critical patent/KR101948792B1/ko
Application granted granted Critical
Publication of KR101948792B1 publication Critical patent/KR101948792B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실을 이용한 무인 항공기 운용 방법 및 장치가 개시된다. 증강 현실을 이용한 무인 항공기 운용 방법은 비행 관제 컴퓨터가 비행 계획 컴퓨터로부터 업무 계획 정보를 수신하는 단계와 비행 관제 컴퓨터가 비행 관리 컴퓨터로부터 무인 항공기로부터 수신한 촬영 영상 정보 및 실시간 무인 항공기 정보를 수신하는 단계를 포함할 수 있되, 업무 계획 정보는 비행 계획 정보, 업무 정보, 영상 촬영 계획 정보 중 적어도 하나의 정보를 포함하고, 비행 관리 컴퓨터 상에서는 촬영 영상 정보를 기반으로 생성된 증강 현실 기반의 영상이 출력될 수 있다.

Description

증강 현실을 이용한 무인 항공기 운용 방법 및 장치{Method and apparatus for employing unmanned aerial vehicle based on augmented reality}
본 발명은 무인 항공기 운용 방법에 관한 것으로서, 보다 상세하게는 증강 현실을 이용한 무인 항공기 운용 방법 및 장치에 관한 것이다.
항공기 산업은 다양한 기술이 결합된IT(information technology) 융합 산업이며, 최신 항공기는 경량 소재, 전자제어, 인공센서, 무선통신 기술과 항공기술의 융합체이다. 더욱이 조종사가 탑승하지 않고, 획득되는 정보를 실시간으로 지상 여러 장소에 있는 사용자에게 실시간으로 제공할 수 있는 무인항공기의 경우 그 자체가 IT융합의 집합체라 하기에 부족함이 없을 정도로 타 분야와의 연관성이 아주 높은 산업이다.
무인항공기 단독으로는 어떠한 임무도 수행할 수 없으며, 통신장비, 지상통제장비, 운용시스템 및 지원시스템이 어우러져야 임무를 수행할 수 있기 때문에 최근에는 무인 항공기(UAV)뿐만 아니라 무인 항공기 시스템(UAS), 무인항공기 통제장비(Ground Control System) 또한 무인항공기 통제소(Ground Control Station)라는 확대 개념이 사용되고 있다.
KR 10-2015-0031074
본 발명의 일 측면은 증강 현실을 이용한 무인 항공기 운용 방법을 제공한다.
본 발명의 다른 측면은 증강 현실을 이용한 무인 항공기 운용 방법을 수행하는 장치를 제공한다.
본 발명의 일 측면에 따른 증강 현실을 이용한 무인 항공기 운용 방법은 비행 관제 컴퓨터가 비행 계획 컴퓨터로부터 업무 계획 정보를 수신하는 단계와 상기 비행 관제 컴퓨터가 비행 관리 컴퓨터로부터 무인 항공기로부터 수신한 촬영 영상 정보 및 실시간 무인 항공기 정보를 수신하는 단계를 포함할 수 있되, 상기 업무 계획 정보는 비행 계획 정보, 업무 정보, 영상 촬영 계획 정보 중 적어도 하나의 정보를 포함하고, 상기 비행 관리 컴퓨터 상에서는 상기 촬영 영상 정보를 기반으로 생성된 증강 현실 기반의 영상이 출력될 수 있다.
한편, 상기 비행 계획 컴퓨터는 지리 정보 기반 비행 계획을 수립하고, 상기 지리 정보 기반 비행 계획의 수립은, 상기 비행 계획 컴퓨터가 지적 기준과 폴리곤 기준을 검색하는 단계, 상기 비행 계획 컴퓨터가 상기 무인 항공기의 카메라 정보 기반 촬영 환경을 분석하는 단계와 상기 비행 계획 컴퓨터가 상기 무인 항공기에 대한 높이 설정, 촬영 위치 설정 및 경로 설정하는 단계를 포함할 수 있다.
또한, 상기 비행 계획 컴퓨터는 경로 정보와 영상 정보를 동기화하고, 상기 동기화는, 프레임/초로 분할된 촬영 영상 정보, 위치/초로 분할된 촬영 비행 경로 정보 및 상기 지리 정보 기반 비행 계획 정보를 기반으로 수행될 수 있다.
또한, 상기 증강 현실 기반의 영상은 복수의 영상 레이어를 포함하고, 상기 복수의 영상 레이어는 영상 정보 레이어, 증강 현실 정보 레이어 및 드론 정보 레이어를 포함할 수 있다.
본 발명의 일 측면에 따른 증강 현실을 이용한 무인 항공기 운용 시스템은 비행 관제 컴퓨터를 포함하고, 상기 비행 관제 컴퓨터는 비행 계획 컴퓨터로부터 업무 계획 정보를 수신하고, 비행 관리 컴퓨터로부터 무인 항공기로부터 수신한 촬영 영상 정보 및 실시간 무인 항공기 정보를 수신하도록 구현될 수 있고, 업무 계획 정보는 비행 계획 정보, 업무 정보, 영상 촬영 계획 정보 중 적어도 하나의 정보를 포함하고, 비행 관리 컴퓨터 상에서는 상기 촬영 영상 정보를 기반으로 생성된 증강 현실 기반의 영상이 출력될 수 있다.
한편, 상기 비행 계획 컴퓨터는 지리 정보 기반 비행 계획을 수립하고, 상기 지리 정보 기반 비행 계획의 수립은, 상기 비행 계획 컴퓨터가 지적 기준과 폴리곤 기준을 검색하고, 상기 비행 계획 컴퓨터가 상기 무인 항공기의 카메라 정보 기반 촬영 환경을 분석하고, 상기 비행 계획 컴퓨터가 상기 무인 항공기에 대한 높이 설정, 촬영 위치 설정 및 경로 설정하여 수행될 수 있다.
또한, 상기 비행 계획 컴퓨터는 경로 정보와 영상 정보를 동기화하고, 상기 동기화는, 프레임/초로 분할된 촬영 영상 정보, 위치/초로 분할된 촬영 비행 경로 정보 및 상기 지리 정보 기반 비행 계획 정보를 기반으로 수행될 수 있다.
또한, 상기 증강 현실 기반의 영상은 복수의 영상 레이어를 포함하고, 상기 복수의 영상 레이어는 영상 정보 레이어, 증강 현실 정보 레이어 및 드론 정보 레이어를 포함할 수 있다.
본 발명의 실시예에 따른 증강 현실을 이용한 무인 항공기 운용 방법 및 장치는 무인 항공기 촬영 영상에 상황 인식 컴퓨팅 증강현실(context-aware computing augmented reality) 기술을 활용하여 실시간으로 종합적인 상황을 증강 현실을 기반으로 전달하여 이를 기반으로 보다 정확하고 빠른 의사 결정이 진행될 수 있다.
또한, 단순한 영상 촬영뿐만 아니라 공공 분야에서는 인프라 관리, 재난 구조, 불법 행위 색출/추적, 민간 부분에서는 농업 부분, 신기술 부분에는 IoT 모니터링 및 빅데이터 분석 데이터수집 등의 다양한 서비스가 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 증강 현실을 이용한 무인 항공기 운용 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 무인 항공기 운용 시스템을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 무인 항공기 운용 시스템을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 지리정보기반 비행 계획 수립 기술을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 지리정보기반 비행 계획 수립 기술을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 증강 현실을 활용한 업무 정보 표출 기술을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 무인 항공기의 경로 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 증강 현실 영상을 생성하기 위한 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
즉, 애초에 군사적인 목적으로 개발된 무인 항공기는 적진을 정찰하고 전국에 대한 정보 수집 임무를 위하여 사용되었지만, 다양한 과학 기술의 발달에 따라 군용보다는 상업용 또는 개인적인 용도에서 그 활용도가 점차 넓어지고 있다. 다양한 IT(information technology) 및 과학 기술이 새로 개발되고 기존의 기술 또한 점차 발전하면서 이를 무인 항공기에 적용하면서 무인 항공기가 사용되는 분야가 점점 확대되고 있다.
최근 무인 항공기는 휴대성, 신속성, 효율성, 안정성, 경제성의 장점을 기반으로 국경 순찰, 지형 및 시설물 공중 촬영, 산불/산림 감시, 범죄 색출, 방제, 재해 예방, 재난 구조 등의 활용되고 있으며, 점차 활용 범위 및 활용 방법이 다양화 될 것으로 예상된다.
다양한 센서와 카메라 등의 하드웨어의 발달로 드론의 활용성은 높아지고 있으나 하드웨어적인 기능성 기술 부분으로 집중된 발전으로 인하여 다양한 업무에 적용보다는 항공 영상 촬영 업무에 집중이 되어 있으며, 1차 저장된 항공 영상을 타 업무에 활용하는 이중적인 업무 활용에 무인 항공기의 활용이 한계점이 나타나고 있다.
각 업무에서 필요한 촬영 영상이나 화면 정보가 달라 1차 촬영된 무인 항공기의 영상과 상이할 경우 재촬영이 이루어져야 하는 업무의 중복성이 높아져 업무 효율이 떨어지고 이로 인한 비용이 추가로 발생하여 실제 업무를 위해 구입한 무인 항공기에 대한 활용 여부를 미루는 경우가 다수 발생한다.
최근 사물 인터넷(IoT, Internet of Things), 빅데이터(Big Data) 분석의 발달로 다양한 업무 영역으로 확대되어, 이를 무인 항공기의 촬영된 영상과 접목할 수 있는 시스템의 요구가 증가하고 있다.
현재 무인 항공기는 원래 개발 목적이었던 촬영 및 감시, 관측 등에서 활용 범위가 넓어지고 있으나 단순 촬영 업무에 집중되어 있어, 효과적인 업무 활용을 위한 기술 개발 및 플랫폼의 확충이 요구되고 있다.
본 발명의 실시예에 따른 증강 현실을 이용한 무인 항공기 운용 방법 및 장치에서는 업무 활용을 위한 항공 실사 이미지를 얻기 위하여 소형 무인 항공기 촬영 영상과 사용자가 미리 설정한 비행 경로, 이미 데이터화된 업무 정보, 공공 데이터, 공간 정보를 혼합하여 업무에 필요한 지적 정보 및 POI, 사진 촬영 임무 정보, 공간 정보의 배치 상태 및 정보를 그림이나 문자로 표현된 가상 이미지를 생성할 수 있다. 또한, 스마트 타블렛 그래픽스 기술 및 가시화 방법을 이용하여 필요한 정보를 가시화 하고, 소형 무인항공기(드론)의 센서 정보 (IMU(Inertial measurement unit), GPS(Global Positioning System), 고도) 정보를 활용하여 촬영 대상의 절대 위치와 그 위치, 주변 정보를 상기 가시화하는 과정을 통하여 실사 이미지와 합성하여 증강 현실 데이터로 변환 후 사용자 인터페이스를 통하여 소형 무인항공기의 이동에 따라 변하는 실사 이미지와 증강 현실 이미지를 동기화하여 표출할 수 있다.
도 1은 본 발명의 실시예에 따른 증강 현실을 이용한 무인 항공기 운용 방법을 나타낸 개념도이다.
기존의 무인 항공기 업무 프로세스는 업무 요청, 비행 계획 수립, 현장 업무, 내부 업무를 구분하여 진행되었다. 이로 인해 업무 효율은 떨어지고, 실제 업무에서 활용하는 소형 무인 항공기는 극소수이다. 이러한 문제점을 해결하기 위해 본 발명에서는 실시간으로 촬영된 영상에 대한 영상 판독 및 영상 저장이 수행될 수 있다.
도 1을 참조하면, 업무 계획 정보를 가지는 무인 항공기가 촬영 장소로 이동할 수 있다.
촬영 장소로 이동한(S100) 무인 항공기는 영상 촬영을 수행할 수 있고(S110), 영상 촬영된 결과에 대한 영장 저장 및 영상 판독(S120)은 실시간으로 진행될 수 있다. 실시간으로 수행된 영상 저장 및 영상 판독 결과를 기반으로 촬영 오류가 판단되고, 촬영 오류가 존재하는 경우, 재촬영이 수행될 수 있다(S130). 재촬영 이후, 업무를 종료할 수 있다.
도 2는 본 발명의 실시예에 따른 무인 항공기 운용 시스템을 나타낸 개념도이다.
도 2를 참조하면, 무인 항공기 운용 시스템은 비행 계획 컴퓨터(200), 비행 관제 컴퓨터(220), 비행 관리 컴퓨터(240) 및 무인 항공기(260)를 포함할 수 있다.
비행 계획 컴퓨터(200)는 무인 항공기의 활용을 위한 비행 계획, 촬영 계획, 필요 업무 정보 연계 등을 수행하기 위해 구현될 수 있다.
비행 관제 컴퓨터(220)는 비행 계획 및 연계 업무 정보를 저장하고, 비행 계획에 필요한 정보를 제공하며 무인 항공기의 비행에 필요한 정보를 제공하기 위해 구현될 수 있다. 또한, 무인 항공기의 정보와 로그 정보를 저장하여 무인 항공기를 관리하도록 할 수 있다.
비행 관리 컴퓨터(240)는 FCS(Flight Control System)와 연계하여 무인 항공기 활용을 위한 비행 계획, 촬영 계획, 필요 업무 정보 연계 등을 증강 현실 기술을 통하여 확인하고 무인 항공기 컨트롤과 촬영 정보를 연계하기 위해 구현될 수 있다.
무인 항공기(260)는 항공 영상을 촬상하고, 항공 영상을 비행 관리 컴퓨터(240)로 제공할 수 있다.
비행 계획 컴퓨터(200)는 비행 관제 컴퓨터(220)로 비행 계획 정보, 업무 정보 및 영상 촬영 계획 정보를 전송할 수 있다. 비행 관제 컴퓨터(220)는 비행 계획 컴퓨터(200)로 비행 수행 정보, 촬영 영상 정보, 업무 정보 및 촬영 드론 정보를 전송할 수 있다.
비행 관리 컴퓨터(240)는 비행 관제 컴퓨터(220)로 촬영 영상 정보와 실시간 드론 정보를 전송할 수 있다.
도 3은 본 발명의 실시예에 따른 무인 항공기 운용 시스템을 나타낸 개념도이다.
도 3을 참조하면, 지리 정보 기반 비행 계획 수립 기술(300) 및 증강 현실을 활용한 업무 정보 표출 기술(320)을 기반으로 무인 항공기 기반 서비스가 제공될 수 있다.
지리 정보 기반 비행 계획 수립 기술(300)은 공간 정보 데이터베이스, 공간 정보 분석 기술 및 영상 촬영 기술을 기반으로 구현될 수 있다.
우선 지적도 및 주제도에 대한 정보를 기반으로 지적 기준 및 주제도 폴리곤 기준 검색을 수행할 수 있다. 또한, 무인 항공기 카메라 정보를 기반으로 촬영 환경에 대한 분석을 수행할 수 있고, 촬영 환경에 대한 분석을 기반으로 무인 항공기의 높이, 촬영 위치, 경로에 대한 설정을 수행할 수 있다.
또한, 무인 항공기의 경로 정보를 수신하고, 촬영 동영상 및 영상 프레임에 대한 분석을 통해 경로 변화에 따른 영상 프레임 동기화가 진행될 수 있다. 이러한 방법을 통해 사용자 설정에 따른 주제도 기반 영상 추출이 진행될 수 있다.
증강 현실을 이용한 업무 정보 표출 기술(320)은 공간 정보 데이터베이스, 업무 정보 데이터베이스 및 증강 현실 기술을 기반으로 구현될 수 있다.
증강 현실을 활용한 업무 정보 표출 기술(320)에서는 FCS에서 비행 경로 및 업무 정보를 수신할 수 있다. 이후, 무인 항공기 영상 및 무인 항공기 위치 정보, 무인 항공기 카메라 정보 등을 수신할 수 있다. 이후 모바일 화면 내 증강 현실 기반 정보를 융합하고 표출할 수 있다. 이후, 표출된 정보는 FCS 정보에 연계될 수 있다.
도 4는 본 발명의 실시예에 따른 지리정보기반 비행 계획 수립 기술을 나타낸 개념도이다.
도 4를 참조하면, 비행 계획 컴퓨터를 활용하여 공간 정보인 주제도(지적도 등)의 객체 정보 및 속성 정보를 기반으로 비행 계획 및 촬영 계획이 수립될 수 있다. 지오-스파셜 분석(geo-spatial analysis)과 소형 무인 항공기의 카메라 정보를 활용하여 촬영 계획 수립시 무인 항공기의 위치 및 고도를 설정하고 자동 촬영이 수행되도록 할 수 있다.
비행 계획 컴퓨터는 주제도 정보, 속성 정보 및 카메라 정보를 수신하고, 주제도 정보, 속성 정보 및 카메라 정보를 기반으로 비행 계획 및 촬영 계획을 수립할 수 있다(S400).
이후, 주제도 정보, 속성 정보 및 카메라 정보를 기반의 비행 계획 및 촬영 계획을 통해 좌표/지적/업무 정보 기반의 검색을 수행할 수 있다(S410).
구체적으로 카메라 헤딩 벨류(camera heading value), 카메라 위치(camera position, 위경도), 카메라 높이(height)에 대한 정보를 기반으로 비행 계획 및 촬영 계획을 수립할 수 있다.
이후 전술한 바와 같이 지오-스파셜 분석을 수행하고(S420), 지오-스파샬 분석을 기반으로 비행 경로를 저장하고 이벤트를 저장할 수 있다(S430).
도 5는 본 발명의 실시예에 따른 지리정보기반 비행 계획 수립 기술을 나타낸 개념도이다.
도 5를 참조하면, 무인 항공기와 비행 관제 컴퓨터를 기반으로 소형 무인 항공기에서 촬영된 영상(동영상)과 비행 경로를 활용하여 영상 초당 프레임의 수와 무인 항공기의 초당 위치 정보를 산출하여 영상과 무인 항공기의 위치 이동을 동기화하기 위한 방법이 개시된다.
비행 관제 컴퓨터는 비행 계획 정보(540), 촬영 비행 경로 정보(520) 및 촬영 영상 정보(500)를 기반으로 영상과 무인 항공기의 위치를 동기화할 수 있다.
촬영 영상 정보(500)는 프레임/초 단위로 분리될 수 있고, 촬영 비행 경로 정보(520)는 위치/초로 생성될 수 있고, 비행 계획 정보(540)는 참조될 수 있다.
이러한 정보의 분할을 기반으로 영상 정보와 경로 정보가 동기화될 수 있다.
도 6은 본 발명의 실시예에 따른 증강 현실을 활용한 업무 정보 표출 기술을 나타낸 개념도이다.
도 6을 참조하면, 비행 관리 컴퓨터(620)를 기반으로 공간 정보인 주제도(예를 들어, 지적도) 등의 객체 정보 및 속성 정보와 소형 무인 항공기의 촬영 영상이 혼합되어 증강 현실 형태로 표현될 수 있다.
객체 정보 및 속성 정보 이외의 경로 정보, 이전 경로 정보, 이전 업무 정보 등의 현장 업무자에게 도움이 될 수 있는 정보를 표출하여 현장 업무를 지원할 수 있다.
비행 관제 컴퓨터(600)는 주제도 정보, 업무 정보, 연계 정보, 속성 정보 및 공공 데이터 정보를 수신할 수 있고, 비행 관제 컴퓨터는 설정 연계 정보를 비행 관리 컴퓨터로 전송할 수 있다. 비행 관리 컴퓨터는 무인 항공기로부터 촬영 영상 정보, 센서 정보(GPS, 높이 카메라, 엥글값, 줌 등)을 수신할 수 있다.
비행 관리 컴퓨터는 수신한 정보를 기반으로 복수의 레이어를 생성하여 하나의 영상을 생성할 수 있다. 예를 들어, 영상 정보, 증강 현실 정보 및 드론 정보를 결합하여 하나의 영상 정보가 생성될 수 있다.
도 7은 본 발명의 실시예에 따른 무인 항공기의 경로 예측 방법을 나타낸 개념도이다.
도 7에서는 무인 항공기의 경로와 무인 항공기 영상을 매칭하기 위한 방법이 개시된다.
도 7을 참조하면, 무인 항공기의 영상과 경로를 매칭하기 위해서 영상을 분할하는 방법이 개시된다.
영상은 다양한 단위로 분할되고, 분할된 단위별로 매칭 동작이 수행될 수 있다. 즉 경로 분할(750), 영상 분할(700)을 통해 경로별 영상 매칭이 수행될 수 있다.
예를 들어, 경로가 1km 인 경우, 1km가 복수의 단위로 분할되고, 복수의 거리 단위별 영상이 매칭될 수 있다. 비행 관제 컴퓨터는 수신 영상을 분할하여 복수의 거리 단위 각각에 매칭되는 복수의 영상 각각에 대하여 분할을 수행할 수 있다. 복수의 거리 단위는 영상의 속성 또는 지리적인 경계 등을 고려하여 결정될 수도 있다. 예를 들어, 영상 내부의 객체에 대한 정보를 고려하여 영상의 변화도를 결정할 수 있고, 영상의 변화 정도를 고려하여 분할되는 거리 단위가 서로 다르게 결정될 수 있다. 영상 변화 정도가 상대적으로 클수록 분할되는 거리 단위가 크고, 영상 변화 정도가 상대적으로 작을수록 분할되는 거리 단위가 작아질 수 있다.
이뿐만 아니라, 기존에 무인 항공기의 급격한 위치 변화로 인해 영상의 변화가 심할 경우, 영상에 대한 예측도 수행될 수 있다. 예를 들어, 외부 환경적인 요인(예를 들어, 바람)으로 인해 무인 항공기의 위치가 제1 위치에서 제2 위치로 변화되는 경우, 제1 위치에서 제2 위치로 급격하게 변화되어 촬상된 영상이 급격히 흔들리는 경우, 제1 위치에서 촬상된 영상과 제2 위치에서 촬상된 영상 간의 보정을 통해서 보다 자연스러운 영상을 생성할 수 있다. 비행 관제 컴퓨터는 급격한 위치 변화가 이루어진 지역에 대한 영상을 분석하여 영상의 흔들림 정보를 산출하고 일정 흔들림 이상이 발생한 경우, 영상 보정을 수행할 수 있고, 영상 보정을 수행한 결과 영상과 보정 전 영상을 비교하여 보다 자연스러운 영상을 선택하여 최종 영상으로 생성할 수 있다.
또한 비행 경로의 정확도를 향상 시키기 위해 무인 항공기의 속도를 고려하여 경로 정보와 매칭 여부에 대해서도 판단할 수 있다. GPS를 기반으로 결정된 위치와 무인 항공기의 속도를 고려하여 경로 간의 매칭을 통해 현재 경로 정보의 정확도를 판단할 수 있다. 현재 경로 정보의 정확도가 임계값 이하인 경우, 속도 정보를 고려한 경로와 GPS 기반 경로를 모두 고려하여 무인 항공기의 현재 경로를 결정할 수 있다.
도 8은 본 발명의 실시예에 따른 증강 현실 영상을 생성하기 위한 방법을 나타낸 개념도이다.
도 8에서는 증강 현실 영상을 무인 항공기 촬상 화면에 추가하기 위한 방법이 개시된다.
도 8을 참조하면, 증강 현실 영상에 무인 항공기 촬상 화면을 추가하기 위해서 무인 항공기에 의해 촬상된 화면의 객체에 대한 판단을 수행할 수 있다.
예를 들어, A라는 객체에 증강 현실 영상이 추가되어야 한다면, 객체 A에 대한 판단이 수행될 수 있다. 객체 A에 대한 판단 이후, 객체A에 증강 현실 영상을 추가하기 위해 객체 A에 대한 트래킹이 수행될 수 있다.
무인 항공기(800)의 위치 변화 및 객체의 영상 상에서의 위치에 따라 증강 현실 영상의 크기를 변화시킬 수 있다. 예를 들어, 무인 항공기(800)의 위치 변화, 속도 변화를 기반으로 무인 항공기 영상에서 객체의 모양 변화를 예측할 수 있고, 객체의 모양 변화를 예측하여 그에 따라 증강 현실 영상을 변화시킬 수 있다. 변화시킨 결과가 객체와 대응되는지 여부를 추가적으로 검토하고 최종적인 보정 절차를 통해 객체에 증강 현실 영상을 추가할 수 있다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 증강 현실을 이용한 무인 항공기 운용 방법은,
    비행 관제 컴퓨터가 비행 계획 컴퓨터로부터 업무 계획 정보를 수신하는 단계; 및
    상기 비행 관제 컴퓨터가 비행 관리 컴퓨터로부터 무인 항공기로부터 수신한 촬영 영상 정보 및 실시간 무인 항공기 정보를 수신하는 단계를 포함하되,
    상기 업무 계획 정보는 비행 계획 정보, 업무 정보, 영상 촬영 계획 정보 중 적어도 하나의 정보를 포함하고,
    상기 비행 관리 컴퓨터 상에서는 상기 촬영 영상 정보를 기반으로 생성된 증강 현실 기반의 영상이 출력되며,
    상기 비행 계획 컴퓨터는 지리 정보 기반 비행 계획을 수립하고,
    상기 지리 정보 기반 비행 계획의 수립은,
    상기 비행 계획 컴퓨터가 지적 기준과 폴리곤 기준을 검색하는 단계;
    상기 비행 계획 컴퓨터가 상기 무인 항공기의 카메라 정보 기반 촬영 환경을 분석하는 단계; 및
    상기 비행 계획 컴퓨터가 상기 무인 항공기에 대한 높이 설정, 촬영 위치 설정 및 경로 설정하는 단계를 포함하며,
    상기 비행 계획 컴퓨터는 경로 정보와 영상 정보를 동기화하고,
    상기 동기화는,
    프레임/초로 분할된 촬영 영상 정보, 위치/초로 분할된 촬영 비행 경로 정보 및 상기 지리 정보 기반 비행 계획 정보를 기반으로 수행되며,
    상기 비행 관제 컴퓨터는 상기 무인 항공기의 경로에 대한 복수의 거리 단위 각각에 매칭되는 복수의 영상 각각에 대해 분할을 수행하되, 복수의 거리 단위는 영상 내부의 객체 정보에 따라 결정된 영상의 변화 정도를 고려하여 서로 다르게 결정되고,
    상기 비행 관제 컴퓨터는 영상의 흔들림 정보를 산출하되, 해당 흔들림 정보가 일정 흔들림 이상인 경우, 영상 보정을 수행한 후, 영상 보정을 수행한 보정 후 영상과 보정 전 영상을 비교하여 어느 하나를 촬영 영상으로 선택하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 증강 현실 기반의 영상은 복수의 영상 레이어를 포함하고,
    상기 복수의 영상 레이어는 영상 정보 레이어, 증강 현실 정보 레이어 및 드론 정보 레이어를 포함하는 것을 특징으로 하는 방법.
  5. 증강 현실을 이용한 무인 항공기 운용 시스템에 있어서,
    상기 무인 항공기 운용 시스템은 비행 관제 컴퓨터를 포함하고,
    상기 비행 관제 컴퓨터는 비행 계획 컴퓨터로부터 업무 계획 정보를 수신하고,
    비행 관리 컴퓨터로부터 무인 항공기로부터 수신한 촬영 영상 정보 및 실시간 무인 항공기 정보를 수신하도록 구현되고,
    상기 업무 계획 정보는 비행 계획 정보, 업무 정보, 영상 촬영 계획 정보 중 적어도 하나의 정보를 포함하고,
    상기 비행 관리 컴퓨터 상에서는 상기 촬영 영상 정보를 기반으로 생성된 증강 현실 기반의 영상이 출력되고,
    상기 비행 계획 컴퓨터는 지리 정보 기반 비행 계획을 수립하고,
    상기 지리 정보 기반 비행 계획의 수립은,
    상기 비행 계획 컴퓨터가 지적 기준과 폴리곤 기준을 검색하고,
    상기 비행 계획 컴퓨터가 상기 무인 항공기의 카메라 정보 기반 촬영 환경을 분석하고,
    상기 비행 계획 컴퓨터가 상기 무인 항공기에 대한 높이 설정, 촬영 위치 설정 및 경로 설정하여 수행되고,
    상기 비행 계획 컴퓨터는 경로 정보와 영상 정보를 동기화하고,
    상기 동기화는,
    프레임/초로 분할된 촬영 영상 정보, 위치/초로 분할된 촬영 비행 경로 정보 및 상기 지리 정보 기반 비행 계획 정보를 기반으로 수행되고,
    상기 비행 관제 컴퓨터는 상기 무인 항공기의 경로에 대한 복수의 거리 단위 각각에 매칭되는 복수의 영상 각각에 대해 분할을 수행하되, 복수의 거리 단위는 영상 내부의 객체 정보에 따라 결정된 영상의 변화 정도를 고려하여 서로 다르게 결정되고,
    상기 비행 관제 컴퓨터는 영상의 흔들림 정보를 산출하되, 해당 흔들림 정보가 일정 흔들림 이상인 경우, 영상 보정을 수행한 후, 영상 보정을 수행한 보정 후 영상과 보정 전 영상을 비교하여 어느 하나를 촬영 영상으로 선택하는 것을 특징으로 하는 무인 항공기 운용 시스템.
  6. 삭제
  7. 삭제
  8. 제5항에 있어서,
    상기 증강 현실 기반의 영상은 복수의 영상 레이어를 포함하고,
    상기 복수의 영상 레이어는 영상 정보 레이어, 증강 현실 정보 레이어 및 드론 정보 레이어를 포함하는 것을 특징으로 하는 무인 항공기 운용 시스템.
KR1020180054613A 2018-05-14 2018-05-14 증강 현실을 이용한 무인 항공기 운용 방법 및 장치 KR101948792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180054613A KR101948792B1 (ko) 2018-05-14 2018-05-14 증강 현실을 이용한 무인 항공기 운용 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180054613A KR101948792B1 (ko) 2018-05-14 2018-05-14 증강 현실을 이용한 무인 항공기 운용 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101948792B1 true KR101948792B1 (ko) 2019-02-15

Family

ID=65367409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180054613A KR101948792B1 (ko) 2018-05-14 2018-05-14 증강 현실을 이용한 무인 항공기 운용 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101948792B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094730A (ko) * 2020-01-22 2021-07-30 에스케이 주식회사 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583723B1 (ko) * 2015-01-16 2016-01-08 단국대학교 산학협력단 Bim 디지털 모델과 건설 현장의 양방향 동기화 시스템
KR101720132B1 (ko) * 2016-03-17 2017-03-27 주식회사 엔토소프트 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템
JP2018030407A (ja) * 2016-08-23 2018-03-01 株式会社日立製作所 搬送システム及び搬送方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583723B1 (ko) * 2015-01-16 2016-01-08 단국대학교 산학협력단 Bim 디지털 모델과 건설 현장의 양방향 동기화 시스템
KR101720132B1 (ko) * 2016-03-17 2017-03-27 주식회사 엔토소프트 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템
JP2018030407A (ja) * 2016-08-23 2018-03-01 株式会社日立製作所 搬送システム及び搬送方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094730A (ko) * 2020-01-22 2021-07-30 에스케이 주식회사 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템
KR102289550B1 (ko) 2020-01-22 2021-08-12 에스케이 주식회사 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Similar Documents

Publication Publication Date Title
Yahyanejad et al. Incremental mosaicking of images from autonomous, small-scale uavs
US8797400B2 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US8331611B2 (en) Overlay information over video
US8902308B2 (en) Apparatus and method for generating an overview image of a plurality of images using a reference plane
US8229163B2 (en) 4D GIS based virtual reality for moving target prediction
US11415986B2 (en) Geocoding data for an automated vehicle
US20120019522A1 (en) ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
CN106056075A (zh) 基于无人机的社区网格化中重点人员识别及跟踪系统
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
US11403822B2 (en) System and methods for data transmission and rendering of virtual objects for display
CN102937443A (zh) 一种基于无人机的目标快速定位系统及方法
US20110234796A1 (en) System and Method for Automatically Merging Imagery to Provide Enhanced Situational Awareness
US20200064133A1 (en) Information processing device, aerial photography route generation method, aerial photography route generation system, program, and storage medium
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
KR101948792B1 (ko) 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
CN107357936A (zh) 一种自动融合多源图像以提供增强的情境感知系统及方法
US11947354B2 (en) Geocoding data for an automated vehicle
KR20210113520A (ko) 교량 점검용 드론 시스템
US20160012290A1 (en) Photo-Optic Comparative Geolocation System
KR102181809B1 (ko) 시설물 점검 장치 및 방법
Salamí et al. Real-time data processing for the airborne detection of hot spots
JP7130409B2 (ja) 管制装置
Nurminen OBLIQUE AERIAL PHOTOGRAPHS-AN" OLD-NEW" DATA SOURCE.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant