KR20190139381A

KR20190139381A - 증강현실을 이용한 무인기 관리 시스템

Info

Publication number: KR20190139381A
Application number: KR1020180065766A
Authority: KR
Inventors: 최기영; 김정용; 박종현; 오태권; 이소미; 김세준
Original assignee: 인하대학교 산학협력단
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2019-12-18
Also published as: KR102068500B1

Abstract

본 발명은 증강현실을 이용한 무인기 관리 시스템에 관한 것으로서, 더욱 상세하게는 빌딩과 같은 복잡한 곳에서도 무인기의 정확한 위치를 파악할 수 있으며, 증강현실 방식으로 등록된 무인기의 정보를 감시용 단말기를 통하여 확인할 수 있어 허가되지 않은 불법 무인기를 정확하고 신속하게 단속할 수 있게 하는 증강현실을 이용한 무인기 관리 시스템에 관한 것이다.
상기한 목적을 달성하기 위한 본 발명은 GPS가 구비되는 무인기와, 상기 무인기로부터 실시간 위치를 전송받는 지상센터와, 상기 지상센터로부터 무인기의 위치정보 및 등록정보를 수신하여 무인기를 확인하는 감시용 단말기를 포함하여 이루어지는 것을 특징으로 한다.

Description

증강현실을 이용한 무인기 관리 시스템{An unmanned aerial vehicle intergrated management system}

본 발명은 증강현실을 이용한 무인기 관리 시스템에 관한 것으로서, 더욱 상세하게는 빌딩과 같은 복잡한 곳에서도 무인기의 정확한 위치를 파악할 수 있으며, 증강현실 방식으로 등록된 무인기의 정보를 감시용 단말기를 통하여 확인할 수 있어 허가되지 않은 불법 무인기를 정확하고 신속하게 단속할 수 있게 하는 증강현실을 이용한 무인기 관리 시스템에 관한 것이다.

영어로 수벌을 뜻하는 드론(drone)은 언뜻 보기에 장난감 같지만, 소음이 적어 펭귄이나 물개, 및 고래에게 가까이 접근하여 외적인 영향을 주지 않고 사진을 찍을 수 있다.

다시 말해, 여섯 개의 회전날개를 가진 소형 무인항공기인 드론을 이용하면 남극에 사는 펭귄 및 물개무리를 촬영하기 위하여 비행기에 탑승한 카메라 맨도, 인공위성도 필요 없다.

여기서, 드론의 내부에는 위성항법장치(GPS)와 3차원 공간에서 회전 상태를 파악하는 자이로스코프, 이동 상태를 알려주는 가속도 센서를 장착하고 있다.

또한, 드론은 군대에서도 활용이 되며, 군대에서 드론을 쓰는 이유는 조종사가 안전한 지상 기지에서 드론이 보내온 영상을 보며 적진을 구별하고 공격 지시를 내리면 되기 때문에 인명손상에 대한 우려가 없다.

과학자들이 드론에 주목한 이유도 접근하기 어려운 곳에서도 귀중한 연구 정보를 얻을 수 있기 때문이다.

이제는 원래 국제분쟁 지역에서 적진을 정찰하고 파괴하는 데 주로 쓰이던 드론은, 야생동물을 관찰하고 밀렵을 감시하는 데서부터 허리케인과 화산으로 비행해 촬영하는 위험한 임무를 수행하는 데까지 광범위 하게 이용되고 있다.

특히, 앞으로 재난 현장에서 생존자를 찾고 의료품을 전달하는 드론들이 출현할 것으로 보이며, 현재 음식 및 신문배달과 같은 간단한 배달에 드론을 활용하는 연구가 진행 중이다.

하지만, 기본적으로 드론의 상업적 이용을 금지하는 정부당국의 규제 이외에도, 드론을 이용한 배달이 현실화되기엔 공중 충돌 같은 사고나, 착륙할 때 전깃줄에 걸릴 위험도 있으며, 드론 자체 및 배달물건이 분실될 우려도 있다

무엇보다, 사람이 드론을 직접 조정해야 하는 경우 사람이 항상 드론이 보여주는 영상을 공유해서 목적지 까지 드론을 안전하게 조정 및 운행해야 하는 문제가 있다.

또한, GPS를 이용한 자동 내비게이션을 사용할 경우에 드론을 보내는 사람이 드론에 GPS 데이터를 일일이 입력해야 하는 번거로움이 있다.

그럼에도 불구하고, 드론에 대한 관심은 점점 관련 사업자들뿐만 아니라 일반 소비자들 사이에서도 확산되는 양상에 있는데, 최근에는 중학생이 드론에 탑재된 소형 카메라를 이용하여 무단으로 주택 내부를 촬영 하는 등 사생활 침해 관련한 범죄에 악용되는 사례가 발생되곤 하였다.

이와 같이 드론의 대중화 시대가 예상됨에 따라, 드론에 대한 적절한 규제의 필요성이 점점 요청되고 있는 상황임에도, 아직까지 이에 대한 구체적인 규제 기준(이를테면, 안전관리 규제, 무허가비행 처벌기준, 무인기 자체의 설계 및 신뢰성, 안전성과 운항 관련 규정 등) 및 이를 운영할 관리 시스템이 부재하는 문제점이 있었다.

한국등록특허 10-1842330 한국공개특허 10-2017-0075368

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 모든 무인기를 등록하도록 하고 무인기의 등록정보는 지상센터에 저장하며, 상기 무인기에는 GPS가 구비되어 무인기의 현재 위치를 실시간으로 확인할 수 있어 감시자가 소지하고 있는 고글 형태의 감시용 단말기로 무인기의 위치정보와 등록정보를 전송하여 감시용 단말기를 통하여 증강현실 방식으로 출력하도록 함으로써, 등록되지 않은 무인기는 등록정보를 확인할 수 없게 되므로 비행중인 무인기가 불법 무인기인지를 신속하게 확인할 수 있게 하는 증강현실을 이용한 무인기 관리 시스템을 제공하는 것이다.

그리고, 본 발명의 다른 목적은 등록된 무인기에는 ADS-B(Automatic Dependence Surveillance-Broadcast)를 구비하여 GPS를 통하여 계측한 무인기의 실시간 위치를 지상에 설치된 ADS-B 지상센터로 이를 전송하고, ADS-B 지상센터에서는 감시용 단말기로 현재 지역의 무인기의 정보(위치 정보 및 등록정보)를 전송하도록 함으로써, 빌딩 사이와 같이 레이더로서도 감지할 수 없는 곳에서도 정확하게 무인기의 위치를 확인할 수 있어 보다 정확하게 불법 무인기를 확인할 수 있게 하는 증강현실을 이용한 무인기 관리 시스템을 제공하는 것이다.

이러한 문제점을 해결하기 위한 본 발명은;

GPS가 구비되는 무인기와, 상기 무인기로부터 실시간 위치를 전송받는 지상센터와, 상기 지상센터로부터 무인기의 위치정보 및 등록정보를 수신하여 무인기를 확인하는 감시용 단말기를 포함하여 이루어지는 것을 특징으로 한다.

여기서, 상기 감시용 단말기는 GPS와, 영상을 촬영하는 카메라와, 상기 카메라에서 촬영한 영상을 출력하는 디스플레이부와, 상기 카메라의 방향을 감지하기 위한 자이로센서와, 상기 지상센터의 제1통신모듈과 연결되는 제2통신모듈을 포함하여 이루어지는 것을 특징으로 한다.

이때, 상기 감시용 단말기에는 제어부가 더 구비되고, 상기 제2통신모듈을 통하여 수신한 각 무인기의 위치 정보와 상기 카메라를 통하여 촬영한 무인기의 위치정보를 비교하여 동일 무인기인지를 판단하여, 동일 무인기일 경우 제2통신모듈을 통하여 수신한 무인기의 등록정보를 디스플레이부로 출력하는 것을 특징으로 한다.

그리고, 상기 제어부는 GPS 정보와 자이로센서 정보를 이용하여 카메라를 통하여 촬영한 무인기의 위치를 계측하는 것을 특징으로 한다.

또한, 상기 제어부는 카메라를 통하여 촬영한 무인기 중 제1통신모듈을 통하여 수신한 무인기의 위치정보와 매칭되지 않는 무인기는 불법 무인기로 표시하는 것을 특징으로 한다.

한편, 상기 무인기에는 등록번호 및 위치정보를 지상센터로 전송하기 위한 ADS-B(Automatic Dependence Surveillance-Broadcast)가 구비되고, 상기 지상센터에는 무인기에서 전송한 정보를 수신하기 위한 ADS-B(Automatic Dependence Surveillance-Broadcast) 리시버가 구비되는 것을 특징으로 한다.

상기한 구성의 본 발명에 따르면, 모든 무인기를 등록하도록 하고 무인기의 등록정보는 지상센터에 저장하며, 상기 무인기에는 GPS가 구비되어 무인기의 현재 위치를 실시간으로 확인할 수 있어 감시자가 소지하고 있는 고글 형태의 감시용 단말기로 무인기의 위치정보와 등록정보를 전송하여 감시용 단말기를 통하여 증강현실 방식으로 출력하도록 함으로써, 등록되지 않은 무인기는 등록정보를 확인할 수 없게 되므로 비행중인 무인기가 불법 무인기인지를 신속하게 확인할 수 있게 하는 효과가 있다.

그리고, 본 발명은 등록된 무인기에는 ADS-B를 구비하여 GPS를 통하여 계측한 무인기의 실시간 위치를 지상에 설치된 ADS-B 지상센터로 이를 전송하고, ADS-B 지상센터에서는 감시용 단말기로 현재 지역의 무인기의 정보(위치 정보 및 등록정보)를 전송하도록 함으로써, 빌딩 사이와 같이 레이더로서도 감지할 수 없는 곳에서도 정확하게 무인기의 위치를 확인할 수 있어 보다 정확하게 불법 무인기를 확인할 수 있게 하는 효과가 있다.

도 1은 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템의 개념도이다.
도 2는 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템의 블럭도이다.
도 3은 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템에서 증강현실이 적용되지 않은 상태의 감시용 단말기의 일반 화면을 보여주는 상태도이다.
도 4는 도 3의 일반화면에 증강현실을 적용한 상태의 감시용 단말기의 화면을 보여주는 상태도이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 보다 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 그리고, 본 발명은 다수의 상이한 형태로 구현될 수 있고, 기술된 실시 예에 한정되지 않음을 이해하여야 한다.

도 1은 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템의 개념도이고, 도 2는 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템의 블럭도이고, 도 3은 본 발명에 따른 증강현실을 이용한 무인기 관리 시스템에서 증강현실이 적용되지 않은 상태의 감시용 단말기의 일반 화면을 보여주는 상태도이고, 도 4는 도 3의 일반화면에 증강현실을 적용한 상태의 감시용 단말기의 화면을 보여주는 상태도이다.

본 발명은 비행중인 무인기(100)가 허가된 무인기(100)인지 아닌지를 확인하기 위한 증강현실을 이용한 무인기 관리 시스템에 관한 것으로 도 1 내지 도 4에 도시된 바와 같이 그 구성은 GPS(110)가 구비되는 무인기(100)와 상기 무인기(100)로부터 무인기(100)의 실시간 위치를 전송받는 지상센터(200)와 상기 지상센터(200)로부터 무인(100)의 위치정보 및 등록정보를 수신하여 무인기(100)를 확인하는 감시용 단말기(300)를 포함하여 이루어진다.

여기서, 상기 감시용 단말기(300)는 고글형태로 형성되는 HMD(Head Mount Device)로서, 무인기(100)를 감시하는 감시자가 고글처럼 머리에 착용한 상태로 사용하게 된다.

그래서, 감시자는 상기 감시용 단말기(300)를 통하여 현재 비행하고 있는 무인기(100)에 등록된 무인기(100)의 정보를 매칭시킬 수 있어 현재 비행하고 있는 무인기(100)가 허가된 무인기인지를 확인할 수 있게 된다.

그리고, 상기 감시용 단말기(300)는 고글형태로 형성되되, GPS 위성(400)으로부터 신호를 수신하여 위치를 확인하는 GPS(310)와 영상을 촬영하는 카메라(320)와 상기 카메라(320)에서 촬영한 영상을 출력하는 디스플레이부(330)를 포함하여 이루어진다.

여기서, 상기 카메라(320)는 감시자가 바라보는 시선과 동일한 방향을 향하도록 하여 디스플레이부(330)를 통하여 출력되는 영상은 감시자가 바라보는 영상과 동일한 영상이 된다.

이때, 상기 감시용 단말기(300)에는 감시자가 바라보는 방향, 즉, 상기 카메라(320)의 방향을 감지하기 위한 자이로센서(340)와 상기 지상센터(200)에 구비되는 제1통신모듈(220)과 연결되는 제2통신모듈(360)이 구비된다.

그래서, 상기 지상센터(200)는 무인기(100)로부터 실시간으로 위치 정보를 수신하게 되고, 상기 제1통신모듈(220)을 통하여 무인기(100)의 실시간 정보를 전송하게 되어 상기 감시용 단말기(300)에서는 허가된 무인기(100)의 정보를 실시간으로 수신받을 수 있게 된다.

따라서, 상기 감시용 단말기(300)는 지상센터(200)로부터 수신한 허가된 무인기(100)의 정보와 카메라(320)를 통하여 촬영한 무인기(100)의 정보를 비교하여 허가되지 않은 무인기(100)를 판단할 수 있게 된다.

한편, 상기 무인기(100)에는 GPS(110)뿐만 아니라, ADS-B(120)가 더 구비되는데, 상기 ADS-B(120)는 상기 GPS(110)를 통하여 얻어진 자신의 위치정보를 포함한 고유코드 등의 정보를 설정된 시간 간격으로 지상 및 공중으로 방송(송출)하게 된다.

여기서, 상기 지상센터(200)에는 ADS-B 리시버(210)가 구비되어 상기 무인기(100)에서 송출한 정보를 수신하게 된다.

그래서, 상기 지상센터(200)에서는 등록된 무인기(100)의 정확한 위치정보를 실시간으로 정확하게 확인할 수 있게 된다.

즉, 종래에는 비행물체 등의 위치를 확인하기 위하여 레이더장비를 사용하였는데, 레이더 장비는 레이더에서 송출한 전파가 물체에 부딪혀 반사되어 오는 신호를 수신하여 반사되는데 소요된 시간과 방향 등을 분석하여 위치를 판단하기 때문에 도시와 같이 고층건물이 많은 지역에서는 그 정확도가 확연히 떨어진다.

그런데, 본 발명에서 사용된 ADS-B는 무인기(100)에서 GPS(110)를 통하여 확인한 정확한 위치 정보를 포함하는 정보가 포함된 신호를 전송하고, 수신하기 때문에 별도로 신호를 계측하지 않아도 되므로 무인기(100)의 정확한 위치를 확인할 수 있게 된다.

그리고, 상기 감시용 단말기(300)에는 각 구성들을 제어하기 위한 제어부(350)가 구비되는데, 상기 제어부(350)는 제2통신모듈(360)을 통하여 수신한 허가된 무인기(100)의 위치정보와 상기 카메라(320)를 통하여 촬영한 무인기(100)의 위치정보를 매칭시켜 동일한 무인기(100)로 판단되면 해당 무인기(100)의 정보를 디스플레이부(330)로 출력하게 된다.

이때, 각 무인기(100)의 정보를 디스플레이부(330)로 출력할 때, 도 4에 도시된 바와 같이, 각 무인기(100)와 인접하게 해당 무인기(100)의 정보를 출력하게 된다.

그래서, 감시자는 상기 감시용 단말기(300)의 디스플레이부(330)를 통하여 출력되는 각 무인기(100)의 정보를 확인하여, 무인기(100)의 측부에 정보가 출력되지 않을 경우 허가되지 않은 불법 무인기(100)로 판단할 수 있어 용이하게 불법 무인기(100)를 단속할 수 있게 된다.

물론, 상기 제어부(350)에서는 촬영된 무인기(100)와 제2통신모듈(360)을 통하여 수신된 정보를 비교하여 매칭되지 않은 무인기(100)를 불법 무인기(100)로 판단하고, 불법 무인기(100)에 허가되지 않은 불법 무인기라는 표식을 별도로 표시할 수도 있다.

한편, 상기 제어부(350)는 GPS(310) 정보와 자이로센서(340)의 정보를 이용하여 카메라(330)를 통하여 촬영한 무인기(100)의 위치를 계측하게 된다.

즉, 상기 GPS(310)를 통하여 감시용 단말기(300)의 위치를 확인할 수 있고, 상기 자이로센서(340)를 통하여 카메라(330)가 바라보는 방향을 확인할 수 있으며, 촬영된 영상을 분석하여 각 무인기(100)까지의 거리를 계산할 수 있게 된다.

이때, 상기 카메라(330)에서 촬영한 영상을 통하여 무인기(100)와의 거리를 계산하는 방법은 영상분석 기술 등에서 이미 공지된 사항이므로 별도의 설명은 생략하도록 한다.

따라서, 카메라(330)를 통하여 촬영한 각 무인기(100)의 정확한 위치를 계산할 수 있게 되어, 지상센터(200)를 통하여 수신한 허가된 무인기(100)의 위치 정보와 비교하여 동일 무인기(100)인지를 확인할 수 있게 된다.

한편, 각 무인기(100)의 등록정보는 전술한 바와 같이 각 지상센터(200)에 저장될 수도 있고, 도면에 도시되지는 않았지만 각 지상센터(200)와 네트워크로 연결되는 별도의 서버(미도시)에 모든 등록된 무인기(100)의 등록정보를 저장할 수도 있다.

이때, 각 무인기(100)의 등록정보는 해당 무인기(100)의 고유식별코드인 등록번호, 등록자 등의 정보를 포함하게 된다.

이상에서 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 않으며, 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리 범위가 미치는 것으로 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것이다.

100 : 무인기 110,310 : GPS
120 : ADS-B 200 : 지상센터
210 : ADS-B 리시버 220 : 제1통신모듈
300 : 감시용 단말기 320 : 카메라
330 : 디스플레이부 340 : 자이로센서
350 : 제어부 360 : 제2통신모듈

Claims

GPS가 구비되는 무인기와,
상기 무인기로부터 실시간 위치를 전송받는 지상센터와,
상기 지상센터로부터 무인기의 위치정보 및 등록정보를 수신하여 무인기를 확인하는 감시용 단말기를 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.
제1항에 있어서,
상기 감시용 단말기는 GPS와,
영상을 촬영하는 카메라와,
상기 카메라에서 촬영한 영상을 출력하는 디스플레이부와,
상기 카메라의 방향을 감지하기 위한 자이로센서와,
상기 지상센터의 제1통신모듈과와 연결되는 제2통신모듈을 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.
제2항에 있어서,
상기 감시용 단말기에는 제어부가 더 구비되고,
상기 제2통신모듈을 통하여 수신한 각 무인기의 위치 정보와 상기 카메라를 통하여 촬영한 무인기의 위치정보를 비교하여 동일 무인기인지를 판단하며,
동일 무인기일 경우 제2통신모듈을 통하여 수신한 무인기의 등록정보를 디스플레이부로 출력하는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.
제3항에 있어서,
상기 제어부는 GPS 정보와 자이로센서 정보를 이용하여 카메라를 통하여 촬영한 무인기의 위치를 계측하는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.
제3항에 있어서,
상기 제어부는 카메라를 통하여 촬영한 무인기 중 제1통신모듈을 통하여 수신한 무인기의 위치정보와 매칭되지 않는 무인기는 불법 무인기로 표시하는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.
제1항에 있어서,
상기 무인기에는 등록번호 및 위치정보를 지상센터로 전송하기 위한 ADS-B가 구비되고,
상기 지상센터에는 무인기에서 전송한 정보를 수신하기 위한 ADS-B 리시버가 구비되는 것을 특징으로 하는 증강현실을 이용한 무인기 관리 시스템.