KR20220000229A - 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템 - Google Patents

Abstract

딥러닝 기반의 내비게이션이 적용된 무인 항공기는 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 하는 것을 특징으로 한다.

Description

해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템{UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same}

본 발명은 무인 항공기 항법 관련 기술에 관한 것으로서, 더 상세하게는 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템에 관한 것이다.

드론(Drone)이라고도 불리는 무인항공기(Unmanned Aerial Vehicle, UVA)는 높은 고도에서 지상, 공중의 정보를 사용자의 위험 부담이 없이 타인에게 노출될 위험 없이 용이하게 수집할 수 있다는 점에서 군사, 산업 등 다양한 면에서 각광받고 있다.

최근에는 플랫폼 위주의 의미를 갖는 무인항공기 대신 통합된 체계임을 강조하기 위해 무인항공기체계(Unmanned Aircraft System: 이하, UAS)로도 표현되는데, 이는 목적과 용도에 따라 상이할 수 있으나, 일반적으로 항공기의 기체에 통신장비와 감지기 등의 임무장비를 탑재시킬 수 있는 비행체와, 통신에 의하여 비행체를 조종 통제 할 수 있도록 설계된 통제장비, 감지기와 같이 임무를 위해 무인항공기에 탑재되는 임무장비, 무인항공기의 운용에 필요한 분석, 정비 등에 활용되는 지원 장비로 구성되어 하나의 시스템에 운용되는 장비이다.

무인항공기는 자율비행이 가능하다는 점에서 외부조종사가 직접 조종하는 무선조종비행기와는 차이가 있으며, 일단 비행을 개시한 후에는 목표물과 같이 파괴되는 미사일과 달리 기본적으로 회수가 가능하여 반복적으로 임무에 투입될 수 있다는 차이가 있다.

오늘날의 무인항공기는 자신의 위치, 속도, 자세를 측정하고 주어진 임무에 맞는 최적의 경로를 스스로 생성하고, 이를 따라서 비행하며 자체적으로 고장을 진단하고 대응하는 매우 높은 수준의 자유성을 가지고 있다. 최근에는 위성항법장치와 센서. 카메라 등을 장착한 민간용 드론이 개발돼 물자수송. 교통관제. 보안 등의 분야로 이용 범위가 확대되고 있다.

한편, 무인항공기는 위성위치정보를 수신하여 현재의 위치를 파악한 후 목적지로 도달하기 위한 이동방향을 설정한다.

최근 무인항공기를 무력화시키기 위한 안티 드론 기술이 개발되고 있는데, 무인항공기의 위성위치정보를 교란시켜서 무인항공기를 원하는 곳에 착륙시키거나 무력화시키는 장치가 개발되었다.

따라서 무인항공기의 신뢰성 있는 비행동작을 위해 안티 드론장치 또는 해킹시도를 회피하기 위한 기술의 개발이 요구된다.

KR10-2018-0094611A

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템을 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기가 제공된다.

또한, 본 발명의 다른 실시예에 따르면, 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기이 제공된다.

또한, 본 발명에 포함되는 제어부는 제1 현재위치와 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우 해킹시도로 인한 장애로 판단하여 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 것을 특징으로 한다.

또한, 본 발명의 또 다른 실시예에 따르면, 무인 항공기가 복수 개 구비된 무인 항공기 시스템에 있어서, 각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득하는 제1 및 제2 무인 항공기를 포함하고, 제2 무인 항공기는 자신의 현재위치와 제1 무인 항공기가 포함된 영상정보를 토대로 제1 무인 항공기의 현재위치를 산출한 후 제1 무인 항공기로 송신하고, 제1 무인 항공기는 자신이 파악한 현재위치와 제2 무인 항공기가 송신한 현재위치를 비교하여 해킹여부를 판단하는 것을 특징으로 하는 무인 항공기 시스템이 제공된다.

본 발명의 실시예에 따른 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 해킹 방지 기술이 적용되었다. 따라서 안티 드론 장치의 해킹시도를 회피할 수 있어 동작 신뢰성이 향상된다.

즉, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 위성위치정보를 토대로 현재위치를 파악할 뿐만 아니라 영상정보를 토대로 현재위치를 추가로 파악하여 해킹시도를 빠르게 검출할 수 있고, 현재위치를 신뢰성 있게 산출하여 최종 목적지로 이동할 수 있다.

도 1은 본 발명에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 개념도
도 2는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 동작절차를 나타낸 도면
도 3은 위치를 파악하기 위해 사용된 개선된 모델의 예시도
도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면
도 5는 본 발명의 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 구성도
도 6은 복수 개의 무인 항공기로 구성되는 무인 항공기 시스템의 예시도

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1은 본 발명에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 개념도이고, 도 2는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 동작절차를 나타낸 도면이다.

도 1 및 도 2를 참조하면, 무인 항공기는 딥러닝 기반 내비게이션이 적용된다. 즉, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 주변 이미지를 수집하여 주변 환경에 대한 데이터 셋(dataset)을 생성하고 생성된 데이터 셋(dataset)을 딥러닝을 통하여 훈련시킨다.

무인 항공기가 일정시간 물체를 인식하지 못하거나 해킹시도를 당하게 되면 위성위치정보 내비게이션을 무시하고 영상기반의 딥 러닝 기반의 내비게이션으로 탐색한다.

즉, 무인 항공기는 카메라 등과 같은 영상정보 수집부를 통해 주변의 물체를 감지하면서 목적지에 도달하는데, 소정의 시간(x초) 이상 주변 물체를 감지 못하는 경우 위성위치정보를 사용하지 않고 영상기반의 딥 러닝 시스템을 기반으로 탐색을 진행한다. 이와 같이 안티 드론 장치 등을 통해 해킹 프로그램이 가동될 경우, 무인 항공기는 위성위치정보를 사용하지 않고 학습된 이미지를 통해 이동을 진행한다.

도 3은 위치를 파악하기 위해 사용된 개선된 모델의 예시도이다.

도 3을 참조하면, 기존에 비해 개선된 방법으로 데이터 셋(dataset)을 훈련하는 과정이 도시되어 있다.

딥러닝 기반 시스템은 초기 지점에서 주변 이미지(왼쪽, 오른쪽 및 중앙)를 기준으로 주변환경 데이터 셋(dataset)을 이용한다. 데이터 셋(dataset)은 실시간 물체 감지를 위해 딥러닝으로 각각 다른 클래스(좌측, 우측, 중앙)로 훈련된다. 이 세 클래스는 초기지점부터 최종 목적지까지 전 지역을 커버하는 훈련을 받게 된다.

도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면이다.

도 4를 참조하면, 카메라 등과 같은 영상정보 수집부에서 영상정보가 획득하는 과정이 진행된다.

즉, 영상의 크기를 조절하고 5x5 grid로 나눈다. 각각의 grid cell은 B개의 bounding box와 각 bounding box에 대한 confidence score를 갖는다. (만약 cell에 object가 존재하지 않는다면 confidence score는 0이 된다. - 종료 - )

각각의 grid cell은 C개의 conditional class probability를 갖는다. 이미지 내의 bounding box와 class probability를 single regression problem으로 간주하여, 이미지를 한 번 보는 것으로 object의 종류와 위치를 추측한다.

single convolutional network를 통해 multiple bounding box에 대한 class probability를 계산한다.

각각의 bounding box는 x, y, w, h, confidence로 구성된다.

(x,y): Bounding box의 중심점을 의미하며, grid cell의 범위에 대한 상대값이 입력된다.

(w,h): 전체 이미지의 width, height에 대한 상대값이 입력된다.

예): 만약 x가 grid cell의 가장 왼쪽에 있다면 x=0, y가 grid cell의 중간에 있다면 y=0.5

예): bbox의 width가 이미지 width의 절반이라면 w=0.5

Test time에는 conditional class probability와 bounding box의 confidence score를 곱하여 class-specific confidence score를 얻는다.

도 5는 본 발명의 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 구성도이다.

본 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 5를 참조하면, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 위성위치모듈(100)과, 영상정보 수집부(200)와, 제어부(300)를 포함하여 구성된다.

상기와 같이 구성되는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 주요동작을 살펴보면 다음과 같다.

위성위치모듈(100)은 위성위치정보를 수신하여 위성정보 기반의 제1 현재위치를 파악한다.

영상정보 수집부(200)는 적어도 하나 이상의 카메라로 구성될 수 있는데, 가시광선 영상정보 및 적외선 영상정보를 획득한다.

제어부(300)는 영상정보 수집부(200)에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 영상정보 기반의 제2 현재위치를 파악하는데, 이때, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악한다.

즉, 제1 현재위치는 위성정보 기반으로 파악된 정보이고, 제2 현재위치는 영상정보 기반으로 파악된 정보인데, 제1 현재위치와 제2 현재위치는 소정의 오차범위 내에 있을 때 신뢰성이 확보된다. 제1 현재위치와 제2 현재위치를 통해 최종 현재위치를 결정할 때 제1 현재위치와 제2 현재위치의 가중치는 각각 서로 다르게 설정될 수 있다.

한편, 제어부(300)는 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체(물체)가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악할 수 있다.

즉, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체(물체)가 미인식될 경우는, 미리 예상된 이동경로를 이탈했다는 것으로서 해킹에 의해 이동경로가 변경되었다는 것으로 간주될 수 있다.

또한, 제어부(300)는 위성정보 기반의 제1 현재위치와 영상정보 기반의 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우도 해킹시도로 인한 장애로 판단하여 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악할 수 있다.

한편, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 가속도 정도, 각속도 정보 및 지자계 정보를 감지하는 관성센서를 더 포함하여 구성될 수 있다.

이때, 제어부(300)는 관성센서를 정보를 실시간으로 수신하여 현재위치를 판단하거나, 해킹시도를 판단하는데 이용한다.

예를 들면, 해킹방지모드가 설정될 경우, 제어부(300)는 출발지에서 목적지로 이동하는 경로 내에서 주기적으로 체크패턴을 수행하면서 비행하도록 제어한다.

여기에서 체크패턴이란 관성센서만을 통해서도 파악될 수 있는 무인 항공기의 미리 설정된 비행패턴을 의미한다. 예를 들면, 소정의 속도로 하강하면서 좌로 회전하거나, 소정의 속도로 상승하면서 우로 회전하는 등 소정의 주기마다 복수의 체크패턴을 수행하면서 비행을 진행한다.

각 체크패턴에서 가속도, 회전속도, 회전방향, 상승 및 하강 방향은 각각 서로 다르게 설정되는 것이 바람직하다. 제어부(300)는 이러한 체크패턴이 소정의 횟수 벗어날 경우 해킹이라고 판단할 수 있다. 제어부는 체크패턴을 벗어나는 횟수가 단위 시간 내에서 증가할 경우 체크패턴의 주기를 점점 짧게 하고, 체크패턴을 벗어나는 횟수가 단위 시간 내에서 감소할 경우 체크패턴의 주기를 점점 길게 자동 설정한다.

이때, 제어부(300)는 구동력에 의한 가속도의 변화를 토대로 풍속을 판단하고, 파악된 풍속을 체크패턴 확인에 반영하여 해킹 판단정확도를 향상시킬 수 있다.

도 6은 복수 개의 무인 항공기로 구성되는 무인 항공기 시스템의 예시도이다.

도 6을 참조하면, 무인 항공기 시스템은 복수 개의 무인 항공기로 구성되는데, 각 무인 항공기는 도 1 내지 도 5를 통해 설명한 무인 항공기로 구성될 수 있다.

본 실시예에서 무인 항공기 시스템은 제1 무인 항공기(10) 및 제2 무인 항공기(20)를 구비한다고 가정하고 설명하기로 한다.

제1 무인 항공기(10) 및 제2 무인 항공기(20)는 각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득한다.

이때, 제2 무인 항공기(20)는 자신의 현재위치와 제1 무인 항공기(10)가 포함된 영상정보를 토대로 제1 무인 항공기(10)의 현재위치를 산출한 후 위치정보를 제1 무인 항공기(10)로 송신한다.

즉, 제2 무인 항공기(20)는 영상 속의 제1 무인 항공기(10)의 상대적 위치를 파악한 후, 자신의 현재위치를 반영하여 제1 무인 항공기(10)의 현재위치를 추정한다.

이때, 제1 무인 항공기(10)는 자신이 파악한 현재위치와 제2 무인 항공기(20)가 송신한 현재위치를 비교하여 해킹여부를 판단할 수 있다. 즉, 위성위치정보를 교란으로 인해 제1 무인 항공기(10)는 의도하지 않는 경로로 강제이동 당할 수 있으므로, 이웃하는 제2 무인 항공기(20)에서 송신한 현재위치를 토대로 해킹여부를 판단할 수 있다.

이때, 각 무인 항공기는 위치를 식별하기 위한 식별탄을 공중으로 발사하도록 동작할 수 있다. 여기에서 식별탄은 섬광 또는 유색의 연기를 방출하는 것으로서, 식별탄이 발사되기 전 이웃하는 무인 항공기로 식별탄 발사준비여부를 사전에 전송하여, 이웃하는 무인 항공기가 식별탄을 발사하는 무인 항공기를 영상 촬영할 수 있도록 사전에 준비시킬 수 있다. 이웃하는 무인 항공기는 식별탄을 발사한 무인 항공기와, 식별탄의 이동경로를 토대로 영상 속에서 식별탄을 발사한 무인 항공기의 현재위치 및 이동속도를 연산할 수 있다.

본 발명의 실시예에 따른 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 해킹 방지 기술이 적용되었다. 따라서 안티 드론 장치의 해킹시도를 회피할 수 있어 동작 신뢰성이 향상된다.

즉, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 위성위치정보를 토대로 현재위치를 파악할 뿐만 아니라 영상정보를 토대로 현재위치를 추가로 파악하여 해킹시도를 빠르게 검출할 수 있고, 현재위치를 신뢰성 있게 산출하여 최종 목적지로 이동할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 위성위치모듈
200 : 영상정보 수집부
300 : 제어부
10 : 제1 무인 항공기
20 : 제2 무인 항공기

Claims (4)

1. 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈;
   가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부;
   상기 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 상기 제1 현재위치와 상기 제2 현재위치를 동시에 참조하여 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부;
   를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기.
   
2. 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈;
   가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부; 및
   상기 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 상기 제1 현재위치와 상기 제2 현재위치를 동시에 참조하여 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 상기 제1 현재위치를 배제하고 상기 제2 현재위치를 토대로 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부;
   를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기.
   
3. 제2항에 있어서,
   상기 제어부는,
   상기 제1 현재위치와 상기 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우 해킹시도로 인한 장애로 판단하여 상기 제1 현재위치를 배제하고 상기 제2 현재위치를 토대로 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 것을 특징으로 하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기.
   
4. 제1항 내지 제3항 중 어느 하나의 항의 무인 항공기가 복수 개 구비된 무인 항공기 시스템에 있어서,
   각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득하는 제1 및 제2 무인 항공기;를 포함하고,
   상기 제2 무인 항공기는 자신의 현재위치와 상기 제1 무인 항공기가 포함된 영상정보를 토대로 상기 제1 무인 항공기의 현재위치를 산출한 후 상기 제1 무인 항공기로 송신하고,
   상기 제1 무인 항공기는 자신이 파악한 현재위치와 상기 제2 무인 항공기가 송신한 현재위치를 비교하여 해킹여부를 판단하는 것을 특징으로 하는 무인 항공기 시스템.

Images