KR102392874B1 - 인공지능 기반 정밀타격시스템 - Google Patents

Abstract

본 발명은 전투 또는 교전 시 타격의 효과를 극대화하기 위해 영상정보와 인공지능기술을 이용하여 표적의 인근(종말단계 등)에서 사전에 선정한 표적의 핵심 또는 취약개소를 정밀 추출하고, 미사일, 로켓, 드론 등 비행물체를 해당 위치로 유도하여 타격 또는 추적할 수 있는 기술과 그 운용방법에 관한 것이다.

Description

인공지능 기반 정밀타격시스템 {AI based precisely striking system}

본 발명은 전투 또는 교전 시 타격의 효과를 극대화하기 위해 영상정보와 인공지능기술을 이용하여 표적의 인근(종말단계 등)에서 사전에 선정한 표적의 핵심 또는 취약개소를 정밀 추출하고, 미사일, 로켓, 드론 등 비행물체를 해당 위치로 유도하여 타격 또는 추적할 수 있는 기술과 그 운용방법에 관한 것이다.

전투 또는 교전 시 초전에 적 함정의 함교, 함포, 탱크의 조종석, 포신, 항공기의 날개/엔진, 조종석 등 표적의 핵심부위를 타격하여 조기에 적을 무력화하고 승리를 달성하는 것이 중요하다. 그러나 현재 기존 무기체계로는 표적을 타격할 수는 있어도 표적의 핵심 또는 취약개소를 타격할 수 있는 수단은 없는 상태이다.

기존 무기체계의 표적정보 획득수단은 R/D, 유도탄의 Seeker, 열원 감지 등의 방법이 활용되나 상기 수단을 이용할 경우 표적 전체를 하나의 '점' 형태로 인신학므로 표적 내부의 핵심 또는 취약개소를 타격하는데 제한이 따른다. 열원 감지 방식의 경우 함정의 연돌, 기관실 등 고온을 발생시키는 개소를 추적할 수 있지만, 근본적으로 핵심 또는 취약개소를 타격할 수 있는 수단으로 보기는 어렵다.

최근 드론 등 무인항공기 산업과 인공지능 기술의 발전으로 표적 식별, 추적 등 분야에서 많은 기술적 발전이 있었다. 기존의 드론 등 무인항공기를 이용한 비행기술들은 무인항공기 몸체를 조작하는 조종사와 센서를 조작하는 조종사들을 필요로 하며, GPS 정보를 이용하거나, 무인 항공기 유도 제어 시스템 등의 카메라를 이용해 특정 목표물을 중앙점으로 유도하는 등의 기술이 사용된다.

등록특허 제10-2252823호 등록특허 제10-2130664호

본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로서, 기존 무기체계나 발명된 기술들이 표적 내부의 특정 위치를 추적할 수 없는 단점을 극복하기 위해, 카메라 등을 이용하여 획득한 영상정보를 통해 표적 자체를 식별하는 단계를 넘어서서 표적 내부에 특정 부위의 위치(핵심 또는 취약개소)를 추출하고, 추출된 위치 중 사용자가 선택한 적어도 한 곳 이상의 지점으로 적어도 하나 이상의 무인 항공기, 미사일, 로켓 등을 비행시켜 표적 내부의 사용자가 원하는 지점을 정밀 타격할 수 있는 기술적 수단을 제공하는 것을 목적으로 한다.

따라서 본 기술을 이용하면 카메라 등 영상획득 수단을 통해 표적 내부의 타격을 원하는 지점으로 무인항공기나 미사일, 로켓 등을 유도할 수 있게 되어 기존 표적 전체를 식별하여 타격하는 수단보다 더 정밀하고 효과적인 타격이 가능하게 된다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로서, 무인기에서 표적의 영상정보를 획득하는 센서부; 상기 표적의 정밀 위치를 추출하는 연산부; 상기 표적의 위치로 비행할 수 있도록 상기 무인기의 자세를 제어하는 조종부; 사용자 또는 통제소와 상기 무인기 간 위치정보, 이동정보, 자세제어정보를 교신할 수 있는 통신부;로 구성되며, 상기 무인기는 상기 센서부에 상기 표적이 탐지될 때 까지 상기 표적의 방향으로 이동하고, 상기 센서부로 상기 표적의 영상정보를 획득하고, 상기 연산부는 센서부로부터 획득된 상기 영상정보와 인공지능 모델을 이용하여 표적의 핵심 또는 취약개소를 하나 이상 추출하고, 상기 사용자가 지정한 상기 표적의 핵심 또는 취약개소로 상기 무인기를 조종하여 이동 및 타격하는 것을 특징으로 하는 인공지능 기반 정밀타격시스템을 제공하기 위함이다.

또한, 상기 인공지능 모델은 표적의 실제 자료 또는 3D 정밀 모델링 자료를 수집하는 단계; 수집된 표적의 자료에서 사용자가 원하는 핵심 또는 취약개소의 위치를 레이블링하는 단계; 상기 수집된 표적의 자료 및 사용자가 지정한 레이블링 자료를 이용하여 인공지능을 학습하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 인공지능은 Pose Estimation 모델을 사용하는 것을 특징으로 한다.

또한, 상기 Pose Estimation 모델은 CPM(Convolutional Pose Machine) 또는 Stacked Hourglass, AlphaPose, OpenPose 모델 중 어느 하나 이상을 포함하는 것을 특징으로 한다.

또한, 상기 무인기를 조종하여 이동하는 방법은 사용자 직접 유도, 중심유도 또는 강화학습 유도 중 어느 하나인 것을 특징으로 한다.

본 발명을 이용할 경우 무인기 조종자가 직접 유도하지 않고도 사용자가 의도한 표적의 핵심 또는 취약개소로 무인기를 이동시켜 타격할 수 있게되므로, 타격 효과를 극대화하는 효과가 있다.

또한, R/D, GPS, 열영상 정보 등을 이용하여 표적을 타격하는 방법의 한계를 극복할 수 있다.

또한 향후 육/해/공군 등 군종에 관계없이 공격용 무인기, 지능형 유도무기 등 본 기술이 적용된 다양한 종류의 무기체계로 확대 적용이 가능하여 군사적 활용도가 크다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 정밀타격시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능의 학습 순서도이다.
도 3은 본 발명의 일 실시예에 따른 함정의 레이블 적용 사례이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 모델을 이용하여 표적의 핵심 또는 취약개소를 하나 이상 추출하는 구체적인 과정을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 강화학습 유도에 대한 과정을 나타낸 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 실시예를 통하여 상세하게 설명하고자 한다.

본문에 개시되어 있는 본 발명의 실시예들에 대하여, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

명세서 전체에서 어떤 부분이 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있음을 의미한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 정밀타격시스템의 구성도이다.

본 발명의 일 실시예에 따른 인공지능 기반 정밀타격시스템은 무인기에서 표적의 영상정보를 획득하는 센서부와 상기 표적의 정밀 위치를 추출하는 연산부와 상기 표적의 위치로 비행할 수 있도록 상기 무인기의 자세를 제어하는 조종부와 사용자 도는 통제소와 상기 무인기간 위치정보, 이동정보, 자세제어정보 등을 교신할 수 있는 통신부로 구성된다.

센서부는 주/야간 영상정보를 획득할 수 있는 수 있는 수단을 제공하는 부분으로서, 일반 카메라, 광학 카메라, 열영상 카메라 등으로 구성될 수 있다.

연산부는 센서부로부터 획득된 영상정보와 인공지능 기술을 이용하여 영상에서 표적과 표적의 핵심 또는 취약개소를 추출하는 역할을 수행한다.

인공지능 기술의 발전으로 단순히 영상정보 내에서 사람, 동물 등을 인식하는 수준을 넘어서 사람의 눈, 코, 입, 팔꿈치 등을 추출하는 기술이 개발되었고, 이를 활용하여 인공지능 기술을 이용하여 표적과 표적 내부의 지정한 레이블 위치정보를 통한 학습을 통해 단순히 표적 식별뿐만 아니라 표적 내부의 지정된 위치를 추출하는 것이 가능하다.

표적 내부의 지정된 위치를 학습시키는 인공지는 기법은 LandMark 추출 기법 또는 Pose Estimation 모델을 사용하여 표적 내부의 핵심 또는 취약개소를 학습시킬 수 있다.

상기 Pose Estimation 모델은 영상에서 사물의 특징점을 추출하는 모델이다.

상기 Pose Estimation 모델은 CPM(Convolutional Pose Machine), Stacked Hourglass, AlphaPose, OpenPose 모델 중 어느 하나로 구성될 수 있다.

표적 내부의 핵심 또는 취약개소의 위치는 사용자의 의도에 따라 2차원 또는 3차원 위치정보로 구성될 수 있다.

사용자는 단일 또는 복수의 무인기를 운용함에 있어, 무인기의 이동방법을 사용자 직접 유도, 중심유도, 강화학습 유도 중 적어도 하나 이상을 선택하여 무인기를 조종할 수 있다.

사용자 직접 유도의 경우 사용자의 무인기 제어명령은 통신부를 통하여 제어부로 전달될 수 있다.

중심유도의 경우 연산부는 사용자가 지정한 핵심 또는 취약개소의 위치를 센서부 영상화면의 중앙으로 위치하도록 제어신호가 무인기 제어부로 전달될 수 있다.

강화학습 유도의 경우 연산부는 센서부 영상정보로부터 추출된 표적의 핵심 또는 취약개소의 위치로 자율비행할 수 있는 자세제어 신호를 제어부에 전달할 수 있다. 이때, 연산부는 센서부의 영상정보, 무인기의 자세정보, 추진정보 등을 이용하여 영상정보 내 지정된 위치로 비행할 수 있도록 학습된 강화학습 기술을 이용한다. 이런한 강화학습에는 DQN, DDPG(Deep Deterministic Policy Gradient), A2/3C(Actor/Critic 계열)등의 알고리즘을 이용할 수 있다.

제어부는 무인기의 속도와 고도, 자세를 조종하는 신호를 발생시킨다.

통신부는 GPS 시스템, 표적 위치 및 거리 사용자 또는 통제부로부터 무인기로 명령을 주고받을 수 있는 통신수단 등을 포함한다. 통신부는 사용자가 직접 무인기 조종명령을 전달한다. 무인기와 사용자 간의 교신은 위성, LTE, Wi-Fi, 5G 기술 등을 활용할 수 있다.

인공지능 기반 정밀타격시스템의 시스템의 흐름은 다음과 같다.

먼저, 무인기를 센서부에 표적이 탐지될 때까지 표적의 방향으로 이동시킨다.

무인기는 타격할 표적의 정보를 발사 전에 사전 입력받을 수도 있고, 표적의 GPS 위치 등 기본정보만을 가지고 발사된 후 통신부를 통하여 추후에 타격 위치를 재전송 또는 갱신받을 수도 있다.

무인기는 이동 시 입력된 표적의 GPS위치 또는 방위/거리 정보와 지정된 속력, 고도 등 정보를 이용하여 표적으로 이동하고, 이동 중 통신부를 이용하여 사용자로부터 표적의 위치, 이동속력, 고도 등의 변경을 지시받을 수 있다.

다음으로, 센서부로 상기 표적의 영상정보를 획득한다.

다음으로 연산부에서 센서부로부터 획득된 영상정보와 인공지능 모델을 이용하여 표적의 핵심 또는 취약개소를 하나 이상 추출한다.

도 2는 본 발명의 일 실시예에 따른 인공지능 모델의 핵심 또는 취약개소 추출방법이다.

본 발명의 일 실시예에 따른 인공지능 기반 정밀타격시스템의 핵심 순서는 다음과 같다.

(1) 표적자료(이미지, 영상 등)를 수집한다.

(2) 수집된 표적의 자료에서 사용자가 원하는 표적의 핵심 또는 취약개소의 위치를 레이블링하고, 수집된 표적의 자료 및 사용자가 지정한 레이블링 자료를 이용하여 인공지능을 학습시킨다.

상기 흐름도 (1)단계는 표적의 실제 자료 또는 3D 정밀 모델링 자료를 수집하는 단계이다.

표적의 자료는 직접수집 방법과 간접수집 방법으로 이루어질 수 있다.

직접수집은 우근의 위성 등 감시자산, 인터넷 공간이나 직/간접적으로 입수한 동일/유사 플랫폼의 카타로그 자료, HUMINT 등에 의한 방법등으로 추출할 표적의 영상자료를 직접 수집하는 방법을 말한다.

간접수집은 Blender, Unity, UnrealEngine 등 초고화질 그래픽 렌더링이 가능한 프로그램을 이용하여 수집하고자 하는 표적을 정밀 렌더링하고, 실사와 유사한 렌더링 모델로부터 자료를 수집하고자 하는 표적을 정밀 렌더링하고, 실사와 유사한 렌더링 모델로부터 자료를 수집하는 방법을 말한다.

도 3은 함정의 이미지에서 함교, 함포, 승조원침실, 기관조종실 등의 표적화할 핵심 또는 취약개소의 위치를 레이블링한 도면이다.

군사목적의 표적자료는 다량/양질의 데이터를 입수하기 어려운 한계점이 있으므로 직접수집 방법과 간접수집 방법을 혼용하는 것이 유리하다.

상기 흐름도 (2)단계는 센서부로부터 획득된 영상정보와 인공지능 모델을 이용하여 표적의 핵심 또는 취약개소를 하나 이상 추출하는 단계이다.

인공지능 기술의 발전으로 보행자나 차량, 신호등 등 물체나 사람을 식별하는 방법이 많이 발전하였으며, 최근에는 영상에서 사람이나 자동차의 자세를 식별하기 위해 사람의 얼굴, 어깨, 팔, 발목 또는 차량의 앞/뒷바퀴 등을 추출하는 기술이 개발되고 있다.

(2)단계에서 수행되는 알고리즘의 기본개념은 현재 드론 등 무인기 기술에서 활용되는 물체나 사람을 탐지하고 식별하는 일반적인 기술과 달리 탐지된 물체나 사람의 내부에 사용자가 지정한 핵심 또는 취약개소의 위치를 식별하는 것이다.

이러한 기술은 주로 카메라에서 사용자의 눈, 코, 입 등의 위치를 추정하거나 영상에서 사람의 자세를 추정 또는 자율주행 차량에서 차량의 자세를 식별하는 데 사용하고 있다.

도 4를 참조하여 영상자료와 핵심부위 위치 레이블링 자료를 통해 인공지능 모델의 학습이 이루어지는 방법을 설명하겠다.

① 수집하고자 하는 표적의 실제자료(사진, 영상 등) 또는 3D 정밀 모델링 자료를 통해 다량의 학습용 자료를 수집한다.

② 수집된 표적의 자료에서 함교, 함포, 승조원침실, 기관조종실 등 사용자가 원하는 표적화할 핵심 또는 취약개소의 위치를 레이블링한다. 이때, 수집된 표적 자료의 차원과 레이블링 지정 방식에 따라 사용자가 지정할 핵심 또는 취약개소는 2차원 (x,y) 또는 3차원 (x,y,z) 형태로 지정될 수 있다.

③ 수집된 표적의 자료와 사용자가 지정한 레이블링 자료를 이용하여 인공지능 모델을 학습시킨다.

표적에서 레이블링한 핵심부위를 추출하는 인공지능 모델의 학습과정의 실시예는 다음과 같다.

인공지능 모델의 구조는 도 4와 같이 적용될 수 있으며, 세부 모델의 구조는 CNN(Convolitional Neural Network), LSTM(Long Short Term Memory) 등 다양한 종류의 레이어를 어떤 방식으로 혼합하는가에 따라 달라질 수 있다. 도 5에서 Conv 네트워크와 같은 인공지능을 구성하는 레이어는 배치 정규화 함수(Batch Normalization Function), 선형 함수인 ReLu(Rectified Linear Unit) 등 활성화 함수(Activation Function)를 포함할 수 있다.

실시예에 따르면, 학습에 사용될 영상자료는 인공지능 모델 설계 시 정의한 입력차원((224, 224, 3) 등)으로 차원을 조정한다. 실시예에서 실별하고자 하는 표적의 핵심 또는 취약개소는 함포, 함교(좌), 함교(우), 전투지휘실, 수직발사대 5개로 정의하며, 각각의 레이블은 [(함포 : 100, 100, 1), (수직발사대 : 200, 100, 1), ...] 등의 형태로 정의될 수 있다. 이는 함포는 해당 영상자료에서 가로/세로 (100,100)의 위치에 있으며, 영상 내에서 물체의 회전, 각도, 타 물체에 가려짐 등으로 보여지고 있는지(1), 보여지지 않고 있는지(0)를 의미한다.

이때, 식별하고자 하는 표적의 레이블은 지정한 단일 위치가 사용될 수 있으며, 핵심부위의 context 정보를 더 많이 포함하여 식별의 정확도를 향상시키기 위해 지정된 레이블 위치를 중심으로 일정범위로 확장한 값을 사용할 수 도 있다. 예를 들어, 단일 위치를 사용할 경우 도 5에서 인공지능 모델이 학습하는 위치 레이블은 (100, 100)이 되며 값은 해당 위치의 RGB 값이 된다. 지정된 레이블 위치를 중심으로 일정범위로 확장하는 방법은 해당 위치 레이블을 기준으로 일정 범위(예를 들어 (7, 7) 크기 등)로 가우시안 분포 등을 이용하여 해당 핵심 부위가 존재할 확률을 확장시킨다.

준비된 영상자료와 레이블링한 핵심부위 또는 취약점 위치를 입력자료로 이용하여 인공지능 모델은 정의된 각각의 레이어를 통과하면서 최종적으로 추출하고자 하는 5개의 핵심부위가 위치할 확률이 높은 곳을 Heatmap 형태로 출력한다. 인공지능 연산과정에서 모델은 Ground Truth로 지정된 레이블의 위치 중심점과 모델이 예측한 해당 핵심부위가 위치할 확률이 높은 지점의 중심점 간의 차이값을 최소화하는 방향으로 학습을 수행한다. 도 4의 모델 구조에 따르면 최종 인공지능 모델의 결과물은 (핵심부위의 수, 예측한 핵심부위의 x위치, 예측한 핵심부위의 y위치)로 출력된다. 도 4에서 (5, 224, 224)는 출력값의 차원을 의미하며, 5는 핵심부위의 개수를, (224,224)는 예측된 핵심부위의 위치가 포함될 결과값의 x, y의 차원을 의미한다. 특정부위 n의 (x, y) 위치는 연산속도나 효율 등을 고려하여 사용자가 설계한 인공지능 레이어의 내부 연산과정에서 (64, 64) 등으로 Scale을 변경(또는 축소)하여 운용할 수도 있다.

본 기술은 기존의 Faster R-CNN, VGG 등 영상인식 기술과 함께 사용하면 화면상의 식별된 표적과 표적 내부의 취약개소를 동시에 표현할 수 있어, 사용자의 운용 편의성을 더욱 높일 수 있다.

마지막으로, 사용자가 지정한 상기 표적의 핵심 또는 취약개소로 상기 무인기를 조종하여 이동 및 타격하는 단계이다.

추출된 표적의 핵심 또는 취약개소로 무인기를 유도하는 기술은 사용자 직접 유도, 중심유도 또는 강화학습 유도 중 어느 하나일 수 있다.

사용자 직접 유도는 표적의 핵심 또는 취약개소 추출 시스템을 통해 영상 센서정보로부터 타격할 지점을 추출하고 사용자가 직접 조종제어신호를 발생시켜 해당 표적의 목표지점으로 유도하는 유도방법이다.

중심유도 방법은 영상 센서정보로부터 타격할 지접을 추출하고 영상 센서화면의 중앙점과 타격할 핵심 또는 취약개소의 어느 한 지점간의 거리를 줄이도록 제어명령을 발동하여 영상 센서화면의 중앙점과 추출된 타격지점이 일치하도록한 상태에서 표적으로 기동하여 목표지점에 도달하도록 유도하는 방법이다.

좀 더 자세히 하술하면, 중심유도 방법은 무인기의 영상센서에 표적 또는 지정된 핵심 취약점이 식별되면, 화면의 중심으로 해당 위치를 두도록 무인기의 자세를 조정하며 목적지에 도달하도록 비행하는 방식으로, 무인기는 무인기가 설계된 속도, 또는 사용자가 지정한 속도와 고도로 비행할 수 있으며, 원거리 접근 시에는 발사개소로부터 표적까지의 방위/거리 정보, 또는 표적의 GPS 정보 등을 이용하여 표적 인근으로 비행하며, 표적 인근에 무인기가 도착하여 영상센서에 표적이 식별되면 다음과 같은 순서를 통해 목적지에 도달할 수 있다.

가. 표적만 식별이 되고 핵심 취약점이 추출되지 않는 경우 : 식별된 표적의 기하학적 중심(Tcenter_x, Tcenter_y)이 무인기 영상센서 화면의 중심점(Center_x, Center_y)에 위치하도록 무인기의 자세를 제어하며, 표적과 무인기의 거리나 무인기의 속도 등을 고려하여 중심점 일치화 속도는 조정될 수 있다.

나. 핵심 취약점만 추출되었거나 표적과 핵심 취약점이 둘 다 식별된 경우 : 식별된 표적의 지정된 핵심 취약점 위치(Tdesignated_x, Tdesignated_y)가 무인기 영상센서 화면의 중심점(Center_x, Center_y)에 위치하도록 무인기의 자세를 제어하며, 표적과 무인기의 거리나 무인기의 속도 등을 고려하여 중심점 일치화 속도는 조정될 수 있다.

강화학습 유도는 영상 센서정보로부터 타격할 지점을 추출하고, DQN, DDPG, A2C, A3C 등 적어도 하나 이상의 강화학습 기법을 이용하여 영상 센서정보 화면의 중앙점이 타격할 표적의 핵심 또는 취약개소의 지점과 일치하도록 제저명령을 발동하여 표적의 목표지점에 도달하도록 유도하는 방법이다.

좀 더 자세히 하술하면, 강화학습 유도방법은 무인기의 영상센서 정보와 무인기의 속도, 자세정보 등을 이용하여, 무인기가 지정한 목표지점으로 자율비행할 수 있도록, 도 5에서 나타낸 바와 같이 State, Action, Reward의 상관관계를 부여하여 학습된 방식으로 비행시키는 방식을 말한다.

강화학습 유도방법은 영상 센서화면과 무기체계의 GPS 위치정보를 포함하는 상태(State) 정보와 x, y, z축 속도, 가속도의 변화를 포함하는 행동공간(Action Space), 영상 센서정보 화면의 중앙점과 타격을 원하는 핵심 또는 취약개소의 추출점 간의 거리, 무기체계 및 표적의 거리가 가까워질수록 양(+)의 보상값을, 타물체와 충돌하거나, 무기체계와 표적의 거리가 멀어지거나, 지정된 타격지점이 아닌 곳에 도착할 경우 음(-)의 보상값을 가지는 보상방법을 포함하는 보상함수(Reward Function)을 이용하는 모델이다.

여기서 Agent는 학습의 주체가 될 무인기의 행동을 결정하는 시스템을 의미하며, Environmnet는 무인기의 행동과 그에 따른 보상을 얻을 수 있는 공간을 의미한다. 본 발명의 실시예에서 Agent가 획득할 수 있는 특정 시간 t에서의 State는 무인기에 장착된 카메라 영상센서 정보, 무인기의 위치, 고도, 속도 등으로 구성될 수 있으며, 무인기가 해당 State로부터 취할 수 있는 Action은 x, y, z축에 대한 속도 또는 가속도의 변경 등으로 구성될 수 있다. Reward_t는 Agent가 Environment에서 특정시간 t에서 얻을 수 있는 State_t로부터 취한 Action_t를 통해 얻은 보상을 의미한다.

무인기를 표적에서 추출된 핵심 취약개소로 이동시키기 위한 실시예에 따르면, 우인기는 무인기가 보유한 영상 카메라 센서를 통해 현재 무인기가 위치한 장소에서의 영상정보와 표적의 핵심 취약점 정보가 포함된 State_t를 얻고, 이를 바탕으로 무인기의 이동방향과 고도, 자세 등을 조정할 수 있는 x, y, z축의 속도 또는 가속도 명령이 포함된 Action_t를 선택할 수 있다. 여기서 Action_t를 통해 Environment로부터 Agent가 얻을 수 있는 Reward_t는 무인기의 현재 위치와 표적의 핵심 취약점 간의 거리가 가까워지고 있는지 또는 도착했는지, 바닥이나 주변 물체에 충돌했는지 여부 등을 선정할 수 있으며, Agnet는 Environment에서 각 State를 통해 얻은 전체 Reward를 최대화시킬 수 있는 Action을 선택하도록 반복 학습한다. 해당 Environment에서 학습이 완료된 Agent는 State 정보를 이용하여 사전 지정된 핵심 취약개소로 도달할 수 있는 Action을 취할 수 있으며, 이를 통해 무인기를 지정된 장소로 이동시킬 수 있다.

도 5를 참조하여 설명하면, 강화학습의 학습원리는 Environment에서 드론을 조종하는 Agent를 Action에 따른 Reward를 통해 반복 학습하는 것이다.

여기서 State_t는 센서(영상 등), 위치, 고도, 속도, 가속도 등을 의미한다.

Action_t는 x, y, z 속도 또는 가속도 등을 의미한다.

Reward_t는 화면 내 추출된 표적의 지정된 핵심 또는 취약개소의 위치와 화면 중앙값 간 거리가 가까워질수록 높은 보상, 멀어질수록 낮은 보상을 한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의하여 설며되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다고 할 것이다.

따라서, 본 발명의 사상은 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (5)

1. 무인기에서 표적의 영상정보를 획득하는 센서부;
   상기 표적의 정밀 위치를 추출하는 연산부;
   상기 표적의 위치로 비행할 수 있도록 상기 무인기의 자세를 제어하는 조종부;
   사용자와 상기 무인기 간 위치정보, 이동정보, 자세제어정보를 교신할 수 있는 통신부;로 구성되며,
   상기 무인기는 상기 센서부에 상기 표적이 탐지될 때까지 상기 표적의 방향으로 이동하고,
   상기 센서부로 상기 표적의 영상정보를 획득하고,
   상기 연산부는 상기 센서부로부터 획득된 상기 영상정보와 인공지능 모델을 이용하여 표적의 핵심 또는 취약개소를 하나 이상 추출하고,
   상기 사용자가 지정한 상기 표적의 핵심 또는 취약개소로 상기 무인기를 조종하여 이동 및 타격하는 것을 특징으로 하고,
   상기 인공지능 모델은 표적의 실제 자료 또는 3D 정밀 모델링 자료를 수집하는 단계;
   수집된 표적의 자료에서 사용자가 원하는 핵심 또는 취약개소의 위치를 레이블링하는 단계;
   상기 수집된 표적의 자료 및 사용자가 지정한 레이블링 자료를 이용하여 인공지능을 학습하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반 정밀타격시스템
   
2. 삭제
3. 제1항에 있어서,
   상기 인공지능은 Pose Estimation 모델을 사용하는 것을 특징으로 하는 인공지능 기반 정밀타격시스템
   
4. 제3항에 있어서,
   상기 Pose Estimation 모델은 CPM(Convolutional Pose Machine), Stacked Hourglass, AlphaPose 또는 OpenPose 모델 중 어느 하나 이상을 포함하는 것을 특징으로 하는 인공지능 기반 정밀타격시스템
   
5. 제1항에 있어서,
   상기 무인기를 조종하여 이동하는 방법은 사용자 직접 유도, 중심유도, 또는 강화학습 유도 중 어느 하나인 것을 특징으로 하는 인공지능 기반 정밀타격시스템

Images