KR102349854B1 - 표적 추적 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 표적 추적 시스템은, 표적에 대한 표적 영상을 획득하고, 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출하는 영상 획득장비 및 상기 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적에 대한 표적 정보를 출력하고, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여, 상기 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정하는 학습기를 포함할 수 있다.

Description

표적 추적 시스템 및 방법 {System and method for tracking target}

본 발명은 표적 추적 시스템 및 방법에 관한 것이다. 보다 상세하게는 본 발명은 일반적인 데이터로 사전 학습된 인공 신경망에 실표적 데이터를 기초로 다시 학습시켜 표적 추적의 성능을 향상시키는 표적 추적 시스템 및 방법이다.

최근 딥러닝(Deep-learning) 알고리즘을 이용하여 영상을 분석하는 기술이 증대되고 있고, 이에 따라서 유도탄에 탑재되는 영상 기반의 탐색기에서도 딥러닝 알고리즘을 이용하여 표적을 탐지하거나 추적할 수 있도록 개발되고 있다.

표적을 추적하는 인공신경망을 학습하기 위해서는 대량의 데이터가 필요하지만, 실제로 군사 목적의 표적에 대한 데이터는 구하기가 어려운 것이 현실이다.

종래에는 영상 획득이 가능한 정찰 자원(예를 들어, 정찰기, 인공위성, 무인기 등)을 이용하여 획득된 영상을 유도탄에 필요한 형태의 임무 데이터(예를 들어, 표적의 이동 경로, 표적 정보 등)로 전환하여 유도탄에 장입하고, 이를 유도시 표적을 추적하는데 추적 데이터로 사용한다.

이때, 임무 데이터를 만들기 위해서는 표적에 대한 영상 데이터를 다양한 정찰자원을 통해 모두 수집한 뒤 이를 선별하여 임무 데이터를 만들어야 한다. 이를 위해 영상 데이터의 보관 및 전송에 많은 자원이 소모되고, 단순한 영상이 아닌 모델로 만들어야 할 경우 인적 자원 및 많은 시간이 소요되는 한계가 있다.

상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 표적 추적 시스템 및 방법은, 군사 목적의 표적에 대한 데이터를 충분히 확보하지 못하고 딥러닝을 수행하여 표적을 탐지하는 기존의 한계점을 해결하기 위해, 일반적인 데이터로 사전 학습(Pre-training)한 인공 신경망에 전자광학장비로 촬영한 실표적 데이터를 추가 학습시켜 미세조정(Fine-tuning)하는 방식을 이용함으로써 표적 추적 성능을 향상시킬 수 있도록 하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 표적 추적 시스템은, 표적에 대한 표적 영상을 획득하고, 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출하는 영상 획득장비 및 상기 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적에 대한 표적 정보를 출력하고, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여, 상기 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정하는 학습기를 포함할 수 있다.

또한, 상기 학습기는, 상기 결정된 학습 데이터를 상기 인공 신경망에 다시 입력하고, 상기 인공 신경망은 상기 학습 데이터를 기초로 재학습하여 학습 파라미터들을 업데이트할 수 있다.

또한, 유도 비행체 내에 탑재되어, 상기 학습기로부터 업데이트된 학습 파라미터들을 전달 받고, 전달 받은 학습 파라미터들을 탐색 신경망에 적용하는 탐색기를 더 포함할 수 있다.

또한, 상기 학습기는, 상기 영상 획득장비로부터 획득된 표적 영상을 상기 인공 신경망에 입력하기 위한 영상 크기로 리사이징(resizing)하는 영상 전처리부;

상기 영상 크기가 리사이징된 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적 정보를 출력하는 표적 정보 출력부, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여 상기 표적 영상을 상기 학습 데이터로 결정하는 학습 데이터 결정부 및 상기 결정된 학습 데이터를 기초로 상기 학습 파라미터들을 업데이트하는 파라미터 업데이트부를 더 포함할 수 있다.

또한, 상기 표적 정보 출력부는, 상기 리사이징된 표적 영상을 영역별 특징값으로 나타내는 특징 정보로 인코딩하는 인코딩 레이어;를 더 포함하고, 상기 인공 신경망은, 상기 특징 정보를 기반으로 가중합 연산을 통해 컨볼루션 필터링하는 적어도 하나의 컨볼루션 레이어; 및 상기 적어도 하나의 컨볼루션 레이어로부터 컨볼루션 필터링된 특징 정보 및 상기 적어도 하나의 컨볼루션 레이어의 스킵 커넥션(Skip Connection) 경로를 통해 상기 컨볼루션 필터링 되기 이전의 특징 정보를 합산하여 합산 정보를 출력하는 레지듀얼 블록을 더 포함할 수 있다.

또한, 상기 표적 정보 출력부는, 상기 표적 영상 내의 서로 다른 표적들의 크기를 고려하여 상기 표적들에 대한 표적 정보를 출력하기 위해, 상기 인코딩 레이어, 상기 적어도 하나의 컨볼루션 레이어, 상기 레지듀얼 블록을 이용하여 기 설정된 횟수만큼 반복 학습하여 서로 다른 스케일의 특징 블록들을 출력할 수 있다.

또한, 상기 표적 정보 출력부는, 상기 출력된 특징 블록들을 기초로 기 설정된 알고리즘을 통해 상기 특징 블록들 각각에 따른 상기 표적 정보를 군집화하여 표적 그룹을 생성하고, 상기 표적 그룹별 대표 후보 표적에 대한 대표 정보를 추출할 수 있다.

또한, 상기 표적 정보는 상기 표적에 대한 좌표, 상기 표적의 크기, 상기 표적의 종류 중 적어도 하나를 포함할 수 있다.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 표적 추적 방법은, 영상 획득장비가, 표적에 대한 표적 영상을 획득하고, 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출하는 단계, 학습기가, 상기 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적에 대한 표적 정보를 출력하고, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여, 상기 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정하는 단계, 상기 학습기가, 상기 결정된 학습 데이터를 상기 인공 신경망에 다시 입력하고, 상기 인공 신경망은 상기 학습 데이터를 기초로 재학습하여 학습 파라미터들을 업데이트하는 단계 및 유도 비행체에 탑재되는 탐색기가, 상기 학습기로부터 업데이트된 학습 파라미터들을 전달 받고, 전달 받은 학습 파라미터들을 탐색 신경망에 적용하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 표적 추적 시스템 및 방법은 획득하기 어려운 군사 표적 모델에 대해 대량의 데이터를 수집할 필요가 없어 데이터 수집에 필요한 비용을 절감할 수 있다.

또한, 영상 획득장비(전자광학장비)가 실제 표적을 대상으로 하는 표적 영상을 획득하여 학습에 사용함으로써 표적을 보다 정확하게 탐지할 수 있다.

또한, 인공 신경망 학습은 별도의 장치인 학습기에서 수행되므로 유도탄(탐색기)는 여전히 제한적인 프로세싱 자원을 유지할 수 있다.

또한, 유도탄에 장입되는 표적 정보 생성을 위해 전자광학장비에서 수집된 모든 영상 데이터가 유도탄(탐색기)로 전송될 필요가 없고, 미세조정된 신경망에 대한 파라미터만 보내면 되므로 전송 용량이 매우 적어지는 효과가 있다.

도1은 본 발명의 일 실시예에 따른 표적 추적 시스템의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 다른 실시예에 따른 표적 추적 시스템의 구성을 개략적으로 도시한 블록도이다.
도3은 본 발명의 일 실시예에 따른 인공 신경망을 통해 표적 정보를 출력하는 방법을 개략적으로 설명하기 위해 도시한 참고도이다.
도4는 본 발명의 일 실시예에 따른 인공 신경망을 통해 표적 정보를 출력하는 방법을 개략적으로 설명하기 위해 도시한 참고도이다.
도5는 본 발명의 일 실시예에 따른 인공 신경망을 통해 표적 정보를 출력하는 방법을 개략적으로 설명하기 위해 도시한 참고도이다.
도6은 본 발명의 일 실시예에 따른 인공 신경망을 통해 표적 정보를 출력하는 방법을 개략적으로 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 표적 영상에서의 표적의 좌표와 관련한 설명을 위해 도시한 참고도이다.
도8은 본 발명의 일 실시예에 따른 표적 정보 출력부의 최종 출력을 설명하기 위해 도시한 참고도이다.
도9는 본 발명의 일 실시예에 따른 표적 정보 출력부의 최종 출력을 설명하기 위해 도시한 참고도이다.
도10은 본 발명의 일 실시예에 따른 학습기가 학습 데이터로 선택하는 방법을 설명하기 위해 도시한 도면이다.
도11은 본 발명의 일 실시예에 따른 표적 추적 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함” 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록”등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하에서는 본 발명의 실시예에 따른 표적 추적 시스템 및 방법의 구성을 관련된 도면을 참조하여 상세히 설명한다. 본 발명의 실시예에 따른 표적 추적 시스템은 전자광학장비가 포함된 헬기, 무인기 등과 같은 플랫폼과 영상 기반의 탐색기를 사용하는 유도탄이 장착된 플랫폼이 서로 연동하여 표적을 탐지 및 추적하는 능력을 향상시키기 위한 것이다.

본 발명의 실시예에 따른 표적 추적 시스템은 군사 목적의 표적에 대한 데이터를 충분히 확보하지 못하고 딥러닝을 수행하여 표적을 탐지하는 기존의 한계점을 해결하기 위해, 일반적인 데이터로 사전 학습(Pre-training)한 인공 신경망에 전자광학장비로 촬영한 실표적 데이터를 추가 학습시켜 미세조정(Fine-tuning)하는 방식을 이용한다.

도1은 본 발명의 일 실시예에 따른 표적 추적 시스템의 구성을 개략적으로 도시한 블록도이고, 도2는 도1에 따른 본 발명의 표적 추적 시스템의 구성을 보다 상세하게 도시한 블록도이다.

도1에 도시된 바와 같이, 본 발명의 표적 추적 시스템(10)은 영상 획득장비(100), 학습기(200) 및 탐색기(300)를 포함하여 구성될 수 있다.

본 발명의 실시예에 따른 영상 획득장비(100)는 표적에 대한 표적 영상을 획득하고, 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출할 수 있다. 예컨대, 본 발명의 영상 획득장비(100)는 적외선 카메라 또는 가시광 카메라를 이용하여 추적하고자 하는 표적의 영상을 획득하고, 획득한 표적 영상을 기초로 표적을 탐지하고 추적하는 전자광학장비일 수 있다.

본 발명의 실시예에 따른 학습기(200)는 영상 획득장비로부터 획득된 표적 영상을 내부의 인공 신경망에 입력하여, 인공 신경망을 통해 표적에 대한 표적 정보를 출력하고, 표적 정보 및 영상 획득장비(100)로부터 산출된 신뢰도를 고려하여, 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정할 수 있다.

그리고, 탐색기(300)는 유도탄에 탑재되어 표적을 탐지 및 추적하기 위한 것으로서, 유도탄의 운용 중에 실시간으로 획득되는 영상을 분석하여 표적을 탐지 및 추적할 수 있다.

도2를 참조하면, 영상 획득장비(100)는 입력 영상으로부터 표적을 탐지하고 추적하는 기능을 수행하는 것으로서, 미리 정해진 추적하고자 하는 관심 표적과, 적외선 카메라 또는 가시광 카메라를 통해 획득되는 표적 영상의 유사도로 정의되는 는 신뢰도를 산출할 수 있다.

예컨대, 영상 획득장비(100)는 기 저장된 관심 표적의 크기, 좌표, 형상 및 속도 등과 같은 비교 정보와, 상기 카메라를 통해 획득된 표적 영상에서의 표적의 크기, 좌표, 형상 및 속도 등의 비교 정보를 비교하여 상기 신뢰도를 산출할 수 있다. 또 다른 실시예에 따르면, 영상 획득장비(100)는 상기 관심 표적의 좌표 정보와 상기 카메라를 통해 획득된 표적의 좌표 정보 간의 유클리디안 거리(Euclidean Distance)를 계산함에 따라 상기 신뢰도를 산출할 수도 있다.

본 발명의 학습기(200)는 영상 전처리부(220), 표적 정보 출력부(240), 학습 데이터 결정부(260), 및 파라미터 업데이트부(280)를 더 포함하여 구성될 수 있다.

영상 전처리부(220)는 영상 획득장비(100)로부터 획득된 표적 영상을 표적 정보 출력부(240)의 인공 신경망에 입력하기 위한 영상 크기로 리사이징(Resizing)할 수 있다.

그리고, 표적 정보 출력부(240)는 영상 크기가 리사이징된 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 표적 정보를 출력할 수 있다. 여기서, 표적 정보 출력부(240)의 인공 신경망은 유도탄의 탐색기(300) 내부에 마련되는 탐색 신경망(인공 신경망)과 동일한 신경망으로 구현되는 것이 바람직하다.

표적 정보 출력부(240)는 영상 전처리부(220)에 의해 크기가 변경된 표적 영상을 미리 일반 학습 데이터를 이용하여 사전 학습된 인공 신경망에 입력하여 추론을 수행하고, 그 결과로 표적에 대한 좌표, 표적의 크기, 표적의 종류, 및 표적 종류별 유사도에 대한 정보를 포함하는 표적 정보를 산출할 수 있다.

본 발명의 표적 정보 출력부(240)는 도면에 따로 도시하지는 않았으나, 인코딩 레이어 및 인공 신경망을 포함하여 구성될 수 있다.

본 실시예에 따른 인코딩 레이어는, 상기 리사이징된 표적 영상을 영역별 특징값으로 나타내는 특징 정보로 인코딩할 수 있다. 예컨대, 인코딩 레이어는 상기 표적 영상을 영역별 특징벡터들로 이루어진 특징맵으로 인코딩하는 것일 수 있다.

본 실시예에 따른 인공 신경망은, 특징 정보를 기반으로 가중합 연산을 통해 컨볼루션 필터링하는 컨볼루션 레이어(Convolution Layer)들, 컨볼루션 레이어들로부터 컨볼루션 필터링된 특징 정보 및 컨볼루션 레이어들 중 적어도 일부를 스킵 커넥션(Skip Connection)하여, 컨볼루션 필터링 된 후의 결과값(특징 정보)과 컨볼루션 필터링되기 이전의 결과값(특징 정보)을 합산하여 합산 정보를 출력하는 레지듀얼 블록, 및 상기 복수의 컨볼루션 레이어들 및 복수의 레지듀얼 블록들을 통해 레지듀얼 학습을 반복 수행함에 따라 생성되는 합산 정보들을 기 정해진 종류별 특징 정보로 분류하는 FC 레이어(Fully Connected Layer)을 포함하여 구성될 수 있다.

스킵 커넥션(Skip Connection)은 입력된 입력 영상(100)의 크기를 줄였다가 다시 원 상태로 늘리는 경우에 정교한 픽셀 정보가 사라지는 경우를 방지하기 위해 사용될 수 있다.

레지듀얼 블록은 컨볼루션 레이어로 구성되어 있으며, 학습 시 입력 영상의 영향력이 점차 사라지는 문제를 방지하기 위해 사용될 수 있다. 또한, 레지듀얼 블록은 영상 개선을 위한 특징 추출과 재구성이 가능할 수 있다.

이하에서는, 도3 내지 도6을 참고하여 표적 정보 출력부(240)가 표적 영상을 기반으로 상술한 바와 같은 인공 신경망을 통해 표적 정보를 출력하는 방법에 대하여 보다 상세하게 후술한다. 도3 내지 도6은 본 발명의 일 실시예에 따른 인공 신경망을 통해 표적 정보를 출력하는 방법을 개략적으로 설명하기 위해 도시한 참고도이다.

본 발명의 표적 정보 출력부(240)는 표적 영상을 통해 탐지할 것으로 예상하는 표적의 크기를 복수개의 크기별로 나누어 상기 인공 신경망을 이용하여 표적 정보를 출력할 수 있다.

일 실시예에 따른 도3을 참고하여 설명하면, 예컨대, 인공 신경망은 인코딩부(미도시)에 의해 표적에 대한 특징 정보가 입력되면 큰 크기(제1 크기)의 표적을 위하여 제1 크기(예, 40x32x256)의 영역의 특징 정보를 기계 학습하고, 이에 따라 제1 스케일의 특징 블록을 출력할 수 있다. 이때, 본 실시예에서의 인공 신경망은 하나의 표적 영상 내에 복수의 표적들이 있는 경우, 이러한 복수의 표적들을 탐지하기 위해 복수의 제1 스케일의 특징 블록들을 출력할 수 있다.

마찬가지로, 인공 신경망은 중간 크기(제2 크기)의 표적을 위하여 제2 크기(예, 20x16x512)의 영역의 특징 정보를 기계 학습하고, 이에 따라 복수의 제2 스케일의 특징 블록들을 출력하고, 작은 크기(제3 크기)의 표적을 위하여 제3 크기(예, 10x8x1024)의 영역의 특징 정보를 기계 학습하고, 이에 따라 복수의 제3 스케일의 특징 블록들을 출력할 수 있다.

일 실시예에 따른 도4를 참고하면, 인공 신경망은 제1 스케일 내지 제3 스케일의 특징 블록을 복수개(예, 3개)씩 출력하고, 각 특징 블록은 복수의 표적정보들(예, 15개)을 포함할 수 있다. 여기서, 표적 정보란 표적의 좌표, 표적의 크기, 표적의 종류, 신뢰도 및 표적 종류별 유사도에 대한 정보를 포함하는 정보일 수 있다. 이때, 종류별 신뢰도는 신뢰도와 종류별 유사도의 곱으로 계산될 수 있고, 상기 종류별 유사도는 학습한 표적 종류별로 해당 영역이 비슷한 정도를 나타낸다.

도4에서 (a)는 제3 스케일의 특징 블록을 나타낸 것이고, (b)는 제2 스케일의 특징 블록을 나타낸 것이며, (c)는 제1 스케일의 특징블록을 나타낸 것이다.

도5는 본 발명의 표적 정보 출력부의 인공 신경망의 구성 및 레지듀얼 블록의 레지듀얼 학습(Residual Learning)의 반복횟수에 따른 특징 블록의 출력 크기 및 각 컨볼루션 레이어(필터)의 크기를 예시하여 도시한 그래프이다.

도6의 (a)는 제3 스케일의 특징 블록을 출력하기 위해 FC 레이어가 합산한 특징 블록의 크기를 나타낸 것이고, (b)는 제2 스케일의 특징 블록을 출력하기 위해 FC 레이어가 합산한 특징 블록의 크기를 나타낸 것이며, (c)는 제1 스케일의 특징 블록을 출력하기 위해 FC 레이어가 합산한 특징 블록의 크기를 나타낸 것이다.

도7은 본 발명의 일 실시예에 따른 표적 영상에서의 표적의 좌표와 관련한 설명을 위해 도시한 참고도이다. 도7을 참고하면 표적의 중심 좌표(C_x, C_y)는 해당 영역에서의 표적의 중심점의 비율로 나타낼 수 있고, 표적의 크기(T_x, T_y)는 표적 영상의 크기와의 상대적인 비율로 나타낼 수 있으며, 여기서 하나의 영역의 크기는 (R_x, R_y)로 정의될 수 있다. 예컨대, 하나의 표적 영상의 전체 크기를 (W, H)라고 가정할 때, 픽셀 단위의 n번째 열과 m번째 행의 영역에서의 중심 좌표는 (C_x x R_x +nR_xC_y x R_y +mR_x)로 나타낼 수 있고, 여기서 픽셀 단위의 크기는 (W x T_x, H x T_y)로 나타낼 수 있다.

그리고 다시 도3을 참조하면, 본 발명의 표적 정보 출력부(240)는 상기 인공 신경망으로부터 출력된 제1 내지 제3 스케일에 따른 복수의 특징 블록에 포함된 특징 정보들을 기초로 기 설정된 군집화 알고리즘을 통해 상기 특징 정보들을 군집화하여 적어도 하나의 표적 그룹을 생성하고, 생성된 표적 그룹별 대표하는 후보 표적에 대한 대표 정보를 추출할 수 있다. 여기서, 본 발명의 표적 정보 출력부(240)가 상기 각 표적 그룹별로 대표 정보를 추출하기 위해 사용하는 군집화 알고리즘은 k-평균 클러스터링 알고리즘(K-means Clustering Algorithm) 일 수 있다. 예컨대, 상기 대표 정보란 표적 정보 출력부로부터 탐지된 적어도 하나의 표적에 대한 좌표, 크기, 신뢰도 및 유사도 중 적어도 하나에 대한 정보일 수 있다.

도8 및 도9는 본 발명의 일 실시예에 따른 표적 정보 출력부의 최종 출력을 설명하기 위해 도시한 도면이다. 일 실시예인 도8은 표적 영상에서 검출된 표적의 영역 중 표적(표적 #2)이 97%로 탐지된 것을 예시하여 도시하고 있다. 이때, 표적(표적 #2)에 해당하는 표적별 신뢰도 값은 0.98(신뢰도) x 0.99(유사도) = 0.97로 계산될 수 있다. 도9는 도8과 같은 실시예에서의 표적 정보 출력부가 출력하는 표적 정보를 개략적인 표로 나타낸 것이다.

도 8을 참조하면, 표적 영상에서 표적의 영역은 검출된 표적의 영역과 검출된 표적의 영역의 중심점이 포함된 구역으로 나눠질 수 있으며, 표적별 신뢰도 값은 신뢰도와 유사도를 기반으로 산출할 수 있다.

다시 도2를 참조하면, 학습 데이터 결정부(260)는 상술한 바와 같이 표적 정보 출력부(240)로부터 산출된 표적 정보 및 영상 획득장비(100)로부터 산출된 신뢰도를 고려하여 표적 영상을 인공 신경망의 임무와 관련된 학습 데이터로 선택할지 여부를 결정할 수 있다.

도10은 본 발명의 일 실시예에 따른 학습기가 학습 데이터로 선택하는 방법을 설명하기 위해 도시한 도면이다. 도10을 참고하면, 본 발명의 학습 데이터 결정부(260)는 영상 획득장비로부터 산출된 신뢰도(표적 탐지/추적 신뢰도)와 인공 신경망으로부터 출력되는 표적 정보를 기반으로 산출되는 정확도가 기 설정된 임계치 이상인 경우, 인공 신경망을 재학습하기 위한 학습 데이터로 결정할 수 있다.

영상 획득장비(전자광학장비)는 표적 탐지/추적 신뢰도가 높은 경우와 표적 탐지/추적 신뢰도가 낮은 경우로 나뉘며, 인공 신경망은 인공 신경망의 정확도가 높은 경우와 인공 신경망의 정확도가 낮은 경우로 나뉜다. 이를 통한 데이터 선택은 신뢰도와 정확도 및 일정 시간이 충족된 경우에 선택하며, 신뢰도와 정확도가 미충족된 경우 또는 일정 시간 경과에 의해 미충족된 경우 선택하지 않는다. 예를 들어, 영상 획득장비(전자광학장비)의 표적 탐지/추적 신뢰도가 높은 경우 및 인공 신경망의 정확도가 높은 경우에 데이터가 선택되며, 영상 획득장비(전자광학장비)의 표적 탐지/추적 신뢰도가 높은 경우라도 인공 신경망의 정확도가 낮은 경우에 신뢰도와 정확도가 미충족되어 선택되지 않는다. 이에 따라 도 10에서는 모든 경우가 충족된 경우 학습 데이터가 선택되는 것을 확인할 수 있다.

보다 구체적으로는, 학습 데이터 결정부(260)는 상기 영상 획득장비로부터 산출된 신뢰도와 인공 신경망으로부터 산출되는 정확도가 상기 임계치 이상이지만, 이전의 표적 영상이 학습 데이터로 선택된 시점으로부터 미리 정해진 일정 시간이 소요되기 이전의 표적 영상이라면 학습 데이터로 선택하지 않을 수 있다.

다시 도2를 참조하면, 본 발명의 파라미터 업데이트부(280)는 이렇게 학습 데이터 결정부(260)로부터 결정된 학습 데이터를 기초로 재학습하여 인공 신경망의 학습 파라미터를 업데이트할 수 있다.

그리고, 본 발명의 실시예에 따른 탐색기(300)는 상기와 같이 파라미터 업데이트부(280)에 의해 학습기(200)의 인공 신경망의 업데이트된 학습 파라미터들을 전달 받고, 상기 학습기의 인공 신경망과 동일한 구조 및 크기를 가지는 탐색기(300)의 탐색 신경망에 적용함으로써, 유도탄을 운용하면서 실시간으로 획득하는 표적의 영상을 보다 정확하게 분석할 수 있어, 표적 탐지 성능을 향상시킬 수 있게 된다.

도11은 본 발명의 일 실시예에 따른 표적 추적 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.

S1100 단계에서, 영상 획득장비는 표적 영상을 획득하고, 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출한다.

S1110 단계에서, 학습기는 영상 획득장비로부터 획득된 표적 영상을 인공 신경망에 입력시키기 위한 크기로 전처리한다.

S1120 단계에서, 학습기는 상기 전처리된 표적 영상을 인공 신경망에 입력시키고, 상기 인공 신경망을 이용하여 표적 정보를 출력한다.

S1130 단계에서, 학습기는 상기 출력된 표적 정보와 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여 상기 표적 영상을 학습 데이터로 선택할지 여부를 결정한다.

S1140 단계에서, 학습기는 S1130 단계에서 상기 표적 영상이 학습 데이터로 선택되었다면, 선택된 학습 데이터를 기초로 상기 인공 신경망을 재학습시킴으로써 설정되는 학습 파라미터들을 업데이트한다.

S1150 단계에서, 유도탄에 탑재되는 탐색기는 학습기로부터 업데이트된 학습 파라미터들을 전달 받아, 탐색기 내부의 탐색 신경망에 적용한다.

이에 따라 S1160 단계에서 탐색기는 상기 업데이트된 학습 파라미터들이 적용된 탐색 신경망을 이용하여 유도탄 운용 중에 실시간으로 획득하는 표적의 영상을 분석함으로써 표적을 탐지 및 추적한다.

본 발명의 실시예에 따르면, 표적 추적 방법은 전자광학장비의 표적을 탐지 또는 추적하며, 획득된 표적 데이터를 인공 신경망에 입력이 가능하게 영상 크기 변경 등 영상 전처리 한다. 유도탄과 동일하게 사전학습이 된 인공 신경망에 표적 데이터를 입력하여 표적의 종류, 정확도 등 추론 결과를 얻으며, 표적을 탐지 또는 추적하여 생성된 표적 신뢰도와 전처리를 통해 추론된 표적 정확도와 획득 시간을 이용하여 해당 영상을 학습 데이터로 사용할지 여부를 선택한다. 선택된 학습 데이터를 이용하여 인공 신경망을 업데이트 하는 미세조정을 수행하며, 학습된 인공 신경망의 파라미터를 탐색기에 전송하여 새로운 신경망으로 표적 탐지/추적 할 수 있다.

특히, 표적을 탐지 또는 추적하여 생성된 표적 신뢰도와 전처리를 통해 추론된 표적 정확도와 획득 시간을 이용하여 해당 영상을 학습 데이터로 사용할지 여부를 선택에서의 학습 데이터의 선택은 표적의 신뢰도가 높고, 추론 결과의 정확도가 높고, 일정시간 이상의 간격인 경우를 선택한다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 영상 획득장비
200: 학습기
300: 탐색기

Claims (11)

1. 표적에 대한 표적 영상을 획득하고, 상기 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출하는 영상 획득장비; 및
   상기 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적에 대한 표적 정보를 출력하고, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여, 상기 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정하는 학습기;를 포함하고,
   상기 학습기는, 상기 인공 신경망에 입력하기 위한 영상 크기로 리사이징된 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적 정보를 출력하는 표적 정보 출력부를 포함하고,
   상기 표적 정보 출력부는, 상기 리사이징된 표적 영상을 영역별 특징값으로 나타내는 특징 정보로 인코딩하는 인코딩 레이어;를 포함하며,
   상기 인공 신경망은, 상기 특징 정보를 기반으로 가중합 연산을 통해 컨볼루션 필터링하는 적어도 하나의 컨볼루션 레이어; 및 상기 적어도 하나의 컨볼루션 레이어로부터 컨볼루션 필터링된 특징 정보 및 상기 적어도 하나의 컨볼루션 레이어의 스킵 커넥션(Skip Connection) 경로를 통해 상기 컨볼루션 필터링 되기 이전의 특징 정보를 합산하여 합산 정보를 출력하는 레지듀얼 블록;을 포함하고,
   상기 표적 정보 출력부는, 상기 표적 영상 내의 서로 다른 표적들의 크기를 고려하여 상기 표적들에 대한 표적 정보를 출력하기 위해, 상기 인코딩 레이어, 상기 적어도 하나의 컨볼루션 레이어, 상기 레지듀얼 블록을 이용하여 기 설정된 횟수만큼 반복 학습하여 서로 다른 스케일의 특징 블록들을 출력하는 것을 특징으로 하는 표적 추적 시스템.
2. 제1항에 있어서,
   상기 학습기는, 상기 결정된 학습 데이터를 상기 인공 신경망에 다시 입력하고, 상기 인공 신경망은 상기 학습 데이터를 기초로 재학습하여 학습 파라미터들을 업데이트 하는 것을 특징으로 하는 표적 추적 시스템.
3. 제2항에 있어서,
   유도 비행체 내에 탑재되어, 상기 학습기로부터 업데이트된 학습 파라미터들을 전달 받고, 전달 받은 학습 파라미터들을 탐색 신경망에 적용하는 탐색기;를 더 포함하는 것을 특징으로 하는 표적 추적 시스템.
4. 제2항에 있어서, 상기 학습기는,
   상기 영상 획득장비로부터 획득된 표적 영상을 상기 인공 신경망에 입력하기 위한 영상 크기로 리사이징(Resizing)하는 영상 전처리부;
   상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여 상기 표적 영상을 상기 학습 데이터로 결정하는 학습 데이터 결정부; 및
   상기 결정된 학습 데이터를 기초로 상기 학습 파라미터들을 업데이트하는 파라미터 업데이트부;를 더 포함하는 것을 특징으로 하는 표적 추적 시스템.
5. 삭제
6. 삭제
7. 제1항에 있어서, 상기 표적 정보 출력부는,
   상기 출력된 특징 블록들을 기초로 기 설정된 알고리즘을 통해 상기 특징 블록들 각각에 따른 상기 표적 정보를 군집화하여 표적 그룹을 생성하고, 상기 표적 그룹별 대표 후보 표적에 대한 대표 정보를 추출하는 것을 특징으로 하는 표적 추적 시스템.
8. 제1항에 있어서,
   상기 표적 정보는 상기 표적에 대한 좌표, 상기 표적의 크기, 상기 표적의 종류 중 적어도 하나를 포함하는 것을 특징으로 하는 표적 추적 시스템.
9. 영상 획득장비가, 표적에 대한 표적 영상을 획득하고, 상기 획득된 표적 영상과 기 저장된 추적하고자 하는 관심 표적의 유사도로 정의되는 신뢰도를 산출하는 단계;
   학습기가, 상기 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적에 대한 표적 정보를 출력하고, 상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여, 상기 인공 신경망의 학습 알고리즘을 조정하기 위한 학습 데이터로 결정하는 단계;
   상기 학습기가, 상기 결정된 학습 데이터를 상기 인공 신경망에 다시 입력하고, 상기 인공 신경망은 상기 학습 데이터를 기초로 재학습하여 학습 파라미터들을 업데이트하는 단계; 및
   유도 비행체에 탑재되는 탐색기가, 상기 학습기로부터 업데이트된 학습 파라미터들을 전달 받고, 상기 전달 받은 학습 파라미터들을 탐색 신경망에 적용하는 단계;를 포함하고,
   상기 학습 데이터로 결정하는 단계는, 영상 크기가 상기 인공 신경망에 입력하기 위한 영상 크기로 리사이징된 표적 영상을 인공 신경망에 입력하여, 상기 인공 신경망을 통해 상기 표적 정보를 출력하는 단계를 포함하고,
   상기 표적 정보를 출력하는 단계는, 인코딩 레이어가, 상기 리사이징된 표적 영상을 영역별 특징값으로 나타내는 특징 정보로 인코딩하는 단계;를 포함하고,
   상기 인공 신경망은, 상기 특징 정보를 기반으로 가중합 연산을 통해 컨볼루션 필터링하는 적어도 하나의 컨볼루션 레이어; 및 상기 적어도 하나의 컨볼루션 레이어로부터 컨볼루션 필터링된 특징 정보 및 상기 적어도 하나의 컨볼루션 레이어의 스킵 커넥션(Skip connection) 경로를 통해 상기 컨볼루션 필터링 되기 이전의 특징 정보를 합산하여 합산 정보를 출력하는 레지듀얼 블록;을 포함하며,
   상기 표적 정보를 출력하는 단계는, 상기 표적 영상 내의 서로 다른 표적들의 크기를 고려하여 상기 표적들에 대한 표적 정보를 출력하기 위해, 상기 인코딩 레이어, 상기 적어도 하나의 컨볼루션 레이어, 상기 레지듀얼 블록을 이용하여 기 설정된 횟수만큼 반복 학습하여 서로 다른 스케일의 특징 블록들을 출력하는 것을 특징으로 하는 표적 추적 방법.
10. 제9항에 있어서,
    상기 학습 데이터로 결정하는 단계는,
    상기 영상 획득장비로부터 획득된 표적 영상을 상기 인공 신경망에 입력하기 위한 영상 크기로 리사이징(Resizing)하는 단계; 및
    상기 표적 정보 및 상기 영상 획득장비로부터 산출된 신뢰도를 고려하여 상기 표적 영상을 상기 학습 데이터로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 표적 추적 방법.
11. 삭제

Images