KR102093919B1 - 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법 - Google Patents

강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법 Download PDF

Info

Publication number
KR102093919B1
KR102093919B1 KR1020190148870A KR20190148870A KR102093919B1 KR 102093919 B1 KR102093919 B1 KR 102093919B1 KR 1020190148870 A KR1020190148870 A KR 1020190148870A KR 20190148870 A KR20190148870 A KR 20190148870A KR 102093919 B1 KR102093919 B1 KR 102093919B1
Authority
KR
South Korea
Prior art keywords
task
compensation
tasks
tracking
order
Prior art date
Application number
KR1020190148870A
Other languages
English (en)
Inventor
양우용
박지웅
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020190148870A priority Critical patent/KR102093919B1/ko
Application granted granted Critical
Publication of KR102093919B1 publication Critical patent/KR102093919B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S2013/0236—Special technical features
    • G01S2013/0245—Radar with phased array antenna
    • G01S2013/0254—Active array antenna

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정방법으로서, 시간에 따라 제공하는 보상값이 변화되는 보상함수를 임무들의 종류별로 마련하는 과정; 상기 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시키는 과정; 및 상기 보상함수를 이용하여 대기하는 임무들이 수행되는 순서를 정하는 과정;을 포함하고, 임무들이 수행되는 순서를 효율적으로 결정할 수 있다.

Description

강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법{APPARATUS FOR DETERMINING EXECUTION ORDER USING REINFORCEMENT, ACTIVE ELECTRONICALLY RADAR USING THE SAME, AND METHOD FOR DETERMINING EXECUTION ORDER}
본 발명은 강화학습을 이용한 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법에 관한 것으로, 더욱 상세하게는 임무들이 수행되는 순서를 효율적으로 결정할 수 있는 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법에 관한 것이다.
일반적으로 다기능 레이더는 탐색, 일반 추적, 정밀 추적 등의 여러 기능들을 수행할 수 있다. 특히, 능동 위상배열 레이더는 매우 짧은 시간 안에 전자적으로 빔을 조향할 수 있기 때문에, 다기능 레이더로 사용할 수 있다. 능동 위상배열 레이더는 신속하게 빔의 방향을 조절하면서 여러 임무들을 순차적으로 수행할 수 있다.
이때, 능동 위상배열 레이더는 여러가지 임무들을 수행해야 하기 때문에, 임무들이 수행되는 순서가 관리될 필요가 있다. 따라서, 종래에는 능동 위상배열 레이더가 수행할 임무들의 목록을 미리 마련한 후, 목록의 순서에 따라 능동 위상배열 레이더가 임무들을 수행하였다.
그러나 능동 위상배열 레이더는 한정된 시간 내에 수행할 수 있는 임무의 수가 한정되어 있다. 이에, 주변 환경 등의 요인으로 임무들의 수가 과도해지는 경우 일부 임무들의 수행시간이 겹치면서 임무의 수행이 지연되거나 임무가 수행되지 못할 수 있다. 따라서, 우선순위가 높은 임무와 우선순위가 낮은 임무가 겹치는 경우, 우선순위가 높은 임무를 능동 위상배열 레이더가 제대로 수행하지 못하는 문제가 발생할 수 있다.
KR 2018-0070130 A
본 발명은 임무들의 종류에 따라 다른 보상값들을 제공하는 보상함수를 이용하여 임무들이 수행되는 순서를 결정할 수 있는 강화학습을 이용한 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법을 제공한다.
본 발명은 수행할 임무들을 효율적으로 관리할 수 있는 강화학습을 이용한 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법을 제공한다.
본 발명은 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정방법으로서, 시간에 따라 제공하는 보상값이 변화되는 보상함수를 임무들의 종류별로 마련하는 과정; 상기 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시키는 과정; 및 상기 보상함수를 이용하여 대기하는 임무들이 수행되는 순서를 정하는 과정;을 포함한다.
상기 보상함수를 임무들의 종류별로 마련하는 과정은, 임무들의 종류가 가지는 중요도를 설정하는 과정; 및 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만드는 과정을 과정;을 포함한다.
상기 임무들의 종류는 정밀추적 임무, 일반추적 임무, 및 탐색 임무를 포함하고,
상기 임무들의 종류가 가지는 중요도를 설정하는 과정은, 상기 정밀추적 임무의 중요도를 상기 일반추적 임무의 중요도보다 높게 설정하고, 상기 일반추적 임무의 중요도를 상기 탐색 임무보다 높게 설정하는 과정을 포함한다.
상기 보상함수를 임무들의 종류별로 마련하는 과정은, 상기 탐색 임무의 보상함수에서, 시간 경과에 따른 보상값의 크기가 일정해지도록 만드는 과정을 포함한다.
상기 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만드는 과정은, 상기 일반추적 임무의 보상함수와, 상기 정밀추적 임무의 보상함수에서, 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만드는 과정을 포함한다.
상기 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만드는 과정은, 상기 일반추적 임무의 보상함수의 시간방향 폭이, 상기 정밀추적 임무의 보상함수의 시간방향 폭보다 넓어지도록 만드는 과정을 포함한다.
상기 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만드는 과정은, 상기 일반추적 임무의 보상함수에서 최대 보상값이 제공되는 시간이, 상기 정밀추적 임무의 보상함수에서 최대 보상값이 제공되는 시간보다 늦은 시점에 위치하도록 만드는 과정을 포함한다.
상기 보상함수를 이용하여 임무들이 수행되는 순서를 정하는 과정은, 상기 보상함수를 통해 획득하는 보상값들의 합이 최대가 되도록 임무들의 순서를 결정하는 과정을 포함한다.
상기 보상함수를 통해 획득하는 보상값들의 합이 최대가 되도록 임무들의 순서를 결정하는 과정은, 대기하는 임무들 중 시간대 별로 가장 큰 보상값을 제공하는 보상함수를 가지는 최적임무를 찾는 과정; 및 각 시간대에서 상기 최적임무가 다른 임무들보다 먼저 수행될 수 있도록 임무들이 수행되는 순서를 조절하는 과정;을 포함한다.
본 발명은 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정장치로서, 상기 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시킬 수 있는 대기부; 시간에 따라 제공하는 보상값이 변화되는 보상함수들을 임무들의 종류별로 마련할 수 있는 보상부; 및 상기 보상함수들을 이용하여 상기 대기부에서 대기하는 임무들이 수행되는 순서를 정할 수 있는 순서 결정부;를 포함한다.
상기 보상부는, 임무들의 종류가 가지는 중요도를 설정할 수 있는 중요도 설정기; 및 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만들 수 있는 보상값 설정기;를 포함한다.
상기 순서 결정부는, 상기 대기부에 대기하는 임무들의 종류를 확인할 수 있는 종류 확인기; 시간대 별로 상기 대기부에서 대기하는 임무들이, 상기 보상함수들에 따라 제공하는 보상값을 확인할 수 있는 보상값 확인기; 및 각 시간대에서 임무들이 제공하는 보상값을 비교하여, 각 시간대에서 수행될 임무를 결정할 수 있는 결정기;를 포함한다.
본 발명은 복수개의 안테나; 상기 복수개의 안테나 각각에 연결되는 복수개의 송수신 모듈; 및 상기 송수신 모듈들과 연결되는 임무 수행순서 결정장치;를 포함한다.
본 발명의 실시 예들에 따르면, 임무들의 종류에 따라 다른 보상값들을 제공하는 보상함수를 이용하여, 능동 위상배열 레이더가 임무들을 수행하는 순서를 결정할 수 있다. 이에, 능동 위상배열 레이더가 사용되는 다양한 환경에 대응하여, 임무들이 중요도에 따라 수행되는 순서를 개선할 수 있다. 따라서, 수행할 임무들을 효율적으로 관리할 수 있다.
도 1은 본 발명의 실시 예에 따른 능동 위상배열 레이더의 구조를 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 임무 수행순서 결정방법을 나타내는 플로우 차트이다.
도 3은 임무의 수행시간에 지연이 발생하는 과정을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 임무들의 보상함수를 나타내는 그래프이다.
도 5는 본 발명의 실시 예에 따른 임무들이 수행되는 순서를 나타내는 타임라인이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장될 수 있고, 도면상에서 동일 부호는 동일한 요소를 지칭한다.
도 1은 본 발명의 실시 예에 따른 능동 위상배열 레이더의 구조를 나타내는 도면이다. 하기에서는 본 발명의 실시 예에 따른 능동 위상배열 레이더, 및 임무 수행순서 결정장치에 대해 설명하기로 한다.
본 발명의 실시 예에 따른 능동 위상배열 레이더는 복수개의 기능을 가지는 다기능 레이더일 수 있다. 도 1을 참조하면 능동 위상배열 레이더(1000)는 복수개의 안테나(100), 복수개의 송수신 모듈(200), 및 임무 수행순서 결정장치(300)를 포함한다.
복수의 안테나(100)는 미리 정해진 패턴에 따라 배열될 수 있다. 복수개의 송수신 모듈(200)은 복수개의 안테나(100)가 구비되는 개수만큼 구비되어 안테나들 각각과 연결될 수 있다. 이에, 직접 디지털 방식으로 안테나(100)들의 위상을 제어하여 능동 위상배열 레이더(1000)의 지향 방향을 조절할 수 있다.
이때, 안테나(100)들은 선박에 설치될 수 있다. 특히, 군함은 미사일, 비행체, 적 군함과 같은 다양한 표적의 위치 정보를 획득해야 하기 때문에, 능동 위상배열 레이더(1000)를 구비하여 여러 표적들을 찾고, 표적들의 위치 정보를 획득할 수 있다.
임무 수행순서 결정장치(300)는 송수신 모듈(200)들과 연결된다. 임무 수행순서 결정장치(300)는 능동 위상배열 레이더(1000)가 수행할 임무들을 순서를 결정할 수 있다. 임무 수행순서 결정장치(300)는 대기부(310), 보상부(320), 및 순서 결정부(330)를 포함한다.
대기부(310)는 능동 위상배열 레이더(1000)가 수행할 임무들을 대기시킬 수 있다. 이에, 능동 위상배열 레이더(1000)가 사용되는 환경에 의해 입력되는 임무들은 대기부(310)에 입력되어 대기하였다가 수행될 수 있다. 대기부(310)는 입력모듈(311), 대기모듈(312), 및 전달모듈(313)을 포함한다.
입력모듈(311)은 능동 위상배열 레이더(1000)가 수행할 복수의 임무를 입력받을 수 있다. 입력모듈(311)에 입력되는 임무는 표적을 찾는 탐색 임무, 표적을 추적하는 일반추적 임무, 및 표적의 정밀하게 추적하는 정밀추적 임무를 포함할 수 있다.
또한, 능동 위상배열 레이더(1000)의 주변 환경 변화 등에 따라 입력모듈(311)에 입력되는 임무의 개수나 종류가 변경될 수 있다. 예를 들어, 표적을 찾는 탐색 기능을 수행하던 능동 위상배열 레이더(1000)에 표적이 감지되면, 표적을 추적하는 임무를 수행할 필요가 있다. 따라서, 표적을 추적하는 임무가 입력모듈(311)에 추가로 입력될 수 있다.
이때, 임무들은 일정 시간 동안 반복되어 수행될 수 있다. 표적을 추적하는 임무의 경우, 표적에 주기적으로 전자빔을 방사하여, 표적의 변화되는 위치를 계속 확인해야 한다. 즉, 일정한 주기로 전자빔을 표적에 계속 방사하여, 표적의 위치 정보를 주기적으로 계속 갱신할 수 있다. 따라서, 하나의 표적에 대한 추적 임무가 입력모듈(311)에 복수회 입력될 수 있다.
대기모듈(312)은 입력모듈(311)과 신호를 주고받을 수 있게 연결된다. 이에, 입력모듈(311)로 입력된 임무들은 대기모듈(312)에 전달될 수 있다. 임무들은 수행되기 전에 대기모듈(312) 내에 대기할 수 있다.
전달모듈(313)은 대기모듈(312)과 신호를 주고받을 수 있게 연결된다. 전달모듈(313)은 대기모듈(312)에서 전달되는 임무를 수행하도록, 송수신 모듈(200)들에 임무를 전달하고 작동을 제어할 수 있다. 이에, 방사되는 빔의 형상, 주기, 방향 등을 수행하는 임무에 맞춰 조절할 수 있다. 따라서, 각 임무에 맞는 빔이 방사될 수 있다.
보상부(320)는 시간에 따라 제공하는 보상값이 변화되는 보상함수들을 임무들의 종류별로 마련할 수 있다. 보상부(320)는 중요도 설정기(321), 및 보상값 설정기(322)를 포함한다.
중요도 설정기(321)는 임무들의 종류가 가지는 중요도를 설정할 수 있다. 예를 들어, 임무들의 종류가 탐색 임무, 일반추적 임무, 및 정밀추적 임무로 나뉘는 경우, 중요도 설정기(321)로 정밀추적 임무의 중요도를 상, 일반추적 임무의 중요도를 중, 탐색 임무의 중요도를 하로 설정할 수 있다. 따라서, 정밀추적 임무, 일반추적 임무, 및 탐색 임무 순으로 중요도가 설정될 수 있다.
보상값 설정기(322)는 임무들의 종류가 가지는 중요도에 따라, 임무들의 종류별로 보상함수를 만들 수 있다. 예를 들어, 임무들의 종류가 탐색 임무, 일반추적 임무, 및 정밀추적 임무로 나뉘는 경우, 보상값 설정기(322)로 정밀추적 임무의 보상함수, 일반추적 임무의 보상함수, 및 탐색 임무의 보상함수를 만들 수 있다.
이때, 보상함수들은 임무들의 종류가 가지는 중요도에 따라 서로 다르게 형성될 수 있다. 즉, 보상값 설정기(322)는 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만들 수 있다. 따라서, 중요도가 가장 높은 정밀추적 임무를 수행할 때 획득할 수 있는 정밀추적 임무의 최대 보상값이 다른 임무들을 수행할 때보다 클 수 있다. 일반추적 임무를 수행할 때 획득할 수 있는 일반추적 임무의 최대 보상값은, 탐색 임무를 수행할 때 획득할 수 있는 탐색 임무의 최대 보상값보다 클 수 있다. 이에, 큰 보상값을 획득하기 위해서는, 중요도가 높은 임무가 우선적으로 수행되어야 한다.
또한, 보상값 설정기(322)는 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 보상함수에서 시간 폭이 좁아지게 만들 수 있다. 이에, 중요도가 높은 정밀추적 임무를 수행하여 정밀추적 임무의 최대 보상값을 획득하기 위해서는 정해진 짧은 시간 내에 정밀추적 임무가 시작되어야 한다. 일반추적 임무는 정밀추적 임무의 보상함수보다 시간 폭이 넓기 때문에, 일반추적 임무가 정밀추적 임무보다 나중에 수행되어도 일반추적 임무의 최대 보상값을 획득할 수 있다. 따라서, 정밀추적 임무와 일반추적 임무의 최대 보상값을 모두 획득할 수 있다.
순서 결정부(330)는 보상값 설정기(322)와 신호를 주고받을 수 있게 연결된다. 순서 결정부(330)는 보상값 설정기(322)에서 만들어진 보상함수들을 이용하여 대기부(310)에서 대기하는 임무들이 수행되는 순서를 정할 수 있다. 순서 결정부(330)는 종류 확인기(331), 보상값 확인기(332), 및 결정기(333)를 포함한다.
종류 확인기(331)는 대기부(310)의 대기모듈(312)과 연결된다. 종류 확인기(331)는 대기부(310)에 대기하는 임무들의 종류를 확인할 수 있다. 임무의 종류는 표적을 통해 확인할 수 있다. 예를 들어, 표적을 탐지하지 못한 경우 탐색 임무가 수행되고, 표적을 탐지하는 경우 추적 임무가 수행될 수 있다. 추적 임무가 수행되는 경우 표적의 종류에 따라 일반추적 임무와 정밀추적 임무 중 하나가 수행될 수 있다. 표적의 종류는 표적의 이동 속도와 위치 및 크기 등의 정보로 판단할 수 있다. 따라서, 종류 확인기(331)는 표적에 대한 정보를 이용하여, 대기부(310)에서 대기하는 임무가 정밀추적 임무인지, 일반추적 임무인지, 또는 탐색 임무인지 확인할 수 있다.
보상값 확인기(332)는 종류 확인기(331)와 연결된다. 보상값 확인기(332)는 시간대 별로 대기부(310)에서 대기하는 임무들이, 보상함수들에 따라 제공하는 보상값을 확인할 수 있다. 이에, 보상함수에 따라 임무들이 시간대 별로 제공하는 보상값을 확인할 수 있다.
결정기(333)는 보상값 확인기(332)와 연결된다. 결정기(333)는 각 시간대에서 임무들이 각 보상함수에 따라 제공하는 보상값을 비교하고, 각 시간대에서 수행될 임무를 결정할 수 있다. 즉, 각 시간대에서 가장 큰 보상값을 제공하는 임무가 수행되도록 임무들이 수행되는 순서를 결정할 수 있다. 따라서, 임무들을 수행하여 획득할 수 있는 보상값들의 합이 최대가 될 수 있다.
또한, 결정기(333)는 송수신 모듈(200)의 작동을 제어할 수 있다. 이에, 결정기(333)가 결정한 순서로 임무들이 수행될 수 있다. 따라서, 큰 보상값을 제공하는 중요도가 높은 임무들이 뒤로 밀리거나 수행되지 않는 것을 방지할 수 있기 때문에, 중요도가 높은 임무들이 안정적으로 수행될 수 있다.
이처럼 임무들의 종류에 따라 다른 보상값들을 제공하는 보상함수를 이용하여, 능동 위상배열 레이더(1000)가 임무들을 수행하는 순서를 결정할 수 있다. 즉, 강화학습을 이용하여 임무들이 수행되는 순서를 결정할 수 있다. 이에, 능동 위상배열 레이더(1000)가 사용되는 다양한 환경에 대응하여, 임무들이 중요도에 따라 수행되는 순서를 개선할 수 있다. 따라서, 수행할 임무들을 효율적으로 관리할 수 있다.
도 2는 본 발명의 실시 예에 따른 임무 수행순서 결정방법을 나타내는 플로우 차트이고, 도 3은 임무의 수행시간에 지연이 발생하는 과정을 나타내는 도면이고, 도 4는 본 발명의 실시 예에 따른 임무들의 보상함수를 나타내는 그래프이다.
하기에서는 본 발명의 실시 예에 따른 임무 수행순서 결정방법에 대해 설명하기로 한다.
본 발명의 실시 예에 따른 임무 수행순서 결정방법은, 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정방법이다. 도 2를 참조하면, 임무 수행순서 결정방법은, 시간에 따라 제공하는 보상값이 변화되는 보상함수를 임무들의 종류별로 마련하는 과정(S110), 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시키는 과정(S120), 및 보상함수를 이용하여 대기하는 임무들이 수행되는 순서를 정하는 과정(S130)을 포함한다.
임무 수행순서 결정방법은 도 1의 본 발명의 실시 예에 따른 임무 수행순서 결정장치(300)를 이용하여 수행될 수 있다. 따라서, 능동 위상배열 레이더(1000)가 사용되는 환경에 의해, 능동 위상배열 레이더(1000)가 수행해야 할 복수개의 임무가 발생하면, 임무들은 대기부(310)에 입력되고, 순서 결정부(330)에서 정한 순서로 수행될 수 있다.
예를 들어, 표적을 찾는 탐색 임무를 수행하던 능동 위상배열 레이더(1000)에 표적이 감지되면, 감지된 표적을 추적하는 임무를 수행할 필요가 있다. 따라서, 표적을 추적하는 추적 임무가 대기부(310)에 추가될 수 있다.
이때, 추적 임무들은 일정 시간 동안 반복되어 수행될 수 있다. 즉, 표적을 추적하는 임무의 경우, 표적에 주기적으로 전자빔을 방사하여, 표적의 변화되는 위치를 계속 확인해야 한다. 따라서, 일정한 주기로 전자빔을 표적에 계속 방사하여, 표적의 위치 정보를 주기적으로 계속 갱신할 수 있다. 이에, 하나의 표적에 대한 추적 임무가 대기부(310)에 복수개 입력될 수 있다.
이때, 능동 위상배열 레이더(1000)가 표적을 빔을 방사하기 시작한 시점부터 빔이 표적에 머무르는 시간 동안 하나의 하나의 임무가 수행될 수 있다. 따라서, 임무의 정상 완료시점은, 하기의 식(1)에 의해 구할 수 있다.
식(1):
Figure 112019118879705-pat00001
여기서, 식(1)의 ci는 빔 방사가 실제로 완료되어야 할 정상 완료시점이고, ri는 빔 방사가 시작되어야 할 시점이고, pi는 빔이 표적에 머물러야 할 시간일 수 있다. 따라서, 식(1)을 이용하면 임무가 완료되어야 할 정상 완료시점을 구할 수 있다.
또한, 임무의 예상 완료시점은, 이전 임무의 완료시점과, 임무에 따른 빔 방사의 갱신률에 영향을 받는다. 이에, 임무의 예상 완료시점은 하기의 식(2)에 의해 구해질 수 있다.
식(2):
Figure 112019118879705-pat00002
여기서, 식(2)의 di는 빔 방사가 완료되는 예정 완료시점이고, ci´는 이전 임무의 완료시점이고, ui는 임무에 따른 빔 방사의 갱신률일 수 있다. 따라서, 식(2)를 이용하면 임무가 원래 완료되어야 할 예상 완료시점을 구할 수 있다.
이때, 도 3의 (a)와 같이 임무가 예상 완료시점에 맞춰 완료되는 것이 가장 이상적이지만, 그렇지 못한 경우 임무의 완료시점이 지연되어, 도 3의 (b)와 같이 정상 완료시점과 예상 완료시점에 차이가 발생할 수도 있다. 즉, 능동 위상배열 레이더(1000)에 너무 많은 임무들을 수행하는 경우, 앞선 임무 때문에 뒤에서 대기하는 임무가 지연되어 수행되는 문제가 발생할 수 있다. 따라서, 임무의 정상 완료시점과 예상 완료시점을 구한 후 하기의 식(3)을 이용하여 임무의 시간지연이 발생할 것인지 확인할 수 있다.
식(3):
Figure 112019118879705-pat00003
여기서, 식(3)의 TDi는 임무의 시간이 지연된 정도를 나타내는 시간지연 값이고, ci는 빔 방사가 완료되어야 할 정상 완료시점이고, di는 빔 방사가 완료되는 예정 완료시점이다. 따라서, 식(3)을 이용하여 시간지연의 발생여부 및 시간지연의 정도를 구할 수 있다.
그 다음, 임무의 정상 완료시점이 예상 완료시점보다 늦으면(또는, 시간지연 값이 양수이면), 임무가 지연되어 지연시간이 발생할 것이라고 판단할 수 있다. 임무의 정상 완료시점이 예상 완료시점과 동일하면(또는, 시간지연 값이 0이면), 임무가 지연되지 않고 정상적으로 완료될 수 있다고 판단할 수 있다. 따라서, 임무들의 수가 상대적으로 너무 적으면 임무의 지연이 발생되지 않을 수 있지만, 임무들의 수가 상대적으로 너무 많으면 임무의 지연이 발생할 수 있다. 이에, 중요도가 높은 임무가 지연되어 문제가 발생할 수 있기 때문에, 보상함수를 이용하여 임무들이 수행되는 순서를 결정할 수 있다.
임무들이 수행되는 순서를 결정하기 위해, 임무들이 대기부(310)에 입력되기 전에, 시간에 따라 제공하는 보상값이 변화되는 보상함수를 임무들의 종류별로 마련할 수 있다. 임무들의 종류가 탐색 임무, 일반추적 임무, 및 정밀추적 임무로 나뉘는 경우, 정밀추적 임무의 보상함수, 일반추적 임무의 보상함수, 및 탐색 임무의 보상함수를 만들 수 있다. 이때, 보상함수에서 시간은 임무의 갱신 간격일 수 있다.
또한, 임무들의 종류가 가지는 중요도를 설정할 수 있다. 즉, 정밀추적 임무의 중요도를 상, 일반추적 임무의 중요도를 중, 탐색 임무의 중요도를 하로 설정할 수 있다. 이에, 정밀추적 임무의 중요도가 일반추적 임무의 중요도보다 높게 설정되고, 일반추적 임무의 중요도가 탐색 임무보다 높게 설정되기 때문에, 정밀추적 임무, 일반추적 임무, 및 탐색 임무 순으로 중요도가 설정될 수 있다. 따라서, 각 보상함수들이 임무들의 종류가 가지는 중요도에 따라 서로 달라지도록 형성할 수 있다.
예를 들어, 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만들 수 있다. 따라서, 중요도가 가장 높은 정밀추적 임무를 수행할 때 획득할 수 있는 정밀추적 임무의 최대 보상값이 다른 임무들을 수행할 때보다 클 수 있다. 일반추적 임무를 수행할 때 획득할 수 있는 일반추적 임무의 최대 보상값은, 탐색 임무를 수행할 때 획득할 수 있는 탐색 임무의 최대 보상값보다 클 수 있다.
탐색 임무의 보상함수를 만드는 경우, 도 4와 같이 시간 경과에 따른 보상값의 크기가 일정해지도록 할 수 있다. 이에, 탐색 임무의 보상함수는 시간 변화에 따라 제공하는 보상값이 변하지 않고 일정할 수 있다. 따라서, 어느 시점에 탐색 임무를 수행하더라도 동일한 보상값을 획득할 수 있다. 이에, 일반추적 임무와 정밀추적 임무가 수행되지 않을 때는 탐색 임무를 수행하여 보상값을 계속 획득시킬 수 있다.
일반추적 임무와 정밀추적 보상함수를 만드는 경우, 도 4와 같이 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 할 수 있다. 즉, 일반추적 임무와 정밀추적 임무의 보상함수는 삼각 형태로 형성될 수 있다. 일반추적 임무와 정밀추적 임무의 최대 보상값은 탐색 임무의 보상값보다 클 수 있다. 따라서, 일반추적 임무나 정밀추적 임무는 보상값이 최대가 되는 시점에 수행되어야만 최대 보상값 또는 최대 보상값에 가장 근접한 값을 획득할 수 있다. 이에, 정해진 시간에는 탐색 임무가 아닌 일반추적 임무나 정밀추적 임무를 수행하여 더 큰 보상값을 획득할 수 있다.
또한, 도 4와 같이 일반추적 임무의 보상함수의 시간방향 폭이, 정밀추적 임무의 보상함수의 시간방향 폭보다 넓어지도록 만들 수 있다. 이에, 정밀추적 임무가 지연되면 시간방향 폭이 좁아 큰 보상값을 획득할 수 없지만, 일반추적 임무는 지연되더라도 시간방향 폭이 넓어 큰 보상값을 획득할 수 있다. 따라서, 중요도가 다른 복수의 임무가 수행되어야 할 때, 지연되더라도 큰 보상값을 획득할 수 있는 중요도가 낮은 임무는 지연시키고, 중요도가 높은 임무는 우선적으로 수행시키면, 중요도가 높은 임무와 중요도가 낮은 임무가 제공하는 큰 보상값들을 모두 획득할 수 있다.
또한, 도 4와 같이 일반추적 임무의 보상함수에서 최대 보상값이 제공되는 시간이, 정밀추적 임무의 보상함수에서 최대 보상값이 제공되는 시간보다 늦은 시점에 위치하게 만들 수 있다. 이에, 일반추적 임무가 정밀추적 임무보다 지연되더라도 최대 보상값을 획득할 수 있다. 따라서, 중요도가 높은 정밀추적 임무가 지연되지 않고 더 안정적인 순서로 수행될 수 있다.
이때, 보상함수에서 시간은 갱신 간격일 수 있다. 즉, 표적의 위치가 계속 변할 수 있기 때문에, 표적에 대한 추적 임무가 갱신되면서 대기부(310)에 입력될 수 있다. 따라서, 일반추적 임무나 정밀추적 임무는 일정한 갱신 간격을 가지고 복수회 수행될 수 있다. 추적 임무가 지연되지 않는다는 것은 추적 임무의 갱신 간격이 정상적으로 지켜진다는 의미이고, 추적 임무가 지연되는 것은 추적 임무의 갱신 간격이 지켜지지 못하고 있다는 의미이다. 이에, 중요도가 높은 임무의 갱신 간격이 지켜져야 할 시점에, 높은 중요도를 가지는 임무의 보상함수가, 낮은 중요도를 가지는 임무의 보상함수보다 더 큰 보상값을 제공할 수 있도록 도 4와 같은 보상함수를 만들 수 있다.
한편, 보상함수들은 작업자의 설정으로 만들어질 수 있다. 따라서, 보상함수들에서 최대 보상값을 제공하는 시점, 보상함수들의 시간방향 폭, 보상값의 크기 등은 작업자가 설정할 수 있다.
임무들의 종류별로 보상함수들이 마련되면, 능동 위상배열 레이더(1000)에 보상함수를 적용할 수 있다. 이에, 능동 위상배열 레이더(1000)가 사용되는 환경에 의해 입력되는 임무들을 대기시키고, 보상함수들을 이용하여 대기하는 임무들이 수행되는 순서를 정할 수 있다. 즉, 보상함수를 통해 획득하는 보상값들의 합이 최대가 되도록 임무들의 순서를 결정할 수 있다.
보상값들의 합이 최대가 되려면, 대기하는 임무들 중 시간대 별로 가장 큰 보상값을 제공하는 보상함수를 가지는 최적임무를 찾아야 한다. 그리고 각 시간대에서 최적임무가 다른 임무들보다 먼저 수행될 수 있도록 임무들이 수행되는 순서를 조절할 수 있다.
예를 들어, 탐색 임무, 일반추적 임무, 및 정밀추적 임무들 중 어느 한 시간대에서 탐색 임무가 가장 큰 보상값을 제공하는 경우, 그 시간대에 탐색 임무가 수행되도록 탐색 임무가 수행되는 순서를 정할 수 있다. 다른 시간대에서 일반추적 임무가 제공하는 보상값이 가장 큰 보상값을 제공하는 경우, 다른 시간대에서는 일반추적 임무가 수행되도록 일반추적 임무가 수행되는 순서를 정할 수 있다. 또 다른 시간대에서 정밀추적 임무가 제공하는 보상값이 가장 큰 경우, 또 다른 시간대에서는 정밀추적 임무가 수행되도록 정밀추적 임무가 수행되는 순서를 정할 수 있다. 따라서, 각 시간대에서 가장 큰 보상값을 제공하는 임무들이 수행되도록 순서가 결정될 수 있다. 이에, 보상값들의 합이 최대가 되도록 순서가 결정될 수 있다.
한편, 정밀추적 임무와 일반추적 임무가 갱신되면서 수행되어야 하는 시간이 겹치는 경우, 두 임무가 겹치는 시간대에서 더 큰 보상값을 제공하는 임무가 무엇인지 확인할 수 있다. 정밀추적 임무가 더 큰 보상값을 제공하고, 정밀추적 임무가 지연되면 제공하는 보상값이 감소할 수 있다. 일반추적 임무는 더 작은 보상값을 제공하고, 임무가 지연되더라도 제공하는 보상값이 감소하지 않거나 감소폭이 적을 수 있다. 따라서, 정밀추적 임무가 먼저 수행되고, 일반추적 임무는 지연되어 수행되도록 임무들의 순서를 결정할 수 있다.
이처럼 보상함수를 이용하여 획득하는 보상값들의 합이 최대가 되도록 임무들이 수행되는 순서를 결정할 수 있다. 즉, 보상값들의 합을 증가시키도록 강화학습을 수행하여 임무들이 수행되는 순서를 결정할 수 있다. 따라서, 다양한 환경 변화에 적응하여 임무들이 순서가 최적화되어 결정될 수 있다.
도 5는 본 발명의 실시 예에 따른 임무들이 수행되는 순서를 나타내는 타임라인이다. 하기에서는 보상함수들을 이용하여 임무들이 수행되는 순서를 결정하는 과정에 대해 상세히 설명하기로 한다.
능동 위상배열 레이더의 입력인 환경의 상태는 임무의 개수에 영향을 받는다. 따라서, 임무의 개수와 환경의 상태는 하기의 식(4)와 같은 관계를 가진다.
식(4):
Figure 112019118879705-pat00004
여기서, St는 환경의 상태이고, Sb t,i는 i번째 임무이고, Sh t,i는 i번째 임무가 완료되고 지난 시간을 갱신률로 곱해준 값이고, So t는 타임라인에 임무가 배치된 정도를 의미한다. Sh t,i는 i번째 임무가 대기부(310)의 타임라인에 배치되는 경우 1, 배치되지 않은 경우 0의 값을 갖는다. Sh t,i는 하기의 식(5)에 의해 구해질 수 있다.
식(5):
Figure 112019118879705-pat00005
여기서 t는 현재 시간을 의미한다. 이때, 임무의 개수가 m일 때, 현재 실행할 임무만 1의 값을 가지고, 나머지는 0의 값을 가지는 m의 벡터를 반환하며, 이는 능동 위상배열 레이더가 환경에 가하는 행동 즉, 임무를 수행하는 것과 같다고 할 수 있다. 따라서, 능동 위상배열 레이더는 환경에 취하는 행동에 따라 미리 설정된 보상함수의 함수값에 해당하는 보상을 받게 되며, 이 값은 스칼라 값으로 주어진다.
예를 들어, 임무의 종류는 표적을 찾는 탐색 임무, 표적을 추적하는 일반추적 임무, 및 표적을 정밀하게 추적하는 정밀추적 임무로 나뉠 수 있다. 따라서, 도 4와 같이 각 임무들에 대응하는 보상함수를 미리 마련할 수 있다. 이때, 도 4에서 가로축은 임무의 갱신 간격을 나타내고, 세로축은 그 시점에 빔을 방사하면 얻게 되는 보상값을 나타낸다.
탐색 임무의 보상함수는 중요도가 가장 낮고 주기적으로 배치할 필요가 없기 때문에, 상대적으로 작은 일정한 값을 보상값으로 설정할 수 있다. 추적 임무의 보상함수는 해당 임무의 갱신 간격에서 최대치의 보상값을 가지는 삼각형 모양의 함수로 설정할 수 있다. 삼각형 모양의 보상함수에 따라 보상값을 형성하면, 능동 위상배열 레이더(1000)가 임무를 완료해야 시간을 지킬 수 있도록 임무를 배치할 수 있다.
또한, 추적 임무에서 일반추적 임무보다 정밀추적 임무의 삼각형 높이를 높게 형성할 수 있다. 이에, 삼각형의 최대점에서 정밀추적 임무의 보상값이, 일반추적 임무의 보상값보다 크기 때문에, 정밀추적 임무가 우선적으로 수행될 수 있다.
이때, 일반추적 임무의 삼각형 폭을, 정밀추적 임무의 삼각형 폭보다 넓게 할 수 있다. 따라서, 정밀추적 임무에 밀려 일반추적 임무에 잉여시간이나 시간지연이 발생하여도 보상값을 받을 수 있게 설계할 수 있다. 그러나 보상함수의 형상은 이에 한정되지 않고 다양할 수 있다.
한편, 이러한 보상함수를 이용하여 실험을 진행하였다. 실험은 기계학습 라이브러리인 텐서플로우(Tensorflow)를 이용하여 수행하였다. 가상적으로 능동 위상배열 레이더가 수행한 임무들의 파라미터는 아래의 표 1과 같다.
수행시간(ms) 갱신률(Hz) 중요도
탐색 임무 2.0 - 1(하)
일반추적 임무1 2.0 100 2(중)
일반추적 임무2 2.0 100 2(중)
일반추적 임무3 2.0 100 2(중)
정밀추적 임무 2.0 125 3(상)
표 1을 참조하면, 일반추적 임무의 갱신률은 100Hz이고, 정밀추적 임무의 125Hz인 것으로 가정하였다. 중요도는 탐색 임무가 가장 낮고, 정밀추적 임무는 가장 높다. 능동 위상배열 레이더가 가상적으로 수행한 임무들은 탐색 임무, 일반추적 임무1, 일반추적 임무2, 일반추적 임무3, 및 정밀추적 임무로 총 5개였다.
시뮬레이션의 결과 도 5와 같은 임무들의 타임라인을 획득하였다. 즉, 보상함수에 따라 임무들이 제공하는 보상값들의 합이 최대가 될 수 있도록, 타임라인과 같이 임무들이 수행하는 순서를 결정하여 임무들을 수행하였다. 타임라인의 첫번째 줄은 0ms부터 24ms까지 수행되었던 임무들을 나타내며, 두번째 줄은 24ms부터 40ms까지 수행되었던 임무들을 나타낸다.
일반추적 임무와 정밀추적 임무는 주기성을 가지고 배치되기 때문에, 도 5의 18ms와 20ms 사이의 구간에 순서상 일반추적 임무3(T3)도 배치되어야 하지만, 정밀추적 임무(P)가 우선적으로 배치되도록 순서를 조절하였다. 즉, 일반추적 임무3(T3)과 정밀추적 임무(P)의 갱신간격이 겹치는 경우, 정밀추적 임무(P)를 수행할 때 더 큰 보상값을 획득할 수 있기 때문에, 정밀추적 임무(P)와 일반추적 임무3(T3)의 순서를 변경하였다.
이때, 일반추적 임무3(T3)에 2ms의 시간지연이 발생하였지만, 일반추적 임무의 보상함수의 시간 폭이 넓기 때문에 시간이 지연되어 수행되어도 일반추적 임무를 수행하여 최대 보상값을 획득할 수 있다. 따라서, 중요도가 높은 정밀추적 임무(P)에는 시간지연이 발생하지 않았기 때문에 갱신 간격을 지킬 수 있으면서, 정밀추적 임무(P)와 일반추적 임무3(T3)가 제공하는 최대 보상값들을 획득할 수 있다.
또한, 34ms와 36ms에서도 순서상 일반추적 임무1(T1)도 배치되어야 하지만, 정밀추적 임무(P)가 배치되도록 순서를 결정하였다. 이에, 일반추적 임무1(T1)에는 시간지연이 발생하였지만, 중요도가 높은 정밀추적 임무(P)에는 시간지연이 발생하지 않았고 갱신 간격을 지킬 수 있었다. 따라서, 보상함수를 이용하여 보상값을 제공한 결과, 중요도가 높은 임무가 안정적으로 수행되는 것을 확인할 수 있다.
이처럼 본 발명의 실시 예에 따른 임무 수행순서 결정방법은 강화학습을 이용한 것일 수 있다. 따라서, 능동 위상배열 레이더(1000)가 주어진 환경의 상태에 따라 보상을 극대화하는 행동을 취하도록 임무들이 수행되는 순서를 최적화할 수 있다. 이에, 다양한 환경에 대응하여 임무들이 최적의 방식으로 정렬될 수 있다.
이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 아래에 기재될 특허청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 안테나 200: 송수신 모듈
300: 임무 수행순서 결정장치 310: 대기부
320: 보상부 330: 순서 결정부
100: 능동 위상배열 레이더

Claims (13)

  1. 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정방법으로서,
    시간에 따라 제공하는 보상값이 변화되는 보상함수를 임무들의 종류별로 마련하는 과정;
    상기 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시키는 과정; 및
    상기 보상함수를 이용하여 대기하는 임무들이 수행되는 순서를 정하는 과정;을 포함하고,
    상기 임무들의 종류는 정밀추적 임무, 일반추적 임무, 및 탐색 임무를 포함하고,
    상기 보상함수를 임무들의 종류별로 마련하는 과정은,
    상기 정밀추적 임무의 중요도를 상기 일반추적 임무의 중요도보다 높게 설정하고, 상기 일반추적 임무의 중요도를 상기 탐색 임무보다 높게 설정하는 과정, 및
    높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만드는 과정을 포함하고,
    상기 높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만드는 과정은,
    상기 일반추적 임무의 보상함수와, 상기 정밀추적 임무의 보상함수에서, 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만드는 과정, 및
    상기 일반추적 임무의 보상함수의 시간방향 폭이, 상기 정밀추적 임무의 보상함수의 시간방향 폭보다 넓어지도록 만드는 과정을 포함하는 임무 수행순서 결정방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 보상함수를 임무들의 종류별로 마련하는 과정은,
    상기 탐색 임무의 보상함수에서, 시간 경과에 따른 보상값의 크기가 일정해지도록 만드는 과정을 포함하는 임무 수행순서 결정방법.
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만드는 과정은,
    상기 일반추적 임무의 보상함수에서 최대 보상값이 제공되는 시간이, 상기 정밀추적 임무의 보상함수에서 최대 보상값이 제공되는 시간보다 늦은 시점에 위치하도록 만드는 과정을 포함하는 임무 수행순서 결정방법.
  8. 청구항 1에 있어서,
    상기 보상함수를 이용하여 임무들이 수행되는 순서를 정하는 과정은,
    상기 보상함수를 통해 획득하는 보상값들의 합이 최대가 되도록 임무들의 순서를 결정하는 과정을 포함하는 임무 수행순서 결정방법.
  9. 청구항 8에 있어서,
    상기 보상함수를 통해 획득하는 보상값들의 합이 최대가 되도록 임무들의 순서를 결정하는 과정은,
    대기하는 임무들 중 시간대 별로 가장 큰 보상값을 제공하는 보상함수를 가지는 최적임무를 찾는 과정; 및
    각 시간대에서 상기 최적임무가 다른 임무들보다 먼저 수행될 수 있도록 임무들이 수행되는 순서를 조절하는 과정;을 포함하는 임무 수행순서 결정방법.
  10. 능동 위상배열 레이더의 임무들이 수행되는 순서를 결정하는 임무 수행순서 결정장치로서,
    상기 능동 위상배열 레이더가 사용되는 환경에 의해 입력되는 임무들을 대기시킬 수 있는 대기부;
    시간에 따라 제공하는 보상값이 변화되는 보상함수들을 임무들의 종류별로 마련할 수 있는 보상부; 및
    상기 보상함수들을 이용하여 상기 대기부에서 대기하는 임무들이 수행되는 순서를 정할 수 있는 순서 결정부;를 포함하고,
    상기 임무들의 종류는 정밀추적 임무, 일반추적 임무, 및 탐색 임무를 포함하고,
    상기 보상부는,
    상기 정밀추적 임무의 중요도를 상기 일반추적 임무의 중요도보다 높게 설정하고, 상기 일반추적 임무의 중요도를 상기 탐색 임무보다 높게 설정할 수 있는 중요도 설정기, 및
    높은 중요도를 가지는 임무의 종류가, 낮은 중요도를 가지는 임무의 종류보다 제공하는 최대 보상값이 더 커지도록 보상함수들을 만들 수 있는 보상값 설정기를 포함하고,
    상기 보상값 설정기는, 상기 일반추적 임무의 보상함수와, 상기 정밀추적 임무의 보상함수에서, 보상값의 크기가 시간 경과에 따라 증가하였다가 감소하도록 만들 수 있고, 상기 일반추적 임무의 보상함수의 시간방향 폭이, 상기 정밀추적 임무의 보상함수의 시간방향 폭보다 넓어지도록 만들 수 있는 임무 수행순서 결정장치.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 순서 결정부는,
    상기 대기부에 대기하는 임무들의 종류를 확인할 수 있는 종류 확인기;
    시간대 별로 상기 대기부에서 대기하는 임무들이, 상기 보상함수들에 따라 제공하는 보상값을 확인할 수 있는 보상값 확인기; 및
    각 시간대에서 임무들이 제공하는 보상값을 비교하여, 각 시간대에서 수행될 임무를 결정할 수 있는 결정기;를 포함하는 임무 수행순서 결정장치.
  13. 복수개의 안테나;
    상기 복수개의 안테나 각각에 연결되는 복수개의 송수신 모듈; 및
    상기 송수신 모듈들과 연결되는 청구항 10 또는 청구항 12의 임무 수행순서 결정장치;를 포함하는 능동 위상배열 레이더.
KR1020190148870A 2019-11-19 2019-11-19 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법 KR102093919B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148870A KR102093919B1 (ko) 2019-11-19 2019-11-19 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148870A KR102093919B1 (ko) 2019-11-19 2019-11-19 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법

Publications (1)

Publication Number Publication Date
KR102093919B1 true KR102093919B1 (ko) 2020-03-26

Family

ID=69958625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148870A KR102093919B1 (ko) 2019-11-19 2019-11-19 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법

Country Status (1)

Country Link
KR (1) KR102093919B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272456A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 捜索レーダシステムおよび捜索レーダシステムの目標表示方法
US20100169890A1 (en) * 2007-09-12 2010-07-01 Derek Geoffrey Finch Urgency based scheduling
JP2013120127A (ja) * 2011-12-07 2013-06-17 Mitsubishi Electric Corp 目標追尾装置
KR20180070130A (ko) 2016-12-16 2018-06-26 주식회사 한화 다기능 레이더를 탑재한 비행체의 가용 자원 관리 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272456A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 捜索レーダシステムおよび捜索レーダシステムの目標表示方法
US20100169890A1 (en) * 2007-09-12 2010-07-01 Derek Geoffrey Finch Urgency based scheduling
JP2013120127A (ja) * 2011-12-07 2013-06-17 Mitsubishi Electric Corp 目標追尾装置
KR20180070130A (ko) 2016-12-16 2018-06-26 주식회사 한화 다기능 레이더를 탑재한 비행체의 가용 자원 관리 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jimenez M. I 외 4명. Design of task scheduling process for a multifunction radar. IET Radar, Sonar & Navigation. vol.6, no.5, 2012.06., page 341-347* *
Tara Elizabeth Thomas 외 3명. Minerva: A reinforcement learning-based technique for optimal scheduling and bottleneck detection in distributed factory operations. ICCSN. IEEE. 2018.01., page 129-136* *

Similar Documents

Publication Publication Date Title
US11460556B1 (en) Hyper temporal lidar with shot scheduling for variable amplitude scan mirror
KR101766602B1 (ko) 다른 하드웨어 아키텍쳐 및 관련된 소프트웨어 제품을 포함하는 레이다 시스템을 위해 제어 소프트웨어를 설정하기 위한 방법 및 장치
CN100373690C (zh) 从移动平台精确跟踪和与卫星通信的方法
US11467263B1 (en) Hyper temporal lidar with controllable variable laser seed energy
KR20160027129A (ko) 복수의 레이다 미션 타입들을 지원하기 위한 방법, 시스템 및 소프트웨어
KR102118009B1 (ko) 능동 위상배열 레이더 장치 및 이의 임무 스케쥴링 방법
KR102119489B1 (ko) 다기능 레이더 장치 및 이의 자원 관리방법
US20220317255A1 (en) Bistatic Lidar Architecture for Vehicle Deployments
CN103592635B (zh) 一种认知fda雷达及其信号发射方法和装置
US20180269575A1 (en) Hierarchical Phase Shift Apparatus for Array Antenna Weight Look Ahead, Elaboration, and Beam-splitting Methods
CN112865845A (zh) 一种快速确定智能超表面反射系数的方法及系统
KR102093919B1 (ko) 강화학습을 이용한 임무 수행순서 결정장치, 이를 구비하는 능동 위상배열 레이더 및 임무 수행순서 결정방법
TW202300956A (zh) 衛星追蹤系統及其追蹤方法
US20170315239A1 (en) Satellite signal receiving apparatus and antenna pattern adjusting method thereof
US5986972A (en) Beam pattern shaping for transmitter array
US10350704B2 (en) Laser processing method and laser processing apparatus
CN115390048B (zh) 一种光学相控阵相位校准方法
JP5222801B2 (ja) 無線通信制御装置及び無線通信方式選択方法
KR102104624B1 (ko) 능동 위상배열 레이더 장치 및 이의 임무 정렬방법
US20220103272A1 (en) Device and method for assessing a state of a radio channel
KR102129612B1 (ko) 다기능 레이더 장치 및 이의 임무 안배방법
US20220105622A1 (en) Method and system for operating a transfer robot in a manufacturing environment
CN110417442B (zh) 一种集成波束控制算法的射频芯片及芯片处理方法
CN115242305B (zh) 光束发散角控制方法、激光发射系统、终端及存储介质
Guangran et al. Multi-beam dwell adaptive scheduling algorithm for helicopter-borne radar

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant