KR102520643B1 - 지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 - Google Patents
지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 Download PDFInfo
- Publication number
- KR102520643B1 KR102520643B1 KR1020220147190A KR20220147190A KR102520643B1 KR 102520643 B1 KR102520643 B1 KR 102520643B1 KR 1020220147190 A KR1020220147190 A KR 1020220147190A KR 20220147190 A KR20220147190 A KR 20220147190A KR 102520643 B1 KR102520643 B1 KR 102520643B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- robot
- icon
- robots
- task
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012876 topography Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 239000000446 fuel Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000011017 operating method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/002—Manipulators for defensive or military tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
복수의 로봇의 센싱 정보를 획득하는 단계; 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계; 속성 정보 및 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하는 단계; 및 임무 정보를 제공하는 단계를 포함하는 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법을 제공한다.
Description
본 개시는 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
다중 로봇은 이종(heterogeneous) 다중(multiple)으로 구성되는 것이 일반적이므로 플랫폼 별 특성이 상이하고, 소수의 운용 인원이 실시간 모니터링을 수행하는데 한계가 존재할 수 있다. 따라서, 다중 로봇을 효과적으로 통제하기 위해서는 운용자의 부담을 덜어줄 수 있는 자동화 기술이 필수적이라고 할 수 있다. 이러한 자동화 기술은 각 플랫폼 별 Failsafe 기능, 임무 할당 기술에서 우발상황에 대한 대응방안으로 결정된 사항을 실행하기 위해 필요한 자율화 기술(환경인식, 자율이동 등)을 포함할 수 있다.
로봇에게 임무를 할당하는 기술은 미래 전장을 대비하여 현재 줄어드는 인력 자원, 늘어나는 로봇의 기여도, 및 다중 로봇을 제어하기 위해 미래 전장에서 전망이 촉망받는 주요 기술 중 하나이다. 미래 전장에서 인력의 적소 배치는 전장의 승패를 가르는 중요한 요소이고 목적을 달성하기 위해 최소한의 인원 배치를 통해 인적 자원의 원활함에 기여할 수 있다. 현재 다중 로봇의 임무 할당 선정은 수집된 데이터를 기반으로 사람의 직관과 지휘교리를 반영하여 결정된다. 사람의 최종결심으로 인한 선정은 human error 및 감정 차이, 숙련도 차이 등 많은 차이를 동반할 수 있으며, 그 중에서 숙련자와 비숙련자간의 능력치는 많은 차이가 있을 수 있다. 합성곱 심층 신경망(Convolutional Deep Neural Network)을 사용할 경우 임무 할당 정확도 향상에 큰 기여를 함에 따라 이를 다중 로봇의 임무 할당 및 결정에도 적용시키고자 한다. 관련하여, '한국 등록특허공보 제10-2203015호(2021.01.14)' 등의 선행문헌을 참조할 수 있다.
개시된 실시예들은 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법을 개시하고자 한다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 복수의 로봇의 센싱 정보를 획득하는 단계; 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계; 속성 정보 및 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하는 단계; 및 임무 정보를 제공하는 단계를 포함하는 동작 방법이 제공될 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 복수의 로봇의 센싱 정보는, 제1로봇에 장착된 센서로부터 획득되거나 별도의 탐지 로봇에 장착된 센서로부터 획득되고, 제1로봇에 장착된 센서는, 카메라 센서, 방향 감지 센서, 가속도 센서, 자이로 센서, gps 센서, 고도 센서, 연료 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 속성 정보는, 로봇의 종류에 관한 정보, 로봇의 이동방향에 관한 정보, 로봇의 이동속도에 관한 정보, 로봇의 위도에 관한 정보, 로봇의 경도에 관한 정보, 로봇의 고도에 관한 정보, 로봇의 이동거리에 관한 정보, 로봇의 연료비(fuel rate)에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 현재 할당된 임무에 관한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 이미지 정보를 생성하는 단계는, 지형의 고저를 회색조로 시각화한 이미지 정보를 생성하는 단계; 회색조로 시각화한 이미지 정보에 기초하여 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보를 생성하는 단계; 속성 정보 중 적어도 일부에 기초하여 복수의 로봇의 속성을 나타내는 제1아이콘에 관한 정보를 확인하는 단계; 및 각각의 로봇의 위치 정보에 대응하는 히트맵 정보의 적어도 일부 영역 상에 제1아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계를 포함하고, 제1아이콘은, UGV(Unmanned Ground Vehicle) 아이콘, 회전익 UAV(Unmanned Aerial Vehicle) 아이콘, 고정익 UAV 아이콘 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 뉴럴 네트워크는, 특정 지역의 복수의 로봇의 속성 정보, 및 특정 지역의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 특정 지역의 지형에 관한 이미지 정보에 기초하여 특정 지역의 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 출력하도록 학습된 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)일 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 복수의 지역들 각각의 복수의 로봇의 속성 정보, 및 복수의 지역들 각각의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 복수의 지역들 각각의 지형에 관한 이미지 정보를 뉴럴 네트워크의 입력 정보로서 획득하고, 복수의 지역들 각각에서 제1로봇에게 임무를 할당하기 위한 임무 정보를 입력 정보에 대한 타겟 정보로서 획득하는 단계; 및 입력 정보 및 타겟 정보를 기초로 뉴럴 네트워크를 훈련시키는 단계를 더 포함하고, 임무 정보를 확인하는 단계는, 특정 지역의 복수의 로봇의 속성 정보 및 특정 지역의 지형에 관한 이미지 정보가 입력된 훈련된 뉴럴 네트워크로부터 출력되는 임무 정보를 확인하는 단계를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 제공하는 단계는, 통신 디바이스를 통해 임무 정보를 제1로봇에게 전송하거나, 디스플레이를 통해 임무 정보를 출력하는 단계를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 제1아이콘은, 제1로봇 및 제2로봇의 아이콘을 포함하고, 이미지 정보를 생성하는 단계는, 제1로봇 및 제2로봇의 아이콘 간의 중첩이 발생하는 경우, 제1로봇 및 제2로봇의 아이콘 중 적어도 하나의 사이즈를 축소하여 이미지 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법으로서, 군사 자원에 관한 정보를 획득하는 단계를 더 포함하고, 제1아이콘에 관한 정보를 확인하는 단계는, 군사 자원에 관한 정보에 기초하여 군사 자원을 나타내는 제2아이콘에 관한 정보를 확인하는 단계를 포함하고, 이미지 정보를 생성하는 단계는, 각각의 군사 자원의 위치 정보에 대응하는 히트맵 정보의 적어도 일부 영역 상에 제2아이콘을 표시하여 이미지 정보를 생성하는 단계를 포함하고, 제2아이콘은, 보병 아이콘, 전차 아이콘, 장갑차 아이콘, 트럭 아이콘, 항공기 아이콘, 헬기 아이콘, 대인지뢰 아이콘, 대전차지뢰 아이콘, 불명확지뢰 아이콘, 및 낙석 장애물 아이콘 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치로서, 적어도 하나의 프로그램이 저장된 메모리; 및 적어도 하나의 프로그램을 실행함으로써, 복수의 로봇의 센싱 정보를 획득하고, 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하고, 속성 정보 및 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하고, 및 임무 정보를 제공하는 프로세서를 포함할 수 있다.
일 실시예에 따른 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체로서, 동작 방법은, 복수의 로봇의 센싱 정보를 획득하는 단계; 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계; 속성 정보 및 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하는 단계; 및 임무 정보를 제공하는 단계를 포함할 수 있다.
본 개시에 따르면 전자 장치는 복수의 로봇의 속성 정보와 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 기초로 뉴럴 네트워크를 이용하여 복수의 로봇 중 제1로봇에게 임무를 할당할 수 있다. 전자 장치는 복수의 로봇의 속성 정보와 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 동시에 이용하므로 보다 향상된 임무 할당 성능을 제공할 수 있다. 국방 분야에서 전자 장치는 향상된 임무 할당 성능을 제공할 수 있다. 예를 들어, 전자 장치는 소정의 지역의 아군 로봇에게 특정 상황에 보다 적합하게 임무를 할당할 수 있다.
도 1은 본 개시에 따른 전자 장치를 나타낸다.
도 2는 뉴럴 네트워크의 입력 정보인 복수의 로봇의 속성 정보의 일 실시예를 나타낸다.
도 3은 뉴럴 네트워크의 다른 입력 정보인 소정의 지역의 지형에 관한 이미지 정보의 일 실시예를 나타낸다.
도 4는 아이콘에 관한 정보의 일 실시예를 나타낸다.
도 5는 뉴럴 네트워크를 훈련시키는 실시예를 나타낸다.
도 6은 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 7은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
도 8은 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
도 2는 뉴럴 네트워크의 입력 정보인 복수의 로봇의 속성 정보의 일 실시예를 나타낸다.
도 3은 뉴럴 네트워크의 다른 입력 정보인 소정의 지역의 지형에 관한 이미지 정보의 일 실시예를 나타낸다.
도 4는 아이콘에 관한 정보의 일 실시예를 나타낸다.
도 5는 뉴럴 네트워크를 훈련시키는 실시예를 나타낸다.
도 6은 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 7은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
도 8은 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
실시예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "..부", "..모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 기재된 "a, b, 및 c 중 적어도 하나"의 표현은, 'a 단독', 'b 단독', 'c 단독', 'a 및 b', 'a 및 c', 'b 및 c', 또는 'a,b,c 모두'를 포괄할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
다중 로봇에 동기적(Synchronous)으로 제공되어야 하는 임무 할당은 숙련자 및 비숙련자를 막론하고 어려운 결심이다. 이는 현재 상황, 급변하는 환경, 외란과 같은 데이터를 기반으로 한 숙련자의 지휘경험에 의존하여 사람의 감정과 처한 상황에 따라 변화가 가능하기 때문이다. 이에 본 개시는 사람의 결심을 보조하기 위해 사전에 제작된 숙련자의 결정 데이터를 기반으로 한 AI 모델을 제작하여, 학습된 유사한 환경 및 사건이 도래하였을 때 다중 로봇의 임무할당 결심 체계를 보조하고자 한다. 또한, 본 개시는 다중 로봇의 임무할당 결심 체계를 보조하기 위하여 해당 작전지역의 지형, 아군과 적군의 위치 및 속성을 모사하는 시뮬레이터를 제작할 수 있고, 전술한 상황이 도래하였을 때의 숙련자의 결정(각 로봇에게 임무할당)을 취득하여 이를 기초로 딥러닝 기반의 모델을 제작할 수 있다. 즉, 훈련 시에는 다수의 다양한 이미지와 정보를 시뮬레이터로부터 취득하고 해당 상황의 숙련자의 결정을 레이블링 하여 모델을 생성하고, 추론시에는 이미지 및 로봇의 정보만 제공함으로써 각 로봇에게 할당될 임무를 도출할 수 있다.
도 1은 본 개시에 따른 전자 장치를 나타낸다.
전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 도 1에 도시된 전자 장치(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 전자 장치(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
전자 장치(100)는 임무 정보를 제공할 수 있다. 일 실시예에 따라, 전자 장치(100)는 복수의 로봇 각각에게 임무 정보를 제공할 수 있다. 다른 실시예에 따라, 전자 장치(100)는 복수의 로봇 중 적어도 일부 또는 외부로 임무 정보를 제공할 수 있다. 예를 들어, 전자 장치(100)는 복수의 로봇 중 제1로봇에게 임무 정보를 제공할 수 있다. 일 실시예에 따라, 제1로봇은 아군 로봇을 의미할 수 있고, 복수의 로봇 중 제1로봇을 제외한 로봇은 적군 로봇을 의미할 수 있다. 일 실시예에 따라, 제1로봇은 적어도 하나의 로봇을 포함할 수 있다. 제1로봇이 적어도 하나의 로봇(예를 들어, 제1-1로봇, 제1-2로봇, 제1-3로봇, 및 제1-4로봇)을 포함하는 경우, 전자 장치(100)는 제1-1로봇, 제1-2로봇, 제1-3로봇, 및 제1-4로봇 각각에게 임무 정보를 제공할 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(110)는 전자 장치(100) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 전자 장치(100)를 전반적으로 제어한다. 프로세서(110)는 전자 장치(100) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
메모리(120)는 전자 장치(100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(120)는 전자 장치(100)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 전자 장치(100)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
일 실시예에 따라, 프로세서(110)는 복수의 로봇의 센싱 정보를 획득할 수 있다. 구체적으로, 복수의 로봇의 센싱 정보는 로봇의 이미지에 관한 정보, 로봇의 가속도에 관한 정보, 로봇의 각속도에 관한 정보, 로봇의 gps 정보, 로봇의 연료 게이지에 관한 정보 등을 포함할 수 있다. 이러한 로봇의 센싱 정보는 적어도 하나의 센서로 측정될 수 있다. 일 실시예에 따라, 적어도 하나의 센서는 카메라 센서, 방향 감지 센서, 가속도 센서, 자이로 센서, gps 센서, 고도 센서, 및 연료 센서 등을 포함할 수 있다. 센싱 정보와 센서는 복수의 로봇에 관한 정보를 전술한 정보와 센서로 제한되지 않는다. 이어서, 프로세서(110)는 획득한 복수의 로봇의 센싱 정보를 가공하여 복수의 로봇의 속성 정보를 생성할 수 있다. 복수의 로봇의 속성 정보를 생성하는 단계는 이하 도 2에서 상세히 설명한다.
일 실시예에 따라, 복수의 로봇의 센싱 정보는 제1로봇에 장착된 센서로부터 획득되거나 별도의 탐지 로봇에 장착된 센서로부터 획득될 수 있다. 구체적으로, 프로세서(110)는 제1로봇에 장착된 센서로부터 획득된 복수의 로봇의 센싱 정보를 획득할 수 있고, 별도의 탐지 로봇에 장착된 센서로부터 획득된 복수의 로봇의 센싱 정보를 획득할 수 있다. 예를 들어, 프로세서(110)는 조기경보 로봇에 장착된 센서로부터 획득된 복수의 로봇의 센싱 정보를 획득할 수 있다. 일 실시예에 따라, 제1로봇에 장착된 센서는, 카메라 센서, 방향 감지 센서, 가속도 센서, 자이로 센서, gps 센서, 고도 센서, 및 연료 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1로봇에 카메라 센서가 장착된 경우, 프로세서(110)는 제1로봇에 장착된 카메라 센서로부터 획득된 복수의 로봇의 이미지에 관한 정보를 획득할 수 있고, 제1로봇에 연료 센서가 장착된 경우, 프로세서(110)는 제1로봇에 장착된 연료 센서로부터 획득된 복수의 로봇의 연료 게이지에 관한 정보를 획득할 수 있다. 제1로봇에 장착된 센서는 전술한 센서로 제한되거나, 제1로봇에만 장착되는 것으로 제한되지 않는다.
도 2는 뉴럴 네트워크의 입력 정보인 복수의 로봇의 속성 정보의 일 실시예를 나타낸다.
일 실시예에 따라, 프로세서(110)는 복수의 로봇의 속성 정보를 생성할 수 있다. 구체적으로, 프로세서(110)는 복수의 로봇에 관한 정보를 가공한 복수의 로봇의 속성을 각 로봇 별로 구분하여 복수의 로봇의 속성 정보를 생성할 수 있다. 일 실시예에 따라, 속성 정보는 로봇의 종류에 관한 정보, 로봇의 이동방향에 관한 정보, 로봇의 이동속도에 관한 정보, 로봇의 위도에 관한 정보, 로봇의 경도에 관한 정보, 로봇의 고도에 관한 정보, 로봇의 이동거리에 관한 정보, 로봇의 연료비(fuel rate)에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 현재 할당된 임무에 관한 정보 중 적어도 하나를 포함할 수 있다.
도 2를 참조하면, 210에서'image_array'는 본 속성 정보가 'TA_7.png'파일에 대한 정보를 확인하기 위한 인덱스이고, 'current_date'와 'current_time'은 속성 정보가 생성된 날짜와 시간을 의미하는 인덱스이다. 220 내지 250에서'robot type'은 로봇의 종류를 의미하고, 'Heading'은 진북(True North 또는 Geographic North) 좌표 기준의 이동 방향을 의미하고, 'velocity(km/h)'는 로봇의 이동 속도를 의미하고, 'Position North','Position East', 및 'Position Elevation'은 각각 GPS로부터 수집되는 값으로 로봇의 경도에 관한 정보, 위도에 관한 정보, 및 고도에 관한 정보를 의미할 수 있다. 일 실시예에 따라, 프로세서(110)는 기 설정된 기준에 따라 로봇의 경도에 관한 정보, 위도에 관한 정보, 및 고도에 관한 정보를 가공할 수 있다. 'Mileage(km)'는 로봇의 이동거리에 관한 정보를 의미하고, 'current_task'는 로봇의 현재 할당된 임무의 인덱스 값(즉, 로봇의 현재 할당된 임무에 관한 정보)을 의미할 수 있다. 'current_task'인덱스 값의 경우 아래 표 1과 같은 Action index 값으로 표시될 수 있다.
다중 로봇의 임무 할당은 로봇이 전장에서 임무를 수행하는 도중 발생하는 여러 우발 상황에 대한 대응 방안을 도출하는 알고리즘을 의미한다. 이와 같이 도출된 대응방안은 로봇 제어 관점의 HLAC(High-level Action Command)에 해당한다. 예를 들어, HLAC는 이동, 공격, 회피, 대기 등을 포함할 수 있다. 이렇게 생성된 HLAC는 실제로 이를 실행하기 위해 LLCC(Low-level Control Command)를 생성하게 된다. 예를 들어, HLAC가 '이동'으로 주어지면, LLCC는 gps 값을 이용하여'이동'을 수행하기 위한 경로를 생성해 알려줄 수 있다. HLAC는 대응방안으로서 이동, 공격, 회피 등의 임무를 대응하는 임무 값의 인덱스로 변수화 할 수 있다. 표 1을 참조하면, Action index 값이 0인 경우 현재 할당된 임무가 '이동'임을 나타내고, Action index 값이 1인 경우 현재 할당된 임무가 '대기'임을 나타내고, Action index 값이 2인 경우 현재 할당된 임무가 '회피'임을 나타낼 수 있다. 표 1에 각 숫자에 할당된 임무는 예시일 뿐 각 숫자에는 다른 임무가 할당될 수 있다.
다시 도 2를 참조하면, 도 2의 220 내지 250은 각 로봇의 속성 정보를 나타낸다. 예를 들어, 도 2의 220(0번째 무인 지상 차량의 속성 정보)을 참조하면,'robot type'인덱스가 'UGV_0'이므로 로봇의 종류가 0번째 무인 지상 차량(Unmanned Ground Vehicle)임을 의미하고, 'Heading'이 -0.621이므로 0번째 무인 지상 차량이 진북을 기준으로 -0.621임을 의미하고, 'velocity(km/h)'가 19.8이므로 0번째 무인 지상 차량의 이동 속도가 19.8km/h임을 의미하고, 'Position North', 'Position East', 및 'Position Elevation'이 각각 '3902036.150', '473154.110', 및 '147.570'이므로 0번째 무인 지상 차량의 gps 정보를 가공한 경도, 위도, 고도를 가공한 값이 '3902036.150', '473154.110', 및 '147.570'임을 의미하고, 'Mileage(km)' 가 89.7이므로 0번째 무인 지상 차량이 남은 연료로 이동 가능한 이동거리가 89.7km임을 의미하고, 'current_task'가 1이므로 0번째 무인 지상 차량에 현재 할당된 임무가 '이동'임을 의미할 수 있다. 마찬가지로, 도 2의 230은 1번째 무인 지상 차량의 속성 정보를 나타내고, 240은 2번째 무인 지상 차량의 속성 정보를 나타내고, 250은 0번째 무인 항공기(Unmanned Aerial Vehicle)의 속성 정보를 나타낼 수 있다. 프로세서(110)는 소정의 지역의 지형에 관한 이미지 정보뿐만 아니라 전술한 복수의 로봇의 속성 정보를 뉴럴 네트워크의 입력 정보로서 사용함으로써 이미지 정보만을 뉴럴 네트워크에 입력하는 경우보다 향상된 임무 할당 성능을 제공할 수 있다.
다시 도 1을 참조하면, 일 실시예에 따라 프로세서(110)는 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 구체적으로, 프로세서(110)는 복수의 로봇의 속성 정보를 생성하고, 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 프로세서(110)는 지형에 관한 이미지 정보를 복수의 로봇의 속성 정보와 함께 뉴럴 네트워크의 입력 정보로서 사용할 수 있다. 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계는 이하 도 3에서 상세히 설명할 것이다.
도 3은 뉴럴 네트워크의 다른 입력 정보인 소정의 지역의 지형에 관한 이미지 정보의 일 실시예를 나타낸다.
일 실시예에 따라, 프로세서(110)는 소정의 지형의 고저를 회색조로 시각화한 이미지 정보(예를 들어, 도 3의 310)를 생성할 수 있다. 구체적으로, 프로세서(110)는 제1로봇에 장착된 센서로부터 획득된 복수의 로봇에 관한 위치 정보에 기초하여 소정의 지역의 지형에 관한 정보를 획득하고, 지형의 고저를 회색조로 시각화하여 이미지 정보(310)를 생성할 수 있다. 다른 실시예에 따라, 프로세서(110)는 메모리(120)에 저장된 복수의 로봇에 관한 위치 정보에 기초하여 소정의 지역의 지형에 관한 정보를 확인하고, 소정의 지역의 지형의 고저를 회색조로 시각화하여 이미지 정보(310)를 생성할 수 있다. 일 실시예에 따라, 프로세서(110)는 소정의 지형의 고저를 회색조로 시각화한 이미지 정보(310)에 기초하여 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보(320)를 생성할 수 있다. 일 실시예에 따라, 프로세서(110)는 히트맵 정보(320) 상에 아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성할 수 있다. 히트맵(320) 상에 아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성하는 단계는 이하 도 4에서 상세히 설명될 것이다.
도 4는 아이콘에 관한 정보의 일 실시예를 나타낸다.
일 실시예에 따라, 프로세서(110)는 복수의 로봇의 속성을 나타내는 제1아이콘에 관한 정보를 확인할 수 있다. 구체적으로, 프로세서(110)는 복수의 로봇의 속성 정보 중 적어도 일부에 기초하여 복수의 로봇의 속성 정보를 나타내는 제1아이콘에 관한 정보를 확인할 수 있다. 예를 들어, 도 4를 참조하면 프로세서(110)는 로봇의 종류에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 이동방향에 관한 정보에 기초하여 이동방향이 북쪽인 녹색의 UGV 로봇 아이콘을 확인할 수 있다. 여기서 녹색은 아군 로봇을 의미할 수 있고, 적색은 적군 로봇을 의미할 수 있고, 아이콘 상단의 화살표는 로봇의 이동방향을 의미할 수 있다, 다른 예시로서, 프로세서(110)는 로봇의 종류에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 이동방향에 관한 정보에 기초하여 이동방향이 북쪽인 녹색의 UAV(회전익) 로봇 아이콘과 UAV(고정익) 로봇 아이콘을 확인할 수 있다. 일 실시예에 따라, 제1아이콘은 UGV 아이콘, UAV(회전익) 아이콘, UAV(고정익) 아이콘 중 적어도 하나를 포함하지만 이에 제한되지 않는다. 도 4에는 제1아이콘이 로봇의 종류, 피아, 및 이동방향에 관한 정보만을 나타내는 것으로 표시되었지만 이에 제한되지 않고 제1아이콘은 로봇의 다른 속성 정보를 나타낼 수 있다. 예를 들어, 프로세서(110)는 로봇의 종류에 관한 정보, 로봇의 피아에 관한 정보, 로봇의 이동속도에 관한 정보, 및 로봇의 현재 할당된 임무에 관한 정보를 기초로 제1아이콘에 관한 정보를 확인할 수 있다. 로봇의 종류는 제1아이콘 하단에 표시될 수 있고, 로봇의 피아는 녹색 또는 적색으로 표시될 수 있고, 로봇의 이동속도 및 현재 할당된 임무는 아이콘 좌측 또는 우측에 특정 값으로 표시될 수 있다.
다른 실시예에 따라, 프로세서(110)는 군사 자원을 나타내는 제2아이콘에 관한 정보를 확인할 수 있다. 프로세서(110)는 군사 자원에 관한 정보를 획득할 수 있다. 여기서 군사 자원에 관한 정보는, 군사 자원의 종류에 관한 정보, 군사 자원의 피아에 관한 정보, 군사 자원의 위도에 관한 정보, 군사 자원의 경도에 관한 정보, 군사 자원의 고도에 관한 정보, 군사 자원의 이동 방향에 관한 정보, 군사 자원의 이동 속도에 관한 정보 등을 포함할 수 있다. 예를 들어, 프로세서(110)는 제1로봇에 장착된 카메라 센서로부터 측정된 군사 자원의 이미지 정보를 획득하고, 객체 인식을 통해 군사 자원의 이미지 정보를 분석하여 군사 자원의 종류에 관한 정보 및 군사 자원의 피아에 관한 정보를 획득할 수 있다. 프로세서(110)는 군사 자원의 피아 구별이 가능한 경우 아군 군사 자원은 녹색으로 표시하고 적군 군사 자원은 적색으로 표시할 수 있으나, 객체 인식 분석 결과 군사 자원의 종류와 피아가 명확하지 않은 경우, 군사 자원을 흰색의 '불명확지뢰'로 확인할 수 있다. 다른 예시로서, 프로세서(110)는 별도의 탐지 로봇에 장착된 gps 센서로부터 측정된 군사 자원의 gps 정보에 기초하여 군사 자원의 위도, 경도, 및 고도에 관한 정보를 획득할 수 있다.
프로세서(110)는 획득한 군사 자원에 관한 정보에 기초하여 제2아이콘에 관한 정보를 확인할 수 있다. 일 실시예에 따라, 제2아이콘은 보병 아이콘, 전차 아이콘, 장갑차 아이콘, 트럭 아이콘, 항공기 아이콘, 헬기 아이콘, 대인지뢰 아이콘, 대전차지뢰 아이콘, 불명확지뢰 아이콘, 및 낙성 장애물 아이콘 중 적어도 하나를 포함하지만 이에 제한되지 않는다. 도 4를 참조하면, 프로세서(110)는 군사 자원의 종류에 관한 정보 및 군사 자원의 피아에 관한 정보에 기초하여 적색의 대인지뢰 아이콘을 확인할 수 있다. 다른 예시로서, 프로세서(110)는 군사 자원의 종류에 관한 정보 및 군사 자원의 피아에 관한 정보에 기초하여 적색의 낙석장애물 아이콘을 확인할 수 있다. 도 4를 참조하면, 군사 자원에 관한 아이콘은 별도 개체명(ID값)으로 대체되어 히트맵(예를 들어, 도 3의 330) 상에 표시될 수 있다. 예를 들어, 보병 아이콘은 '0'으로 히트맵 상에 표시될 수 있고, 항공기는 '4'로 히트맵 상에 표시될 수 있다. 도 4에는 제2아이콘이 군사 자원의 종류 및 피아에 관한 정보만을 나타내는 것으로 표시되었지만 이에 제한되지 않고 제2아이콘은 군사 자원의 다른 정보를 나타낼 수 있다. 예를 들어, 프로세서(110)는 군사 자원의 종류에 관한 정보, 군사 자원의 피아에 관한 정보, 군사 자원의 이동방향에 관한 정보, 군사 자원의 이동속도에 관한 정보에 기초로 적색의 보병 아이콘을 확인할 수 있다. 군사 자원의 종류는 제2아이콘 하단에 표시될 수 있고, 군사 자원의 피아는 녹색 또는 적색으로 표시될 수 있고, 군사 자원의 이동 방향 및 이동 속도는 좌측 또는 우측에 특정 값으로 표시될 수 있다.
다시 도 3을 참조하면, 일 실시예에 따라 프로세서(110)는 히트맵(320)의 적어도 일부 영역 상에 복수의 로봇의 속성을 나타내는 제1아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성할 수 있다. 다른 실시예에 따라, 프로세서(110)는 히트맵(320)의 적어도 일부 영역 상에 군사 자원을 나타내는 제2아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성할 수 있다. 다시 말해, 프로세서(110)는 각각의 로봇의 위치 정보에 대응하는 히트맵(320)의 일부 영역 상 또는 각각의 군사 자원의 위치 정보에 대응하는 히트맵(320)의 일부 영역 상에 제1아이콘 및 제2아이콘 중 적어도 하나를 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성할 수 있다.
아이콘을 표시하여 소정의 지역의 지형에 관한 이미지 정보(330)를 생성하는 경우, 아이콘 간의 중첩으로 인해 이미지 정보의 정확도가 저하될 수 있다. 소정의 지역의 지형에 관한 이미지 정보는 뉴럴 네트워크의 입력 정보로서 사용되므로 결과적으로 임무 할당 성능의 저하로 연결될 수 있다. 이를 방지하기 위해, 일 실시예에 따라 프로세서(110)는 제1로봇 및 제2로봇의 아이콘 간의 중첩이 발생하는 경우, 제1로봇 및 제2로봇의 아이콘 중 적어도 하나의 사이즈를 축소하여 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 다른 실시예에 따라, 프로세서(110)는 제1아이콘 및 제2아이콘 간의 중첩이 발생하는 경우, 제1아이콘 및 제2아이콘 중 적어도 하나의 사이즈를 축소하여 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 예를 들어 도 3의 330의 경우, 제1아이콘과 제2아이콘 간에 중첩이 발생하였으므로 프로세서(110)는 제1아이콘의 사이즈를 축소하거나, 제2아이콘의 사이즈를 축소하거나, 제1아이콘 및 제2아이콘의 사이즈를 모두 축소하여 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 프로세서(110)는 소정의 지역의 지형에 관한 이미지 정보 상의 아이콘이 중첩되지 않도록 하여 뉴럴 네트워크 입력 정보의 정확도를 향상시킴으로써 개선된 임무 할당 성능을 제공할 수 있다.
다시 도 1을 참조하면, 프로세서(110)는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인할 수 있다. 구체적으로, 프로세서(110)는 복수의 로봇의 속성 정보 및 소정의 지역의 지형에 관한 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 임무 정보를 확인할 수 있다. 일 실시예에 따라, 뉴럴 네트워크는 학습된 컨볼루션 뉴럴 네트워크일 수 있고, 프로세서(110)는 뉴럴 네트워크를 훈련시킬 수 있다. 뉴럴 네트워크를 훈련시키는 단계는 이하 도 5에서 상세히 설명될 것이다.
도 5는 뉴럴 네트워크를 훈련시키는 실시예를 나타낸다.
일 실시예에 따라, 프로세서(110)는 임무 할당 성능 향상을 위하여 복수의 로봇의 속성 정보(예를 들어, 도 2의 속성 정보) 및 소정의 지역의 지형에 관한 이미지 정보(예를 들어, 도 3의 330)가 입력 정보로서 제공되었을 때 레이블 데이터를 기초로 Deep-Learning CNN 기법을 통해 학습 또는 훈련하여 모델을 도출할 수 있다. 또한, 프로세서(110)에 미학습된 새로운 입력 정보가 제공되었을 때, 기 학습 또는 훈련된 모델을 기반으로 임무를 할당할 수 있다. 학습(CNN deep learning 기반)을 통하여 임무를 할당하는 방법은 입력 정보와 그에 대한 정답을 페어링(paring)하는 방법이 주로 사용된다. 이를 구현하기 위해 프로세서(110)는 숙련자가 할당한 임무 할당 결과를 정답지로 지정하여 뉴럴 네트워크를 훈련시켜 모델을 도출할 수 있다. 프로세서(110)는 CNN 기반 학습 모델을 사용함으로써 학습된 데이터와 유사한 정보를 입력할 시 도출시간의 편차가 적고 상대적으로 빠른 추론이 가능할 수 있다. 또한, CNN 기반 학습 모델은 입력 데이터로서 2D RGB 기반 이미지를 사용할 수 있어 당해 기술분야에서 널리 쓰이고 있는 사물인식 SOTA 적용 또한 가능할 수 있다.
일 실시예에 따라, 프로세서(110)는 복수의 로봇의 속성 정보 및 소정의 지역의 지형에 관한 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 임무 정보를 확인할 수 있다. 뉴럴 네트워크는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 추론하도록 훈련될 수 있다. 다시 말해, 뉴럴 네트워크는 특정 지역의 복수의 로봇의 속성 정보, 및 특정 지역의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 특정 지역의 지형에 관한 이미지 정보에 기초하여 제1로봇에게 임무를 할당하기 위한 임무 정보를 출력하도록 학습된 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)일 수 있다.
일 실시예에 따라, 프로세서(110)는 뉴럴 네트워크를 훈련시킬 수 있다. 구체적으로, 프로세서(110)는 복수의 지역들 각각의 복수의 로봇의 속성 정보, 및 복수의 지역들 각각의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 복수의 지역들 각각의 지형에 관한 이미지 정보를 뉴럴 네트워크의 입력 정보로서 획득할 수 있다. 또한, 프로세서(110)는 복수의 지역들 각각에서 제1로봇에게 임무를 할당하기 위한 임무 정보를 뉴럴 네트워크의 입력 정보에 대한 타겟 정보로서 획득할 수 있다. 프로세서(110)는 획득한 입력 정보 및 타겟 정보를 기초로 뉴럴 네트워크를 훈련시킬 수 있다. 프로세서(110)는 훈련된 뉴럴 네트워크를 이용하여 임무 정보를 확인할 수 있고, 확인된 임무 정보를 제1로봇에게 제공하거나 복수의 로봇에게 제공할 수 있다.
도 6은 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 6에 도시된 바와 같이, 컨볼루션 뉴럴 네트워크(600)는 컨볼루션 레이어(Convolutional layer)들과, 풀리 커넥티드 레이어(Fully connected layer)들과 소프트맥스 레이어(Softmax layer)로 구성될 수 있다. 일 실시예에 따르면 컨볼루션 뉴럴 네트워크(600)는 5개의 컨볼루션 레이어들과 2개의 풀리 커넥티드 레이어(Fully connected layer)들과 소프트맥스 레이어(Softmax layer)로 구성될 수 있다. 일 실시예에 따르면 컨볼루션 뉴럴 네트워크(600)는 특정 지역의 복수의 로봇의 속성 정보, 및 특정 지역의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 특정 지역의 지형에 관한 이미지 정보에 기초하여 제1로봇에게 임무를 할당하기 위한 임무 정보를 출력하도록 학습된 컨볼루션 뉴럴 네트워크일 수 있다. 컨볼루션 뉴럴 네트워크(600)는 Flatten 함수가 이용될 수 있으며, 여기서 Flatten 함수는 데이터(tensor)의 형태(shape)를 바꾸는 함수를 의미할 수 있다. 예를 들어, Flatten 함수는 200x200x1의 데이터를 40000x1의 데이터로 바꿀 수 있다.
일 실시예에 따라 제1로봇이 적어도 하나의 로봇(예를 들어, 제1-1로봇, 제1-2로봇, 제1-3로봇 및 제1-4로봇)을 포함하는 경우, 복수의 로봇의 속성 정보와 소정의 지역의 지형에 관한 이미지 정보가 입력된 컨볼루션 뉴럴 네트워크(600)는 각각의 40개의 뉴런들을 통해 적어도 하나의 로봇에게 할당할 임무 정보를 확인하기 위한 후보 임무 값들을 출력할 수 있다. 프로세서(110)는 40개의 후보 임무 값들 중에서 소프트맥스 레이어의 출력값이 가장 높은 후보 임무 값을 제1임무 값(610), 제2임무 값(620), 제3임무 값(630), 및 제4임무 값(640)으로 확인할 수 있다. 다시 말해, 프로세서(110)는 각각의 로봇(예를 들어, 제1-1로봇, 제1-2로봇, 제1-3로봇, 및 제1-4로봇)에게 임무를 할당하기 위한 제1임무 정보, 제2임무 정보, 제3임무 정보, 및 제4임무 정보로서 제1임무 값(610), 제2임무 값(620), 제3임무 값(630), 및 제4임무 값(640)을 확인할 수 있다. 프로세서(110)는 제1임무 정보를 제1-1로봇에게 제공할 수 있고, 제2임무 정보를 제1-2로봇에게 제공할 수 있고, 제3임무 정보를 제1-3로봇에게 제공할 수 있고, 제4임무 정보를 제1-4로봇에게 제공할 수 있다.
도 7은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
데이터 획득(Data Acquisition)을 위한 단계(S710)에서, 전자 장치(100)는 복수의 로봇의 센싱 정보를 획득할 수 있다. 일 실시예에 따라, 전자 장치(100)는 복수의 로봇의 센싱 정보를 제1로봇에 장착된 센서로부터 획득하거나 별도의 탐지 로봇에 장착된 센서로부터 획득할 수 있다. 다른 실시예에 따라, 전자 장치(100)는 메모리(120)에 저장된 복수의 로봇의 센싱 정보를 획득할 수 있다. 전자 장치(100)는 획득한 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다.
데이터 편집(Data Editing)을 위한 단계(S720)에서, 전자 장치(100)는 S710에서 획득된 데이터를 편집하여 뉴럴 네트워크의 학습에 필요가 없는 부분을 제거할 수 있다. 예를 들어, 전자 장치(100)는 뉴럴 네트워크를 학습 또는 훈련시키기 위해 기 획득된 복수의 로봇의 속성 정보나, 소정의 지역의 지형에 관한 이미지 정보가 사람의 단순 실수에 의해 중복되는 경우, 중복된 데이터를 제거할 수 있다.
훈련(Training)을 위한 단계(S730)에서, 전자 장치(100)는 S720에서 편집된 데이터에 기반하여 뉴럴 네트워크를 학습시킬 수 있다. 구체적으로, 전자 장치(100)는 입력 정보인 복수의 로봇의 속성 정보, 및 소정의 지역의 지형에 관한 이미지 정보와 레이블인 뉴럴 네트워크의 출력인 숙련자의 임무 정보를 통해 뉴럴 네트워크를 훈련 또는 학습시킬 수 있다.
테스팅(Testing)을 위한 단계(S740)에서, 전자 장치(100)는 S730에서 학습 또는 훈련된 뉴럴 네트워크를 이용하여 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인할 수 있다.
일 실시예에 따라, 전자 장치(100)는 임무 정보를 제공할 수 있다. 전자 장치(100)는 통신 디바이스를 통해 임무 정보를 제1로봇에게 전송하거나, 디스플레이를 통해 임무 정보를 출력할 수 있다.
도 8은 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
도 8의 동작 방법의 각 단계는 도 1의 전자 장치(100)에 의해 수행될 수 있으므로, 도 8과 중복되는 내용에 대해서는 설명을 생략한다.
단계 S810에서, 전자 장치는 복수의 로봇의 센싱 정보를 획득할 수 있다. 복수의 로봇의 센싱 정보는 제1로봇에 장착된 센서로부터 획득되거나 별도의 탐지 로봇에 장착된 센서로부터 획득될 수 있다. 제1로봇에 장착된 센서는 카메라 센서, 방향 감지 센서, 가속도 센서, 자이로 센서, gps 센서, 연료 센서 중 적어도 하나를 포함할 수 있다.
단계 S820에서, 전자 장치는 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성할 수 있다. 속성 정보는, 로봇의 종류에 관한 정보, 로봇의 이동방향에 관한 정보, 로봇의 이동속도에 관한 정보, 로봇의 위도에 관한 정보, 로봇의 경도에 관한 정보, 로봇의 고도에 관한 정보, 로봇의 이동거리에 관한 정보, 로봇의 연료비에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 현재 할당된 임무에 관한 정보 중 적어도 하나를 포함할 수 있다. 소정의 지역의 지형에 관한 이미지 정보는 각각의 로봇의 위치 정보에 대응하는 소정의 지역의 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보의 적어도 일부 영역 상에 제1아이콘 또는 제2아이콘을 표시하여 생성할 수 있다.
단계 S830에서, 전자 장치는 속성 정보 및 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인할 수 있다. 전자 장치는 뉴럴 네트워크를 훈련시킬 수 있고, 훈련된 뉴럴 네트워크를 이용하여 임무 정보를 확인할 수 있다.
단계 S840에서, 전자 장치는 임무 정보를 제공할 수 있다. 전자 장치는 복수의 로봇 중 제1로봇에게 임무 정보를 제공하거나, 외부로 임무 정보를 제공할 수 있다.
전술한 실시예들에 따른 전자 장치는, 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.
Claims (11)
- 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법에 있어서,
복수의 로봇의 센싱 정보를 획득하는 단계;
상기 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 상기 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계;
상기 속성 정보 및 상기 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 상기 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하는 단계; 및
상기 임무 정보를 제공하는 단계를 포함하되,
상기 이미지 정보를 생성하는 단계는,
상기 지형의 고저를 회색조로 시각화한 이미지 정보를 생성하는 단계;
상기 회색조로 시각화한 이미지 정보에 기초하여 상기 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보를 생성하는 단계;
상기 속성 정보 중 적어도 일부에 기초하여 상기 복수의 로봇의 속성을 나타내는 제1아이콘에 관한 정보를 확인하는 단계; 및
각각의 로봇의 위치 정보에 대응하는 상기 히트맵 정보의 적어도 일부 영역 상에 상기 제1아이콘을 표시하여 상기 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계를 포함하고,
상기 제1아이콘은,
UGV(Unmanned Ground Vehicle) 아이콘, 회전익 UAV(Unmanned Aerial Vehicle) 아이콘, 및 고정익 UAV 아이콘 중 적어도 하나를 포함하는, 동작 방법. - 제1항에 있어서,
상기 복수의 로봇의 센싱 정보는,
상기 제1로봇에 장착된 센서로부터 획득되거나 별도의 탐지 로봇에 장착된 센서로부터 획득되고,
상기 제1로봇에 장착된 센서는,
카메라 센서, 방향 감지 센서, 가속도 센서, 자이로 센서, gps 센서, 고도 센서, 및 연료 센서 중 적어도 하나를 포함하는, 동작 방법. - 제1항에 있어서,
상기 속성 정보는,
로봇의 종류에 관한 정보, 로봇의 이동방향에 관한 정보, 로봇의 이동속도에 관한 정보, 로봇의 위도에 관한 정보, 로봇의 경도에 관한 정보, 로봇의 고도에 관한 정보, 로봇의 이동거리에 관한 정보, 로봇의 연료비(fuel rate)에 관한 정보, 로봇의 피아에 관한 정보, 및 로봇의 현재 할당된 임무에 관한 정보 중 적어도 하나를 포함하는, 동작 방법. - 삭제
- 제1항에 있어서,
상기 뉴럴 네트워크는,
특정 지역의 복수의 로봇의 속성 정보, 및 상기 특정 지역의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 상기 특정 지역의 지형에 관한 이미지 정보에 기초하여 상기 특정 지역의 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 출력하도록 학습된 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)인, 동작 방법. - 제1항에 있어서,
복수의 지역들 각각의 복수의 로봇의 속성 정보, 및 상기 복수의 지역들 각각의 복수의 로봇의 속성 정보 중 적어도 일부가 반영된 상기 복수의 지역들 각각의 지형에 관한 이미지 정보를 뉴럴 네트워크의 입력 정보로서 획득하고, 상기 복수의 지역들 각각에서 제1로봇에게 임무를 할당하기 위한 임무 정보를 상기 입력 정보에 대한 타겟 정보로서 획득하는 단계; 및
상기 입력 정보 및 상기 타겟 정보를 기초로 뉴럴 네트워크를 훈련시키는 단계를 더 포함하고,
상기 임무 정보를 확인하는 단계는,
특정 지역의 복수의 로봇의 속성 정보 및 상기 특정 지역의 지형에 관한 이미지 정보가 입력된 상기 훈련된 뉴럴 네트워크로부터 출력되는 임무 정보를 확인하는 단계를 포함하는, 동작 방법. - 제1항에 있어서,
상기 제공하는 단계는,
통신 디바이스를 통해 상기 임무 정보를 상기 제1로봇에게 전송하거나, 디스플레이를 통해 상기 임무 정보를 출력하는 단계를 포함하는, 동작 방법. - 제1항에 있어서,
상기 제1아이콘은,
상기 제1로봇 및 제2로봇의 아이콘을 포함하고,
상기 이미지 정보를 생성하는 단계는,
상기 제1로봇 및 제2로봇의 아이콘 간의 중첩이 발생하는 경우, 상기 제1로봇 및 제2로봇의 아이콘 중 적어도 하나의 사이즈를 축소하여 이미지 정보를 생성하는 단계를 포함하는, 동작 방법. - 제1항에 있어서,
군사 자원에 관한 정보를 획득하는 단계를 더 포함하고,
상기 제1아이콘에 관한 정보를 확인하는 단계는,
상기 군사 자원에 관한 정보에 기초하여 상기 군사 자원을 나타내는 제2아이콘에 관한 정보를 확인하는 단계를 포함하고,
상기 이미지 정보를 생성하는 단계는,
각각의 군사 자원의 위치 정보에 대응하는 상기 히트맵 정보의 적어도 일부 영역 상에 상기 제2아이콘을 표시하여 이미지 정보를 생성하는 단계를 포함하고,
상기 제2아이콘은,
보병 아이콘, 전차 아이콘, 장갑차 아이콘, 트럭 아이콘, 항공기 아이콘, 헬기 아이콘, 대인지뢰 아이콘, 대전차지뢰 아이콘, 불명확지뢰 아이콘, 및 낙석 장애물 아이콘 중 적어도 하나를 포함하는, 동작 방법. - 로봇에게 임무를 할당하기 위한 전자 장치로서,
적어도 하나의 프로그램이 저장된 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써, 복수의 로봇의 센싱 정보를 획득하고,
상기 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 상기 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하고,
상기 속성 정보 및 상기 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 상기 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하고, 및
상기 임무 정보를 제공하는 프로세서를 포함하되,
상기 프로세서는,
상기 지형의 고저를 회색조로 시각화한 이미지 정보를 생성하고,
상기 회색조로 시각화한 이미지 정보에 기초하여 상기 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보를 생성하고,
상기 속성 정보 중 적어도 일부에 기초하여 상기 복수의 로봇의 속성을 나타내는 제1아이콘에 관한 정보를 확인하고, 및
각각의 로봇의 위치 정보에 대응하는 상기 히트맵 정보의 적어도 일부 영역 상에 상기 제1아이콘을 표시하여 상기 소정의 지역의 지형에 관한 이미지 정보를 생성하고,
상기 제1아이콘은,
UGV(Unmanned Ground Vehicle) 아이콘, 회전익 UAV(Unmanned Aerial Vehicle) 아이콘, 및 고정익 UAV 아이콘 중 적어도 하나를 포함하는, 전자 장치. - 로봇에게 임무를 할당하기 위한 전자 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체로서,
상기 동작 방법은,
복수의 로봇의 센싱 정보를 획득하는 단계;
상기 복수의 로봇의 센싱 정보에 기초하여 복수의 로봇의 속성 정보를 생성하고, 상기 속성 정보 중 적어도 일부가 반영된 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계;
상기 속성 정보 및 상기 이미지 정보가 입력된 뉴럴 네트워크로부터 출력되는 상기 복수의 로봇 중 제1로봇에게 임무를 할당하기 위한 임무 정보를 확인하는 단계; 및
상기 임무 정보를 제공하는 단계를 포함하되,
상기 이미지 정보를 생성하는 단계는,
상기 지형의 고저를 회색조로 시각화한 이미지 정보를 생성하는 단계;
상기 회색조로 시각화한 이미지 정보에 기초하여 상기 지형의 고저를 열-그래픽 형상으로 시각화한 히트맵 정보를 생성하는 단계;
상기 속성 정보 중 적어도 일부에 기초하여 상기 복수의 로봇의 속성을 나타내는 제1아이콘에 관한 정보를 확인하는 단계; 및
각각의 로봇의 위치 정보에 대응하는 상기 히트맵 정보의 적어도 일부 영역 상에 상기 제1아이콘을 표시하여 상기 소정의 지역의 지형에 관한 이미지 정보를 생성하는 단계를 포함하고,
상기 제1아이콘은,
UGV(Unmanned Ground Vehicle) 아이콘, 회전익 UAV(Unmanned Aerial Vehicle) 아이콘, 및 고정익 UAV 아이콘 중 적어도 하나를 포함하는, 비일시적 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147190A KR102520643B1 (ko) | 2022-11-07 | 2022-11-07 | 지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 |
| US18/370,122 US20240151533A1 (en) | 2022-11-07 | 2023-09-19 | Method and electronic device for determining mission of a device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147190A KR102520643B1 (ko) | 2022-11-07 | 2022-11-07 | 지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102520643B1 true KR102520643B1 (ko) | 2023-04-12 |
Family
ID=85984426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220147190A KR102520643B1 (ko) | 2022-11-07 | 2022-11-07 | 지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102520643B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428774A (zh) * | 2023-11-23 | 2024-01-23 | 中国船舶集团有限公司第七一六研究所 | 一种用于船舶巡检的工业机器人控制方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102203015B1 (ko) * | 2020-07-20 | 2021-01-14 | 국방과학연구소 | 복수의 로봇들을 위한 운용 디바이스 및 그의 동작 방법 |
| KR20210047056A (ko) * | 2019-10-21 | 2021-04-29 | 엘지전자 주식회사 | 비행 정보 제공 방법 및 장치 |
-
2022
- 2022-11-07 KR KR1020220147190A patent/KR102520643B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210047056A (ko) * | 2019-10-21 | 2021-04-29 | 엘지전자 주식회사 | 비행 정보 제공 방법 및 장치 |
| KR102203015B1 (ko) * | 2020-07-20 | 2021-01-14 | 국방과학연구소 | 복수의 로봇들을 위한 운용 디바이스 및 그의 동작 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428774A (zh) * | 2023-11-23 | 2024-01-23 | 中国船舶集团有限公司第七一六研究所 | 一种用于船舶巡检的工业机器人控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10915793B2 (en) | Method and system for converting point cloud data for use with 2D convolutional neural networks | |
| US10347139B2 (en) | Autonomous nap-of-the-earth (ANOE) flight path planning for manned and unmanned rotorcraft | |
| CN108885105B (zh) | 用于提供车辆认知的系统和方法 | |
| US10032111B1 (en) | Systems and methods for machine learning of pilot behavior | |
| US11586931B2 (en) | Training trajectory scoring neural networks to accurately assign scores | |
| US10983217B2 (en) | Method and system for semantic label generation using sparse 3D data | |
| Cesetti et al. | A vision-based guidance system for UAV navigation and safe landing using natural landmarks | |
| Nuske et al. | Autonomous exploration and motion planning for an unmanned aerial vehicle navigating rivers | |
| CN111247557A (zh) | 用于移动目标物体检测的方法、系统以及可移动平台 | |
| CN109964188A (zh) | 控制车辆的方法和系统 | |
| CN111615677B (zh) | 一种无人机的安全降落方法、装置、无人机及介质 | |
| CN115690146A (zh) | 一种多目标跟踪方法、装置、计算设备和存储介质 | |
| KR102520643B1 (ko) | 지형의 이미지 정보 및 로봇의 속성 정보를 고려하여 로봇에게 임무를 할당하기 위한 전자 장치 및 그의 동작 방법 | |
| WO2021218693A1 (zh) | 一种图像的处理方法、网络的训练方法以及相关设备 | |
| US20200249676A1 (en) | Method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same | |
| CN117252011A (zh) | 基于分布式架构的异构地空无人集群仿真系统构建方法 | |
| Yang et al. | Autonomous UAVs landing site selection from point cloud in unknown environments | |
| KR20240080189A (ko) | 거리 측정 방법 및 이를 이용하는 거리 측정 장치 | |
| CN117396926A (zh) | 用于自主机器系统和应用的基于感知的标志检测和解释 | |
| Zimmermann et al. | Integration of a visibility graph based path planning method in the ACT/FHS rotorcraft | |
| CN113448340B (zh) | 一种无人机的路径规划方法、装置、无人机及存储介质 | |
| Chen et al. | From perception to control: an autonomous driving system for a formula student driverless car | |
| Chen | UAV patrol path planning based on machine vision and multi-sensor fusion | |
| US20220355824A1 (en) | Predicting near-curb driving behavior on autonomous vehicles | |
| CN116867699A (zh) | 用于自动驾驶车辆和模拟器的地图的迭代扭曲的方法、系统和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |