KR20210088102A - 무인 비행체의 데이터 세트 생성 방법 및 장치 - Google Patents
무인 비행체의 데이터 세트 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR20210088102A KR20210088102A KR1020200001205A KR20200001205A KR20210088102A KR 20210088102 A KR20210088102 A KR 20210088102A KR 1020200001205 A KR1020200001205 A KR 1020200001205A KR 20200001205 A KR20200001205 A KR 20200001205A KR 20210088102 A KR20210088102 A KR 20210088102A
- Authority
- KR
- South Korea
- Prior art keywords
- data set
- information
- unmanned aerial
- aerial vehicle
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004088 simulation Methods 0.000 claims description 59
- 238000005259 measurement Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000004807 localization Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000011160 research Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Automation & Control Theory (AREA)
Abstract
데이터 세트 생성 장치에 의해 수행되는 무인 비행체의 데이터 세트 생성 방법으로서, 이동하는 객체가 포함된 비행 환경 정보를 획득하는 단계, 상기 비행 환경 정보에 기초한 비행 환경에서 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 포함된 비행 데이터를 획득하는 단계, 비행 데이터에 기초하여, 이동하는 객체가 존재할 때의 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 제2 물리 정보 및 제2 센서 정보에 기초하여 제1 데이터 세트를 생성하는 단계, 비행 데이터에 기초하여, 이동하는 객체가 존재하지 않을 때의 무인 비행체의 제3 물리 정보 및 제3 센서 정보를 획득하고, 제3 물리 정보 및 제3 센서 정보에 기초하여 제2 데이터 세트를 생성하는 단계를 포함한다.
Description
본 발명은 무인 비행체(Unmanned Aviation Vehicle, UAV)의 데이터 세트를 생성하는 방법에 관한 것으로, 더욱 상세하게는 무인 비행체의 위치를 추정하는 알고리즘의 정확성을 평가할 수 있는 실험 데이터 세트를 생성하는 방법 및 장치에 관한 것이다.
최근 재난 감시, 환경 감시, 정찰 등을 위한 로봇 및 무인 비행체에 관한 연구가 활발하게 진행되고 있다. 특히 로봇 및 무인 비행체의 위치를 추정하는 알고리즘, 예를 들어, 위치 측정 및 동시 자동화(Simultaneous Localization and Mapping, SLAM)알고리즘과 시각적 관성 거리계(Visual Inertial Odometry, VIO) 알고리즘에 대한 연구가 활발하게 진행되고 있다. 구체적으로 무인 비행체의 위치를 추정하는 위치 측정 및 동시 자동화(SLAM) 알고리즘 및 시각적 관성 거리계(VIO) 알고리즘의 성능을 평가하는 연구가 활발히 진행되고 있다. 알고리즘의 성능을 정확하게 그리고 여러 측면에서 분석하기 위해서는, 무인 비행체에 관한 다양한 정보가 포함된 데이터 세트가 보다 현실성 있고 정확하게 생성되어야 한다. 이에 따라, 최근에는 가상의 환경에서 무인 비행체의 데이터 세트를 생성 및 합성하는 방안이 연구되고 있다.
사용자가 실제의 무인 비행체를 운용하며 데이터 세트를 획득하는 경우, 데이터를 획득하는 과정이 상당히 복잡하고, 과도한 비용과 시간이 소요되며, 무인 비행체의 데이터의 정확도가 낮아지는 측면(예를 들어, 무인 비행체의 위치가 정확하게 측정되지 않는다는 측면)이 있다. 그러나 사용자가 가상의 환경을 이용하여 데이터 세트를 획득하는 경우, 빠르고 효율적으로 데이터를 획득할 수 있다. 또한 사용자는 무인이동체의 주변 상황(예를 들어, 무인 비행체 주변에 존재하는 물체, 날씨, 빛의 강도)을 정확하게 제어함으로써 특정 조건에 부합하는 정확한 데이터를 획득할 수 있다.
한편, 가상의 환경을 통하여 데이터 세트를 획득하는 기존의 방법은, 사용자가 데이터 세트를 생성하는 과정이 복잡하다는 점, 사용자가 생성된 데이터 세트를 통해 해당 알고리즘의 성능을 비교하는 것이 어렵다는 점, 그리고 무인 비행체의 비행 과정에서 데이터를 획득하는 센서들의 측정 주기가 상이하여 센서들 간의 정확한 측정 주기를 맞추는 것이 용이하지 않다는 문제점이 존재하였다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 무인 비행체의 위치 추정에 사용되는 위치 측정 및 동시 자동화(SLAM) 알고리즘, 시각적 관성 거리계(VIO) 알고리즘의 정확도를 높일 수 있고, 무인 비행체 주변에 존재하는 이동체에 대한 강인성을 용이하게 측정할 수 있는 데이터 세트를 생성하는 방법 및 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 데이터 세트 생성 장치에 의해 수행되는 무인 비행체의 데이터 세트 생성 방법은, 이동하는 객체가 포함된 비행 환경 정보를 획득하는 단계, 상기 비행 환경 정보에서 상기 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 포함된 비행 데이터를 획득하는 단계, 상기 비행 환경 정보에 기초한 비행 환경에서, 상기 이동하는 객체가 존재할 때의 상기 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제1 데이터 세트를 생성하는 단계, 상기 비행 데이터에 기초하여, 상기 이동하는 객체가 존재하지 않을 때의 상기 무인 비행체의 제3 물리 정보 및 제3 센서 정보를 획득하고, 상기 제3 물리 정보 및 상기 제3 센서 정보에 기초하여 제2 데이터 세트를 생성하는 단계 및 상기 제1 데이터 세트 및 상기 제2 데이터 세트에 기초하여 제3 데이터 세트를 생성하는 단계를 포함한다.
여기서, 상기 물리 정보는, 상기 무인 비행체의 위치 정보 및 자세 정보를 포함하는 것을 특징으로 한다.
여기서, 상기 제1 데이터 세트를 생성하는 단계는, 상기 제1 물리 정보 및 상기 제1 센서 정보에 기초하여 제1 시뮬레이션 데이터를 생성하는 단계 및 상기 제1 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제1 센서 정보를 획득하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 소정의 주기마다 획득되는 제1 센서 정보는 복수의 센서들을 통해 획득되고, 상기 복수의 센서들 각각은 상이한 센싱 주기를 갖는 것을 특징으로 한다.
여기서, 상기 복수의 센서들 각각은, 상기 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 상기 제1 센서 정보를 획득하는 것을 특징으로 한다.
여기서, 상기 복수의 센서들은, 카메라(camera), 라이다(Lidar) 및 관성 측정 장치(Inertial Measurement Unit, IMU) 중 적어도 하나 이상의 센서를 포함하는 것을 특징으로 한다.
여기서, 상기 제2 데이터 세트를 생성하는 단계는, 상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제2 시뮬레이션 데이터를 생성하는 단계 및 상기 제2 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제2 센서 정보를 획득하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 제3 데이터 세트는 상기 이동하는 객체가 포함된 비행 환경 정보 및 상기 이동하는 객체가 제외된 비행 환경 정보를 포함하는 것을 특징으로 한다.
여기서, 상기 제1 데이터 세트, 제2 데이터 세트 및 제3 데이터 세트는 로봇 운영체제(Robot Operating System, ROS)에서 실행될 수 있는 형태로 생성되는 것을 특징으로 한다.
무인 비행체의 데이터 세트 생성 장치는, 프로세서(processor) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고 상기 적어도 하나의 명령은, 이동하는 객체가 포함된 비행 환경 정보를 획득하고, 상기 비행 환경 정보에서 상기 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 포함된 비행 데이터를 획득하고, 상기 비행 데이터에 기초하여 상기 이동하는 객체가 존재할 때의 상기 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제1 데이터 세트를 생성하고, 상기 비행 데이터에 기초하여 상기 이동하는 객체가 존재하지 않을 때의 상기 무인 비행체의 제3 물리 정보 및 제3 센서 정보를 획득하고, 상기 제3 물리 정보 및 상기 제3 센서 정보에 기초하여 제2 데이터 세트를 생성하고, 그리고 상기 제1 데이터 세트 및 상기 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성하도록 실행된다.
여기서, 상기 물리 정보는, 상기 무인 비행체의 위치 정보, 속도 정보, 가속도 정보 및 상기 무인 비행체의 자세 정보를 포함하는 것을 특징으로 한다.
여기서, 상기 적어도 하나의 명령은, 상기 제1 데이터 세트를 생성하도록 실행됨에 있어서, 상기 제1 물리 정보 및 상기 제1 센서 정보에 기초하여 제1 시뮬레이션 데이터를 생성하고, 그리고 상기 제1 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제1 센서 정보를 획득하도록 더 실행되는 것을 특징으로 한다.
여기서, 상기 적어도 하나의 명령은, 상기 소정의 주기마다 상기 제1 센서 정보를 획득하도록 실행됨에 있어서, 복수의 센서들을 통해 상기 제1 센서 정보를 획득하고, 상기 복수의 센서들 각각은 상이한 센싱 주기를 갖도록 더 실행되는 것을 특징으로 한다.
여기서, 상기 복수의 센서들 각각은, 상기 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 상기 제1 센서 정보를 획득하는 것을 특징으로 한다.
본 발명에 따르면, 사용자는 원하는 환경에서 무인 비행체의 데이터 세트를 용이하게 생성할 수 있다. 또한 데이터 세트는 움직이는 물체가 존재하는 환경과 그렇지 않은 환경 두 가지 경우에 기초하여 생성되기 때문에, 사용자는 움직이는 물체가 알고리즘에 미치는 영향을 쉽게 파악할 수 있다.
또한, 사용자는 주변 환경과 비행 경로를 제어하여, 무인 비행체의 데이터를 획득할 수 있고, 따라서 위치 추정 알고리즘 분석에 특화된 데이터 세트를 획득할 수 있다. 또한 사용자는 움직이는 물체가 존재하는 데이터와 그렇지 않은 데이터를 동시에 획득할 수 있고, 따라서 알고리즘의 움직이는 물체에 대한 강인성(rubustness)을 용이하게 분석할 수 있다.
또한 사용자는 각 센서들의 측정 주기를 정확히 일치시켜 데이터 세트를 생성할 수 있고, 따라서 알고리즘의 성능을 쉽게 파악할 수 있다. 또한 데이터 세트에는 드론의 주행 위치, 센서 값뿐만 아니라, 맵의 3D 모델, 인식된 물체의 이미지가 함께 저장되기 때문에, 사용자는 생성된 데이터 세트를 사용하여 알고리즘의 매핑(mapping) 정확도를 분석할 수 있고, 움직이는 물체를 판별하기 위한 알고리즘을 분석할 수 있다.
도 1은 데이터 세트 생성 장치의 일 실시예를 도시한 블록도이다.
도 2는 시뮬레이션부의 일 실시예를 도시한 블록도이다.
도 3은 시뮬레이션 생성부의 일 실시예를 도시한 블록도이다.
도 4는 클라이언트부의 일 실시예를 도시한 블록도이다.
도 5는 데이터 세트 생성부의 일 실시예를 도시한 블록도이다.
도 6은 데이터 세트 생성부가 제1 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 7은 데이터 세트 생성부가 제2 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 8은 데이터 세트 생성부가 제3 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 9는 데이터 세트 생성 장치에 의해 수행되는 데이터 세트 생성 방법의 일 실시예를 도시한 흐름도이다.
도 2는 시뮬레이션부의 일 실시예를 도시한 블록도이다.
도 3은 시뮬레이션 생성부의 일 실시예를 도시한 블록도이다.
도 4는 클라이언트부의 일 실시예를 도시한 블록도이다.
도 5는 데이터 세트 생성부의 일 실시예를 도시한 블록도이다.
도 6은 데이터 세트 생성부가 제1 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 7은 데이터 세트 생성부가 제2 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 8은 데이터 세트 생성부가 제3 데이터 세트를 생성하는 과정을 도시한 개념도이다.
도 9는 데이터 세트 생성 장치에 의해 수행되는 데이터 세트 생성 방법의 일 실시예를 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 데이터 세트 생성 장치(1000)의 일 실시예를 도시한 블록도이다. 도 1을 참조하면, 데이터 세트 생성 장치(1000)는 사용자에 의해 수행된 무인 비행체의 시뮬레이션을 통해 무인 비행체의 제어 데이터를 획득하는 시뮬레이션부(100), 시뮬레이션부(100)에서 생성된 제어 데이터에 기초하여 무인 비행체의 데이터 세트를 생성하는 클라이언트부(200), 프로세서(300) 및 메모리(400)를 포함할 수 있다. 여기서, 데이터 세트는 실제 혹은 가상의 무인 비행체가 비행하는 비행 환경 정보, 무인 비행체를 비행(또는 주행)하여 얻은 다양한 센서 정보 및 무인이동체의 사양, 위치, 자세 정보와 같은 무인 비행체의 물리 정보 등이 포함된 데이터 덩어리를 의미할 수 있다.
데이터 세트 생성 장치(1000)에 포함된 구성은 하드웨어에 의해 구현될 수 있다. 그리고 하드웨어는 메모리를 포함할 수 있고, 데이터 세트 생성 장치(1000)에 포함된 논리적 구성은 메모리(400)에 기록된 하나 이상의 명령들로 구현될 수 있다. 또한 데이터 세트 생성 장치(1000)의 메모리(400)에 기록된 하나 이상의 명령들은 데이터 세트 생성 장치(1000)의 프로세서(300)에 의해 실행될 수 있다. 데이터 생성 장치(1000)에 포함된 구성 요소들은 상호 연결되어 데이터를 주고 받을 수 있다. 데이터 생성 장치(1000)에 포함된 각 구성들은 프로세서(300)를 중심으로 연결될 수 있다. 예를 들어, 시뮬레이션부(100)와 클라이언트부(200)는 프로세서(300)를 중심으로 상호 연결될 수 있고, 프로세서(300)에 의해 실행되는 명령을 통해 동작을 수행할 수 있다. 이하에서는 도 2 및 도 3을 참조하여 시뮬레이션부(100)를 상세히 설명하고, 도 4 내지 도 8을 참조하여 클라이언트부(200)를 상세히 설명한다.
도 2는 시뮬레이션부(100)의 일 실시예를 도시한 블록도이다. 도 2를 참조하면, 시뮬레이션부(100)는 시뮬레이션 생성부(110) 및 시뮬레이션 제어부(120)를 포함할 수 있다.
시뮬레이션 생성부(110)는 무인 비행체가 비행 동작을 수행하기 위한 가상의 시뮬레이션 모델을 생성할 수 있다. 구체적으로 시뮬레이션 생성부(110)는, 무인 비행체의 정보 및 무인 비행체의 환경 정보를 반영하여 시뮬레이션 모델을 생성할 수 있다. 예를 들어, 무인 비행체의 정보는 무인 비행체의 사양 정보, 무인 비행체에 포함되는 센서들의 종류 및 개수 정보일 수 있고, 무인 비행체의 비행 환경 정보는 무인 비행체 주변의 장애물(obstacle) 정보가 포함된 맵(map) 정보일 수 있다.
시뮬레이션 생성부(110)를 통해 생성되는 시뮬레이션 모델은 영상 또는 이미지의 형태로 생성될 수 있다.
시뮬레이션 생성부(110)는 이동체 결정부(12) 및 센서 설정부(14)를 포함할 수 있다. 이동체 결정부(12)는 맵에 존재하는 객체들 중 이동하는 객체로 결정되는 객체들의 정보를 저장할 수 있다. 센서 설정부(14)는 시뮬레이션 모델 생성시 사용되는 센서에 관한 정보를 저장할 수 있다. 시뮬레이션 생성부(110)는 이동체 결정부(12)에 저장된 정보 및 센서 설정부(14)에 저장된 정보에 기초하여 시뮬레이션 모델을 생성할 수 있다. 이 때, 생성된 시뮬레이션 모델에서 이동체 결정부(12)에 의해 이동하는 객체로 결정된 객체들은 해당 시뮬레이션 모델에서 표시되거나 제외되도록 설정될 수 있다.
시뮬레이션 제어부(120)는 사용자로부터 시뮬레이션상에서 수행된 무인 비행체에 대한 제어 명령을 수신하고, 제어 명령에 기초하여 제어 데이터를 생성할 수 있다. 제어 데이터는 사용자가 API를 통한 명령, 조종기를 통한 명령 등을 통해 무인 비행체를 조종하여 획득되는 무인 비행체의 비행 데이터일 수 있다. 무인 비행체의 비행 데이터는 무인 비행체의 물리 정보 및 센서 정보를 포함할 수 있다. 한편, 시뮬레이션부(100)는 에어심(AirSim)을 기반으로 할 수 있으나, 이에 제한되는 것은 아니고, 특정 조건에서 무인 비행체의 비행을 시뮬레이션 할 수 있는 시뮬레이터라면 어느 것을 기반으로 하여도 무방하다.
도 4는 클라이언트부(200)의 일 실시예를 도시한 블록도이고, 도 5는 클라이언트부(200)에 포함되는 데이터 세트 생성부(220)의 일 실시예를 도시한 블록도이다. 도 4를 참조하면, 클라이언트부(200)는 데이터 저장부(210), 데이터 세트 생성부(220) 및 3D 모델 생성부(230)를 포함할 수 있다. 그리고 도 5를 참조하면, 데이터 세트 생성부(220)는 시뮬레이션 재실행부(22) 및 센서 데이터 추출부(24)를 포함할 수 있다.
데이터 저장부(210)에는 시뮬레이션부(100)에 의해 생성된 시뮬레이션 모델및 시뮬레이션 모델을 통해 획득되는 일련의 정보가 저장될 수 있다. 일 실시예로서, 데이터 저장부(210)에는 시뮬레이션 모델에 관한 정보, 시뮬레이션 제어부(120)를 통해 생성된 무인 비행체의 비행 데이터, 무인 비행체의 비행 데이터에 기초하여 획득되는 이동하는 객체가 존재할 때의 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 저장될 수 있다. 또한 데이터 저장부(210)에는 무인 비행체의 비행 데이터에 기초하여 획득되는 이동하는 객체가 존재하지 않을 때의 무인 비행체의 제2 물리 정보 및 제2 센서 정보가 저장될 수 있다. 여기서, 제1 물리 정보와 제2 물리 정보, 그리고 제1 센서 정보와 제2 센서 정보는 서로 상이할 수 있다.
제1 물리 정보는 이동하는 객체가 존재하는 환경에서 비행하는 무인 비행체의 위치 정보 및 자세 정보를 포함할 수 있다. 또한 제2 물리 정보는 이동하는 객체가 존재하지 않는 환경에서 비행하는 무인 비행체의 위치 정보 및 자세 정보를 포함할 수 있다.
제1 센서 정보 및 제2 센서 정보는 센서 정보의 종류(예를 들어, 관성 측정 장치(Inertial Measurement Unit, IMU), GPS(Global Positioning System) 센서, 기압계(Barometer), 카메라, 스테레오 카메라, 라이다(Lidar) 등) 및 각 센서 정보에 따른 특성(예를 들어, 센서 노이즈, 데이터 획득 주기 등)을 고려하여, 다양한 형태로 저장될 수 있다. 예를 들어, 조건에 따라, 제1 센서 정보 및 제2 센서 정보에는 관성 측정 장치(IMU) 및 GPS 센서만을 고려한 센서 정보만이 저장될 수 있다.
데이터 세트 생성부(220)는 데이터 저장부(210)에 저장된 데이터에 기초하여 무인 비행체의 비행 환경 정보, 물리 정보, 센서 정보가 포함된 데이터 세트를 생성할 수 있다. 이 때, 데이터 세트 생성부(220)는 시뮬레이션 재실행부(22)와 센서 데이터 추출부(240)를 통해 센서 정보를 추출할 수 있다.
구체적으로, 데이터 세트 생성부(220)는 제1 물리 정보 및 제1 센서 정보에 기초하여 제1 데이터 세트를 생성할 수 있다. 도 6은 데이터 세트 생성부(220)가 제1 데이터 세트를 생성하는 과정을 도시한 개념도이다. 도 6을 참조하면, 데이터 세트 생성부(220)는 데이터 저장부(210)에 저장된 제1 물리 정보 및 제1 센서 정보 에 기초하여 제1 데이터 세트를 생성할 수 있다.
또한 데이터 세트 생성부(220)는 제2 물리 정보 및 제2 센서 정보에 기초하여 제2 데이터 세트를 생성할 수 있다. 도 7은 데이터 세트 생성부(220)가 제2 데이터 세트를 생성하는 과정을 도시한 개념도이다. 도 7을 참조하면, 데이터 세트 생성부(220)는 데이터 저장부(210)에 저장된 제2 물리 정보 및 제2 센서 정보에 기초하여 제2 데이터 세트를 생성할 수 있다.
데이터 세트 생성부(220)가 센서 정보(제1 센서 정보 또는 제2 센서 정보)를 추출하는 과정을 상세히 설명한다. 데이터 세트 생성부(220)는 시뮬레이션 재실행부(22)와 센서 데이터 추출부(240)를 통해 센서 정보를 추출할 수 있다. 시뮬레이션 재실행부(22)는 데이터 저장부(210)에 저장된 시뮬레이션 모델을 느린 속도(예를 들어, 통상의 시뮬레이션 속도보다 약 20배 느린 속도)로 재실행할 수 있다. 이 때, 센서 데이터 추출부(24)는 복수의 센서들의 센싱 주기(또는 측정 주기)를 고려하여 시뮬레이션 모델을 정지시키고, 각 센서마다 센서 정보를 추출(또는 획득)할 수 있다. 센서 데이터 추출부(24)는 이와 같은 방식을 반복적으로 수행하여 센서 정보를 반복적으로 추출할 수 있다. 여기서, 복수의 센서들은 각각은 상이한 센싱 주기를 가질 수 있다.
데이터 세트 생성부(220)가 시뮬레이션 재실행부(22)와 센서 데이터 추출부(240)를 통해 센서 정보를 추출하는 과정을 더욱 상세히 설명한다. 복수의 센서들 각각은, 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 센서 정보를 획득할 수 있다. 따라서 각 센서들의 센싱 주기를 일치시킬 수 있다. 예를 들어, 복수의 센서들 각각은 상이한 센싱 주기 값을 가지는 타이머를 구비할 수 있고, 복수의 센서들 각각은, 상기 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 센서 정보를 획득할 수 있다. 즉, 복수의 센서들 각각은 복수의 센서들 중 어느 하나의 센서가 가지는 타이머 값이 0이 되는 경우(즉, 센싱 주기가 만료되는 경우), 센서 정보를 획득할 수 있다. 그리고 시뮬레이션은 정지될 수 있다. 이 때, 각 센서는 타이머에서 상기 센싱 주기 값만큼을 차감할 수 있고, 복수의 센서들 중 타이머 값이 0이 된 센서는 센서 정보를 획득할 수 있다. 센서 정보를 획득한 센서의 타이머는 초기화(또는 리셋)될 수 있다. 센서 정보를 획득하지 못한 센서는 자신의 타이머에서 상기 센싱 주기 값만큼을 차감하고 계속하여 타이머를 구동할 수 있다. 이와 같은 방식을 반복적으로 수행하는 경우, 타이머가 0이 된 센서들이 센서 정보를 획득할 수 있고, 센싱 주기가 동기화 되지 않은 센서들도 자신의 센싱 주기에 맞게 센서 정보를 추출할 수 있다. 센서 정보는 기구학(kinematics) 연산을 통해서 생성되어, 데이터 세트에 저장될 수 있다. 즉, 데이터 세트 생성부(220)는 시뮬레이션을 느리게 재실행한 후, 사용자가 무인 비행체를 제어하여 획득한 제어 데이터를 다시 실행하고, 정확한 주기에 맞춰 시뮬레이션을 일시 정지, 재생을 반복함으로써 이동하는 물체가 존재하는 것을 고려한 제1 데이터 세트 및 이동하는 물체가 존재하지 않는 것을 고려한 제2 데이터 세트를 동시에 생성할 수 있다. 이러한 제1 데이터 세트 및 제2 데이터 세트는 로봇 운영체제(Robot Operating System, ROS)에서 실행될 수 있는 형태로 생성될 수 있다.
다시 도 4를 참조하면, 데이터 세트 생성부(220)는 상술한 제1 데이터 세트 및 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성할 수 있다. 도 8은 데이터 세트 생성부(220)가 제3 데이터 세트를 생성하는 과정을 도시한 개념도이다. 도 8을 참조하면, 데이터 세트 생성부(220)는 이동하는 객체가 존재하는 것을 고려하여 생성된 제1 데이터 세트와 이동하는 객체가 존재하지 않는 것을 고려하여 생성된 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성할 수 있다. 생성된 제3 데이터 세트는 이동하는 객체가 존재하거나 존재하지 않는 환경을 모두 고려하여 생성된 데이터 세트이기 때문에, 사용자가 이동하는 물체의 존재 여부에 따른 모델의 강인성을 용이하게 확인할 수 있다. 다시 도 4를 참조하면, 3D 모델 생성부(230)는 제1 데이터 세트 및 제2 데이터 세트를 생성할 때 사용된 시뮬레이터 정보에 기초하여 3D 모델(3D Model)을 생성할 수 있다.
도 9는 무인 비행체의 데이터 세트 생성 장치에 의해 수행되는 무인 비행체의 데이터 세트 생성 방법의 일 실시예를 도시한 흐름도이다. 도 9를 참조하면, 데이터 세트 생성 장치에 의해 수행되는 데이터 세트 생성 방법은, 이동하는 객체가 포함된 비행 환경 정보를 획득하는 단계(S910), 상기 비행 환경 정보를 반영한 비행 환경에서 무인 비행체를 제어(또는 조종)하여 비행 데이터를 획득하는 단계(S920), 비행 데이터를 기초로 이동하는 객체가 존재하는 환경에서 무인 비행체의 제1 물리 정보 및 제1 센서 정보를 획득하고, 제1 물리 정보 및 제1 센서 정보에 기초하여 제1 데이터 세트를 생성하고, 비행 데이터를 기초로 이동하는 객체가 존재하지 않는 환경에서 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 제2 물리 정보 및 제2 센서 정보에 기초하여 제2 데이터 세트를 생성하는 단계(S930) 그리고 제1 데이터 세트 및 상기 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성하는 단계(S940)를 포함할 수 있다. S910 단계 내지 S930 단계는 시뮬레이션부(100)와 클라이언트부(200)의 상호 작용을 통해 수행될 수 있다. 그리고 S940 단계는 클라이언트부(200)에 의해 수행될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (14)
- 데이터 세트 생성 장치에 의해 수행되는 무인 비행체의 데이터 세트 생성 방법에 있어서,
이동하는 객체가 포함된 비행 환경 정보를 획득하는 단계;
상기 비행 환경 정보에 기초한 비행 환경에서 상기 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 포함된 비행 데이터를 획득하는 단계;
상기 비행 데이터에 기초하여, 상기 이동하는 객체가 존재할 때의 상기 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제1 데이터 세트를 생성하는 단계;
상기 비행 데이터에 기초하여, 상기 이동하는 객체가 존재하지 않을 때의 상기 무인 비행체의 제3 물리 정보 및 제3 센서 정보를 획득하고, 상기 제3 물리 정보 및 상기 제3 센서 정보에 기초하여 제2 데이터 세트를 생성하는 단계; 및
상기 제1 데이터 세트 및 상기 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성하는 단계를 포함하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 1에 있어서,
상기 물리 정보는,
상기 무인 비행체의 위치 정보 및 자세 정보를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 1에 있어서,
상기 제1 데이터 세트를 생성하는 단계는,
상기 제1 물리 정보 및 상기 제1 센서 정보에 기초하여 제1 시뮬레이션 데이터를 생성하는 단계; 및
상기 제1 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제1 센서 정보를 획득하는 단계를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 3에 있어서,
상기 소정의 주기마다 획득되는 제1 센서 정보는 복수의 센서들을 통해 획득되고, 상기 복수의 센서들 각각은 상이한 센싱 주기를 갖는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 4에 있어서,
상기 복수의 센서들 각각은, 상기 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 상기 제1 센서 정보를 획득하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 4에 있어서,
상기 복수의 센서들은,
카메라(camera), 라이다(Lidar) 및 관성 측정 장치(Inertial Measurement Unit, IMU) 중 적어도 하나 이상의 센서를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 1에 있어서,
상기 제2 데이터 세트를 생성하는 단계는,
상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제2 시뮬레이션 데이터를 생성하는 단계; 및
상기 제2 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제2 센서 정보를 획득하는 단계를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 1에 있어서,
상기 제3 데이터 세트는 상기 이동하는 객체가 포함된 비행 환경 정보 및 상기 이동하는 객체가 제외된 비행 환경 정보를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 청구항 1에 있어서,
상기 제1 데이터 세트, 제2 데이터 세트 및 제3 데이터 세트는 로봇 운영체제(Robot Operating System, ROS)에서 실행될 수 있는 형태로 생성되는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 방법. - 무인 비행체의 데이터 세트 생성 장치에 있어서,
프로세서(processor); 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고
상기 적어도 하나의 명령은,
이동하는 객체가 포함된 비행 환경 정보를 획득하고,
상기 비행 환경 정보에서 상기 무인 비행체의 제1 물리 정보 및 제1 센서 정보가 포함된 비행 데이터를 획득하고,
상기 비행 데이터에 기초하여 상기 이동하는 객체가 존재할 때의 상기 무인 비행체의 제2 물리 정보 및 제2 센서 정보를 획득하고, 상기 제2 물리 정보 및 상기 제2 센서 정보에 기초하여 제1 데이터 세트를 생성하고,
상기 비행 데이터에 기초하여 상기 이동하는 객체가 존재하지 않을 때의 상기 무인 비행체의 제3 물리 정보 및 제3 센서 정보를 획득하고, 상기 제3 물리 정보 및 상기 제3 센서 정보에 기초하여 제2 데이터 세트를 생성하고, 그리고
상기 제1 데이터 세트 및 상기 제2 데이터 세트를 합성하여 제3 데이터 세트를 생성하도록 실행되는, 무인 비행체의 데이터 세트 생성 장치. - 청구항 10에 있어서,
상기 물리 정보는,
상기 무인 비행체의 위치 정보, 속도 정보, 가속도 정보 및 상기 무인 비행체의 자세 정보를 포함하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 장치. - 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 제1 데이터 세트를 생성하도록 실행됨에 있어서,
상기 제1 물리 정보 및 상기 제1 센서 정보에 기초하여 제1 시뮬레이션 데이터를 생성하고, 그리고
상기 제1 시뮬레이션 데이터에 의해 실행되는 시뮬레이션 결과상에서 소정의 주기마다 상기 제1 센서 정보를 획득하도록 더 실행되는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 장치. - 청구항 12에 있어서,
상기 적어도 하나의 명령은,
상기 소정의 주기마다 상기 제1 센서 정보를 획득하도록 실행됨에 있어서,
복수의 센서들을 통해 상기 제1 센서 정보를 획득하고, 상기 복수의 센서들 각각은 상이한 센싱 주기를 갖도록 더 실행되는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 장치. - 청구항 13에 있어서,
상기 복수의 센서들 각각은, 상기 복수의 센서들 중 가장 먼저 센싱 주기가 만료된 센서의 센싱 주기에 기초하여 상기 제1 센서 정보를 획득하는 것을 특징으로 하는, 무인 비행체의 데이터 세트 생성 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200001205A KR102583960B1 (ko) | 2020-01-06 | 2020-01-06 | 무인 비행체의 데이터 세트 생성 방법 및 장치 |
| US17/123,945 US11978347B2 (en) | 2020-01-06 | 2020-12-16 | Method and apparatus for generating data set of unmanned aerial vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200001205A KR102583960B1 (ko) | 2020-01-06 | 2020-01-06 | 무인 비행체의 데이터 세트 생성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210088102A true KR20210088102A (ko) | 2021-07-14 |
| KR102583960B1 KR102583960B1 (ko) | 2023-09-27 |
Family
ID=76654389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200001205A KR102583960B1 (ko) | 2020-01-06 | 2020-01-06 | 무인 비행체의 데이터 세트 생성 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11978347B2 (ko) |
| KR (1) | KR102583960B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6212788B2 (ko) * | 1979-09-18 | 1987-03-20 | Nattermann A & Cie | |
| KR20170010815A (ko) * | 2014-08-25 | 2017-02-01 | 엑스 디벨롭먼트 엘엘씨 | 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템 |
| KR20170029128A (ko) * | 2015-09-07 | 2017-03-15 | 한국항공대학교산학협력단 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
| KR20190108831A (ko) * | 2018-03-15 | 2019-09-25 | (주)니어스랩 | 무인 비행장치 및 그의 제어방법 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100756345B1 (ko) | 2006-12-04 | 2007-09-10 | (주)시뮬레이션연구소 | 네트워크를 이용한 로봇 시뮬레이션 시스템 |
| KR102355118B1 (ko) | 2014-01-06 | 2022-01-26 | 삼성전자주식회사 | 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법 |
| EP3428766B1 (en) * | 2014-09-05 | 2021-04-07 | SZ DJI Technology Co., Ltd. | Multi-sensor environmental mapping |
| CN106716272B (zh) * | 2014-09-30 | 2021-03-09 | 深圳市大疆创新科技有限公司 | 用于飞行模拟的系统和方法 |
| EP3357040A4 (en) * | 2015-09-30 | 2019-06-26 | Alarm.com Incorporated | SYSTEMS FOR DRILL DETECTION |
| US10657364B2 (en) | 2016-09-23 | 2020-05-19 | Samsung Electronics Co., Ltd | System and method for deep network fusion for fast and robust object detection |
| US10705525B2 (en) * | 2017-04-07 | 2020-07-07 | Nvidia Corporation | Performing autonomous path navigation using deep neural networks |
| JP6884064B2 (ja) | 2017-07-26 | 2021-06-09 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| CN109426782B (zh) | 2017-08-29 | 2023-09-19 | 北京三星通信技术研究有限公司 | 对象检测方法和用于对象检测的神经网络系统 |
| US10834766B2 (en) | 2018-01-18 | 2020-11-10 | Electronics And Telecommunications Research Institute | Unmanned vehicle controlling system and method of operating same |
| KR102208580B1 (ko) | 2018-02-09 | 2021-01-28 | 한국전자통신연구원 | 무인 이동체, 무인 이동체들 사이의 시간 동기화 지원 장치 및 그 방법 |
| US20190339081A1 (en) * | 2018-05-03 | 2019-11-07 | Orby, Inc. | Unmanned aerial vehicle with enclosed propulsion system for 3-d data gathering and processing |
| US11551414B2 (en) * | 2019-12-02 | 2023-01-10 | Woven Planet North America, Inc. | Simulation architecture for on-vehicle testing and validation |
-
2020
- 2020-01-06 KR KR1020200001205A patent/KR102583960B1/ko active IP Right Grant
- 2020-12-16 US US17/123,945 patent/US11978347B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6212788B2 (ko) * | 1979-09-18 | 1987-03-20 | Nattermann A & Cie | |
| KR20170010815A (ko) * | 2014-08-25 | 2017-02-01 | 엑스 디벨롭먼트 엘엘씨 | 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템 |
| KR20170029128A (ko) * | 2015-09-07 | 2017-03-15 | 한국항공대학교산학협력단 | L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법 |
| KR20190108831A (ko) * | 2018-03-15 | 2019-09-25 | (주)니어스랩 | 무인 비행장치 및 그의 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210209950A1 (en) | 2021-07-08 |
| US11978347B2 (en) | 2024-05-07 |
| KR102583960B1 (ko) | 2023-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10732647B2 (en) | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (MAV) | |
| Piao et al. | Real-time visual–inertial SLAM based on adaptive keyframe selection for mobile AR applications | |
| Shen et al. | Initialization-free monocular visual-inertial state estimation with application to autonomous MAVs | |
| US20160314224A1 (en) | Autonomous vehicle simulation system | |
| Sayre-McCord et al. | Visual-inertial navigation algorithm development using photorealistic camera simulation in the loop | |
| KR20150114141A (ko) | 모션 추정 시스템 및 방법 | |
| Sazdovski et al. | Implicit observation model for vision aided inertial navigation of aerial vehicles using single camera vector observations | |
| Rilanto Trilaksono et al. | Hardware‐in‐the‐loop simulation for visual target tracking of octorotor UAV | |
| Fink et al. | Visual inertial SLAM: Application to unmanned aerial vehicles | |
| Morales et al. | Image generation for efficient neural network training in autonomous drone racing | |
| Bnhamdoon et al. | Identification of a quadcopter autopilot system via Box–Jenkins structure | |
| Magree et al. | Factored extended Kalman filter for monocular vision-aided inertial navigation | |
| De Nardi | The qrsim quadrotors simulator | |
| Irmisch et al. | Simulation framework for a visual-inertial navigation system | |
| KR102583960B1 (ko) | 무인 비행체의 데이터 세트 생성 방법 및 장치 | |
| Cocoma-Ortega et al. | Overcoming the blind spot in CNN-based gate detection for autonomous drone racing | |
| Singh et al. | Simulating gps-denied autonomous uav navigation for detection of surface water bodies | |
| Silvestri et al. | Design of an indoor autonomous robot navigation system for unknown environments | |
| Pogorzelski et al. | Vision Based Navigation Securing the UAV Mission Reliability | |
| Mossel et al. | SmartCopter: Enabling autonomous flight in indoor environments with a smartphone as on-board processing unit | |
| Gui et al. | Robust direct visual inertial odometry via entropy-based relative pose estimation | |
| Pebrianti et al. | Exploring Micro Aerial Vehicle Mechanism and Controller Design Using Webots Simulation | |
| Asadi et al. | Delayed fusion of relative state measurements by extending stochastic cloning via direct Kalman filtering | |
| Alix et al. | Error characterization of flight trajectories reconstructed using Structure from Motion | |
| Swart | Monocular vision assisted autonomous landing of a helicopter on a moving deck |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |