KR20180117879A - 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법 - Google Patents

그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR20180117879A
KR20180117879A KR1020170050976A KR20170050976A KR20180117879A KR 20180117879 A KR20180117879 A KR 20180117879A KR 1020170050976 A KR1020170050976 A KR 1020170050976A KR 20170050976 A KR20170050976 A KR 20170050976A KR 20180117879 A KR20180117879 A KR 20180117879A
Authority
KR
South Korea
Prior art keywords
human body
graph structure
data
graph
estimating
Prior art date
Application number
KR1020170050976A
Other languages
English (en)
Other versions
KR101956447B1 (ko
Inventor
명현
오택준
정성욱
송승원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170050976A priority Critical patent/KR101956447B1/ko
Publication of KR20180117879A publication Critical patent/KR20180117879A/ko
Application granted granted Critical
Publication of KR101956447B1 publication Critical patent/KR101956447B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M1/00—Testing static or dynamic balance of machines or structures
    • G01M1/14—Determining imbalance
    • G01S17/023—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 다중 센서 및 그래프 구조를 이용하여 무인체의 위치를 추정하는 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법에 관한 것으로서, 대형 구조물 하부에서도 무인체의 위치를 추정할 수 있다.

Description

그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법{METHOD AND APPARATUS FOR POSITION ESTIMATION OF UNMANNED VEHICLE BASED ON GRAPH STRUCTURE}
본 발명은 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 다중 센서 및 그래프 구조를 이용하여 무인체의 위치를 추정하는 기술에 관한 것이다.
국민의 삶의 질 향상 및 복지사회 구현의 가장 근본적인 전제 조건은 안전사회 구축이며, 이는 안전한 사회기반시설(안전인프라) 확보로부터 시작된다.
하지만, 연이은 구조물 사고 발생으로 국민들의 부정적 시각과 불신이 팽배한 상황이며, 더욱이 사회기반시설물의 노후화로 인해 사회적 불안감이 높아지고 있다.
교량과 같은 대형 구조물의 사고 예방을 위하여 전문기업을 통한 안전진단이 수행되고 있지만, 관리주체의 투자 및 관리 감독 부족, 관련분야 기술자의 전문성 미흡 및 열악한 업무환경과, 저가수주에 따른 품질 저하, 접근의 비용이성으로 인한 외관조사의 어려움, 및 검사자의 주관적인 판단 개입에 의한 신뢰도 확보 어려움 등 다양하고 많은 문제점이 존재하였다.
이러한 문제점을 해결하기 위해, 구조물에 여러 종류의 계측기를 설치하여 감시하는 구조물 건전도 모니터링 시스템에 대한 연구가 활발히 진행되고 있다. 다만, 기존의 구조물 건전도 모니터링 시스템은 주로 육안점검 및 비파괴 검사로 수행되며, 광범위한 면적에 대한 적용 기술이 미흡하며 점검 대상 시설물의 위치 및 조건에 따른 점검 수행의 한계가 존재하였다.
최근에는 이러한 한계를 극복하기 위한 방안으로 무인체를 활용하는 방법이 연구되고 있다.
현재까지 국내 무인기 기술은 정찰, 감시, 폭격 등의 임무를 수행하기 위한 군사목적으로 발전해 왔다.
상기 국내 무인기 기술은 다양한 민수 분야에 적용이 가능할 것으로 전망된다. 민수용 무인기 시장은 주로 공공분야 수요를 중심으로 발전될 것으로 전망되며, 활용도 여하에 따라 영상, 농업, 환경감시 등 다양한 분야로 확대될 것으로 전망되고 있다.
국내 무인기 기술을 기반으로 하는 무인체를 활용한 구조물 진단은 검사자가 직접 접근하기 어려운 부분에 대해서도 효과적으로 점검을 수행할 수 있다. 다만, 무인체를 이용한 구조물 검사 및 모니터링과 같은 분야는 초기 기술 단계이며, 구조물 검사, 모니터링에 적합한 무인체 및 관련기술에 대한 개발이 필요한 상황이다.
현재 국내 무인체 기술 수준은 우수하지만 핵심부품을 수입에 의존하기 때문에 경쟁력이 떨어진다.
또한, 기존의 무인체를 이용한 구조물 모니터링 기술은 무인체가 대형 구조물 하부에서 진단 임무를 수행할 경우 GPS 음영지역이 발생하며, 위치 추정이 불가능하다는 한계가 존재하였다.
이에 본 명세서에서는 대형 구조물 하부에서도 위치를 추정할 수 있는 기술을 제안한다.
한국등록특허 제10­1472392호(2014.12.08 등록), "정밀위치추적기능이 구비된 무인기시스템 및 그 제어방법" 한국공개특허 제10­2017­0004556호(2017.01.11 공개), "실내 환경에서 이동 로봇의 리로케이션 방법 및 장치"
본 발명의 실시예들의 목적은 대형 구조물 하부에서도 무인체의 위치를 추정할 수 있는 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명의 실시예들의 목적은 다중 센서를 이용하여 GPS 음영 지역에서의 무인체의 위치를 보다 정확하게 추정할 수 있는 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명의 실시예들의 목적은 무인체의 위치를 추정하여 무인체의 자율운행 성능을 향상시킬 수 있는 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법을 제공하고자 한다.
본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 단계, 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에서의 노드(node), 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 단계 및 상기 그래프 구조를 기반으로 무인체의 위치를 추정하는 단계를 포함한다.
상기 데이터를 측정하는 단계는 상기 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 상기 무인체에 장착된 GPS(Global Positioning System)로부터의 위치 데이터를 측정하는 단계일 수 있다.
상기 데이터를 측정하는 단계는 카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정하는 단계일 수 있다.
상기 그래프 구조를 구축하는 단계는 IMU, GPS, 카메라 및 3D 라이더를 포함하는 상기 다중 센서로부터 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 노드, 및 상기 노드의 연결을 나타내는 상기 구속 조건을 획득할 수 있다.
상기 그래프 구조를 구축하는 단계는 상기 무인체의 이동 경로에 따른 상기 노드, 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축할 수 있다.
상기 무인체의 위치를 추정하는 단계는 상기 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 상기 무인체의 위치를 추정할 수 있다.
본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치는 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 측정부, 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에서의 노드(node) 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 그래프 구조 구축부 및 상기 그래프 구조를 기반으로 무인체의 위치를 추정하는 위치 추정부를 포함한다.
상기 측정부는 상기 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 상기 무인체에 장착된 GPS(Global Positioning System)으로부터의 위치 데이터를 측정할 수 있다.
상기 측정부는 카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정할 수 있다.
상기 그래프 구조 구축부는 IMU, GPS, 카메라 및 3D 라이더를 포함하는 상기 다중 센서로부터 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 노드, 및 상기 노드의 연결을 나타내는 상기 구속 조건을 획득할 수 있다.
상기 그래프 구조 구축부는 상기 무인체의 이동 경로에 따른 상기 노드, 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축할 수 있다.
상기 위치 추정부는 상기 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 상기 무인체의 위치를 추정할 수 있다.
본 발명의 실시예에 따르면, 대형 구조물 하부에서도 무인체의 위치를 추정할 수 있다.
또한, 본 발명의 실시예에 따르면, 다중 센서를 이용하여 GPS 음영 지역에서의 무인체의 위치를 보다 정확하게 추정할 수 있다.
또한, 본 발명의 실시예에 따르면, 무인체의 위치를 추정하여 무인체의 자율운행 성능을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 대형 구조물 진단을 위한 무인체의 이동 경로의 예를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법의 흐름도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 그래프 구조를 이용한 위치 추정 알고리즘의 예를 도시한 것이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 그래프 구조의 예를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법을 이용하여 무인체의 위치를 추정한 결과를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치의 구성을 설명하기 위해 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 대형 구조물 진단을 위한 무인체의 이동 경로의 예를 도시한 것이다.
도 1을 참조하면, 무인체(10)는 대형 구조물 또는 콘크리트 구조물 각각에 부착된 센서의 위치를 따라 이동하며 구조물을 모니터링 및 진단할 수 있다.
종래의 기술은 무인체가 대형 구조물 또는 콘크리트 구조물 하부에서 진단 임무를 수행하는 경우, GPS 음영지역에서의 무인체의 위치를 추정하지 못한다는 한계가 존재하였다.
이에 따른 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법은 대형 구조물 또는 콘크리트 구조물 하부인 GPS 음영지역에서의 무인체의 이동을 보다 정확하게 추정할 수 있다.
상기 대형 구조물 또는 콘크리트 구조물은 장대교량 주탑, 고층건물, 건축물, 건물 또는 댐 등의 하단부를 일컫을 수 있으나, 대형 구조물 또는 콘크리트 구조물의 구조, 형태 및 위치는 이에 한정되지 않으며, GPS를 통해 무인체의 위치가 감지되지 않거나 취약한 지역이면 가능하다.
이하, 위에서 상술한 대형 구조물 또는 콘크리트 구조물 하부의 GPS 음영지역에서, 무인체의 위치를 추정하는 방법을 기재하기로 한다.
도 2는 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법의 흐름도를 도시한 것이다.
도 2를 참조하면, 단계 210에서 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정한다.
예를 들면, 다중 센서는 IMU, GPS, 카메라(camera) 및 3D 라이더(LiDAR) 중 적어도 어느 하나 이상을 포함할 수 있으며, 단계 210은 다중 센서를 이용하여 무인체의 움직임에 따른 이동 경로의 데이터를 측정하는 단계일 수 있다.
보다 구체적으로, 단계 210은 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 무인체에 장착된 GPS(Global Positioning System)로부터의 위치 데이터를 측정하는 단계일 수 있다.
또한, 단계 210은 카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정하는 단계일 수 있다.
여기서, IMU(Inertial Measurement Unit)는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용한다. 예를 들면, IMU는 무인체의 회전각으로서 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 중분치 등의 자세 관련 센서 데이터를 생성하고, 가속도 센서를 이용하여 무인체 속도 중분치 등의 가속도 관련 센서 데이터를 생성할 수 있다.
다만, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 이에 한정되지 않으며 다양한 관성 측정 수단을 이용하여 속도 데이터, 초기 위치 데이터 및 자세 데이터를 획득할 수 있다.
또한, GPS(Global Position System)는 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도, 경도 및 타원체고 등)를 획득할 수 있다.
또한, 카메라는 CMOS, CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 영상을 촬영하여 영상 데이터 및 무인체의 오도메트리 데이터(Visual odometry)를 획득할 수 있다.
실시예에 따라서, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 Point Grey Flea3의 RGB 카메라를 이용할 수 있으나, 카메라의 종류는 한정되지 않으며 다양한 영상 촬영 카메라가 이용될 수 있다.
또한, 3D LiDAR(Light Detection And Ranging)은 레이저 펄스를 반사체(무인체)에 조사하고, 반사체로부터 반사되어 돌아오는 시간을 측정해서 반사체의 위치좌표를 측정하는 레이더 시스템일 수 있다. 공지된 바와 같이, 3D LiDAR는 반사강도로부터 측정 및 연산한 위치좌표를 측정 데이터로 저장하며, 측정 데이터는 3D 그래프 구조를 이미지화하기 위한 기초정보로 활용될 수 있다. 상기 3D LiDAR는 해당 기술분야에서 이미 널리 활용되고 있는 장치로서, 그 구조와 동작원리에 대해서는 설명을 생략한다.
실시예에 따라서, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 Velodyne VLP­16의 3D LiDAR를 이용할 수 있으나, 3D LiDAR의 종류는 이에 한정되지 않는다.
실시예에 따라서, 전술한 다중 센서의 종류는 한정되지 않으며, IMU, GPS, Camera 및 3D LiDAR의 다중 센서는 무인체 및 대형 구조물 각각의 내부 또는 외부에 위치할 수 있으며, 위치되는 센서의 종류 및 개수는 한정하지 않는다.
단계 220에서 측정된 데이터를 기반으로 무인체의 이동 경로에서의 노드(node), 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축한다.
예를 들면, 단계 220은 IMU, GPS, 카메라 및 3D 라이더를 포함하는 다중 센서로부터 측정된 데이터를 기반으로 무인체의 이동 경로에 따른 각 위치를 나타내는 노드, 및 노드의 연결을 나타내는 구속 조건을 획득할 수 있다.
이에 따라서, 단계 220은 무인체의 이동 경로에 따른 노드, 및 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 그래프 구조를 구축하는 단계일 수 있다.
상기 SLAM은 다중 센서로부터 무인체 및 무인체의 주변 환경 정보를 검출하고 측정된 데이터를 가공하여 무인체의 이동 및 위치에 대응되는 맵을 작성함과 동시에 무인체의 절대 위치를 추정하는 방법을 일컫는다.
본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 단계 220에서, 무인체의 실시간 위치 및 최종 위치를 인식하는 구성 수단으로, 다중 센서에 의해 획득된 측정 데이터에 기초한 SLAM 과정을 통해 무인체의 이동 경로 또는 이동 궤적에 따른 그래프 구조를 구축할 수 있다.
실시예에 따라서, 단계 220은 다중 센서로부터 측정된 데이터에 기초하여 지정된 시간에서의 무인체의 위치를 나타내는 노드(node) 및 각 노드 간의 구속 조건(constraint)으로부터 무인체의 위치 추정 값을 실시간 업데이트할 수 있고, 무인체의 거리 측정 값을 획득할 수 있다.
본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 다중 센서를 이용함으로써, SLAM을 수행하는 과정에서 어느 하나의 센서가 페일(fail)되는 경우, 나머지 센서를 이용하여 SLAM 과정을 수행할 수 있기 때문에 SLAM에 대한 성능을 향상시킬 수 있다.
단계 230에서 그래프 구조를 기반으로 무인체의 위치를 추정한다.
단계 230은 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 무인체의 위치를 추정하는 단계일 수 있다.
예를 들면, 단계 230에서 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 노드 및 구속 조건으로 형성된 그래프 구조에서 무인체의 이동 경로 및 시간에 따라 최종 위치를 추정할 수 있는 상기 그래프 최적화 기법을 이용하여 무인체의 위치를 추정할 수 있다.
다만, 구축된 그래프 구조에서 무인체의 실시간 위치, 이동 경로 및 최종 위치를 획득하는 기법은 전술한 그래프 최적화 기법 외에 다양하게 적용 가능하므로 이에 한정되는 것은 아니다.
도 3은 본 발명의 실시예에 따른 그래프 구조를 이용한 위치 추정 알고리즘의 예를 도시한 것이다.
도 3을 참조하면, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 IMU(310), GPS(320), Camera(330) 및 3D LiDAR(340)의 다중 센서를 이용하여 그래프 구조(360)를 구축하고, 구축된 그래프 구조(360)를 기반으로 무인체의 위치를 추정하는 알고리즘을 제공한다.
IMU(Inertial Measurement Unit, 310)는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용한다. 예를 들면, IMU(310)는 무인체의 회전각으로서 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 중분치 등의 자세 관련 센서 데이터와 무인체 속도 중분치 등의 가속도 관련 센서 데이터를 생성할 수 있다.
이에 따라서, IMU(310)는 무인체에 장착된 가속도 센서와 자이로 센서로부터의 센서 데이터를 기반으로 무인체의 속도 데이터 및 초기 위치 데이터(Initial pose, 311)를 측정할 수 있다.
GPS(Global Position System, 320)는 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도, 경도 및 타원체고 등)를 측정할 수 있다.
카메라(Camera, 330)는 CMOS, CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 영상을 촬영하여 무인체의 오도메트리 데이터(Visual odometry, 331)를 측정할 수 있으며, 오도메트리 데이터(331)는 무인체의 x축 좌표와 y축 좌표, 진행 방향의 각도를 포함하며, 추정된 변위를 포함할 수 있다.
3D LiDAR(Light Detection And Ranging, 340)은 레이저 펄스를 무인체에 조사하고, 무인체로부터 반사되어 돌아오는 시간을 측정하여 3D ICP(Iterative Closest Point fitting, 341) 알고리즘을 통해 무인체의 이동 데이터를 측정할 수 있다.
3D ICP(341) 알고리즘은 3D LiDAR(340)로 측정한 2D 또는 3D 포인트 데이터를 그래프 구조(360)에 매칭하기 위해 사용될 수 있다.
이후, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 IMU(310), GPS(320), Camera(330) 및 3D LiDAR(340)의 다중 센서로부터 측정된 데이터를 기반으로 무인체의 이동 경로에서의 노드(node) 및 구속 조건(350)으로부터 그래프 구조(360)를 구축할 수 있다.
실시예에 따라서, 무인체의 이동 경로에서의 노드(node)는 IMU(310)로부터 측정된 초기 위치(311)일 수 있다.
예를 들면, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 무인체의 이동 경로에 따른 초기 위치(311)인 노드(node)를 기준으로 IMU(310), GPS(320), 오도메트리 데이터(331) 및 3D ICP(341)를 이용하여 노드의 연결을 나타내는 구속 조건(350)을 구성할 수 있고, 노드(node) 및 구속 조건(350)으로부터 그래프 구조(360)를 구축할 수 있다.
이후, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 구축된 그래프 구조(360)를 기반으로 그래프 최적화 기법(370)을 적용하여 무인체의 위치를 추정(380)할 수 있다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 그래프 구조의 예를 도시한 것이다.
보다 구체적으로, 도 4a는 카메라에 의한 오도메트리 데이터를 포함하는 그래프 구조의 예를 도시한 것이고, 도 4b는 IMU 및 GPS에 의한 데이터를 포함하는 그래프 구조의 예를 도시한 것이며, 도 4c는 3D LiDAR에 의한 3D ICP의 데이터를 포함하는 그래프 구조의 예를 도시한 것이다.
또한, 도 4d는 도 4a 내지 도 4c를 통합한 그래프 구조의 예를 도시한 것이다.
본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 무인체의 이동 경로에 따른 노드(node, 위치)를 형성할 수 있다. 예를 들면, 초기 시간을 기준으로 xi 위치에서의 무인체의 노드(410)를 형성하고, 일정 시간 후 xi+1 위치에서의 무인체의 노드(420), xi+2 위치에서의 무인체의 노드(430), xi+3 위치에서의 무인체의 노드(440) 및 xi+4 위치에서의 무인체의 노드(450)를 형성할 수 있다.
이후, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 카메라로부터 측정되는 무인체의 오도메트리 데이터(visual odometry), GPS와 IMU로부터 측정되는 데이터, 3D LiDAR에 의해 측정되는 3D ICP의 데이터를 이용하여 무인체의 각 노드(410, 420, 430, 440, 450)를 연결하는 구속 조건을 형성할 수 있다.
도 4a를 참조하면, 카메라로부터 측정되는 무인체의 오도메트리 데이터(visual odometry)로 형성된 구속 조건(constraint)은 xi(410)과 xi+ 1(420)를 연결하는
Figure pat00001
, xi+1(420)과 xi+2(430)를 연결하는
Figure pat00002
, xi+2(430)과 xi+ 3(440)를 연결하는
Figure pat00003
, xi+3(440)과 xi+4(450)를 연결하는
Figure pat00004
이다.
또한 도 4b를 참조하면, GPS 및 IMU로부터 측정되는 데이터로 형성된 구속 조건(constraint)은 xi(410)과 xi+2(430)를 연결하는
Figure pat00005
, xi(410)과 xi+ 3(440)를 연결하는
Figure pat00006
, xi(410)과 xi+4(450)를 연결하는
Figure pat00007
이다.
또한 도 4c를 참조하면, 3D LiDAR에 의해 측정되는 3D ICP의 데이터로 형성된 구속 조건(constraint)은 xi+1(420)과 xi+ 3(440)를 연결하는
Figure pat00008
, xi+2(430)과 xi+4(450)를 연결하는
Figure pat00009
이다.
도 4d를 참조하면, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 IMU, GPS, Camera 및 3D LiDAR의 다중 센서를 이용하여 무인체의 이동 경로에 따른 각 노드(410, 420, 430, 440, 450)에 대한 구속 조건(constraint)을 형성하여 그래프 구조를 구축할 수 있다.
이에 따라서, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 구축된 그래프 구조를 기반으로 무인체의 위치를 추정할 수 있다.
실시예에 따라서, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 노드의 형성 이후 구속 조건을 형성하여 그래프 구조를 구축할 수 있고, 구속 조건을 기반으로 노드를 형성하는 그래프 구조를 구축할 수도 있다. 또한, 그래프 구조를 구축하기 위한 다중 센서의 측정 데이터는 기 설정된 시간에서 수신되는 데이터를 기반으로 한다.
도 5는 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법을 이용하여 무인체의 위치를 추정한 결과를 도시한 것이다.
보다 구체적으로, 도 5(a)는 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 X축에서 비교한 결과를 도시한 것이고, 도 5(b)는 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 Y축에서 비교한 결과를 도시한 것이며, 도 5(c)는 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 Z축에서 비교한 결과를 도시한 것이다.
도 5(a)를 참조하면, 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 X축에서 비교한 결과, 평균 오차(mean error/m)는 0.1706를 나타내며, 평균 제곱근 오차(Root Mean Square Error; RMSE)는 0.4161을 나타낸다.
또한 도 5(b)를 참조하면, 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 Y축에서 비교한 결과, 평균 오차(mean error/m)는 ­0.0997를 나타내며, 평균 제곱근 오차(Root Mean Square Error; RMSE)는 0.4625를 나타낸다.
또한 도 5(c)를 참조하면, 실제 무인체의 이동 경로와 본 발명의 실시예에 따른 방법을 이용하여 추정한 무인체의 위치를 Z축에서 비교한 결과, 평균 오차(mean error/m)는 0.3363를 나타내며, 평균 제곱근 오차(Root Mean Square Error; RMSE)는 0.6290를 나타낸다.
이에 따라서, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 방법은 다중 센서를 이용하여 구축한 그래프 구조를 이용함으로써, 안정적인 무인체의 위치를 추정하는 것을 확인할 수 있으며, 왜곡, 오차 및 오류가 현저하게 낮은 위치 추정 결과를 획득할 수 있다.
도 6은 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치의 구성을 설명하기 위해 도시한 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치(600)는 다중 센서로부터 무인체의 이동 경로에 따른 데이터를 측정하고, 측정된 데이터를 기반으로 한 노드 및 구속 조건으로부터 그래프 구조를 구축하여 무인체의 위치를 추정한다.
이를 위해, 본 발명의 실시예에 따른 그래프 구조 기반의 무인체 위치 추정 장치(600)는 측정부(610), 그래프 구조 구축부(620) 및 위치 추정부(630)를 포함한다.
측정부(610)는 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정한다.
예를 들면, 측정부(610)는 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 무인체에 장착된 GPS(Global Positioning System)으로부터의 위치 데이터를 측정할 수 있다.
또한, 측정부(610)는 카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정할 수 있다.
여기서, IMU(Inertial Measurement Unit)는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용한다. 예를 들면, IMU는 무인체의 회전각으로서 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 중분치 등의 자세 관련 센서 데이터를 생성하고, 가속도 센서를 이용하여 무인체 속도 중분치 등의 가속도 관련 센서 데이터를 생성할 수 있다.
또한, GPS(Global Position System)는 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도, 경도 및 타원체고 등)를 획득할 수 있다.
또한, 카메라는 CMOS, CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 영상을 촬영하여 무인체의 오도메트리 데이터(Visual odometry)를 획득할 수 있다.
또한, 3D LiDAR(Light Detection And Ranging)은 레이저 펄스를 반사체(무인체)에 조사하고, 반사체로부터 반사되어 돌아오는 시간을 측정해서 반사체의 위치좌표를 측정하는 레이더 시스템일 수 있다. 공지된 바와 같이, 3D LiDAR는 반사강도로부터 측정 및 연산한 위치좌표를 측정 데이터로 저장하며, 측정 데이터는 3D 그래프 구조를 이미지화하기 위한 기초정보로 활용될 수 있다. 상기 3D LiDAR는 해당 기술분야에서 이미 널리 활용되고 있는 장치로서, 그 구조와 동작원리에 대해서는 설명을 생략한다.
실시예에 따라서, IMU, GPS, Camera 및 3D LiDAR의 다중 센서는 무인체 및 대형 구조물 각각의 내부 또는 외부에 위치할 수 있으며, 위치되는 센서의 종류 및 개수는 한정하지 않는다.
그래프 구조 구축부(620)는 측정된 데이터를 기반으로 무인체의 이동 경로에서의 노드(node) 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축한다.
그래프 구조 구축부(620)는 IMU, GPS, 카메라 및 3D 라이더를 포함하는 다중 센서로부터 측정된 데이터를 기반으로 무인체의 이동 경로에 따른 각 위치를 나타내는 노드, 및 노드의 연결을 나타내는 구속 조건을 획득할 수 있다.
그래프 구조 구축부(620)는 무인체의 이동 경로에 따른 노드, 및 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 그래프 구조를 구축할 수 있다.
상기 SLAM은 다중 센서로부터 무인체 및 무인체의 주변 환경 정보를 검출하고 측정된 데이터를 가공하여 무인체의 이동 및 위치에 대응되는 맵(MAP)을 작성함과 동시에 무인체의 절대 위치를 추정하는 방법을 일컫는다.
예를 들면, 그래프 구조 구축부(620)는 무인체의 실시간 위치 및 최종 위치를 인식하는 구성 수단으로, 다중 센서에 의해 획득된 측정 데이터에 기초한 SLAM 과정을 통해 무인체의 이동 경로 또는 이동 궤적에 따른 그래프 구조를 구축할 수 있다.
위치 추정부(630)는 그래프 구조를 기반으로 무인체의 위치를 추정한다.
위치 추정부(630)는 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 무인체의 위치를 추정할 수 있다.
예를 들면, 위치 추정부(630)는 노드 및 구속 조건으로 형성된 그래프 구조에서 무인체의 이동 경로 및 시간에 따라 최종 위치를 추정할 수 있는 상기 그래프 최적화 기법을 이용하여 무인체의 위치를 추정할 수 있다.
다만, 구축된 그래프 구조에서 무인체의 실시간 위치, 이동 경로 및 최종 위치를 획득하는 기법은 전술한 그래프 최적화 기법 외에 다양하게 적용 가능하므로 이에 한정되는 것은 아니다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 무인체(또는 드론)
410, 420, 430, 440, 450: 노드(node)

Claims (13)

  1. 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 단계;
    상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에서의 노드(node), 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 단계; 및
    상기 그래프 구조를 기반으로 무인체의 위치를 추정하는 단계
    를 포함하는 그래프 구조 기반의 무인체 위치 추정 방법.
  2. 제1항에 있어서,
    상기 데이터를 측정하는 단계는
    상기 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 상기 무인체에 장착된 GPS(Global Positioning System)로부터의 위치 데이터를 측정하는 그래프 구조 기반의 무인체 위치 추정 방법.
  3. 제2항에 있어서,
    상기 데이터를 측정하는 단계는
    카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정하는 그래프 구조 기반의 무인체 위치 추정 방법.
  4. 제3항에 있어서,
    상기 그래프 구조를 구축하는 단계는
    IMU, GPS, 카메라 및 3D 라이더를 포함하는 상기 다중 센서로부터 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 노드, 및 상기 노드의 연결을 나타내는 상기 구속 조건을 획득하는 것을 특징으로 하는 그래프 구조 기반의 무인체 위치 추정 방법.
  5. 제4항에 있어서,
    상기 그래프 구조를 구축하는 단계는
    상기 무인체의 이동 경로에 따른 상기 노드, 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축하는 것을 특징으로 하는 그래프 구조 기반의 무인체 위치 추정 방법.
  6. 제1항에 있어서,
    상기 무인체의 위치를 추정하는 단계는
    상기 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 상기 무인체의 위치를 추정하는 그래프 구조 기반의 무인체 위치 추정 방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  8. 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 측정부;
    상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에서의 노드(node) 및 각 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 그래프 구조 구축부; 및
    상기 그래프 구조를 기반으로 무인체의 위치를 추정하는 위치 추정부
    를 포함하는 그래프 구조 기반의 무인체 위치 추정 장치.
  9. 제8항에 있어서,
    상기 측정부는
    상기 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기반으로 생성된 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 상기 무인체에 장착된 GPS(Global Positioning System)으로부터의 위치 데이터를 측정하는 그래프 구조 기반의 무인체 위치 추정 장치.
  10. 제9항에 있어서,
    상기 측정부는
    카메라로부터 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이더(LiDAR; Light Detection And Ranging)를 기반으로 3D ICP(Iterative Closest Point fitting) 알고리즘을 통해 무인체의 이동 데이터를 측정하는 그래프 구조 기반의 무인체 위치 추정 장치.
  11. 제10항에 있어서,
    상기 그래프 구조 구축부는
    IMU, GPS, 카메라 및 3D 라이더를 포함하는 상기 다중 센서로부터 상기 측정된 데이터를 기반으로 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 노드, 및 상기 노드의 연결을 나타내는 상기 구속 조건을 획득하는 것을 특징으로 하는 그래프 구조 기반의 무인체 위치 추정 장치.
  12. 제11항에 있어서,
    상기 그래프 구조 구축부는
    상기 무인체의 이동 경로에 따른 상기 노드, 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축하는 것을 특징으로 하는 그래프 구조 기반의 무인체 위치 추정 장치.
  13. 제8항에 있어서,
    상기 위치 추정부는
    상기 구축된 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 이용하여 상기 무인체의 위치를 추정하는 그래프 구조 기반의 무인체 위치 추정 장치.
KR1020170050976A 2017-04-20 2017-04-20 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법 KR101956447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170050976A KR101956447B1 (ko) 2017-04-20 2017-04-20 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170050976A KR101956447B1 (ko) 2017-04-20 2017-04-20 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180117879A true KR20180117879A (ko) 2018-10-30
KR101956447B1 KR101956447B1 (ko) 2019-03-12

Family

ID=64101011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170050976A KR101956447B1 (ko) 2017-04-20 2017-04-20 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101956447B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073659A (ko) * 2018-12-14 2020-06-24 건국대학교 산학협력단 도심 환경에서의 무인 항공기 Ad-hoc 위치 추정 시스템
KR102135443B1 (ko) * 2019-01-28 2020-07-17 네이버랩스 주식회사 그래프 구조 기반의 이동체 위치 추적방법 및 이를 이용하는 이동체
KR20200109116A (ko) * 2019-03-12 2020-09-22 한국과학기술원 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
WO2020230931A1 (ko) * 2019-05-16 2020-11-19 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2020241930A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
KR102206314B1 (ko) * 2019-10-08 2021-01-22 전남대학교산학협력단 처리 장치 및 처리 방법
KR102268980B1 (ko) * 2020-12-31 2021-06-24 주식회사 위즈윙 Gps 음영지역에서 드론의 자율 주행을 위한 위치 추정 장치
WO2022004950A1 (ko) * 2020-06-29 2022-01-06 김경식 3d lidar를 이용한3d slam 포인트 클라우드와 데이터와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
KR20220087764A (ko) * 2020-12-18 2022-06-27 한서대학교 산학협력단 지형정보 생성 시스템
KR20220087775A (ko) * 2020-12-18 2022-06-27 한서대학교 산학협력단 지형정보 생성장비 렌탈 서비스 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243179B1 (ko) * 2019-03-27 2021-04-21 엘지전자 주식회사 이동 로봇 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053561A (ja) * 2007-08-28 2009-03-12 Panasonic Electric Works Co Ltd 自律移動装置用の地図生成システムおよび地図生成方法
KR101472392B1 (ko) 2013-08-01 2014-12-15 한국항공우주산업 주식회사 정밀위치추적기능이 구비된 무인기시스템 및 그 제어방법
JP2015025753A (ja) * 2013-07-26 2015-02-05 積水化学工業株式会社 埋設管路の計測装置、及び、埋設管路の計測方法
JP5930346B2 (ja) * 2012-11-19 2016-06-08 株式会社日立製作所 自律移動システムおよび管制装置
JP2016540211A (ja) * 2013-11-27 2016-12-22 ザ トラスティーズ オブ ザ ユニバーシティー オブ ペンシルバニア 回転翼型小型飛行体（ｍａｖ）での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
KR20170004556A (ko) 2015-07-03 2017-01-11 한국과학기술원 실내 환경에서 이동 로봇의 리로케이션 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053561A (ja) * 2007-08-28 2009-03-12 Panasonic Electric Works Co Ltd 自律移動装置用の地図生成システムおよび地図生成方法
JP5930346B2 (ja) * 2012-11-19 2016-06-08 株式会社日立製作所 自律移動システムおよび管制装置
JP2015025753A (ja) * 2013-07-26 2015-02-05 積水化学工業株式会社 埋設管路の計測装置、及び、埋設管路の計測方法
KR101472392B1 (ko) 2013-08-01 2014-12-15 한국항공우주산업 주식회사 정밀위치추적기능이 구비된 무인기시스템 및 그 제어방법
JP2016540211A (ja) * 2013-11-27 2016-12-22 ザ トラスティーズ オブ ザ ユニバーシティー オブ ペンシルバニア 回転翼型小型飛行体（ｍａｖ）での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
KR20170004556A (ko) 2015-07-03 2017-01-11 한국과학기술원 실내 환경에서 이동 로봇의 리로케이션 방법 및 장치

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200073659A (ko) * 2018-12-14 2020-06-24 건국대학교 산학협력단 도심 환경에서의 무인 항공기 Ad-hoc 위치 추정 시스템
US11170049B2 (en) 2019-01-28 2021-11-09 Naver Labs Corporation Method for position estimation of vehicle based on graph structure and vehicle using the same
KR102135443B1 (ko) * 2019-01-28 2020-07-17 네이버랩스 주식회사 그래프 구조 기반의 이동체 위치 추적방법 및 이를 이용하는 이동체
CN111486837A (zh) * 2019-01-28 2020-08-04 纳宝实验室株式会社 基于图结构的交通工具位置估计方法和使用其的交通工具
CN111486837B (zh) * 2019-01-28 2023-09-15 纳宝实验室株式会社 基于图结构的交通工具位置估计方法和使用其的交通工具
KR20200109116A (ko) * 2019-03-12 2020-09-22 한국과학기술원 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
KR20210150624A (ko) * 2019-05-03 2021-12-13 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
US11960297B2 (en) 2019-05-03 2024-04-16 Lg Electronics Inc. Robot generating map based on multi sensors and artificial intelligence and moving based on map
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
US11614747B2 (en) 2019-05-16 2023-03-28 Lg Electronics Inc. Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map
WO2020230931A1 (ko) * 2019-05-16 2020-11-19 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
KR20200137943A (ko) * 2019-05-30 2020-12-09 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를구현하는 로봇
WO2020241930A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
US11554495B2 (en) 2019-05-30 2023-01-17 Lg Electronics Inc. Method of localization using multi sensor and robot implementing same
US11579626B2 (en) 2019-05-30 2023-02-14 Lg Electronics Inc. Method of localization by synchronizing multi sensors and robot implementing same
KR102206314B1 (ko) * 2019-10-08 2021-01-22 전남대학교산학협력단 처리 장치 및 처리 방법
WO2022004950A1 (ko) * 2020-06-29 2022-01-06 김경식 3d lidar를 이용한3d slam 포인트 클라우드와 데이터와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
KR20220087775A (ko) * 2020-12-18 2022-06-27 한서대학교 산학협력단 지형정보 생성장비 렌탈 서비스 방법
KR20220087764A (ko) * 2020-12-18 2022-06-27 한서대학교 산학협력단 지형정보 생성 시스템
KR102268980B1 (ko) * 2020-12-31 2021-06-24 주식회사 위즈윙 Gps 음영지역에서 드론의 자율 주행을 위한 위치 추정 장치

Also Published As

Publication number Publication date
KR101956447B1 (ko) 2019-03-12

Similar Documents

Publication Publication Date Title
KR101956447B1 (ko) 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법
Kang et al. Autonomous UAVs for structural health monitoring using deep learning and an ultrasonic beacon system with geo‐tagging
CN109887057B (zh) 生成高精度地图的方法和装置
JP6029446B2 (ja) 自律飛行ロボット
KR102463176B1 (ko) 위치 추정 장치 및 방법
EP3158417B1 (en) Sensor fusion using inertial and image sensors
JP7404010B2 (ja) 位置推定装置及び方法
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
WO2016187760A1 (en) Sensor fusion using inertial and image sensors
KR20200044420A (ko) 위치 추정 방법 및 장치
US20170010100A1 (en) Map production method, mobile robot, and map production system
JP6195450B2 (ja) 自律飛行ロボット
JP6599143B2 (ja) 自律移動ロボット
WO2016187758A1 (en) Sensor fusion using inertial and image sensors
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
Nieuwenhuisen et al. Multimodal obstacle detection and collision avoidance for micro aerial vehicles
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
EP3158293A1 (en) Sensor fusion using inertial and image sensors
JP2009266224A (ja) リアルタイム・ビジュアル・オドメトリの方法およびシステム
CA3177161A1 (en) Object detection and tracking for automated operation of vehicles and machinery
KR102288609B1 (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
CN115249066A (zh) 分位数神经网络
CN110794434B (zh) 一种位姿的确定方法、装置、设备及存储介质
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant