KR20200109116A - 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법 - Google Patents

다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법 Download PDF

Info

Publication number
KR20200109116A
KR20200109116A KR1020190028221A KR20190028221A KR20200109116A KR 20200109116 A KR20200109116 A KR 20200109116A KR 1020190028221 A KR1020190028221 A KR 1020190028221A KR 20190028221 A KR20190028221 A KR 20190028221A KR 20200109116 A KR20200109116 A KR 20200109116A
Authority
KR
South Korea
Prior art keywords
module
unmanned body
data
lidar
node
Prior art date
Application number
KR1020190028221A
Other languages
English (en)
Other versions
KR102288609B1 (ko
Inventor
명현
정성욱
송승원
김형진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190028221A priority Critical patent/KR102288609B1/ko
Publication of KR20200109116A publication Critical patent/KR20200109116A/ko
Application granted granted Critical
Publication of KR102288609B1 publication Critical patent/KR102288609B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈 및 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 기본 노드 생성에 사용하여 자율 비행하는 무인체의 위치를 추정하는 시스템 및 그 방법에 관한 것으로, 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 단계, 상기 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 상기 무인체의 이동 경로에 따른 기본 노드(node)를 생성하는 단계, 상기 측정 데이터와 상기 기본 노드를 기반으로 각 상기 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 단계 및 상기 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정하는 단계를 포함한다.

Description

다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법{METHOD AND SYSTEM FOR POSITION ESTIMATION OF UNMANNED AERIAL VEHICLE USING GRAPH STRUCTURE BASED ON MULTI MODULE}
본 발명은 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈 및 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 기본 노드 생성에 사용하여 자율 비행하는 무인체의 위치를 추정하는 시스템 및 그 방법에 관한 것이다.
안전사회 구축을 위해 안전한 사회기반시설 즉, 안전인프라의 확보가 필요하다. 그러나, 연이은 구조물 사고 발생으로 인해 국민들의 부정적 시각과 불신이 높은 상황이며, 더욱이 사회기반 시설물의 노후화로 인하여 사회적 불안감이 높아지고 있다.
기존에는 교량과 같은 대형 구조물의 사고 예방을 위하여 전문기업을 통한 안전진단이 수행되고 있지만, 관리주체의 투자 및 관리 감독 부족, 관련분야 기술자의 전문성 미흡 및 열악한 업무환경과, 저가 수주에 따른 품질 저하, 접근의 비용이성으로 인한 외관조사의 어려움, 및 검사자의 주관적인 판단 개입에 의한 신뢰도 확보 어려움 등 다양하고 많은 문제점이 존재하였다.
이러한 문제점을 해결하기 위해, 구조물에 여러 종류의 계측기를 설치하여 감시하는 구조물 건전도 모니터링 시스템에 대한 연구가 활발히 진행되고 있다. 다만, 기존의 구조물 건전도 모니터링 시스템은 주로 육안점검 및 비파괴 검사로 수행되며, 광범위한 면적에 대한 적용 기술이 미흡하며 점검 대상 시설물의 위치 및 조건에 따른 점검 수행의 한계가 존재하였다.
최근에는 이러한 한계를 극복하기 위한 방안으로 무인 비행체를 활용하는 방법이 연구되고 있다. 다만, 현재까지 국내 무인기 기술은 정찰, 감시, 폭격 등의 임무를 수행하기 위한 군사목적으로 발전해 왔으나, 다양한 민수 분야에 적용이 가능할 것으로 전망된다. 민수용 무인기 시장은 주로 공공분야 수요를 중심으로 발전될 것으로 전망되며, 활용도 여하에 따라 영상, 농업, 환경감시 등 다양한 분야로 확대될 것으로 전망되고 있다.
국내 무인기 기술을 기반으로 하는 무인 비행체를 활용한 구조물 진단은 검사자가 직접 접근하기 어려운 부분에 대해서도 효과적으로 점검을 수행할 수 있다. 다만, 무인 비행체를 이용한 구조물 검사 및 모니터링과 같은 분야는 초기 기술 단계이며, 구조물 검사, 모니터링에 적합한 무인 비행체 및 관련 기술에 대한 개발이 필요한 상황이다.
대형 구조물 진단을 위한 무인 비행체(또는 드론(Drone)) 개발 시, 진단 임무를 수행하기 위해서는 무인 비행체의 위치 추정 알고리즘이 필요하다. 예를 들어, 무인 비행체가 대형 구조물 하부에서 진단 임무를 수행할 경우, GPS 음영지역이 발생하여 위치 추정이 불가능하므로, 이러한 한계를 극복하기 위해 대형 구조물 하부에서도 무인 비행체의 위치를 추정할 수 있는 알고리즘이 필요하다.
이와 관련하여, 선행기술인 한국공개특허 제10-2018-0117879호(발명의 명칭: 그래프 구조 기반의 무인 비행체 위치 추정 장치 및 그 방법)에 대해 개시하고 있다. 다만, 기존의 선행기술은 노드 생성 시, 무인 비행체의 진동의 영향을 크게 받으며, 그로 인해 주행 거리계(Odometry)가 부정확하게 발생한다는 문제가 있으며, 기본적으로 정확하지 않은 주행 거리계로 인해 전체 그래프 구조의 결과 또한 부정확해진다는 단점이 존재한다. 또한, 기존의 선행기술은 무인 비행체의 조도 변화 또는 그림자 변화로 인해 위치 추정이 불가능해지는 한계가 존재한다.
본 발명의 목적은 시각적 관성 거리계(Visual Inertial Odometry; VI-O) 및 지역 최적화(local optimization)의 라이다 주행 거리계(Lidar Odometry; LO)를 사용하여 무인 비행체의 위치 추정을 위한 기본 노드를 생성함으로써, 자율 비행을 위한 무인 비행체(이하에서는 ‘무인체’라 칭함)의 위치 추정 시스템 및 방법의 고도화 및 안정화를 제공하고자 한다.
또한, 본 발명의 목적은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈 및 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈의 듀얼 모듈을 사용함으로써, 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈이 주된 기본 노드의 생성원으로 동작하고, 이후에 복구되는 모듈과 함께 듀얼 모듈로써 기본 노드를 생성하는 등의 유동적인 모듈 사용을 통해 내부적 또는 외부적인 요인에 효율적인 대응이 가능한 시스템 및 방법을 제공하고자 한다.
본 발명의 실시예에 따른 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템의 동작 방법에 있어서, 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 단계, 상기 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 상기 무인체의 이동 경로에 따른 기본 노드(node)를 생성하는 단계, 상기 측정 데이터와 상기 기본 노드를 기반으로 각 상기 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 단계 및 상기 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정하는 단계를 포함한다.
상기 데이터를 측정하는 단계는 상기 무인체에 장착된 GPS(Global Positioning System), 카메라(Camera), IMU(Inertial Measurement Unit) 및 3D 라이다(Light Detection And Ranging; LiDAR) 중 어느 하나 이상을 이용하여 상기 무인체의 이동 경로에 따른 데이터를 측정할 수 있다.
상기 기본 노드를 생성하는 단계는 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 상기 시각적 모듈을 이용하여, 상기 IMU로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 상기 카메라로부터 측정되는 상기 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출할 수 있다.
상기 기본 노드를 생성하는 단계는 정규 분포 변환(Normal Distribution Transform; NDT)의 상기 라이다 모듈을 이용하여, 상기 3D 라이다로부터 측정되는 상기 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출할 수 있다.
상기 기본 노드를 생성하는 단계는 상기 제1 결과 데이터 및 상기 제2 결과 데이터를 사용하여 상기 무인체의 이동 경로에 대한 상기 기본 노드를 생성할 수 있다.
상기 기본 노드를 생성하는 단계는 내부적 또는 외부적 요인으로 인해 상기 시각적 모듈 및 상기 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 상기 기본 노드를 생성할 수 있다.
상기 그래프 구조를 구축하는 단계는 상기 기본 노드를 기반으로, 상기 GPS 및 상기 3D 라이다를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 기본 노드 및 상기 기본 노드의 연결을 나타내는 상기 구속 조건을 추가할 수 있다.
상기 그래프 구조를 구축하는 단계는 상기 기본 노드 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축할 수 있다.
상기 무인체의 위치를 추정하는 단계는 상기 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 상기 무인체의 위치를 추정(pose estimation)할 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템은 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 측정부, 상기 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 상기 무인체의 이동 경로에 따른 기본 노드(node)를 생성하는 노드 생성부, 상기 측정 데이터와 상기 기본 노드를 기반으로 각 상기 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 그래프 구축부 및 상기 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정하는 위치 추정부를 포함한다.
상기 측정부는 상기 무인체에 장착된 GPS(Global Positioning System), 카메라(Camera), IMU(Inertial Measurement Unit) 및 3D 라이다(Light Detection And Ranging; LiDAR) 중 어느 하나 이상을 이용하여 상기 무인체의 이동 경로에 따른 데이터를 측정할 수 있다.
상기 노드 생성부는 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 상기 시각적 모듈을 이용하여, 상기 IMU로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 상기 카메라로부터 측정되는 상기 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출할 수 있다.
상기 노드 생성부는 정규 분포 변환(Normal Distribution Transform; NDT)의 상기 라이다 모듈을 이용하여, 상기 3D 라이다로부터 측정되는 상기 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출할 수 있다.
상기 노드 생성부는 상기 제1 결과 데이터 및 상기 제2 결과 데이터를 사용하여 상기 무인체의 이동 경로에 대한 상기 기본 노드를 생성할 수 있다.
상기 노드 생성부는 내부적 또는 외부적 요인으로 인해 상기 시각적 모듈 및 상기 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 상기 기본 노드를 생성할 수 있다.
상기 그래프 구축부는 상기 기본 노드를 기반으로, 상기 GPS 및 상기 3D 라이다를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 기본 노드 및 상기 기본 노드의 연결을 나타내는 상기 구속 조건을 추가할 수 있다.
상기 그래프 구축부는 상기 기본 노드 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축할 수 있다.
상기 위치 추정부는 상기 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 상기 무인체의 위치를 추정(pose estimation)할 수 있다.
본 발명의 실시예에 따르면, 시각적 관성 거리계(Visual Inertial Odometry; VI-O) 및 지역 최적화(local optimization)의 라이다 주행 거리계(Lidar Odometry; LO)를 사용하여 무인 비행체의 위치 추정을 위한 기본 노드를 생성함으로써, 자율 비행을 위한 무인 비행체(이하에서는 ‘무인체’라 칭함)의 위치 추정 시스템 및 방법의 고도화 및 안정화를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈 및 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈의 듀얼 모듈을 사용함으로써, 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈이 주된 기본 노드의 생성원으로 동작하고, 이후에 복구되는 모듈과 함께 듀얼 모듈로써 기본 노드를 생성하는 등의 유동적인 모듈 사용을 통해 내부적 또는 외부적인 요인에 효율적인 대응이 가능할 수 있다.
또한, 본 발명의 실시예에 따르면, 다중 센서를 이용하여 GPS 음영 지역에서의 무인체의 위치를 보다 정확하게 추정할 수 있다.
또한, 본 발명의 실시예에 따르면, 무인체의 위치를 추정하여 무인체의 자율 운행 성능을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 알고리즘을 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법을 이용하여 무인체의 위치를 추정한 결과 이미지를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템의 세부 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예들은, 무인체의 위치를 추정하기 위한 그래프 구조의 기본 노드 생성에 시각적 관성 거리계(Visual Inertial Odometry; VI-O) 및 정규 분포 변환(Normal Distribution Transform; NDT)을 같이 사용함으로써, 무인체의 위치 추정 시스템의 고도화 및 안정화를 향상시키고, 대형 구조물 또는 콘크리트 구조물 하부의 GPS 음영지역에서 무인체의 위치를 보다 정확하게 추정하는 것을 특징으로 한다.
나아가, 본 발명은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈이 조도 변화로 발산하는 상황이 발생하는 경우, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈만으로 기본 노드를 생성하며, 라이다 모듈로 안정적인 무인체의 위치를 추정하는 동안 시각적 모듈이 다시 캘리브레이션되어 듀얼 모듈로 무인체의 이동 경로에 대한 기본 노드를 생성할 수 있는 유동적인 모듈 사용이 가능하다. 이후에, 본 발명은 전술한 바에 의해 생성된 기본 노드를 기반으로, GPS 및 3D 라이다(LiDAR)를 이용한 ICP(Iterative Closest Point) 알고리즘으로 각 기본 노드 간의 구속 조건을 추가하게 되고, 최종적인 무인체의 위치를 추정한다.
이하에서는 도 1 내지 도 4를 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법의 동작 흐름도를 도시한 것이다.
도 1을 참조하면, 단계 110에서, 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정한다.
단계 110은 무인체에 장착된 GPS(Global Positioning System), 카메라(Camera), IMU(Inertial Measurement Unit) 및 3D 라이다(Light Detection And Ranging; LiDAR) 중 어느 하나 이상을 이용하여 무인체의 이동 경로에 따른 데이터를 측정할 수 있다. 예를 들면, 단계 110은 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU를 통해 측정된 센서 데이터를 기반으로 생성되는 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 무인체에 장착된 GPS를 통해 위치 데이터를 측정할 수 있다. 또한, 단계 110은 카메라를 통해 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이다를 통해 무인체의 이동 데이터를 측정할 수 있다.
이에, 단계 110에 의한 측정 데이터는 전술한 센서 데이터, 속도 데이터, 초기 위치 데이터, 위치 데이터, 오도메트리 데이터 및 이동 데이터를 포함하는 데이터일 수 있다.
다중 센서에 대해 보다 상세히 설명하면, IMU는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용한다. 예를 들면, IMU는 무인체의 회전각으로서 전진방향(Roll 축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 중분치 등의 자세 관련 센서 데이터를 생성하고, 가속도 센서를 이용하여 무인체 속도 중분치 등의 가속도 관련 센서 데이터를 생성할 수 있다. 이에, IMU는 무인체에 장착된 가속도 센서와 자이로 센서를 이용한 센서 데이터(자세 관련 센서 데이터 및 가속도 관련 센서 데이터)를 기반으로 무인체의 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정할 수 있다.
또한, GPS는 위성과 통신하여 무인체의 위치 데이터(예를 들어, WGS84 좌표계의 측지좌표로서, 위도, 경고 및 타원체고 등)를 획득할 수 있다. 카메라는 CMOS, CCD(Charge Coupled Device) 이미지 센서를 이용한 영상을 촬영하여 영상 데이터 및 무인체의 오도메트리 데이터를 획득할 수 있으며, 오도메트리 데이터는 무인체의 x축 좌표와 y축 좌표, 진행 방향의 각도를 포함하며, 추정된 변위를 포함할 수 있다. 3D 라이다는 레이저 펄스를 반사체(무인체)에 조사하고, 반사체로부터 반사되어 돌아오는 시간을 측정해서 무인체의 위치 좌표를 추정하는 레이더 시스템으로, 반사 강도에 의한 측정과 연산되는 무인체의 위치 좌표를 측정 데이터로 저장할 수 있다. 이 때, 상기 측정 데이터는 3D 그래프 구조를 이미지화하기 위한 기초 정보로 활용될 수 있다.
본 발명의 실시예에 따라서, 전술한 다중 센서의 종류는 한정하지 않으며, IMU, GPS, Camera 및 3D LiDAR의 다중 센서는 무인체 및 대형 구조물 각각의 내부 또는 외부에 위치할 수 있으며, 위치되는 센서의 종류 및 개수는 한정하지 않는다. 여기서, 대형 구조물은 장대교량 주탑, 고층 건물, 건축물, 건물 또는 댐일 수 있다.
단계 120에서, 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 무인체의 이동 경로에 따른 기본 노드(node)를 생성한다.
시각적 모듈은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)에 기반하여 수행하는 모듈이며, 입력되는 측정 데이터에 대한 결과 데이터를 추출할 수 있다. 또한, 라이다 모듈은 정규 분포 변환(Normal Distribution Transform; NDT) 알고리즘에 기반하여 수행하는 모듈이며, 입력되는 측정 데이터에 대한 결과 데이터를 추출할 수 있다.
이에, 단계 120은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈을 이용하여, 입력되는 IMU로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 카메라로부터 측정되는 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출하고, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 이용하여, 입력되는 3D 라이다로부터 측정되는 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출할 수 있다. 이후에, 단계 120은 추출된 제1 결과 데이터 및 제2 결과 데이터를 사용하여 무인체의 이동 경로에 대한 기본 노드를 생성할 수 있다.
예를 들면, 단계 120은 시각적 모듈을 이용하여 카메라 및 IMU에 의해 측정되는 데이터로부터 무인체의 이동 경로에 따른 시각적 위치(pose)를 출력하고, 라이다 모듈을 이용하여 3D 라이다에 의해 측정되는 데이터로부터 무인체의 이동 경로에 따른 위치 좌표(pose)를 출력하며, 출력된 상기 시각적 위치 및 상기 위치 좌표를 함께 사용하여 자율 비행으로 이동하는 무인체의 위치를 나타내는 주행 거리계(odometry)에 따른 기본 노드(node)를 생성할 수 있다. 이에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 기본 노드를 생성하는 과정에 시각적 관성 거리계(Visual Inertial Odometry; VI-O)와 더불어 지역 최적화(local optimization) 개념의 LO(Lidar Odometry)를 사용함으로써, 무인체의 자율 비행을 위한 시스템의 고도화 및 안정화를 제공하는 것을 특징으로 한다.
본 발명의 실시예에 따른 단계 120은 내부적 또는 외부적 요인으로 인해 시각적 모듈 및 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 기본 노드를 생성할 수 있다.
보다 구체적으로, 단계 120은 시각적 모듈 및 라이다 모듈 중 적어도 어느 하나의 모듈에 동작 이상이 발생하는 경우, 다른 하나의 모듈이 주된 노드 생성원이 되어 기본 노드를 생성하며, 동작 이상이 발생한 모듈이 복구되면서 다시 두 개의 모듈을 사용하여 기본 노드를 생성하는 것을 특징으로 한다. 예를 들면, 단계 120은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈이 조도 변화로 발산하는 상황이 발생하는 경우, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈만 사용하여 기본 노드를 생성하며, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈만으로 자율 비행하는 무인체에 대한 안정적인 위치 추정이 수행되는 동안 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈은 다시 캘리브레이션되어 원래 모듈의 역할로 복구될 수 있다. 이에, 단계 120은 복구된 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈과 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 함께 사용하여 기본 노드를 생성할 수 있게 된다.
즉, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 시각적 모듈 및 라이다 모듈의 듀얼 모듈을 사용하여 보다 정확한 무인체의 위치에 따른 기본 노드를 생성할 수 있으며, 내부적 또는 외부적 요인에 의해 듀얼 모듈 중 어느 하나에 동작 이상이 발생하는 경우에서도 다른 하나의 모듈만을 이용하여 기본 노드의 생성이 가능하고, 이후에 복구되는 모듈을 이용하여 듀얼 모듈로 기본 노드를 생성할 수 있다. 이에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 유동적으로 모듈 사용이 가능하므로, 내부적 또는 외부적 요인(예를 들어, 환경적 요인 또는 대형 구조물의 구조적 요인)에 대한 대응이 가능한 것을 특징으로 한다.
단계 130에서, 측정 데이터와 기본 노드를 기반으로, 각 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축한다.
단계 130은 단계 120을 통해 생성된 기본 노드를 기반으로, GPS 및 3D 라이다를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 무인체의 이동 경로에 따른 각 위치를 나타내는 기본 노드 및 기본 노드의 연결을 나타내는 구속 조건을 추가할 수 있다. 이후에 단계 130은 기본 노드 및 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 그래프 구조를 구축할 수 있다. 상기 SLAM은 다중 센서로부터 무인체 및 무인체의 주변 환경 정보를 검출하고, 측정된 데이터를 가공하여 무인체의 이동 및 위치에 대응되는 맵을 작성함과 동시에 무인체의 절대 위치를 추정하는 방법을 나타낸다. 이 때, ICP 알고리즘은 3D 라이다(3D LiDAR)로 측정한 2D 또는 3D 포인트 데이터를 그래프 구조에 매칭하기 위해 사용될 수 있다.
실시예에 따라서, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 GPS 동작이 가능할 때에만 사용할 수 있으며, GPS의 사용이 불가능하더라도 3D 라이다를 이용한 ICP 알고리즘을 통해 구속 조건을 추가할 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 단계 130에서, 무인체의 실시간 위치 및 최종 위치를 인식하는 구성 수단으로, 다중 센서에 의해 획득된 측정 데이터에 기초한 SLAM 과정을 통해 무인체의 이동 경로 또는 이동 궤적에 따른 그래프 구조를 구축할 수 있다. 예를 들어, 단계 130은 다중 센서로부터 측정된 데이터에 기초하여 지정된 시간에서의 무인체의 위치를 나타내는 기본 노드(node) 및 각 기본 노드 간의 구속 조건(constraint)으로부터 무인체의 위치 추정 값을 실시간 업데이트할 수 있고, 이에 무인체의 거리 측정 값을 획득하여 SLAM 과정을 통해 그래프 구조를 구축할 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 다중 센서를 이용함으로써, SLAM을 수행하는 과정에서 어느 하나의 센서가 페일(fail)되는 경우, 나머지 센서를 이용하여 SLAM 과정을 수행할 수 있기 때문에 SLAM에 대한 성능을 향상시킬 수 있다.
단계 140에서, 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정한다.
단계 140은 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 무인체의 위치를 추정(Pose estimation)할 수 있다. 예를 들면, 단계 140은 기본 노드 및 구속 조건으로 형성된 그래프 구조에 무인체의 이동 경로 및 시간에 따라 최종 위치를 추정하는 그래프 최적화 기법을 적용하여 무인체의 위치를 추정하는 것을 특징으로 한다. 다만, 구축된 그래프 구조에서 무인체의 실시간 위치, 이동 경로 및 최종 위치를 획득하는 기법은 전술한 그래프 최적화 기법 외에 다양하게 적용 가능하므로 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 알고리즘을 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)에 기반하여 수행하는 모듈인 시각적 모듈(221) 및 정규 분포 변환(Normal Distribution Transform; NDT) 알고리즘에 기반하여 수행하는 모듈인 라이다 모듈(222)를 사용하는 것을 특징으로 한다.
도 2에 도시된 바와 같이, 시각적 모듈(221)은 GPS(211), 카메라(Camera, 212), IMU(213) 및 3D 라이다(3D LiDAR, 214)의 다중 센서 중 카메라(212)를 통해 측정되는 무인체의 오도메트리 데이터(Visual odometry)와 IMU(213)를 통해 측정되는 무인체의 속도 데이터 및 초기 위치 데이터(Initial pose)를 입력으로 하여, 무인체의 이동 경로에 따른 시각적 위치(pose)를 제1 결과 데이터로 추출한다. 또한, 라이다 모듈(222)은 GPS(211), 카메라(Camera, 212), IMU(213) 및 3D 라이다(3D LiDAR, 214)의 다중 센서 중 3D 라이다(214)를 통해 측정되는 무인체의 3D 센서 데이터를 입력으로 하여, 무인체의 이동 경로에 따른 위치 좌표(pose)를 제2 결과 데이터로 추출한다.
이 때, 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈(221)은 CPU 기반에서 약 10 내지 15Hz 정도로 동작하고, 정규 분포 변환(Normal Distribution Transform; NDT) 또는 라이다 주행 거리계(Lidar Odometry; LO)는 약 2 내지 3Hz로 동작할 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 단계 120에서 설명한 바와 같이, 시각적 모듈(221) 및 라이다 모듈(222)을 통해 출력된 제1 결과 데이터 및 제 2 결과 데이터를 이용하여 무인체의 이동 경로에 따른 기본 노드(node)를 생성(Node generation, 230)한다. 이 때, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 시각적 모듈(221) 및 라이다 모듈(222) 중 적어도 어느 하나의 모듈에 동작 이상이 발생하는 경우, 다른 하나의 모듈이 주된 노드 생성원이 되어 기본 노드를 생성하며, 동작 이상이 발생한 모듈이 복구되면서 다시 두 개의 모듈을 사용하여 기본 노드를 생성할 수 있다.
이후에 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 단계 130에서 생성된 기본 노드(230)를 기반으로, GPS(211)를 통해 측정되는 무인체의 위치 데이터와 3D 라이다(214)를 통해 무인체로부터 반사되어 돌아오는 시간 데이터에 3D ICP 알고리즘(241)을 적용하여 측정되는 무인체의 이동 데이터를 이용하여 기본 노드의 연결을 나타내는 구속 조건(240)을 추가한다. 이후에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 생성된 기본 노드(230) 및 구속 조건(240)에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 그래프 구조를 구축할 수 있다.
이 때, ICP 알고리즘(241)은 3D 라이다(3D LiDAR, 214)로 측정한 2D 또는 3D 포인트 데이터를 그래프 구조에 매칭하기 위해 사용될 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 3D 라이다(214)를 통해 무인체로부터 반사되어 돌아오는 시간 데이터에 3D ICP 알고리즘(241)을 적용하여 획득한 무인체의 이동 데이터와 생성된 기본 노드(230)를 결합한 후에 구속 조건(240)의 생성을 위해 입력하는 순차적 과정을 수행함으로써, 각 기본 노드(230)에서 무인체의 이동 데이터를 우선적으로 결합하고, 결합된 데이터를 구속 조건(240)에 적용하여 본 발명의 방법 및 시스템의 고도화 및 안정화를 향상시키는 효과를 제공한다. 즉, 본 발명의 실시예에 따른 단계 130에서 GPS(211)를 통한 무인체의 위치 데이터와, 생성된 기본 노드(230) 및 상기 결합된 데이터의 세 가지 데이터를 모두 사용하여 구속 조건(240)을 생성하는 것을 특징으로 한다.
실시예에 따라서, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 GPS(211) 동작이 가능할 때에만 사용할 수 있으며, GPS(211)의 사용이 불가능하더라도 3D 라이다를 이용한 ICP 알고리즘을 통해 구속 조건을 추가할 수 있다. 보다 상세하게는, GPS(211)의 사용이 불가능한 경우, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 생성된 기본 노드(230) 및 상기 결합된 데이터를 사용하여 구속 조건(240)을 추가할 수 있다.
이후에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 상기 구축된 그래프 구조를 기반으로, 그래프 최적화 기법(Graph optimization, 251)을 통해 무인체의 위치를 추정(Pose estimation, 252)한다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법을 이용하여 무인체의 위치를 추정한 결과 이미지를 도시한 것이다.
보다 상세하게는, 도 3a는 기존의 선행기술을 이용하여 무인체의 위치를 추정한 결과 이미지를 도시한 것이고, 도 3b는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법을 이용하여 무인체의 위치를 추정한 결과 이미지를 도시한 것이다.
도 3a 및 도 3b를 참조하면, 기존의 선행기술을 이용한 결과는 교량의 하부면이나 기둥의 직선이 깔끔하게 형성되지 않고, 곡선처럼 휘어진 채로 지도(map)가 표현되는 반면에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법을 이용한 결과는 교량의 직선들이 곧고, 명확하게 표현되는 것을 알 수 있다.
즉, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 방법은 듀얼 모듈을 이용하여 자율 비행하는 무인체의 이동에 따라 기본 노드를 생성하고, 생성된 기본 노드를 이용하여 무인체의 위치를 추정함으로써, 보다 명확하고, 안정적인 무인체의 위치 추정이 가능하며, 위치 추정 결과에 대한 왜곡, 오차 및 오류가 기존의 선행기술에 비해 현저하게 낮은 것을 확인할 수 있다.
도 4는 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템의 세부 구성을 블록도로 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈 및 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 기본 노드 생성에 사용하여 자율 비행하는 무인체의 위치를 추정한다.
이를 위해, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)은 측정부(410), 노드 생성부(420), 그래프 구축부(430) 및 위치 추정부(440)를 포함한다.
측정부(410)는 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정한다.
측정부(410)는 무인체에 장착된 GPS(Global Positioning System, 211), 카메라(Camera, 212), IMU(Inertial Measurement Unit, 213) 및 3D 라이다(Light Detection And Ranging; LiDAR, 214) 중 어느 하나 이상을 이용하여 무인체의 이동 경로에 따른 데이터를 측정할 수 있다. 예를 들면, 측정부(410)는 무인체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(213)를 통해 측정된 센서 데이터를 기반으로 생성되는 속도 데이터 및 초기 위치 데이터(Initial pose)를 측정하고, 무인체에 장착된 GPS(211)를 통해 위치 데이터를 측정할 수 있다. 또한, 측정부(410)는 카메라(212)를 통해 무인체의 오도메트리 데이터(Visual odometry)를 측정하고, 3D 라이다(214)를 통해 무인체의 이동 데이터를 측정할 수 있다.
이에, 측정부(410)에 의한 측정 데이터는 전술한 센서 데이터, 속도 데이터, 초기 위치 데이터, 위치 데이터, 오도메트리 데이터 및 이동 데이터를 포함하는 데이터일 수 있다.
노드 생성부(420)는 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 무인체의 이동 경로에 따른 기본 노드(node)를 생성한다.
시각적 모듈은 시각적 관성 거리계(Visual Inertial Odometry; VI-O)에 기반하여 수행하는 모듈이며, 입력되는 측정 데이터에 대한 결과 데이터를 추출할 수 있다. 또한, 라이다 모듈은 정규 분포 변환(Normal Distribution Transform; NDT) 알고리즘에 기반하여 수행하는 모듈이며, 입력되는 측정 데이터에 대한 결과 데이터를 추출할 수 있다.
노드 생성부(420)는 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈을 이용하여, 입력되는 IMU(213)로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 카메라(212)로부터 측정되는 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출할 수 있다. 또한, 노드 생성부(420)는 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 이용하여, 입력되는 3D 라이다(214)로부터 측정되는 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출할 수 있다. 이후에 노드 생성부(420)는 제1 결과 데이터 및 제2 결과 데이터를 사용하여 무인체의 이동 경로에 대한 기본 노드를 생성할 수 있다.
예를 들면, 노드 생성부(420)는 시각적 모듈을 이용하여 카메라(212) 및 IMU(213)에 의해 측정되는 데이터로부터 무인체의 이동 경로에 따른 시각적 위치(pose)를 출력하고, 라이다 모듈을 이용하여 3D 라이다(214)에 의해 측정되는 데이터로부터 무인체의 이동 경로에 따른 위치 좌표(pose)를 출력하며, 출력된 상기 시각적 위치 및 상기 위치 좌표를 함께 사용하여 자율 비행으로 이동하는 무인체의 위치를 나타내는 주행 거리계(odometry)에 따른 기본 노드(node)를 생성할 수 있다. 이에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)은 기본 노드를 생성하는 과정에 시각적 관성 거리계(Visual Inertial Odometry; VI-O)와 더불어 지역 최적화(local optimization) 개념의 LO(Lidar Odometry)를 사용함으로써, 무인체의 자율 비행을 위한 시스템의 고도화 및 안정화를 제공하는 것을 특징으로 한다.
본 발명의 실시예에 따른 노드 생성부(420)는 내부적 또는 외부적 요인으로 인해 시각적 모듈 및 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 기본 노드를 생성할 수 있다.
보다 구체적으로, 노드 생성부(420)는 시각적 모듈 및 라이다 모듈 중 적어도 어느 하나의 모듈에 동작 이상이 발생하는 경우, 다른 하나의 모듈이 주된 노드 생성원이 되어 기본 노드를 생성하며, 동작 이상이 발생한 모듈이 복구되면서 다시 두 개의 모듈을 사용하여 기본 노드를 생성하는 것을 특징으로 한다. 예를 들면, 노드 생성부(420)는 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈이 조도 변화로 발산하는 상황이 발생하는 경우, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈만 사용하여 기본 노드를 생성하며, 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈만으로 자율 비행하는 무인체에 대한 안정적인 위치 추정이 수행되는 동안 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈은 다시 캘리브레이션되어 원래 모듈의 역할로 복구될 수 있다. 이에, 노드 생성부(420)는 복구된 시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 시각적 모듈과 정규 분포 변환(Normal Distribution Transform; NDT)의 라이다 모듈을 함께 사용하여 기본 노드를 생성할 수 있게 된다.
즉, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)은 시각적 모듈 및 라이다 모듈의 듀얼 모듈을 사용하여 보다 정확한 무인체의 위치에 따른 기본 노드를 생성할 수 있으며, 내부적 또는 외부적 요인에 의해 듀얼 모듈 중 어느 하나에 동작 이상이 발생하는 경우에서도 다른 하나의 모듈만을 이용하여 기본 노드의 생성이 가능하고, 이후에 복구되는 모듈을 이용하여 듀얼 모듈로 기본 노드를 생성할 수 있다. 이에, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)은 유동적으로 모듈 사용이 가능하므로, 내부적 또는 외부적 요인(예를 들어, 환경적 요인 또는 대형 구조물의 구조적 요인)에 대한 대응이 가능한 것을 특징으로 한다.
그래프 구축부(430)는 측정 데이터와 상기 기본 노드를 기반으로 각 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축한다.
그래프 구축부(430)는 노드 생성부(420)를 통해 생성된 기본 노드를 기반으로, GPS(211) 및 3D 라이다(214)를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 무인체의 이동 경로에 따른 각 위치를 나타내는 기본 노드 및 기본 노드의 연결을 나타내는 구속 조건을 추가할 수 있다. 이후에 그래프 구축부(430)는 기본 노드 및 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 그래프 구조를 구축할 수 있다. 상기 SLAM은 다중 센서(211, 212, 213, 214)로부터 무인체 및 무인체의 주변 환경 정보를 검출하고, 측정된 데이터를 가공하여 무인체의 이동 및 위치에 대응되는 맵을 작성함과 동시에 무인체의 절대 위치를 추정하는 방법을 나타낸다. 이 때, ICP 알고리즘은 3D 라이다(3D LiDAR)로 측정한 2D 또는 3D 포인트 데이터를 그래프 구조에 매칭하기 위해 사용될 수 있다.
실시예에 따라서, 본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)의 그래프 구축부(430)는 GPS(211) 동작이 가능할 때에만 사용할 수 있으며, GPS(211)의 사용이 불가능하더라도 3D 라이다(214)를 이용한 ICP 알고리즘을 통해 구속 조건을 추가할 수 있다.
그래프 구축부(430)는 무인체의 실시간 위치 및 최종 위치를 인식하는 구성 수단으로, 다중 센서에 의해 획득된 측정 데이터에 기초한 SLAM 과정을 통해 무인체의 이동 경로 또는 이동 궤적에 따른 그래프 구조를 구축할 수 있다. 예를 들면, 그래프 구축부(430)는 다중 센서(211, 212, 213, 214)로부터 측정된 데이터에 기초하여 지정된 시간에서의 무인체의 위치를 나타내는 기본 노드(node) 및 각 기본 노드 간의 구속 조건(constraint)으로부터 무인체의 위치 추정 값을 실시간 업데이트할 수 있고, 이에 무인체의 거리 측정 값을 획득하여 SLAM 과정을 통해 그래프 구조를 구축할 수 있다.
본 발명의 실시예에 따른 다중 모듈 기반의 무인체 위치 추정 시스템(400)은 다중 센서(211, 212, 213, 214)를 이용함으로써, SLAM을 수행하는 과정에서 어느 하나의 센서가 페일(fail)되는 경우, 나머지 센서를 이용하여 SLAM 과정을 수행할 수 있기 때문에 SLAM에 대한 성능을 향상시킬 수 있다.
위치 추정부(440)는 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정한다.
위치 추정부(440)는 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 무인체의 위치를 추정(pose estimation)할 수 있다. 예를 들면, 위치 추정부(440)는 기본 노드 및 구속 조건으로 형성된 그래프 구조에 무인체의 이동 경로 및 시간에 따라 최종 위치를 추정하는 그래프 최적화 기법을 적용하여 무인체의 위치를 추정하는 것을 특징으로 한다. 다만, 구축된 그래프 구조에서 무인체의 실시간 위치, 이동 경로 및 최종 위치를 획득하는 기법은 전술한 그래프 최적화 기법 외에 다양하게 적용 가능하므로 이에 한정되는 것은 아니다.
비록, 도 4에서 설명하지 않았지만, 도 4의 시스템은 상술한 도 1 내지 도 3a에서 설명한 무인체 위치 추정 방법에 대한 동작을 모두 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템의 동작 방법에 있어서,
    다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 단계;
    상기 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 상기 무인체의 이동 경로에 따른 기본 노드(node)를 생성하는 단계;
    상기 측정 데이터와 상기 기본 노드를 기반으로 각 상기 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 단계; 및
    상기 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정하는 단계
    를 포함하는 다중 모듈 기반의 무인체 위치 추정 방법.
  2. 제1항에 있어서,
    상기 데이터를 측정하는 단계는
    상기 무인체에 장착된 GPS(Global Positioning System), 카메라(Camera), IMU(Inertial Measurement Unit) 및 3D 라이다(Light Detection And Ranging; LiDAR) 중 어느 하나 이상을 이용하여 상기 무인체의 이동 경로에 따른 데이터를 측정하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  3. 제2항에 있어서,
    상기 기본 노드를 생성하는 단계는
    시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 상기 시각적 모듈을 이용하여, 상기 IMU로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 상기 카메라로부터 측정되는 상기 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  4. 제3항에 있어서,
    상기 기본 노드를 생성하는 단계는
    정규 분포 변환(Normal Distribution Transform; NDT)의 상기 라이다 모듈을 이용하여, 상기 3D 라이다로부터 측정되는 상기 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  5. 제4항에 있어서,
    상기 기본 노드를 생성하는 단계는
    상기 제1 결과 데이터 및 상기 제2 결과 데이터를 사용하여 상기 무인체의 이동 경로에 대한 상기 기본 노드를 생성하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  6. 제4항에 있어서,
    상기 기본 노드를 생성하는 단계는
    내부적 또는 외부적 요인으로 인해 상기 시각적 모듈 및 상기 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 상기 기본 노드를 생성하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  7. 제2항에 있어서,
    상기 그래프 구조를 구축하는 단계는
    상기 기본 노드를 기반으로, 상기 GPS 및 상기 3D 라이다를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 기본 노드 및 상기 기본 노드의 연결을 나타내는 상기 구속 조건을 추가하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  8. 제7항에 있어서,
    상기 그래프 구조를 구축하는 단계는
    상기 기본 노드 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  9. 제1항에 있어서,
    상기 무인체의 위치를 추정하는 단계는
    상기 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 상기 무인체의 위치를 추정(pose estimation)하는, 다중 모듈 기반의 무인체 위치 추정 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  11. 다중 센서를 이용하여 무인체의 이동 경로에 따른 데이터를 측정하는 측정부;
    상기 측정 데이터를 기반으로 한 시각적 모듈 및 라이다 모듈을 이용하여 상기 무인체의 이동 경로에 따른 기본 노드(node)를 생성하는 노드 생성부;
    상기 측정 데이터와 상기 기본 노드를 기반으로 각 상기 기본 노드 간의 구속 조건(constraint)으로부터 그래프 구조(Graph structure)를 구축하는 그래프 구축부; 및
    상기 그래프 구조에 최적화 기법을 적용하여 무인체의 위치를 추정하는 위치 추정부
    를 포함하는 다중 모듈 기반의 무인체 위치 추정 시스템.
  12. 제11항에 있어서,
    상기 측정부는
    상기 무인체에 장착된 GPS(Global Positioning System), 카메라(Camera), IMU(Inertial Measurement Unit) 및 3D 라이다(Light Detection And Ranging; LiDAR) 중 어느 하나 이상을 이용하여 상기 무인체의 이동 경로에 따른 데이터를 측정하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  13. 제12항에 있어서,
    상기 노드 생성부는
    시각적 관성 거리계(Visual Inertial Odometry; VI-O)의 상기 시각적 모듈을 이용하여, 상기 IMU로부터 측정되는 속도 데이터 및 초기 위치 데이터(Initial pose)와 상기 카메라로부터 측정되는 상기 무인체의 오도메트리 데이터(Visual odometry)에 대한 제1 결과 데이터를 추출하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  14. 제13항에 있어서,
    상기 노드 생성부는
    정규 분포 변환(Normal Distribution Transform; NDT)의 상기 라이다 모듈을 이용하여, 상기 3D 라이다로부터 측정되는 상기 무인체의 3D 센서 데이터에 대한 제2 결과 데이터를 추출하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  15. 제14항에 있어서,
    상기 노드 생성부는
    상기 제1 결과 데이터 및 상기 제2 결과 데이터를 사용하여 상기 무인체의 이동 경로에 대한 상기 기본 노드를 생성하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  16. 제14항에 있어서,
    상기 노드 생성부는
    내부적 또는 외부적 요인으로 인해 상기 시각적 모듈 및 상기 라이다 모듈 중 적어도 어느 하나의 모듈이 동작하지 않을 시, 다른 하나의 모듈만 이용하여 상기 기본 노드를 생성하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  17. 제12항에 있어서,
    상기 그래프 구축부는
    상기 기본 노드를 기반으로, 상기 GPS 및 상기 3D 라이다를 이용한 ICP 알고리즘(Iterative Closest Point fitting Algorithm)을 통해 상기 무인체의 이동 경로에 따른 각 위치를 나타내는 상기 기본 노드 및 상기 기본 노드의 연결을 나타내는 상기 구속 조건을 추가하는 것을 특징으로 하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  18. 제17항에 있어서,
    상기 그래프 구축부는
    상기 기본 노드 및 상기 구속 조건에 기초한 SLAM(Simultaneous Localization and Mapping)을 통해 상기 그래프 구조를 구축하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
  19. 제11항에 있어서,
    상기 위치 추정부는
    상기 그래프 구조를 기반으로 그래프 최적화 기법(Graph optimization)을 통해 상기 무인체의 위치를 추정(pose estimation)하는, 다중 모듈 기반의 무인체 위치 추정 시스템.
KR1020190028221A 2019-03-12 2019-03-12 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법 KR102288609B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190028221A KR102288609B1 (ko) 2019-03-12 2019-03-12 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190028221A KR102288609B1 (ko) 2019-03-12 2019-03-12 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200109116A true KR20200109116A (ko) 2020-09-22
KR102288609B1 KR102288609B1 (ko) 2021-08-11

Family

ID=72707047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190028221A KR102288609B1 (ko) 2019-03-12 2019-03-12 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102288609B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359167A (zh) * 2021-04-16 2021-09-07 电子科技大学 一种通过惯性测量参数将gps与激光雷达融合定位的方法
WO2022261960A1 (zh) * 2021-06-18 2022-12-22 深圳市大疆创新科技有限公司 体感遥控器和遥控系统
KR20230115026A (ko) 2022-01-26 2023-08-02 부경대학교 산학협력단 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180117879A (ko) * 2017-04-20 2018-10-30 한국과학기술원 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180117879A (ko) * 2017-04-20 2018-10-30 한국과학기술원 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문(2018.08)* *
논문(2018.11)* *
논문(2018.11.15)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359167A (zh) * 2021-04-16 2021-09-07 电子科技大学 一种通过惯性测量参数将gps与激光雷达融合定位的方法
WO2022261960A1 (zh) * 2021-06-18 2022-12-22 深圳市大疆创新科技有限公司 体感遥控器和遥控系统
KR20230115026A (ko) 2022-01-26 2023-08-02 부경대학교 산학협력단 범퍼 설치형 듀얼 라이다를 이용한 차량용 slam 시스템 및 방법

Also Published As

Publication number Publication date
KR102288609B1 (ko) 2021-08-11

Similar Documents

Publication Publication Date Title
KR101956447B1 (ko) 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법
CN109887057B (zh) 生成高精度地图的方法和装置
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
KR20200044420A (ko) 위치 추정 방법 및 장치
Santoso et al. Visual–inertial navigation systems for aerial robotics: Sensor fusion and technology
KR102463176B1 (ko) 위치 추정 장치 및 방법
CN104729506B (zh) 一种视觉信息辅助的无人机自主导航定位方法
KR102627453B1 (ko) 위치 추정 장치 및 방법
Atia et al. Map-aided adaptive GNSS/IMU sensor fusion scheme for robust urban navigation
KR102288609B1 (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
Yun et al. IMU/Vision/Lidar integrated navigation system in GNSS denied environments
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
Al-Darraji et al. A technical framework for selection of autonomous uav navigation technologies and sensors
Cledat et al. Mapping GNSS restricted environments with a drone tandem and indirect position control
Christensen et al. Autonomous vehicles for micro-mobility
Hashim et al. Integration of low altitude aerial & terrestrial photogrammetry data in 3D heritage building modeling
Kakillioglu et al. 3D sensor-based UAV localization for bridge inspection
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Chen et al. Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping
US20230176201A1 (en) Relative lidar alignment with limited overlap
Pogorzelski et al. Vision Based Navigation Securing the UAV Mission Reliability
CN114689046A (zh) 一种无人机巡检隧道的方法与系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant