KR102396675B1 - 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법 - Google Patents

라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법 Download PDF

Info

Publication number
KR102396675B1
KR102396675B1 KR1020210003495A KR20210003495A KR102396675B1 KR 102396675 B1 KR102396675 B1 KR 102396675B1 KR 1020210003495 A KR1020210003495 A KR 1020210003495A KR 20210003495 A KR20210003495 A KR 20210003495A KR 102396675 B1 KR102396675 B1 KR 102396675B1
Authority
KR
South Korea
Prior art keywords
robot
tunnel
autonomous driving
horizontal
underground mine
Prior art date
Application number
KR1020210003495A
Other languages
English (en)
Inventor
최요순
김헌무
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020210003495A priority Critical patent/KR102396675B1/ko
Application granted granted Critical
Publication of KR102396675B1 publication Critical patent/KR102396675B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D(3 Dimension) 갱도 맵핑 시스템과 그 방법에 관한 것으로서, 특히 지하광산 자율주행 로봇에 설치한 수평 라이다 센서를 이용하여 수평 방향의 갱도 벽면을 감지하고 이를 패턴 매칭하여 매칭 정확도 및 로봇의 헤딩 각도를 산출하고, 이를 IMU(Inertial Measurement Unit) 센서 및 엔코더에 의해 측정된 값을 이용하여 로봇의 위치 및 자세를 추정하고, 이 추정된 로봇의 위치 및 자세 정보와, 수직 라이다 센서를 통해 감지된 데이터를 이용하여 맵핑된 갱도 수직 단면과 융합하여 3차원 맵을 생성하는, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법에 관한 것이다.

Description

라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법{POSITION ESTIMATION AND 3D TUNNEL MAPPING SYSTEM OF UNDERGROUND MINE AUTONOMOUS ROBOT USING LIDAR SENSOR, AND ITS METHOD}
본 발명은 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D(3 Dimension) 갱도 맵핑 시스템과 그 방법에 관한 것으로서, 특히 지하광산 자율주행 로봇에 설치한 수평 라이다 센서를 이용하여 수평 방향의 갱도 벽면을 감지하고 이를 패턴 매칭하여 매칭 정확도 및 로봇의 헤딩 각도를 산출하고, 이를 IMU(Inertial Measurement Unit) 센서 및 엔코더에 의해 측정된 값을 이용하여 로봇의 위치 및 자세를 추정하고, 이 추정된 로봇의 위치 및 자세 정보와, 수직 라이다 센서를 통해 감지된 데이터를 이용하여 맵핑된 갱도 수직 단면과 융합하여 3차원 맵을 생성하는, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법에 관한 것이다.
일반적으로, 지하광산 환경은 작업 지역이 어둡고 낙석 붕괴 및 유독 가스와 같은 위험 요소들이 존재하기 때문에 사람이 접근하기 위험한 지역이 많이 존재한다. 이러한 지역에 자율주행 로봇을 활용한다면 탐사의 안정성을 높여줄 수 있다. 최근 지하광산 환경에서 자율주행 로봇을 활용하는 연구들이 다수 수행되었다. 대표적으로 자율주행 로봇을 활용하여 지하광산의 환경적인 요소들을 측정하거나 광물을 운반하거나 3차원 갱도 맵을 만드는 등의 연구들이 수행되었다.
자율주행 로봇은 지하광산의 환경 탐사, 광물 운반, 갱도 맵핑 등과 같이 다양한 형태로 활용되고 있는데, 자율주행 로봇을 광업 분야에 효율적으로 적용하기 위해서는 센서들을 통해 주변 환경을 인식하는 것뿐만 아니라, 로봇의 위치를 정확하게 인식할 수 있는 위치추정기술이 필수적이다. 언급된 지하광산에서 자율주행 로봇의 활용 사례(갱도 맵핑, 광석 운반, 환경 탐사)들은 로봇의 위치가 정확하게 인지된 상태에서만 수행될 수 있기 때문이다.
타 분야에서는 자율주행 로봇의 위치를 추정하기 위해서 레이저스캐너와 같은 측량 장비들을 활용하여 만들어진 전역 지도와 자율주행 로봇이 주행하는 동안 라이다 센서를 통해서 탐지되는 맵의 형태를 비교하여 로봇의 위치를 추정하였다. 또한, 자율주행 로봇이 주행하는 동안 GPS(Global Positioning System) 신호를 수신하거나 카메라 센서 등을 활용하여 도로의 모서리나 교차지점과 같은 특징점들을 검출하는 위치추정 사례들도 있었다.
그러나 지하광산의 경우 채광을 위한 발파에 의해서 지하광산의 형태가 빈번하게 변하기 때문에 사전에 만들어 놓은 맵 데이터가 반복적으로 활용되기 어려웠다. 또한, 지하광산에서는 GPS를 통한 신호 수신이 불가능하며, 대부분의 지역이 어두워서 카메라 센서 기반의 위치추정 기술을 활용할 수 없었다
현재까지 개발된 지하광산용 자율주행 로봇의 위치추정 방법은 IMU 센서 및 엔코더만을 활용하여 로봇의 위치를 추정하거나 라이다 센서로부터 획득되는 포인트 데이터 중 일부점들만을 이용하여 로봇의 위치를 추정하였다.
그러나 지하광산 환경은 갱도 벽면이 거칠고 전체적인 형태가 불규칙하기 때문에 벽면의 세부적인 형태가 반영되지 못하였고, 따라서 위치추정 성능이 낮아진다는 한계가 있었다. 따라서 지하광산 내부에서 자율주행 로봇의 위치를 정확하게 예상하고 정밀한 3차원 갱도 맵을 작성하기 위한 새로운 방법의 개발이 요구되었다.
한국등록특허 공보 제10-1017679호(발명의 명칭: 센서 네트워크를 이용한 로봇의 위치추적방법)
따라서 본 발명은 상기와 같은 점에 착안하여 이루어진 것으로서, 본 발명의 목적은 지하광산 내부에서 자율주행 로봇의 위치를 정확하게 예상하고 정밀한 3차원 갱도 맵을 작성할 수 있는, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법을 제공하는 데에 있다.
상기 목적을 달성하기 위해, 본 발명의 실시형태에 의한 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템은 지하광산 자율주행 로봇에 장착되어 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세를 측정하도록 구성된 IMU(Inertial Measurement Unit) 센서; 상기 지하광산 자율주행 로봇에 장착되어 로봇의 이동거리를 측정하도록 구성된 엔코더; 상기 지하광산 자율주행 로봇의 상부에 설치되고 로봇 진행 방향의 갱도 벽면을 감지하여 수평 라이다 데이터를 획득하도록 구성된 수평 라이다 센서; 상기 지하광산 자율주행 로봇의 전면에 설치되고 갱도 수직 단면을 감지하여 수직 라이다 데이터를 획득하도록 구성된 수직 라이다 센서; 상기 수평 라이다 센서를 이용하여 연속한 두 시간(K, K+1)에 측정한 수평 라이다 데이터(SK, SK+1), 상기 IMU 센서에 의해 측정된 오일러각 형태의 로봇의 3축 자세 정보, 및 상기 엔코더에 의해 측정된 로봇의 이동거리 정보를 이용하여 로봇의 3차원 자세를 추정함과 아울러 로봇의 위치를 추정하도록 구성된 위치 추정부; 상기 수평 라이다 센서에 측정된 수평 라이다 데이터를 이용하여 갱도 내 도로의 중앙선을 인식하여 상기 지하광산 자율주행 로봇의 자율주행을 수행시키도록 구성된 자율 주행 구동부; 및 상기 위치 추정부에 의해 추정된 로봇의 3차원 자세 정보 및 위치 정보와, 상기 수직 라이다 데이터를 이용하여 상기 갱도에 대한 3차원 맵을 생성하도록 구성된 3차원 갱도 맵핑부;를 포함하는 것을 특징으로 한다.
상기 실시형태에 의한 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템은 상기 지하광산 자율주행 로봇에 설치되어 로봇의 주행과정을 촬영하여 영상 데이터를 사용자 인터페이스 화면에 제공하도록 구성된 웹캠을 더 포함할 수 있다.
상기 목적을 달성하기 위해, 본 발명의 다른 실시형태에 의한 지하광산 자율주행 로봇의 위치추정 방법은 수평 라이다 센서에 의해 연속한 두 시간(K, K+1)에 수평 라이다 데이터(SK, SK+1)가 획득되는 단계; 위치 추정부가 상기 수평 라이다 데이터(SK)를 이용하여 탬플릿 이미지를 생성하는 단계; 상기 위치 추정부가 상기 수평 라이다 데이터(SK+1)를 이용하여 타겟 이미지를 생성하는 단계; 상기 위치 추정부가 상기 탬플릿 이미지 및 타켓 이미지의 패턴 매칭을 반복수행하여 매칭 정확도 및 로봇 헤딩 각도를 산출하는 단계; 상기 위치 추정부가 상기 매칭 정확도가 임계값 이상인지의 여부를 결정하는 단계; 상기 매칭 정확도가 임계값 이상이면, 상기 위치 추정부가 자신에 의해 산출된 로봇 헤딩 각도를 로봇 헤딩 각도로 결정하는 단계; 상기 위치 추정부가 IMU 센서에 의해 측정된 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세 정보를 입력받아 이를 로봇의 3차원 자세 정보로 추정하는 단계; 및 상기 위치 추정부가 결정된 상기 로봇 헤딩 각도, 엔코더에 의해 측정된 이동 거리 정보 및 상기 로봇의 3차원 자세 정보를 이용하여 로봇의 위치를 추정하는 단계;를 포함하는 것을 특징으로 한다.
상기 다른 실시형태에 의한 지하광산 자율주행 로봇의 위치추정 방법에 있어서, 상기 임계값 이상 여부 결정 단계에서 상기 매칭 정확도가 임계값 미만이면, 상기 위치 추정부가 IMU 센서에 의해 측정된 로봇의 헤딩 각도를 로봇의 헤딩 각도로 결정하는 단계를 더 포함하고, 상기 로봇 헤딩 각도 결정 단계 이후, 상기 로봇의 3차원 자세 추정 단계로 진행될 수 있다.
상기 목적을 달성하기 위해, 본 발명의 또 다른 실시형태에 의한 3D 갱도 맵핑 방법은 수직 라이다 센서에 의해 갱도 수직 단면이 감지되어 수직 라이다 데이터가 획득되는 단계; 3차원 갱도 맵핑부가 상기 수직 라이다 데이터 중 거리 및 각도 정보를 반영하여 갱도의 수직 단면을 맵핑하는 단계; 상기 3차원 갱도 맵핑부가 맵핑되는 상기 갱도의 수직 단면 정보에 위치 추정부에 의해 추정된 로봇의 위치 및 3차원 자세 정보를 융합하여 갱도의 수직 단면을 맵핑하는 단계; 및 자율 주행 구동부에 의해 상기 지하광산 자율주행 로봇이 주행되는 동안, 상기 3차원 갱도 맵핑부가 맵핑되는 갱도의 수직 단면 정보를 적층하여 갱도에 대한 3차원 맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 실시형태들에 의한 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법에 의하면, 수평 라이다 센서를 이용하여 연속한 두 시간(K, K+1)에 측정한 수평 라이다 데이터(SK, SK+1), 상기 IMU 센서에 의해 측정된 오일러각 형태의 로봇의 3축 자세 정보, 및 상기 엔코더에 의해 측정된 로봇의 이동거리 정보를 이용하여 로봇의 3차원 자세를 추정함과 아울러 로봇의 위치를 추정하며; 수평 라이다 센서에 측정된 수평 라이다 데이터를 이용하여 갱도 내 도로의 중앙선을 인식하여 상기 지하광산 자율주행 로봇의 자율주행을 수행시키며; 추정된 로봇의 3차원 자세 정보 및 위치 정보와, 상기 수직 라이다 데이터를 이용하여 상기 갱도에 대한 3차원 맵을 생성하도록; 구성됨으로써, 지하광산 내부에서 자율주행 로봇의 위치를 정확하게 예상하고 정밀한 3차원 갱도 맵을 작성할 수 있다는 뛰어난 효과가 있다.
도 1은 본 발명의 실시예에 의한 지하광산 자율주행 로봇을 나타낸 도면이다.
도 2는 본 발명의 실시예에 의한, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템에 대한 블록구성도이다.
도 3a, 및 도 3b는 본 발명의 실시예에 의한, 지하광산 자율주행 로봇의 위치추정 방법 및 3D 갱도 맵핑 방법을 설명하기 위한 플로우챠트이다.
도 4는 도 3a의 스텝(S40)에서 패턴 매칭을 수행하는 것을 예시적으로 나타낸 도면이다.
본 발명의 실시예를 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예를 기술하기 위한 것이며, 결코 제한적으로 해석되어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하는 것으로 해석되어서는 안 된다.
도면에서 도시된 각 시스템에서, 몇몇 경우에서의 요소는 각각 동일한 참조 번호 또는 상이한 참조 번호를 가져서 표현된 요소가 상이하거나 유사할 수가 있음을 시사할 수 있다. 그러나 요소는 상이한 구현을 가지고 본 명세서에서 보여지거나 기술된 시스템 중 몇몇 또는 전부와 작동할 수 있다. 도면에서 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어느 것이 제1 요소로 지칭되는지 및 어느 것이 제2 요소로 불리는지는 임의적이다.
본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 자료 또는 신호를 '전송', '전달' 또는 '제공'한다 함은 어느 한 구성요소가 다른 구성요소로 직접 자료 또는 신호를 전송하는 것은 물론, 적어도 하나의 또 다른 구성요소를 통하여 자료 또는 신호를 다른 구성요소로 전송하는 것을 포함한다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 지하광산 자율주행 로봇을 나타낸 도면이고, 도 2는 본 발명의 실시예에 의한, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템에 대한 블록구성도이다.
본 발명의 실시예에 의한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템은, 도 1 및 도 2에 도시된 바와 같이, IMU(Inertial Measurement Unit) 센서(100), 엔코더(110), 수평 라이다 센서(120), 수직 라이다 센서(130), 위치 추정부(200), 자율 주행 구동부(210), 3차원 갱도 맵핑부(220) 및 웹캠(140)을 포함한다.
IMU 센서(100), 엔코더(110) 및 수평 라이다 센서(120)는 위치 추정부(200)와 유, 무선으로 연결될 수 있으며, 통신방식은 특별히 제한되지 않는다. 수평 라이다 센서(120)는 자율 주행 구동부(210)와 유, 무선으로 연결될 수 있으며, 통신방식은 특별히 제한되지 않는다. 위치 추정부(200), 자율 주행 구동부(210) 및 수직 라이다 센서(130)는 3차원 갱도 맵핑부(220)와 유, 무선으로 연결될 수 있으며, 통신방식은 특별히 제한되지 않는다.
IMU 센서(100)는 지하광산 자율주행 로봇의 내부에 장착되어 로봇의 롤(Roll), 피치(Pitch) 및 헤딩 각도[요(Yaw)라고도 함]를 포함하는 오일러각 형태의 로봇의 3축 자세를 측정하고, 측정된 데이터를 위치 추정부(200)에 제공하는 역할을 한다.
IMU 센서(100)는 가속도 센서, 지자기 센서 및 자이로스코프 센서가 칼만필터로 융합된 구성을 가진다.
엔코더(110)는 지하광산 자율주행 로봇의 휠에 장착되어 로봇의 바퀴 회전수로 로봇의 이동거리를 측정하는 역할을 한다.
수평 라이다 센서(120)는 지하광산 자율주행 로봇의 상부에 설치되고 로봇 진행 방향의 갱도 벽면을 감지하여 수평 라이다 데이터(수평 포인트 클라우드 데이터)를 획득하는 역할을 한다.
수평 라이다 센서(120)는 갱도의 좌, 우측 벽면까지의 거리를 측정하고 자율 주행 구동부(210)에 이 측정된 거리를 제공하여 갱도 내 도로의 중앙선을 인식하게 할 수 있다.
수평 라이다 센서(120)는 연속한 두 시간(K, K+1)에 측정한 수평 라이다 데이터(SK, SK+1)를 위치 추정부(200)에 제공하여 패턴 매칭에 의해 매칭 정확도 및 로봇 헤딩 각도를 산출하게 할 수 있다.
수직 라이다 센서(130)는 지하광산 자율주행 로봇의 전면에 설치되고 갱도 수직 단면을 감지하여 수직 라이다 데이터(수직 포인트 클라우드 데이터)를 획득하고, 획득된 수직 라이다 데이터를 3차원 갱도 맵핑부(220)에 제공하는 역할을 한다.
위치 추정부(200)는 수평 라이다 센서(120)에 의해 연속한 두 시간(K, K+1)에 측정된 수평 라이다 데이터(SK, SK+1), IMU 센서(100)에 의해 측정된 오일러각 형태의 로봇의 3축 자세 정보[로봇의 롤(Roll), 피치(Pitch) 및 헤딩 각도를 포함], 및 엔코더(110)에 의해 측정된 로봇의 이동거리 정보를 이용하여 로봇의 3차원 자세를 추정함과 아울러 로봇의 위치를 추정하는 역할을 한다.
자율 주행 구동부(210)는 수평 라이다 센서(120)에 의해 측정된 수평 라이다 데이터(좌, 우측 벽면까지의 거리 정보)를 이용하여 갱도 내 도로의 중앙선을 인식하여 지하광산 자율주행 로봇의 자율주행을 수행시키는 역할을 한다.
3차원 갱도 맵핑부(220)는 위치 추정부(200)에 의해 추정된 로봇의 3차원 자세 정보 및 위치 정보와, 수직 라이다 센서(130)에 의해 측정된 수직 라이다 데이터를 이용하여 갱도에 대한 3차원 맵을 생성하는 역할을 한다.
웹캠(140)은 지하광산 자율주행 로봇에 설치되어 로봇의 주행과정을 촬영하고 영상 데이터를 사용자 인터페이스 화면(미 도시됨)에 제공하여 갱도 내의 상황을 디스플레이 할 수 있게 한다.
상기와 같이 구성된 본 발명의 실시예에 의한 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템을 이용한 자율주행 로봇의 위치 추정 방법 및 3D 갱도 맵핑 방법에 대해 설명하기로 한다.
도 3a 및 도 3b는 본 발명의 실시예에 의한, 지하광산 자율주행 로봇의 위치추정 방법 및 3D 갱도 맵핑 방법을 설명하기 위한 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
먼저, 수평 라이다 센서(120)가 연속한 두 시간(K, K+1)에 갱도 벽면을 독립적으로 감지하여 수평 라이다 데이터(SK, SK+1)를 획득한다(S10).
다음, 위치 추정부(200)가 스텝(S10)에서 획득된 수평 라이다 데이터(SK)를 이용하여 탬플릿 이미지를 생성한다(S20).
다음, 위치 추정부(200)가 스텝(S10)에서 획득된 수평 라이다 데이터(SK+1)를 이용하여 타겟 이미지를 생성한다(S30).
다음, 위치 추정부(200)가 스텝(S20)에서 생성된 탬플릿 이미지와 스텝(S30)에서 생성된 타켓 이미지를 반복적으로 패턴 매칭시켜서 매칭 정확도 및 로봇 헤딩 각도를 산출한다(S40).
도 4는 도 3a의 스텝(S40)에서 패턴 매칭을 수행하는 것을 예시적으로 나타낸 도면이다.
여기서, 로봇 헤딩 각도 측정은 추가적인 센서 없이 수평 방향의 갱도 벽면을 측정하는 수평 라이다 센서(120)에 의한 수평 라이다 데이터에 의해서만 이루어질 수 있다.
로봇이 주행하는 동안 수평 라이다 센서(120)에 의해 연속적으로 측정되는 수평 포인트 클라우드 데이터 중 K시간의 갱도 벽면 데이터(SK)와 K+1시간의 갱도 벽면 데이터(SK+1)의 중복되는 지점을 비교하여 로봇의 헤딩 각도를 측정한다. 그와 동시에 SK+1은 SK+2의 템플릿 이미지로 학습되어 SK+1과 SK+2 사이의 패턴매칭을 순차적으로 수행한다. SK에서 측정되는 ROI(Region of interest)를 SK+1의 갱도데이터와 비교하였을 때, 일치하는 지점을 자동으로 찾아내고 로봇의 헤딩 각도를 측정할 수 있다.
다음, 위치 추정부(200)는 스텝(S40)에서 산출된 매칭 정확도가 임계값 이상인지의 여부를 결정한다(S50).
만약, 스텝(S50)에서 매칭 정확도가 임계값 이상이면(Y), 위치 추정부(200)는 스텝(S40)에서 자신에 의해 산출된 로봇 헤딩 각도를 로봇 헤딩 각도로 결정한다(S60).
한편, 스텝(S50)에서 매칭 정확도가 임계값 미만이면(N), 위치 추정부(200)는 IMU 센서(100)에 의해 측정된 로봇의 헤딩 각도를 입력받아 로봇의 헤딩 각도로 결정한다(S60-1).
다음, 위치 추정부(200)는 IMU 센서(100)에 의해 측정된 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세 정보를 입력받아 이를 로봇의 3차원 자세 정보로 추정한다(S70).
다음, 위치 추정부(200)는 스텝(S60) 또는 스텝(S60-1)에서 결정된 로봇 헤딩 각도와, 엔코더(110)에 의해 측정된 이동 거리 정보와, 스텝(S70)에서 추정된 로봇의 3차원 자세 정보(즉, 로봇의 피치)를 이용하여 로봇의 위치를 추정한다(S80).
로봇의 위치는 다음의 [수학식 1]에 의해 추정될 수 있다.
[수학식 1]
Figure 112021003443269-pat00001
[여기서,
Figure 112021003443269-pat00002
는 시간
Figure 112021003443269-pat00003
에서의 로봇의 이동거리를 나타내고,
Figure 112021003443269-pat00004
는 시간
Figure 112021003443269-pat00005
에서의 로봇의 헤딩 각도를 나타내고,
Figure 112021003443269-pat00006
는 로봇의 피치를 나타낸다]
다음, 수직 라이다 센서(130)가 갱도 수직 단면을 감지하여 수직 라이다 데이터를 획득한다(S90).
다음, 3차원 갱도 맵핑부(220)가 스텝(S90)에서 획득된 수직 라이다 데이터 중 거리 및 각도 정보를 반영하여 갱도의 수직 단면을 맵핑한다(S100).
다음, 3차원 갱도 맵핑부(220)는 스텝(S100)에서 맵핑되는 갱도의 수직 단면 정보에, 스텝(S70)에서 추정된 로봇의 위치 정보와 스텝(S80)에서 추정된 3차원 자세 정보를 융합하여 갱도의 수직 단면을 맵핑한다(S110).
다음, 자율 주행 구동부(210)에 의해 지하광산 자율주행 로봇이 주행되는 동안, 3차원 갱도 맵핑부(220)는 스텝(S110)에서 맵핑되는 갱도의 수직 단면 정보를 적층하여(S120), 갱도에 대한 3차원 맵을 생성한다(S130).
예컨대, 다음의 [수학식 2]에 의해 계산된 갱도 좌표들(CK)을 지하광산 자율주행 로봇이 주행하는 동안 적층하여 하나의 지하광산 갱도에 대한 3차원 맵을 생성할 수 있다.
[수학식 2]
Figure 112021003443269-pat00007
[여기서, CK는 시간 K에서의 로봇의 위치 및 자세 정보와, 라이다 센서의 거리 및 각도 정보를 포함한 3차원 포인트 클라우드 데이터를 나타내고, XK, YK, ZK는 각각 시간 K에서 얻은 포인터 데이터의 X, Y, Z 좌표를 나타낸다]
위와 같이 구성된 본 발명의 실시형태들에 의한 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템과 그 방법에 의하면, 수평 라이다 센서를 이용하여 연속한 두 시간(K, K+1)에 측정한 수평 라이다 데이터(SK, SK+1), 상기 IMU 센서에 의해 측정된 오일러각 형태의 로봇의 3축 자세 정보, 및 상기 엔코더에 의해 측정된 로봇의 이동거리 정보를 이용하여 로봇의 3차원 자세를 추정함과 아울러 로봇의 위치를 추정하며; 수평 라이다 센서에 측정된 수평 라이다 데이터를 이용하여 갱도 내 도로의 중앙선을 인식하여 상기 지하광산 자율주행 로봇의 자율주행을 수행시키며; 추정된 로봇의 3차원 자세 정보 및 위치 정보와, 상기 수직 라이다 데이터를 이용하여 상기 갱도에 대한 3차원 맵을 생성하도록; 구성됨으로써, 지하광산 내부에서 자율주행 로봇의 위치를 정확하게 예상하고 정밀한 3차원 갱도 맵을 작성할 수 있다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : IMU 센서
110 : 엔코더
120 : 수평 라이다 센서
130 : 수직 라이다 센서
200 : 위치 추정부
210 : 자율 주행 구동부
220 : 3차원 갱도 맵핑부

Claims (5)

  1. 지하광산 자율주행 로봇에 장착되어 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세를 측정하도록 구성된 IMU(Inertial Measurement Unit) 센서;
    상기 지하광산 자율주행 로봇에 장착되어 로봇의 이동거리를 측정하도록 구성된 엔코더;
    상기 지하광산 자율주행 로봇의 상부에 설치되고 로봇 진행 방향의 갱도 벽면을 감지하여 수평 라이다 데이터를 획득하도록 구성된 수평 라이다 센서;
    상기 지하광산 자율주행 로봇의 전면에 설치되고 갱도 수직 단면을 감지하여 수직 라이다 데이터를 획득하도록 구성된 수직 라이다 센서;
    상기 수평 라이다 센서를 이용하여 연속한 두 시간(K, K+1)에 측정한 수평 라이다 데이터(SK, SK+1), 상기 IMU 센서에 의해 측정된 오일러각 형태의 로봇의 3축 자세 정보, 및 상기 엔코더에 의해 측정된 로봇의 이동거리 정보를 이용하여 로봇의 3차원 자세를 추정함과 아울러 로봇의 위치를 추정하도록 구성된 위치 추정부;
    상기 수평 라이다 센서에 측정된 수평 라이다 데이터를 이용하여 갱도 내 도로의 중앙선을 인식하여 상기 지하광산 자율주행 로봇의 자율주행을 수행시키도록 구성된 자율 주행 구동부; 및
    상기 위치 추정부에 의해 추정된 로봇의 3차원 자세 정보 및 위치 정보와, 상기 수직 라이다 데이터를 이용하여 상기 갱도에 대한 3차원 맵을 생성하도록 구성된 3차원 갱도 맵핑부;를 포함하고,
    상기 위치 추정부는
    상기 수평 라이다 데이터(SK)를 이용하여 탬플릿 이미지를 생성하고;
    상기 수평 라이다 데이터(SK+1)를 이용하여 타겟 이미지를 생성하고;
    상기 탬플릿 이미지 및 타켓 이미지의 패턴 매칭을 반복수행하여 매칭 정확도 및 로봇 헤딩 각도를 산출하고;
    상기 매칭 정확도가 임계값 이상인지의 여부를 결정하고;
    상기 매칭 정확도가 임계값 이상이면, 상기 위치 추정부 자신에 의해 산출된 로봇 헤딩 각도를 로봇 헤딩 각도로 결정하고;
    상기 IMU 센서에 의해 측정된 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세 정보를 입력받아 이를 로봇의 3차원 자세 정보로 추정하고;
    결정된 상기 로봇 헤딩 각도, 엔코더에 의해 측정된 이동 거리 정보 및 상기 로봇의 3차원 자세 정보를 이용하여 로봇의 위치를 추정하는, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템.
  2. 제 1 항에 있어서,
    상기 지하광산 자율주행 로봇에 설치되어 로봇의 주행과정을 촬영하여 영상 데이터를 사용자 인터페이스 화면에 제공하도록 구성된 웹캠을 더 포함하는, 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템.
  3. 제 1 항에 기재된 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템을 이용한 지하광산 자율주행 로봇의 위치추정 방법으로서,
    수평 라이다 센서에 의해 연속한 두 시간(K, K+1)에 수평 라이다 데이터(SK, SK+1)가 획득되는 단계;
    위치 추정부가 상기 수평 라이다 데이터(SK)를 이용하여 탬플릿 이미지를 생성하는 단계;
    상기 위치 추정부가 상기 수평 라이다 데이터(SK+1)를 이용하여 타겟 이미지를 생성하는 단계;
    상기 위치 추정부가 상기 탬플릿 이미지 및 타켓 이미지의 패턴 매칭을 반복수행하여 매칭 정확도 및 로봇 헤딩 각도를 산출하는 단계;
    상기 위치 추정부가 상기 매칭 정확도가 임계값 이상인지의 여부를 결정하는 단계;
    상기 매칭 정확도가 임계값 이상이면, 상기 위치 추정부가 자신에 의해 산출된 로봇 헤딩 각도를 로봇 헤딩 각도로 결정하는 단계;
    상기 위치 추정부가 IMU 센서에 의해 측정된 로봇의 롤(Roll), 피치(Pitch), 헤딩 각도를 포함하는 오일러각 형태의 로봇의 3축 자세 정보를 입력받아 이를 로봇의 3차원 자세 정보로 추정하는 단계; 및
    상기 위치 추정부가 결정된 상기 로봇 헤딩 각도, 엔코더에 의해 측정된 이동 거리 정보 및 상기 로봇의 3차원 자세 정보를 이용하여 로봇의 위치를 추정하는 단계;를 포함하는 지하광산 자율주행 로봇의 위치추정 방법.
  4. 제 3 항에 있어서,
    상기 임계값 이상 여부 결정 단계에서 상기 매칭 정확도가 임계값 미만이면, 상기 위치 추정부가 IMU 센서에 의해 측정된 로봇의 헤딩 각도를 로봇의 헤딩 각도로 결정하는 단계를 더 포함하고,
    상기 로봇 헤딩 각도 결정 단계 이후, 상기 로봇의 3차원 자세 추정 단계로 진행되는 지하광산 자율주행 로봇의 위치추정 방법.
  5. 제 1 항에 기재된 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3D 갱도 맵핑 시스템을 이용한 3D 갱도 맵핑 방법으로서,
    수직 라이다 센서에 의해 갱도 수직 단면이 감지되어 수직 라이다 데이터가 획득되는 단계;
    3차원 갱도 맵핑부가 상기 수직 라이다 데이터 중 거리 및 각도 정보를 반영하여 갱도의 수직 단면을 맵핑하는 단계;
    상기 3차원 갱도 맵핑부가 맵핑되는 상기 갱도의 수직 단면 정보에 위치 추정부에 의해 추정된 로봇의 위치 및 3차원 자세 정보를 융합하여 갱도의 수직 단면을 맵핑하는 단계; 및
    자율 주행 구동부에 의해 상기 지하광산 자율주행 로봇이 주행되는 동안, 상기 3차원 갱도 맵핑부가 맵핑되는 갱도의 수직 단면 정보를 적층하여 갱도에 대한 3차원 맵을 생성하는 단계;를 포함하는 3D 갱도 맵핑 방법.
KR1020210003495A 2021-01-11 2021-01-11 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법 KR102396675B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210003495A KR102396675B1 (ko) 2021-01-11 2021-01-11 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003495A KR102396675B1 (ko) 2021-01-11 2021-01-11 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법

Publications (1)

Publication Number Publication Date
KR102396675B1 true KR102396675B1 (ko) 2022-05-12

Family

ID=81590514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003495A KR102396675B1 (ko) 2021-01-11 2021-01-11 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법

Country Status (1)

Country Link
KR (1) KR102396675B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116559927A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 激光雷达的航向角确定方法、装置、设备及介质
KR20230173834A (ko) 2022-06-20 2023-12-27 인천대학교 산학협력단 이동 로봇의 야외 경사로에서의 위치 추정 장치 및 방법
KR102637641B1 (ko) * 2022-09-22 2024-02-16 한국지질자원연구원 지하 광산 갱도 및 터널용 초분광 스캐닝 시스템
KR102679075B1 (ko) * 2023-09-15 2024-06-27 현대엔지니어링(주) 공동구 점검 로봇을 이용한 공동구 내부의 실시간 점검 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101017679B1 (ko) 2008-12-17 2011-02-25 한양대학교 산학협력단 센서 네트워크를 이용한 로봇의 위치추적방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101017679B1 (ko) 2008-12-17 2011-02-25 한양대학교 산학협력단 센서 네트워크를 이용한 로봇의 위치추적방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Do, Linh Giang 외 2명, Improved Georeferencing of a Wearable Indoor Mapping System Using NDT and Sensor Integration, Journal of KSSGPC, Vol. 38, No. 5, 425-433, 2020.* *
Heonmoo Kim 외 1명, Comparison of Three Location Estimation Methods of an Autonomous Driving Robot for Underground Mines, Appl. Sci. 2020,* *
Tobias Neumann 외 3명, Towards a Mobile Mapping Robot for Underground Mines, Proceedings of the 2014 Pattern Recognition Association of South Africa(PRASA), Cape Town, South Africa, 27-28 November 2014 *
김헌무 외 1명, 지하광산에서의 자율주행 기술 활용사례 분석, 한국자원공학회지, 2019, vol.56,no.5, 통권 289호 pp. 480-489 (10 pages) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230173834A (ko) 2022-06-20 2023-12-27 인천대학교 산학협력단 이동 로봇의 야외 경사로에서의 위치 추정 장치 및 방법
KR102637641B1 (ko) * 2022-09-22 2024-02-16 한국지질자원연구원 지하 광산 갱도 및 터널용 초분광 스캐닝 시스템
WO2024063370A1 (ko) * 2022-09-22 2024-03-28 한국지질자원연구원 지하 광산 갱도 및 터널용 초분광 스캐닝 시스템
CN116559927A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 激光雷达的航向角确定方法、装置、设备及介质
CN116559927B (zh) * 2023-07-11 2023-09-22 新石器慧通（北京）科技有限公司 激光雷达的航向角确定方法、装置、设备及介质
KR102679075B1 (ko) * 2023-09-15 2024-06-27 현대엔지니어링(주) 공동구 점검 로봇을 이용한 공동구 내부의 실시간 점검 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR102396675B1 (ko) 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
US9142063B2 (en) Positioning system utilizing enhanced perception-based localization
CN110869700B (zh) 用于确定车辆位置的系统和方法
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
US11512975B2 (en) Method of navigating an unmanned vehicle and system thereof
US20090063047A1 (en) Navigational information display system, navigational information display method, and computer-readable recording medium
JP2010122034A (ja) 絶対移動経路算出装置及び方法、並びにプログラム
EP2175237B1 (en) System and methods for image-based navigation using line features matching
AU2014274647A1 (en) Determining terrain model error
EP3799618B1 (en) Method of navigating a vehicle and system thereof
US11866167B2 (en) Method and algorithm for flight, movement, autonomy, in GPS, communication, degraded, denied, obstructed non optimal environment
WO2018102320A1 (en) System for incremental trajectory estimation based on real time inertial sensing
KR101878685B1 (ko) 지도 정보를 이용한 차량 측위 시스템 및 방법
KR20140003987A (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
KR102331312B1 (ko) 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템
AU2014274650A1 (en) Processing of terrain data
JP2022553750A (ja) 地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置
CN110864692A (zh) 掘进机的位姿确定方法
Chiang et al. Semantic proximity update of GNSS/INS/VINS for seamless vehicular navigation using smartphone sensors
AU2014274649A1 (en) System and method for modelling worksite terrain
Deusch et al. Improving localization in digital maps with grid maps
KR20200020200A (ko) 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법
CN111352139B (zh) 扫描设备自主导向方法、装置和扫描设备
US10830906B2 (en) Method of adaptive weighting adjustment positioning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant