KR102162439B1

KR102162439B1 - Supporting apparatus for autonomous mobile, and control method thereof

Info

Publication number: KR102162439B1
Application number: KR1020190169018A
Authority: KR
Inventors: 박재홍
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2020-10-06

Abstract

The present invention relates to an autonomous mobile robot, and more specifically, to an autonomous movement support device that supports the location recognition and surrounding environment observation of the autonomous mobile robot by additionally applying a 360 camera besides a LIDAR sensor, and an operation method of the autonomous movement support device. The autonomous movement support device includes a generation unit, a conversion unit, a matching unit, and a determination unit.

Description

Operation method of autonomous movement support device and autonomous movement support device {SUPPORTING APPARATUS FOR AUTONOMOUS MOBILE, AND CONTROL METHOD THEREOF}

본 발명은, 자율이동로봇(AMR, Autonomous Mobile Robot)에 관한 것으로서, 라이다(LIDAR) 센서 이외에 360카메라를 추가 적용하여 자율이동로봇의 위치 인식 및 주변 환경 관측을 지원하기 위한 방안에 관한 것이다.The present invention relates to an Autonomous Mobile Robot (AMR), and to a method for supporting position recognition and observation of the surrounding environment of an autonomous mobile robot by additionally applying a 360 camera in addition to a LIDAR sensor.

자율이동로봇(AMR, Autonomous Mobile Robot)은 산업분야에 널리 사용되고 발전되어온 로봇(Robot)이 응용 발전된 것으로, 근래에는 관공서, 오피스, 각 가정 등에 널리 사용되고 있다.Autonomous Mobile Robot (AMR) is an application developed by a robot that has been widely used and developed in the industrial field, and in recent years, it is widely used in government offices, offices, and homes.

다만, 지금까지의 자율이동로봇은 단순한 작업을 반복 수행하는 기능에 한정되는 것이 대부분인 관계로, 자율이동로봇의 작업공간은 매우 제한적이며, 특정한 목적의 작업을 수행하게 제작되어 그 활용의 범위가 매우 한정되는 단점이 있다.However, since most of the autonomous mobile robots so far are limited to functions that perform simple tasks repeatedly, the work space of autonomous mobile robots is very limited, and the range of use is very limited because they are designed to perform tasks for specific purposes. There are limited drawbacks.

이러한 단점을 극복하기 위해, 미지의 환경에서 사전지식 없이 스스로 그 환경에 대처할 수 있는 기능이 탑재된 자율이동로봇이 출시되고 있으며, 이와 같은 다양한 기능을 갖는 자율이동로봇은 이동이 가능하기 때문에 작업영역이 넓으며, 특정 기능을 추가하여 보다 많은 서비스 분야에 적용할 수 있다.In order to overcome these shortcomings, autonomous mobile robots equipped with functions that can cope with the environment by themselves without prior knowledge in unknown environments are being released, and autonomous mobile robots with such various functions can move, so the work area It is wide and can be applied to more service fields by adding specific functions.

한편, 이처럼 진일보된 자율이동로봇은 자율이동이 가장 주된 기능으로서 이를 위해선 현재 위치를 인지하는 것이 필수적이다.On the other hand, for the advanced autonomous mobile robot, autonomous movement is the main function, and for this purpose, it is essential to recognize the current location.

이와 관련하여, 자율이동로봇에서는 라이다(LIDAR) 센서를 이용하여 지도를 작성하고 이를 토대로 현재 위치를 파악하는 SLAM(Simultaneous Localization And Mapping) 방식이 적용되는 것이 일반적이었다.In this regard, it was common for autonomous mobile robots to use a LIDAR sensor to create a map and to use the SLAM (Simultaneous Localization And Mapping) method to determine the current location based on this.

그러나, 이처럼 라이다 센서만을 이용하는 SLAM 방식은 주변 환경이 조금만 변해도 지도를 다시 작성해야 하며, 이로 인해 지도 작성을 위한 학습에 과도한 시간 및 비용이 소요되는 문제점이 있다.However, in the SLAM method using only the LiDAR sensor, the map needs to be rewritten even if the surrounding environment changes slightly, and thus, there is a problem that excessive time and cost are required for learning to create a map.

이에, 본 발명에서는, 라이다 센서만을 이용한 SLAM 방식이 가지는 위 문제점을 해결할 수 있는 새로운 방안을 제안하고자 한다.Accordingly, in the present invention, a new method for solving the above problem of the SLAM method using only the lidar sensor is proposed.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 라이다(LIDAR) 센서 이외에 360카메라를 추가 적용하여 자율이동로봇의 위치 인식 및 주변 환경 관측을 효과적으로 지원하는데 있다.The present invention was created in view of the above circumstances, and an object to be reached in the present invention is to effectively support the position recognition of the autonomous mobile robot and observation of the surrounding environment by additionally applying a 360 camera in addition to the LIDAR sensor. .

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 자율이동지원장치는, 360카메라의 직선왜곡(rectilinear distortion) 특성에 따라 라이다(LIDAR) 센서를 통해 인식된 직선 좌표를 360카메라에서의 곡선 좌표로 변환하기 위한 매핑테이블을 생성하는 생성부; 관측 영역에 대해 상기 라이다 센서를 이용하여 작성된 제1객체인식지도가 존재하는 경우, 상기 매핑테이블을 기초로, 상기 제1객체인식지도 내 좌표를 360카메라에서의 좌표로 변환하여 제2객체인식지도를 생성하는 변환부; 및 상기 라이다 센서를 통해서 관측되는 상기 제1객체인식지도 내 자율이동로봇의 위치를 상기 제2객체인식지도 내 위치로 매칭시켜, 상기 자율이동로봇으로 하여금 상기 제1객체인식지도 및 상기 제2객체인식지도 중 적어도 하나를 참조로 상기 관측 영역 내 위치를 인식할 수 있도록 하는 매칭부를 포함하는 것을 특징으로 한다.In an autonomous movement support apparatus according to an embodiment of the present invention for achieving the above object, the linear coordinates recognized through the LIDAR sensor according to the rectilinear distortion characteristic of the 360 camera are converted to the curve in the 360 camera. A generator for generating a mapping table for converting to coordinates; When there is a first object-type map created using the lidar sensor for the observation area, based on the mapping table, the coordinates in the first object-recognition map are converted into coordinates from 360 cameras, A conversion unit for generating a map; And by matching the position of the autonomous mobile robot observed through the lidar sensor in the first object-type map with the location in the second object-type map, the autonomous mobile robot causes the first object-type map and the second And a matching unit configured to recognize a location within the observation area with reference to at least one of the object recognition maps.

구체적으로, 상기 생성부는, 상기 라이다 센서를 중심으로 한 양측 직선 상에 객체를 배치한 테스트 영역에서, 상기 라이다 센서에 대해 설정 각도로 배치된 각 객체의 직선 좌표를 상기 360카메라가 촬영한 상기 테스트 영역 내 동일한 각 객체의 곡선 좌표로 매핑시킬 수 있다.Specifically, the generation unit, in a test area in which objects are arranged on both straight lines centered on the lidar sensor, the 360 camera captures the linear coordinates of each object arranged at a set angle with respect to the lidar sensor. It can be mapped to the curve coordinates of the same object in the test area.

구체적으로, 상기 생성부는, 상기 라이다 센서에 대해 설정 각도의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 사이의 눈금 별 직선 좌표를, 상기 360카메라가 촬영한 상기 텍스트 영역 내 동일한 두 객체 사이의 각각의 곡선 좌표로 매핑시킬 수 있다.Specifically, the generation unit calculates linear coordinates for each scale between two objects adjacent to each other on one straight line at intervals of a set angle with respect to the lidar sensor, and two identical objects in the text area photographed by the 360 camera. It can be mapped to the coordinates of each curve in between.

구체적으로, 상기 자율이동지원장치는, 상기 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우, 상기 특정 객체를 제외한 나머지 객체의 위치 변화를 기초로 상기 관측 영역에 대한 지도의 부분 갱신 또는 재 생성을 판별하는 판별부를 더 포함할 수 있다.Specifically, when a change in the location of a specific object in the observation area is observed, the autonomous movement support device performs partial update or regeneration of the map for the observation area based on the change in the location of other objects except the specific object. It may further include a determining unit to determine.

구체적으로, 상기 판별부는, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 상기 나머지 객체의 위치가 상기 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되고, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위 이내인 경우, 상기 제1객체인식지도 및 상기 제2객체인식지도에 대해 상기 특정 객체의 좌표만을 갱신하는 것으로 판별하며, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 상기 나머지 객체의 위치가 상기 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되지 않거나, 기 설정된 오차범위를 초과하는 경우에는, 상기 제1객체인식지도 및 상기 제2객체인식지도를 재 생성하는 것으로 판별할 수 있다.Specifically, the determination unit, the position of the remaining object observed using each of the lidar sensor and the 360 camera coincides with the coordinates of the object in the first object recognition map and the second object recognition map, and the If the difference between the position observed using each of the sensor and the 360 camera is within a preset error range, it is determined that only the coordinates of the specific object are updated with respect to the first object recognition map and the second object recognition map, and , The position of the remaining object observed using each of the lidar sensor and the 360 camera does not match the coordinates of the object in the first object recognition map and the second object recognition map, or exceeds a preset error range In this case, it can be determined by regenerating the first object recognition map and the second object recognition map.

구체적으로, 상기 오차범위는, 상기 제1객체인식지도, 및 상기 제2객체인식지도가 존재하는 테스트 영역에 테스트 객체를 임의로 배치하여, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 상기 테스트 객체의 위치 차이를 기초로 설정될 수 있다.Specifically, the error range is determined by randomly arranging a test object in a test area in which the first object-recognition map and the second object-recognition map exist, and the observed using each of the lidar sensor and the 360 camera. It can be set based on the position difference of the test object.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 자율이동지원장치의 동작 방법은, 360카메라의 직선왜곡(rectilinear distortion) 특성에 따라 라이다(LIDAR) 센서를 통해 인식된 직선 좌표를 360카메라에서의 곡선 좌표로 변환하기 위한 매핑테이블을 생성하는 생성단계; 관측 영역에 대해 상기 라이다 센서를 이용하여 작성된 제1객체인식지도가 존재하는 경우, 상기 매핑테이블을 기초로, 상기 제1객체인식지도 내 좌표를 360카메라에서의 좌표로 변환하여 제2객체인식지도를 생성하는 변환단계; 및 상기 라이다 센서를 통해서 관측되는 상기 제1객체인식지도 내 자율이동로봇의 위치를 상기 제2객체인식지도 내 위치로 매칭시켜, 상기 자율이동로봇으로 하여금 상기 제1객체인식지도 및 상기 제2객체인식지도 중 적어도 하나를 참조로 상기 관측 영역 내 위치를 인식할 수 있도록 하는 매칭단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method of operating an autonomous movement support device according to an embodiment of the present invention includes a linear coordinate recognized by a LIDAR sensor according to a rectilinear distortion characteristic of a 360 camera. A generating step of generating a mapping table for converting to curve coordinates in When there is a first object-type map created using the lidar sensor for the observation area, based on the mapping table, the coordinates in the first object-recognition map are converted into coordinates from 360 cameras, A conversion step of generating a map; And by matching the position of the autonomous mobile robot observed through the lidar sensor in the first object-type map with the location in the second object-type map, the autonomous mobile robot causes the first object-type map and the second And a matching step of recognizing a location within the observation area with reference to at least one of the object recognition maps.

구체적으로, 상기 생성단계는, 상기 라이다 센서를 중심으로 한 양측 직선 상에 객체를 배치한 테스트 영역에서, 상기 라이다 센서에 대해 설정 각도로 배치된 각 객체의 직선 좌표를 상기 360카메라가 촬영한 상기 테스트 영역 내 동일한 각 객체의 곡선 좌표로 매핑시킬 수 있다.Specifically, in the generation step, the 360 camera photographs the linear coordinates of each object arranged at a set angle with respect to the lidar sensor in a test area in which objects are arranged on both straight lines centered on the lidar sensor. It can be mapped to the curve coordinates of each object in the same test area.

구체적으로, 상기 생성단계는, 상기 라이다 센서에 대해 설정 각도의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 사이의 눈금 별 직선 좌표를, 상기 360카메라가 촬영한 상기 텍스트 영역 내 동일한 두 객체 사이의 각각의 곡선 좌표로 매핑시킬 수 있다.Specifically, in the generating step, the linear coordinates for each scale between two objects arranged adjacent to each other on one straight line at intervals of a set angle with respect to the LiDAR sensor, and the same two in the text area photographed by the 360 camera. You can map the coordinates of each curve between objects.

구체적으로, 상기 방법은, 상기 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우, 상기 특정 객체를 제외한 나머지 객체의 위치 변화를 기초로 상기 관측 영역에 대한 지도의 부분 갱신 또는 재 생성을 판별하는 판별단계를 더 포함할 수 있다.Specifically, the method, when a change in the location of a specific object in the observation area is observed, discriminating a partial update or regeneration of the map for the observation area based on the change in the location of other objects excluding the specific object It may further include a step.

구체적으로, 상기 판별단계는, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 상기 나머지 객체의 위치가 상기 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되고, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위 이내인 경우, 상기 제1객체인식지도 및 상기 제2객체인식지도에 대해 상기 특정 객체의 좌표만을 갱신하는 것으로 판별하며, 상기 라이다 센서 및 상기 360카메라 각각을 이용하여 관측된 상기 나머지 객체의 위치가 상기 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되지 않거나, 기 설정된 오차범위를 초과하는 경우에는, 상기 제1객체인식지도 및 상기 제2객체인식지도를 재 생성하는 것으로 판별할 수 있다.Specifically, in the determining step, the position of the remaining object observed using each of the LiDAR sensor and the 360 camera coincides with the coordinates of the object in the first object recognition map and the second object recognition map, and the When the difference between the positions observed using the lidar sensor and each of the 360 cameras is within a preset error range, it is determined that only the coordinates of the specific object are updated with respect to the first object recognition map and the second object recognition map. And, the position of the remaining object observed using each of the lidar sensor and the 360 camera does not coincide with the coordinates of the object in the first object-recognition map and the second object-recognition map, or exceeds a preset error range If so, it can be determined by regenerating the first object recognition map and the second object recognition map.

이에, 본 발명의 자율이동지원장치 및 자율이동지원장치의 동작 방법에 의하면, 라이다(LIDAR) 센서를 이용하여 작성된 지도(제1객체인식지도)를 360카메라를 위한 지도(제2객체인식지도)로 변환하여 라이다 센서 이외에 360카메라를 탑재한 자율이동로봇의 위치 인식 및 주변 환경 관측을 지원함으로써, 자율이동로봇 위치 인식의 정확도 제고할 수 있으며, 또한, 자율이동로봇의 주변 환경 변동 시 라이다(LIDAR) 센서를 이용하여 작성된 지도(제1객체인식지도)와 360카메라를 위한 지도(제2객체인식지도)를 활용한 크로스 체크를 통해 동일한 지도의 불필요한 반복 생성(작성)을 방지할 수 있다.Accordingly, according to the operation method of the autonomous movement support device and the autonomous movement support device of the present invention, a map (a first object-type map) created using a LIDAR sensor is a map for a 360 camera (a second object-type map). ) To recognize the location of the autonomous mobile robot equipped with a 360 camera in addition to the lidar sensor and observe the surrounding environment, thereby improving the accuracy of the autonomous mobile robot's position recognition. It is possible to prevent unnecessary repetitive generation (creation) of the same map through cross-check using maps created using the LIDAR sensor (first object map) and map for 360 cameras (second object map). have.

도 1은 본 발명의 일 실시예에 따른 자율 이동 지원 환경을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 자율이동지원장치의 개략적인 구성도.
도 3은 본 발명의 일 실시예에 따른 매핑테이블을 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 관측 영역 내 객체의 위치 변화를 설명하기 위한 예시도.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 자율이동지원장치의 동작 방법을 설명하기 위한 순서도.1 is an exemplary view for explaining an autonomous movement support environment according to an embodiment of the present invention.
2 is a schematic configuration diagram of an autonomous movement support device according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a mapping table according to an embodiment of the present invention.
4 is an exemplary view for explaining a change in a position of an object in an observation area according to an embodiment of the present invention.
5 to 7 are flow charts for explaining a method of operating an autonomous movement support device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 자율 이동 지원 환경을 보여주고 있다.1 shows an environment for supporting autonomous movement according to an embodiment of the present invention.

본 발명의 일 실시예에서는 주변 환경에 대처할 수 있는 기능이 탑재된 자율이동로봇(1)의 자율이동을 지원하기 위한 기술을 다룬다.In one embodiment of the present invention, a technology for supporting autonomous movement of the autonomous mobile robot 1 equipped with a function capable of coping with the surrounding environment is dealt with.

이러한, 자율이동로봇(1)에는 라이다(LIDAR) 센서가 탑재되며, 이를 토대로 현재 위치를 파악하는 SLAM(Simultaneous Localization And Mapping) 방식이 적용될 수 있다.The autonomous mobile robot 1 is equipped with a LIDAR sensor, and based on this, a Simultaneous Localization And Mapping (SLAM) method of determining a current location may be applied.

이처럼, 라이다 센서를 이용하는 SLAM 방식에서는, 라이다 센서를 통해 주변 환경을 인식 및 학습하여 지도를 작성하여, 자율이동로봇(1)으로 하여금 작성된 지도를 참조로 영역 내 위치 인식 및 객체를 관측할 수 있도록 지원할 수 있다.In this way, in the SLAM method using the LiDAR sensor, the LIDAR sensor recognizes and learns the surrounding environment to create a map, so that the autonomous mobile robot 1 can recognize the location in the area and observe the object with reference to the created map. You can apply to help.

헌데, 라이다 센서를 이용하는 SLAM 방식에서는 주변 환경이 조금만 변해도 지도를 다시 작성하는 것이 요구되며, 이로 인해 지도 작성을 위한 학습에 과도한 시간 및 비용이 소요되는 문제점이 있다.However, in the SLAM method using the lidar sensor, it is required to rewrite the map even if the surrounding environment changes slightly, and thus, there is a problem that excessive time and cost are required for learning for the map creation.

이에, 본 발명의 일 실시예에서는, 시야각(FOV, Field of View)이 크고 실시간성이 보장되는 5G 기반 360카메라를 위치 인식 및 주변 환경 관측을 위해 적용하게 된다.Accordingly, in an embodiment of the present invention, a 5G-based 360 camera having a large field of view (FOV) and guaranteed real-time is applied for location recognition and observation of the surrounding environment.

따라서, 본 발명의 일 실시예에 따른 자율이동로봇(1)에는 라이다 센서 이외에 360카메라가 추가 탑재된다.Therefore, in addition to the lidar sensor, the autonomous mobile robot 1 according to an embodiment of the present invention is additionally equipped with a 360 camera.

한편, 본 발명의 일 실시예에 따른 자율 이동 지원 환경에서는, 이처럼, 라이다(LIDAR) 센서 이외에 360카메라를 추가 탑재하게 되는 자율이동로봇(1)의 위치 인식 및 주변 환경 관측을 지원하기 위한 구성인 자율이동지원장치(100)를 포함한다.On the other hand, in the autonomous movement support environment according to an embodiment of the present invention, as described above, a configuration for supporting position recognition and observation of the surrounding environment of the autonomous mobile robot 1 that additionally mounts 360 cameras in addition to the LIDAR sensor. It includes an autonomous movement support device 100.

이러한, 자율이동지원장치(100)는 자율이동로봇(1)과 일체화된 컴퓨팅 디바이스 형태로 구현되거나, 자율이동로봇(1)과는 별도의 컴퓨팅 디바이스 또는 별도의 서버의 형태로 구현될 수 있다.The autonomous movement support apparatus 100 may be implemented in the form of a computing device integrated with the autonomous mobile robot 1, or may be implemented in the form of a separate computing device or a separate server from the autonomous mobile robot 1.

결국, 본 발명의 일 실시예에 따른 자율 이동 지원 환경에서는 전술한 구성을 통해 라이다 센서 이외에 360카메라를 위치 인식에 추가 적용하여 자율이동로봇(1)의 위치 인식 및 주변 환경 관측을 효과적으로 지원할 수 있는데, 이하에서는 이를 실현하기 위한 자율이동지원장치(100)의 구성에 대해 보다 구체적인 설명을 이어 가기로 한다.After all, in the autonomous movement support environment according to an embodiment of the present invention, a 360 camera in addition to the lidar sensor is additionally applied to position recognition through the above-described configuration to effectively support the position recognition of the autonomous mobile robot 1 and observation of the surrounding environment. However, in the following, a more detailed description of the configuration of the autonomous movement support device 100 for realizing this will be continued.

도 2는 본 발명의 일 실시예에 따른 자율이동지원장치(100)의 구성을 개략적으로 보여주고 있다.2 schematically shows the configuration of the autonomous movement support apparatus 100 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 자율이동지원장치(100)는 매핑테이블을 생성하는 생성부(10), 좌표를 변환하는 변환부(20), 위치를 매칭시키는 매칭부(30)를 포함하는 구성을 가질 수 있다.As shown in Fig. 2, the autonomous movement support apparatus 100 according to an embodiment of the present invention includes a generator 10 for generating a mapping table, a conversion unit 20 for converting coordinates, and a matching for matching a location. It may have a configuration including the unit 30.

또한, 본 발명의 일 실시예에 따른 자율이동지원장치(100)는 전술한 구성 이외에, 지도의 갱신 또는 재 생성(작성)을 판별하는 판별부(40)를 더 포함할 수 있다.In addition, the autonomous movement support apparatus 100 according to an embodiment of the present invention may further include a determination unit 40 for determining update or regeneration (creating) of a map in addition to the above-described configuration.

이러한, 자율이동지원장치(100)의 전체 구성 내지는 적어도 일부의 구성은 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 내지는 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.The entire configuration or at least a portion of the configuration of the autonomous movement support apparatus 100 may be implemented in the form of a hardware module or a software module, or a combination of a hardware module and a software module.

여기서, 소프트웨어 모듈이란, 예컨대, 자율이동지원장치(100) 내에서 연산을 처리하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 자율이동지원장치(100) 내 별도의 메모리에 탑재된 형태를 가질 수 있다.Here, the software module may be understood as, for example, an instruction executed by a processor that processes an operation in the autonomous movement support device 100, and such a command is mounted in a separate memory in the autonomous movement support device 100. It can have a shape.

한편, 본 발명의 일 실시예에 따른 자율이동지원장치(100)는 자율이동로봇(1)과는 별도의 컴퓨팅 디바이스 또는 별도의 서버 형태로 구현되는 경우, 자율이동로봇(1)과의 실질적인 통신 기능을 담당하는 RF 모듈인 통신부(50)를 더 포함하는 구성을 가질 수 있다.On the other hand, when the autonomous movement support apparatus 100 according to an embodiment of the present invention is implemented in the form of a separate computing device or a separate server from the autonomous mobile robot 1, actual communication with the autonomous mobile robot 1 It may have a configuration that further includes a communication unit 50, which is an RF module in charge of a function.

이상 본 발명의 일 실시예에 따른 자율이동지원장치(100)는 전술한 구성을 통해 라이다 센서 이외에 360카메라를 위치 인식에 추가 적용하여 자율이동로봇(1)의 위치 인식 및 주변 환경 관측을 효과적으로 지원할 수 있는데, 이하에서는 이를 실현하기 위한 자율이동지원장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.As described above, the autonomous movement support apparatus 100 according to an embodiment of the present invention effectively recognizes the location of the autonomous mobile robot 1 and observes the surrounding environment by additionally applying a 360 camera to position recognition in addition to the lidar sensor through the above-described configuration. It can be supported. Hereinafter, each component in the autonomous movement support device 100 for realizing this will be described in more detail.

생성부(10)는 지도 변환을 위한 매핑테이블을 생성하는 기능을 수행한다.The generation unit 10 performs a function of generating a mapping table for map transformation.

보다 구체적으로, 생성부(10)는 라이다 센서와 360카메라 간 지도 변환을 위한 매핑테이블을 생성하게 된다.More specifically, the generation unit 10 generates a mapping table for map conversion between the lidar sensor and the 360 camera.

이하에서 서술되지만, 본 발명의 일 실시예에서는 360카메라를 이용한 위치 인식을 위해 라이다 센서를 이용하여 작성한 지도(이하, 제1객체인식지도)를 변환하여 360카메라를 위한 지도(이하, 제2객체인식지도)를 생성하는 방식을 채택하게 된다.Although described below, in an embodiment of the present invention, a map created using a lidar sensor (hereinafter, a first object-recognition map) is converted to recognize a location using a 360 camera, and the map for the 360 camera (hereinafter, referred to as the second Object recognition map) is created.

이를 위해선, 제1객체인식지도 내 좌표를 360카메라에서의 좌표로 변환할 필요가 있으며, 이러한 좌표 변환을 위해선 매핑테이블이 요구된다.To this end, it is necessary to convert coordinates in the first object-type map into coordinates at 360 cameras, and a mapping table is required for such coordinate conversion.

즉, 360카메라의 경우, 어안렌즈를 사용함에 따라 직선이 곡선으로 보이는 직선왜곡(rectilinear distortion) 특성을 가지게 되며, 이로 인해 라이다 센서를 통해 인식된 직선 좌표를 360카메라의 곡선 좌표로 변환하기 위해서는 어안렌즈의 직선왜곡 특성을 고려한 직선 좌표 별 매핑값이 기록된 매핑테이블이 요구되는 것이다.That is, in the case of a 360 camera, as a fisheye lens is used, a straight line has a characteristic of rectilinear distortion that looks like a curve, and for this reason, in order to convert the linear coordinates recognized through the lidar sensor into the curved coordinates of the 360 camera The mapping table in which the mapping values for each linear coordinate considering the linear distortion characteristics of the fisheye lens are recorded is required.

이를 위해, 생성부(10)는 라이다 센서를 중심으로 한 양측 직선 상에 객체를 배치한 테스트 영역에서, 라이다 센서에 대해 설정 각도(예: 0°, 45°, 135°, 및 180°)로 배치된 각 객체의 직선 좌표를 상기 360카메라가 촬영한 상기 테스트 영역 내 동일한 각 객체의 곡선 좌표로 매핑시키는 방식을 통해 매핑테이블의 매핑값을 기록한다.To this end, the generation unit 10 has a set angle (eg, 0°, 45°, 135°, and 180°) with respect to the lidar sensor in a test area in which objects are arranged on both straight lines centered on the lidar sensor. The mapping value of the mapping table is recorded by mapping the linear coordinates of each object arranged as) to the curved coordinates of each object in the test area photographed by the 360 camera.

예를 들어, 도 3 (a)에서와 같이, 테스트 영역에서 라이다 센서에 대해 각각 0°와 180°의 위치에 객체 A와, D를 배치시키고, 객체 A와, D의 직선 좌표를 도 3 (B)에서와 같이, 360카메라가 촬영한 테스트 영역 내 동일한 각 객체 A'와, D'의 곡선 좌표로 매핑시킬 수 있다.For example, as shown in FIG. 3 (a), objects A and D are placed at positions of 0° and 180° with respect to the lidar sensor in the test area, and linear coordinates of objects A and D are shown in FIG. 3 As in (B), the same object A'and D'in the test area captured by the 360 camera can be mapped to the curved coordinates.

또한, 테스트 영역에서 라이다 센서의 위치에 대해 0°와 180°에 위치한의 객체 A와, D에 대한 곡선 좌표의 매핑이 완료되면, 도 3 (a)에서와 같이, 테스트 영역에서 라이다 센서에 대해 45°와 135°의 위치에 객체 B와, C를 배치시켜, 객체 B와, C의 직선 좌표를 도 3 (B)에서와 같이, 360카메라가 촬영한 테스트 영역 내 동일한 각 객체 B'와, C'의 곡선 좌표로 매핑시킬 수 있다.In addition, when the mapping of the curve coordinates for objects A and D located at 0° and 180° with respect to the position of the lidar sensor in the test area is completed, as shown in FIG. 3(a), the lidar sensor in the test area Objects B and C are placed at positions 45° and 135° for each of the same objects B'in the test area captured by the 360 camera, as shown in FIG. 3(B), by placing the objects B and C. Wow, it can be mapped to C'curve coordinates.

또한, 생성부(10)는 라이다 센서에 대해 설정 각도(예: 0°, 45°, 135°, 및 180°)로 배치된 각 객체에 대한 곡선 좌표로의 매핑이 완료되면, 라이다 센서에 대해 설정 각도의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 사이의 눈금 별 직선 좌표를, 360카메라가 촬영한 텍스트 영역 내 동일한 두 객체 사이의 각각의 곡선 좌표로 추가 매핑시키는 방식을 통해서 매핑테이블의 매핑값 기록을 완료할 수 있다.In addition, when the mapping to the curve coordinates for each object arranged at a set angle (eg, 0°, 45°, 135°, and 180°) with respect to the LiDAR sensor is completed, the generation unit 10 For each scale, the straight line coordinates of each scale between two objects arranged adjacent to each other on a straight line at the set angle interval are additionally mapped to each curve coordinate between the same two objects in the text area captured by the 360 camera. Recording of the mapping values in the mapping table can be completed.

예를 들어, 앞서 예시한 도 3 (a)에서와 같이, 라이다 센서에 대해 45°의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 A와, B 사이를 1°씩 구분하는 눈금(S)을 배치시키고, 이러한 눈금(S)에 의해 구분되는 각 지점의 직선 좌표를 앞서 예시한 도 3 (B)에서와 같이 360카메라가 촬영한 테스트 영역 내 동일한 각 객체 A'와, B' 사이의 눈금(S')에 의해 1°씩 구분되는 각 지점의 곡선 좌표로 매핑시킬 수 있는 것이다.For example, as illustrated in FIG. 3 (a) illustrated above, a scale that divides the lidar sensor by 1° between two objects A and B arranged adjacent to each other on a straight line at an interval of 45° ( S) is placed, and the linear coordinates of each point separated by this scale (S) are shown between the same objects A'and B'in the test area taken by the 360 camera as in Fig. 3 (B) exemplified above. It can be mapped to the curve coordinates of each point separated by 1° by the scale (S') of.

변환부(20)는 제1객체인식지도를 제2객체인식지도로 변환하는 기능을 수해한다.The conversion unit 20 accepts a function of converting the first object-recognized map into a second object-recognized map.

보다 구체적으로, 변환부(20)는 관측 영역에 대해 라이다 센서를 이용하여 작성된 제1객체인식지도가 존재하는 경우, 제1객체인식지도를 360카메라를 위한 제2객체인식지도로 변환하게 된다.More specifically, the conversion unit 20 converts the first object-recognition map into a second object-recognition map for 360 cameras when there is a first object-recognition map created using a lidar sensor for the observation area. .

이때, 변환부(20)는 제1객체인식지도 내 직선 좌표를 전술한 매핑테이블 내 매핑값을 이용하여 360카메라에서의 곡선 좌표로 변환함으로써, 360카메라를 위한 제2객체인식지도를 생성할 수 있다.At this time, the conversion unit 20 converts the linear coordinates in the first object-recognition map into curved coordinates in the 360 camera by using the mapping value in the above-described mapping table, thereby generating a second object-recognition map for the 360 camera. have.

매칭부(30)는 자율이동로봇(1)의 위치를 매칭시키는 기능을 수행한다.The matching unit 30 performs a function of matching the position of the autonomous mobile robot 1.

보다 구체적으로, 매칭부(30)는 360카메라를 위한 제2객체인식지도가 생성되면, 제1객체인식지도 내 자율이동로봇(1)의 위치를 제2객체인식지도 내 위치로 매칭시키게 된다.More specifically, when a second object-recognized map for 360 cameras is generated, the matching unit 30 matches the position of the autonomous mobile robot 1 in the first object-recognized map with the position in the second object-recognized map.

이때, 매칭부(30)는 라이다 센서를 통해서 관측되는 제1객체인식지도 내 자율이동로봇(1)의 위치를 매핑테이블을 참조로 제2객체인식지도 내 위치로 매칭시킴으로써, 자율이동로봇(1)으로 하여금 제1객체인식지도 및 제2객체인식지도 중 적어도 하나를 참조로 관측 영역 내 위치를 인식하고, 주변 환경을 관측할 수 있도록 지원할 수 있다.At this time, the matching unit 30 matches the position of the autonomous mobile robot 1 in the first object-recognized map observed through the lidar sensor with the position in the second object-recognized map with reference to the mapping table, so that the autonomous mobile robot ( It is possible to support 1) to recognize a location in the observation area by referring to at least one of the first object-type map and the second object-type map, and to observe the surrounding environment.

한편, 본 발명의 일 실시예에는 제1객체인식지도 내 자율이동로봇(1)의 위치를 제2객체인식지도 내 위치로 매칭시켜 관측 영역 내 위치를 인식하고, 주변 환경을 관측을 지원하는 과정에서, 예컨대, 도 4에 도시된 바와 같이 관측 영역 내 특정 객체(b-b')의 위치 변화가 관측되는 경우를 고려할 수 있다.Meanwhile, in an embodiment of the present invention, a process of recognizing the location in the observation area by matching the location of the autonomous mobile robot 1 in the first object-oriented map with the location in the second object-oriented map, and supporting observation of the surrounding environment. For example, as illustrated in FIG. 4, a case in which a change in the position of a specific object b-b' in the observation area is observed may be considered.

이처럼, 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우 본 발명의 일 실시예에서는, 관측 영역에 대해 기 생성(작성)된 제1객체인식지도와 제2객체인식지도를 부분 갱신하거나, 혹은 재 생성(작성)이 필요한지 여부를 판별할 필요가 있다.As described above, when a change in the position of a specific object in the observation area is observed, in an embodiment of the present invention, the first object-recognition map and the second object-recognition map previously created (created) for the observation area are partially updated, or It is necessary to determine whether or not generation (creation) is necessary.

이에, 판별부(40)는 관측 영역에 대한 지도 갱신 또는 재 생성(작성)을 판별하는 기능을 수행한다.Accordingly, the determination unit 40 performs a function of determining updating or regenerating (creating) a map for the observation area.

보다 구체적으로, 판별부(40)는 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우, 해당 객체를 제외한 나머지 객체의 위치 변화를 기초로 관측 영역에 대한 지도의 부분 갱신 또는 재 생성을 판별하게 된다.More specifically, when a change in the location of a specific object in the observation area is observed, the determination unit 40 determines a partial update or regeneration of the map for the observation area based on the change in the location of the other objects excluding the object. .

이때, 판별부(40)는 라이다 센서 및 360카메라 각각을 이용하여 나머지 객체의 위치가 제1객체인식지도 및 제2객체인식지도 내 객체의 좌표와 일치되고, 또한 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위 이내인 경우, 제1객체인식지도 및 상기 제2객체인식지도에 대해 위치 변화가 관측된 특정 객체의 좌표만을 갱신하는 것으로 판별할 수 있다.At this time, the determination unit 40 uses the lidar sensor and the 360 camera, respectively, so that the position of the remaining object is consistent with the coordinates of the object in the first object-type map and the second object-type map, and the lidar sensor and the 360 camera respectively When the difference between the observed locations using is within a preset error range, it may be determined by updating only the coordinates of a specific object whose location change is observed with respect to the first object recognition map and the second object recognition map.

여기서, 나머지 객체의 위치가 제1객체인식지도 및 제2객체인식지도 내 객체의 좌표와 일치된다는 것은, 앞서 예시한 도 4에서 위치 변화가 관측된 특정 객체(b-b')를 제외한 나머지 객체(a-a', c-c', d-d')의 위치 변화가 관측되지 않으며, 나머지 객체(a-a', c-c', d-d') 중 적어도 일부 객체의 위치 변화가 일부 관측된다 하더라도 그 위치 변화의 정도가 전체 비율에서 임계치(%) 이하인 것을 의미할 수 있다.Here, the fact that the location of the remaining objects coincides with the coordinates of the objects in the first object-recognition map and the second object-recognition map, except for the specific object (b-b') where the position change is observed in FIG. The position change of (a-a', c-c', d-d') is not observed, and the position change of at least some of the remaining objects (a-a', c-c', d-d') Even if some are observed, it may mean that the degree of the position change is less than or equal to the critical value (%) in the total ratio.

반면, 판별부(40)는 라이다 센서 및 360카메라 각각을 이용하여 관측된 나머지 객체의 위치가 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되지 않거나, 또는 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위를 초과하는 경우에는, 제1객체인식지도 및 제2객체인식지도를 재 생성하는 것으로 판별할 수 있다.On the other hand, the determination unit 40 does not match the coordinates of the object in the first object-recognition map and the second object-recognition map, or the position of the remaining object observed using each of the lidar sensor and the 360 camera, or the lidar sensor And when the difference between the locations observed using each of the 360 cameras exceeds a preset error range, it may be determined that the first object recognition map and the second object recognition map are regenerated.

여기서, 나머지 객체의 위치가 제1객체인식지도 및 제2객체인식지도 내 객체의 좌표로 변동된다는 것은, 앞서 예시한 도 4에서 위치 변화가 관측된 특정 객체(b-b')를 제외한 나머지 객체(a-a', c-c', d-d') 중 적어도 일부의 위치 변화가 관측되며, 그 위치 변화의 정도가 전체 비율에서 임계치(%)를 초과하는 것을 의미할 수 있다.Here, that the position of the remaining objects is changed to the coordinates of the objects in the first object-recognition map and the second object-recognition map, except for the specific object (b-b') where the position change is observed in FIG. It may mean that at least some of the positional changes of (a-a', c-c', d-d') are observed, and the degree of the positional change exceeds the threshold (%) in the total ratio.

한편, 전술한 바와 같이, 지도의 부분 갱신 또는 재 생성을 판별함에 있어서, 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 차이에 대한 기준인 오차범위의 경우 라이다 센서와 360카메라 간 위치 인식의 오차율을 고려한 것으로서 예컨대, 다음의 방식을 통해 그 값이 설정될 수 있다.On the other hand, as described above, in determining the partial update or regeneration of the map, in the case of the error range, which is the reference for the position difference observed using each of the lidar sensor and 360 camera, the position recognition between the lidar sensor and the 360 camera Considering the error rate of, for example, the value may be set through the following method.

즉, 판별부(40)는 제1객체인식지도와 제2객체인식지도가 존재하는 테스트 영역에 테스트 객체를 임의로 배치하는 경우, 라이다 센서 및 360카메라 각각을 이용하여 관측된 테스트 객체의 위치를 확인하게 된다.That is, when the test object is arbitrarily placed in the test area in which the first object-recognition map and the second object-recognition map exist, the determination unit 40 determines the location of the test object observed using each of the lidar sensor and the 360 camera. Will confirm.

이때, 라이다 센서 및 360카메라 각각을 이용하여 관측된 테스트 객체의 위치 간에는 차이가 발생할 수 있으며, 이러한 위치 차이는 라이다 센서와 360카메라 간 위치 인식의 오차율을 의미하게 된다.In this case, a difference may occur between the position of the test object observed using each of the lidar sensor and the 360 camera, and this position difference means an error rate of position recognition between the lidar sensor and the 360 camera.

이에, 판별부(40)는 라이다 센서 및 360카메라 각각을 이용하여 관측된 테스트 객체의 위치를 비교한 결과, 라이다 센서와 360카메라 간에 위치 인식의 오차율이 확인되는 경우, 해당 오차율에 해당하는 값을 지도의 부분 갱신 또는 재 생성을 판별하기 위한 기준 중 하나인 오차범위로 설정하여 관리한다.Accordingly, the determination unit 40 compares the position of the test object observed using each of the lidar sensor and the 360 camera, and when the error rate of position recognition between the lidar sensor and the 360 camera is confirmed, corresponding to the error rate The value is set and managed as an error range, which is one of the criteria for determining partial update or regeneration of the map.

결국, 본 발명의 일 실시예서는, 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우, 라이다 센서 기반의 제1객체인식지도와, 360카메라 기반의 제2객체인식지도를 모두 활용한 크로스 체크를 통해 지도의 부분 갱신 또는 재 생성을 판별함으로써, 판별의 정확도 제고 및 관측 영역에 대한 지도가 불필요하게 반복 생성되는 것을 방지할 수 있는 것이다.After all, in an embodiment of the present invention, when a change in the location of a specific object in the observation area is observed, a cross check using both the first object recognition map based on the lidar sensor and the second object recognition map based on 360 cameras. By determining the partial update or regeneration of the map, it is possible to improve the accuracy of the discrimination and prevent unnecessary repetitive generation of the map for the observation area.

이상에서 살펴본 바와 같이 본 발명의 일 실시예에 따른 자율이동지원장치(100)의 구성에 따르면, 라이다(LIDAR) 센서를 이용하여 작성된 제1객체인식지도를 360카메라를 위한 제2객체인식지도로 변환하여 라이다 센서 이외에 360카메라를 탑재한 자율이동로봇(1)의 위치 인식 및 주변 환경 관측을 지원함으로써, 자율이동로봇(1) 위치 인식의 정확도 제고할 수 있으며, 또한, 자율이동로봇(1)의 주변 환경 변동 시 라이다(LIDAR) 센서를 이용하여 작성된 제1객체인식지도와 360카메라를 위한 제2객체인식지도를 활용한 크로스 체크를 통해 동일한 지도의 불필요한 반복 생성(작성)을 방지할 수 있다.As described above, according to the configuration of the autonomous movement support device 100 according to an embodiment of the present invention, a first object-recognition map created using a LIDAR sensor is a second object-recognition map for 360 cameras. By converting into a LIDAR sensor and supporting the location recognition and observation of the surrounding environment of the autonomous mobile robot 1 equipped with a 360 camera, it is possible to improve the accuracy of the position recognition of the autonomous mobile robot 1, and also, the autonomous mobile robot ( In case of changes in the surrounding environment of 1), unnecessary repetitive generation (writing) of the same map is prevented through cross-check using the first object-oriented map created using the LIDAR sensor and the second object-oriented map for 360 cameras. can do.

이하에서는, 도 5를 참조하여 본 발명의 일 실시예에 따른 자율이동지원장치(100)의 동작 방법을 설명하기로 한다.Hereinafter, a method of operating the autonomous movement support apparatus 100 according to an embodiment of the present invention will be described with reference to FIG. 5.

먼저, 변환부(20)는 관측 영역에 대해 라이다 센서를 이용하여 작성된 제1객체인식지도가 존재하는 경우, 제1객체인식지도를 360카메라를 위한 제2객체인식지도로 변환한다(S11).First, the conversion unit 20 converts the first object-recognition map into a second object-recognition map for 360 cameras when there is a first object-recognition map created using a lidar sensor for the observation area (S11). .

이때, 변환부(20)는 제1객체인식지도 내 직선 좌표를 기 정의된 매핑테이블 내 매핑값을 이용하여 360카메라에서의 곡선 좌표로 변환함으로써, 360카메라를 위한 제2객체인식지도를 생성할 수 있다.At this time, the conversion unit 20 converts the linear coordinates in the first object-recognition map into curved coordinates in the 360 camera using the mapping value in the predefined mapping table, thereby generating a second object-recognition map for the 360 camera. I can.

그런 다음, 매칭부(30)는 360카메라를 위한 제2객체인식지도가 생성되면, 제1객체인식지도 내 자율이동로봇(1)의 위치를 제2객체인식지도 내 위치로 매칭시킨다(S12).Then, when the second object-recognized map for the 360 camera is generated, the matching unit 30 matches the position of the autonomous mobile robot 1 in the first object-recognized map with the position in the second object-recognized map (S12). .

한편, 본 발명의 일 실시예에는 제1객체인식지도 내 자율이동로봇(1)의 위치를 제2객체인식지도 내 위치로 매칭시켜 관측 영역 내 위치를 인식하고, 주변 환경을 관측을 지원하는 과정에서, 앞서 예시한 도 4에 도시된 바와 같이 관측 영역 내 특정 객체(b-b')의 위치 변화가 관측되는 경우를 고려할 수 있다.Meanwhile, in an embodiment of the present invention, a process of recognizing the location in the observation area by matching the location of the autonomous mobile robot 1 in the first object-oriented map with the location in the second object-oriented map, and supporting observation of the surrounding environment. In, as illustrated in FIG. 4, a case in which a position change of a specific object b-b' within the observation area is observed may be considered.

이에, 판별부(40)는 관측 영역 내 특정 객체의 위치 변화가 관측되는 경우, 해당 객체를 제외한 나머지 객체의 위치 변화를 기초로 관측 영역에 대한 지도의 부분 갱신 또는 재 생성을 판별하게 된다(S13).Accordingly, when a change in the location of a specific object in the observation area is observed, the determination unit 40 determines a partial update or regeneration of the map for the observation area based on the location change of the other objects excluding the object (S13). ).

이때, 판별부(40)는 라이다 센서 및 360카메라 각각을 이용하여 나머지 객체의 위치가 제1객체인식지도 및 제2객체인식지도 내 객체의 좌표와 일치되고, 또한 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위 이내인 경우, 제1객체인식지도 및 상기 제2객체인식지도에 대해 위치 변화가 관측된 특정 객체의 좌표만을 갱신하는 것으로 판별할 수 있다(S14-S18).At this time, the determination unit 40 uses the lidar sensor and the 360 camera, respectively, so that the position of the remaining object is consistent with the coordinates of the object in the first object-type map and the second object-type map, and the lidar sensor and the 360 camera respectively When the difference between the observed locations using the is within a preset error range, it can be determined by updating only the coordinates of a specific object whose location change is observed with respect to the first object-recognition map and the second object-recognition map (S14). -S18).

반면, 판별부(40)는 단계 'S15'에서 라이다 센서 및 360카메라 각각을 이용하여 관측된 나머지 객체의 위치가 제1객체인식지도 및 상기 제2객체인식지도 내 객체의 좌표와 일치되지 않거나, 또는 단계 'S17'에서 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 간의 차이가 기 설정된 오차범위를 초과하는 경우에는, 제1객체인식지도 및 제2객체인식지도를 재 생성하는 것으로 판별할 수 있다(S19).On the other hand, in step'S15', the position of the remaining object observed using each of the lidar sensor and the 360 camera does not match the coordinates of the object in the first object recognition map and the second object recognition map, or Or, if the difference between the positions observed using each of the lidar sensors and 360 cameras in step'S17' exceeds the preset error range, it is determined that the first object-recognition map and the second object-recognition map are regenerated. Can do it (S19).

한편, 앞서 도 5를 참조하여 설명한 단계 'S11'과 관련하여 본 발명의 일 실시예에서는 360카메라를 이용한 위치 인식을 위해 라이다 센서를 이용하여 작성한 제1객체인식지도를 변환하여 360카메라를 위한 제2객체인식지도를 생성하는 방식이 채택되고 있는 것을 확인할 수 있다.Meanwhile, in relation to step'S11' described with reference to FIG. 5 above, in an embodiment of the present invention, in order to recognize a location using a 360 camera, a first object-recognition map created using a lidar sensor is converted to It can be seen that the method of generating the second object-recognized map is being adopted.

이를 위해선, 제1객체인식지도 내 좌표를 360카메라에서의 좌표로 변환할 필요가 있으며, 이러한 좌표 변환을 위해선 전술한 바와 같이, 매핑테이블이 요구된다.To this end, it is necessary to convert the coordinates in the first object-type map into coordinates at the 360 camera, and for this coordinate conversion, as described above, a mapping table is required.

이와 관련하여 도 6을 참조하여 본 발명의 일 실시예에 따른 매핑테이블의 생성 과정을 살펴보면 다음과 같다.In this regard, a process of generating a mapping table according to an embodiment of the present invention will be described with reference to FIG. 6.

먼저, 생성부(10)는 라이다 센서를 중심으로 한 양측 직선 상에 객체를 배치한 테스트 영역에서, 라이다 센서에 대해 설정 각도(예: 0°, 45°, 135°, 및 180°)로 배치된 각 객체의 직선 좌표를 상기 360카메라가 촬영한 상기 테스트 영역 내 동일한 각 객체의 곡선 좌표로 매핑시키는 방식을 통해 매핑테이블의 매핑값을 기록한다(S21).First, the generation unit 10 is in a test area in which objects are arranged on both straight lines centered on the lidar sensor, and the set angle with respect to the lidar sensor (eg, 0°, 45°, 135°, and 180°) The mapping value of the mapping table is recorded by mapping the linear coordinates of each object arranged by the 360 camera to the curved coordinates of the same object in the test area (S21).

예를 들어, 앞서 예시한 도 3 (a)에서와 같이, 테스트 영역에서 라이다 센서에 대해 각각 0°와 180°의 위치에 객체 A와, D를 배치시키고, 객체 A와, D의 직선 좌표를 도 3 (B)에서와 같이, 360카메라가 촬영한 테스트 영역 내 동일한 각 객체 A'와, D'의 곡선 좌표로 매핑시킬 수 있는 것이다.For example, as illustrated in FIG. 3 (a) illustrated above, objects A and D are placed at positions of 0° and 180°, respectively, with respect to the lidar sensor in the test area, and the linear coordinates of the objects A and D As shown in FIG. 3(B), the same object A'and D'in the test area captured by the 360 camera can be mapped to the curved coordinates.

나아가, 생성부(10)는 라이다 센서에 대해 설정 각도(예: 0°, 45°, 135°, 및 180°)로 배치된 각 객체에 대한 곡선 좌표로의 매핑이 완료되면, 라이다 센서에 대해 설정 각도의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 사이의 눈금 별 직선 좌표를, 360카메라가 촬영한 텍스트 영역 내 동일한 두 객체 사이의 각각의 곡선 좌표로 추가 매핑시키는 방식을 통해서 매핑테이블의 매핑값 기록을 완료할 수 있다(S22).Furthermore, when the mapping to the curved coordinates for each object arranged at a set angle (eg, 0°, 45°, 135°, and 180°) with respect to the LiDAR sensor is completed, the generation unit 10 For each scale, the straight line coordinates of each scale between two objects arranged adjacent to each other on a straight line at the set angle interval are additionally mapped to each curve coordinate between the same two objects in the text area captured by the 360 camera. Recording of the mapping values in the mapping table can be completed (S22).

앞서 예시한 도 3 (a)에서와 같이, 라이다 센서에 대해 45°의 간격으로 하나의 직선 상에 이웃하게 배치된 두 객체 A와, B 사이를 1°씩 구분하는 눈금(S)을 배치시키고, 이러한 눈금(S)에 의해 구분되는 각 지점의 직선 좌표를 앞서 예시한 도 3 (B)에서와 같이 360카메라가 촬영한 테스트 영역 내 동일한 각 객체 A'와, B' 사이의 눈금(S')에 의해 1°씩 구분되는 각 지점의 곡선 좌표로 매핑시킬 수 있는 것이다.As shown in Fig. 3 (a) illustrated above, two objects A adjacent to each other on one straight line at 45° intervals with respect to the LiDAR sensor and a scale S that divides B by 1° And, as shown in Fig. 3 (B) exemplified above, the linear coordinates of each point separated by this scale (S) are scaled between the same objects A'and B'in the test area photographed by the 360 camera (S ') can be mapped to the curve coordinates of each point separated by 1°.

또한, 앞서 도 5를 참조하여 설명한 단계 'S17'과 관련하여, 라이다 센서 및 360카메라 각각을 이용하여 관측된 위치 차이에 대한 기준인 오차범위의 경우 라이다 센서와 360카메라 간 위치 인식의 오차율을 고려한 것으로서 이러한, 오차범위의 설정 방법은, 도 7을 참조하여 설명될 수 있다.In addition, in relation to step'S17' described with reference to FIG. 5, in the case of an error range that is a reference for the position difference observed using each of the lidar sensor and the 360 camera, the error rate of position recognition between the lidar sensor and the 360 camera In consideration of this, the method of setting the error range may be described with reference to FIG. 7.

먼저, 제1객체인식지도와 제2객체인식지도가 존재하는 테스트 영역에 테스트 객체를 임의로 배치하는 경우, 라이다 센서 및 360카메라 각각을 이용하여 관측된 테스트 객체의 위치를 확인한다(S31-S32).First, when a test object is arbitrarily placed in a test area in which the first and second object maps exist, the position of the observed test object is checked using each of the lidar sensors and 360 cameras (S31-S32). ).

이때, 라이다 센서 및 360카메라 각각을 이용하여 관측된 해당 테스트 객체의 위치 간에는 차이가 발생할 수 있으며, 이러한 위치 차이는 라이다 센서와 360카메라 간 위치 인식의 오차율을 의미한다.At this time, a difference may occur between the position of the test object observed using each of the lidar sensor and the 360 camera, and this position difference means an error rate of position recognition between the lidar sensor and the 360 camera.

이에, 판별부(40)는 라이다 센서 및 360카메라 각각을 이용하여 관측된 테스트 객체의 위치를 비교한 결과, 라이다 센서와 360카메라 간에 위치 인식의 오차율이 확인되는 경우, 해당 오차율에 해당하는 값을 지도의 부분 갱신 또는 재 생성을 판별하기 위한 기준 중 하나인 오차범위로 설정하여 관리한다(S33).Accordingly, the determination unit 40 compares the position of the test object observed using each of the lidar sensor and the 360 camera, and when the error rate of position recognition between the lidar sensor and the 360 camera is confirmed, corresponding to the error rate The value is set and managed as an error range, which is one of the criteria for determining partial update or regeneration of the map (S33).

이상에서 살펴본 바와 같이 본 발명의 일 실시예에 따른 자율이동지원장치(100)의 동작 방법에 따르면, 라이다(LIDAR) 센서를 이용하여 작성된 제1객체인식지도를 360카메라를 위한 제2객체인식지도로 변환하여 라이다 센서 이외에 360카메라를 탑재한 자율이동로봇(1)의 위치 인식 및 주변 환경 관측을 지원함으로써, 자율이동로봇(1) 위치 인식의 정확도 제고할 수 있으며, 또한, 자율이동로봇(1)의 주변 환경 변동 시 라이다(LIDAR) 센서를 이용하여 작성된 제1객체인식지도와 360카메라를 위한 제2객체인식지도를 활용한 크로스 체크를 통해 동일한 지도의 불필요한 반복 생성(작성)을 방지할 수 있다.As described above, according to the operation method of the autonomous movement support apparatus 100 according to an embodiment of the present invention, a first object-recognition map created using a LIDAR sensor is a second object-recognition type for 360 cameras. By converting it into a map and supporting the location recognition of the autonomous mobile robot (1) equipped with a 360 camera in addition to the lidar sensor and observation of the surrounding environment, the accuracy of the autonomous mobile robot (1) position recognition can be improved, and the autonomous mobile robot In case of changes in the surrounding environment of (1), unnecessary repetition of the same map is generated (created) through a cross check using the first object-recognition map created using the LIDAR sensor and the second object-recognition map for 360 cameras. Can be prevented.

한편, 본 발명의 일 실시예에 따른 자율이동지원장치(100)의 동작 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, the operation method of the autonomous movement support apparatus 100 according to an embodiment of the present invention may be implemented in the form of program commands that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments so far, the present invention is not limited to the above-described embodiments, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the following claims. Anyone of ordinary skill in the art will say that the technical idea of the present invention extends to the range in which various modifications or modifications are possible.

본 발명에 따른 자율이동지원장치 및 자율이동지원장치의 동작 방법에 따르면, 라이다(LIDAR) 센서 이외에 360카메라를 추가 적용하여 자율이동로봇의 위치 인식 및 주변 환경 관측을 지원할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the operation method of the autonomous movement support device and the autonomous movement support device according to the present invention, a 360 camera may be additionally applied in addition to the LIDAR sensor to support the position recognition of the autonomous mobile robot and the observation of the surrounding environment. As the technology exceeds the limits, it is an invention that has industrial applicability because the possibility of marketing or sales of the applied device is sufficient as well as the degree to be practically obvious.

100: 자율이동지원장치
10: 생성부 20: 변환부
30: 매칭부 40: 판별부100: autonomous movement support device
10: generation unit 20: conversion unit
30: matching unit 40: discrimination unit

Claims

A generator for generating a mapping table for converting linear coordinates recognized through a LIDAR sensor into curved coordinates in 360 cameras according to rectilinear distortion characteristics of 360 cameras;
When there is a first object-type map created using the lidar sensor for the observation area, based on the mapping table, the coordinates in the first object-recognition map are converted into coordinates from 360 cameras, A conversion unit for generating a map;
The position of the autonomous mobile robot observed through the lidar sensor in the first object-type map is matched with the position in the second object-type map, and the autonomous mobile robot causes the first object-type map and the second object. A matching unit configured to recognize a location in the observation area with reference to at least one of the recognition maps; And
When a position change of a specific object in the observation area is observed, the position of the remaining object observed using each of the lidar sensor and the 360 camera is determined based on the position change of the other object except the specific object. When the coordinates of the object in the object recognition map and the second object recognition map coincide, and the difference between the locations observed using the lidar sensor and each of the 360 cameras is within a preset error range, the first object recognition map And determining that only the coordinates of the specific object are updated with respect to the second object-recognition map, and the position of the remaining object observed using each of the lidar sensor and the 360 camera is determined by the first object-recognition map and the 2 In case the coordinates of the object in the object-recognition map do not coincide or exceed a preset error range, the first object-recognition map and the second object-recognition map are regenerated, and a discrimination unit comprising a Autonomous movement support device.

The method of claim 1,
The generation unit,
In a test area in which objects are arranged on both straight lines centered on the lidar sensor, the linear coordinates of each object arranged at a set angle with respect to the lidar sensor are captured by the 360 camera and the same object in the test zone Autonomous movement support device, characterized in that mapping to the curve coordinates of.

The method of claim 2,
The generation unit,
The linear coordinates for each scale between two objects adjacent to each other on one straight line at an interval of a set angle with respect to the lidar sensor, as respective curve coordinates between two identical objects in the test area photographed by the 360 camera. Autonomous movement support device, characterized in that the mapping.

delete

The method of claim 1,
The error range is,
Based on the position difference of the test object observed using each of the lidar sensor and the 360 camera by arbitrarily arranging a test object in the test area in which the first object recognition map and the second object recognition map exist Autonomous movement support device, characterized in that set.

A generating step of generating a mapping table for converting linear coordinates recognized through a LIDAR sensor into curved coordinates in a 360 camera according to a rectilinear distortion characteristic of a 360 camera;
When there is a first object-type map created using the lidar sensor for the observation area, based on the mapping table, the coordinates in the first object-recognition map are converted into coordinates from 360 cameras, A conversion step of generating a map;
The position of the autonomous mobile robot observed through the lidar sensor in the first object-type map is matched with the position in the second object-type map, and the autonomous mobile robot causes the first object-type map and the second object. A matching step of recognizing a location in the observation area with reference to at least one of the recognition maps; And
When a position change of a specific object in the observation area is observed, the position of the remaining object observed using each of the lidar sensor and the 360 camera is determined based on the position change of the other object except the specific object. When the coordinates of the object in the object recognition map and the second object recognition map coincide, and the difference between the locations observed using the lidar sensor and each of the 360 cameras is within a preset error range, the first object recognition map And determining that only the coordinates of the specific object are updated with respect to the second object-recognition map, and the position of the remaining object observed using each of the lidar sensor and the 360 camera is determined by the first object-recognition map and the 2 If the coordinates of the object in the object-recognition map are not coincident or exceeds a preset error range, a determination step of determining that the first object-recognition map and the second object-recognition map are regenerated How to operate the autonomous mobility support device.

The method of claim 7,
The generation step,
In a test area in which objects are arranged on both straight lines centered on the lidar sensor, the linear coordinates of each object arranged at a set angle with respect to the lidar sensor are captured by the 360 camera and the same object in the test zone The operation method of the autonomous movement support device, characterized in that mapping to the curve coordinates of.

The method of claim 8,
The generation step,
The linear coordinates for each scale between two objects adjacent to each other on one straight line at an interval of a set angle with respect to the lidar sensor, as respective curve coordinates between two identical objects in the test area photographed by the 360 camera. The operation method of the autonomous movement support device, characterized in that the mapping.

delete

The method of claim 7,
The error range is,
Based on the position difference of the test object observed using each of the lidar sensor and the 360 camera by arbitrarily arranging a test object in the test area in which the first object recognition map and the second object recognition map exist An operation method of an autonomous movement support device, characterized in that it is set