KR20200023707A

KR20200023707A - Moving robot

Info

Publication number: KR20200023707A
Application number: KR1020180098294A
Authority: KR
Inventors: 김강욱; 김연수; 김민정; 노동기; 김형록
Original assignee: 엘지전자 주식회사
Priority date: 2018-08-23
Filing date: 2018-08-23
Publication date: 2020-03-06
Also published as: KR102560462B1

Abstract

A mobile robot according to one aspect of the present invention may include: an image acquisition unit including a depth camera, and an image camera having a different angle of view from the depth camera; an image processing unit which matches images acquired from the depth camera and the image camera; and a learning-based obstacle recognition unit which recognizes an obstacle included in the matched image input from the image processing unit, and recognizes a dynamic obstacle based on a plurality of matched images.

Description

Moving robot}

본 발명은 이동 로봇 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있는 이동 로봇 및 그 제어 방법에 관한 것이다. The present invention relates to a mobile robot and a control method thereof, and more particularly, to a mobile robot and a control method capable of performing vision-based motion obstacle detection.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. Robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made.

이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다.Among these robots, a moving robot capable of traveling by magnetic force is called a mobile robot. The mobile robot is capable of moving by itself and is free to move, and is provided with a plurality of sensors for avoiding obstacles and the like while driving, so that the robot can travel to avoid obstacles.

일반적으로 이동 로봇의 장애물 감지를 위해 적외선 센서 또는 초음파 센서가 이용된다. 적외선 센서는 장애물에 반사되어 돌아오는 반사광의 광량 또는 수신되는 시간을 통해 장애물의 존재와 거리를 판단하고, 초음파 센서는 소정 주기를 가지는 초음파를 발산하여 장애물에 의해 반사되는 초음파가 있을 경우 초음파 발산 시간과 장애물에 반사되어 되돌아오는 순간의 시간차를 이용하여 장애물과의 거리를 판단한다.In general, an infrared sensor or an ultrasonic sensor is used to detect obstacles of a mobile robot. The infrared sensor determines the existence and distance of the obstacles based on the amount of reflected light or the time of receiving the reflected light back to the obstacle, and the ultrasonic sensor emits ultrasonic waves having a predetermined period, and the ultrasonic emission time when there is ultrasonic waves reflected by the obstacles. The distance from the obstacle is determined by using the time difference between the moment of returning and the reflection of the obstacle.

한편, 장애물 인식 및 회피는 이동 로봇의 주행 성능뿐만 아니라 안전사고 발생에 큰 영향을 미치므로, 장애물 인식 능력의 신뢰성 확보가 요구된다. On the other hand, since obstacle recognition and avoidance have a great influence on not only the driving performance of the mobile robot but also the occurrence of safety accidents, it is required to secure the reliability of the obstacle recognition ability.

선행 문헌 1(등록특허공보 10-0669892호)은 적외선 센서와 초음파 센서를 조합하여 신뢰성 높은 장애물 인식 기술을 구현하는 기술을 개시한다. 하지만, 선행 문헌 1에 따른 방식은 장애물의 속성을 판별하지 못한다는 문제점이 있었다.Prior document 1 (Patent No. 10-0669892) discloses a technique for implementing a reliable obstacle recognition technology by combining an infrared sensor and an ultrasonic sensor. However, the method according to the prior document 1 has a problem that can not determine the nature of the obstacle.

특히. 많은 사람이 체류하거나 이동하는 공항, 기차역, 백화점, 항만 등 공공장소에서 운용되는 이동 로봇은, 스스로 이동할 수 있는 동적 장애물을 인식하여, 안전을 확보하면서 자동으로 주행하는 방안이 요구된다. Especially. Mobile robots operating in public places, such as airports, train stations, department stores, and ports, where many people stay or move, are required to recognize the dynamic obstacles that can move by themselves and to automatically drive while ensuring safety.

본 발명의 목적은, 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide a mobile robot and a control method thereof capable of performing a vision-based operation obstacle detection.

본 발명의 목적은, 장애물 인식의 범위 및 정확성을 향상할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide a mobile robot and a control method thereof capable of improving the range and accuracy of obstacle recognition.

본 발명의 목적은, 장애물의 인식 결과에 따라 주행함으로써 이동 로봇 자체의 안정성을 높이고 안전사고 발생을 방지할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide a mobile robot and a control method thereof that can increase the stability of the mobile robot itself and prevent the occurrence of a safety accident by traveling according to the result of the recognition of the obstacle.

본 발명의 목적은, 딥러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide a mobile robot and a control method thereof capable of accurately recognizing the properties of an obstacle based on deep learning.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 이동 로봇은, 깊이(depth) 카메라 및 깊이 카메라와 화각이 다른 영상 카메라를 포함하는 영상 획득부, 깊이 카메라와 영상 카메라에서 획득되는 이미지들을 정합하는 영상 처리부, 및, 영상 처리부로부터 입력되는 정합된 이미지에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부를 포함함 수 있다.In order to achieve the above or another object, a mobile robot according to an aspect of the present invention includes an image obtaining unit including a depth camera and an image camera having a different angle of view from a depth camera, a depth camera and images obtained from the image camera. The matching image processor may include a learning-based obstacle recognition unit that recognizes an obstacle included in the matched image input from the image processor and recognizes a dynamic obstacle based on the plurality of matched images.

본 발명의 실시예들 중 적어도 하나에 의하면, 이동 로봇이, 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있다.According to at least one of the embodiments of the present invention, the mobile robot may perform vision based motion obstacle detection.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 장애물 인식의 범위 및 정확성을 향상할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to improve the range and accuracy of obstacle recognition.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 장애물의 인식 결과에 따라 주행함으로써 이동 로봇 자체의 안정성을 높이고 안전사고 발생을 방지할 수 있다.In addition, according to at least one of the embodiments of the present invention, by driving in accordance with the result of the recognition of the obstacle it is possible to increase the stability of the mobile robot itself and prevent the occurrence of safety accidents.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 머신 러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있는 이동 로봇 및 그 제어방법을 제공할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to provide a mobile robot and a control method thereof capable of accurately recognizing the property of an obstacle based on machine learning.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 딥러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to accurately recognize the property of the obstacle based on deep learning.

도 1은 본 발명의 실시예에 따른 이동 로봇들을 예시한 도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 주행에 관한 설명에 참조되는 도면이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 내부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 8과 도 9는 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다. 1 is a diagram illustrating a mobile robot according to an embodiment of the present invention.
2 is a view referred to in the description of the driving of the mobile robot according to an embodiment of the present invention.
3 is an internal block diagram of a mobile robot according to an embodiment of the present invention.
4 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.
5 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
6 is a view referred to for describing the control method of the mobile robot according to an embodiment of the present invention.
7 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
8 and 9 are views referred to for describing the control method of the mobile robot according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다. Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention; However, the present invention is not limited to these embodiments and may be modified in various forms.

도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다. In the drawings, parts not related to the description are omitted in order to clearly and briefly describe the present invention, and the same reference numerals are used for the same or extremely similar parts throughout the specification.

한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.On the other hand, the suffixes "module" and "unit" for the components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not give particular meaning or role in themselves. Therefore, the "module" and "unit" may be used interchangeably.

또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.Further, in this specification, terms such as first and second may be used to describe various elements, but such elements are not limited by these terms. These terms are only used to distinguish one element from another.

도 1은 본 발명의 실시예에 따른 이동 로봇들을 예시한 도이고, 도 2는 본 발명의 일 실시예에 따른 이동 로봇의 주행에 관한 설명에 참조되는 도면이다.1 is a diagram illustrating a mobile robot according to an embodiment of the present invention, Figure 2 is a view referred to the description of the travel of the mobile robot according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미한다. 따라서, 이동 로봇(100)은 스스로 이동 가능한 안내 로봇, 청소 로봇, 가정 도우미 로봇, 엔터테인먼트(Entertainment) 로봇, 경비 로봇 등일 수 있고, 본 발명은 이동 로봇의 종류에 한정되지 않는다.Mobile robot 100 according to an embodiment of the present invention means a robot that can move itself by using a wheel or the like. Accordingly, the mobile robot 100 may be a self-moving guide robot, a cleaning robot, a home helper robot, an entertainment robot, a security robot, and the like, and the present invention is not limited to the type of mobile robot.

도 1의 (a)는 안내 로봇(100a)을 예시하고, 도 1의 (b)는 청소 로봇(100b)을 예시한다.FIG. 1A illustrates the guide robot 100a, and FIG. 1B illustrates the cleaning robot 100b.

안내 로봇(100a)은, 터치, 음성 입력 등으로 사용자 입력을 수신하여, 사용자 입력에 대응하는 물체, 장소에 대한 정보를 디스플레이 화면에 표시할 수 있다.The guide robot 100a may receive a user input through touch, voice input, or the like, and display information on an object and a place corresponding to the user input on a display screen.

또한, 안내 로봇(100a)은, 사용자 요청 시, 특정 목적지까지 이동하면서 사용자를 직접 안내하는 에스코트 서비스(escort service)를 제공할 수 있다.In addition, the guide robot 100a may provide an escort service for directly guiding the user while moving to a specific destination when the user requests the user.

청소 로봇(100b)은 브러시 등 청소 기구를 구비하여 스스로 이동하면서 특정 공간을 청소할 수 있다.The cleaning robot 100b may include a cleaning mechanism such as a brush to clean a specific space while moving by itself.

이러한 이동 로봇(100a, 100b)은 특정 공간을 주행하면서 부여된 임무를 수행할 수 있다. 안전사고 발생을 방지하기 위해서, 이동 로봇(100a, 100b)은 이동 중 장애물을 감지하여 회피하면서 주행해야 한다. The mobile robots 100a and 100b may perform assigned tasks while traveling in a specific space. In order to prevent the occurrence of safety accidents, the mobile robots 100a and 100b must travel while detecting and avoiding obstacles during movement.

고정된 장소에 놓여진 물체, 구조물을 회피하는 것보다, 사람, 반려 동물 등 스스로 이동할 수 있는 동적 장애물을 검출하여 회피하는 것이 더 어렵고 중요하다.It is more difficult and important to detect and avoid dynamic obstacles that can move on their own, such as humans and companion animals, than to avoid objects and structures placed in a fixed place.

도 2를 참조하면, 이동 로봇(100)은 많은 사람(21, 22, 23, 24)이 체류하거나 이동하는 공항, 기차역, 백화점, 항만 등 공공장소에서 운용될 수 있다. 이 경우에, 이동 로봇(100)은 사람(21, 22, 23, 24) 등 동적 장애물의 존재, 위치, 이동 여부, 이동 속도 등을 인식하여 회피하는 것이 매우 중요하다.Referring to FIG. 2, the mobile robot 100 may be operated in a public place such as an airport, a train station, a department store, a port, or a place where many people 21, 22, 23, and 24 stay or move. In this case, it is very important for the mobile robot 100 to recognize and avoid the presence, location, movement, moving speed, etc. of dynamic obstacles such as people 21, 22, 23, and 24.

로봇용 비전(vision) 기반 동적 장애물 검출 시스템에서 장애물을 검출하는 기존의 방식은, 깊이(depth) 기반에 영역 분할(foreground/background)을 통해 검출하거나, 영상만을 활용하여 검출하고자 하는 물체(사람 등)를 학습하여 검출하는 방법을 주로 사용하였다. In the vision-based dynamic obstacle detection system for robots, the conventional method of detecting obstacles is an object (person, etc.) to be detected by using foreground / background on a depth basis or by using only an image. ) Was mainly used for learning by detecting.

하지만, 학습에 사용된 사람, 물체의 이미지와 다르게, 유모차(25)를 끄는 사람(24), 카트를 끄는 사람 등 유모차(25), 카트 등 물체에 가려진 사람의 경우에는 인식하는데 어려움이 있었다. 특히, 동적 장애물은 인식하고 추적(tracking)하는 경우에, 물체에 가려졌던 사람이 물체와 떨어지거나 어떤 사람이 특정 물체, 사람에 의해 가려지면 동일 대상으로 인식하지 못해 지속적인 추적(tracking)을 수행하지 못할 수 있었다.However, the person used for learning, unlike the image of the object, there is a difficulty in the case of the person covered by the object such as the baby carriage 25, cart, such as the person pulling the baby carriage 25, the person pulling the cart. In particular, when dynamic obstacles are recognized and tracked, if a person covered by an object falls from the object or a person is obscured by a specific object or person, the object is not recognized as the same object and does not perform continuous tracking. Could not.

따라서, 동적 장애물을 정확하게 인식하고 인식된 특정 동적 장애물을 잃지 않고 추적할 수 있는 방안이 요구된다.Therefore, there is a need for a method that can accurately recognize dynamic obstacles and track them without losing the recognized specific dynamic obstacles.

도 3은 본 발명의 일 실시예에 따른 이동 로봇의 내부 블록도이다.3 is an internal block diagram of a mobile robot according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 마이크를 통하여 사용자의 음성 입력을 수신하는 음성 입력부(325), 각종 데이터를 저장하는 저장부(330), 서버(미도시) 등 다른 기기와 데이터를 송수신하는 통신부(390), 이동 로봇(100)의 전반적인 동작을 제어하는 제어부(340)를 포함할 수 있다. 3, the mobile robot 100 according to an embodiment of the present invention, a voice input unit 325 for receiving a user's voice input through a microphone, a storage unit 330 for storing various data, a server ( It may include a communication unit 390 for transmitting and receiving data with other devices, such as (not shown), and a control unit 340 for controlling the overall operation of the mobile robot (100).

음성 입력부(325)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부(340) 또는 서버(미도시)에서 인식할 수 있도록 데이터화할 수 있다. The voice input unit 325 may include a processor that converts analog sound into digital data or may be connected to the processor to convert the user input voice signal to be recognized by the controller 340 or a server (not shown).

제어부(340)는, 이동 로봇(100)을 구성하는 음성 입력부(325), 저장부(330), 통신부(390) 등을 제어하여, 이동 로봇(100)의 동작 전반을 제어할 수 있다. The controller 340 may control the overall operation of the mobile robot 100 by controlling the voice input unit 325, the storage unit 330, the communication unit 390, and the like that constitute the mobile robot 100.

저장부(330)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.The storage unit 330 records various types of information necessary for the control of the mobile robot 100 and may include a volatile or nonvolatile recording medium. The recording medium stores data that can be read by a microprocessor, and includes a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic Tapes, floppy disks, optical data storage devices, and the like.

또한, 제어부(340)는 통신부(390)를 통해 이동 로봇(100)의 동작상태 또는 사용자 입력 등을 서버 등으로 전송할 수 있다. In addition, the controller 340 may transmit an operation state or a user input of the mobile robot 100 to a server through the communication unit 390.

통신부(390)는 적어도 하나의 통신모듈을 포함하여 이동 로봇(100)이 인터넷, 또는 소정의 네트워크에 연결되도록 한다. The communication unit 390 includes at least one communication module to allow the mobile robot 100 to be connected to the Internet or a predetermined network.

한편, 저장부(330)에는 음성 인식을 위한 데이터가 저장될 수 있고, 상기 제어부(340)는 음성 입력부(325)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. 또는, 음성 인식 과정은 이동 로봇(100) 자체에서 실시되지 않고 서버에서 수행될 수 있다.Meanwhile, the storage unit 330 may store data for speech recognition, and the controller 340 may process a voice input signal of the user received through the voice input unit 325 and perform a voice recognition process. . Alternatively, the voice recognition process may be performed in the server without being performed in the mobile robot 100 itself.

한편, 이동 로봇(100)은 소정 정보를 영상으로 표시하는 디스플레이부(310)와 소정 정보를 음향으로 출력하는 음향 출력부(380)를 포함할 수 있다. Meanwhile, the mobile robot 100 may include a display 310 for displaying predetermined information as an image and a sound output unit 380 for outputting predetermined information as a sound.

디스플레이부(310)는 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.The display 310 may display information corresponding to the request input of the user, a processing result corresponding to the request input of the user, an operation mode, an operation state, an error state, and the like as an image.

음향 출력부(380)는 제어부(340)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(380)는, 제어부(340)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.The sound output unit 380 may display a notification message such as a warning sound, an operation mode, an operation state, an error state, information corresponding to a user's request input, a processing result corresponding to the user's request input, etc. under the control of the controller 340. Can output sound. The sound output unit 380 may convert an electrical signal from the controller 340 into an audio signal and output the audio signal. To this end, a speaker or the like may be provided.

한편, 이동 로봇(100)은 소정 범위를 촬영할 수 있는 영상 획득부(320)를 포함할 수 있다.Meanwhile, the mobile robot 100 may include an image acquirer 320 capable of capturing a predetermined range.

영상 획득부(320)는 이동 로봇(100) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. The image acquirer 320 photographs a surrounding of the mobile robot 100, an external environment, and the like, and may include a camera module. Multiple cameras may be installed for each part for photographing efficiency.

영상 획득부(320)는, 사용자 인식용 영상을 촬영할 수 있다. 제어부(340)는 상기 영상 획득부(320)가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자(안내 대상)를 인식할 수 있다.The image acquirer 320 may capture an image for user recognition. The controller 340 may determine an external situation or recognize a user (a guide object) based on the image acquired by the image acquirer 320.

또한, 상기 제어부(340)는, 상기 영상 획득부(320)가 촬영하여 획득하는 영상에 기초하여 이동 로봇(100)이 주행하도록 제어할 수 있다.In addition, the controller 340 may control the mobile robot 100 to travel based on an image captured by the image acquirer 320.

한편, 상기 영상 획득부(320)가 촬영하여 획득된 영상은 저장부(330)에 저장될 수 있다.The image acquired by the image acquisition unit 320 may be stored in the storage unit 330.

한편, 이동 로봇(100)은 이동을 위한 구동부(360)를 포함할 수 있고, 상기 구동부(360)는 제어부(340)의 제어에 따라, 본체를 이동시킬 수 있다.Meanwhile, the moving robot 100 may include a driving unit 360 for moving, and the driving unit 360 may move the main body under the control of the control unit 340.

구동부(360)는 이동 로봇(100)은 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시)를 포함할 수 있다. 구동부(360)는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴는 본체의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.The driving unit 360 may include at least one driving wheel (not shown) for moving the main body of the mobile robot 100. The driving unit 360 may include a driving motor (not shown) connected to the driving wheels to rotate the driving wheels. The driving wheels may be provided on the left and right sides of the main body, respectively, hereinafter referred to as left and right wheels, respectively.

좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.The left wheel and the right wheel may be driven by one driving motor, but a left wheel driving motor for driving the left wheel and a right wheel driving motor for driving the right wheel may be provided as necessary. The driving direction of the main body can be switched to the left or the right by varying the rotational speeds of the left and right wheels.

한편, 이동 로봇(100)은 이동 로봇(100)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(370)를 포함할 수 있다.On the other hand, the mobile robot 100 may include a sensor unit 370 including sensors for sensing a variety of data related to the operation, state of the mobile robot 100.

상기 센서부(370)는 이동 로봇(100)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.The sensor unit 370 may further include a motion detection sensor that detects a motion of the mobile robot 100 and outputs motion information. For example, a gyro sensor, a wheel sensor, an acceleration sensor, or the like may be used as the motion detection sensor.

상기 센서부(370)는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서, 라이다(light detection and ranging: Lidar) 등 포함할 수 있다.The sensor unit 370 may include an obstacle detecting sensor for detecting an obstacle, and the obstacle detecting sensor may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a position sensitive device (PSD) sensor, and a floor in a driving area. It may include a cliff detection sensor for detecting the presence of the cliff, light detection and ranging (Lidar) and the like.

한편, 상기 장애물 감지 센서는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(340)에 전달한다. 이때, 제어부(340)는, 감지된 장애물의 위치에 따라 이동 로봇(100)의 움직임을 제어할 수 있다.On the other hand, the obstacle detection sensor detects an object in the driving (moving) direction of the mobile robot, in particular, an obstacle and transmits obstacle information to the controller 340. In this case, the controller 340 may control the movement of the mobile robot 100 according to the detected position of the obstacle.

한편, 본 발명의 일 실시예에 따르면, 영상 획득부(320)는 화각이 다른 복수의 카메라를 포함할 수 있고, 제어부(340)는 화각이 다른 카메라로부터 획득된 이미지들을 정합하여, 정합된 이미지에 포함된 장애물을 인식할 수 있다. 특히, 제어부(340)는 화각이 넓은 카메라에서 획득되는 이미지 영역에 기초하여 화각의 끝에서부터 빨리 동적 장애물을 검출하고, 검출된 동적 장애물을 추적(tracking)할 수 있다. 또한, 제어부(340)는 인식되는 동적 장애물을 고려한 회피 주행을 수행하도록 제어할 수 있다.Meanwhile, according to an embodiment of the present disclosure, the image acquisition unit 320 may include a plurality of cameras having different angles of view, and the controller 340 may match images acquired from cameras having different angles of view and match the matched images. Recognize obstacles included in the. In particular, the controller 340 may quickly detect a dynamic obstacle from the end of the angle of view and track the detected dynamic obstacle based on the image area acquired by the camera having a wide angle of view. In addition, the controller 340 may control to perform the avoiding driving considering the recognized dynamic obstacle.

도 4를 참조하여, 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들을 상세히 설명한다. 4, the main components of the mobile robot according to an embodiment of the present invention will be described in detail.

도 4는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.4 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 깊이(depth) 카메라(322) 및 깊이 카메라(322)와 화각이 다른 영상 카메라(321)를 포함하는 영상 획득부(320), 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들을 정합하는 영상 처리부(341), 및, 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부로부터 입력되는 이미지들에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부(342)를 포함할 수 있다.Referring to FIG. 4, the mobile robot 100 according to an embodiment of the present invention includes an image acquisition unit including a depth camera 322 and an image camera 321 having a different angle of view from the depth camera 322. 320, an image processor 341 for matching images acquired from the depth camera 322 and the image camera 321, and a signal that is learned to recognize an attribute of an obstacle as a matched image, and is input from the image processor. It may include a learning-based obstacle recognition unit 342 for recognizing obstacles included in the images to be recognized, and recognize the dynamic obstacle based on the plurality of matched images.

도 4를 참조하면, 영상 처리부(341)와 학습기반 장애물 인식부(342)는 제어부(340)의 내부 블록으로 구비될 수 있다.Referring to FIG. 4, the image processor 341 and the learning-based obstacle recognition unit 342 may be provided as internal blocks of the controller 340.

실시예에 따라서, 영상 처리부(341)는 영상 획득부(320) 내에 구비될 수도 있다.In some embodiments, the image processor 341 may be provided in the image acquirer 320.

또한, 실시예에 따라서, 학습기반 장애물 인식부(342)는 제어부(340)와 별도로 구비되어, 장애물 인식 결과를 제어부(340) 등으로 출력하도록 구성될 수도 있다.In addition, according to the exemplary embodiment, the learning-based obstacle recognition unit 342 may be provided separately from the controller 340 to output the obstacle recognition result to the controller 340 or the like.

영상 카메라(321)는 컬러(RGB) 카메라이거나, 그레이(grey) 카메라일 수 있다. The imaging camera 321 may be a color (RGB) camera or a gray camera.

깊이 카메라(322)는 상기 영상 카메라(321)와는 다른 화각을 가질 수 있다. 더욱 바람직하게는, 상기 깊이 카메라(322)는 상기 영상 카메라(321)보다 화각이 더 클 수 있다.The depth camera 322 may have a different angle of view from the image camera 321. More preferably, the depth camera 322 may have a larger angle of view than the image camera 321.

상기 깊이 카메라(322)의 화각이 영상 카메라(321)의 화각보다 크고, 상기 깊이 카메라(322)가 더 넓은 시야(Field of view)를 가짐으로써, 영상 카메라(321)의 시야(Field of view)를 벗어난 영역에서도 장애물을 검출할 수 있다.The angle of view of the depth camera 322 is greater than the angle of view of the image camera 321, and the depth camera 322 has a wider field of view, thereby providing a field of view of the image camera 321. Obstacles can be detected in areas outside

이동 로봇(100)이 장애물을 인식하고 회피 주행하기 위해서는 카메라(321, 322)의 시야(Field of view) 중심부보다 외곽의 경계 영역에서 장애물을 빨리 검출하는 것이 중요하다. In order for the mobile robot 100 to recognize the obstacle and to avoid the obstacle, it is important to detect the obstacle earlier in the boundary area of the outer edge than the center of the field of view of the cameras 321 and 322.

시야(Field of view) 중심부에 있던 장애물은 장애물 및/또는 이동 로봇(1)이 움직이더라도 적어도 일정시간 동안에는 시야(Field of view) 내부에 존재할 뿐으로, 장애물 인식 및 추적에 문제가 없다. Obstacles in the center of the field of view exist only within the field of view for at least a certain time even if the obstacle and / or the mobile robot 1 move, and there is no problem in obstacle recognition and tracking.

하지만, 장애물은, 시야(Field of view) 외곽의 경계 영역에서 갑자기 최초로 검출될 수 있고, 경계 영역에서 검출된 장애물은 장애물 및/또는 이동 로봇(1)의 움직임에 따라 시야(Field of view) 중심부로 이동하거나 시야(Field of view)를 벗어날 수 있다. 따라서, 시야(Field of view) 외곽의 경계 영역에서 빨리 장애물을 검출하는 것이 비전 기반 (동적) 장애물 검출 시스템에서 매우 중요하다.However, the obstacle can be detected suddenly at the boundary area outside the field of view for the first time, and the obstacle detected at the boundary area is the center of the field of view according to the movement of the obstacle and / or the mobile robot 1. You can go to or out of the field of view. Therefore, detecting obstacles quickly in the boundary region outside the field of view is very important in a vision based (dynamic) obstacle detection system.

본 발명은 화각이 더 넓은 카메라를 이용해서 장애물이 시야(Field of view) 중심부에 장애물이 오기 전에 장애물을 더 빨리 검출할 수 있다.According to the present invention, a camera having a wider angle of view can detect an obstacle faster before the obstacle comes to the center of the field of view.

또한, 본 발명에 따르면, 고가의 일체형 카메라보다 복수의 카메라 중 어느 하나의 카메라만 가격이 저렴한 카메라로 구성할 수 있어, 더 저렴한 비용으로 구현할 수 있다. 특히, 화각이 더 넓은 카메라를 상대적으로 저렴한 종류의 카메라로 구성함으로써, 적은 비용으로 장애물 인식 성능을 향상할 수 있다. In addition, according to the present invention, since any one of a plurality of cameras can be configured as a camera having a low cost than an expensive integrated camera, it can be implemented at a lower cost. In particular, by configuring a camera having a wider angle of view as a relatively cheap camera, it is possible to improve obstacle recognition performance at a lower cost.

또한, 본 발명에 따르면, 복수의 카메라를 이용함으로써, 카메라 조합을 다양하게 구성할 수 있다는 장점이 있다.In addition, according to the present invention, by using a plurality of cameras, there is an advantage that the camera combination can be configured in various ways.

한편, 영상 처리부(341)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들을 정합할 수 있다.The image processor 341 may match images acquired by the depth camera 322 and the image camera 321.

상기 영상 카메라(321)가 칼라 카메라의 3채널 이미지 데이터 또는 그레이 카메라의 1채널의 이미지 데이터, 및, 깊이 카메라(322)의 1채널 이미지 데이터를 정렬하여 이미지들을 정합할 수 있다.The image camera 321 may align images by arranging three-channel image data of a color camera or one-channel image data of a gray camera and one-channel image data of the depth camera 322.

화각이 상이한 영상 상기 깊이 카메라(322)와 상기 영상 카메라(321)를 활용하는 경우에, 다른 화각으로 촬영된 이미지들을 얼라인(align)하여 정합할 필요가있다.Images of Different Angles of View When the depth camera 322 and the image camera 321 are utilized, it is necessary to align and match images photographed at different angles of view.

영상 처리부(341)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득한 이미지의 데이터를 정렬하여 두 이미지를 정합할 수 있다.The image processor 341 may match the two images by arranging data of the image acquired by the depth camera 322 and the image camera 321.

영상 처리부(341)는, 영상 카메라(321)의 내부 파라미터로 이루어질 수 있는 내부 행렬(intrinsic)과 영상 카메라(321)의 위치 정보, 자세 정보 등으로 이루어질 수 있는 외부 행렬(extrinsic)을 활용하여 영상 변환을 위한 투영 행렬을 생성할 수 있다. The image processor 341 may utilize an internal matrix that may be configured as an internal parameter of the image camera 321, an external matrix that may be configured as position information, attitude information, and the like of the image camera 321. We can create a projection matrix for the transformation.

또한, 영상 처리부(341)는, 깊이 카메라(322)의 깊이(depth) 값을 활용하여, 깊이 카메라(322)에서 획득된 깊이 영상에 대응하는 영상 카메라(321)의 칼라 영상 픽셀(pixel)의 R,G,B의 값을 획득하여, 이미지들을 정합할 수 있다.In addition, the image processor 341 may utilize the depth value of the depth camera 322 to determine a color image pixel of the image camera 321 corresponding to the depth image obtained by the depth camera 322. By obtaining values of R, G, and B, images may be matched.

즉, 깊이 카메라(322)에서 획득된 깊이 영상 위에 영상 카메라(321)에서 획득된 칼라 영상이 투영되고, 깊이 카메라(322)의 픽셀에 대응하는 픽셀의 R,G,B 값이 획득되어 반영됨으로써, 깊이 카메라(322)에서 획득된 깊이 영상 위에 영상 카메라(321)에서 획득된 칼라 영상이 정합될 수 있다.That is, the color image acquired by the image camera 321 is projected onto the depth image acquired by the depth camera 322, and the R, G, B values of the pixels corresponding to the pixels of the depth camera 322 are obtained and reflected. The color image acquired by the image camera 321 may be matched with the depth image obtained by the depth camera 322.

한편, 학습기반 장애물 인식부(342)는, 화각이 상이한 영상(color,grey) 카메라와 깊이(depth) 카메라를 활용하여 장애물을 인식하도록 학습된 학습기반 검출기일 수 있다.Meanwhile, the learning-based obstacle recognition unit 342 may be a learning-based detector trained to recognize an obstacle by using a color camera and a depth camera having different angles of view.

학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다.The learning-based obstacle recognition unit 342 is trained to recognize the property of the obstacle as a matched image of the images obtained by the depth camera 322 and the image camera 321, and is matched from the image processor 310. Obstacles included in the image can be recognized.

또한, 학습기반 장애물 인식부(342)는, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식할 수 있다.In addition, the learning-based obstacle recognition unit 342 may recognize the dynamic obstacle based on the plurality of matched images.

학습기반 장애물 인식부(342)는, 머신 러닝으로 장애물의 속성이 학습될 수 있다. 머신 러닝은 컴퓨터에게 사람이 직접 로직(Logic)을 지시하지 않아도 데이터를 통해 컴퓨터가 학습을 하고 이를 통해 컴퓨터가 알아서 문제를 해결하게 하는 것을 의미한다.The learning-based obstacle recognition unit 342 may learn the property of the obstacle by machine learning. Machine learning means that a computer can learn from data and let the computer take care of a problem without having to instruct the computer directly to the logic.

딥러닝(Deep Learning)은. 인공지능을 구성하기 위한 인공신경망(Artificial Neural Networks: ANN)에 기반으로 해 컴퓨터에게 사람의 사고방식을 가르치는 방법으로 사람이 가르치지 않아도 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술이다.Deep Learning Based on Artificial Neural Networks (ANN) to construct artificial intelligence, it is an artificial intelligence technology that teaches a computer's way of thinking to a person without having to teach it.

상기 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다.The artificial neural network (ANN) may be implemented in software or in the form of hardware such as a chip.

학습기반 장애물 인식부(342)는, 장애물의 속성이 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다. 예를 들어, 학습기반 장애물 인식부(342)는, 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.The learning-based obstacle recognition unit 342 may include an artificial neural network (ANN) in the form of software or hardware in which the property of the obstacle is learned. For example, the learning-based obstacle recognition unit 342 may include a deep neural network such as a convolutional neural network (CNN), a recurrent neural network (RNN), a deep belief network (DBN), and the like, which have been learned by deep learning. : DNN).

학습기반 장애물 인식부(342)는, 영상 획득부(120)가 획득한 이미지들이 정합된 이미지로 학습될 수 있다. The learning-based obstacle recognition unit 342 may learn a matched image of the images acquired by the image acquirer 120.

이에 따라, 학습기반 장애물 인식부(342)는, 영상 획득부(120)가 획득한 이미지들이 정합된 이미지에서 딥러닝으로 기학습된 데이터에 기초하여 장애물을 인식할 수 있다.Accordingly, the learning-based obstacle recognition unit 342 may recognize the obstacle based on data pre-learned by deep learning in the image obtained by the image acquisition unit 120 is matched.

또한, 학습기반 장애물 인식부(342)는, 정합된 이미지들 중 연속적인 2이상의 이미지들을 인식하여, 장애물의 이동 여부를 판별하고, 동적 장애물을 인식할 수 있다. 또한, 동적 장애물의 이동 방향 및 이동 속도도 판별할 수 있다.In addition, the learning-based obstacle recognition unit 342 may recognize two or more consecutive images among the matched images, determine whether the obstacle moves, and recognize the dynamic obstacle. In addition, the moving direction and the moving speed of the dynamic obstacle can be determined.

한편, 종래의 로봇용 비전(vision) 기반 동적 장애물 검출 시스템은 고가의 단일 RGB-D 카메라를 많이 사용하였다. 이 경우에, 카메라를 다양하게 조합하기 어렵고, 카메라 전체를 교체, 수리해야 하므로, 특정 부품만 교체하거나, 특정 성능만 개선하는 데 한계가 있었다.On the other hand, the conventional vision-based dynamic obstacle detection system for robots used a lot of expensive single RGB-D camera. In this case, since it is difficult to combine the cameras in various ways, and the whole camera needs to be replaced and repaired, there are limitations in replacing only specific parts or improving only specific performance.

하지만, 본 발명은, 화각이 다른 상기 깊이 카메라(322)와 상기 영상 카메라(321)를 활용한, 이종의 센서 정보가 융합된 학습기반 동적 장애물 검출 시스템을 제안한다.However, the present invention proposes a learning-based dynamic obstacle detection system in which heterogeneous sensor information is fused using the depth camera 322 and the image camera 321 having different angles of view.

본 발명에 따르면, 다양한 정보의 융합으로 학습기반 장애물 인식부(342)의 성능 향상이 가능하고, 구비된 카메라(321, 322) 중 넓은 화각에서 장애물을 검출할 수 있다.According to the present invention, the performance of the learning-based obstacle recognition unit 342 may be improved by fusion of various information, and the obstacle may be detected at a wide angle of view among the provided cameras 321 and 322.

또한, 깊이 영상과 칼라(color) 영상의 공간적인 정렬을 통해 데이터 처리의 편의성을 높일 수 있다.In addition, it is possible to increase the convenience of data processing through spatial alignment of the depth image and the color image.

한편, 학습기반 장애물 인식부(342)는, 장애물 인식 결과, 상기 장애물 인식 결과의 신뢰값(confidence), 및, 인식되는 장애물을 둘러싸는 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다. 예를 들어, 학습기반 장애물 인식부(342)는 box(x,y,w,h), class id, 신뢰값과 같은 결과 정보를 출력할 수 있다.Meanwhile, the learning-based obstacle recognition unit 342 may output coordinate information for displaying an obstacle recognition result, a confidence value of the obstacle recognition result, and a bounding box surrounding the recognized obstacle. Can be. For example, the learning-based obstacle recognition unit 342 may output result information such as box (x, y, w, h), class id, and confidence value.

즉, 학습기반 장애물 인식부(342)는, 인식된 장애물 인식 결과, 인식된 결과에 대한 신뢰값을 출력할 뿐만 아니라, 시각적인 검출된 결과(사각박스: bounding box regression)도 제공할 수 있다. That is, the learning-based obstacle recognition unit 342 may not only output a recognized obstacle recognition result and a confidence value for the recognized result, but also provide a visually detected result (bounding box regression).

상기 장애물 인식 결과는, 장애물들을 분류하여 기설정된 클래스(class)들 중 인식된 장애물에 대응하는 클래스 정보를 포함할 수 있다. The obstacle recognition result may include class information corresponding to recognized obstacles among preset classes by classifying obstacles.

예를 들어, 학습기반 장애물 인식부(342)는, 사람, 카트 등 기설정된 클래스 중 어느 하나로 장애물을 인식하도록 학습될 수 있다. For example, the learning-based obstacle recognition unit 342 may be trained to recognize the obstacle as one of a predetermined class such as a person or a cart.

이에 따라, 학습기반 장애물 인식부(342)는, 사람, 카트 등 정합된 이미지에 포함되는 장애물의 클래스를 장애물 인식 결과로 출력할 수 있다. 또한, 장애물의 클래스 정보는 각 클래스에 대응하는 식별자(id) 형태로 출력될 수 있다.Accordingly, the learning-based obstacle recognition unit 342 may output the class of the obstacle included in the matched image such as a person and a cart as the obstacle recognition result. In addition, the class information of the obstacle may be output in the form of an identifier (id) corresponding to each class.

또한, 학습기반 장애물 인식부(342)는, 장애물 인식 결과와 함께 해당 인식 클래스에 대한 신뢰값을 함께 출력할 수 있다.In addition, the learning-based obstacle recognition unit 342 may output a confidence value for the corresponding recognition class together with the obstacle recognition result.

또한, 학습기반 장애물 인식부(342)는, 장애물 인식 결과와 함께 인식되는 장애물을 둘러싸는 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다. 예를 들어, 사각 박스(bounding box)의 시작점 좌표(x, y)와 폭(w), 높이(h) 정보를 포함하는 좌표 정보를 출력할 수 있다.In addition, the learning-based obstacle recognition unit 342 may output coordinate information for displaying a bounding box surrounding an obstacle recognized together with the obstacle recognition result. For example, coordinate information including starting point coordinates (x, y), width (w), and height (h) information of a bounding box may be output.

한편, 학습기반 장애물 인식부(342)는, 소정 사각 박스(bounding box)에 복수의 장애물이 포함되는 경우에, 상기 복수의 장애물 모두에 대한 클래스 정보들을 포함하는 장애물 인식 결과를 출력할 수 있다, 예를 들어, 카트를 밀면서 이동 중인 사람이 카메라(321, 322)에서 촬영되는 경우에. 사람과 카트의 2개 클래스가 장애물 인식 결과로 출력될 수 있다. 즉, 장애물 인식 결과는 2이상의 클래스를 포함하는 멀티 클래스(multi class)로 출력되는 것이 가능하다.On the other hand, the learning-based obstacle recognition unit 342, when a plurality of obstacles are included in a predetermined bounding box, may output an obstacle recognition result including class information for all of the plurality of obstacles, For example, when a person moving while pushing a cart is photographed by the cameras 321 and 322. Two classes of people and carts may be output as obstacle recognition results. That is, the obstacle recognition result may be output in a multi class including two or more classes.

이 경우에, 사람과 카트를 모두 포함하도록 사각 박스(bounding box)가 형성될 수 있다. In this case, a bounding box may be formed to include both a person and a cart.

또한, 학습기반 장애물 인식부(342)는, 카트, 사람, 카트에 가려진 사람 영상으로 각각 학습될 수 있고, 멀티 클래스인 사람과 카트 둘 모두를 인식하면서, 카트에 의해 가려진 사람의 일부분이 있음을 인식할 수 있다.In addition, the learning-based obstacle recognition unit 342 can learn each of the cart, the person, the person covered by the cart, and recognize that there is a part of the person covered by the cart while recognizing both the multi-class person and the cart. I can recognize it.

비전 기반의 장애물 인식 시스템은 통상적으로 검출되는 장애물의 크기가 너무 커지거나 작아지는 등 외형 변화가 너무 커지면 인식률이 감소한다. 예를 들어서, 물체가 보이는 영역 사람 상체만을 검출하여 사람으로 판별하고 추적 중일 때, 카트가 없어져 사람의 하반신까지 이미지에 포함되면, 비전 기반의 장애물 인식 시스템 추적중인 사람이 아닌 다른 별개의 사람으로 판별할 수 있다. 이에 따라 추적 대상을 잃어버려 정확한 추적 및 제어가 어려워질 수 있다.In vision-based obstacle recognition systems, the recognition rate decreases when the appearance change becomes too large, such as the size of the detected obstacle becomes too large or too small. For example, when a human body is detected and only the upper body of the object is detected and tracked, if the cart disappears and the lower body of the person is included in the image, the vision-based obstacle recognition system is identified as a different person than the person being tracked can do. This can lead to the loss of tracking, making it difficult to accurately track and control.

하지만, 본 발명에 따르면, 물체의 가려짐을 고려하여 가려진 사람의 실제 크기를 추정하여 검출하면서 장애물 인식 결과를 사람과 카트의 멀티 클래스로 출력할 수 있다.However, according to the present invention, the obstacle recognition result can be output to the multi-class of the person and the cart while estimating and detecting the actual size of the occluded person in consideration of the obstruction of the object.

이에 따라, 사람과 카트가 분리되는 경우에도, 추적 중인 대상과 동일한 대상임을 식별할 수 있다.Accordingly, even when the person and the cart are separated, it is possible to identify that the object is the same as the object being tracked.

또한, 상기 학습기반 장애물 인식부(342)는, 동일 사각 박스(bounding box)에 포함되는 복수의 장애물이 소정 거리 이상 분리된 경우에, 분리된 복수의 장애물 각각에 대한 장애물 인식 결과, 신뢰값(confidence), 및, 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다.In addition, when the plurality of obstacles included in the same bounding box are separated by a predetermined distance or more, the learning-based obstacle recognition unit 342 may determine a result of obstacle recognition for each of the separated obstacles, and a confidence value ( confidence and coordinate information for displaying a bounding box can be output.

즉, 상기 학습기반 장애물 인식부(342)는, 동일 사각 박스(bounding box)에 멀티 클래스로 인식되었던 장애물들이 분리된 경우에, 분리된 장애물들 각각에 대한 사각 박스를 제공할 수 있다. 또한, 장애물 인식 결과에는 추적중이었던 클래스 식별자가 동일하게 포함되므로, 분리된 장애물들이 추적 중이었던 대상과 동일한 대상임을 식별할 수 있다.That is, the learning-based obstacle recognition unit 342 may provide a rectangular box for each of the separated obstacles when the obstacles recognized as multiple classes are separated in the same rectangular box. In addition, since the obstacle recognition result includes the same class identifier that was being tracked, it is possible to identify that the separated obstacles are the same object as the tracked object.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 상기 학습기반 장애물 인식부(342)에서 인식되는 이동 가능한 동적 장애물의 위치 및 속도를 고려하여, 상기 이동 로봇(100)의 주행을 제어하는 주행 제어부(343)를 더 포함할 수 있다.4, the mobile robot 100 according to an embodiment of the present invention, in consideration of the position and the speed of the movable dynamic obstacle recognized by the learning-based obstacle recognition unit 342, the mobile robot 100 The driving control unit 343 may further include a driving control unit 343.

예를 들어, 주행 제어부(343)는 이동 로봇(100)의 이동 경로가 상기 학습기반 장애물 인식부(342)에서 인식되는 동적 장애물의 이동 경로와 겹치지 않도록 이동 경로를 변경할 수 있다. For example, the driving controller 343 may change the movement path so that the movement path of the mobile robot 100 does not overlap with the movement path of the dynamic obstacle recognized by the learning-based obstacle recognition unit 342.

또한, 주행 제어부(343)는 상기 학습기반 장애물 인식부(342)에서 인식되는 동적 장애물의 위치, 이동 방향, 이동 속도를 고려하여, 동적 장애물과 충돌하지 않는 이동 경로 및 이동 속도를 판별하고, 판별된 이동 경로 및 이동 속도로 이동 로봇(100)이 주행하도록 구동부(360)를 제어할 수 있다.In addition, the driving controller 343 determines a moving path and a moving speed that do not collide with the dynamic obstacle in consideration of the position, the moving direction, and the moving speed of the dynamic obstacle recognized by the learning-based obstacle recognition unit 342, and determines The driving unit 360 may be controlled so that the moving robot 100 travels at the predetermined moving path and moving speed.

실시예에 따라서, 주행 제어부(343)는 제어부(340)의 일부로 구성될 수 있다.According to an exemplary embodiment, the driving controller 343 may be configured as a part of the controller 340.

제어부(340)는 학습기반 장애물 인식부(342)가 상기 깊이 카메라(322)와 상기 영상 카메라(321) 중 화각이 더 큰 카메라(322)에서만 획득된 영역에서 동적 장애물이 인식될 때부터, 상기 인식된 동적 장애물을 추적(tracking)할 수 있다.The controller 340 is configured when the learning-based obstacle recognition unit 342 recognizes the dynamic obstacle in the area obtained only by the camera 322 having the larger angle of view among the depth camera 322 and the image camera 321. The recognized dynamic obstacle can be tracked.

이러한 동적 장애물의 추적은 학습기반 장애물 인식부(342) 또는 주행 제어부(343)에서 수행될 수 있다.The tracking of the dynamic obstacles may be performed by the learning-based obstacle recognition unit 342 or the driving controller 343.

동적 장애물의 추적에서는 검출되는 장애물의 동일 대상 여부를 판별함으로써, 다른 장애물과 혼동하지 않고 지속적으로 계속 추적하는 것이 매우 중요하다.In the tracking of dynamic obstacles, it is very important to continuously track the obstacles without being confused with other obstacles by determining whether the detected obstacles are the same object.

본 발명의 일 실시예에 따르면, 각이 더 큰 카메라(322)에서만 획득된 영역에서 동적 장애물이 인식될 때부터, 동적 장애물을 추적함으로써, 추적을 빠르게 시작할 수 있을 뿐만 아니라, 장애물의 가려짐의 발생할 경우에도 장애물을 정확하게 추적할 수 있다. According to one embodiment of the invention, from the time when the dynamic obstacle is recognized in the area obtained only in the camera 322 having a larger angle, by tracking the dynamic obstacle, not only can the tracking be started quickly, but also because Obstacles can be accurately tracked even when they occur.

본 발명의 일 실시예에 따르면, 가려짐에 강인한 검출 결과(bounding box)를 제공하여 검출하고자는 물체의 크기가 급격하게 변하는 것을 방지하여, 높은 추적 성능을 확보할 수 있다. According to an embodiment of the present invention, by providing a robust detection result (bounding box) to the occlusion to prevent the size of the object to be changed rapidly, it is possible to secure a high tracking performance.

도 5는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이고, 도 6은 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다. 5 is a flowchart illustrating a control method of a mobile robot according to an exemplary embodiment of the present invention, and FIG. 6 is a view referred to for describing a method of controlling a mobile robot according to an exemplary embodiment of the present invention.

도 5와 도 6을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(1)은, 영상 획득부(320)의 화각이 서로 다른 영상 카메라(321)와 깊이 카메라(322)를 통하여 이미지들(610, 620)을 획득할 수 있다(S510). 도 6과 같이, 깊이 카메라(322)의 화각이 영상 카메라(321)보다 클 수 있다.5 and 6, the mobile robot 1 according to an embodiment of the present invention may display images through an image camera 321 and a depth camera 322 having different angles of view of the image acquisition unit 320. S610 and 610 may be obtained (S510). As shown in FIG. 6, an angle of view of the depth camera 322 may be larger than that of the image camera 321.

영상 처리부(341)는, 영상 카메라(321)와 깊이 카메라(322)를 통하여 이미지들(610, 620)을 정합할 수 있다(S520).The image processor 341 may match the images 610 and 620 through the image camera 321 and the depth camera 322 (S520).

예를 들어, 영상 카메라(321)가 칼라 영상 카메라인 경우에, 3채널의 칼라 이미지(610)와 1채널의 깊이 이미지(620)를 정합하여 4채널(color+depth)의 정합된 이미지(630)를 생성할 수 있다.For example, when the image camera 321 is a color image camera, the three-channel color image 610 and the one-channel depth image 620 are matched to match the four-channel (color + depth) matched image 630. ) Can be created.

학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다(S530).The learning-based obstacle recognition unit 342 is trained to recognize the property of the obstacle as a matched image of the images obtained by the depth camera 322 and the image camera 321, and is matched from the image processor 310. The obstacle included in the image may be recognized (S530).

도 7은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이고, 도 8과 도 9는 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다. 7 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention, and FIGS. 8 and 9 are views referred to for describing a control method of a mobile robot according to an embodiment of the present invention.

도 7을 참조하면, 학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다(S710).Referring to FIG. 7, the learning-based obstacle recognition unit 342 is trained to recognize an attribute of an obstacle as an image in which the images acquired by the depth camera 322 and the image camera 321 are matched, and thus, the image processing unit. An obstacle included in the matched image may be recognized from 310 (S710).

또한, 학습기반 장애물 인식부(342)는, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식할 수 있다(S710).In addition, the learning-based obstacle recognition unit 342 may recognize the dynamic obstacle based on the plurality of matched images (S710).

학습기반 장애물 인식부(342)는, 하나의 정합된 이미지로부터는 장애물 존재 여부 및 장애물의 클래스(class)를 식별할 수 있다. The learning-based obstacle recognition unit 342 may identify the existence of an obstacle and a class of the obstacle from one matched image.

또한, 학습기반 장애물 인식부(342)는, 연속적인 여러 정합 이미지들에서 장애물의 이동 여부, 이동 방향, 이동 속도를 판별할 수 있다.In addition, the learning-based obstacle recognition unit 342 may determine whether the obstacle moves, the moving direction, and the moving speed in the successive registration images.

이에 따라, 제어부(340)는 동적 장애물을 인식하고(S710), 동적 장애물을 추적(tracking)할 수 있다(S720). 이러한 동적 장애물의 추적은 학습기반 장애물 인식부(342) 또는 주행 제어부(343)에서 수행될 수 있다.Accordingly, the controller 340 may recognize the dynamic obstacle (S710) and track the dynamic obstacle (S720). The tracking of the dynamic obstacles may be performed by the learning-based obstacle recognition unit 342 or the driving controller 343.

도 8과 도 9는 화각이 다른 RGB 카메라(321)와 깊이 카메라(322)를 활용하여 획득된 연속된 이미지들에서 동적 장애물이 검출되는 예를 도시한 것이다.8 and 9 illustrate examples in which dynamic obstacles are detected in successive images obtained by using an RGB camera 321 and a depth camera 322 having different angles of view.

먼저, 도 8과 같이, RGB 카메라(321)에서 획득된 RGB 영상(810)에서는 우측에 있는 사람(830)의 정보가 좁은 화각에 의해 팔만 보여 보행자 검출이 힘들다,First, as shown in FIG. 8, in the RGB image 810 acquired by the RGB camera 321, the information of the person 830 on the right is only seen by the narrow angle of view, making it difficult to detect a pedestrian.

하지만, 본 발명에 따라, RGB 카메라(321)에서 획득된 RGB 영상(810)과 깊이 카메라(322)에서 획득된 깊이 영상(820)을 정합하여, 4채널의 정합된 영상 입력(800)을 만들 수 있다. However, according to the present invention, the RGB image 810 acquired by the RGB camera 321 and the depth image 820 obtained by the depth camera 322 are matched to create a 4-channel matched image input 800. Can be.

또한, 각각 RGB 영상(810)과 깊이 영상(820)과 연속적으로 획득된 RGB 카메라(321)에서 획득된 RGB 영상(910)과 깊이 카메라(322)에서 획득된 깊이 영상(920)을 정합하여, 4채널의 정합된 영상 입력(900)을 만들 수 있다. In addition, the RGB image 810 and the depth image 820 and the RGB image 910 obtained by the RGB camera 321 obtained in succession and the depth image 920 obtained by the depth camera 322 are matched. Four channels of matched image input 900 can be created.

한편, 학습기반 장애물 인식부(342)는 채널의 정합된 영상 입력으로 사전에 학습될 수 있다.On the other hand, the learning-based obstacle recognition unit 342 may be learned in advance by the matched image input of the channel.

이에 따라, 상대적으로 넓은 화각을 가진 깊이 카메라(322)에서 획득된 깊이 영상(820)에 의해 이동 로봇(100) 측면으로 진입하는 동적 장애물(830, 930)을 빠르게 식별할 수 있다. Accordingly, the dynamic obstacles 830 and 930 entering the side of the mobile robot 100 may be quickly identified by the depth image 820 obtained by the depth camera 322 having a relatively wide angle of view.

이에 따라, 검출된 장애물(830, 930)을 감싸는 시각적인 검출 결과 사각 박스(835, 935)도 제공할 수 있다. Accordingly, the visual detection result of the rectangular box 835, 935 surrounding the detected obstacles (830, 930) may also be provided.

또한, 학습기반 장애물 인식부(342)는, 연속적인 두 이미지(800, 900)를 비교하여, 동적 장애물(830, 930)의 이동 방향 및 이동 속도를 판별할 수 있다.In addition, the learning-based obstacle recognition unit 342 may compare the two consecutive images 800 and 900 to determine the moving direction and the moving speed of the dynamic obstacles 830 and 930.

한편, 주행 제어부(343)는, 상기 학습기반 장애물 인식부(342)에서 인식되는 이동 가능한 동적 장애물의 위치 및 속도를 고려하여, 상기 이동 로봇(100)의 주행을 제어할 수 있다(S730).Meanwhile, the driving controller 343 may control the driving of the mobile robot 100 in consideration of the position and the speed of the movable dynamic obstacle recognized by the learning-based obstacle recognition unit 342 (S730).

본 발명에 따른 이동 로봇 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The mobile robot and its control method according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each of the embodiments so that various modifications can be made. It may alternatively be configured in combination.

한편, 본 발명의 실시예에 따른 이동 로봇의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the control method of the mobile robot according to an embodiment of the present invention, it is possible to implement as a processor readable code on a processor-readable recording medium. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. . The processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

이동 로봇: 100, 100a, 100b
영상 획득부: 320
영상 카메라: 321
깊이 카메라: 322
영상처리부: 341
학습 기반 장애물 인식부: 342
주행 제어부: 343Mobile robot: 100, 100a, 100b
Image Acquisition Unit: 320
Video camera: 321
Depth Camera: 322
Image processor: 341
Learning-based obstacle recognizer: 342
Running Control: 343

Claims

An image acquisition unit including a depth camera and an image camera having a different angle of view from the depth camera;
An image processor for matching images acquired from the depth camera and the image camera;
And a learning-based obstacle recognizing unit recognizing an obstacle included in the matched image input from the image processor and recognizing a dynamic obstacle based on the plurality of matched images.

The method of claim 1,
And a driving controller configured to control the driving of the mobile robot in consideration of the position and the speed of the movable dynamic obstacle recognized by the learning-based obstacle recognition unit.

The method of claim 2,
The driving control unit,
And wherein the learning-based obstacle recognition unit tracks the recognized dynamic obstacle from the time when the dynamic obstacle is recognized in the area obtained only from the camera having the larger angle of view among the depth camera and the image camera.

The method of claim 1,
The learning-based obstacle recognition unit,
And a coordinate information for displaying an obstacle recognition result, a confidence value of the obstacle recognition result, and a bounding box surrounding the recognized obstacle.

The method of claim 4, wherein
The obstacle recognition result may include class information corresponding to recognized obstacles among preset classes by classifying obstacles.

The method of claim 4, wherein
And when the plurality of obstacles are included in a predetermined box, the learning-based obstacle recognition unit outputs an obstacle recognition result including class information about all of the plurality of obstacles.

The method of claim 6,
The learning-based obstacle recognition unit,
In the case where a plurality of obstacles included in the same bounding box are separated by a predetermined distance or more, an obstacle recognition result, a confidence value, and a display of the bounding box for each of the separated plurality of obstacles Mobile robot, characterized in that for outputting coordinate information for.

The method of claim 1,
The learning-based obstacle recognition unit,
And from the depth camera and the image camera when the dynamic obstacle is recognized in an area obtained only from a camera having a large angle of view, tracking the recognized dynamic obstacle.

The method of claim 1,
The depth camera is a mobile robot, characterized in that a larger angle of view than the video camera.