KR102560462B1

KR102560462B1 - 이동 로봇

Info

Publication number: KR102560462B1
Application number: KR1020180098294A
Authority: KR
Inventors: 김강욱; 김연수; 김민정; 노동기; 김형록
Original assignee: 엘지전자 주식회사
Priority date: 2018-08-23
Filing date: 2018-08-23
Publication date: 2023-07-26
Also published as: KR20200023707A

Abstract

본 발명의 일 측면에 따른 이동 로봇은, 깊이(depth) 카메라 및 깊이 카메라와 화각이 다른 영상 카메라를 포함하는 영상 획득부, 깊이 카메라와 영상 카메라에서 획득되는 이미지들을 정합하는 영상 처리부, 및, 영상 처리부로부터 입력되는 정합된 이미지에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부를 포함함 수 있다.

Description

이동 로봇{Moving robot}

본 발명은 이동 로봇 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있는 이동 로봇 및 그 제어 방법에 관한 것이다.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.

이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다.

일반적으로 이동 로봇의 장애물 감지를 위해 적외선 센서 또는 초음파 센서가 이용된다. 적외선 센서는 장애물에 반사되어 돌아오는 반사광의 광량 또는 수신되는 시간을 통해 장애물의 존재와 거리를 판단하고, 초음파 센서는 소정 주기를 가지는 초음파를 발산하여 장애물에 의해 반사되는 초음파가 있을 경우 초음파 발산 시간과 장애물에 반사되어 되돌아오는 순간의 시간차를 이용하여 장애물과의 거리를 판단한다.

한편, 장애물 인식 및 회피는 이동 로봇의 주행 성능뿐만 아니라 안전사고 발생에 큰 영향을 미치므로, 장애물 인식 능력의 신뢰성 확보가 요구된다.

선행 문헌 1(등록특허공보 10-0669892호)은 적외선 센서와 초음파 센서를 조합하여 신뢰성 높은 장애물 인식 기술을 구현하는 기술을 개시한다. 하지만, 선행 문헌 1에 따른 방식은 장애물의 속성을 판별하지 못한다는 문제점이 있었다.

특히. 많은 사람이 체류하거나 이동하는 공항, 기차역, 백화점, 항만 등 공공장소에서 운용되는 이동 로봇은, 스스로 이동할 수 있는 동적 장애물을 인식하여, 안전을 확보하면서 자동으로 주행하는 방안이 요구된다.

본 발명의 목적은, 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.

본 발명의 목적은, 장애물 인식의 범위 및 정확성을 향상할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.

본 발명의 목적은, 장애물의 인식 결과에 따라 주행함으로써 이동 로봇 자체의 안정성을 높이고 안전사고 발생을 방지할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.

본 발명의 목적은, 딥러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있는 이동 로봇 및 그 제어 방법을 제공함에 있다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 이동 로봇은, 깊이(depth) 카메라 및 깊이 카메라와 화각이 다른 영상 카메라를 포함하는 영상 획득부, 깊이 카메라와 영상 카메라에서 획득되는 이미지들을 정합하는 영상 처리부, 및, 영상 처리부로부터 입력되는 정합된 이미지에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부를 포함함 수 있다.

본 발명의 실시예들 중 적어도 하나에 의하면, 이동 로봇이, 비전(vision) 기반의 동작 장애물 검출을 수행할 수 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 장애물 인식의 범위 및 정확성을 향상할 수 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 장애물의 인식 결과에 따라 주행함으로써 이동 로봇 자체의 안정성을 높이고 안전사고 발생을 방지할 수 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 머신 러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있는 이동 로봇 및 그 제어방법을 제공할 수 있다.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 딥러닝에 기반하여 장애물의 속성을 정확하게 인식할 수 있다.

도 1은 본 발명의 실시예에 따른 이동 로봇들을 예시한 도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 주행에 관한 설명에 참조되는 도면이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 내부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 8과 도 9는 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.

도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.

한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.

도 1은 본 발명의 실시예에 따른 이동 로봇들을 예시한 도이고, 도 2는 본 발명의 일 실시예에 따른 이동 로봇의 주행에 관한 설명에 참조되는 도면이다.

본 발명의 일 실시예에 따른 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미한다. 따라서, 이동 로봇(100)은 스스로 이동 가능한 안내 로봇, 청소 로봇, 가정 도우미 로봇, 엔터테인먼트(Entertainment) 로봇, 경비 로봇 등일 수 있고, 본 발명은 이동 로봇의 종류에 한정되지 않는다.

도 1의 (a)는 안내 로봇(100a)을 예시하고, 도 1의 (b)는 청소 로봇(100b)을 예시한다.

안내 로봇(100a)은, 터치, 음성 입력 등으로 사용자 입력을 수신하여, 사용자 입력에 대응하는 물체, 장소에 대한 정보를 디스플레이 화면에 표시할 수 있다.

또한, 안내 로봇(100a)은, 사용자 요청 시, 특정 목적지까지 이동하면서 사용자를 직접 안내하는 에스코트 서비스(escort service)를 제공할 수 있다.

청소 로봇(100b)은 브러시 등 청소 기구를 구비하여 스스로 이동하면서 특정 공간을 청소할 수 있다.

이러한 이동 로봇(100a, 100b)은 특정 공간을 주행하면서 부여된 임무를 수행할 수 있다. 안전사고 발생을 방지하기 위해서, 이동 로봇(100a, 100b)은 이동 중 장애물을 감지하여 회피하면서 주행해야 한다.

고정된 장소에 놓여진 물체, 구조물을 회피하는 것보다, 사람, 반려 동물 등 스스로 이동할 수 있는 동적 장애물을 검출하여 회피하는 것이 더 어렵고 중요하다.

도 2를 참조하면, 이동 로봇(100)은 많은 사람(21, 22, 23, 24)이 체류하거나 이동하는 공항, 기차역, 백화점, 항만 등 공공장소에서 운용될 수 있다. 이 경우에, 이동 로봇(100)은 사람(21, 22, 23, 24) 등 동적 장애물의 존재, 위치, 이동 여부, 이동 속도 등을 인식하여 회피하는 것이 매우 중요하다.

로봇용 비전(vision) 기반 동적 장애물 검출 시스템에서 장애물을 검출하는 기존의 방식은, 깊이(depth) 기반에 영역 분할(foreground/background)을 통해 검출하거나, 영상만을 활용하여 검출하고자 하는 물체(사람 등)를 학습하여 검출하는 방법을 주로 사용하였다.

하지만, 학습에 사용된 사람, 물체의 이미지와 다르게, 유모차(25)를 끄는 사람(24), 카트를 끄는 사람 등 유모차(25), 카트 등 물체에 가려진 사람의 경우에는 인식하는데 어려움이 있었다. 특히, 동적 장애물은 인식하고 추적(tracking)하는 경우에, 물체에 가려졌던 사람이 물체와 떨어지거나 어떤 사람이 특정 물체, 사람에 의해 가려지면 동일 대상으로 인식하지 못해 지속적인 추적(tracking)을 수행하지 못할 수 있었다.

따라서, 동적 장애물을 정확하게 인식하고 인식된 특정 동적 장애물을 잃지 않고 추적할 수 있는 방안이 요구된다.

도 3은 본 발명의 일 실시예에 따른 이동 로봇의 내부 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 마이크를 통하여 사용자의 음성 입력을 수신하는 음성 입력부(325), 각종 데이터를 저장하는 저장부(330), 서버(미도시) 등 다른 기기와 데이터를 송수신하는 통신부(390), 이동 로봇(100)의 전반적인 동작을 제어하는 제어부(340)를 포함할 수 있다.

음성 입력부(325)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부(340) 또는 서버(미도시)에서 인식할 수 있도록 데이터화할 수 있다.

제어부(340)는, 이동 로봇(100)을 구성하는 음성 입력부(325), 저장부(330), 통신부(390) 등을 제어하여, 이동 로봇(100)의 동작 전반을 제어할 수 있다.

저장부(330)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.

또한, 제어부(340)는 통신부(390)를 통해 이동 로봇(100)의 동작상태 또는 사용자 입력 등을 서버 등으로 전송할 수 있다.

통신부(390)는 적어도 하나의 통신모듈을 포함하여 이동 로봇(100)이 인터넷, 또는 소정의 네트워크에 연결되도록 한다.

한편, 저장부(330)에는 음성 인식을 위한 데이터가 저장될 수 있고, 상기 제어부(340)는 음성 입력부(325)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. 또는, 음성 인식 과정은 이동 로봇(100) 자체에서 실시되지 않고 서버에서 수행될 수 있다.

한편, 이동 로봇(100)은 소정 정보를 영상으로 표시하는 디스플레이부(310)와 소정 정보를 음향으로 출력하는 음향 출력부(380)를 포함할 수 있다.

디스플레이부(310)는 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.

음향 출력부(380)는 제어부(340)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(380)는, 제어부(340)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.

한편, 이동 로봇(100)은 소정 범위를 촬영할 수 있는 영상 획득부(320)를 포함할 수 있다.

영상 획득부(320)는 이동 로봇(100) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.

영상 획득부(320)는, 사용자 인식용 영상을 촬영할 수 있다. 제어부(340)는 상기 영상 획득부(320)가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자(안내 대상)를 인식할 수 있다.

또한, 상기 제어부(340)는, 상기 영상 획득부(320)가 촬영하여 획득하는 영상에 기초하여 이동 로봇(100)이 주행하도록 제어할 수 있다.

한편, 상기 영상 획득부(320)가 촬영하여 획득된 영상은 저장부(330)에 저장될 수 있다.

한편, 이동 로봇(100)은 이동을 위한 구동부(360)를 포함할 수 있고, 상기 구동부(360)는 제어부(340)의 제어에 따라, 본체를 이동시킬 수 있다.

구동부(360)는 이동 로봇(100)은 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시)를 포함할 수 있다. 구동부(360)는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴는 본체의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.

좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.

한편, 이동 로봇(100)은 이동 로봇(100)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(370)를 포함할 수 있다.

상기 센서부(370)는 이동 로봇(100)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.

상기 센서부(370)는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서, 라이다(light detection and ranging: Lidar) 등 포함할 수 있다.

한편, 상기 장애물 감지 센서는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(340)에 전달한다. 이때, 제어부(340)는, 감지된 장애물의 위치에 따라 이동 로봇(100)의 움직임을 제어할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 영상 획득부(320)는 화각이 다른 복수의 카메라를 포함할 수 있고, 제어부(340)는 화각이 다른 카메라로부터 획득된 이미지들을 정합하여, 정합된 이미지에 포함된 장애물을 인식할 수 있다. 특히, 제어부(340)는 화각이 넓은 카메라에서 획득되는 이미지 영역에 기초하여 화각의 끝에서부터 빨리 동적 장애물을 검출하고, 검출된 동적 장애물을 추적(tracking)할 수 있다. 또한, 제어부(340)는 인식되는 동적 장애물을 고려한 회피 주행을 수행하도록 제어할 수 있다.

도 4를 참조하여, 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들을 상세히 설명한다.

도 4는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 깊이(depth) 카메라(322) 및 깊이 카메라(322)와 화각이 다른 영상 카메라(321)를 포함하는 영상 획득부(320), 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들을 정합하는 영상 처리부(341), 및, 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부로부터 입력되는 이미지들에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부(342)를 포함할 수 있다.

도 4를 참조하면, 영상 처리부(341)와 학습기반 장애물 인식부(342)는 제어부(340)의 내부 블록으로 구비될 수 있다.

실시예에 따라서, 영상 처리부(341)는 영상 획득부(320) 내에 구비될 수도 있다.

또한, 실시예에 따라서, 학습기반 장애물 인식부(342)는 제어부(340)와 별도로 구비되어, 장애물 인식 결과를 제어부(340) 등으로 출력하도록 구성될 수도 있다.

영상 카메라(321)는 컬러(RGB) 카메라이거나, 그레이(grey) 카메라일 수 있다.

깊이 카메라(322)는 상기 영상 카메라(321)와는 다른 화각을 가질 수 있다. 더욱 바람직하게는, 상기 깊이 카메라(322)는 상기 영상 카메라(321)보다 화각이 더 클 수 있다.

상기 깊이 카메라(322)의 화각이 영상 카메라(321)의 화각보다 크고, 상기 깊이 카메라(322)가 더 넓은 시야(Field of view)를 가짐으로써, 영상 카메라(321)의 시야(Field of view)를 벗어난 영역에서도 장애물을 검출할 수 있다.

이동 로봇(100)이 장애물을 인식하고 회피 주행하기 위해서는 카메라(321, 322)의 시야(Field of view) 중심부보다 외곽의 경계 영역에서 장애물을 빨리 검출하는 것이 중요하다.

시야(Field of view) 중심부에 있던 장애물은 장애물 및/또는 이동 로봇(1)이 움직이더라도 적어도 일정시간 동안에는 시야(Field of view) 내부에 존재할 뿐으로, 장애물 인식 및 추적에 문제가 없다.

하지만, 장애물은, 시야(Field of view) 외곽의 경계 영역에서 갑자기 최초로 검출될 수 있고, 경계 영역에서 검출된 장애물은 장애물 및/또는 이동 로봇(1)의 움직임에 따라 시야(Field of view) 중심부로 이동하거나 시야(Field of view)를 벗어날 수 있다. 따라서, 시야(Field of view) 외곽의 경계 영역에서 빨리 장애물을 검출하는 것이 비전 기반 (동적) 장애물 검출 시스템에서 매우 중요하다.

본 발명은 화각이 더 넓은 카메라를 이용해서 장애물이 시야(Field of view) 중심부에 장애물이 오기 전에 장애물을 더 빨리 검출할 수 있다.

또한, 본 발명에 따르면, 고가의 일체형 카메라보다 복수의 카메라 중 어느 하나의 카메라만 가격이 저렴한 카메라로 구성할 수 있어, 더 저렴한 비용으로 구현할 수 있다. 특히, 화각이 더 넓은 카메라를 상대적으로 저렴한 종류의 카메라로 구성함으로써, 적은 비용으로 장애물 인식 성능을 향상할 수 있다.

또한, 본 발명에 따르면, 복수의 카메라를 이용함으로써, 카메라 조합을 다양하게 구성할 수 있다는 장점이 있다.

한편, 영상 처리부(341)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들을 정합할 수 있다.

상기 영상 카메라(321)가 칼라 카메라의 3채널 이미지 데이터 또는 그레이 카메라의 1채널의 이미지 데이터, 및, 깊이 카메라(322)의 1채널 이미지 데이터를 정렬하여 이미지들을 정합할 수 있다.

화각이 상이한 영상 상기 깊이 카메라(322)와 상기 영상 카메라(321)를 활용하는 경우에, 다른 화각으로 촬영된 이미지들을 얼라인(align)하여 정합할 필요가있다.

영상 처리부(341)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득한 이미지의 데이터를 정렬하여 두 이미지를 정합할 수 있다.

영상 처리부(341)는, 영상 카메라(321)의 내부 파라미터로 이루어질 수 있는 내부 행렬(intrinsic)과 영상 카메라(321)의 위치 정보, 자세 정보 등으로 이루어질 수 있는 외부 행렬(extrinsic)을 활용하여 영상 변환을 위한 투영 행렬을 생성할 수 있다.

또한, 영상 처리부(341)는, 깊이 카메라(322)의 깊이(depth) 값을 활용하여, 깊이 카메라(322)에서 획득된 깊이 영상에 대응하는 영상 카메라(321)의 칼라 영상 픽셀(pixel)의 R,G,B의 값을 획득하여, 이미지들을 정합할 수 있다.

즉, 깊이 카메라(322)에서 획득된 깊이 영상 위에 영상 카메라(321)에서 획득된 칼라 영상이 투영되고, 깊이 카메라(322)의 픽셀에 대응하는 픽셀의 R,G,B 값이 획득되어 반영됨으로써, 깊이 카메라(322)에서 획득된 깊이 영상 위에 영상 카메라(321)에서 획득된 칼라 영상이 정합될 수 있다.

한편, 학습기반 장애물 인식부(342)는, 화각이 상이한 영상(color,grey) 카메라와 깊이(depth) 카메라를 활용하여 장애물을 인식하도록 학습된 학습기반 검출기일 수 있다.

학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다.

또한, 학습기반 장애물 인식부(342)는, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식할 수 있다.

학습기반 장애물 인식부(342)는, 머신 러닝으로 장애물의 속성이 학습될 수 있다. 머신 러닝은 컴퓨터에게 사람이 직접 로직(Logic)을 지시하지 않아도 데이터를 통해 컴퓨터가 학습을 하고 이를 통해 컴퓨터가 알아서 문제를 해결하게 하는 것을 의미한다.

딥러닝(Deep Learning)은. 인공지능을 구성하기 위한 인공신경망(Artificial Neural Networks: ANN)에 기반으로 해 컴퓨터에게 사람의 사고방식을 가르치는 방법으로 사람이 가르치지 않아도 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술이다.

상기 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다.

학습기반 장애물 인식부(342)는, 장애물의 속성이 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다. 예를 들어, 학습기반 장애물 인식부(342)는, 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.

학습기반 장애물 인식부(342)는, 영상 획득부(120)가 획득한 이미지들이 정합된 이미지로 학습될 수 있다.

이에 따라, 학습기반 장애물 인식부(342)는, 영상 획득부(120)가 획득한 이미지들이 정합된 이미지에서 딥러닝으로 기학습된 데이터에 기초하여 장애물을 인식할 수 있다.

또한, 학습기반 장애물 인식부(342)는, 정합된 이미지들 중 연속적인 2이상의 이미지들을 인식하여, 장애물의 이동 여부를 판별하고, 동적 장애물을 인식할 수 있다. 또한, 동적 장애물의 이동 방향 및 이동 속도도 판별할 수 있다.

한편, 종래의 로봇용 비전(vision) 기반 동적 장애물 검출 시스템은 고가의 단일 RGB-D 카메라를 많이 사용하였다. 이 경우에, 카메라를 다양하게 조합하기 어렵고, 카메라 전체를 교체, 수리해야 하므로, 특정 부품만 교체하거나, 특정 성능만 개선하는 데 한계가 있었다.

하지만, 본 발명은, 화각이 다른 상기 깊이 카메라(322)와 상기 영상 카메라(321)를 활용한, 이종의 센서 정보가 융합된 학습기반 동적 장애물 검출 시스템을 제안한다.

본 발명에 따르면, 다양한 정보의 융합으로 학습기반 장애물 인식부(342)의 성능 향상이 가능하고, 구비된 카메라(321, 322) 중 넓은 화각에서 장애물을 검출할 수 있다.

또한, 깊이 영상과 칼라(color) 영상의 공간적인 정렬을 통해 데이터 처리의 편의성을 높일 수 있다.

한편, 학습기반 장애물 인식부(342)는, 장애물 인식 결과, 상기 장애물 인식 결과의 신뢰값(confidence), 및, 인식되는 장애물을 둘러싸는 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다. 예를 들어, 학습기반 장애물 인식부(342)는 box(x,y,w,h), class id, 신뢰값과 같은 결과 정보를 출력할 수 있다.

즉, 학습기반 장애물 인식부(342)는, 인식된 장애물 인식 결과, 인식된 결과에 대한 신뢰값을 출력할 뿐만 아니라, 시각적인 검출된 결과(사각박스: bounding box regression)도 제공할 수 있다.

상기 장애물 인식 결과는, 장애물들을 분류하여 기설정된 클래스(class)들 중 인식된 장애물에 대응하는 클래스 정보를 포함할 수 있다.

예를 들어, 학습기반 장애물 인식부(342)는, 사람, 카트 등 기설정된 클래스 중 어느 하나로 장애물을 인식하도록 학습될 수 있다.

이에 따라, 학습기반 장애물 인식부(342)는, 사람, 카트 등 정합된 이미지에 포함되는 장애물의 클래스를 장애물 인식 결과로 출력할 수 있다. 또한, 장애물의 클래스 정보는 각 클래스에 대응하는 식별자(id) 형태로 출력될 수 있다.

또한, 학습기반 장애물 인식부(342)는, 장애물 인식 결과와 함께 해당 인식 클래스에 대한 신뢰값을 함께 출력할 수 있다.

또한, 학습기반 장애물 인식부(342)는, 장애물 인식 결과와 함께 인식되는 장애물을 둘러싸는 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다. 예를 들어, 사각 박스(bounding box)의 시작점 좌표(x, y)와 폭(w), 높이(h) 정보를 포함하는 좌표 정보를 출력할 수 있다.

한편, 학습기반 장애물 인식부(342)는, 소정 사각 박스(bounding box)에 복수의 장애물이 포함되는 경우에, 상기 복수의 장애물 모두에 대한 클래스 정보들을 포함하는 장애물 인식 결과를 출력할 수 있다, 예를 들어, 카트를 밀면서 이동 중인 사람이 카메라(321, 322)에서 촬영되는 경우에. 사람과 카트의 2개 클래스가 장애물 인식 결과로 출력될 수 있다. 즉, 장애물 인식 결과는 2이상의 클래스를 포함하는 멀티 클래스(multi class)로 출력되는 것이 가능하다.

이 경우에, 사람과 카트를 모두 포함하도록 사각 박스(bounding box)가 형성될 수 있다.

또한, 학습기반 장애물 인식부(342)는, 카트, 사람, 카트에 가려진 사람 영상으로 각각 학습될 수 있고, 멀티 클래스인 사람과 카트 둘 모두를 인식하면서, 카트에 의해 가려진 사람의 일부분이 있음을 인식할 수 있다.

비전 기반의 장애물 인식 시스템은 통상적으로 검출되는 장애물의 크기가 너무 커지거나 작아지는 등 외형 변화가 너무 커지면 인식률이 감소한다. 예를 들어서, 물체가 보이는 영역 사람 상체만을 검출하여 사람으로 판별하고 추적 중일 때, 카트가 없어져 사람의 하반신까지 이미지에 포함되면, 비전 기반의 장애물 인식 시스템 추적중인 사람이 아닌 다른 별개의 사람으로 판별할 수 있다. 이에 따라 추적 대상을 잃어버려 정확한 추적 및 제어가 어려워질 수 있다.

하지만, 본 발명에 따르면, 물체의 가려짐을 고려하여 가려진 사람의 실제 크기를 추정하여 검출하면서 장애물 인식 결과를 사람과 카트의 멀티 클래스로 출력할 수 있다.

이에 따라, 사람과 카트가 분리되는 경우에도, 추적 중인 대상과 동일한 대상임을 식별할 수 있다.

또한, 상기 학습기반 장애물 인식부(342)는, 동일 사각 박스(bounding box)에 포함되는 복수의 장애물이 소정 거리 이상 분리된 경우에, 분리된 복수의 장애물 각각에 대한 장애물 인식 결과, 신뢰값(confidence), 및, 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력할 수 있다.

즉, 상기 학습기반 장애물 인식부(342)는, 동일 사각 박스(bounding box)에 멀티 클래스로 인식되었던 장애물들이 분리된 경우에, 분리된 장애물들 각각에 대한 사각 박스를 제공할 수 있다. 또한, 장애물 인식 결과에는 추적중이었던 클래스 식별자가 동일하게 포함되므로, 분리된 장애물들이 추적 중이었던 대상과 동일한 대상임을 식별할 수 있다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은, 상기 학습기반 장애물 인식부(342)에서 인식되는 이동 가능한 동적 장애물의 위치 및 속도를 고려하여, 상기 이동 로봇(100)의 주행을 제어하는 주행 제어부(343)를 더 포함할 수 있다.

예를 들어, 주행 제어부(343)는 이동 로봇(100)의 이동 경로가 상기 학습기반 장애물 인식부(342)에서 인식되는 동적 장애물의 이동 경로와 겹치지 않도록 이동 경로를 변경할 수 있다.

또한, 주행 제어부(343)는 상기 학습기반 장애물 인식부(342)에서 인식되는 동적 장애물의 위치, 이동 방향, 이동 속도를 고려하여, 동적 장애물과 충돌하지 않는 이동 경로 및 이동 속도를 판별하고, 판별된 이동 경로 및 이동 속도로 이동 로봇(100)이 주행하도록 구동부(360)를 제어할 수 있다.

실시예에 따라서, 주행 제어부(343)는 제어부(340)의 일부로 구성될 수 있다.

제어부(340)는 학습기반 장애물 인식부(342)가 상기 깊이 카메라(322)와 상기 영상 카메라(321) 중 화각이 더 큰 카메라(322)에서만 획득된 영역에서 동적 장애물이 인식될 때부터, 상기 인식된 동적 장애물을 추적(tracking)할 수 있다.

이러한 동적 장애물의 추적은 학습기반 장애물 인식부(342) 또는 주행 제어부(343)에서 수행될 수 있다.

동적 장애물의 추적에서는 검출되는 장애물의 동일 대상 여부를 판별함으로써, 다른 장애물과 혼동하지 않고 지속적으로 계속 추적하는 것이 매우 중요하다.

본 발명의 일 실시예에 따르면, 각이 더 큰 카메라(322)에서만 획득된 영역에서 동적 장애물이 인식될 때부터, 동적 장애물을 추적함으로써, 추적을 빠르게 시작할 수 있을 뿐만 아니라, 장애물의 가려짐의 발생할 경우에도 장애물을 정확하게 추적할 수 있다.

본 발명의 일 실시예에 따르면, 가려짐에 강인한 검출 결과(bounding box)를 제공하여 검출하고자는 물체의 크기가 급격하게 변하는 것을 방지하여, 높은 추적 성능을 확보할 수 있다.

도 5는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이고, 도 6은 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다.

도 5와 도 6을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(1)은, 영상 획득부(320)의 화각이 서로 다른 영상 카메라(321)와 깊이 카메라(322)를 통하여 이미지들(610, 620)을 획득할 수 있다(S510). 도 6과 같이, 깊이 카메라(322)의 화각이 영상 카메라(321)보다 클 수 있다.

영상 처리부(341)는, 영상 카메라(321)와 깊이 카메라(322)를 통하여 이미지들(610, 620)을 정합할 수 있다(S520).

예를 들어, 영상 카메라(321)가 칼라 영상 카메라인 경우에, 3채널의 칼라 이미지(610)와 1채널의 깊이 이미지(620)를 정합하여 4채널(color+depth)의 정합된 이미지(630)를 생성할 수 있다.

학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다(S530).

도 7은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이고, 도 8과 도 9는 본 발명의 실시예에 따른 이동 로봇의 제어 방법에 관한 설명에 참조되는 도면이다.

도 7을 참조하면, 학습기반 장애물 인식부(342)는, 상기 깊이 카메라(322)와 상기 영상 카메라(321)에서 획득되는 이미지들이 정합된 이미지로 장애물의 속성을 인식하도록 학습되어, 상기 영상 처리부(310)로부터 정합된 이미지에 포함된 장애물을 인식할 수 있다(S710).

또한, 학습기반 장애물 인식부(342)는, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식할 수 있다(S710).

학습기반 장애물 인식부(342)는, 하나의 정합된 이미지로부터는 장애물 존재 여부 및 장애물의 클래스(class)를 식별할 수 있다.

또한, 학습기반 장애물 인식부(342)는, 연속적인 여러 정합 이미지들에서 장애물의 이동 여부, 이동 방향, 이동 속도를 판별할 수 있다.

이에 따라, 제어부(340)는 동적 장애물을 인식하고(S710), 동적 장애물을 추적(tracking)할 수 있다(S720). 이러한 동적 장애물의 추적은 학습기반 장애물 인식부(342) 또는 주행 제어부(343)에서 수행될 수 있다.

도 8과 도 9는 화각이 다른 RGB 카메라(321)와 깊이 카메라(322)를 활용하여 획득된 연속된 이미지들에서 동적 장애물이 검출되는 예를 도시한 것이다.

먼저, 도 8과 같이, RGB 카메라(321)에서 획득된 RGB 영상(810)에서는 우측에 있는 사람(830)의 정보가 좁은 화각에 의해 팔만 보여 보행자 검출이 힘들다,

하지만, 본 발명에 따라, RGB 카메라(321)에서 획득된 RGB 영상(810)과 깊이 카메라(322)에서 획득된 깊이 영상(820)을 정합하여, 4채널의 정합된 영상 입력(800)을 만들 수 있다.

또한, 각각 RGB 영상(810)과 깊이 영상(820)과 연속적으로 획득된 RGB 카메라(321)에서 획득된 RGB 영상(910)과 깊이 카메라(322)에서 획득된 깊이 영상(920)을 정합하여, 4채널의 정합된 영상 입력(900)을 만들 수 있다.

한편, 학습기반 장애물 인식부(342)는 채널의 정합된 영상 입력으로 사전에 학습될 수 있다.

이에 따라, 상대적으로 넓은 화각을 가진 깊이 카메라(322)에서 획득된 깊이 영상(820)에 의해 이동 로봇(100) 측면으로 진입하는 동적 장애물(830, 930)을 빠르게 식별할 수 있다.

이에 따라, 검출된 장애물(830, 930)을 감싸는 시각적인 검출 결과 사각 박스(835, 935)도 제공할 수 있다.

또한, 학습기반 장애물 인식부(342)는, 연속적인 두 이미지(800, 900)를 비교하여, 동적 장애물(830, 930)의 이동 방향 및 이동 속도를 판별할 수 있다.

한편, 주행 제어부(343)는, 상기 학습기반 장애물 인식부(342)에서 인식되는 이동 가능한 동적 장애물의 위치 및 속도를 고려하여, 상기 이동 로봇(100)의 주행을 제어할 수 있다(S730).

본 발명에 따른 이동 로봇 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 실시예에 따른 이동 로봇의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

이동 로봇: 100, 100a, 100b
영상 획득부: 320
영상 카메라: 321
깊이 카메라: 322
영상처리부: 341
학습 기반 장애물 인식부: 342
주행 제어부: 343

Claims

깊이(depth) 카메라 및 상기 깊이 카메라와 화각이 다른 영상 카메라를 포함하는 영상 획득부;
상기 깊이 카메라와 상기 영상 카메라에서 획득되는 이미지들을 정합하는 영상 처리부, 및,
상기 영상 처리부로부터 입력되는 정합된 이미지에 포함된 장애물을 인식하고, 복수의 정합된 이미지들에 기초하여 동적 장애물을 인식하는 학습기반 장애물 인식부;를 포함하며,
상기 학습기반 장애물 인식부는,
상기 깊이 카메라와 상기 영상 카메라 중 화각이 큰 카메라에서만 획득된 영역에서 동적 장애물이 인식될 때부터, 상기 인식된 동적 장애물을 추적(tracking)하는 이동 로봇.
제1항에 있어서,
상기 학습기반 장애물 인식부에서 인식되는 이동 가능한 동적 장애물의 위치 및 속도를 고려하여, 상기 이동 로봇의 주행을 제어하는 주행 제어부;를 더 포함하는 이동 로봇.
삭제
제1항에 있어서,
상기 학습기반 장애물 인식부는,
장애물 인식 결과, 상기 장애물 인식 결과의 신뢰값(confidence), 및, 인식되는 장애물을 둘러싸는 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력하는 것을 특징으로 하는 이동 로봇.
제4항에 있어서,
상기 장애물 인식 결과는, 장애물들을 분류하여 기설정된 클래스(class)들 중 인식된 장애물에 대응하는 클래스 정보를 포함하는 것을 특징으로 하는 이동 로봇.
제4항에 있어서,
소정 사각 박스(bounding box)에 복수의 장애물이 포함되는 경우에, 상기 학습기반 장애물 인식부는, 상기 복수의 장애물 모두에 대한 클래스 정보들을 포함하는 장애물 인식 결과를 출력하는 것을 특징으로 하는 이동 로봇.
제6항에 있어서,
상기 학습기반 장애물 인식부는,
동일 사각 박스(bounding box)에 포함되는 복수의 장애물이 소정 거리 이상 분리된 경우에, 분리된 복수의 장애물 각각에 대한 장애물 인식 결과, 신뢰값(confidence), 및, 사각 박스(bounding box)의 표시를 위한 좌표 정보를 출력하는 것을 특징으로 하는 이동 로봇.
삭제
제1항에 있어서,
상기 깊이 카메라는 상기 영상 카메라보다 화각이 더 큰 것을 특징으로 하는 이동 로봇.