KR20230042674A

KR20230042674A - 인공지능 및 포인트 클라우드 기반의 장애물 회피 자율 판단 솔루션을 탑재한 이동체 장치 및 그 방법

Info

Publication number: KR20230042674A
Application number: KR1020230032431A
Authority: KR
Inventors: 윤고은; 함형하
Original assignee: 주식회사 클로봇
Priority date: 2021-04-12
Filing date: 2023-03-13
Publication date: 2023-03-29
Also published as: KR102521714B9; KR20220141261A; KR102510840B1; KR102510840B9; KR102449047B1; KR102521714B1; KR20220166235A; KR102479390B1

Abstract

본 발명은 이동체 장치에 의해 수행되는 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 방법에 있어서, 상기 이동체 장치의 제1 센서를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집하는 단계, 상기 이동체 장치의 제2 센서를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득하는 단계, 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단하는 단계, 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환하는 단계, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하는 단계 및 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물은 회피하지 않고 이동되도록 제어하는 단계를 포함한다.

Description

인공지능 및 포인트 클라우드 기반의 장애물 회피 자율 판단 솔루션을 탑재한 이동체 장치 및 그 방법{MOVING DEVICE EQUIPPED WITH OBSTACLE AVOIDANCE SELF-DETERMINATION SOLUTION BASED ARTIFICIAL INTELLIGENCE AND POINT CLOUD, METHOD THEREOF}

본 발명은 인공지능 및 포인트 클라우드 기반의 장애물 회피 자율 판단 솔루션을 탑재한 이동체 장치 및 그 방법에 관한 것이다.

최근 들어 호텔, 쇼핑몰, 공공기관 등 다양한 곳에서 서비스 로봇을 쉽게 볼 수 있게 되었다. 이러한, 서비스 로봇은 기업, 공공장소에서 사용하는 전문용 서비스 로봇(Professional Service Robot), 일반 가정 서비스 로봇 및 개인용 서비스 로봇(Personal Service Robot)을 모두 뜻할 수 있다.

2019년 세계 서비스 로봇 시장 규모는 94억 6000만달러로 전년대비 14.1% 증가했다. 지난 5년간 서비스로봇 시장은 연평균 21.9% 성장률을 기록했으며 2021년에는 40억 달러까지 규모가 커질 것으로 전망된다.

특히, 서비스 로봇은 대부분 자율 주행 로봇으로 가사, 손님맞이, 교육용 로봇으로 실내 공간에서 많이 사용되고 있다.

실내 공간은 벽, 기둥, 의자, 책상, 책장, 복합기 등 자율 주행 로봇의 움직임에 제한이 되는 장애물이 많다. 반면, 실내 공간에서 자율 주행 로봇이 부딪혀도 손상되지 않는 비회피 물체도 존재한다.

그러나, 대부분 실내에서 주행하는 자율 주행 로봇은 비회피 물체에 대해서도 장애물로 인식하여 회피하여 주행함으로 자율 주행의 효율이 떨어진다.

따라서, 실내에서 비회피 물체에 대해 스스로 판단하여 자동 주행에 대한 정확도와 효율성을 높이는 방안이 필요하다.

대한민국 공개특허공보 제10-2013-0045290호

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 비회피 물체에 대해 스스로 판단하여 비회피 물체에 대해 회피하지 않고 주행하는 방법을 제공할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명에 따른 이동체 장치에 의해 수행되는 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 방법에 있어서, 상기 이동체 장치의 제1 센서를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집하는 단계, 상기 이동체 장치의 제2 센서를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득하는 단계, 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단하는 단계, 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환하는 단계, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하는 단계 및 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물은 회피하지 않고 이동되도록 제어하는 단계를 포함할 수 있다.

여기서, 상기 비회피 장애물 여부 판단 단계는, 기 설정된 학습 모델을 기반으로 수행되며, 상기 학습 모델은, 복수의 회피 장애물 및 복수의 비회피 장애물에 대한 이미지를 기반으로 한 학습데이터를 학습하여 구축된 것일 수 있다.

여기서, 상기 학습데이터는, 상기 이미지 내에 포함된 장애물 별로 회피 장애물 또는 비회피 장애물임을 나타내는 식별 정보가 레이블링된 것일 수 있다.

또한, 상기 제1 센서는, 라이다 센서를 포함하고, 상기 제2 센서는, 전방의 장애물과의 깊이(depth) 센싱이 가능한 카메라 센서를 포함하고, 상기 비회피 장애물의 위치에 대한 좌표는, 상기 이미지 내에서 상기 비회피 장애물에 대한 픽셀 좌표를 포함하고, 상기 비회피 포인트 클라우드 좌표는, 상기 픽셀 좌표 및 상기 비회피 장애물에 대한 깊이 좌표를 기반으로 변환된 것일 수 있다.

또한, 상기 비회피 포인트 클라우드 좌표는, 상기 카메라 센서의 내부 및 외부 파라미터를 더 반영하여 변환된 것일 수 있다.

또한, 상기 비회피 포인트 클라우드 좌표는, 이하의 수식을 기반으로 변환된 것일 수 있다.

(상기 u 및 v는 상기 비회피 장애물의 위치에 대한 2D(Dimensional) 이미지 픽셀 좌표를 나타내고, 상기 fx 및 fy는 카메라 내부 파라미터 내의 초점거리를 나타내고, 상기 cx, cy는 상기 카메라 내부 파라미터 내의 주점을 나타내고, 또한, 상기 r11 내지 r33은 카메라 외부 파라미터 내의 회전 행렬 정보를 나타내고, 상기 tx, ty, tz는 상기 카메라 외부 파라미터 내의 평행이동 (translation) 정보를 나타내고, 상기 Xw, Yw, Zw는 상기 u, v에 대해 맵핑되는 비회피 포인트 클라우드 좌표를 나타냄)

또한, 상기 군집 내의 영역 중 적어도 일부 영역을 비회피 영역으로 판단하는 단계를 더 포함하고, 상기 이동 단계는, 상기 비회피 영역은 회피하지 않고 이동되도록 제어하는 것일 수 있다.

또한, 상기 비회피 영역은, 상기 비회피 장애물의 일부 영역을 포함할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명에 따른 이동체 장치는, 자율 주행 공간 내에서 이동체 장치의 장애물 회피 주행을 제어하기 위한 복수의 프로세스를 구비한 메모리 및 상기 복수의 프로세스를 기반으로 상기 이동체 장치의 장애물 회피 주행을 제어하는 프로세서를 포함하고, 상기 복수의 프로세스는, 상기 이동체 장치의 제1 센서를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집하는 제1 프로세스, 상기 이동체 장치의 제2 센서를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득하는 제2 프로세스, 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단하는 제3 프로세스, 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환하는 제4 프로세스, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하는 제5 프로세스, 상기 군집 내의 영역 중 적어도 일부 영역을 비회피 영역으로 판단하는 제6 프로세스 및 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물의 상기 비회피 영역은 회피하지 않고 이동되도록 제어하는 제7 프로세스를 포함할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명에 따른 컴퓨터 프로그램은, 하드웨어인 이동체 장치와 결합되어, 자율 주행 공간 내에서 상기 이동체 장치의 장애물 회피 주행을 제어하기 위한 방법을 실행시키기 위한 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은, 상기 이동체 장치의 제1 센서를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집하는 단계, 상기 이동체 장치의 제2 센서를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득하는 단계, 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단하는 단계, 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환하는 단계, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하는 단계, 상기 군집 내의 영역 중 적어도 일부 영역을 비회피 영역으로 판단하는 단계 및 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물의 상기 비회피 영역은 회피하지 않고 이동되도록 제어하는 단계를 수행할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 비회피 물체에 대해 스스로 판단하여 비회피 물체에 대해 회피하지 않고 주행하는 방법을 제공함으로써 비회피 물체가 있지만 지나갈 수 있는 공간에 대해 회피하지 않고 주행하여 주행의 효율을 높일 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 자율 주행 공간에 대해 제1 센서를 기반으로 획득되는 포인트 클라우드 데이터를 나타낸 예시도이다.
도 3은 본 발명에 따른 자율 주행 공간에 대해 제2 센서를 기반으로 획득되는 이미지를 나타낸 예시도이다.
도 4는 본 발명에 따른 자율 주행 공간이 사무실인 경우 비회피 장애물에 대해 군집화한 것을 나타낸 예시도이다.
도 5는 본 발명에 따른 비회피 장애물에 대한 군집 내의 영역 중 비회피 영역을 나타난 예시도이다.
도 6은 본 발명에 따른 이동체 장치의 제2 프로세서에서 장애물 회피 주행 과정을 나타낸 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명에 따른 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 시스템(1)을 설명하기 위한 도면이다.

도 2는 본 발명에 따른 자율 주행 공간에 대해 제1 센서를 기반으로 획득되는 포인트 클라우드 데이터를 나타낸 예시도이다.

도 3은 본 발명에 따른 자율 주행 공간에 대해 제2 센서를 기반으로 획득되는 이미지를 나타낸 예시도이다.

도 4는 본 발명에 따른 자율 주행 공간이 사무실인 경우 비회피 장애물에 대해 군집화한 것을 나타낸 예시도이다.

도 5는 본 발명에 따른 비회피 장애물에 대한 군집 내의 영역 중 비회피 영역을 나타난 예시도이다.

이하, 도 1 내지 도 5를 참조하여, 본 발명의 이동체 장치(20)의 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 시스템(1)에 대해서 설명하도록 한다.

시스템(1)은 비회피 물체에 대해 스스로 판단하여 비회피 물체에 대해 회피하지 않고 주행하는 방법을 제공함으로써 비회피 물체가 있지만 지나갈 수 있는 공간에 대해 회피하지 않고 주행하여 주행의 효율을 높일 수 있는 효과를 가질 수 있다.

도 1을 보면, 본 발명에 따른 시스템(1)은 이동체 장치(20)의 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 프로그램을 소프트웨어 또는 펌웨어 형태로 생성하여 이동체 장치(20)에 제공하는 서버(10), 자율 주행이 가능한 이동체 장치(20) 및 통신망(30)을 포함할 수 있다. 여기서, 상기 시스템(1)은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.

먼저, 서버(10)는 적어도 하나의 이동체 장치(20)의 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 복수의 프로세스로 구성된 프로그램을 소프트웨어 또는 펌웨어 형태로 생성하여 저장하고, 상기 생성된 소프트웨어 또는 펌웨어를 상기 적어도 하나의 이동체 장치(20)에 제공할 수 있다.

서버(10)는 제1 통신부(110), 제1 메모리(120) 및 제1 프로세서(130)을 포함할 수 있다. 여기서, 상기 서버(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.

제1 통신부(110)는 서버(10)와 무선 통신 시스템 사이, 서버(10)와 이동체 장치(20) 사이, 서버(10)와 사용자 단말(미도시) 사이, 또는 서버(10)와 외부 서버(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 제1 통신부(110)는, 서버(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

제1 메모리(120)는 서버(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 제1 메모리(120)는 서버(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 입력 받는 응용 프로그램 중 적어도 일부는, 서버(10)의 기본적인 기능을 위하여 존재할 수 있다.

보다 상세하게는, 제1 메모리(120)는 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 복수의 프로세스로 구성되는 장애물 회피 주행 프로그램을 저장할 수 있다. 여기서, 상기 복수의 프로세스는 제1 프로세서(230)에 대한 동작을 설명할 때 상세하게 후술하도록 한다.

제1 프로세서(130)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 서버(10)의 전반적인 동작을 제어할 수 있다. 제1 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 제1 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말 또는 이동체 장치(20)에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제1 프로세서(130)는 제1 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제1 프로세서(130)는 상기 응용 프로그램의 구동을 위하여, 서버(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.

제1 프로세서(130)는 제1 메모리(120)에 저장된 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 복수의 프로세스로 구성되는 장애물 회피 주행 프로그램을 생성(또는 제작)할 수 있다.

이후, 제1 프로세서(130)는 상기 생성된 장애물 회피 주행 프로그램(또는 펌웨어)에서 제공하는 복수의 프로세스를 통해 이동체 장치(20)가 자동 주행될 수 있도록, 상기 자동 주행 제어 프로그램을 제1 통신부(110)를 통해 이동체 장치(20)로 제공할 수 있다.

따라서, 제1 프로세서(130)는 제1 메모리(120)에 저장된 상기 장애물 회피 주행 프로그램을 생성하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제1 프로세서(130)는 상기 장애물 회피 주행 프로그램의 생성을 위하여, 서버(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.

다음으로, 이동체 장치(20)는 자율 주행 공간 내에서 주행시 장애물에 대해 회피 장애물인지 비회피 장애물인지 판단하여 이를 기반으로 장애물 회피 주행을 제어할 수 있다.

이동체 장치(20)는 제2 통신부(210), 센서부(220), 제2 메모리(230), 제2 프로세서(240) 및 구동부(250)를 포함할 수 있다. 여기서, 이동체 장치(20)는 자율 주행이 가능한 로봇일 수 있다.

제2 통신부(210)는 이동체 장치(20)와 무선 통신 시스템 사이, 이동체 장치(20)와 서버(10) 사이, 이동체 장치(20)와 다른 이동체 장치(미도시) 사이, 이동체 장치(20)와 사용자 단말(미도시) 또는 이동체 장치(20)와 외부 서버(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 제2 통신부(210)는, 이동체 장치(20)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

센서부(220)는 제1 센서(221)와 제2 센서(222) 중 적어도 하나를 구비할 수 있다. 센서부(220)는 상기 이동체 장치(20)의 전면에 대해 장애물 또는 돌발상황을 감지할 수 있다.

여기서, 제1 센서(221)는 레이저 펄스를 발사하여 그 빛이 대상 물체에 반사되어 돌아오는 것을 받아 물체까지 거리 등을 측정하고 물체 형상까지 이미지화할 수 있다. 예컨대, 제1 센서(221)는 라이다(LiDar) 센서일 수 있다.

제2 센서(222)는 깊이(Depth) 데이터를 갖는 이미지를 획득할 수 있다. 이러한, 제2 센서(222)는 전방의 장애물과의 깊이(depth) 센싱이 가능한 카메라 센서를 포함할 수 있다. 예컨대, 제2 센서(222)는 RGB-D 센서일 수 있으며, RGB-D 센서는 적외선 빔을 송출한 후 반사돼 돌아오는 시간을 통해 대상의 깊이 정보를 획득할 수 있다.

제2 메모리(230)는 이동체 장치(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 제2 메모리(230)는 이동체 장치(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동체 장치(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 서버(10) 또는 외부 서버(미도시)로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동체 장치(20)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 제2 메모리(230)에 저장되고, 이동체 장치(20) 상에 설치되어, 제2 프로세서(240)에 의하여 장치(20)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 제2 메모리(230)는 상기 서버(10)로부터 자동 주행을 제어하기 위한 복수의 프로세스로 구성된 장애물 회피 주행 프로그램을 소프트웨어 또는 펌웨어 형태로 제공받아 저장된 후에 설치될 수 있다.

제2 프로세서(240)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동체 장치(20)의 전반적인 동작을 제어할 수 있다. 제2 프로세서(240)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 제2 메모리(230)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말(미도시)에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제2 프로세서(240)는 제2 메모리(230)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제2 프로세서(240)는 상기 응용 프로그램의 구동을 위하여, 이동체 장치(20)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.

제2 프로세서(240)는 제2 메모리(230)에 설치된 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 복수의 프로세스로 구성되는 장애물 회피 주행 프로그램을 구동할 수 있다.

또한, 제2 프로세서(240)는 제2 메모리(230)에 저장된 상기 장애물 회피 주행 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제2 프로세서(240)는 상기 장애물 회피 주행 프로그램의 구동을 위하여, 이동체 장치(20)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.

이하, 제2 프로세서(240)가 상기 이동체 장치(20)의 자율 주행 공간 내에서 장애물 회피 주행을 제어하기 위한 복수의 프로세스로 구성되는 장애물 회피 주행 프로그램이 설치된 상태에서 상기 장애물 회피 주행 프로그램을 구동하는 과정을 설명하고자 한다. 여기서, 제2 프로세서(240)의 상기 장애물 회피 주행 프로그램에 따른 동작은 상기 장애물 회피 주행 프로그램의 복수의 프로세스과 동일할 수 있다.

제2 프로세서(240)는 상기 장애물 회피 주행 프로그램이 구동되면, 상기 구동된 프로그램이 제공하는 제1 프로세스에 따라 상기 이동체 장치(20)의 제1 센서(221)를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집할 수 있다(제1 프로세스).

도 2를 보면, 포인트 클라우드 데이터는, 상기 제1 센서(221)인 라이다(LiDAR)를 이용하여 획득되는 상기 이동체 장치(20)의 자율 주행 공간에 대한 3차원 점군데이터일 수 있다. 보다 상세하게는, 포인트 클라우드 데이터는 상기 자율 주행 공간의 윤곽, 형체, 구조 등을 나타내는 3차원 점군데이터일 수 있다.

제2 프로세서(240)는 상기 이동체 장치(20)의 제2 센서(222)를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득할 수 있다(제2 프로세스).

도 3을 보면, 이미지는, 상기 자율 주행 공간이 촬영된 깊이 데이터를 갖는 이미지를 획득할 수 있다. 보다 상세하게는, 이미지는 상기 제2 센서(222)를 통해 상기 자율 주행 공간에 위치하는 장애물(예컨대, 벽, 기둥, 의자, 책상, 책장, 복합기, 의자 또는 행거에 걸린 옷 등)에 대해 깊이 데이터를 갖는 이미지를 획득할 수 있다.

제2 프로세서(240)는 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단할 수 있다(제3 프로세스).

구체적으로, 제2 프로세서(240)는 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 기 설정된 학습 모델을 기반으로 판단할 수 있다.

학습 모델은 복수의 회피 장애물 및 복수의 비회피 장애물에 대한 이미지를 기반으로 한 학습데이터를 학습하여 구축될 수 있다. 또한, 학습 모델은 yolo4-tiny일 수 있으며, yolo4-tiny는 fast R-CNN이라는 CNN기반의 딥러닝 알고리즘일 수 있다.

복수의 회피 장애물에 대한 이미지는 벽, 기둥, 의자, 책상, 책장, 복합기, 사람(사람이 옷을 입고 있는 상태에서 옷의 정면) 등 부딪히면 손상될 수 있는 회피 장애물에 대한 이미지일 수 있다.

또한, 복수의 비회피 장애물에 대한 이미지는 의자 또는 행거에 걸려있는 옷의 측면 등 부딪혀도 손상되지 않는 비회피 장애물에 대한 이미지일 수 있다.

여기서, 학습데이터는 상기 이미지 내에 포함된 장애물 별로 회피 장애물 또는 비회피 장애물임을 나타내는 식별 정보가 레이블링된 것일 수 있다.

제2 프로세서(240)는 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환할 수 있다(제4 프로세스).

여기서, 비회피 장애물의 위치에 대한 좌표는, 상기 이미지 내에서 상기 비회피 장애물에 대한 픽셀 좌표를 포함할 수 있다.

또한, 비회피 포인트 클라우드 좌표는, 상기 픽셀 좌표 및 상기 비회피 장애물에 대한 깊이 좌표를 기반으로 변환된 것일 수 있다.

또한, 비회피 포인트 클라우드 좌표는, 상기 카메라 센서의 내부 및 외부 파라미터를 더 반영하여 변환된 것일 수 있다. 여기서, 카메라 내부 파라미터는 카메라의 초점거리, 중심점 등 카메라 자체의 내부적인 파라미터일 수 있다. 또한, 카메라 외부 파라미터는 카메라의 설치높이, 방향 등 로봇과 카메라의 부착위치에 대한 물리적인 기하학 정보일 수 있다.

또한, 비회피 포인트 클라우드 좌표는, 이하의 수식을 기반으로 변환된 것일 수 있다.

[수식]

(여기서, 이미지 픽셀 좌표는 '비회피 장애물의 위치에 대한 2D(Dimensional) 좌표 u, v'이고, 카메라 내부 파라미터의 'fx, fy는 카메라의 초점거리 (focal length)를 나타내고, cx, cy는 principal point이고, 또한, 카메라 외부 파라미터의 'r11 내지 r33은 회전(rotation) 행렬 정보이고 tx, ty, tz는 평행이동(translation) 정보이고, 글로벌 포인트 클라우드 좌표는 이러한 행렬 정보들에 의해 계산될 수 있는 이미지 픽셀 좌표 u, v에 대해 맵핑된 포인트 클라우드 좌표(예컨대, 비회피 장애물 (옷 등)의 위치정보)일 수 있다.)

따라서, 제2 프로세서(240)는 상기 자율 주행 공간이 촬영된 깊이 데이터를 갖는 이미지에서 비회피 장애물의 2D 좌표(u, v)와 상기 비회피 장애물의 이미지에 맵핑된 깊이(Depth 정보(Z_w))를 이용하여 기하학적 변환을 통해 글로벌 좌표계 기준의 (X_w, Y_w, Z_w)를 계산하여 상기 비회피 포인트 클라우드 좌표를 구할 수 있다.

제2 프로세서(240)는 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성할 수 있다(제5 프로세스).

도 4를 보면, 제2 프로세서(240)는 자율 주행 공간인 사무실 내에 해당되는 포인트 클라우드 데이터에서 비회피 장애물인 의자에 걸려있는 옷의 측면에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 제1 내지 제4 군집(401, 402, 403, 404)을 생성할 수 있다.

제2 프로세서(240)는 상기 군집 내의 영역 중 적어도 일부 영역을 비회피 영역으로 판단할 수 있다(제6 프로세스).

도 5를 보면, 제2 프로세서(240)는 제1 내지 제4 군집(401, 402, 403, 404) 각각에 대해 군집 영역 중 옷자락에 해당되는 일부 영역인 제1 영역 내지 제4 영역(501, 502, 503, 504)을 비회피 영역으로 판단할 수 있다.

제2 프로세서(240)는 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물의 상기 비회피 영역은 회피하지 않고 이동되도록 제어할 수 있다(제7 프로세스).

보다 상세하게는, 제2 프로세서(240)는 포인트 클라우드 데이터의 상기 군집 내의 영역 중 적어도 일부 영역인 비회피 영역을 회피하지 않고 이동되도록 제어할 수 있다.

구동부(250)는 배터리 및 배터리로부터 전원을 공급받는 바퀴나 구동밸트를 포함하여 구성될 수 있고, 이동체 장치(20)의 이동을 위해 필요한 동력을 제공할 수 있다. 여기서, 구동부(250)는 제2 프로세서(240)의 제어에 따라 구동될 수 있다.

통신망(30)은 서버(10)와 이동체 장치(20) 간의 다양한 정보를 송수신할 수 있다. 통신망(30)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.

한편, 통신망(30)은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

도 6은 본 발명에 따른 이동체 장치(20)의 제2 프로세서(240)에서 장애물 회피 주행 과정을 나타낸 흐름도이다. 여기서, 제2 프로세서(240)의 동작은 이동체 장치(20)에서 수행 가능할 수 있다. 또는, 제2 프로세서(240)의 동작은 상기 서버(10)의 제1 프로세서(130)의 동작과 동일할 수 있다.

제2 프로세서(240)는 자율 주행 공간 내의 포인트 클라우드 데이터를 수집할 수 있다(S601).

구체적으로, 제2 프로세서(240)는 상기 이동체 장치(20)의 제1 센서(221)를 통해 상기 자율 주행 공간 내의 포인트 클라우드 데이터를 수집할 수 있다.

일 예로, 제2 프로세서(240)는 상기 제1 센서(221)인 라이다(LiDAR)를 이용하여 획득되는 상기 이동체 장치(20)의 자율 주행 공간의 윤곽, 형체, 구조 등을 나타내는 3차원 점군데이터인 포인트 클라우드 데이터일 수 있다.

제2 프로세서(240)는 자율 주행 공간이 촬영된 이미지를 획득할 수 있다(S602).

구체적으로, 제2 프로세서(240)는 상기 이동체 장치(20)의 제2 센서(222)를 통해 상기 자율 주행 공간이 촬영된 이미지를 획득할 수 있다.

제2 프로세서(240)는 상기 제2 센서(222)를 통해 상기 자율 주행 공간에 위치하는 장애물(예컨대, 벽, 기둥, 의자, 책상, 책장, 복합기, 의자 또는 행거에 걸린 옷 등)에 대해 깊이 데이터를 갖는 이미지를 획득할 수 있다.

제2 프로세서(240)는 이미지 내에 포함된 장애물이 비회피 장애물인지 여부를 판단할 수 있다(S603).

제2 프로세서(240)는 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 판단할 수 있다.

보다 상세하게는, 제2 프로세서(240)는 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 기 설정된 학습 모델을 기반으로 판단할 수 있다.

학습 모델은 복수의 회피 장애물 및 복수의 비회피 장애물에 대한 이미지를 기반으로 한 학습데이터를 학습하여 구축될 수 있다.

또한, 복수의 회피 장애물은 벽, 기둥, 의자, 책상, 책장, 복합기, 사람(사람이 옷을 입고 있는 상태에서 옷의 정면) 등 부딪히면 손상될 수 있는 장애물일 수 있다.

또한, 복수의 비회피 장애물은 의자 또는 행거에 걸려있는 옷의 측면 등 부딪혀도 손상되지 않는 비회피 장애물일 수 있다.

제2 프로세서(240)는 비회피 장애물의 위치에 대한 좌표를 비회피 포인트 클라우드 좌표로 변환할 수 있다(S604).

제2 프로세서(240)는 상기 판단 결과 상기 장애물이 비회피 장애물일 경우, 상기 이미지 내에서 상기 비회피 장애물의 위치에 대한 좌표를 상기 포인트 클라우드 데이터에 해당하는 비회피 포인트 클라우드 좌표로 변환할 수 있다.

또한, 비회피 포인트 클라우드 좌표는, 상기 픽셀 좌표 및 상기 비회피 장애물에 대한 깊이 좌표를 기반으로 변환된 것일 수 있다. 그리고, 비회피 포인트 클라우드 좌표는, 상기 카메라 센서의 내부 및 외부 파라미터를 더 반영하여 변환된 것일 수 있다.

제2 프로세서(240)는 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 군집을 생성할 수 있다(S605).

제2 프로세서(240)는 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성할 수 있다.

제2 프로세서(240)는 군집 내의 영역 중 일부 영역을 비회피 영역으로 판단할 수 있다(S606).

제2 프로세서(240)는 상기 군집 내의 영역 중 적어도 일부 영역을 비회피 영역으로 판단할 수 있다.

제2 프로세서(240)는 자율 주행 공간을 이동 중에 비회피 장애물의 비회피 영역은 회피하지 않고 이동되도록 제어할 수 있다(S607).

제2 프로세서(240)는 상기 군집을 포함한 포인트 클라우드 데이터를 기반으로 상기 자율 주행 공간을 이동 중에 상기 비회피 장애물의 상기 비회피 영역은 회피하지 않고 이동되도록 제어할 수 있다.

도 6에서는 단계 S601 내지 단계 S607을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 단계 S601 내지 단계 S607 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.

이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 이동체 장치(20)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 이동체 장치(20)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 이동체 장치(20)의 프로세서(CPU)가 상기 이동체 장치(20)의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 이동체 장치(20) 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 이동체 장치(20)의 제2 프로세서(240)가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 이동체 장치(20)의 제2 프로세서(240)가 실행시키는데 필요한 추가 정보나 미디어가 상기 이동체 장치(20)의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 이동체 장치(20)의 제2 프로세서(240)가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 이동체 장치나 서버 등과 통신이 필요한 경우, 코드는 상기 이동체 장치(20)의 제2 통신부(210)의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 이동체 장치(20)가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 이동체 장치(20)상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 이동체 장치(20)가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 서버
110: 제1 통신부
120: 제1 메모리
130: 제1 프로세서
20: 이동체 장치
210: 제2 통신부
220: 센서부
230: 제2 메모리
240: 제2 프로세서
250: 구동부
30: 통신망

Claims

주행 공간 내의 포인트 클라우드 데이터를 수집하는 라이다 센서;
상기 주행 공간이 촬영된 이미지를 획득하는 RGB-D 센서; 및
상기 주행 공간 내의 포인트 클라우드 데이터를 기반으로, 장애물 회피 자율 판단 관련 동작을 수행하는 프로세서를 포함하고,
상기 프로세서는,
상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 기 설정된 학습 모델을 기반으로 판단하고,
상기 판단 결과, 상기 장애물이 상기 비회피 장애물일 경우, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하며,
상기 군집을 포함하는 포인트 클라우드 데이터를 기반으로, 상기 주행 공간을 이동 중인 상태에서 상기 비회피 장애물은 회피하지 않고 이동되도록, 구동부를 제어하는 것을 특징으로 하는, 이동체 장치.
제 1 항에 있어서,
상기 비회피 장애물의 위치에 대한 좌표는, 상기 이미지 내에서 상기 비회피 장애물에 대한 픽셀 좌표를 포함하고,
상기 비회피 포인트 클라우드 좌표는, 상기 픽셀 좌표 및 상기 비회피장애물에 대한 깊이 좌표를 기반으로 변환된 것을 특징으로 하는, 이동체 장치.
제 2 항에 있어서,
상기 비회피 포인트 클라우드 좌표는,
상기 RGB-D 센서의 내부 및 외부 파라미터를 더 반영하여 변환된 것을 특징으로 하는, 이동체 장치.
제 3 항에 있어서,
상기 비회피 포인트 클라우드 좌표는,
이하의 수식을 기반으로 변환된 것을 특징으로 하는, 이동체 장치.

(상기 u 및 v는 상기 비회피 장애물의 위치에 대한 2D(Dimensional) 이미지 픽셀 좌표를 나타내고, 상기 fx 및 fy는 카메라 내부 파라미터 내의 초점거리를 나타내고, 상기 cx, cy는 상기 카메라 내부 파라미터 내의 주점을 나타내고, 또한, 상기 r11 내지 r33은 카메라 외부 파라미터 내의 회전 행렬 정보를 나타내고, 상기 tx, ty, tz는 상기 카메라 외부 파라미터 내의 평행이동 (translation) 정보를 나타내고, 상기 Xw, Yw, Zw는 상기 u, v에 대해 맵핑되는 비회피 포인트 클라우드 좌표를 나타냄)
제 1 항에 있어서,
상기 프로세서는,
상기 군집 내의 영역 중 비회피 장애물의 일부 영역을 포함하는 비회피 영역을 더 판단하고, 상기 비회피 영역은 회피하지 않고 이동되도록, 상기 구동부를 더 제어하는 것을 특징으로 하는, 이동체 장치.
서버에 의해 수행되는 인공지능 및 포인트 클라우드 기반의 장애물 회피 자율 판단 솔루션을 탑재한 이동체 장치의 자율 판단 방법에 있어서,
상기 이동체 장치의 라이다 센서를 통해, 주행 공간 내의 포인트 클라우드 데이터를 수집하는 단계;
상기 이동체 장치의 RGB-D 센서를 통해, 상기 주행 공간이 촬영된 이미지를 획득하는 단계;
상기 이동체 장치의 프로세서를 통해, 상기 획득되는 이미지 내에 포함된 적어도 하나의 장애물이 비회피 장애물인지 여부를 기 설정된 학습 모델을 기반으로 판단하는 단계;
상기 이동체 장치의 프로세서를 통해, 상기 판단 결과, 상기 장애물이 상기 비회피 장애물일 경우, 상기 포인트 클라우드 데이터에서 상기 비회피 장애물에 대한 비회피 포인트 클라우드 좌표들을 군집화하여 적어도 하나의 군집을 생성하는 단계; 및
상기 이동체 장치의 프로세서를 통해, 상기 군집을 포함하는 포인트 클라우드 데이터를 기반으로, 상기 주행 공간을 이동 중인 상태에서 상기 비회피 장애물은 회피하지 않고 이동되도록, 상기 이동체 장치의 구동부를 제어하는 단계; 를 포함하는, 방법.
제 6 항에 있어서,
상기 비회피 장애물의 위치에 대한 좌표는, 상기 이미지 내에서 상기 비회피 장애물에 대한 픽셀 좌표를 포함하고,
상기 비회피 포인트 클라우드 좌표는, 상기 픽셀 좌표 및 상기 비회피장애물에 대한 깊이 좌표를 기반으로 변환된 것을 특징으로 하는, 방법.
제 7 항에 있어서,
상기 비회피 포인트 클라우드 좌표는,
상기 RGB-D 센서의 내부 및 외부 파라미터를 더 반영하여 변환된 것을 특징으로 하는, 방법.
제 8 항에 있어서,
상기 비회피 포인트 클라우드 좌표는,
이하의 수식을 기반으로 변환된 것을 특징으로 하는, 방법.

(상기 u 및 v는 상기 비회피 장애물의 위치에 대한 2D(Dimensional) 이미지 픽셀 좌표를 나타내고, 상기 fx 및 fy는 카메라 내부 파라미터 내의 초점거리를 나타내고, 상기 cx, cy는 상기 카메라 내부 파라미터 내의 주점을 나타내고, 또한, 상기 r11 내지 r33은 카메라 외부 파라미터 내의 회전 행렬 정보를 나타내고, 상기 tx, ty, tz는 상기 카메라 외부 파라미터 내의 평행이동 (translation) 정보를 나타내고, 상기 Xw, Yw, Zw는 상기 u, v에 대해 맵핑되는 비회피 포인트 클라우드 좌표를 나타냄)
제 6 항에 있어서,
상기 제어 단계는,
상기 프로세서를 통해, 상기 군집 내의 영역 중 비회피 장애물의 일부 영역을 포함하는 비회피 영역을 더 판단하고, 상기 비회피 영역은 회피하지 않고 이동되도록, 상기 구동부를 더 제어하는 것을 특징으로 하는, 방법.