KR20180047571A - 이동 로봇의 엘리베이터 승하차 제어 방법 - Google Patents

Abstract

본 발명은 RGB-D 센서(11)를 포함하는 감지부(10)의 감지 정보 및 저장부(30)에 저장되는 사전 설정 데이터를 이용하여 제어부가 로봇 구동부에 구동 제어 신호를 인가하여 주행하는 이동 로봇의 엘리베이터 승하차 제어 방법으로서, 상기 이동 로봇을 제공하는 초기화 단계(1)와, 상기 이동 로봇이 승하차하는 엘리베이터의 승차 정보를 확인하고 준비 이동시키는 준비 단계(S10)와, 상기 이동 로봇이 상기 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하는 엘리베이터 문 인식 확인 단계(S20)와, 상기 엘리베이터 문 인식 확인 단계(S20)에서 확인된 엘리베이터 문을 거쳐 엘리베이터를 통하여 이동하는 엘리베이터 이동 단계(S60)를 포함하는 이동 로봇의 엘리베이터 승하차 제어 방법을 제공한다.

Description

이동 로봇의 엘리베이터 승하차 제어 방법{METHOD FOR CONTROLLING MOBILE ROBOT UNIT WITH RGB-D SENSOR IN THE CASE OF TAKING ON/OFF AN ELEVATOR}

현재 실내에서 사용되는 서비스 로봇의 작업 수행 능력이 향상됨에 따라 작업 공간도 다층으로 확장되고 있다. 본 발명은 층간 이동 작업을 위한 이동로봇의 안전한 엘리베이터 승하차 기술로서, 엘리베이터 문의 위치인식을 기반으로 한 이동로봇의 승하차 기술의 개발에 관한 것이다.

엘리베이터 문의 위치인식 기술은 이동로봇에 장착된 전방 지향, 바닥 지향의 RGB-D 센서 정보를 이용하여 엘리베이터 문의 위치를 찾는 기술이다. RGB-D 센서는 영상 정보와 3차원 거리 정보를 제공하는 센서로서, 3차원 거리 정보는 관측하는 대상의 형상을 3차원 점군(point cloud)으로 표현하고 모든 점의 3차원 좌표를 저장한다. 일반적인 엘리베이터 문의 인식 기술은 엘리베이터 자체를 인식하는 데 초점을 맞추고 있으므로, 엘리베이터의 정확한 위치를 찾지 못 하여 엘리베이터 승하차에 사용하기에는 안전상의 문제가 생길 수 있다. 정확한 위치 기반의 이동로봇의 승하차 방법은 엘리베이터 주변 환경과의 충돌 위험 가능성을 감소시켜 엘리베이터와 이동로봇의 안전성을 보장한다.

현재 실내 서비스용 로봇의 엘리베이터 승하차 기술은 엘리베이터와 로봇 사이의 통신 시스템에 초점이 맞춰져 있어서, 승하차 시의 안전성을 고려하지 않는다는 한계점이 있다. 이동로봇이 폭이 좁은 엘리베이터의 문을 통과할 경우, 엘리베이터에 인접한 벽과 충돌할 가능성이 있다. 또한, 엘리베이터 승차를 위한 기존의 거리센서 기반의 엘리베이터 문의 위치인식 기술은 부정확한 거리 정보를 고려하지 않고 사용하는 문제점이 있다. 거리센서는 특정 파장의 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는데, 엘리베이터의 문과 같은 금속 재질의 물체를 관측할 때 금속 물체가 빛의 일부를 반사시키기 때문에 다소 부정확한 거리를 제공한다. 따라서 부정확한 거리를 고려하여 정확한 엘리베이터 문의 위치를 인식하고, 이를 기반으로 이동로봇이 엘리베이터에 안전하게 승하차하는 기술이 필요하다.

기존 엘리베이터 승하차 로봇은 엘리베이터 내부에 사람이나 물건이 있지 않다고 가정하여 전용 엘리베이터를 통해서만 승하차한다. 이는 사람이 타있거나 화물이 놓여있을 경우 로봇이 대처하지 못하고 충돌 할 위험이 있다. 이런 위험을 최소화하기 위하여 엘리베이터 승차 전 로봇이 승차할 수 있는 충분한 공간이 있는지 판단하는 기술이 필요하다. 또한, 엘리베이터 승하차 시 엘리베이터와 건물 사이의 틈으로 인해 로봇이 이동할 수 없는 상황에 놓이는 경우가 다수 존재하지만 사용자가 발견하기 전까지 해결하지 못한다. 로봇 스스로 인지하고 사용자에게 도움을 요청하면 엘리베이터의 운행 정지 시간을 최소화하여 엘리베이터 사고 위험을 줄여야 한다.

층간 이동을 위해 엘리베이터를 이용하는 대부분의 이동로봇은 사용자가 등록한 엘리베이터 문의 위치를 거리센서를 사용하여 보정하고, 보정된 위치를 추종하여 승하차한다. 그러나 이 방법은 금속 재질의 엘리베이터 문을 관측할 때 발생하는 거리정보의 오차를 고려하지 않으므로 정확한 엘리베이터 문의 위치인식이 어렵고, 이동로봇이 실제 엘리베이터 입구의 중심으로 승하차하기 어렵다. 본 발명은 앞서 언급한 거리정보의 오차로 인해 발생하는 엘리베이터 문의 위치 오차를 확률 기반의 필터링 기술을 사용하여 최소화하고, 이동로봇이 실제 엘리베이터 입구의 중심으로 승하차하도록 돕는다. 이 방법은 이동로봇이 엘리베이터의 문과 인접한 벽과의 충돌하지 않고 안전하게 승하차할 수 있게 해준다. 뿐만 아니라, 이동로봇이 문의 폭이 좁은 엘리베이터에 승하차할 수 있게 되면서 화물용 엘리베이터가 없는 건물에서도 로봇의 층간 이동 작업이 가능하게 된다. 또한 본 발명은 로봇이 엘리베이터 승차 전 내부를 탐색하여 승차하기에 충분한 공간이 있는지 판단한다. 이 방법은 승차 중 엘리베이터와 장애물 사이의 충돌 사고를 방지하는 것을 목적으로 한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 이동 로봇을 통한 격자 지도 것으로서, 본 발명은 RGB-D 센서(11)를 포함하는 감지부(10)의 감지 정보 및 저장부(30)에 저장되는 사전 설정 데이터를 이용하여 제어부가 로봇 구동부에 구동 제어 신호를 인가하여 주행하는 이동 로봇의 엘리베이터 승하차 제어 방법으로서, 상기 이동 로봇을 제공하는 초기화 단계(1)와, 상기 이동 로봇이 승하차하는 엘리베이터의 승차 정보를 확인하고 준비 이동시키는 준비 단계(S10)와, 상기 이동 로봇이 상기 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하는 엘리베이터 문 인식 확인 단계(S20)와, 상기 엘리베이터 문 인식 확인 단계(S20)에서 확인된 엘리베이터 문을 거쳐 엘리베이터를 통하여 이동하는 엘리베이터 이동 단계(S60)를 포함하는 이동 로봇의 엘리베이터 승하차 제어 방법을 제공한다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 준비 단계(S10)는: 상기 이동 로봇이 승하차하기 위한 승차 정보를 확인하는 승차 정보 확인 단계(S11)와, 상기 승차 정보에 따라 상기 이동 로봇이 엘리베이터에 승차하기 위한 지점으로 이동하는 승차 정보 지점 이동 단계(S13,S15)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 승차 정보 확인 단계(S11)는: 상기 이동 로봇이 승하차하기 위하여 상기 이동 로봇이 엘리베이터를 정면으로 바라보는 위치인 승차 경유점을 확인하는 승차 경유점 확인 단계(S111)와, 상기 승차 경유점보다 엘리베이터에 근접하고 사전 설정 거리만큼 이격되는 지점에 배치되는 승차 대기점을 확인하는 승차 대기점 확인 단계(S113)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 승차 정보 지점 이동 단계(S13,S15)는: 상기 승차 경유점으로 상기 이동 로봇이 이동하는 승차 경유점 이동 단계(S13)와, 상기 승차 대기점으로 상기 이동 로봇이 이동하는 승차 대기점 이동 단계(S15)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 엘리베이터 문 인식 확인 단계(S20)는: 상기 이동 로봇이 상기 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하고 엘리베이터 문의 문 중심 위치를 확인하는 엘리베이터 문 위치 인식 단계(S30)와, 상기 문 중심 위치에 대하여 엘리베이터 문의 표면으로부터 수직한 방향으로 사전 설정 거리만큼 이격되는 승차 대기점을 확인하고 위치 보정하는 승차 대기점 위치 확인 보정 단계(S40)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 엘리베이터 문 위치 인식 단계(S30)는: 엘리베이터 문의 문 중심 위치를 도출하기 위한 복수 개의 샘플을 엘리베이터 문 위치로 예상되는 위치 정보를 포함하는 복수 개의 샘플들을 분포시키는 샘플링 단계(S31)와, 상기 샘플들을 사전 설정된 위치 정보 변화량 내에서 임의 이동시켜 확산시키는 샘플 확산 단계(S33)와, 상기 감지부(10)의 상기 RGB-D 센서(11)에서 감지되는 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과, 상기 샘플들로부터 예측되는 엘리베이터 문의 예측 평면을 형성하는 3차원 점군 간의 차이를 비교하고 상기 샘플들에 대한 가중치를 부여하여 상기 샘플에 대한 확률을 갱신하는 가중치 모델링 단계(S35)와, 상기 샘플들에 대하여 상기 샘플들에 대한 확률을 이용하여 사전 설정된 규칙에 따라, 상기 샘플들 중 일부에 대하여 해당 일부 샘플들의 샘플 위치에 대한 샘플 재배열 수와, 상기 샘플들 중 나머지에 대하여 해당 나머지 샘플들의 샘플 위치에 대한 샘플 재배열 수 간에 차등을 부여하는 샘플 재배열 단계(S37)와, 상기 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하는지 여부를 판단하는 샘플 수렴 판단 단계(S38)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하지 않는 것으로 판단되는 경우, 제어 흐름을 상기 샘플 확산 단계(S33)로 전달할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 가중치 모델링 단계(S35)는: 상기 감지부(10)의 상기 RGB-D 센서(11)에서 감지되는 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군을 상기 이동 로봇의 정면을 향한 방향에 수직한 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 실제 투영 거리(dr)을 포함하는 격자 기반의 실제 거리 지도를 생성하는 실제 거리 지도 생성 단계(S351)와, 상기 샘플들로부터의 예측되는 엘리베이터 문의 예측 평면의 3차원 점군을 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 상기 샘플들로부터의 엘리베이터 문의 예측 평면3차원 점군과 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 예측 투영 거리(dp)을 포함하는 격자 기반의 예측 거리 지도를 생성하는 예측 거리 지도 생성 단계(S353)와, 상기 실제 거리 지도와 상기 예측 거리 지도를 이용하여 격자 단위로 상기 실제 투영 거리(dr)과 상기 예측 투영 거리(dp)의 거리차(de)를 산출하는 거리차 비교 확인 단계(S355)와, 상기 거리차(de)에 따라 상기 샘플들에 대하여 가중치(w)를 산출하는 가중치 산출 단계(S357)와, 상기 가중치(w)에 따라 상기 샘플에 대한 위치 확률을 갱신하는 샘플 위치 확률 갱신 단계(S359)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 가중치 산출 단계(S357)에서 상기 거리차(de)는 상기 실제 거리 지도 및 상기 예측 거리 지도의 격자 좌표(i,j)에 대하여,

의 관계를 형성할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 가중치 산출 단계(S357)에서 상기 샘플들에 대한 가중치(w)는 다음과 같은 관계를 통하여 산출될 수도 있다.

,

,

여기서, N _c 는 d _e (i, j)가 0이 아닌 모든 격자의 수, w _t 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 거리를 고려한 가중치이고, w _r 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 각도를 고려한 가중치이고,

는 d _e (i, j)의 평균을 나타냄.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 엘리베이터 이동 단계(S60)는: 상기 승차 대기점에서 대기하는 상기 이동 로봇이 엘리베이터로 승차하는 엘리베이터 승차 단계(S70)와, 상기 이동 로봇이 원하는 층에 도착한 경우 엘리베이터로부터 하차하는 엘리베이터 하차 단계(S80)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 엘리베이터 승차 단계(S70)는: 상기 이동 로봇이 상기 승차 대기점에서 대기하는 승차 대기 단계(S71)와, 상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인하는 문 개폐 정보 확인 단계(S73)와, 상기 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S75)와, 상기 문 개폐 판단 단계(S75)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 상기 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하고 상기 바닥 점군과 사전 설정 데이터를 비교하여 상기 이동 로봇의 탑승 공간 확보 여부를 확인 판단하는 승차 공간 탐지 단계(S77)와, 상기 승차 공간 탐지 단계(S77)에서 승차가 가능한 탑승 공간이 존재하는 것으로 판단한 경우, 상기 이동 로봇이 엘리베이터로 승차 이동하는 승차 이동 단계(S79)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 문 개폐 정보 확인 단계(S73)는: 상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 엘리베이터를 향한 거리 영상을 확인하는 거리 영상 확인 단계(S731)와, 상기 거리 영상으로부터 3차원 점군을 산출하는 3차원 점군 확인 단계(S735)와, 상기 3차원 점군과 엘리베이터를 향한 이전 거리 영상으로부터의 3차원 점군 간의 변화량을 산출하는 3차원 점군 변화량 확인 단계(S737)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 거리 영상 확인 단계(S731)와 3차원 점군 확인 단계(S735)의 사이에, 상기 거리 영상 확인 단계(S731)에서 확인된 거리 영상 중 주변 영역과 차이가 큰 영상 부분을 필터링하는 거리 영상 필터링 단계(S733)가 더 구비될 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 승차 공간 탐지 단계(S77)는: 상기 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하는 바닥 점군 확인 단계(S771)와, 상기 바닥 점군에 대한 중심 위치인 바닥 점군 중심을 확인하는 바닥 점군 중심 확인 단계(S773)와, 상기 바닥 점군 중심을 중심점을 사전 설정된 반경을 갖는 바닥 점군 중심 가상 원을 형성하는 바닥 점군 중심 가상원 형성 단계(S775)와, 상기 바닥 점군이 상기 바닥 점군 중심 가상원에 포함되는지 여부를 확인 판단하는 승차 공간 존재 판단 단계(S777)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 승차 이동 단계(S79)는: 상기 이동 로봇이 엘리베이터로 승차 이동되는 전진 승차 단계(S791)와, 상기 이동 로봇이 엘리베이터 내에 승차한 경우 상기 이동 로봇의 전방이 엘리베이터 문을 향하도록 제자리 이동되는 제자리 이동 단계(S793)을 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 전진 승차 단계(S791)는: 상기 이동 로봇의 전진 이동 신호가 인가되는 경우, 상기 감지부(10)가 엘리베이터 내부의 바닥 영상을 확인하는 바닥 영상 확인 단계(S7913)와, 상기 바닥 영상에서 확인된 특징으로부터 픽셀 속도를 산출하는 픽셀 속도 산출 단계(S7914)와, 상기 이동 로봇의 로봇 구동부의 이동 신호를 통한 신호 이동을 확인하는 신호 이동 확인 단계(S7915)와, 상기 픽셀 속도의 변화를 통하여 영상 이동을 확인하는 영상 이동 확인 단계(S7916)과, 상기 영상 이동과 상기 신호 이동 간의 차이가 존재하는지 여부로 이동 불가 여부를 확인하는 이동 불가 판단 단계(S7917)를 포함할 수도 있다.

상기 이동 로봇의 엘리베이터 승하차 제어 방법에 있어서, 상기 엘리베이터 하차 단계(S80)는: 상기 이동 로봇이 엘리베이터 도착 신호를 인가받는 경우 엘리베이터로부터 하차하기 위한 준비 상태를 형성하는 하차 대기 단계(S81)와, 상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인하는 문 개폐 정보 확인 단계(S83)와, 상기 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S85)와, 상기 문 개폐 판단 단계(S85)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 상기 이동 로봇이 하차 목적지를 확인하는 하차 목적지 확인 단계(S87)와, 상기 하차 목적지가 확인된 경우, 상기 이동 로봇이 엘리베이터로부터 하차 이동하는 하차 이동 단계(S89)를 포함할 수도 있다.

본 발명의 안전한 엘리베이터 승하차 기술은 층간 이동을 필요로 하는 실내용 서비스 로봇에 적용이 가능하다. 본 발명의 엘리베이터 문의 위치인식 기술과 안전한 엘리베이터 승하차 기술은 승하차 과정에서 로봇과 엘리베이터에 인접한 벽 사이의 충돌 가능성을 낮추고, 서비스 로봇이 문의 폭이 비교적 좁은 일반 엘리베이터에서도 안전하게 승하차 하도록 돕는다. 또한 로봇이 엘리베이터에 승차하기 이전에 센서를 이용하여 승차가 가능한 공간을 탐지함으로써 승차 과정에서 장애물과의 충돌을 미연에 방지한다. 엘리베이터 승하차 시 발생할 수 있는 이동 불가 문제를 로봇이 인지할 수 있어 로봇의 가동률을 높이고, 엘리베이터 사고 발생 위험을 줄일 수 있다.

기존의 엘리베이터의 문의 위치인식 기술은 반사체를 관측할 때에 다소 부정확한 거리 정보를 제공하는 거리센서를 다른 센서들과 융합하여 보정하지만, 본 발명의 엘리베이터 문의 위치인식 기술은 확률 기반의 파티클 필터 알고리즘을 적용하여 부정확한 거리 정보로 발생하는 문제를 보완하였다. 또한 기존의 기술에서 사용하는 인공 표식과 같은 추가 장치를 엘리베이터에 설치하지 않고 로봇에 장착된 RGB-D 센서만을 사용하여 모든 승하차 과정을 수행하기 때문에 경제적 효과를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 이동 로봇의 엘리베이터 승하차 제어 방법의 개략적인 흐름도이다.
도 2는 본 발명의 일실시예에 따른 이동 로봇의 엘리베이터 승하차 제어 방법을 실행하는 이동로봇의 개략적인 블록 선도이다.
도 3은 본 발명의 일실시예에 따른 이동 로봇의 엘리베이터 승하차 제어 방법을 실행하는 이동 로봇의 생성된 승차 경유점과 승차 대기점을 나타낸 상태도이다.
도 4(a)는 엘리베이터 문의 위치를 샘플로 표현한 상태도이고, 도 4(b)는 샘플의 방위각을 표현한 상태도이다.
도 5는 샘플링 단계에서 사용자가 설정한 엘리베이터 위치 근처에 임의로 분포된 샘플들을 나타낸 상태도이다.
도 6은 샘플링 단계 이후 확산되지 않은 샘플들을 나타낸 상태도이다.
도 7은 도 6의 샘플들이 확산 과정을 통해 위치가 갱신되는 샘플들을 나타낸 상태도이다.
도 8(a)는 확산 시 샘플의 위치와 방위각의 변화를 나타낸 상태도이고, 도 8(b), (c)는 확산에 따른 샘플의 확률 갱신을 설명하기 위한 예시 상태도이다.
도 9는 3차원 거리센서를 이용하여 획득한 3차원 점군의 거리정보를 이용한 실제 거리지도의 작성법을 나타낸 상태도이다.
도 10은 샘플의 위치, 방위각 정보와 엘리베이터 문의 높이, 너비 정보를 사용하여 결정된 엘리베이터 문의 예측 평면을 나타내는 상태도이다.
도 11(a)는 엘리베이터 문의 예측 평면을 이용한 예측 거리지도의 작성법을 나타낸 상태도이고, 도 11(b)는 예측 거리지도의 한 격자에 거리정보가 부여되는 방법을 나타낸 상태도이다.
도 12는 도 9에서 작성한 실제 거리지도와 도 11(a)에서 작성한 예측 거리지도 사이의 격자 단위 비교 방법을 나타낸 투영 비교도이다.
도 13(a)는 실제 엘리베이터의 문과 예측 평면 사이의 거리를 고려한 가중치 설명을 위한 예시 환경을 나타낸 상태도이고, 도 13(b)는 도 13(a)를 기반으로 작성한 실제 거리지도와 예측 거리지도이다.
도 14(a)는 실제 엘리베이터의 문과 예측 평면 사이의 각도를 고려한 가중치 설명을 위한 예시 환경을 나타낸 상태도이고, 도 14(b)는 도 14(b)를 기반으로 작성한 실제 거리지도와 예측 거리지도를 나타낸 도면이다.
도 15는 샘플 집합이 샘플 확산, 가중치 모델링, 샘플 재배열 단계를 반복 수행되면서 실제 엘리베이터 문의 중심에 수렴하는 모습을 도식화한 상태도이다.
도 16은 수직 승차 경로 생성 후, 승차를 위한 이동로봇의 이동 과정을 나타낸 상태도이다. 도 16(a)는 승차 경유점을 향해 이동하는 이동로봇을 나타낸 상태도이고, 도 16(b)는 승차 경유점에 도착 후 승차 대기점을 향해 이동하는 이동로봇을 나타낸 상태도이다. 도 16(c)는 승차 대기점을 향해 이동하면서 갱신된 엘리베이터 문의 중심 위치와 승차 대기점의 위치를 나타낸 상태도이다. 도 16(d)는 승차 대기점에 도착 후 승차를 대기하는 이동로봇을 나타낸 상태도이다.
도 17(a)는 엘리베이터의 문이 닫혔을 때 외부에서 관측한 3차원 점군을 나타낸 모습이고, 도 17(b)는 엘리베이터의 문이 열렸을 때 외부에서 관측한 3차원 점군을 나타낸다.
도 18(a)는 엘리베이터 내부에 장애물이 존재하지 않는 환경에서 승차 목적지를 설정하는 상태도이고, 도 18(b)는 엘리베이터 내부에 장애물이 존재하는 환경에서 이동로봇이 승차 가능한 예시를 나타낸 상태도이다. 도 18(c)는 엘리베이터 내부에 장애물이 존재하는 환경에서 이동로봇이 승차 불가능한 예시를 나타낸 상태도이다.
도 19는 연속한 영상 정보를 이용하여 획득한 픽셀의 속도 벡터를 나타낸다.
도 20(a)는 승차 목적지에 도착 후 하차를 위해 회전 운동하는 이동로봇을 나타낸 상태도이고, 도 20(b)는 엘리베이터 내부에서 엘리베이터 문의 개폐 인식을 수행하는 이동로봇을 나타낸 상태도이다. 도 20(c)는 엘리베이터의 문이 열렸을 때 하차 목적지를 향해 이동하는 이동로봇을 나타낸 상태도이고, 도 20(d)는 하차 목적지에 도착하여 엘리베이터 승하차를 완료한 이동로봇을 나타낸 상태도이다.
도 21 내지 도 29는 본 발명의 일실시예에 따른 이동 로봇의 엘리베이터 승하차 제어 방법의 흐름도이다.

본 발명은 이동 로봇의 단순 최단 경로 주행이 아닌 정적 장애물 이외 동적 장애물의 변화를 포함하는 데이터 베이스를 이용하여 시계열적 요소를 고려한 최적화된 이동 경로를 산출하여 주행 제어하는 이동 로봇 주행 제어 방법을 제공한다.

이하에서는 도면을 참조하여 본 발명의 이동 로봇 및 이동 로봇 주행 제어 방법에 대하여 살펴본다.

먼저, 도 2에는 본 발명에 따른 이동 로봇(1)의 개략적인 구성도가 도시된다.

이동 로봇(1)은 감지부(10)와 제어부(20)와, 저장부(30)와 연산부(40)와 입력부(50) 및 출력부(60)를 포함한다. 감지부(10)는 이동 로봇에 장착되어 외부 주행 환경의 환경 정보를 감지하는데 사용된다. 감지부(10)는 카메라와 같은 영상 감지부, 장애물과의 거리 감지를 위한 초음파 센서와 같은 초음파 감지부 등이 더 구비될 수도 있는데, 본 실시예에서는 거리 센서로서 거리 정보가 감지 가능한 RGB-D 센서를 필수적으로 포함한다. 경우에 따라 감지부는 추가적인 거리 감지를 위한 레이저 스캐너와 같은 레이저 감지부, 3D 스캐너와 같은 라이다 감지부 등 제어부(20)의 감지 제어 신호에 따라 작동하여 외부 주행 환경을 감지하여 주행 환경 감지 정보를 취득 가능한 범위에서 다양한 감지 장치가 사용될 수도 있다.

저장부(30)는 제어부(20)와 연결되고 제어부(20)의 저장 제어 신호에 따라 감지 정보를 저장하거나 이동 로봇의 위치 추정에 사용되는 설정 데이터 내지 하기되는 주행 환경 데이터 베이스를 저장할 수 있다.

연산부(40)는 제어부(20)의 연산 제어 신호에 따라 소정의 연산 과정을 실행하는데, 본 실시예에서는 소정의 파티클 필터링 등의 연산 산출 과정에서 제어부(20)의 연산 제어 신호에 따라 가동될 수 있다.

입력부(50)는 사용자에 의하여 이동 로봇 내지 이동 로봇을 운영하기 위한 장치를 통하여 입력되는 데이터 내지 사전 설정 데이터를 입력하는 기능을 수행한다.

출력부(60)는 이동 로봇(1)의 위치를 이동시키는 구동력을 생성 전달하는 로봇 구동부(61)를 구비하고, 그 밖에, 음향 출력부 내지 디스플레이부 등이 더 구비될 수도 있다.

한편, 앞서 기술한 저장부(30)에 사전 설정 저장되는 사전 설정 데이터에는 이동 로봇(1)이 주행하고자 하는 주변 환경에 대한 환경 정보로서 공간 정보인 격자 지도 정보, 즉 주행 환경에 대한 격자 정보가 포함될 수도 있고, 필수적으로 파티클 필터링 과정에서 샘플의 수렴 여부를 판단하기 위한 기준값들이 포함될 수 있다.

도 1, 도 21 내지 도 29에는 본 발명의 일실시예에 다른 이동 로봇의 엘리베이터 승하차 제어 방법의 흐름도가 도시된다.

먼저, 본 발명은 RGB-D 센서(11)를 포함하는 감지부(10)의 감지 정보 및 저장부(30)에 저장되는 사전 설정 데이터를 이용하여 제어부가 로봇 구동부에 구동 제어 신호를 인가하여 주행하는 이동 로봇의 엘리베이터 승하차 제어 방법이다. RGB-D 센서(11)는 키넥트 센서와 같은 영상 정보와 더불어 3차원 거리 정보를 감지하는 센서로서, 3차원 거리 정보를 통하여 엘리베이터의 승하차 제어하되, 파티클 필터링을 통하여 정확하고 신속하며 안전한 환경 인지를 통한 승하차 과정을 실행할 수 있다.

본 발명의 일실시예에 따른 이동 로봇의 엘리베이터 승하차 제어 방법은

초기화 단계(1)와, 준비 단계(S10)와, 엘리베이터 문 인식 확인 단계(S20)와, 엘리베이터 이동 단계(S60)를 포함한다.

초기화 단계(1)에서 이동 로봇이 제공되고 소정의 사전 설정 데이타가 입력되며, 초기화 셋팅이 이루어지게 된다.

그런 후 제어부(20)는 준비 단계(S10)를 실행하는데, 제어부(20)는 이동 로봇이 승하차하는 엘리베이터의 승차 정보를 확인하고 이동 로봇으로 하여금 해당 준비 위치로 준비 이동시킨다.

엘리베이터 문 인식 확인 단계(S20)에서 제어부(20)는 이동 로봇이 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하도록 하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인 과정을 실행한다.

엘리베이터 이동 단계(S60)에서는 제어부(20)가 엘리베이터 문 인식 확인 단계(S20)에서 확인된 엘리베이터 문을 거쳐 엘리베이터를 통하여 이동한다.

보다 구체적으로, 준비 단계(S10)는 승차 정보 확인 단계(S11)와, 승차 정보 지점 이동 단계(S13,S15)를 포함한다.

승차 정보 확인 단계(S11)에서 제어부(20)는 이동 로봇이 승하차하기 위한 승차 정보를 확인한다. 그런 후 승차 정보 지점 이동 단계(S13,S15)를 실행하여 승차 정보에 따라 이동 로봇이 엘리베이터에 승차하기 위한 지점으로 이동하도록 한다.

승차 정보 확인 단계(S11)는 승차 경유점 확인 단계(S111)와, 승차 대기점 확인 단계(S113)를 포함하는데,

승차 경유점 확인 단계(S111)는 이동 로봇이 승하차하기 위하여 이동 로봇이 엘리베이터를 정면으로 바라보는 위치인 승차 경유점을 확인하여 승차 경유점에 대한 위치 정보를 확인한다. 그런 후, 승차 대기점 확인 단계(S113)가 실행되는데, 승차 경유점보다 엘리베이터에 근접하고 사전 설정 거리만큼 이격되는 지점에 배치되는 승차 대기점이 확인된다. 즉, 승차 대기점은 도 3에 도시된 바와 같이, 엘리베이터에 직접 승하차가 하기 위한 직전 포인트 위치이다.

그런 후, 승차 정보 지점 이동 단계(S13,S15)가 실행되는데,

승차 정보 지점 이동 단계(S13,S15)는 승차 경유점 이동 단계(S13)와, 승차 대기점 이동 단계(S15)를 포함한다.

승차 경유점 이동 단계(S13)에서 제어부(20)는 로봇 구동부(61)에 구동 제어 신호를 인가하여 이동 로봇이 승차 경유점으로 이동하도록 하고, 승차 경유점에 도달한 경우, 제어부(20)는 재차 이동 로봇이 승차 대기점으로 이동하여 대기 상태를 형성하도록 한다.

그런 후, 엘리베이터 문 인식 확인 단계(S20)가 실행된다. 엘리베이터 문 인식 확인 단계(S20)는 엘리베이터 문 위치 인식 단계(S30)와, 승차 대기점 위치 확인 보정 단계(S40)를 포함한다.

엘리베이터 문 위치 인식 단계(S30)는 이동 로봇의 제어부(20)는 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하도록 하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하고 엘리베이터 문의 문 중심 위치를 확인하도록 한다.

승차 대기점 위치 확인 보정 단계(S40)에서는 문 중심 위치에 대하여 엘리베이터 문의 표면으로부터 수직한 방향으로 사전 설정 거리만큼 이격되는 승차 대기점을 확인하고 위치 보정하는 승차 대기점 위치 확인 보정 단계(S40)를 포함한다. 즉, 엘리베이터 문의 문 중심 위치가 새로이 확인된 경우 이에 대응하여 승차 대기점을 위치 보정하는 과정을 실행한다.

이와 같은 엘리베이터 문 위치 인식 단계(S30)는 파티클 필터링 과정을 거쳐 소정의 문 위치 인식 과정을 실행하는데, 엘리베이터 문 위치 인식 단계(S30)는 샘플링 단계(S31)와, 샘플 확산 단계(S33)와, 가중치 모델링 단계(S35)와, 샘플 재배열 단계(S37)와, 샘플 수렴 판단 단계(S38)를 포함한다.

샘플링 단계(S31)에서 제어부(20)는 엘리베이터 문의 문 중심 위치를 도출하기 위한 복수 개의 샘플을 엘리베이터 문 위치로 예상되는 위치 정보를 포함하는 복수 개의 샘플들을 분포시킨다.

그런 후 샘플 확산 단계(S33)에서 제어부(20)는 샘플들을 사전 설정된 위치 정보 변화량 내에서 임의 이동시켜 확산시킨다.

그런 후 가중치 모델링 단계(S35)가 실행되는데, 가중치 모델링 단계(S35)에서 제어부(20)는 감지부(10)의 RGB-D 센서(11)에서 감지되는 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과, 샘플들로부터 예측되는 엘리베이터 문의 예측 평면을 형성하는 3차원 점군 간의 차이를 비교하고 샘플들에 대한 가중치를 부여하여 샘플에 대한 확률을 갱신한다.

그런 후, 샘플 재배열 단계(S37)에서 제어부(20)는 샘플들에 대하여 샘플들에 대한 확률을 이용하여 사전 설정된 규칙에 따라, 샘플들 중 일부에 대하여 해당 일부 샘플들의 샘플 위치에 대한 샘플 재배열 수와, 샘플들 중 나머지에 대하여 해당 나머지 샘플들의 샘플 위치에 대한 샘플 재배열 수 간에 차등을 부여한다.

그런 후, 샘플 수렴 판단 단계(S38)에서 제어부(20)는 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하는지 여부를 판단하고, 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하지 않는 것으로 판단되는 경우, 제어 흐름을 샘플 확산 단계(S33)로 전달한다.

이와 같은 가중치 모델링 단계(S35)은 실제 거리 지도 생성 단계(S351)와, 예측 거리 지도 생성 단계(S353)와, 거리차 비교 확인 단계(S355)와, 가중치 산출 단계(S357)와, 샘플 위치 확률 갱신 단계(S359)를 포함한다.

실제 거리 지도 생성 단계(S351)에서 제어부(20)는 감지부(10)의 RGB-D 센서(11)에서 감지되는 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군을 상기 이동 로봇의 정면을 향한 방향에 수직한 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 실제 투영 거리(dr)을 포함하는 격자 기반의 실제 거리 지도를 생성한다.

그런 후, 제어부(20)는 예측 거리 지도 생성 단계(S353)에서 샘플들로부터의 예측되는 엘리베이터 문의 예측 평면의 3차원 점군을 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 샘플들로부터의 엘리베이터 문의 예측 평면 3차원 점군과 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 예측 투영 거리(dp)을 포함하는 격자 기반의 예측 거리 지도를 생성한다.

그런 후 제어부(20)는 거리차 비교 확인 단계(S355)에서 실제 거리 지도와 상기 예측 거리 지도를 이용하여 격자 단위로 실제 투영 거리(dr)과 예측 투영 거리(dp)의 거리차(de)를 산출한다.

그런 후, 제어부(20)는 가중치 산출 단계(S357)에서 거리차(de)에 따라 샘플들에 대하여 가중치(w)를 산출한 후, 샘플 위치 확률 갱신 단계(S359)를 실행하고, 샘플 위치 확률 갱신 단계(S359)에서 제어부(20)는 가중치(w)에 따라 샘플에 대한 위치 확률을 갱신한다.

한편, 가중치 산출 단계(S357)에서 거리차(de)는 실제 거리 지도 및 상기 예측 거리 지도의 격자 좌표(i,j)에 대하여,

의 관계를 형성한다.

또한, 가중치 산출 단계(S357)에서 샘플들에 대한 가중치(w)는 다음과 같은 관계를 통하여 산출될 수 있다.

,

,

여기서, N _c 는 d _e (i, j)가 0이 아닌 모든 격자의 수, w _t 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 거리를 고려한 가중치이고, w _r 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 각도를 고려한 가중치이고,

는 d _e (i, j)의 평균을 나타낸다.

상기와 같은 엘리베이터 문의 인식이 완료된 후에 이동 로봇은 엘리베이터를 통한 이동 과정을 실행한다. 즉, 엘리베이터 이동 단계(S60)가 실행되는데, 엘리베이터 이동 단계(S60)는 엘리베이터 승차 단계(S70)와, 엘리베이터 하차 단계(S80)를 포함한다.

엘리베이터 승차 단계(S70)에서 제어부(20)는 승차 대기점에서 대기하는 이동 로봇이 엘리베이터로 승차하는 과정이고, 엘리베이터 하차 단계(S80)는 이동 로봇이 원하는 층에 도착한 경우 엘리베이터로부터 하차하는 과정을 나타낸다.

먼저, 본 발명의 이동 로봇의 엘리베이터 승차 단계(S70)는 승차 대기 단계(S71)와, 문 개폐 정보 확인 단계(S73)와, 문 개폐 판단 단계(S75)와, 승차 공간 탐지 단계(S77)와, 승차 이동 단계(S79)를 포함한다 .

승차 대기 단계(S71)에서 제어부(20)는 이동 로봇이 승차 대기점에서 대기하도록 한다. 문 개폐 정보 확인 단계(S73)에서 제어부(20)는 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인한다.

그런 후, 제어부(20)는 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S75)를 실행한다.

문 개폐 판단 단계(S75)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 제어부(20)는 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하고 바닥 점군과 사전 설정 데이터를 비교하여 이동 로봇의 탑승 공간 확보 여부를 확인 판단하는 승차 공간 탐지 단계(S77)를 실행한다.

만약 제어부(20)가 승차 공간 탐지 단계(S77)에서 승차가 가능한 탑승 공간이 존재하는 것으로 판단한 경우, 이동 로봇이 엘리베이터로 승차 이동하는 승차 이동 단계(S79)가 실행된다.

한편, 문 개폐 정보 확인 단계(S73)는 보다 구체적으로 거리 영상 확인 단계(S731)와, 3차원 점군 확인 단계(S735)와, 3차원 점군 변화량 확인 단계(S737)를 포함한다.

거리 영상 확인 단계(S731)에서 제어부(20)는 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 엘리베이터를 향한 거리 영상을 확인하고, 3차원 점군 확인 단계(S735)에서 거리 영상으로부터 3차원 점군을 산출한다.

그런 후, 3차원 점군 변화량 확인 단계(S737)를 실행하여 3차원 점군과 엘리베이터를 향한 이전 거리 영상으로부터의 3차원 점군 간의 변화량을 산출한다.

이때, 거리 영상 확인 단계(S731)와 3차원 점군 확인 단계(S735)의 사이에, 거리 영상 확인 단계(S731)에서 확인된 거리 영상 중 주변 영역과 차이가 큰 영상 부분은 고주파 성분으로 파악되어 저역 통과 필터를 통한 필터링 과정이 실행되는 거리 영상 필터링 단계(S733)가 더 실행될 수도 있다.

한편, 엘리베이터 문이 개방된 것으로 판단된 경우 실행되는 승차 공간 탐지 단계(S77)는 보다 구체적으로 살펴보면, 바닥 점군 확인 단계(S771)와, 바닥 점군 중심 확인 단계(S773)와, 바닥 점군 중심 가상원 형성 단계(S775)와, 승차 공간 존재 판단 단계(S777)를 포함한다.

바닥 점군 확인 단계(S771)에서 제어부(20)는 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하고, 바닥 점군 중심 확인 단계(S773)를 실행한다. 바닥 점군 중심 확인 단계(S773)에서 제어부(20)는 바닥 점군에 대한 중심 위치인 바닥 점군 중심을 확인하고, 바닥 점군 중심 가상원 형성 단계(S775)를 실행하여 바닥 점군 중심을 중심점을 사전 설정된 반경을 갖는 바닥 점군 중심 가상 원을 형성한다.

그런 후 제어부(20)는 승차 공간 존재 판단 단계(S777)를 실행하여 바닥 점군이 바닥 점군 중심 가상원에 포함되는지 여부를 확인 판단한다.

또한, 제어부(20)가 승차 공간 탐지 단계(S77)에서 승차가 가능한 탑승 공간이 존재하는 것으로 판단한 경우, 실행되는 승차 이동 단계(S79)는 전진 승차 단계(S791)와, 제자리 이동 단계(S793)를 포함한다.

전진 승차 단계(S791)에서 제어부(20)는 이동 로봇이 엘리베이터로 승차 이동되도록 구동 제어 신호를 인가하고, 제자리 이동 단계(S793)를 실행하여 이동 로봇이 엘리베이터 내에 승차한 경우 이동 로봇의 전방이 엘리베이터 문을 향하도록 제자리 이동시킨다.

한편, 전진 승차 단계(S791)를 보다 자세히 살펴보면, 바닥 영상 확인 단계(S7913)와, 픽셀 속도 산출 단계(S7914)와, 신호 이동 확인 단계(S7915)와, 영상 이동 확인 단계(S7916)과, 이동 불가 판단 단계(S7917)를 포함한다. 이는 엘리베이터의 특정 위치에서 끼임 등으로 인하여 이동 로봇이 제자리 걸음을 하는지 여부에 대한 대응책이다.

먼저, 바닥 영상 확인 단계(S7913)에서 제어부(20)는 이동 로봇의 전진 이동 신호가 인가되는 경우, 감지부(10)가 엘리베이터 내부의 바닥 영상을 확인하고, 픽셀 속도 산출 단계(S7914)를 실행하여 바닥 영상에서 확인된 특징으로부터 픽셀 속도를 산출한다. 그런 후, 제어부(20)는 신호 이동 확인 단계(S7915)에서 이동 로봇의 로봇 구동부의 이동 신호를 통한 신호 이동을 확인하고, 영상 이동 확인 단계(S7916)를 실행하여 픽셀 속도의 변화를 통하여 영상 이동을 확인한다.

이들 도출된 값을 이용하여 제어부(20)는 이동 불가 판단 단계(S7917)를 실행하는데, 영상 이동과 상기 신호 이동 간의 차이가 존재하는지 여부로 이동 불가 여부를 확인한다. 이러한 결과에 따라 대기 내지 진행을 결정할 수 있다.

또한, 이러한 과정이 실행된 후 제어부(20)는 엘리베이터 하차 단계(S80)를 실행할 수 있다.

엘리베이터 하차 단계(S80)는 이동 로봇이 엘리베이터 도착 신호를 인가받는 경우 엘리베이터로부터 하차하기 위한 준비 상태를 형성하는 하차 대기 단계(S81)와, RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인하는 문 개폐 정보 확인 단계(S83)와, 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S85)와, 문 개폐 판단 단계(S85)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 상기 이동 로봇이 하차 목적지를 확인하는 하차 목적지 확인 단계(S87)와, 하차 목적지가 확인된 경우, 상기 이동 로봇이 엘리베이터로부터 하차 이동하는 하차 이동 단계(S89)를 포함하는데, 이는 승차 과정의 반대 작동이라는 점에서 상기한 바와 상당부분 동일하다.

이하에서는 도면을 참조하여 보다 구체적인 경우를 중심으로 본 발명의 이동 로봇의 엘리베이터 승하차 제어 방법의 과정을 설명한다.

본 발명에서 개발된 이동로봇의 안전한 엘리베이터 승하차 기술은 사전에 사용자가 등록한 엘리베이터 문의 위치와 엘리베이터 문이 바라보는 방위각을 알고 있을 때 사용되며, 도 1과 같은 순서를 따른다. 엘리베이터 승하차 신호를 입력받은 이동로봇은 먼저 이동로봇의 현재 위치와 등록된 엘리베이터 문의 위치, 방위각을 이용하여 도 2와 같이 승차 경유점과 승차 대기점을 생성한다. 승차 경유점은 이동로봇이 엘리베이터의 정면을 바라볼 수 있는 위치를 나타내며, 현재 이동로봇의 위치에서 최단 거리에 위치하도록 생성되고, 승차 대기점은 이동로봇이 승차를 위해 대기하는 위치를 나타내며, 엘리베이터 문 앞에 생성된다. 이동로봇은 승차 경유점을 경유하여 승차 대기점으로 이동한다. 이동로봇은 승차 경유점에서 승차 대기점을 향해 이동할 때 전방에 장착된 RGB-D 센서를 사용하여 엘리베이터 문의 위치와 승차 대기점 위치를 갱신한다. 갱신된 승차 대기점에 도착한 이동로봇은 엘리베이터 문의 개폐 여부를 판단하고, 문이 열리면 바닥 지향, 전방 지향 RGB-D 센서를 이용하여 승차 공간을 탐지한다. 승차 공간이 충분하면 이동로봇은 승차 목적지를 설정하고 전진 승차한다. 승차 후 이동로봇은 하차를 위해 180°제자리 회전 후, 엘리베이터 문의 개폐 여부를 판단하고 문이 열리면 전진 하차한다.

엘리베이터 문의 위치인식(S20)

본 발명에서 개발된 엘리베이터 문의 위치인식 기술은 부정확한 초기 엘리베이터의 위치를 RGB-D 센서를 사용하여 보다 정확한 문의 위치로 갱신하는 기술이다. 일반적으로 RGB-D 센서는 반사율이 높은 금속 재질의 엘리베이터의 문을 관측할 때 측정 거리의 신뢰도가 낮아 단순히 거리정보만을 사용하여 위치를 갱신하기 어렵다. 그러므로 본 발명에서는 확률 기반의 파티클 필터 알고리즘을 이용하여 센서로 측정한 거리정보의 낮은 신뢰도로 인하여 나타나는 문제점을 최소화하였다. 파티클 필터 알고리즘은 물체의 위치를 추적할 때 많이 사용되는 알고리즘으로, 추적하려는 물체의 위치를 나타내는 샘플들을 임의로 분포시킨 후 물체의 실제 위치로 수렴시킨다. 본 발명에서는 엘리베이터 문의 중심 위치를 샘플로 설정하였다. 파티클 필터 알고리즘을 통한 엘리베이터 문의 위치인식 순서는 도 3과 같은 과정으로 진행된다. 먼저, 사용자가 등록한 엘리베이터의 위치 주변에 다수의 샘플을 임의로 분포시킨다. 분포된 샘플들은 샘플 확산, 거리 정보를 이용한 가중치 모델링, 샘플 재배열을 통해 실제 엘리베이터 문의 위치로 수렴된다. 엘리베이터 문의 위치는 수렴된 샘플들의 위치의 평균값으로 정한다.

(1) 샘플의 정의

본 발명에서 샘플은 예측되는 엘리베이터 문의 위치로 정의한다. 모든 엘리베이터의 문은 바닥과 수직한 관계를 가지고 있으므로 샘플은 도 4(a)와 같이 4개의 변수 (x, y, z,

)로 표현 가능하다. 여기서 (x, y, z)는 엘리베이터 문의 기하학적 중심의 3차원 위치를 나타내고,

는 엘리베이터 문이 바라보는 방위각으로 도 4(b)와 같이 엘리베이터 문에 수직으로 설정된 화살표 a와 전역좌표계의 X축이 이루는 각을 의미한다. 각 샘플은 실제 엘리베이터 문의 위치와 샘플의 위치가 일치하는 정도를 나타내는 확률을 갖는데, 샘플이 문의 중심에 가까이 위치할수록 높은 확률이 부여된다. 초기에 임의로 분포된 샘플은 낮은 확률을 가진 샘플과 높은 확률을 가진 샘플이 모두 존재하는데, 엘리베이터 문의 인식 과정이 진행됨에 따라 낮은 확률을 가진 샘플의 위치가 높은 확률을 가진 샘플의 위치로 갱신되고, 점차 실제 엘리베이터 문의 중심 위치로 수렴된다.

(2) 샘플링 단계(S31)

이 단계는 초기의 샘플들의 위치를 선정하여 분포시키는 단계이다. 엘리베이터 문의 위치인식 알고리즘이 시작되면, 샘플은 도 5와 같이 초기 설정된 엘리베이터 문의 위치를 나타내는 별 모형을 중심으로 반경이 r _s 인 구 영역 내부에 임의로 분포된다. 구 내부에 있는 4개의 원 모형은 샘플을 나타낸다. 샘플링 단계에서는 각 샘플에 대한 확률이 계산되지 않았으므로 모든 샘플에 동일한 확률 1/N _s 를 부여한다. 여기서 N _s 는 엘리베이터 문의 위치인식 과정에서 사용하는 총 샘플의 개수를 나타낸다. 각 샘플의 확률은 이후에 진행되는 샘플 확산, 가중치 모델링을 통해 갱신된다.

(3) 샘플 확산 단계(S33)

샘플링 단계에서 임의로 분포된 샘플의 위치는 이후의 가중치 모델링 단계와 샘플 재배열 단계를 통해 실제 엘리베이터 문에 근접하도록 갱신된다. 이때 갱신될 샘플의 위치는 분포된 샘플의 위치 중 한 곳으로 결정된다. 하지만 도 6과 같이 분포된 샘플의 위치가 실제 엘리베이터 문의 중심 위치에 존재하지 않는다면, 샘플 집합은 샘플의 위치가 갱신되어도 엘리베이터 문의 중심 위치에 수렴할 수 없다. 샘플 확산 단계는 샘플의 확산을 목적으로 하며, 샘플이 잘못된 위치에 수렴하지 않도록 한다. 샘플 확산 단계를 수행하는 경우, 실제 엘리베이터 문의 중심 위치에 샘플이 존재하지 않더라도 샘플은 도 7과 같이 확산되어 엘리베이터 문의 중심 위치에 근접하게 이동할 수 있다. 따라서 초기 샘플링 단계에서 임의로 분포된 샘플 집합은 샘플의 확산 단계와 샘플 재배열 단계가 반복됨에 따라 실제 엘리베이터 문의 중심 위치로 수렴한다.

샘플 확산 단계에서 샘플은 도 8(a)와 같이 샘플의 현재 위치를 중심으로 반지름이 r _d 인 구 영역 내부의 임의의 위치로 이동한다. 이때 확산 후 샘플의 방위각과 확산 전 샘플의 방위각의 변화량

는 180°°범위에서 임의로 결정된다. 샘플의 확산은 엘리베이터 문의 중심 위치의 후보지로 판단되는 샘플의 위치를 임의로 이동시키므로 샘플의 불확실성을 증가시킨다. 그러므로 확산된 샘플의 확률은 확산 과정에서 샘플의 위치와 방위각의 변화량이 클수록 불확실성이 커져 더 낮은 확률로 갱신된다. 예를 들어, 도 8(b), (c)에서 샘플 A와 C는 확산 이전의 샘플을 나타내고, 샘플 B와 D는 확산 이후의 샘플을 나타낸다. 샘플 A와 C가 같은 확률을 가질 때, 샘플의 위치와 방위각의 변화가 비교적 적은 샘플 B의 확률은 샘플 D의 확률보다 크다.

(4) 가중치 모델링 단계(S35)

이 단계에서는 로봇에 장착된 RGB-D 센서의 거리정보를 사용하여 샘플의 가중치를 부여하고, 기존의 샘플의 확률에 가중치를 곱하여 확률을 갱신한다. 샘플의 가중치는 RGB-D 센서로 획득한 엘리베이터의 3차원 점군과 샘플로부터 예측한 엘리베이터 문의 점군 사이의 유사도를 나타낸다. 샘플의 가중치를 계산하기 위하여 본 발명에서는 ‘거리지도(depth map)’라는 개념을 도입하였다. 거리지도는 거리정보를 가진 격자로 구성된 지도로, 로봇 좌표계의 ^R Y ^R Z 평면 위에 존재한다. 이때 격자가 갖는 거리정보는 격자의 위치로부터 로봇의 정면 방향으로의 거리를 의미한다. 거리지도의 격자 크기는 일반적인 RGB-D 센서의 분해능을 고려하여 10cm x 10cm로 설정하였다. 샘플의 가중치는 실제 거리지도와 예측 거리지도로부터 계산된다.

먼저 실제 거리지도는 3차원 거리센서의 거리정보를 이용하여 작성한 지도로서, 도 9와 같이 작성한다. RGB-D 센서로 획득한 3차원 점은 로봇 좌표계의 ^R Y ^R Z 평면 위에 존재하는 실제 거리지도에 정사영하여 실제 거리지도의 격자에 대응시킨다. 이때 대응되는 3차원 점과 ^R Y ^R Z 평면 사이의 거리 d _r 이 격자에 부여된다. 실제 거리지도상에 3차원 점과 대응되지 않은 격자는 0이 부여된다.

예측 거리지도는 샘플로부터 엘리베이터 문의 3차원 점군을 예측하여 작성한 지도로서, 샘플로부터 예측한 엘리베이터 문의 평면을 이용하여 작성한다. 엘리베이터 문의 예측 평면은 도 10과 같이 샘플의 위치를 중심으로 하고 샘플의 방위를 나타내는 방향과 수직한 관계를 이루며, 평면의 크기는 사용자가 사전에 정의한 엘리베이터 문의 높이와 너비 정보를 사용하여 결정한다. 예측 거리지도의 작성법은 도 11(a)와 같다. 먼저 샘플로부터 생성된 엘리베이터 문의 예측 평면 A를 로봇 좌표계의 ^R Y ^R Z 평면에 정사영하여 평면 B를 생성한다. 이때 도 11(b)와 같이 평면 B가 점유하는 격자의 위치와 대응되는 평면 A의 위치에 예측 점을 생성하고, 점유된 격자는 예측점까지의 거리 d _p 가 부여된다. 예측 거리지도상에 정사영 평면이 점유하지 않은 격자는 0이 부여된다. 이와 같은 방법으로 엘리베이터 문의 예측 평면으로부터 엘리베이터 문의 예측 점군을 생성하고, 예측 거리지도를 작성하였다.

샘플의 확률을 갱신하기 위한 가중치 w는 실제 거리지도와 샘플의 예측 거리지도를 비교하여 계산된다. 도 12과 같이 실제 거리지도와 예측 거리지도의 유사도 비교는 격자 단위로 수행되며, 다음 식 (1)과 같이 동일한 좌표 (i, j)의 격자에 부여된 거리의 차 d _e (i, j)를 계산한다. 이때 부여된 거리가 0인 격자는 두 지도를 비교할 수 없는 격자이므로 d _e (i, j)를 0으로 계산한다.

(1)

가중치 w는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 거리를 고려한 가중치 w _t 와 각도를 고려한 가중치 w _r 의 곱으로 나타낸다.

(2)

평면 사이의 거리를 고려한 가중치 w _t 는 관측한 3차원 점군과 엘리베이터 문의 예측 평면 점군 사이의 거리에 반비례한다. 즉, 실제 엘리베이터 문과 예측한 엘리베이터 문의 평면이 가까이 있을수록 더 높은 가중치를 갖는다. 이를 표현하면 식 (3)과 같고, N _c 는 d _e (i, j)가 0이 아닌 모든 격자의 수를 나타낸다.

(3)

예를 들어, 도 13(a)와 같이 실제 엘리베이터 문의 평면 S ₀에 분포한 3차원 점군과 예측 평면 S ₁, S ₂가 ^R Y ^R Z 평면에 평행하게 분포되어 있는 환경에서 실제 거리지도와 예측 거리지도를 작성하면 도 13(b)와 같다. 이 환경에서 실제 거리지도와 평면 S ₁으로 작성한 예측 거리지도 사이의 가중치

, 실제 거리지도와 평면 S ₂로 작성한 예측 거리지도 사이의 가중치

는 다음과 같이 계산된다.

(4)

(5)

도 13(a)에서 평면 S ₁은 평면 S ₂보다 실제 엘리베이터 문의 3차원 점군과 더 가까운 거리에 위치하므로 식 (4), (5)에서 계산한 가중치 역시

이

보다 더 크다.

실제 엘리베이터의 문과 예측 평면 사이의 각도를 고려한 가중치 w _r 은 두 평면 사이의 각도가 작을수록 더 높은 갚을 갖는다. 두 평면의 각도가 작을수록 d _e (i, j)의 분산은 작아지므로, w _r 는 분산에 반비례한다. 이를 식으로 표현하면 다음 식 (6)과 같다. 여기서

는 d _e (i, j)의 평균을 나타낸다.

(6)

예를 들어, 도 14(a)와 같이 실제 엘리베이터 문의 평면 S ₀에 분포한 3차원 점군은 ^R Y ^R Z 평면에 평행하게 분포되어 있고, 평면 S ₀와 한 변을 공유하는 서로 다른 예측 평면 S ₃, S ₄이 있는 환경에서 실제 거리지도와 예측 거리지도를 작성하면 도 14(b)와 같다. 이 환경에서 실제 거리지도와 평면 S ₃로 작성한 예측 거리지도 사이의 가중치

, 실제 거리지도와 평면 S ₄로 작성한 예측 거리지도 사이의 가중치

를 구하면 다음과 같다.

(7)

(8)

도 14(a)에서 평면 S ₃은 평면 S ₄보다 엘리베이터 문의 평면과 이루는 각이 작으므로 식 (7), (8)에서 계산한 가중치

또한

보다 크다.

(5) 샘플 재배열 단계 및 수렴 판단(S38,S39)

이 단계는 샘플 확산과 가중치 모델링을 통해서 갱신된 확률을 기반으로 샘플을 재분포 시키는 단계이다. 이때 낮은 확률을 가진 샘플은 높은 확률을 가진 샘플의 위치에 분포되어 샘플 집합이 실제 엘리베이터 문의 중심 위치에 수렴한다. 도 15는 샘플 재배열 단계의 이해를 돕기 위해 샘플링 단계에서 임의로 분포된 총 6개의 샘플이 샘플 확산, 가중치 모델링, 샘플 재배열 단계를 반복 수행하여 수렴되는 과정을 도식화한 도면으로서, 엘리베이터 입구 주변을 천장에서 바라본 도면이다. 도면에서 별 모형은 엘리베이터 문의 위치를 나타내고, 원 모형은 샘플을 나타낸다. 원의 크기는 샘플의 확률을 나타내어서 크기가 클수록 샘플의 확률도 크다. 첫 번째 반복과정에서 샘플은 샘플 확산, 가중치 모델링 단계를 통해 확률이 갱신되어, 엘리베이터 문의 위치와 가장 근접한 샘플 A는 갱신된 확률이 크고, 엘리베이터 문의 위치와 거리가 먼 샘플 B, C는 갱신된 확률이 작다. 첫 번째 샘플 재배열 단계를 통해 확률이 낮은 샘플 B, C는 확률이 가장 큰 샘플 A에 위치에 재분포된다. 재분포된 샘플들은 확률이 초기화되어 다시 샘플 확산, 가중치 모델링, 샘플 재배열 단계를 수행한다. 첫 번째 반복 과정을 통해 샘플 A의 위치에 존재하는 세 개의 샘플은 두 번째 샘플 확산 단계에서 독립적으로 확산되지만, 이후 가중치 모델링, 샘플 재배열 단계를 통해 실제 엘리베이터 문의 중심 위치에 다시 수렴되는 것을 도 15에서 확인할 수 있다. 샘플들의 위치가 일정한 범위로 수렴되었을 때 샘플들이 수렴되었다 판단하고, 엘리베이터 문의 위치는 수렴된 샘플들의 평균 위치로 결정한다.

이동로봇의 안전한 엘리베이터 승하차(S60-S70,S80)

(1) 승차를 위한 이동로봇의 이동 과정

이동로봇이 엘리베이터에 승차하기 위해서, 로봇의 현재 위치와 사용자가 등록한 엘리베이터 문의 위치와 방위각을 이용하여 도 2와 같이 승차 경유점과 승차 대기점을 생성한다. 승차 경유점은 이동로봇이 정면 방향으로 안전하게 승차하기 위해서 경유하는 위치를 나타낸다. 본 발명에서는 이동로봇이 엘리베이터의 문과 수직한 경로에 최단 거리로 도달할 수 있는 위치를 승차 경유점으로 정했다. 승차 대기점은 이동로봇이 정지한 상태로 엘리베이터 승차를 대기하는 위치를 나타내고, 엘리베이터 문의 위치에서 문의 정면 방향으로 거리 d _s 만큼 떨어진 위치에 존재한다. 본 발명에서는 d _s 를 RGB-D 센서의 인식 가능한 최소 거리 0.7m로 사용하였다.

도 16은 승차 경유점과 승차 대기점을 생성한 뒤 이동로봇이 승차 대기점으로 이동하는 과정을 나타낸 도면이다. 이동로봇은 도 16(a)와 같이 제자리 회전 후 승차 경유점을 향해 전진한다. 승차 경유점에 도착하면 이동로봇은 도 16(b)와 같이 제자리 회전 후 승차 대기점을 향해 전진한다. 이동로봇이 승차 경유점에서 승차 대기점을 향해 이동할 때 이동로봇의 전면에 장착된 RGB-D 센서가 엘리베이터를 관측할 수 있고, 이때 3.4.1절에서 언급한 엘리베이터 문의 위치인식 기술이 사용된다. 도 16(c)와 같이 엘리베이터 문의 위치가 갱신될 때 로봇은 현재의 로봇 위치와 갱신된 엘리베이터 문의 위치 사이의 직선 경로를 생성하고, 승차 대기점의 위치를 생성된 경로 위에 존재하도록 갱신한다. 도 16(d)와 같이 이동로봇이 갱신된 승차 대기점에 도착하면 승차를 대기한다.

(2) 저역통과필터를 사용한 엘리베이터 문의 개폐 인식

승차 대기점에 도착한 이동로봇은 전방에 장착된 RGB-D 센서로 획득한 3차원 점군의 평균 거리 변화를 이용하여 엘리베이터 문의 개폐 여부를 판단한다. 엘리베이터의 금속 표면은 반사체의 특성 때문에 RGB-D 센서로 거리를 측정했을 때 실제 거리와 차이가 큰 이상점(outlier)들이 존재한다. 본 발명에서는 저역통과필터를 거리 영상(depth image)에 사용하여 이상점을 제거한다. 거리 영상이란, 각 픽셀에 색 정보가 포함된 카메라 영상과 같이 거리 정보를 포함한 픽셀로 구성된 영상이다. 영상의 공간영역 처리에서 주변영역과 차이가 큰 부분을 고주파 성분, 차이가 적은 부분을 저주파 성분이라 정의한다. 저역통과필터란 고주파 성분을 필터링하는 알고리즘으로, 거리 영상에 적용하면 주변 픽셀과 거리 차이가 큰 픽셀, 즉 이상점 정보를 포함한 픽셀을 제거할 수 있다. 도 17(a)는 엘리베이터 외부에서 엘리베이터의 문을 RGB-D 센서로 관측하여 획득한 3차원 점군을 나타낸다. 3차원 점군은 엘리베이터 문의 표면에 위치하는 3차원 점군 A와 반사체로 인한 오인식 결과로 엘리베이터의 문보다 먼 거리에 위치하는 3차원 점군 B로 구성된다. 저역통과필터를 사용하여 3차원 점군 A를 추출하면 로봇과 엘리베이터 문 사이의 거리를 등록한다. 도 17(b)와 같이 엘리베이터의 문이 열리면, RGB-D 센서로 획득한 3차원 점군은 엘리베이터 내부의 벽면에 위치한다. 승차 대기점에서 대기 중인 이동로봇은 실시간으로 3차원 점군의 거리의 변화량를 계산한다. 거리의 변화량이 임계값 이상일 경우, 이동로봇은 엘리베이터의 문이 열렸다고 판단하고 엘리베이터 내부에 승차 가능한 공간이 있는지 탐지한다.

(3) 이동로봇의 승차 공간 탐지

일반적으로 엘리베이터를 이용하는 이동로봇은 안전을 위하여 사람의 사용이 적은 화물용 엘리베이터를 이용한다. 하지만 화물용 엘리베이터에는 실어 나르기 위한 화물들과 이를 운반하는 사람들이 존재하기 때문에 이동로봇이 엘리베이터에 승차하기 이전에 승차를 위한 충분한 공간이 있는지 탐지해야 한다. 이동로봇은 바닥 지향, 정면 지향 RGB-D 센서에서 획득한 3차원 점군 중 바닥 점군을 추출하고 점군의 중심을 승차 시 최종 목적지로 설정한다. 최종 목적지 근처에 장애물이 존재하면 이동로봇이 안전하게 승차하지 못하기 때문에 최종 목적지 주변의 바닥 점군을 이용하여 장애물 여부를 판단한다. 도 18(a)는 엘리베이터 내부에 장애물이 존재하지 않은 상황을 나타낸다. 이 때 이동로봇은 엘리베이터의 바닥 전체를 감지 할 수 있으며 엘리베이터 내부의 중심을 승차 목적지로 설정한다. 승차 목적지를 중심으로 하고 지름 D인 원의 모든 영역에서 바닥 점군이 검출되므로 이동로봇은 승차가 가능하다고 판단하고 승차 목적지를 향해 전진한다. 승차한 이동로봇은 하차를 위해 180°제자리 회전을 하므로 지름 D는 이동로봇 몸체의 가장 긴 길이보다 더 길게 설정한다. 도 18(b)는 엘리베이터 내부에 장애물이 존재하는 상황을 나타낸다. 장애물 존재하는 위치에서는 바닥 점군이 검출되지 않으며, 장애물의 뒤쪽 영역 역시 센서로 감지가 불가능한 영역이므로 바닥 점군이 검출되지 않는다. 이 때 바닥 점군의 중심점은 장애물이 없는 영역 위에 위치한다. 도 18(b)의 경우 이동로봇은 로봇을 기준으로 오른쪽에 승차 목적지를 생성하고, 승차가 가능한지 판단한다. 승차 목적지 근처에 바닥 점군이 검출되므로 엘리베이터는 승차 목적지를 향해 승차한다. 도 18(c)는 이동로봇이 승차가 불가능하다고 판단하는 예시를 나타낸다. 승차 목적지는 바닥 점군의 중심으로 설정되므로 도 18(c)와 같이 승차 목적지를 원점으로 하는 원의 영역에 장애물이 존재하여 바닥이 검출되지 않을 수 있다. 이 경우 안전한 승하차를 위해 승차하지 않는다.

(4) 승하차 과정에서 발생하는 이동로봇의 이동 불가 문제 감지

일반적으로 실내 환경에서 주행하는 이동로봇은 초음파 센서, 레이저 스캐너를 이용하여 충돌을 방지한다. 특히 평평한 바닥으로 이루어져 있는 실내에서는 이동로봇이 턱에 걸리거나, 구덩이에 빠져 이동이 불가능한 상황에 놓이는 경우가 매우 드물다. 하지만 엘리베이터 승하차를 수행하는 이동로봇의 경우 엘리베이터와 건물 사이의 틈, 높이 차이 때문에 바퀴가 헛돌아 이동이 불가한 경우가 존재한다. 로봇의 위치 인식이 이루어지지 않는다면 로봇은 승차 목적지를 향해 계속 움직인다고 인식하고, 승하차 과정을 계속 진행한다. 승차 목적지에 도달하지 못한 상태에서 승차 완료 신호를 엘리베이터에 전송하면 큰 사고로 이어질 수 있다. 하지만 승차 대기점에서 승차 목적지까지 이동 시 이동로봇은 금속 재질의 엘리베이터에 둘러싸이게 되므로 위치 인식에 사용될 레이저 스캐너를 사용할 수 없다.

본 발명에서는 이동로봇이 승하차 시 발생하는 이동 불가 문제를 바닥 지향의 RGB-D 센서로 획득한 바닥의 영상 정보를 이용하여 감지한다. 도 19는 이동로봇이 이동할 때 바닥 영상의 연속한 두 프레임을 나타낸다. t-1시간의 영상에서 바닥 타일의 꼭지점을 나타낸 노란색 점은 t시간의 영상에서 이전 픽셀 좌표와 다른 픽셀 좌표를 같는다. 두 픽셀 좌표 사이의 벡터를 바닥 타일의 꼭지점에 해당하는 픽셀의 속도 벡터라 한다. 이동로봇이 실제로 이동한다면 영상의 모든 픽셀에서 같은 방향의 속도 벡터를 갖는다. 반면에 엘리베이터와 건물 사이의 틈에 바퀴가 끼어 헛돌 때 로봇은 움직인다고 인지하지만 실제 바닥 지향의 영상 정보에서는 픽셀의 속도 벡터가 검출되지 않는다. 연속한 프레임의 픽셀 움직임이 검출되지 않는다. 바퀴의 장착된 모터의 신호와 바닥 지향의 영상 정보를 이용한 움직임 판단이 불일치 할 경우 이동로봇은 이동이 불가능하다고 판단하고 승하차 과정을 멈추고 대기한다.

(5) 이동로봇의 하차

도 20은 승차 대기점에서 출발한 이후 하차 완료까지의 이동로봇의 이동 과정을 나타낸다. 승차과정에서 결정된 승차 대기점은 엘리베이터 문의 중심을 문과 수직하게 바라보는 위치이므로 이상적인 하차 목적지로 설정 가능하다. 도 20(a)와 같이 정해진 승차 목적지에 도착한 이동로봇은 하차 목적지를 향해 제자리 회전하여 하차를 대기한다. 도 20(b)와 같이 앞서 언급한 방법으로 엘리베이터 내부에서 엘리베이터 문의 개폐 인식을 수행하고, 도 20(c)와 같이 엘리베이터 문이 열리면 하차 목적지를 향해 이동하여 하차한다. 도 20(c)와 같이 하차 목적지에 도착한 이동로봇은 모든 엘리베이터 승하차 과정을 완료한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

1. RGB-D 센서(11)를 포함하는 감지부(10)의 감지 정보 및 저장부(30)에 저장되는 사전 설정 데이터를 이용하여 제어부가 로봇 구동부에 구동 제어 신호를 인가하여 주행하는 이동 로봇의 엘리베이터 승하차 제어 방법으로서,
   상기 이동 로봇을 제공하는 초기화 단계(1)와,
   상기 이동 로봇이 승하차하는 엘리베이터의 승차 정보를 확인하고 준비 이동시키는 준비 단계(S10)와,
   상기 이동 로봇이 상기 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하는 엘리베이터 문 인식 확인 단계(S20)와,
   상기 엘리베이터 문 인식 확인 단계(S20)에서 확인된 엘리베이터 문을 거쳐 엘리베이터를 통하여 이동하는 엘리베이터 이동 단계(S60)를 포함하는 이동 로봇의 엘리베이터 승하차 제어 방법.
2. 제 1항에 있어서,
   상기 준비 단계(S10)는:
   상기 이동 로봇이 승하차하기 위한 승차 정보를 확인하는 승차 정보 확인 단계(S11)와,
   상기 승차 정보에 따라 상기 이동 로봇이 엘리베이터에 승차하기 위한 지점으로 이동하는 승차 정보 지점 이동 단계(S13,S15)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
3. 제 2항에 있어서,
   상기 승차 정보 확인 단계(S11)는:
   상기 이동 로봇이 승하차하기 위하여 상기 이동 로봇이 엘리베이터를 정면으로 바라보는 위치인 승차 경유점을 확인하는 승차 경유점 확인 단계(S111)와,
   상기 승차 경유점보다 엘리베이터에 근접하고 사전 설정 거리만큼 이격되는 지점에 배치되는 승차 대기점을 확인하는 승차 대기점 확인 단계(S113)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
4. 제 3항에 있어서,
   상기 승차 정보 지점 이동 단계(S13,S15)는:
   상기 승차 경유점으로 상기 이동 로봇이 이동하는 승차 경유점 이동 단계(S13)와,
   상기 승차 대기점으로 상기 이동 로봇이 이동하는 승차 대기점 이동 단계(S15)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
5. 제 2항에 있어서,
   상기 엘리베이터 문 인식 확인 단계(S20)는:
   상기 이동 로봇이 상기 RGB-D 센서(11)를 통하여 엘레베이터 문을 감지하고, 파티클 필터를 이용하여 엘리베이터 문을 인식 확인하고 엘리베이터 문의 문 중심 위치를 확인하는 엘리베이터 문 위치 인식 단계(S30)와,
   상기 문 중심 위치에 대하여 엘리베이터 문의 표면으로부터 수직한 방향으로 사전 설정 거리만큼 이격되는 승차 대기점을 확인하고 위치 보정하는 승차 대기점 위치 확인 보정 단계(S40)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
6. 제 5항에 있어서,
   상기 엘리베이터 문 위치 인식 단계(S30)는:
   엘리베이터 문의 문 중심 위치를 도출하기 위한 복수 개의 샘플을 엘리베이터 문 위치로 예상되는 위치 정보를 포함하는 복수 개의 샘플들을 분포시키는 샘플링 단계(S31)와,
   상기 샘플들을 사전 설정된 위치 정보 변화량 내에서 임의 이동시켜 확산시키는 샘플 확산 단계(S33)와,
   상기 감지부(10)의 상기 RGB-D 센서(11)에서 감지되는 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과, 상기 샘플들로부터 예측되는 엘리베이터 문의 예측 평면을 형성하는 3차원 점군 간의 차이를 비교하고 상기 샘플들에 대한 가중치를 부여하여 상기 샘플에 대한 확률을 갱신하는 가중치 모델링 단계(S35)와,
   상기 샘플들에 대하여 상기 샘플들에 대한 확률을 이용하여 사전 설정된 규칙에 따라, 상기 샘플들 중 일부에 대하여 해당 일부 샘플들의 샘플 위치에 대한 샘플 재배열 수와, 상기 샘플들 중 나머지에 대하여 해당 나머지 샘플들의 샘플 위치에 대한 샘플 재배열 수 간에 차등을 부여하는 샘플 재배열 단계(S37)와,
   상기 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하는지 여부를 판단하는 샘플 수렴 판단 단계(S38)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
7. 제 6항에 있어서,
   상기 샘플 재배열 단계(S37)에서 재배열된 샘플들의 위치가 사전 설정 기준 범위에 부합하지 않는 것으로 판단되는 경우, 제어 흐름을 상기 샘플 확산 단계(S33)로 전달하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
8. 제 7항에 있어서,
   상기 가중치 모델링 단계(S35)는:
   상기 감지부(10)의 상기 RGB-D 센서(11)에서 감지되는 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군을 상기 이동 로봇의 정면을 향한 방향에 수직한 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 상기 이동 로봇의 엘리베이터 문에 대하여 얻은 3차원 점군과 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 실제 투영 거리(dr)을 포함하는 격자 기반의 실제 거리 지도를 생성하는 실제 거리 지도 생성 단계(S351)와,
   상기 샘플들로부터의 예측되는 엘리베이터 문의 예측 평면의 3차원 점군을 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 상에 투영시켜, 상기 샘플들로부터의 엘리베이터 문의 예측 평면3차원 점군과 상기 이동 로봇의 좌표축 평면(^RY-^RZ) 간의 거리 정보인 예측 투영 거리(dp)을 포함하는 격자 기반의 예측 거리 지도를 생성하는 예측 거리 지도 생성 단계(S353)와,
   상기 실제 거리 지도와 상기 예측 거리 지도를 이용하여 격자 단위로 상기 실제 투영 거리(dr)과 상기 예측 투영 거리(dp)의 거리차(de)를 산출하는 거리차 비교 확인 단계(S355)와,
   상기 거리차(de)에 따라 상기 샘플들에 대하여 가중치(w)를 산출하는 가중치 산출 단계(S357)와,
   상기 가중치(w)에 따라 상기 샘플에 대한 위치 확률을 갱신하는 샘플 위치 확률 갱신 단계(S359)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
9. 제 8항에 있어서,
   상기 가중치 산출 단계(S357)에서 상기 거리차(de)는 상기 실제 거리 지도 및 상기 예측 거리 지도의 격자 좌표(i,j)에 대하여,
   

   

   
   의 관계를 형성하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
10. 제 9항에 있어서,
    상기 가중치 산출 단계(S357)에서 상기 샘플들에 대한 가중치(w)는 다음과 같은 관계를 통하여 산출되는 것을 특징으로 하는 이동 로봇을 통한 격자 지도 작성 방법.
    

    

    ,
    

    

    ,
    

    

    
    여기서, N _c 는 d _e (i, j)가 0이 아닌 모든 격자의 수, w _t 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 거리를 고려한 가중치이고, w _r 는 실제 엘리베이터의 문과 엘리베이터 문의 예측 평면 사이의 각도를 고려한 가중치이고,

    

    는 d _e (i, j)의 평균을 나타냄.
11. 제 1항에 있어서,
    상기 엘리베이터 이동 단계(S60)는:
    상기 승차 대기점에서 대기하는 상기 이동 로봇이 엘리베이터로 승차하는 엘리베이터 승차 단계(S70)와,
    상기 이동 로봇이 원하는 층에 도착한 경우 엘리베이터로부터 하차하는 엘리베이터 하차 단계(S80)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
12. 제 11항에 있어서,
    상기 엘리베이터 승차 단계(S70)는:
    상기 이동 로봇이 상기 승차 대기점에서 대기하는 승차 대기 단계(S71)와,
    상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인하는 문 개폐 정보 확인 단계(S73)와,
    상기 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S75)와,
    상기 문 개폐 판단 단계(S75)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 상기 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하고 상기 바닥 점군과 사전 설정 데이터를 비교하여 상기 이동 로봇의 탑승 공간 확보 여부를 확인 판단하는 승차 공간 탐지 단계(S77)와,
    상기 승차 공간 탐지 단계(S77)에서 승차가 가능한 탑승 공간이 존재하는 것으로 판단한 경우, 상기 이동 로봇이 엘리베이터로 승차 이동하는 승차 이동 단계(S79)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
13. 제 12항에 있어서,
    상기 문 개폐 정보 확인 단계(S73)는:
    상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 엘리베이터를 향한 거리 영상을 확인하는 거리 영상 확인 단계(S731)와,
    상기 거리 영상으로부터 3차원 점군을 산출하는 3차원 점군 확인 단계(S735)와,
    상기 3차원 점군과 엘리베이터를 향한 이전 거리 영상으로부터의 3차원 점군 간의 변화량을 산출하는 3차원 점군 변화량 확인 단계(S737)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
14. 제 13항에 있어서,
    상기 거리 영상 확인 단계(S731)와 3차원 점군 확인 단계(S735)의 사이에, 상기 거리 영상 확인 단계(S731)에서 확인된 거리 영상 중 주변 영역과 차이가 큰 영상 부분을 필터링하는 거리 영상 필터링 단계(S733)가 더 구비되는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
15. 제 12항에 있어서,
    상기 승차 공간 탐지 단계(S77)는:
    상기 RGB-D 센서(11)를 통하여 엘리베이터의 바닥 영역에 대한 바닥 점군을 확인하는 바닥 점군 확인 단계(S771)와,
    상기 바닥 점군에 대한 중심 위치인 바닥 점군 중심을 확인하는 바닥 점군 중심 확인 단계(S773)와,
    상기 바닥 점군 중심을 중심점을 사전 설정된 반경을 갖는 바닥 점군 중심 가상 원을 형성하는 바닥 점군 중심 가상원 형성 단계(S775)와,
    상기 바닥 점군이 상기 바닥 점군 중심 가상원에 포함되는지 여부를 확인 판단하는 승차 공간 존재 판단 단계(S777)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
16. 제 12항에 있어서,
    상기 승차 이동 단계(S79)는:
    상기 이동 로봇이 엘리베이터로 승차 이동되는 전진 승차 단계(S791)와,
    상기 이동 로봇이 엘리베이터 내에 승차한 경우 상기 이동 로봇의 전방이 엘리베이터 문을 향하도록 제자리 이동되는 제자리 이동 단계(S793)을 포함하는 것을 특징으로하는 이동 로봇의 엘리베이터 승하차 제어 방법.
17. 제 16항에 있어서,
    상기 전진 승차 단계(S791)는:
    상기 이동 로봇의 전진 이동 신호가 인가되는 경우, 상기 감지부(10)가 엘리베이터 내부의 바닥 영상을 확인하는 바닥 영상 확인 단계(S7913)와,
    상기 바닥 영상에서 확인된 특징으로부터 픽셀 속도를 산출하는 픽셀 속도 산출 단계(S7914)와,
    상기 이동 로봇의 로봇 구동부의 이동 신호를 통한 신호 이동을 확인하는 신호 이동 확인 단계(S7915)와,
    상기 픽셀 속도의 변화를 통하여 영상 이동을 확인하는 영상 이동 확인 단계(S7916)과,
    상기 영상 이동과 상기 신호 이동 간의 차이가 존재하는지 여부로 이동 불가 여부를 확인하는 이동 불가 판단 단계(S7917)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
18. 제 11항에 있어서,
    상기 엘리베이터 하차 단계(S80)는:
    상기 이동 로봇이 엘리베이터 도착 신호를 인가받는 경우 엘리베이터로부터 하차하기 위한 준비 상태를 형성하는 하차 대기 단계(S81)와,
    상기 RGB-D 센서(11)를 통하여 감지되는 감지 정보 중 거리 영상으로부터 도출되는 3차원 점군에 기초하여 엘리베이터의 문의 개방 여부가 확인하기 위한 3차원 점군 변화량을 확인하는 문 개폐 정보 확인 단계(S83)와,
    상기 3차원 점군의 변화량을 사전 설정 데이터에 포함되는 임계 변화량과 비교하여 엘리베이터의 문 개방 여부를 판단하는 문 개폐 판단 단계(S85)와,
    상기 문 개폐 판단 단계(S85)에서 엘리베이터 문이 개방된 것으로 판단한 경우, 상기 이동 로봇이 하차 목적지를 확인하는 하차 목적지 확인 단계(S87)와,
    상기 하차 목적지가 확인된 경우, 상기 이동 로봇이 엘리베이터로부터 하차 이동하는 하차 이동 단계(S89)를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 승하차 제어 방법.
    
    
    
    
    
    
    

Images