KR100773184B1

KR100773184B1 - 자율 이동로봇

Info

Publication number: KR100773184B1
Application number: KR1020057017184A
Authority: KR
Inventors: 타츠오 사카이; 토모하루 나카하라; 히토시 기타노; 유키히코 기타노; 츠요시 야마네; 히로유키 후지이
Original assignee: 마츠시다 덴코 가부시키가이샤
Priority date: 2003-03-14
Filing date: 2004-03-12
Publication date: 2007-11-02
Also published as: TW200508826A; JP2004280451A; TWI242701B; JP3879848B2; DE112004000438T5; US7684894B2; WO2004081683A1; KR20050108396A; US20060184274A1

Abstract

자율 이동로봇(1)은, 환경정보 취득수단(6)에 의해 장애물 및 자기위치를 인식해 장애물을 회피하면서 주행한다. 이 환경정보 취득수단(6)은, 주행경로 상의 환경의 화상을 촬상하는 촬상장치(71)와, 촬상한 화상을 연산 처리행서 인체의 부위에 관한 속성을 가지는 영역을 추출하는 화상인식 처리수단(72)과, 주행경로 상의 환경 내에 존재하는 물체까지의 거리와 그 방향을 측정하는 거리 측정장치(81)와, 얻어진 거리정보를 연산 처리해서 물체 형상을 구하고, 그것으로부터 물체가 사람 후보인 것을 인식하는 거리정보 해석수단(82)과, 주행경로 상의 환경정보를 인식하는 환경 인식수단(9)을 구비하고 있다. 이 환경 인식수단(9)은, 화상인식 처리수단(72)에서 추출된 상기 속성을 가지는 영역의 방향과, 거리정보 해석수단(82)에서 사람 후보라고 인식된 물체의 방향을 비교하여, 양자가 일치할 때, 그 물체를 사람이라고 인식한다. 이렇게 해서, 자율 이동로봇은 장애물이 무엇인가를 판단하여, 장애물에 따라 안전하고 부드럽게 주행한다.

Description

자율 이동로봇{AUTONOMOUSLY MOVING ROBOT}

본 발명은, 장애물을 회피하여 목적지까지 이동할 수 있는 자율 이동로봇에 관한 것이다.

종래, 레이저 레이더(laser radar)나 초음파 등의 거리 센서를 사용하여 장애물을 검출하고, 주행제어를 행하는 자율 이동로봇이 알려져 있다. 자율 이동로봇이, 안전한 주행을 행하기 위해서는, 장애물을 검출할 뿐만 아니라, 검출물이 무엇인가를 인식해서 제어할 필요가 있다. 검출물의 인식에는, 3차원 공간 전역(全域)에 걸쳐 치밀한 거리계측이 필요하다. 그래서, 카메라에 의해 얻어지는 화상으로부터 공간정보를 얻어, 주행을 제어하는 것이 알려져 있다. 예컨대, 거리정보와 화상정보를 이용해서 주행을 행하는 로봇이나(미국특허 제5525882호 참조), CCD카메라와 초음파 센서를 이용해서 장애물의 횡(橫) 위치를 측정하는 기술이 알려져 있다(특개2000-123298호 공보 참조).

또한, 2대의 카메라에 의한 화상으로부터 인물의 두부(頭部) 더욱이 정면 얼굴(顔)을 검출하는 것에 의해, 인물을 인식해서 이동하는 로봇이 알려져 있다(특개2002-56388호 공보 참조). 이 문헌에서는, 스테레오 화상으로부터 대상물의 거리를 산출하고 있지만, 검출물의 거리가 가까울 때는, 오차가 크므로, 거리 센서에 의한 거리정보를 이용하는 것이 나타나 있다. 또한, 스테레오 카메라에 의한 화상으로부터, 인물의 얼굴을 검출하는 동시에, 인물까지의 거리를 산출해서 자율 행동하는 로봇이 알려져 있다(특개2000-326274호 공보 참조).

그렇지만, 상술의 미국특허 제5525882호에 나타나는 기술은, 주행의 장해가 되는 물체면을 갖는 장애물을 대상으로 하고 있고, 물체가 무엇인가를 판단해서 주행 제어하고 있지 않다. 또한, 특개2000-123298호에 나타나는 기술은, 장애물의 횡방향의 확대를 단지 인식할 뿐이며, 이것도 물체가 무엇인가를 판단해서 제어하고 있지 않다. 또한, 특개2002-56388호나, 동2000-326274호에 나타나는 기술은, 주로 스테레오 화상정보만으로 인물을 검출하고 있으므로, 검출 정밀도는 낮으며, 장애물을 오검출하기 쉽다.

본 발명은, 상기 과제를 해소하는 것으로서, 물체까지의 거리와 방향을 측정가능한 레이저 레이더나 초음파 센서(초음파) 등의 거리 계측수단에 의한 거리 정보로부터 구하는 물체 형상정보와, 화상처리로부터 얻어지는 인체의 부위에 관한 속성을 가지는 영역정보를 종합해서 검출물이 사람이라고 판단하는 것에 의해, 신뢰성이 높은 장애물 인식을 실현하여, 안전하고 또한 부드럽게 주행할 수 있는 자율 이동로봇을 제공하는 것을 목적으로 한다.

상기 과제를 달성하기 위해서, 본 발명은, 장애물을 회피하면서 주행하는 자율 이동로봇에 있어서, 주행하는 영역의 지도정보와 주행을 위한 각종 파라미터를 기억하는 기억수단과, 목적지나 주행지령을 상기 기억수단에 입력하는 입력 지시수단과, 목적지까지의 주행경로를 생성하는 경로 생성수단과, 장애물이 되는 물체를 포함하는 주행경로 상의 환경정보를 취득하는 환경정보 취득수단과, 주행을 행하기 위한 주행수단과, 상기 환경정보 취득수단에서 얻어진 정보와 상기 지도정보에 근거해서 자기위치를 인식하는 자기위치 인식수단과, 상기 자기위치 인식수단에 의해 자기위치를 인식해 장애물을 회피하면서 목적지에 도달하도록 상기 주행수단을 제어하는 주행 제어수단을 구비하고, 상기 환경정보 취득수단은, 주행경로 상의 환경의 화상을 촬상하는 촬상장치와, 상기 촬상된 화상 데이터를 연산 처리해서 인체의 부위에 관한 속성을 가지는 영역을 추출하는 화상인식 처리수단과, 주행경로 상의 환경 내에 존재하는 물체를 검출하고, 그 물체의 거리와 방향을 측정하는 거리 측정장치와, 상기 측정된 물체의 거리 데이터를 연산 처리해서 물체형상을 구하고, 해당 형상으로부터 물체가 사람 후보인 것을 인식하는 거리정보 해석수단과, 상기 화상인식 처리수단에서 추출된 상기 속성을 가지는 영역의 위치와, 상기 거리정보 해석수단에서 사람 후보라고 인식된 물체의 위치를 비교하여, 양자가 일치할 때, 그 물체를 사람으로 인식하는 환경 인식수단을 구비한 것이다.

본 발명에 의하면, 계측 정밀도 높은 거리 데이터로 물체형상을 구하고, 그 형상으로부터 사람 후보라고 인식되는 위치정보와, 넓은 에리어의 환경정보가 얻어지는 화상정보에 의한 인체의 부위에 관한 속성을 가지는 영역의 위치정보를 조합시켜, 양쪽 위치정보가 일치할 때, 사람을 검출했다고 판단하므로, 신뢰성 높은 사람의 검출이 실현된다. 더 나아가서는, 자율 이동로봇의 안전 또한 부드러운 주행동작을 실현할 수 있다. 상기 위치정보는, 방향도 포함한다.

상기 본 발명에 있어서, 화상인식 처리수단은, 거리정보 해석수단에 의해 구해진 물체의 방향에 대해서 화상 데이터를 연산 처리하고, 환경 인식수단은, 해당 물체의 방향에 대응하는 부분에 대해서 인식 처리하는 것으로 하면 좋다. 이것에 의해, 장애물이 존재하지 않는 영역은 처리하지 않으므로, 화상인식의 계산량을 삭감할 수 있다. 또한, 장애물이 존재하는 부분만을 화상에 의해 인식처리할 수 있으므로 신뢰성 높은 환경인식을 행할 수 있다.

상기 거리 측정장치는, 상기 화상인식 처리수단에 의해 추출된 영역의 방향에 대해서 거리 계측을 행하고, 상기 환경 인식수단은, 상기 추출된 영역방향에 대응하는 부분에 대해서 인식 처리하는 것으로 하면 좋다. 이것에 의해, 쓸데없는 거리정보 취득처리를 없앨 수 있다. 특히, 거리정보에 의해 식별하고 싶은 것과 같은 형상의 것이 다수 존재하는 경우, 예컨대, 사람을 기둥(柱) 모양 물건으로서 검출ㆍ식별하고자 하는 경우에, 기둥이나, 테이블의 다리 등이 다수 있는 경우에, 화상정보 취득수단에 의해 얻어지는 장애물의 후보영역에만 대해서 거리정보를 취득할 수 있으므로, 효율적인 거리정보 취득처리를 행할 수 있다.

상기 거리 측정장치는, 주행 노면에 평행한 면내를 미리 설정한 각도마다 주사해서 장애물까지의 거리를 계측하는 레이저 레이더를 이용하면 좋다. 이것에 의해, 위치계측 정밀도 높은 계측 데이터가 얻어져, 장애물의 형상인식을 할 수 있다. 또한, 계측 평면상에서의 장애물의 형상을 알고 있으므로, 장애물 추정을 위한 데이터로 할 수 있다.

상기 거리정보 해석수단은, 거리 데이터를 연산 처리해서 구한 물체의 폭이 미리 결정한 범위 내일 때, 그 물체를 사람의 후보로서 인식하는 것으로 하면 좋다. 이것에 의해, 일반적으로, 사람이 서있는 경우의 사람의 다리나 사람이 의자에 앉아 있는 경우의 사람 또는 의자의 다리는 기둥 모양으로 가정할 수 있으므로, 계측 평면상에서 장애물의 형상해석에서, 용이하게 장애물이 사람인가 아닌가를 추정할 수 있다.

상기 거리정보 해석수단은, 계측된 물체까지의 거리가 기억된 지도 위의 물체까지의 거리와 일치하지 않을 때, 검출된 물체를 사람의 후보로서 인식하는 것으로 하면 좋다. 이것에 의해, 지도 상에 없는 물체는 사람일 가능성이 높다고 판단하는 것에 의해, 간단히 사람 검출을 실현할 수 있다. 벽에 걸려진 사람의 사진 등을 사람으로 오인식하는 일이 없어진다.

상기 촬상장치는, 자율 이동로봇에 설치된 카메라이며, 그것에 의해 촬상된 화상좌표는 자율 이동로봇의 기준좌표계로 변환 가능하게 하면 좋다. 이것에 의해, 특정한 방향에 고정해서 설치하는 것에 의해 구성이 간단하며, 저코스트의 촬상장치를 실현할 수 있다.

상기 화상인식 처리수단은, 적어도 촬상한 화상 데이터로부터 특정 색영역을 검출하는 특정 색영역 검출부와, 그것에 의해 검출된 특정 색영역의 형상에 대해서 연산 처리하는 형상 특징처리부를 포함하고, 검출된 특정 색영역이 미리 결정한 형상 특징 조건을 충족할 때, 그 특정 색영역을 사람의 후보로서 인식하는 것으로 하면 좋다. 이것에 의해, 화상 위에서, 사람의 특징을 잘 나타내는 특정 색영역, 예컨대 살색영역과, 사람의 형상 특징을 양쪽 사용하는 것에 의해서, 신뢰성 높은 사람의 검출을 할 수 있다.

상기 환경 인식수단은, 화상 중에서 검출된 사람의 살색의 색영역의 면적과, 자율 이동로봇으로부터 사람까지의 거리에 의해 미리 결정된 그 거리에서 사람의 살색 색영역의 면적과의 비율을 구하고, 이 비율과 미리 결정된 문턱치를 비교하는 것에 의해, 검출된 사람을 자율 이동로봇이 알아차리고 있는가 없는가를 판단하는 것으로 하면 좋다. 이것에 의해, 사람의 유무(有無)뿐만 아니라, 검출된 그 사람을 자율 이동로봇을 알아차리고 있는가 없는가 라는, 그 사람의 상태까지 인식할 수 있으므로, 사람의 상태정보에 의해, 안전 또한 부드러운 이동 동작을 실현할 수 있다.

상기 주행 제어수단은, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에서 또한, 미리 결정한 거리 내에 있는 경우에는 정지하고, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에 없는 경우, 장애물이 있으면 회피를 행하고, 장애물이 없으면 그대로 주행을 계속하도록 주행수단을 제어하는 것으로 하면 좋다. 이것에 의해, 사람에 대해서 안전을 확보할 수 있다.

상기 주행 제어수단은, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에 있는 경우, 그 사람으로 인식되는 물체로부터 미리 결정한 거리를 사이를 두고 회피해서 주행하도록 주행수단을 제어하는 것으로 하면 좋다. 이것에 의해, 사람이 있어도 회피해서 목적지로 진행할 필요가 있는 경우에, 사람에 대해서 안전을 확보하면서 동작을 할 수 있다. 즉, 사람이 아닌 검출 물체에 대해서는 거리를 취해 회피할 필요가 없어 회피 거리를 짧게 할 수 있으므로, 효율이 좋은 자율 이동로봇의 운행이 가능해진다.

상기 주행 제어수단은, 사람으로 인식되는 물체가 미리 결정한 거리 내에 있는 경우, 그 거리 또는 거리와 각도에 따른 이동속도가 되도록 주행수단을 제어하는 것으로 하면 좋다. 이것에 의해, 사람이 불안을 느끼지 않는 동작에서 효율이 좋은 이동을 할 수 있다. 또한, 검출 물체가 사람이 아닌 경우는, 속도를 떨어뜨릴 필요가 없어, 효율이 좋은 자율 이동로봇의 운행이 가능해진다.

상기 주행 제어수단은, 검출된 사람을 자율 이동로봇이 알아차리고 있다고 판단할 수 있는 경우는 접근하고, 그렇지 않은 경우, 검출된 사람에게는 미리 결정한 거리 이상으로 가까이 가지 않도록 주행수단을 제어하는 것으로 하면 좋다. 이것에 의해, 자율 이동로봇이 알아차리지 않고 있는 사람에게 자율 이동로봇이 가까이 가지 않으므로, 사람을 위협하는 일이 없다.

상기 주행 제어수단은, 검출된 사람의 부근을 통과할 때에, 사람에 대해서 주의 환기 행동을 취하는 것으로 하면 좋다. 이것에 의해, 사람에 대한 자율 이동로봇의 친화성을 향상할 수 있다.

상기 화상정보 취득수단은, 검출된 사람을 촬상해서 그 화상을 기억수단에 기억하는 또는 화상을 원격 스테이션으로 송신하는 것으로 하면 좋다.

이것에 의해, 자율 이동로봇에 감시 기능을 갖게 할 수 있고, 시큐리티 효과나 방범 효과를 얻을 수 있다.

도 1은, 본 발명의 일실시형태에 관계하는 자율 이동로봇의 블록 구성도.

도 2는, 동상(同上)장치의 외관을 나타내는 사시도.

도 3은, 동상 장치의 화상인식 처리수단의 블록 구성도.

도 4는, 동상 장치의 화상인식 처리수단의 다른 예를 나타내는 블록 구성도.

도 5의 (a)는 동상 장치의 평면도, 도 5의 (b)는 동(同)측면도, 도 5의 (c)는 동 장치의 촬상장치가 촬상한 화상을 나타내는 도면.

도 6은, 동상 장치에서의 화상인식 처리수단에 의한 사람 인식처리 플로우도.

도 7의 (a)는 동상 장치에서의 사람 인식처리의 대상이 되는 입력 화상의 도면, 도 7의 (b)는 동(同) 처리에 의한 살색영역 검출결과를 나타내는 화상의 도면, 도 7의 (c)는 동 처리에 의한 살색영역을 포함하는 에지 화상의 도면, 도 7의 (d)는 동 처리에 의한 사람 인식 결과를 나타내는 에지 화상의 도면.

도 8은, 동상 장치에 의해 이용되는 정규화 색공간의 개념도.

도 9는, 동상 장치에서의 사람 인식처리 플로우에 포함되는 살색영역 검출 처리의 플로우도.

도 10의 (a)는 동상 장치에서의 사람 인식처리 플로우에 포함되는 투표에 의한 두부(頭部)형상 검출처리에 이용되는 투표 범위의 도면, 도 10의 (b)는 투표에 의한 두부검출을 설명하는 개념도.

도 11은, 동상 장치에서의 사람 인식처리 플로우에 포함되는 투표에 의한 두부형상 검출처리의 플로우도.

도 12의 (a)는 동상 장치에서의 레이저 레이더에 의한 장애물 거리측정을 설 명하는 평면도, 도 12의 (b)는 동 레이저 레이더에 의한 거리측정 결과를 나타내는 도면.

도 13의 (a)는 동상 장치에서의 레이저 레이더에 의한 특정 형상물 거리측정을 설명하는 평면도, 도 13의 (b)는 동 레이저 레이더에 의한 거리측정 결과를 나타내는 도면.

도 14의 (a)는 동상 장치에서의 레이저 레이더에 의한 특정 형상물의 거리측정 결과의 그래프를 나타내는 도면, 도 14의 (b)는 동 거리 측정값의 차분의 그래프를 나타내는 도면.

도 15는, 동상 장치에서의 특정 형상 인식처리의 플로우도.

도 16은, 동상 장치에서의 사람 검지 정지영역을 설명하는 평면도.

도 17의 (a)는 동상 장치에서의 사람 검지 경우의 정지동작을 나타내는 평면도, 도 17의 (b)는 사람 이외의 물체 지시의 회피동작을 나타내는 평면도.

도 18의 (a)는 동상 장치에서의 사람 이외의 물체 검지시의 회피동작을 나타내는 평면도, 도 18의 (b)는 사람 검지의 경우의 회피동작을 나타내는 평면도.

도 19의 (a)는 동상 장치에서 동 장치가 알아차린 사람에 대한 회피동작을 나타내는 평면도, 도 19의 (b)는 동 장치에 알아차리고 있지 않은 사람에 대한 정지동작을 나타내는 평면도.

도 20의 (a), 도 20의 (b)는 동상 장치에서의 사람에 대한 주의환기 행동을 설명하는 사시도.

도 21의 (a)는 동상 장치에서의 거리 측정장치의 좌표변환을 설명하는 사시 도, 도 21의 (b)는 동 평면도.

도 22는, 동상 장치에서의 자율 이동로봇의 기준좌표계와 정규화 화상좌표계와의 관계 설명도.

도 23은, 동상 장치에서의 레이저 레이더 계측결과를 참조해서 화상 처리되는 화상을 나타내는 도면.

도 24는, 동상 장치에서의 레이저 레이더 계측결과를 참조해서 이루어지는 화상처리의 플로우도.

도 25의 (a)는, 동상 장치에서의 화상처리 결과를 참조해서 레이저 레이더 계측하는 장치의 평면도, 도 25의 (b)는 동측면도, 도 25의 (c)는 계측결과인 화상을 나타내는 도면.

도 26은, 동상 장치에서의 화상처리 결과를 참조해서 이루어지는 레이저 레이더 계측 처리의 플로우도.

도 27의 (a)는 동상 장치에서 사람을 동 장치가 알아차리고 있다고 판단하는 화상을 나타내는 도면, 도 27의 (b)는 동일하게 알아차리고 있지 않다고 하는 화상을 나타내는 도면.

도 28은, 동상 장치에서 이용되는 사람까지의 거리와 얼굴의 살색면적의 관계 그래프를 나타내는 도면.

도 29는, 동상 장치에서의 사람 검출처리의 플로우도.

도 30은, 동상 장치에서의 사람을 동 장치가 알아차리고 있는가 아닌가의 판단 처리의 플로우도.

도 31의 (a), 도 31의 (b), 도 31의 (c)는 동상 장치에서의 촬상장치와 거리 측정장치의 조합을 설명하는 사시도.

[발명을 실시하기 위한 최선의 형태]

이하, 본 발명의 일실시형태에 관한 자율 이동로봇에 대해서, 도면을 참조해서 설명한다. 도 1은 본 장치의 블록 구성을 나타낸다. 자율 이동로봇(1)은, 주행하는 영역의 지도 데이터와 주행을 위한 각종 파라미터를 기억하는 기억수단(2)과, 목적지나 주행지령을 기억수단(2)에 입력하는 입력 지시수단(3)과, 목적지까지의 주행경로를 생성하는 경로 생성수단(41)과, 장애물이 되는 물체를 포함하는 주행경로 상의 환경정보를 취득하는 환경정보 취득수단(6)과, 주행을 행하기 위한 주행수단(5)과, 환경정보 취득수단(6)에서 얻어진 정보와 기억한 지도 데이터에 근거해서 자기위치를 인식하는 자기위치 인식수단(42)과, 이 자기위치 인식수단(42)에 의해 자기위치를 인식하면서 장애물을 회피하도록 주행수단(5)을 제어하는 주행 제어수단(4)을 구비하고 있다.

또한, 환경정보 취득수단(6)은, 주행경로 상의 환경의 화상을 촬상하는 촬상장치(71)와, 그것에 의해 촬상된 화상 데이터를 연산 처리해서 미리 결정한 속성을 가지는 물체를 추출하는 화상인식 처리수단(72)(상기 2자는 화상정보 취득수단(7)을 구성)과, 주행경로 상의 환경 내에 존재하는 물체를 검출하고, 그 물체까지의 거리와 물체의 방향을 측정하는 거리 측정장치(81)와, 그것에 의해 측정된 거리 데이터를 연산 처리하는 거리정보 해석수단(82)(상기 2자는 거리정보 취득수단(8)을 구성)과, 화상인식 처리수단(72)에서 얻어진 미리 결정한 속성을 가지는 물체의 정보와 거리정보 해석수단(82)에서 얻어진 거리정보에 근거해서 환경정보를 인식하는 환경 인식수단(9)을 구비하고 있다. 환경 인식수단(9)은 주행경로 상의 환경정보를 주행 제어수단(4)에 출력한다.

자기위치 인식수단(42)은, 예컨대 주행수단(5)에 설치된 인코더(encoder)나 내장된 자이로 등을 이용하여, 주행 중에 자기위치가 지도 위의 어느 위치에 있는가를 추정하는 동시에, 환경정보 취득수단(6)에서 얻어진 자기위치 정보를 이용해서 자기위치 추정값을 보정한다.

환경정보 취득수단(6)으로부터 얻어지는 자기위치 정보로서, 예컨대, 동 수단(6)에 의해 인식 가능한 표식(標識)을 미리 주행환경 내에 설치해 두고, 또한, 그 표식을 지도 데이터에 등록해 두는 것에 의해, 주행 중에 그 표식을 인식해서 자기위치 정보로 할 수 있다. 주행 제어수단(4)은, 자기의 추정 위치를 기준으로 해서 보내져 온 상대 위치에 의한 표식위치 정보를 바탕으로, 지도 위의 등록 표식을 탐색한다. 표식이 검출되면, 그 표식의 위치를 기준으로 해서 상기 상대 위치정보로부터 자기위치 인식을 할 수 있다. 표식을 2개 이상 검출할 수 있으면, 자기위치는 일의(一意)로 결정된다.

또한, 환경정보 취득수단(6)은, 주행 중에 장애물을 검출하여, 그 위치정보를 주행 제어수단(4)으로 보내고, 주행 제어수단(4)은, 그 장애물을 피하도록 주행경로를 수정하여, 제어 출력을 주행수단(5)에 보낸다. 이렇게, 자율 이동로봇(1)은, 자기위치를 인식해 장애물을 회피하면서 주행경로를 따라 지시된 목적지까지 주행한다.

도 2는 자율 이동로봇(1)의 외관을 나타낸다. 이 자율 이동로봇(1)은, 거리정보 취득수단(8)의 거리 측정장치(81)로서, 레이저 레이더(레이저 레인지 파인더)(83)를 구비하고 있고, 화상정보 취득수단(7)의 촬상장치(71)로서, 자율 이동로봇 본체(10)에 대해서 회전(수평회전)가능한 회전기구(70a)에 설치된 카메라(70)를 구비하고 있다. 또한, 이 장치는, 예컨대, 전지에 의해 차륜(52)이 구동되어 주행하는 것이며, 차륜(52)의 회전을 모니터하는 것에 의해 주행거리의 계측이 행하여지고, 자기위치 인식의 정보로 된다. 이하, 화상정보 취득수단으로부터 순차로, 본 장치의 상세를 설명한다.

(화상정보 취득수단의 구성)

본 발명의 자율 이동로봇(1)은, 레이저 레이더나 소나 등의 거리 계측수단에 의해 얻어지는 부분적인 장애물 검출결과와 화상처리에 의해 얻어지는 장애물 검출결과의, 2종류의 장애물 정보를 종합해서 장애물이 무엇인가를 판단한다. 우선, 화상처리에 의해 장애물 검출결과를 얻는 것에 대해서 설명한다. 도 3 및 도 4는 화상정보 취득수단(7)의 블록 구성을 나타낸다. 화상인식 처리수단(72)은, 컬러 카메라(촬상장치)(70)로부터 입력되는 화상신호를, A/D 변환기(61)에 의해 디지털화하고, 메모리(62)에 디지털 화상으로서 보존한다. 화상에 대해서 연산 처리를 하는 CPU(64)에는, 프로그램 메모리(63)로부터 처리 알고리즘이 기재된 소프트웨어가 호출되고 있고, CPU(64)는 그 소프트웨어를 사용하여 이하에 나타내는 처리 순서에 의해 디지털 화상으로부터 사람의 검출 처리를 실행한다. 화상처리 결과는, 통신 제어부(65)에 의해 환경 인식수단(9)을 경유해서 주행 제어수단(4)으로 송신된다.

또한, 로컬에, 즉 자율 이동로봇 본체(10)의 부분에서 조작자가 자율 이동로봇 본체(10)의 기기를 조작하여, 화상정보 취득수단(7)(카메라(70)와 화상인식 처리수단(72))의 조작이나 처리 결과의 표시를 행하기 위해서, 도 4에 나타내는 바와 같이, 키보드 제어부(66), 키보드(67), 표시 제어부(68) 및 표시부(69)를 화상인식 처리수단(72)에 구비해도 좋다. 또한, 통신 제어부(65)를 통해서, 외부에서 화상정보 취득수단(7)의 조작을 제어할 수도 있다.

(촬상장치)

촬상장치(71)에 대해서 설명한다. 도 5의 (a) 및 도 5의 (b)는 1개의 고정 카메라로 이루어지는 촬상장치(71)를 나타내고, 도 5의 (c)는 그것에 의해 촬상된 화상을 나타낸다. 이 카메라(70)는, 자율 이동로봇 본체(10)에 고정되고 있어, 자율 이동로봇 본체(10)의 진행방향(10a), 전방의 경치를 화상(11)과 같이 촬상한다. 이 카메라(70)의 좌표계는, 자율 이동로봇 본체(10)에 고정해서 정의된 기준좌표계와 함께 변하게 된다.

(화상인식 처리수단)

촬상장치(71)에서 취득된 화상 데이터를 화상인식 처리수단(72)에 의해 연산 처리하여, 사람이나 특정 물체의 검출을 행하는 방법에 대해서 설명한다. 여기에, 인체의 부위에 관한 속성으로서, 사람의 두부, 특히 얼굴의 살색을 이용한다. 도 6은 화상으로부터 사람을 인식하기 위한 전체의 처리 흐름(사람 인식처리 플로우)을 나타낸다. 촬상장치(71)인 컬러 카메라에 의해, 자율 이동로봇의 주변상황, 예컨대 진행방향 전방이 촬상되고(S101), 그 아날로그 화상신호가 A/D 변환기(61)에 의해 디지털화되어(S102), 색의 3성분인 R, G, B(빨강, 초록, 파랑)로 이루어지는 각 색성분 디지털 화상이 메모리(62)에 보존된다(S103). 다음에, CPU(64)에 있어서 색의 3성분을 평균한 휘도 I=(R+G+B)/3에 의한 화상이 작성되어, 그 휘도 화상이 메모리(62)에 보존된다(SlQ4). 다음에, 화상 중에서 살색영역의 검출처리가 행하여져(S105), 검출된 살색영역 내에 대해서 에지 화상에 근거하는 두부형상 검출처리가 행하여진다(S106). 검출된 두부의 위치가 사람 인식 결과로서 환경 인식수단(9)에 출력된다.

상술의 처리의 흐름 모양을, 처리 대상이 되는 화상에 의해 설명한다. 도 7의 (a)는 입력 화상, 도 7의 (b)는 살색영역 검출결과의 화상, 도 7의 (c)는 에지 화상 위의 살색영역을 나타내는 화상, 도 7의 (d)는 인식 결과를 출력한 화상을 각각 나타내고 있다. 우선, 입력 화상(21)에 있어서 살색영역(24~26)이 검출되어(화상(23)), 검출된 살색영역(24~26)에 대해서만, 에지 화상(27) 위에서 두부형상 검출처리가 행하여지므로, 효율이 좋은 처리를 행할 수 있다.

화상에의 살색영역의 검출에 이용되는 정규화 r-g 공간에 대해서 설명한다. 도 8은 정규화 r-g 공간(평면)을 나타낸다. 컬러 화상에서의 R성분, G성분은, 각 화소의 컬러 성분의 휘도값(R, G, B)을 이용하여, 계산식r=R/(R+G+B), g=G/ (R+G+B)에 의해 정규화되어, 정규화된 r, g값이 얻어진다. 일반적으로, 사람의 살색은, 도 8에 나타내는 바와 같이, r-g 평면상에서 1개의 영역(20)을 형성하므로, 컬러 화상의 각 화소로부터 구한 정규화 r, g값이, 이 영역(20)에 들어가는가 아닌 가에 의해, 그 화소가 살색인가 아닌가가 판정된다. 이 살색영역(20)은 미리 많은 화상의 살색 데이터에 근거해서 작성된 것이다.

살색영역의 검출 처리의 상세에 대해서 설명한다. 도 9는 살색영역 검출처리 플로우를 나타낸다. 우선, CPU(64)에 있어서, 메모리(62)의 살색영역을 기억하는 살색화상 부분이 초기화된다(S201). 다음에, 입력 화상 1개의 화소에 대해서 R성분, G성분이 계산식 r=R/(R+G+B), g=G/(R+G+B)에 의해 정규화된다(S202). 이 정규화된 R성분, G성분의 r, g값이 살색영역(20)내에 있는가 아닌가가 검사되어 (S203), 살색영역 내이면 그 화소는 살색이라고 판정되어(S203에서 Y), 살색화상의 대응하는 위치에 살색 플래그(flag)가 세워진다(S204). 입력 화상의 전체 화소에 대해서 이들 처리가 종료후(S205에서 Y), 살색화상 위에서, 살색 플래그가 세워진 화소가 그룹화되어, 그 그룹을 바탕으로, 예컨대 직사각형의 영역으로 이루어지는 살색영역이 작성된다. 이러한 살색영역에 라벨링(labeling) 처리가 이루어져, 각 영역의 구별이 행하여지고, 전출(前出)의 도 7의 (b)에 나타내는 바와 같이 살색영역(24~26)이 얻어진다(S206).

검출된 살색영역으로부터 투표 처리에 의해 두부형상을 검출하는 방법에 대해서 설명한다. 도 10의 (a)는 투표 처리에서 이용되는 투표 범위를 정하는 투표 프레임를 나타내고, 도 10의 (b)는 그 투표 프레임의 사용법을 나타낸다. 두부형상검출은, 두부가 거의 원형의 형상을 가지는 것을 이용해서 행하여진다. 예컨대, 사람의 얼굴을 포함하는 화상에 에지 추출의 화상처리(예컨대 화상 휘도에 대한 미분처리)를 실시한 에지 화상(34)에, 얼굴의 윤곽을 나타내는 에지화소 집합(35)이 얻 어졌다 한다. 이 에지 화상(34)의 각 화소점을 투표 빈(bin)(투표함)으로 하는 투표 공간이 설정된다. 또한, 에지화소의 집합(35)의 각 화소에 대해서, 예컨대, 화소(36)에 대해서 휘도 구배방향(36a)과 같이, 각 화소에 휘도 구배방향이 결정되어 있다고 한다. 일반적으로, 사람의 얼굴과 그 배경의 화상에는 농담(濃淡)변화가 있고, 얼굴윤곽의 에지화소에서의 휘도 구배방향은, 얼굴의 중심에서 밖으로 또는 밖으로부터 안으로 향하는 것이 된다.

그래서, 검출 대상이 되는 두부의 크기를 포함하도록 설정된 봉(棒) 모양의 투표 프레임(31)의 중앙점(32)을, 예컨대 에지화소(36)에 맞추어, 투표 프레임(31)의 방향을 그 에지화소(36)에서의 휘도 구배방향(36a)으로서, 투표 프레임(31)의 각 투표 빈(33)과 겹치는 투표 공간의 모든 투표 빈에 투표한다. 이러한 투표를 얼굴의 윤곽을 나타내는 에지화소집합(35)의 모든 화소에 대해서 행하면, 별표(39)로 나타내는 바와 같이, 얼굴의 중심에 있는 투표 빈에는, 다른 것보다도 많은 투표가 이루어지게 된다. 이렇게, 두부의 외형 위에 따르는 투표 처리의 결과는, 두부의 중심부에 집적하므로, 투표 공간내에서 미리 결정된 문턱치보다도 큰 투표치를 가지는 투표 빈이 있을 때, 그 투표 빈을 중심으로 하는 두부가 존재한다고 판정된다.

두부형상의 검출처리의 상세에 대해서 설명한다. 도 11은 두부형상 검출처리 플로우를 나타낸다. 우선, CPU(64)에 있어서, 예컨대 살색영역(24)에 대응하는 휘도화상을 미분하여, 휘도 구배화상ㆍ에지 화상을 작성한다(S301). 다음에, 투표치를 기억하는 메모리 공간인 투표 공간을 초기화한다(S302). 다음에, 살색영역(24) 내의 모든 에지화소에 대해서, 각 에지화소의 휘도 구배방향에, 봉 모양의 투표 범위 프레임을 배치해서 선택된 투표 공간의 각 투표 빈에 투표가 행하여진다(S303).살색영역(24)내의 모든 에지화소에 대해서 투표 종료후(S304), 미리 결정된 문턱치 이상의 투표치를 가지는 투표 빈의 존재가 조사되고, 그러한 투표 빈이 존재하는 경우(S305에서 Y), 그 살색영역의 중심위치가 두부위치로서 통신 제어부(65)를 통해서 환경 인식수단(9)에 출력된다(S306). 모든 살색영역에 대해서 상기의 처리가 행하여지고, 두부형상 검출처리가 종료한다(S307). 전출(前出)의 도 7의 (d)의 경우, 살색영역(24, 25, 26) 중, 살색영역(24)이 두부 형상으로서 검출되어, 별표(29)의 위치가 두부위치로 된다.

화상 위에서 살색영역으로부터 두부위치로서 검출된 위치의, 실제 공간에서의 존재 방향을 특정하는 방법에 대해서 설명한다. 실제 공간에서의 사람 존재 방향의 특정은, 화상인식 처리수단(72)에서 행하여진다.

촬상장치(71)가 전술의 도 5에 나타낸 카메라(70)인 경우, 화상 위의 얼굴의 크기와 화상 위의 얼굴의 위치로부터, 사람이 있는 개략의 방향을 산출할 수 있다. 이상과 같이 해서 특정되었다, 사람이 있는 개략의 방향은, 사람이 존재하는 방향의 후보로 된다. 화상인식 처리수단(72)에서 사람이 존재하는 방향의 후보라고 인식된 이들의 결과는, 화상 위의 두부위치 검출결과와 같이, 통신 제어부(65)로부터 환경 인식수단(9)에 보내진다. 만약, 복수의 인식 결과가 있으면, 그 모든 결과가 보내진다.

(거리정보 해석수단)

레이저 레이더에 의한 장애물의 위치 인식에 대해서 설명한다. 도 12의 (a)는 레이저 레이더(83)에 의한 장애물의 거리측정을 나타내고, 도 12의 (b)는 동 레이저 레이더에 의한 거리측정 결과를 나타낸다. 거리 측정장치(81)로서, 레이저 레이더(83)를 이용한 경우, 예컨대 일정한 각도 △θ마다 레이저 빔(beam)을 발사 및 수광하면서 소정의 각도범위가 수평으로 스캔된다. 레이저 레이더(83)에 의해 얻어지는 거리 데이터는, 반사광이 수광되지 않는가 또는 레이저 광반사 물체가 소정의 거리보다 먼 곳에 있는 경우의 거리(L) 이상의 데이터 및 장애물(O)로부터의 반사광에 의해 얻어진 장애물(O)의 거리(L1, L2) 등으로 된다. 일정한 각도 △θ를, 예컨대 0.5°로서 측정한, 일련의 거리 데이터를 이용하면, 특정 형상물의 위치를 인식할 수 있다(특개2002-202815호 공보 참조).

이러한 거리 데이터를 거리정보 해석수단(82)에서 연산 처리해서 검출된 장애물의 폭이, 미리 결정한 범위 내인 물체(특정 형상물)의 경우, 그 물체를, 예컨대 사람의 발이라고 해서 사람의 후보를 인식할 수 있다. 이렇게, 기억부(2)에 미리 설정한 폭 이하 또는 미리 설정한 폭의 범위 내의 물체가 검출된 위치에, 사람(의 발)이나 의자가 존재할 가능성이 있다고 판단된다. 그 특정 형상물의 (분포)위치는, 후술하는 바와 같이, 그 폭의 스캔에 필요한 측정점수(j)와, 그 폭 내에서의 물체의 거리 및 스캔 각도세트(組), D(i), θ(i), 0≤i＜j로서 인식된다. 이러한 거리 및 방향 데이터가, 거리정보 해석수단(82)으로부터 환경 인식수단(9)에 보내진다.

환경 인식수단(9)에서는, 화상인식 처리수단(72)에서의 화상인식 결과로부터 얻어진, 예컨대 사람 존재의 후보방향과, 거리정보 해석수단(82)으로부터 얻어진 사람 존재 가능성의 방향이 비교된다. 양자가 거의 일치한 경우, 그 방향이 사람의 존재 방향이라고 판단되어, 그 방향과 거리가 주행 제어수단(4)에 보내진다.

또한, 거리 측정장치(81)인 레이저 레이더(83)에 의해 얻어진 특정 형상물(사람의 후보 위치)의 데이터 D(i), θ(i)는, 레이저 레이더(83)의 좌표계(센서 좌표계)의 데이터이다. 그래서, 거리정보 해석수단에 있어서, 후술의 도 21에 나타내는 바와 같이, 특정 형상물의 위치가 좌표 변환되어, 자율 이동로봇 본체(10)의 좌표계(XR, YR)로 표현된다.

(특정 형상물의 검출)

레이저 레이더에 의한 특정 형상물의 위치 인식에 대해서 설명한다. 도 13의 (a)는 레이저 레이더에 의한 거리측정의 모양을 나타내고, 도 13의 (b)는 레이저 레이더에 의한 거리측정 결과를 나타낸다. 거리 측정장치(81)로서, 레이저 레이더(83)를 이용한 경우, 예컨대 일정 각도 △θ마다 레이저 빔을 발사 및 수광하면서 소정의 각도 범위를 수평으로 스캔하고, 도 13의 (b)에 나타내는 것과 같은, 레이저 반사물체(OB1, 0B2)와 레이저원과의 거리 D(i)를 나타내는 일련의 데이터가 얻어진다. 스캔에서의 각도 θ=0으로부터 계산해서 i번째의 거리 데이터가 D(i)이다. 이하의 설명에 있어서, 소정의 스캔 각도 범위에 있어서, N회의 거리측정이 행하여진다(0≤i＜N)라고 한다.

특정 형상물을 스캔한 전후의 거리 데이터의 특성에 대해서 설명한다.

도 14의 (a)는 특정 형상물까지의 거리 데이터 D(i)의 그래프를 나타내고, 도 14의 (b)는 동 거리 데이터의 차분 △D(i)의 그래프를 나타낸다(이들의 그래프는 일반적인 그래프로서 도시되고 있고, 도면 중의 파라미터 n을, n=m으로 놓은 경우, 전출의 도 13의 측정 결과에 일치한다). 일반적으로, 장애물이 측정되면, 그 장애물의 범위에 있어서, 거리 데이터 D(i)가 낮은 값을 나타낸다(i=m, m+1 ,ㆍㆍ, n+2의 점). 또한, 측정된 거리 데이터 D(i)는, 장애물의 전후에서, 원(遠)-근(近)-원(遠)이 되는 거리 변화를 나타내므로, 거리의 차분 △D(i)는, 장애물의 경계의 부분에서 정부(正負)의 피크를 나타낸다(i=m, n+3의 점).

그래서, 거리의 차분 값의 그래프에 있어서, 미리 결정한 문턱치(DR, -DR)에 의해, 특정 형상물의 경계를 검출할 수 있다. 또한, 레이저 레이더(83)에 대향하는 특정 형상물 표면의 거리 변화에 대해서, 최대치의 문턱치(dd, -dd)를 정해서 특정 형상물의 깊이의 판정을 행할 수 있다. 예컨대, 지정하는 특정 형상물이 기둥 모양물체이며, 검출할 필요가 있는 기둥 모양물의 안에서 최대의 폭이 rr×2일 때에는, dd=rr로 설정할 수 있다.

또한, 특정 형상물까지의 거리의 대표치를 주는 데이터 번호(H)로서, 특정 형상물의 경계의 거리 데이터를 주는 데이터 번호를 이용하고, 예컨대, 도 14의 (a)의 경우, 번호 m과 (n+2)를 이용하고, H=int(m+(n+2))/2)이라고 한다. 여기에서, int(X)는, X를 초과하진 않는 최대의 정수를 주는 함수이다. 특정 형상물의 검출 플로우에 있어서, 이 거리의 대표치를 주는 번호(H), 그 번호에서의 거리 데이터 D(H), 각도 데이터 θ(H)가 기억된다. 또한, 고려해야 할 특정 형상물이 복수 라면, 이들의 복수의 데이터가 기억된다.

또한, 특정 형상물의 거리 측정치의 연속하는 점의 개수의 상한에 있어서 문턱치(DN)를 정해 두고, 측정 대상물의 거리 측정치가, 특정 형상물의 거리 측정점d락라 생각되는 점의 갯수 C가, 문턱치(DN) 이하인 경우(C ＜DN), 그 측정 대상물을 특정 형상물이라고 판정한다. DN의 값은, 고정 값이라도 좋다. 또한, 예컨대 1개의 거리 데이터로 추정할 수 있는 검출물의 크기를, D(i)×sin(△θ)로 가정하고, 특정 형상의 크기를, D(i)×sin(△θ)×C라고 추정한다. 특정 형상의 크기를 미리 가정하고, 거리마다 DN의 값을 변화시켜도 좋다. 즉, 특정 형상물의 최대의 폭을 Omax라고 하면, 예컨대 D(m)의 DN을, Omax/(D(m)×sin(△θ)) 이상의 최소의 정수f라 할 수 있다.

측정 데이터로부터 특정 형상물을 인식하는 처리 플로우에 대해서 설명한다. 도 15는 특정 형상 인식처리 플로우를 나타낸다. 도 13에 나타낸 측정 결과에 따라 설명한다. 각 처리 루틴마다 데이터 번호 i가 1씩 증가되고(S402), 인접하는 거리 데이터 차 △(i, i-1)=D(i)-D(i-1)의 크기가 조사된다(S405). 도 13에 나타내는 예에서는, i=m에 있어서, △(m, m-1)＜-DR이므로 스텝 S407으로 가고, C=1, m=i이 된다. 그리고 i=m+1에 있어서｜△(m+2, m+1)｜≤DR 또한, D(m+1)-D(m)＜dd이므로, 처리는 스텝 S408, S409, S410을 통해서, C=2가 된다.

또한, i=m+2에 있어서,｜△(m+2, m+1)｜≤DR 또한, D(m+2)-D(m+1)＜dd이므로, 동일하게 해서 C=3이 된다.

또 i=m+3에 있어서, △(m+3, m+2)>DR이므로, 처리는 스텝 S412 .S413, S414을 통과한다. 또한, int(x)는 x를 초과하지 않는 최대의 정수를 되돌려 주는 함수 이다.

이렇게 해서 D(m), D(m+1), D(m+2)이 1개의 특정 형상물로부터의 반사에 의해 얻어진 거리 데이터라고 판단되어, 복수 있는 특정 형상물의 j번째의 특정 형상물까지의 거리가, H(j)=int((m+m+2)/2)=(m+1)번째의 거리 데이터로 나타내진다(S414). 또, 스텝 S411, S415에서는 C=0로서 C가 리셋 된다.

거리 측정장치(81)로서 거리 측정 가능한 초음파 센서를 이용한 경우에 대해서 설명한다. 초음파 센서는 저렴하고, 자율 이동로봇 본체(10)의 주위에 복수 설치할 수 있다. 전술의 화상인식 처리수단(72)이, 어떤 방향에 사람 후보가 존재한다고 판단한 경우, 그 방향에 검출영역을 갖는 초음파 센서의 검출결과(거리)에 대해서, 거리정보 해석수단(82)은, 그 검출 결과가 벽(壁)을 검출한 것인가 아닌가를 판단한다. 벽이라고 판단하지 않은 경우를 그 사람 후보를 사람이라고 한다. 예컨대, 초음파 센서에 의해 계측된 물체까지의 거리가, 기억된 지도 위의 물체(벽)까지의 거리와 일치하지 않을 때, 거리정보 해석수단(82)은, 계측된 물체를 사람의 후보로서 인식한다. 거리정보 해석수단(82)에 있어서, 지도 위에 없는 물체는 사람일 가능성이 높다고 판단하는 것에 의해, 간단한 사람 검출을 실현할 수 있다. 화상인식 처리수단(72)의 판단 결과에, 초음파 센서의 검출 결과를 조합시키는 것에의해, 벽에 걸쳐진 사람의 사진 등을 사람으로 오인식하는 일이 없어진다. 기억된 지도 위의 물체(벽)까지의 거리의 계산에 대해서는, 후술된다.

(주행 제어수단)

주행제어에 대해서 설명한다. 주행 제어수단(4)은, 환경정보 취득수단(6)으 로부터 사람이라고 인식된 대상 물체의 방향과 거리가 보내져 온 경우, 사람으로 인식되는 물체가 자율 이동로봇 본체(10)의 진행 방향에 있고 또한, 미리 결정한 거리 내에 있는 경우에는 정지하도록 주행수단(5)을 제어하여, 사람에 대해서 안전을 확보한다. 또한, 주행 제어수단(4)은, 사람으로 인식되는 물체가 자율 이동로봇 본체(10)의 진행 방향에 없는 경우, 다른 장애물이 있으면 회피를 행하고, 다른 장애물이 없으면 그대로 주행을 계속하도록 주행수단(5)을 제어한다.

사람 검지 정지영역에 대해서 설명한다. 도 16은 초음파 센서(84)에 근거하는 사람 검지 정지영역(43)을 나타낸다. 또한, 도 17의 (a)는 사람 검지의 경우의 정지동작을 나타내고, 도 17의 (b)는 사람 이외의 물체 검지시의 경우의 회피동작을 나타낸다. 도 16에 나타내는 바와 같이, 자율 이동로봇(1)으로부터의 거리(D1), 진행 방향(10a)에 대한 방향각±Φ내의 영역을 사람 검지 정지영역(43)이라고 해서, 이 영역(43)에 있어서 검지한 물을 사람(M)이라고 판단한 경우, 도 17의 (a)에 나타내는 바와 같이, 자율 이동로봇(1)은 정지한다. 초음파 센서(84)를 이용하는 것에 의해, 저렴하게 이러한 사람 검지 정지영역(43)을 설정할 수 있다. 사람이 아니라고 판단한 경우는, 도 17의 (b)에 나타내는 바와 같이, 자율 이동로봇(1)은, 소정의 주행경로(44)로부터 떨어져, 장애물(O)을 회피한 주행경로(45)를 따라 목적지(T)를 향해서 이동을 계속한다.

또한, 주행 제어수단(4)이, 주행수단(5)을 제어해서 자율 이동로봇 본체(10)를 주행시키는 다른 방법으로서, 레이저 레이더에 의한 거리측정 정보에 근거하고, 예컨대, TangentBug(The Intemational Journal of Robotics Research, Vo1.17, No.9, September 1998. pp.934-953) 등의 방법을 이용하여, 장애물을 회피해서 목적지를 향해서 이동을 계속하도록 해도 좋다.

검출 물체 회피의 다른 방법에 대해서 설명한다. 도 18의 (a)는 사람 이외의 물체 검지시의 회피동작을 나타내고, 도 18의 (b)는 사람 검지의 경우의 회피동작을 나타낸다. 주행 제어수단은, 사람으로 인식되는 물체가 자율 이동로봇 본체의 진행 방향에 있는 경우, 그 사람으로 인식되는 물체로부터 미리 결정한 거리를 사이를 두고 회피해서 주행하도록 주행수단을 제어한다. 이 경우, 검출된 물체를 사람이라고 인식한 경우와, 사람이 아니라고 판단된 경우에, 그 검출 물체를 회피하는 방법을 변경하도록 해도 좋다. 예컨대, 거리 측정장치(81)로서 레이저 레이더(83)를 이용한 경우에서, 장애물(O)이 검출영역(46)으로서 설정한 범위에 들어가지 않도록 경로를 설정할 경우에, 미리 설정한 2종류의 검출반경(R1, R2)을 바꾼다.

검출된 물체를 사람이 아니라고 판단한 경우는, 도 18의 (a)에 나타내는 바와 같이 작은 검출반경(R1)이 이용되고, 사람이라고 판단한 경우는, 도 18의 (b)에 나타내는 바와 같이 큰 검출반경(R2)이 이용된다. 사람이 있어도 회피해서 목적지로 진행할 필요가 있는 경우에, 사람에 대해서 안전을 확보하면서 주행동작을 할 수 있다. 즉, 사람이 아닌 검출 물체에 대해서는 거리를 취해서 회피할 필요가 없어 회피 거리를 짧게 할 수 있으므로, 효율 좋은 자율 이동로봇의 운행이 가능해진다.

검출된 사람에 대한 대응방법에 있어서 설명한다. 주행 제어수단(4)은, 사람으로 인식되는 물체가 미리 결정한 거리 내에 있는 경우, 그 거리 또는 거리와 각 도에 따른 이동속도가 되도록 주행수단(5)을 제어하도록 해도 좋다. 환경정보 취득수단(6)으로부터 사람이라고 인식된 대상의 방향과 거리가 보내져 온 경우, 주행 제어수단(4)은, 그 거리에 의해 이동속도를 변경한다. 장애물 없는 통상의 주행상태에서 이용되는 이동속도로서 속도 v가 설정되어 있는 경우, 주행 제어수단(4)은, 충돌 회피 알고리즘에 있어서, 충돌 회피시의 속도 v1을 다음 식과 같이 할 수 있다.

v1 = f(h)×v

여기에서, h≥d에 대해서, f(h)=1이며, h＜d에 대해서, 0≤f(h)＜1이다. 판정 치 d는 미리 설정하고 있는 거리이며, 변수 h는 사람으로 인식된 검출 물체까지의 최단 거리이다. 함수 f(h)는 정수라도 좋다.

또한, 함수 f(h) 대신에, 최단의 사람으로 인식된 검출 물체와 자율 이동로봇의 진행 방향이 이루는 각도의 절대치 δ를 더 고려한 함수 g(h, δ)를 이용해도 좋다. 이 경우, 충돌 회피시의 속도 v2를 다음 식과 같이 할 수 있다.

v2 = g(h, δ)×v

여기에서, h≥d에 대해서 g(h, δ)=1이며, h＜d에 대해서 0≤g(h, δ) ＜1이다. 예컨대, h ＜d, δ≤90°일 때,

g(h, δ) = 0.5×(1-0.2×(90-δ)/90)

으로 할 수 있다.

이렇게, 사람으로 인식되는 물체의 거리나 각도에 따른 이동속도라고 하는 것에 의해, 사람에게 불안을 느끼게 하지 않는 동작으로, 효율 좋은 자율 이동로봇 의 이동이 실현된다. 또한, 검출 물체가 사람이 아닌 경우는, 속도를 떨어뜨릴 필요가 없어, 효율이 좋은 자율 이동로봇의 운행이 가능해진다.

검출된 사람에 대한 다른 대응방법에 대해서 설명한다. 도 19의 (a)는 자율 이동로봇을 알아차린 사람에 대한 회피동작을 나타내고, 도 19의 (b)는 동 장치를 알아차리고 있지 않은 사람에 대한 정지동작을 나타낸다. 주행 제어수단(4)은, 검출된 사람을 자율 이동로봇이 알아차리고 있다고 판단할 수 있는 경우는 접근하고, 그렇지 않은 경우는, 검출된 사람에게는 미리 결정한 거리 이상으로 가까이 가지 않도록 주행수단을 제어한다. 자율 이동로봇(1)이 알아차리고 있다고 정보가 환경정보 취득수단(6)로부터 주행 제어수단(4)에 보내져 오면, 도 19의 (a)에 나타나는 바와 같이, 주행 제어수단(4)은 주행수단(5)을 제어해서 회피동작을 행하면서, 목적지(T)를 향해서 주행을 계속한다. 그렇지 않은 경우, 도 19의 (b)에 나타나는 바와 같이, 미리 결정한 거리(D2) 이상은 사람(M)에게 가까이 가지 않도록 정지 제어가 된다. 이 제어에 의해, 사람을 알아차리고 있지 않을 때에 자율 이동로봇이 가까이 가서 사람을 위협하는 것과 같은 이을 제거할 수 있다. 검출된 사람을 자율 이동로봇이 알아차리고 있는가 아닌가는, 후술하는 방법에 의해 판단된다.

검출된 사람에 대한 또 다른 대응방법에 대해서 설명한다. 도 20의 (a) 및 도 20의 (b)는 사람에 대한 자율 이동로봇의 주의 환기 행동을 나타낸다. 자율 이동로봇이 검출된 사람의 부근을 통과할 때에, 사람에 대해서 액션을 취한다. 예컨대, 자율 이동로봇 본체(10) 상부의 회전 부분에 모니터 화면(47)이 설치되어 있는 경우, 환경정보 취득수단으로부터 보내져 온 사람으로 인식된 검출물의 방향각(α) 에 따라서 회전 부분을 회전시켜, 모니터 화면(47)을 그 방향으로 향한다. 그 모니터 화면(47)에, 예컨대 사람의 얼굴을 모방한 그림 등의 주의 환기 표시가 있으면, 자율 이동로봇(1)이 사람을 의식해서 주행하고 있는 것이, 주위에 있는 사람에게 인식된다. 또한, 동시에 사람에 대해서 음성신호를 발신해서 주의 환기하도록 해도 좋다. 검출된 사람의 부근을 통과할 때에, 주행 제어수단(4)이 사람에 대해서 주의 환기 행동을 취하는 것으로 사람에 대한 친화성을 향상할 수 있다.

검출된 사람에 대한 또 다른 대응방법에 대해서 설명한다. 검출된 사람에 대해서, 촬상수단에 의해 촬상한 화상을 기억수단에 기억하고, 또는, 화상을 자율 이동로봇에 탑재한 통신 수단을 이용해서 원격 스테이션으로 송신하는 것으로 자율 이동로봇에 감시 기능을 갖게 하여, 시큐리티나 방범에 적용할 수 있다.

레이저 레이더를 거리 측정장치로서 이용하는 경우의 좌표간 관계에 대해서 설명한다. 도 21의 (a) 및 도 21의 (b)는 자율 이동로봇(1)에서의 좌표의 배치를 나타낸다. 자율 이동로봇(1)에 고정된 좌표인 기준좌표계(XR-YR)는 직교좌표계이며, 레이저 레이더(83)의 스캔 중심에 원점을 갖는 좌표계(XS-YS)도 직교좌표계이다. XR-YR 평면과 XS-YS 평면은 동일 평면 내에 있고, XR축과 XS축은 동일 방향에 있고, YR축과 YS축은, 거리 dS만큼 어긋나 있다. 레이저 레이더(83)의 스캔 중심으로부터 거리 D3, 방향각 β의 위치에 있는 XS-YS 평면 내의 물체 O3의 위치좌표는, 좌표계 XS-YS에 있어서,

XS = D3×sin(β)

YS = 1D3×cos(β)이 되고, 좌표계 XR-YR에 있어서,

XR = XS + dS

YR = YS가 된다.

정규화 화상좌표계와 자율 이동로봇의 기준좌표계와의 관계에 대해서 설명한다. 도 22는 자율 이동로봇(1)의 기준좌표계와 정규화 화상좌표계와의 관계를 나타낸다. 거리정보 취득수단에서 얻어지는 3차원 공간 중의 점 M1이, 정규화 화상 위의 점 m1로서 관측되는 경우, 자율 이동로봇(1)의 기준좌표계, 카메라 좌표계, 디지털 화상좌표계, 정규화 화상좌표계에 있어서 관측 위치가 표현된다. 자율 이동로봇(1)의 기준좌표계에서의 점 M1의 좌표를 (XR, YR, ZR)이라 하고, 정규화 화상좌표계에서의 점 m1의 좌표를 (u, v)이라 하면, 점 M1의 좌표보다 점 m1의 좌표는 식(8)을 이용해서 계산된다.

이러한 변환을 이용해서 레이저 레이더 계측결과를 화상 위에 투영할 수 있다. 위의 식에 있어서, S는 정수, f는 촛점거리, ku, kv는 정규화 화상좌표를 기준으로 했을 때의 u, v축의 단위, uO, vO는 디지털 화상좌표계에서의 정규화 화상좌표원점의 좌표, θ는 u축과 v축이 이루는 각도, r11 등은 자율 이동로봇(1)의 기준좌표계와 카메라 좌표계간의 회전 행렬, t1, t2, t3은 자율 이동로봇(1)의 기준좌표계와 카메라 좌표계간의 병진 행렬을 나타낸다. 이들의 파라미터는, 미리 카메라 캘리브레이션(calibration)을 행하는 것에 의해 구해진다. 이 식(8)의 도출은 기본 적인 것이며, 예컨대,「컴퓨터 비전 기술평론과 장래 전망」(신기술 커뮤니케이션즈)의 제6장 컴퓨터 비전에서의 에피폴라(epipolar) 기하(幾何)에 도출 예가 있다.

(레이저 레이더 계측결과에 근거하는 화상처리)

거리정보 취득수단(8)의 계측결과를 참조해서, 화상정보 취득수단(7)에 있어서 사람 인식을 행하고, 환경을 인식하는 예에 대해서 설명한다. 이 예에서는, 거리정보 취득수단(8)에서의 거리 측정장치(81)로서 레이저 레이더(83)를 사용한다.레이저 레이더(83)에 의해 거리 계측을 행하고, 거리정보 해석수단(82)이, 그 계측 데이터로부터 사람의 크기에 대응하는 폭의 물체를 검출한 경우, 그 물체를 사람 후보라고 한다. 화상정보 취득수단(7)은, 그 사람 후보 위치에 대응하는 화상 중에 있어서 사람 인식을 한다.

도 23은 레이저 레이더 계측결과를 참조해서 인식 처리되는 화상을 나타내고, 도 24는 레이저 레이더 계측결과를 참조해서 사람 후보 검출을 행하는 처리 플로우를 나타낸다. 레이저 레이더로 물체거리가 계측되고(S501), 거리정보 해석수단(82)은 거리 계측 데이터에서 사람 후보를 탐색한다(S502).사람 후보가 존재하지 않을 경우(S503에서 N), 사람은 존재하지 않는다는 결과를 환경 인식수단(9)에 출력하고(S504), 사람 후보가 존재하는 경우(S503에서 Y), 그 위치가 레이저 레이더 좌표계로부터 자율 이동로봇의 기준좌표계로 변환된다(S505).

계속해서, 전술의 식(8)을 이용하여, 사람 후보의 위치를, 자율 이동로봇의 기준좌표계로부터 정규화 화상좌표계로 변환하여(S506), 정규화 화상좌표상에서의 위치가 구해지며, 도 23에 나타나는 바와 같이, 화상(21) 위에 투영된 사람 후보 위치(22)의 주변에, 검출 대상으로 하는 사람의 크기에 대응해서 미리 결정해 둔 사람 검출 에리어(90)가 설정된다(S507). 환경 인식수단(9)은, 사람 검출 에리어(90)내에서 사람 검출 처리를 행해(S508), 사람 후보를 검출하면 레이저 레이더로 검출된 사람 후보는 사람이었다고 판정하고(S509에서 Y), 레이저 레이더로부터의 검출 결과는 정확하게 사람을 검출한 것으로 해서, 그 신호를 주행 제어수단(4)에 출력한다(S510). 이상의 처리가 모든 사람 후보에 대해서 행하여진다(S511). 이렇게, 레이저 레이더의 계측결과에 근거하여, 화상처리에 의한 사람 검출처리를 행하는 에리어를 제한하는 것에 의해, 처리 효율을 높인 사람 검출의 신뢰성을 향상시킬 수 있다.

(화상처리 결과에 근거하는 레이저 레이더 계측)

이하는 상기와는 다른 예로서, 화상정보 취득수단(7)의 처리 결과를 참조하여, 거리정보 취득수단(8)에 있어서 사람 후보의 거리정보를 취득하고, 환경을 인식하는 예에 대해서 설명한다. 도 25의 (a) 및 도 25의 (b)는 화상처리 결과에 근거한 레이저 레이더 계측을 나타내고, 도 25의 (c)는 계측결과의 화상을 나타낸다. 도 26은 화상처리 결과를 참조해서 레이저 레이더 계측에 의한 사람 검출의 처리 플로우를 나타낸다. 이 예에서는, 화상정보 취득수단(7)에서의 촬상장치(71)에는 전(全)방향 카메라(74)를, 거리정보 취득수단(8)에서의 거리 측정장치(81)에는 레이저 레이더(83)가 이용된다. 도면에 나타내는 바와 같이, 전방향 카메라(74)의 카메라 좌표계(XC-YC-ZC)와, 레이저 레이더의 좌표계(XL-YL-ZL)는, 각 축의 방향이 일치하고 있다. 카메라 좌표계의 원점은, 레이저 레이더 좌표계의 ZL축 위를 상방 으로 시프트 한 위치가 되도록, 전방향 카메라(74)가 설치되어 있다.

우선, 전방향 카메라(74)에 의해 취득된 전방위 화상(19)에 대해서, 화상인식 처리수단(72)에 의해 사람 후보의 검출이 행하여진다(S601). 사람 후보가 존재하지 않는 경우(S602에서 N), 사람은 존재하지 않는다는 결과가 환경 인식수단(9)에 출력되고(S603), 사람 후보가 존재하는 경우(S602에서 Y), 검출된 사람 후보의 두부위치 방향과 카메라 좌표의 XC축의 이루는 각도 Φ가 계산된다(604). 다음에, 레이저 레이더(83)에 의해, 레이저 레이더 좌표의 XL축으로부터 각도 Φ의 방향의 각도 주변이 계측되고(S605), 거리정보 해석수단(82)과 환경 인식수단(9)에 의해, 사람의 크기에 대응하는 폭의 물체의 탐색이 행하여져(S606), 사람 후보가 검출되면(S607에서 Y), 사람을 검출했다고 해서 주행 제어수단(4)에 결과가 출력된다(S609). 이상의 처리가, 화상을 처리해서 얻어진 모든 사람 후보에 대해서 행하여진다(S609).

(사람을 자율 이동로봇이 알아차리고 있는가 아닌가의 판단 처리)

사람을 자율 이동로봇이 알아차리고 있는가 아닌가의 판단 방법에 대해서 설명한다. 도 27의 (a)는 사람을 동 장치가 알아차리고 있는 화상을 나타내고, 도 27의 (b)는 알아차리고 있지 않는다는 화상을 나타내며, 도 28은 사람까지의 거리와 얼굴의 살색면적의 관계 그래프를 나타낸다. 화상인식 처리수단(72)에 있어서, 거리정보 취득수단(8)의 정보에 근거해서 사람 인식이 행하여진 후, 그 사람을, 자율 이동로봇(1)이 알아차리고 있는가 아닌가의 판단이 화상인식 처리수단(72)에 의해 행하여진다. 화상인식 처리수단(72)은, 적어도 촬상한 화상으로부터 살색영역을 검출하는 살색영역 검출부와, 검출된 살색영역의 형상에 대해서 연산 처리하는 형상 특징처리부를 포함하고 있고, 검출된 살색영역이 미리 결정한 형상 특징 조건을 충족할 때, 화상인식 처리수단(72)은, 그 살색영역을 사람의 후보로서 인식한다.

그리고, 사람이 자율 이동로봇에 대해서 정면을 향하고 있는 정도, 알아차림 정도가 높고, 반대로, 옆을 향하고 있는 정도, 알아차림 정도가 낮다는 것으로서 알아차림 정도가 판정된다. 또한, 자립 이동장치에 대한 얼굴의 방향 상태는, 두부영역에서의 살색영역 면적의 크기로 행하여진다. 도 27에 나타내는 바와 같이, 일반적으로, 정면을 향할수록 살색면적이 증가한다. 또한, 사람의 두부의 크기는, 개인차에 의하지 않고 어떤 일정한 크기를 가정할 수 있다. 따라서, 도 28에 나타내는 바와 같이, 정면을 향한 표준 얼굴의 살색면적(Si)은, 자율 이동로봇으로부터 사람까지의 거리(Di)의 함수로서 나타낼 수 있다. 이 자율 이동로봇으로부터 사람까지의 거리(Di)와 얼굴의 표준 살색면적(Si)의 관계는, 실험에 의해 미리 구해 둘 수 있다.

사람을 자율 이동로봇이 알아차리고 있는가 아닌가의 판단처리를 포함하는 처리 플로우에 대해서 설명한다. 도 29는 사람 검출처리 플로우를 나타낸다. 이 예에서는, 거리정보 취득수단(8)의 거리 측정장치(81)로서 레이저 레이더(83)를 이용하고, 화상정보 취득수단(7)의 촬상장치(71)로서 고정 카메라(70)를 이용한 경우에 대해서 설명한다. 이 처리 플로우에서의 스텝 S701~S709은, 전출의 도 24에서의 레이저 레이더 계측결과에 의한 화상처리 플로우의 스텝 S501~S509과 동일하여, 설명은 생략한다. 스텝 S709에 있어서, 사람 후보가 검출된 경우(S509에서 Y), 그 검출 된 사람을 자율 이동로봇이 알아차리고 있는가의 처리가 행하여지고(S710), 그 후, 사람의 검출 출력에 사람을 자율 이동로봇이 알아차리고 있는가 아닌가 판정되어서, 그 판정 결과를 나타내는 속성과, 레이저 레이더로 검출된 사람 후보는 사람이었다는 판정 결과가 환경 인식수단(9)에 출력된다(S711). 이상의 처리가 모든 사람 후보에 대해서 행하여진다(S712).

상술의 스텝 S710에서, 검출된 사람을 자율 이동로봇이 알아차리고 있는가 아닌가의 판정 처리의 상세를 설명한다. 도 30은 사람을 자율 이동로봇이 알아차리고 있는가 아닌가의 판단 처리 플로우를 나타낸다. 화상인식 처리수단(72)에 있어서, 사람을 검출한 살색영역(24)의 면적(smi)이, 예컨대 화소수에 의해 계측된다(S801). 다음에, 레이저 레이더에 의한 사람의 계측 거리(di) 및 자율 이동로봇으로부터 사람까지의 거리와 정면을 향한 사람의 얼굴의 살색면적과의 관계(도 28)를 사용해서, 표준 살색면적(si)이 구해진다(S802). 다음에, 살색영역내의 면적(smi)과 표준 살색면적(si)과의 비(比) smi/si가 구해져 미리 결정된 문턱치(TH)와 비교된다(S803). 비교의 결과, smi/si>TH이라면(S803에서 Y), 사람을 자율 이동로봇이 알아차리고 있다고 판정되며(S804), smi/si＜TH이라면(S803에서 N), 사람을 자율 이동로봇이 알아차리고 있지 않다고 판정된다(S805).

또, 본 발명은, 상기 구성에 한정되지 않고 여러 가지 변형이 가능하다. 예컨대, 도 31의 (a), 도 31의 (b), 도 31의 (c)에 나타나는 바와 같이, 촬상장치와 거리 측정장치를 조합시킬 수 있다. 도 31의 (a)의 자율 이동로봇(1)은, 1개의 레이저 레이더(83)와 회전기구(70a) 상의 2개의 카메라(70)를 구비하고 있고, 도 31 의 (b)의 자율 이동로봇(1)은, 2개의 레이저 레이더(83)와 회전기구(70a) 상의 2개의 카메라(70)를 구비하고 있으며, 도 31의 (c)의 자율 이동로봇(1)은, 1개의 레이저 레이더(83)와 1세트의 초음파 센서(84) 및 회전기구(70a) 상의 2개의 카메라(70)를 구비하고 있다.

또, 본 출원은, 2003년 3월 14일자의 특허출원에 근거해서 우선권 주장을 한다. 그 출원의 내용 전체가 참조에 의해, 이 출원에 편입된다.

Claims

장애물을 회피하면서 주행(走行)하는 자율 이동로봇에 있어서,

주행하는 영역의 지도정보와 주행을 위한 각종 파라미터를 기억하는 기억수단과,

목적지나 주행지령을 상기 기억수단에 입력하는 입력 지시수단과,

목적지까지의 주행경로를 생성하는 경로 생성수단과,

장애물이 되는 물체를 포함하는 주행경로 상의 환경정보를 취득하는 환경정보 취득수단과,

주행을 행하기 위한 주행수단과,

상기 환경정보 취득수단에서 얻어진 정보와 상기 지도정보에 근거해서 자기위치를 인식하는 자기위치 인식수단과,

상기 자기위치 인식수단에 의해 자기위치를 인식해 장애물을 회피하면서 목적지에 도달하도록 상기 주행수단을 제어하는 주행 제어수단을 구비하고,

상기 환경정보 취득수단은,

주행경로 상의 환경의 화상을 촬상하는 촬상장치와,

상기 촬상된 화상 데이터를 연산 처리해서 인체의 부위에 관한 속성을 가지는 영역을 추출하는 화상인식 처리수단과,

주행경로 상의 환경 내에 존재하는 물체를 검출하고, 그 물체의 거리와 방향을 측정하는 거리 측정장치와,

상기 측정된 물체의 거리 데이터를 연산 처리해서 물체형상을 구하고, 해당 형상으로부터 물체가 사람(人) 후보인 것을 인식하는 거리정보 해석수단과,

상기 화상인식 처리수단에서 추출된 상기 속성을 가지는 영역의 위치와, 상기 거리정보 해석수단에서 사람 후보로 인식된 물체의 위치를 비교하여, 양자가 일치할 때, 그 물체를 사람이라고 인식하는 환경 인식수단을 구비한 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

화상인식 처리수단은, 거리정보 해석수단에 의해 구해진 물체의 방향에 대해서 화상 데이터를 연산 처리하고, 환경 인식수단은, 해당 물체의 방향에 대응하는 부분에 대해서 인식 처리하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

거리 측정장치는, 화상인식 처리수단에 의해 추출된 영역의 방향에 대해서 거리 계측을 행하고, 환경 인식수단은, 상기 추출된 영역방향에 대응하는 부분에 대해서 인식 처리하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

거리 측정장치는, 주행 노면(路面)에 평행한 면내(面內)를 미리 설정한 각도마다 주사해서 장애물까지의 거리를 계측하는 레이저 레이더로 이루어지는 것을 특 징으로 하는 자율 이동로봇.
제 1 항에 있어서,

거리정보 해석수단은, 거리 데이터를 연산 처리해서 구한 물체의 폭이 미리 결정한 범위 내일 때, 그 물체를 사람의 후보로서 인식하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

거리정보 해석수단은, 계측된 물체까지의 거리가 기억된 지도 위의 물체까지의 거리와 일치하지 않을 때, 검출된 물체를 사람의 후보로서 인식하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

촬상장치는, 자율 이동로봇에 설치된 카메라이며, 그것에 의해 촬상된 화상좌표는 자율 이동로봇의 기준좌표계로 변환 가능한 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

화상인식 처리수단은, 적어도 촬상한 화상 데이터로부터 특정 색(色)영역을 검출하는 특정 색영역 검출부와, 그것에 의해 검출된 특정 색영역의 형상에 대해서 연산 처리하는 형상 특징처리부를 포함하고, 검출된 특정 색영역이 미리 결정한 형상 특징 조건을 충족할 때, 그 특정 색영역을 사람의 후보로서 인식하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

환경 인식수단은, 화상 중에서 검출된 사람의 살색의 색영역의 면적과, 자율 이동로봇으로부터 사람까지의 거리에 의해 미리 결정된 그 거리에서의 사람의 살색의 색영역의 면적과의 비(比)를 구하고, 이 비와 미리 결정된 문턱치를 비교하는 것에 의해, 검출된 사람을 자율 이동로봇이 알아차리고 있는가 아닌가를 판단하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

주행 제어수단은, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에 있고 또한, 미리 결정한 거리 내에 있는 경우에는 정지하고, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에 없는 경우, 장애물이 있으면 회피를 행하고, 장애물이 없으면 그대로 주행을 계속하도록 주행수단을 제어하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

주행 제어수단은, 사람으로 인식되는 물체가 자율 이동로봇의 진행 방향에 있는 경우, 그 사람으로 인식되는 물체로부터 미리 결정한 거리를 사이를 두고 회피해서 주행하도록 주행수단을 제어하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

주행 제어수단은, 사람으로 인식되는 물체가 미리 결정한 거리 내에 있는 경우, 그 거리 또는 거리와 각도에 따른 이동속도가 되도록 주행수단을 제어하는 것을 특징으로 하는 자율 이동로봇.
제 9 항에 있어서,

주행 제어수단은, 검출된 사람을 자율 이동로봇이 알아차리고 있다고 판단할 수 있는 경우는 접근하고, 그렇지 않은 경우, 검출된 사람에게는 미리 결정한 거리 이상으로 가까이 가지 않도록 주행수단을 제어하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

주행 제어수단은, 검출된 사람의 부근을 통과할 때에, 사람에 대해서 주의 환기 행동을 취하는 것을 특징으로 하는 자율 이동로봇.
제 1 항에 있어서,

상기 환경정보 취득수단은, 검출된 사람을 촬상해서 그 화상을 상기 기억수단에 기억하는 또는 화상을 원격 스테이션으로 송신하는 것을 특징으로 하는 자율 이동로봇.