KR102063150B1 - 사람을 식별하여 대인 동작을 수행하는 방법 및 이를 구현하는 로봇 - Google Patents

Abstract

본 발명은 사람을 식별하여 대인 동작을 수행하는 방법 및 이를 구현하는 로봇에 관한 것으로, 본 발명의 일 실시예에 의한 사람을 식별하여 대인 동작을 수행하는 로봇은 로봇을 구성하는 구성요소들을 제어하는 제어부와, 설정된 기능을 수행하는 기능부와, 로봇을 이동시키는 이동부와, 로봇의 이동에 필요한 맵을 저장하는 맵 저장부와, 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 제어부에 제공하는 센싱모듈과 제어부가 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 객체가 사람으로 판별된 경우, 로봇의 동작 범위 내에서 대인 동작을 수행하는 대인 동작부를 포함한다.

Description

사람을 식별하여 대인 동작을 수행하는 방법 및 이를 구현하는 로봇{METHOD OF PERFORMING INTERPERSONAL BEHAVIOR BY IDENTIFYING A PERSON AND ROBOT IMPLEMENTING THEREOF}

본 발명은 사람을 식별하여 대인 동작을 수행하는 방법 및 이를 구현하는 로봇에 관한 기술이다.

공항, 학교, 관공서, 호텔, 사무실, 공장 등 인적, 물적 교류가 활발하게 발생하는 공간에서 로봇이 소정의 기능을 수행하기 위해서는 전체 공간을 이동하는데 필요한 로직이 필요하다. 특히, 공간을 이동하는 과정에서 미리 확인된 장애물 외에 유동적으로 움직이는 장애물을 마주치게 되는데, 이 경우, 장애물이 사람인지 사물인지에 따라 로봇이 달리 동작할 수 있다. 또한, 로봇이 특정한 대인 기능을 수행하는 경우, 전방에 위치하는 사람을 식별하고 사람에게 근접하여 일정한 기능을 수행할 수 있다.

그러나. 마네킹 혹은 사람과 비슷한 형상을 가지는 사물들이 배치될 경우 로봇이 사람을 식별하는 정확도가 낮아질 수 있다. 특히, 사람의 동작에 따라 후속하는 기능을 수행해야 하는 로봇이라면 사람과 사물을 정확하게 판별하는 것이 필요하다.

따라서, 로봇이 사람과 사물을 식별함에 있어서 사용할 수 있는 센서들의 정확도를 높여 정확한 대인 동작을 수행하는 방안을 제시하고자 한다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 로봇의 주변에 배치되는 객체가 사람인지를 식별하여 사람인 경우 대인 동작을 수행하는 방법 및 이를 구현하는 로봇을 제공하고자 한다.

본 명세서에서는 공항, 터미널, 병원, 쇼핑센터 등에 배치되는 다양한 사람 형상의 입간판들과 마네킹들을 사람과 구분하여 로봇의 사람 인식률을 높이며, 이에 따라 대인 동작을 수행하는 방법 및 이를 구현하는 로봇을 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 사람을 식별하여 대인 동작을 수행하는 로봇은 로봇을 구성하는 구성요소들을 제어하는 제어부와, 설정된 기능을 수행하는 기능부와, 로봇을 이동시키는 이동부와, 로봇의 이동에 필요한 맵을 저장하는 맵 저장부와, 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 제어부에 제공하는 센싱모듈과 제어부가 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 객체가 사람으로 판별된 경우, 로봇의 동작 범위 내에서 대인 동작을 수행하는 대인 동작부를 포함한다.

본 발명의 다른 실시예에 의한 사람을 식별하여 대인 동작을 수행하는 방법은 로봇의 센싱모듈이 로봇의 동작 범위 내의 객체를 센싱하는 단계, 로봇의 제어부는 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 객체의 사람 또는 사물인지 여부를 판별하는 단계, 및 제어부는 객체가 사람인 경우 로봇이 객체에 대한 대인 동작을 수행하도록 대인 동작부를 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 로봇이 이동하는 과정에서 주변에 배치되는 객체가 사람인지를 식별하여 사람인 경우 대인 동작을 수행하는 방법 및 이를 구현하는 로봇을 제공할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 공항, 터미널, 병원, 쇼핑센터 등에 배치되는 다양한 사람 형상의 입간판들과 마네킹들을 사람과 구분하여 로봇의 사람 인식률을 높이며, 이에 따라 대인 동작을 수행하는 방법 및 이를 구현하는 로봇을 제공할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 로봇에 배치된 다양한 센싱부들의 센싱 데이터를 외부의 상황 또는 로봇이 배치된 위치에 따라 가중치를 달리하여 보다 정확하게 로봇이 사람을 인식하고, 그에 적합한 대인 동작을 로봇이 수행할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇을 구성하는 구성요소들을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 센싱모듈을 구성하는 구성요소들을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 공간을 단위 영역으로 구성되는 맵으로 구성한 실시예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 의한 대인 동작부의 구성을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 로봇의 동작 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 다양한 센싱부들을 활용하여 로봇이사람을 정확하게 인식하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 센싱 과정을 보다 상세하게 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 로봇의 대인 동작을 수행한 후의 센싱 및 센싱된 데이터를 처리하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 다수의 로봇 사이에, 혹은 로봇과 서버 사이에 정보를 교환하는 과정을 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 의한 다양한 센싱부들이 로봇에 배치되는 구성을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

이하, 본 명세서에서 로봇은 특정한 목적(청소, 보안, 모니터링, 안내 등)을 가지거나 혹은 로봇이 이동하는 공간의 특성에 따른 기능을 제공하며 이동하는 장치를 포함한다. 따라서, 본 명세서에서의 로봇은 소정의 정보와 센서를 이용하여 이동할 수 있는 이동수단을 보유하며 소정의 기능을 제공하는 장치를 통칭한다.

본 명세서에서 로봇은 맵을 보유하면서 이동할 수 있다. 맵은 공간에서 이동하지 않는 것으로 확인된 고정된 벽, 계단 등에 대한 정보를 의미한다. 또한, 로봇은 맵 위에 별도의 객체들에 대한 정보를 저장할 수 있다. 예를 들어, 고정된 벽에 부착된 안내 플랫폼, 새로이 설치된 자판기 등은 고정된 물체는 아니지만 일정 시간동안 고정성을 가지고 있으므로, 이들은 맵에 추가적인 고정물로 저장되는 것이 필요하다.

특히, 본 명세서에서는 사람과 사물을 로봇이 식별하는 과정에서 이동하지 않는, 즉 대인 기능을 수행할 수 없는 사람 형상의 사물들에 대한 정보를 저장하고 이 정보를 다른 로봇과 공유할 수 있도록 맵에 사람 형상의 사물에 대한 정보를 저장하는 것을 일 실시예로 한다.

특히, 사람 형상(인체 형상)의 사물로는 i) 사람의 이미지가 포함된 대형 판넬과 같은 2차원적인 사물과 ii) 마네킹과 같은 3차원적 사물, iii) 로봇이 사람으로 판단할 가능성이 있는 사람의 외관과 유사한 형태의 사물 등으로 나뉘어질 수 있다. 이들 사물들에 대한 정보를 맵 상에 저장하여, 이들 사물이 이동하거나 제거되거나 혹은 이들 사물들이 제거된 뒤에 사람이 서있는 경우 로봇이 적절하게 대응하여 동작할 수 있도록 한다.

로봇이 사람과 사물을 확인하기 위해서는 로봇의 진행 방향 혹은 로봇의 주변을 센싱하고, 센싱한 정보를 분석하는 과정이 필요하다.

도 1은 본 발명의 일 실시예에 의한 로봇(1000)을 구성하는 구성요소들을 보여주는 도면이다.

로봇(1000)은 외부의 장애물을 센싱하는 센싱모듈(100), 로봇의 이동에 필요한 맵을 저장하는 맵 저장부(200), 로봇이 이동하고자 하는 방향 혹은 로봇이 특정한 기능을 제공하고자 하는 범위(이하 "동작 범위"라고 함) 내에 사람이 존재할 경우 사람에 대한 특수한 동작을 수행하는 대인 동작부(300), 로봇을 이동시키는 이동부(400), 로봇에 특정하게 설정된 기능을 수행하는 기능부(500), 다른 로봇 또는 서버와 맵 정보를 송수신하고, 사람이 밀집하는 공간에 대한 정보(예를 들어 노선 또는 티케팅 시간 및 공간에 대한 정보)를 수신하는 통신부(600), 그리고 이들 각각의 구성요소들을 제어하는 제어부(900)를 포함한다.

센싱모듈(100)은 로봇의 진행 방향 또는 로봇이 동작하고자 하는 일정한 범위 내의 객체들을 센싱한다. 센싱모듈(100)은 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 제어부(900)에 제공한다. 특히, 본 명세서에서의 센싱모듈(100)은 센싱한 객체가 사람인지 혹은 사물인지에 대한 정확한 판별을 위해 센싱모듈(100)에서 센싱한 데이터에 별도의 가중치를 설정할 수 있다.

맵 저장부(200)는 맵을 저장한다. 맵은 로봇(1000)이 이동할 수 있는 공간에 대한 정보를 의미한다. 맵은 전체 공간을 세분화된 단위 영역으로 나누어 단위 영역에 벽, 유리와 같은 고정 객체가 배치되어 있는지, 혹은 해당 고정 객체의 높이나 재질이 무엇인지 등을 저장할 수 있다. 또한, 맵 저장부(200)는 맵 뿐만 아니라 유동적이거나 임시적인 객체 혹은 맵에 저장되지 않았으나 새로이 배치된 객체에 대한 정보도 함께 저장할 수 있다. 뿐만 아니라, 맵 저장부(200)는 사람이 자주 모이는 공간에 대한 정보와, 사람들이 자주 모이는 시간에 대한 정보를 저장할 수 있다.

대인 동작부(300)는 제어부(900)가 센싱모듈(100) 및 맵 저장부(200) 등을 이용하여 동작 범위 내에 사람이 존재하는 것으로 판단한 경우, 사람에 대해 수행해야 할 동작을 담당한다. 예를 들어, 도 1의 로봇(1000)이 안내 로봇인 경우 사람에게 근접하여 특정한 안내 멘트 혹은 안내 화면을 표시할 수 있다. 또한 로봇(1000)이 청소 로봇인 경우, 사람에게 근접하면서 청소를 위해 잠시 이동을 해줄 것을 안내 멘트 또는 안내 화면으로 표시할 수 있다. 또는 청소 로봇인 경우, 사람이 주변에 있으므로 사람들이 선호하지 않는 청소 기능을 잠시 보류할 수 있다. 이외에도 로봇(1000)이 보안과 같은 기능을 수행할 경우, 대인용 보안 기능과 대물용 보안 기능이 나뉘어질 수 있다. 대인 동작부(300)는 로봇(1000)이 동작 범위 내에 존재하는 사람을 향해 혹은 사람을 고려하여 수행하는 다양한 동작을 수행하도록 하며, 대인 동작부(300)에 저장된 제어 정보는 이동부(400)와 기능부(500)를 직접 제어할 수도 있고, 제어부(900)를 통하여 제어할 수 있다.

이동부(400)는 바퀴와 같이 로봇(1000)을 이동시키는 수단으로, 제어부(900)의 제어에 따라 로봇(1000)을 이동시킨다. 이때, 제어부(900)는 맵 저장부(200)에 저장된 정보를 이용하여 로봇(1000)의 현재 위치를 확인하여 이동부(400)에 이동 신호를 제공할 수 있다. 또한, 센싱모듈(100)에서 센싱된 외부의 객체에 대한 정보를 제어부(900)가 분석하여 진행 방향에 사물이 배치되어 있는지 혹은 사람이 존재하는지를 확인한 후, 이동부(400)의 이동을 제어할 수 있다.

기능부(500)는 로봇의 특화된 기능을 제공하는 것을 의미한다. 예를 들어, 청소 로봇인 경우 기능부(500)는 청소에 필요한 구성요소를 포함한다. 안내 로봇인 경우 기능부(500)는 안내에 필요한 구성요소를 포함한다. 기능부(500)는 로봇이 제공하는 기능에 따라 다양한 구성요소를 포함할 수 있다. 또한, 외부의 객체가 사람이냐 또는 사물이냐에 따라 제어부(900)는 기능부(500)가 특정한 기능을 수행하도록 제어하거나, 혹은 기능부(500)가 기능을 수행하지 않도록 제어할 수 있다.

통신부(600)는 다른 로봇들 또는 서버 등과 정보를 송수신한다. 로봇(1000)이 이동 과정에서 취득한 외부 객체에 대한 정보, 혹은 사람들이 밀집된 공간에 대한 정보 등을 다른 로봇 또는 서버에게 전송할 수 있다. 또한, 통신부(600)는 다른 로봇 또는 서버가 제공하는 외부 객체에 대한 정보 혹은 사람들의 밀집 공간, 또는 사람들이 밀집이 반복되거나 예상되는 시간에 대한 정보 등을 수신할 수 있다. 시간에 대한 정보는 공항을 예로 할 경우, 티케팅이 이루어지는 공간 및 티케팅 시간이 일 실시예가 된다. 학교의 경우 학생들의 수업시간을 시간에 대한 정보의 일 실시예가 된다.

정리하면, 센싱모듈(100)이 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 제어부(900)에 제공하면, 제어부(900)는 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 해당 객체가 사람인지 사물인지를 판단할 수 있다. 맵을 비교한다는 것은 맵에서 센싱된 객체의 위치를 비교하여 사람이 이동하여 존재할 수 있는 영역인지를 판단하는 것을 의미하며, 이러한 판단을 위해 라이다 센싱부(140)를 이용할 수 있다. 이후, 사람으로 판별된 경우, 대인 동작부(300)가 로봇의 동작 범위 내에서 대인 동작을 수행한다.

앞서 제어부(900) 및 라이다 센싱부(140)가 사람이 이동하여 존재할 수 있는 영역인지를 판단하는 과정에서 센싱된 객체가 배치되는 공간이 유동인구 밀집지역에 해당하는 것으로 판단한 경우 제어부(900)는 객체를 회피하도록 로봇의 이동부(400)를 제어할 수 있다. 이는 사람들이 많이 모인 경우에는 대인 동작이 어려울 수 있으므로, 추후 해당 공간에 대해 로봇의 기능을 수행할 수 있다. 이를 위해 유동인구 밀집지역에서 로봇이 기능을 수행했는지 여부에 대한 정보를 맵에 저장할 수 있다.

도 2는 본 발명의 일 실시예에 의한 센싱모듈을 구성하는 구성요소들을 보여주는 도면이다. 로봇에 하나 또는 다수가 장착될 수 있다.

센싱모듈(100)은 뎁스 센싱부(110), 초음파 센싱부(120), 온도 센싱부(130), 그리고 라이다 센싱부(140)와 같이 외부의 객체의 존재 혹은 온도적인 특성에 대해 센싱을 수행하는 구성요소와, 외부의 빛의 세기를 센싱하는 외부광 센싱부(190), 그리고 센싱된 데이터를 분석하는 센싱 데이터 분석부(150)를 포함한다. 센싱모듈(100)을 구성하는 각각의 구성요소들은 논리적 구성요소들이므로, 이들이 반드시 물리적으로 하나의 장치 내에 구현될 필요는 없다. 예를 들어, 초음파 센싱부(120)는 로봇의 전면에 다수 배치될 수 있다. 또한 뎁스 센싱부(110)와 라이다 센싱부(140)는 로봇의 상면에 배치될 수 있으나, 이에 한정되는 것은 아니다.

뎁스 센싱부(110)는 로봇의 동작 범위 내의 객체의 뎁스를 센싱한다. 뎁스 센싱부(110)는 비전 센싱부(115)와 외부광 센싱부(118)를 포함할 수 있다. 비전 센싱부(115)는 카메라 전면의 이미지를 2차원으로 센싱한다. 일 실시예로 비전 센싱부(115)는 객체의 RGB 데이터를 획득하는 RGB 카메라로 구현할 수 있으며, 뎁스 센싱부(110)는 IR 카메라로 구현할 수 있다.

외부광 센싱부(118)는 외부광의 특성을 센싱한다. 외부광의 특성은 외부광, 예를 들어 직사광선의 크기 또는 세기를 포함한다. 외부광 센싱부(118)는 빛의 특성에 따라 센싱 데이터의 정확도에 변화가 있는 뎁스 센싱부(110)의 센싱 데이터의 정확도를 판별할 수 있다.

본 발명의 다른 실시예에 의하면, 외부광 센싱부(118)는 뎁스 센싱부(110)와 별도로 분리되어 센싱모듈(100)내에 배치될 수도 있다.

또한, 이들 각각의 센싱부들과 센싱 데이터 분석부(150)는 데이터 링크 또는 무선 신호를 통해 센싱된 정보를 송수신할 수 있다. 또한 각각의 센싱부들은 다양한 센서들의 집합일 수 있다. 예를 들어 초음파 센싱부(120)가 물리적으로 초음파 송신부 및 초음파 수신부가 한 쌍 또는 다수 배치되는 것을 통합하여 논리적으로 초음파 센싱부(120)로 지시할 수 있다.

도 2의 다양한 센싱부들은 외부에 배치되는 객체가 사물인지 또는 사람인지를 식별한다. 뎁스 센싱부(110)는 동작 범위 내의 객체의 컬러, 아웃라인과 뎁스를 센싱한다. 센싱된 정보는 센싱 데이터 분석부(150) 내에 저장된 사람에 대한 정보들과 비교할 수 있다. 동작 범위 내에 사람이 존재할 경우의 가능한 컬러, 아웃라인 및 뎁스에 대한 정보가 센싱 데이터 분석부(150)에 미리 저장될 수 있다. 예를 들어, 얼굴 영역으로 판단된 부분의 컬러가 사람의 피부색이 가질 수 있는 컬러인지 비교하는 로직 혹은 비교를 위한 참조값이 센싱 데이터 분석부(150)에 저장될 수 있다. 사람의 의상은 다양한 색상이므로 의상의 아웃라인 또는 뎁스를 이용할 수 있다.

초음파 센싱부(120)는 동작 범위 내의 객체의 거리를 센싱하여 객체의 존재 유무를 판별한다. 만약, 초음파 센싱부(120)가 동작 범위 내에 객체가 존재하는 것으로 판단하면, 센싱 데이터 분석부(150)가 다른 센싱부들을 제어하여 이들 센싱부들이 센싱된 객체가 사람인지 혹은 사물인지를 센싱한다.

온도 센싱부(130)는 동작 범위 내의 객체의 온도를 센싱한다. 센싱한 온도 데이터가 체온과 일정한 오차범위 내의 온도인 경우 객체가 사람일 가능성이 높다. 센싱된 온도 정보는 센싱 데이터 분석부(150)에 제공된다.

라이다(Lidar) 센싱부(140)는 특정한 높이에 배치되는 장애물들을 스캔한다. 따라서 특정한 높이 기준으로 외부의 객체를 센싱한다. 한편 라이다 센싱부(140)는 센싱 거리가 매우 길고 방향 또한 270도 이상 혹은 360까지 포괄하는 넓은 범위 내의 객체들을 센싱할 수 있다. 따라서, 라이다 센싱부(140)는 넓은 범위의 장애물을 센싱하여 맵을 생성할 수 있다.

따라서. 라이다 센싱부(140)는 넓은 범위 내에서의 객체를 센싱하고, 제어부(900)는 센싱한 객체를 맵 저장부(200)에 저장된 정보들과 비교하여 센싱한 객체가 고정된 벽 또는 유리와 같은 고정 구조물인지, 아니면 별도의 객체인지를 판별할 수 있다. 일 실시예로, 라이다 센싱부(140)가 고정 구조물이 아닌 객체를 센싱할 경우, 그 외의 센싱부들이 해당 객체가 사물인지 혹은 사람인지를 식별하도록 센싱 동작을 수행할 수 있다. 다양한 센싱부들이 외부의 객체를 센싱하고 특히 사물/사람을 식별하기 위해 센싱의 정확도를 높이는 과정 또는 구성에 대해서는 후술한다.

센싱 데이터 분석부(150)는 다수의 센싱부들이 센싱한 데이터를 분석하며 외부의 환경에 따라 센싱한 데이터의 가중치를 변화시킬 수 있다. 여기서, 외부의 환경은 외부의 직사광선의 양 또는 로봇이 배치된 위치의 특성을 일 실시예로 한다.

다양한 센싱부들은 외부의 환경에 따라 센싱하는 데이터의 정확도가 상이할 수 있다. 예를 들어, 외부광 센싱부(118)가 센싱한 직사광선의 크기가 미리 설정된 크기 이상인 경우, 센싱 데이터 분석부(150)는 비전 센싱부(115), 온도 센싱부(130) 또는 초음파 센싱부(120)의 센싱 데이터 중 어느 하나 이상의 가중치를 높여서 보다 정확하게 외부의 객체가 사물인지 사람인지 여부를 제어부(900)가 판단할 수 있도록 한다.

도 3은 본 발명의 일 실시예에 의한 공간을 단위 영역으로 구성되는 맵으로 구성한 실시예를 도시한 도면이다. 도 3의 맵은 맵 저장부(200)에 저장된다. 맵의 단위 영역이 하얀 색인 경우 해당 공간은 장애물과 같은 객체가 존재하지 않아 로봇(1000)이 이동할 수 있는 공간이다. 맵에는 로봇의 이동공간의 고정 객체의 위치 정보, 이동공간 내에서 센싱된 인체형상 사물의 위치 정보, 이동 공간 내에서 센싱된 비인체형상 사물의 위치 정보, 그리고 이동 공간 내에서의 유동인구 밀집지역의 위치 정보가 저장될 수 있다.

도 3의 210은 일종의 비트맵과 같이 구성할 수 있다. 이미지 파일의 비트맵에서 각 비트가 하나의 단위 영역을 나타내도록 구성할 수 있다. 각 단위 영역은 좌측 하단을 (0, 0)으로, 우측 상단을 (19, 19)로 지시할 수 있다. 도 3의 210과 같이 단위 영역을 20x20으로 구성하여 맵의 단위 영역의 컬러가 211과 같은 검은 색인 경우 벽, 유리 등과 같은 고정 객체가 배치된 공간으로 정보를 저장한다.

212는 유동인구 밀집지역을 나타낸다. 로봇(1000)이 이동 중에 고정 객체가 배치되지 않은 영역 중에서 다수의 사람들을 센싱한 경우 이 공간을 유동인구 밀집지역으로 맵(210) 상에 저장할 수 있다. 이는 일시적으로 저장할 수도 있고 소정의 주기나 시간 정보를 함께 저장할 수 있다. 이 공간은 로봇(1000)이 안내를 통해 사람들에게 이동을 요청하는 것이 어려우므로 제한된 대인 동작을 수행할 수 있다.

213은 인체 형상 사물이 배치된 영역이다. 마네킹이나 사람이 그려진 포스터 등이 이에 해당한다. 일부 센싱부가 사람으로 판별하고, 그 외의 센싱부가 사물인 것으로 판별할 때, 제어부(900) 및 대인 동작부(300) 등에 저장된 사람/사물의 차이 정보 등을 이용하여 사물인 것으로 판별되면 이후 로봇의 이동할 경우 이를 사물로 식별할 수 있도록 인체 형상 사물에 대한 정보를 저장할 수 있다. 그리고 그 외에 비인체(非人體) 형상 사물들에 대한 정보도 214와 같이 맵(210)에 저장할 수 있다. 비인체 형상 사물은 고정 객체는 아닌 장애물을 포함한다. 데스크, 의자, 휴지통 등이 비인체 형상 사물의 일실시예이다.

한편, 도 3에 저장된 정보가 업데이트 되거나 저장된 정보에 오류가 발생한 경우 이를 수정할 수 있다. 본 발명의 일 실시예에 의하면, 해당 로봇이 동일한 공간을 다시 주행하는 과정에서 수정할 수 있다. 또한, 본 발명의 다른 실시예에 의하면, 다른 로봇이 동일한 공간을 주행하는 과정에서 새로운 정보 또는 업데이트가 필요한 정보를 확인한 후, 이를 서버를 통해, 혹은 직접 정보를 로봇의 통신부(600)를 이용하여 전송 및 수신할 수 있다.

도 4는 본 발명의 일 실시예에 의한 대인 동작부의 구성을 보여주는 도면이다.

대인 동작부(300)는 제어부(900)가 동작 범위 내에 사람이 있는 것으로 판별하여 대인 동작부(300)에게 대인 동작을 지시하면, 이에 대한 동작을 로봇이 수행하도록 제어할 수 있다. 대인 동작부(300)는 설명의 편의를 위하여 제어부(900)와 분리하여 도시하였으나, 제어부(900) 내에 대인 동작부(300)가 배치될 수도 있으며, 제어부(900)가 대인 동작부(300)가 제공하는 기능을 제공할 수 있다.

대인 동작부(300)는 동작 제어부(350)와 대상 확인부(310), 동작 데이터부(320) 및 언어 다중화부(330)로 구성된다. 대상 확인부(310)는 동작 범위 내에 존재하는 것으로 판별된 사람에 대해 대인 동작을 수행한 후 센싱모듈(100) 등이 제공하는 센싱된 정보를 이용하여 앞서 판별된 사람이 사람인지 아니면 사물인지를 재확인한다. 예를 들어, 소정의 음성 출력을 했는데, 센싱모듈(100)에서 전혀 변화가 없음을 센싱하여 대인 동작부(300)에 정보를 누적하여 제공한다면, 대상 확인부(310)는 이 정보를 누적하여 저장한 후, 제어부(900)에게 사람으로 판별된 객체가 사물이라는 정보를 제공할 수 있다.

동작 데이터부(320)는 사람이 취할 수 있는 다양한 동작에 대한 데이터를 포함한다. 대인 동작을 수행한 후, 혹은 대인 동작을 수행하기 전에 사람으로 판별된 외부 객체의 변화가 발생할 때, 변화는 센싱된 정보를 이용하여 센싱되고 센싱된 정보가 동작 데이터부(320)에 제공되어 앞서 판별한 외부 객체가 사람인지에 대한 검증을 수행할 수 있다. 일 실시예로, 동작 데이터부(320)는 사람이 취할 수 있는 다양한 동작의 윤곽선 혹은 이에 대응하는 뎁스 정보를 저장할 수 있다. 그리고 센싱모듈(100)에서 센싱한 정보들과 비교하여 사람이 동작한 것인지 아니면 사물이 이동한 것인지를 확인할 수 있다.

정리하면, 대인 동작부(300)가 대인 동작을 수행한 후, 센싱모듈(100)이 센싱한 데이터를 이용하여 제어부(900) 및 대인 동작부(300)가 센싱한 객체가 사물인 것으로 판단할 수 있다. 앞서 센싱모듈(100)이 센싱한 데이터를 동작 데이터(3290)에 저장된 데이터와 비교하여 사람인지 사물인지를 다시 판단할 수 있고, 제어부(900)가 객체를 인체형상 사물로 판단하고, 이 객체가 일정기간 이동하지 않는 경우 이 객체는 고정된 인체형상 사물로 판단하여 객체의 위치를 맵에 저장할 수 있다.

언어 다중화부(330)는 로봇이 대인 동작을 수행하는 과정에서 특정한 언어로 출력할 수 있도록 한다. 출력은 문자 혹은 음성으로 가능하다. 일 실시예로, 한글/한국어, 영문/영어, 일문/일어, 중문/중국어 등으로 다양한 언어에 적합하게 다중화된 데이터가 저장될 수 있다. 대인 동작이 사람 근처로 이동하여 음성출력을 하는 경우, 미리 설정된 언어들을 순차적으로 스피커 등을 통해 출력할 수 있다. 또한, 도 3의 유동인구 밀집지역에 대한 정보와 해당 밀집지역의 유동인구의 국적 혹은 사용 언어 등에 대한 정보를 통신부(600)가 수신한 경우, 출력하는 언어의 우선순위를 조정할 수 있다. 예를 들어 중국방문객들이 유동 인구의 대다수를 차지하는 밀집지역(예를 들어 중국으로 향하는 비행기를 티케팅하는 공간)이라면, 한국어, 중국어, 영어, 일본어 등과 같은 순서로 음성을 출력할 수 있다. 이들 순서는 로봇의 대인 동작을 설정하는 기준에 따라 다양하게 조정될 수 있으며, 본 발명이 특정한 언어들의 순서에 한정되는 것은 아니다.

뿐만 아니라, 센싱모듈(100)이 객체를 센싱하는 과정에서 센싱된 사람이 특정한 국가 혹은 특정한 민족이라는 정보가 포함될 경우, 해당 국가 또는 민족에 적합한 언어나 문자를 이용하여 안내 멘트를 출력할 수 있다. 예를 들어 센싱된 객체에서 특정 국가의 국기가 인식된 경우에 적용할 수 있다.

도 5는 본 발명의 일 실시예에 의한 로봇의 동작 과정을 보여주는 도면이다.

로봇은 주행 상태 또는 기능 수행 상태를 유지한다(S510). 물론 주행 및 기능 수행 상태 모두를 유지할 수 있다. 로봇의 센싱모듈(100)이 로봇의 동작 범위 내의 객체를 센싱하고, 센싱한 데이터를 제어부(900)에 제공한다(S520). 앞서 전술한 데이터는 도 2의 각각의 센싱부들이 센싱부의 특성에 따라 센싱한 데이터들을 포함한다. 또는 센싱 데이터 분석부(150)가 센싱한 데이터들에 대한 가중치를 적용하여 조정한 데이터 역시 센싱한 데이터에 포함된다.

로봇의 제어부(900)는 센싱한 데이터 및 맵 저장부(200)에 저장된 맵을 비교하여 센싱한 객체의 사람 또는 사물인지 여부를 판별한다(S530). 제어부는 센싱된 객체가 사람인 경우(S540) 로봇이 객체에 대해 대인 동작을 수행하도록 대인 동작부를 제어한다(S550). 대인 동작이란 로봇의 기능에 따라 상이할 수 있다. 청소 로봇의 경우 사람에게 이동을 요청하는 음성 메시지 혹은 문자 메시지를 출력할 수 있다. 또한 사람인 경우 청소 로봇은 사람에게 불쾌함을 불 수 있는 청소 기능을 중단할 수 있다. 예를 들어, 소음이나 먼지를 발생시키는 청소 기능을 중단할 수 있다. 또한, 오물이 사람에게 묻지 않도록 청소 기능을 제어할 수 있다. 이러한 청소 기능의 조절 혹은 중단이 대인 동작의 일 실시예가 된다.

또한, 안내 로봇의 경우, 사람에게 근접하여 안내 멘트를 출력하거나 안내 메시지를 디스플레이 상에 출력하는 것이 대인 동작의 일 실시예가 된다. 로봇이 제공하는 기능의 특징에 따라 대인 동작의 실시예는 다양해질 수 있으며, 본 발명이 이에 한정되는 것은 아니다. 본 발명의 대인 동작은 로봇이 사람에 근접했을 때에는, 사물에 근접했을 때와 상이하게 동작하는 모든 종류의 동작을 포함한다.

대인 동작을 수행한 후 사람으로 판별된 객체의 이동에 따라 주행 및 기능 수행 상태를 지속할 수 있다. 예를 들어 청소 로봇이 이동을 요청하는 음성 메시지 혹은 문자 메시지를 출력하여 사람이 이동하면 해당 공간에 대해 청소를 수행할 수 있다.

한편, 객체가 사람이 아닌 것으로 판단하면 센싱한 객체를 회피하여 주행 및 기능 수행 상태를 지속한다(S570). 또한, 도면에 미도시되었으나, 센싱한 객체가 사람이지만, 사람의 위치가 유동인구가 밀집한 지역인 것으로 맵 저장부(200)를 이용하여 확인된 경우, 해당 공간에서 사람에게 이동을 요청하는 것은 불가능하므로, 장애물 회피 동작 시나리오를 적용하여 회피할 수 있다. 이때 해당 공간에 대한 기능이 완료되지 않았으므로 이에 대한 정보를 저장하여 다른 로봇 또는 서버에게 전송하고, 후속하는 로봇이 해당 공간에서 기능을 완수할 수 있도록 정보를 제공한다.

도 6은 본 발명의 일 실시예에 의한 다양한 센싱부들을 활용하여 로봇이사람을 정확하게 인식하는 과정을 보여주는 도면이다. 사람인식을 위해 뎁스 카메라를 이용하는 뎁스 센싱부(110), 온도 센싱부(130), 초음파 센싱부(120) 및 라이다 센싱부(140)를 활용하여 주변환경에 따라 사람 인식율이 떨어지는 것을 보완하기 위한 과정에 대해 살펴본다.

뎁스 센싱부(110)가 객체를 센싱한다(S605). 센싱 과정에서 외부의 직사 광선으로 인하여 뎁스 센싱부(110)가 외부의 객체를 센싱하지 못하거나 사람을 센싱하지 못하는 경우 초음파 센싱부(120)가 근접한 객체가 존재하는지를 판단한다(S620).

한편, S605의 센싱 과정에서 뎁스 센싱부(110)가 사람을 센싱한 경우(S610), 즉 사람의 윤곽에 대응하는 객체가 센싱된 경우, 센싱의 정확도를 높이기 위해 온도 센싱부가 객체에 대해 온도를 센싱한다(S625). 마찬가지로, 초음파 센싱부(120)가 외부에 객체가 근접한 것으로 센싱되면(S620 참조), 마찬가지로 근접한 객체가 사람인지를 판별하기 위해 온도 센싱부가 객체에 대해 온도를 센싱한다(S625). 이 과정에서 센싱한 온도가 체온과 오차 범위 내인지를 확인하여(S630), 오차 범위 내인 경우에는 사람으로 인식한다(S640). 사람으로 인식한 경우, 사람들이 밀집한 공간인지 여부를 확인한다. 일 실시예로, 라이다 센싱부(140)를 이용하여 해당 공간의 위치 또는 로봇의 현재 위치를 맵과 비교한다. 라이다 센싱부(140)를 이용하여 사람들이 밀집한 지역으로 판단된 경우(S650), 로봇은 해당 공간에서 특정한 기능을 수행할 수 없으므로 장애물 회피 시나리오에 따라 동작할 수 있다(S655). 반면, 사람들이 밀집된 공간이 아닌 경우, 사람 인식 시나리오(대인 동작 시나리오)에 따라 로봇이 동작할 수 있다(S652).

한편, S620에서 초음파 센싱부로 근접한 객체가 없는 것으로 판단되거나, 또는 S630에서 온도를 센싱한 결과 외부의 객체가 사람이 아닌 것으로 판단될 경우, 사물인지 여부에 대해 판단한다(S670). 사물인지 여부에 대한 판단이란 고정된 벽이나 유리, 혹은 기타 장애물들이 로봇의 동작 범위 내에 배치되는지를 확인하는 것을 일 실시예로 한다. 그 결과 사물로 판단된 경우에는 S655의 장애물 회피 동작을 수행한다. 한편 사물이 아닌 것으로 판단되거나 순간적으로 센싱된 후 이동한 뒤라면 로봇 앞에 장애물이 없는 것으로 판단하여 청소와 같은 로봇의 기능을 유지한다(S675).

사람을 센싱하기 위해서는 다양한 센싱부들의 센싱된 데이터를 이용할 수 있다. 그런데, 센싱부들의 센싱된 데이터의 정확도는 외부의 환경에 따라 달라질 수 있다. 특히, 뎁스 센싱부(110)는 외부의 직사광선의 크기에 따라 센싱되는 크기가 달라질 수 있다. 따라서, 센싱모듈(100) 내에 외부광을 센싱하는 외부광 센싱부(118)가 배치되어 센싱된 외부광의 크기에 따라 각각의 센싱부들의 센싱 데이터의 정확도에 대한 가중치를 조절할 수 있다. 외부광 센싱부(118)은 도 2의 실시예와 같이 뎁스 센싱부(110) 내에 배치될 수도 있으나, 본 발명이 이에 한정되는 것은 아니며, 센싱모듈(100) 내에 외부광 센싱부(118)가 다른 센싱부들로부터 독립적으로 배치될 수도 있다.

도 7은 본 발명의 일 실시예에 의한 센싱 과정을 보다 상세하게 보여주는 도면이다.

뎁스 센싱부(110)가 외부에 배치되는 객체의 뎁스를 센싱한다(S712). 이 과정에서 뎁스 센싱부(110) 외에 비전 센싱부(115)가 외부의 객체의 아웃라인 혹은 컬러 등을 센싱할 수 있다. 또한, 온도 센싱부(130)가 외부에 배치되는 객체의 온도를 센싱한다(S714). 마찬가지로, 초음파 센싱부(120)가 외부에 배치되는 객체와의 거리를 센싱한다(S716). 센싱 데이터 분석부(150)는 초음파 센싱부(120)가 객체와의 거리를 센싱한 데이터와 뎁스 센싱부(110)가 객체의 뎁스를 센싱한 데이터를 비교한다(S720). 이는 뎁스 센싱부(110)가 센싱한 객체의 뎁스가 직사광선 혹은 유리 등에 의해 센싱된 데이터가 왜곡될 수 있기 때문이다. 만약 이 두 데이터가 유사한 범위 내에 있다면 뎁스 센싱부(110)가 센싱한 객체가 초음파 센싱부(120)가 센싱한 거리 내에 배치된 것으로 확인할 수 있다. 또한, 센싱 데이터 분석부(150)는 뎁스 센싱부의 정확도가 확보되는지를 확인한다(S730). 이는 S720에서 비교한 결과, 차이가 클 경우 정확도가 확보되지 않은 것으로 판단할 수 있다. 또다른 실시예로, 센싱모듈(100) 내에 배치되는 외부광 센싱부(118)가 센싱한 외부광의 크기를 반영하여 뎁스 센싱부(110)의 정확도가 확보되었는지를 판단할 수 있다. 뎁스 센싱부(110)의 정확도가 확보된 경우, 센싱 데이터 분석부(150)는 뎁스 센싱부(110)가 센싱한 객체의 뎁스 데이터를 이용하여 사람의 형상을 검출한다(S732). 또한, 센싱 데이터 분석부(150)는 온도 센싱부(130)가 센싱한 객체의 온도를 이용하여 사람의 온도 범위인지 여부를 판단한다(S734). 이 과정을 통해 센싱모듈(100)은 로봇의 동작 범위 내에 사람 혹은 사물이 배치된 근거로 각 센싱부들이 센싱한 데이터들을 제어부(900)에 제공한다(S736). 이 과정에서 각 센싱부의 센싱 결과 객체가 사람일 확률 또는 객체가 사물일 확률에 대한 정보도 제공할 수 있다. 예를 들어, S730에서 뎁스 센싱부(110)의 정확도가 확보된 것이므로, 센싱 데이터 분석부(150)는 뎁스 센싱부(110)에서 센싱한 뎁스 데이터가 정확하다는 정보를 제어부(900)에 제공할 수 있다. 뿐만 아니라 뎁스 데이터가 사람의 형상에 대응한다고 산출한 결과 데이터 또는 이를 뒷받침하는 온도 데이터를 함께 제어부(900)에 제공할 수 있다. 즉, 센싱모듈(100)은 센싱된 데이터에서 유의미한 것을 선택하여 제어부(900)에게 제공할 수 있고, 센싱된 데이터를 분석한 결과 데이터를 제어부(900)에게 제공할 수 있다.

한편, S730에서 뎁스 센싱부의 정확도가 확보되지 않는 경우에는 센싱 데이터 분석부(150)가 센싱 데이터의 가중치를 조절한다(S742). 예를 들어 초음파 센싱부(120)가 센싱한 거리 데이터의 가중치를 높여 외부의 객체가 존재하는지를 판단할 수 있으며, 또한, 사물/사람에 대한 판단을 할 수 있다.

외부의 객체가 존재하는지 여부를 판단하여(S750), 초음파 센싱부(120)가 로봇의 동작 범위 내에 객체가 존재하지 않는 경우, 장애물이 될 외부 객체가 존재하지 않는 것으로 판단하고 다른 객체들의 센싱을 위해 본 센싱 과정을 종료한다. 반면, 로봇의 동작 범위 내에 객체가 존재할 경우, 센싱 데이터 분석부(150)는 온도 센싱부(130)가 센싱한 객체의 온도를 이용하여 사람의 온도 범위 내인지를 확인하여 제어부(900)에게 센싱한 데이터를 제공한다(S752).

S742에서 가중치를 조절한다는 것의 일 실시예로, 도 2의 뎁스 센싱부(110)의 구성을 적용할 수 있다. 즉, 외부광 센싱부(118)가 센싱한 직사광선의 크기가 미리 설정된 크기 이상인 경우, 센싱 데이터 분석부(150)는 비전 센싱부(115), 온도 센싱부(130) 또는 초음파 센싱부(120)의 센싱 데이터 중 어느 하나 이상의 가중치를 높일 수 있다. 이는 뎁스 센싱부(110)가 센싱한 정보의 정확성이 확보되지 않는 경우, 센싱 데이터 분석부(150)는 다른 센싱부들이 제공하는 데이터에 중점을 둘 수 있다.

한편, 센싱모듈(100)을 구성하는 라이다 센싱부(140)는 센싱된 객체가 배치된 공간이 어느 공간에 해당하는지를 판단할 수 있다. 그 결과, 유동인구 밀집지역이면, 제어부(900)는 대인 동작 중 일부만 수행하거나, 아니면 아예 객체를 장애물로 인식하여 회피하도록 로봇의 이동부(400)를 제어할 수 있다.

도 8은 본 발명의 일 실시예에 의한 로봇의 대인 동작을 수행한 후의 센싱 및 센싱된 데이터를 처리하는 과정을 보여주는 도면이다.

본 명세서에서 대인 동작부(300)는 로봇이 대인 동작을 수행한 후, 객체의 움직임을 센싱하여, 센싱한 움직임을 기반으로 객체가 사람이 아닌 사물로 판단될 경우에는 이 객체를 사물로 판단하고 이에 대한 위치 정보를 맵에 저장할 수 있다.

대인 동작부는 객체에 대해 대인 동작을 수행한다(S810). 대인 동작의 수행이란, 객체에 인접하게 접근하여 로봇이 음성으로 안내 멘트를 출력하거나, 문자를 통해 안내 문구를 출력하는 것을 의미한다. 또한 대인 동작부(300)는 로봇의 이동부(400) 또는 기능부(500)를 제어하여 사람이 주변에 있을 경우 사람에게 불편함 또는 불쾌감을 줄 수 있는 동작을 중단한다. 기능부(500)가 청소 기능을 수행할 경우, 사람들이 주변에 있을 경우, 먼지를 줄이거나 소음을 줄이는 등이 대인 동작의 일 실시예가 될 수 있다. 대인 동작부(300)의 동작 제어부(350)가 전술한 대인 동작을 수행하는데 필요한 제어 정보를 제공할 수 있다.

대인 동작을 수행한 후, 센싱모듈은 다시 객체를 센싱한다(S820). 뎁스 센싱부(110)에서 이동 혹은 변화가 일어난 객체를 센싱할 수 있다. 또한 비전 센싱부(114) 또한 객체의 변화를 센싱할 수 있다. 제어부(900) 또는 대인 동작부(300)는 객체에 대해 센싱한 데이터를 이용하여 객체가 사람인지 사물인지를 판단한다(S830). 예를 들어, 대인 동작을 수행하거나 안내 멘트를 음성 또는 문자 등으로 출력한 후, 객체가 움직이거나 이동했는지를 확인할 수 있으며, 이동 또는 변화한 뒤의 객체의 윤곽선을 확인하여 사람인지 혹은 사물인지를 판단할 수 있다. 만약, 사물인 것으로 판단되면, 객체가 인체 형상 사물인 것으로 판단하고(S840), 객체가 이동하는지를 확인한다(S850). 일정 기간 이상 이동하지 않는 경우, 객체의 위치를 맵에 저장한다(S860). 한편, 객체가 사람인 것으로 판단하는 경우, 객체, 즉 사람의 움직임에 대응하여 동작을 수행한다(S835). 예를 들어 사람이 이동하거나 자리를 비키게 되면 로봇은 해당 영역에서 필요한 기능을 수행할 수 있다. 사람이 이동하지 않는 경우, 장애물과 유사하게 회피를 하되, 해당 영역에서 나중에 기능을 수행하는 것이 필요하다는 정보를 저장할 수 있다. 일 실시예로 맵 상에서 청소와 같은 기능이 완료되지 않은 공간의 위치 정보를 저장할 수 있다.

종래에 공항과 같은 공간에서 청소, 보안, 또는 특정한 기능을 수행하는 로봇이 설정된 청소 경로 또는 보안 경로 등을 따라서 주어진 기능(청소/보안 등)을 수행하는 과정에서 장애물을 확인하는 경우, 로봇은 해당 장애물을 회피한 후 다시 청소/보안 등의 경로로 진입해야 한다. 이 경우 사람과 사물을 가리지 않고 회피하게 된다. 그러나, 본 발명을 적용할 경우, 사람을 인식했을 경우에는 사람에게 경로에서 비켜줄 것을 요청하거나 사람에게 불쾌감을 주지 않는 동작을 수행할 수 있다. 즉, 본 발명의 실시예에 의하면, 로봇이 사람과 사물을 구분하여 다르게 동작할 수 있다.

한편, 공항/쇼핑몰/빌딩 등과 같이 사람과 비슷한 물체가 많거나 마네킹, 사람모양 포스터가 많은 지역에서 로봇이 사람을 인식하는데 있어 오류가 발생할 수 있다. 따라서, 이를 해결하기 위해 다양한 센싱부들이 센싱한 데이터를 조합하여 로봇이 사람과 사물을 구별할 수 있도록 한다. 이 과정에서 로봇이 사람으로 인식하여 대인 동작을 수행할 수 있다. 이 과정에서 사람으로 인식한 객체에게 로봇이 근접 이동하는 과정에서 사람 앞에서 정지하여 특정한 대인 동작을 수행할 수 있으며, 대인 동작을 수행한 후, 혹은 대인 동작을 수행하기 전에 다른 센싱부들을 이용하여 해당 객체가 사람인지 재확인할 수 있다.

특히, 본 명세서에서는 다양한 센싱부들을 이용하여 사물과 사람을 구별할 수 있다. 기존에 카메라의 영상만을 처리하는 경우와 달리, 본 명세서에서는 뎁스 센싱부(110)를 이용하므로 포스터의 사람 사진을 실제 사람과 구별할 수 있다. 통유리로 이루어진 건물 내에서는 직사광선이 다량 유입되어 뎁스 센싱부(110)의 정확도를 떨어뜨릴 수 있으므로, 직사광선으로 인한 뎁스 센싱부(110)의 센싱 정확도를 높이기 위해 초음파 센싱부(120)와 온도 센싱부(130)의 센싱된 데이터를 적용할 수 있다.

또한, 외부광 센싱부(118)를 적용하여, 직사광선이 비추는 동안은 비전 센싱부(115)와 온도 센싱부(130), 초음파 센싱부(120)를 결합하여 사람에 대한 인식률을 높일 수 있다. 특히, 뎁스 센싱부(110)가 직사광선으로 인해 객체와의 거리 정보를 정확하게 판별할 수 없을 경우, 온도 센싱부(130), 초음파 센싱부(120)에서 센싱된 값을 이용하여 사람의 위치를 확인할 수 있다.

또한, 포스터, 마네킹 등을 뎁스 센싱부(110) 또는 비전 센싱부(115)가 사람으로 인식하는 경우 온도 센싱부(130)를 이용하여 사람에 대한 인식률을 높일 수 있다.

뿐만 아니라, 라이다 센싱부(140)에서 센싱한 데이터를 이용하여 생성하거나 업데이트한 맵과 로봇의 위치 정보를 이용하여 유동인구가 밀집하는 공간 또는 시간에 대한 정보를 로봇(1000)이 이용할 수 있다. 이 경우, 티켓팅 시간 등 사람이 붐비는 공간에 대해서는 추후 청소 혹은 보안 기능을 수행하도록 맵 상에 저장할 수 있다.

본 발명의 실시예들을 적용할 경우, 로봇이 사람과 사물을 정확하게 구분하기 때문에, 대인 동작을 수행할 수 있으며, 또한, 청소나 보안 기능을 수행함에 있어서, 장애물이 있는 경우 무조건 회피 동작을 수행하지 않고, 안내 멘트를 출력하여 사람들이 이동하면 기능을 수행할 수 있도록 하여 로봇의 기능 효율을 높일 수 있다.

도 9는 본 발명의 일 실시예에 의한 다수의 로봇 사이에, 혹은 로봇과 서버 사이에 정보를 교환하는 과정을 보여주는 도면이다.

서버(2000)는 다수의 로봇들(1000a, ..., 1000z)이 전송한 장애물들에 대한 정보를 분석하여 동일한 위치에서 중복하여 센싱된 정보는 새로이 업데이트 하여 하나의 장애물에 대한 정보로 저장할 수 있다. 또한, 가장 최신으로 수신된 정보들을 이용하여 장애물이 제거 또는 이동한 경우, 이를 수정하여 다운로드 송신을 할 수 있다. 이러한 결과, 서버(2000)는 다수의 로봇들(1000a, ..., 1000z)에게 유동인구 밀집지역을 포함하는 맵 정보를 다운로드(S901, S905) 송신한다. 유동인구 밀집지역이란 공항의 경우 티케팅 타임을 고려하여 유동인구가 밀집할 수 있는 위치를 의미하며, 맵 정보에는 시간 정보도 함께 포함될 수 있다. 또한 앞서 로봇들(1000a, ..., 1000z)이 기능을 수행하는 과정에서 식별한 인체형상/비인체형상 사물들(장애물)에 대한 위치 정보도 맵 정보에 포함된다.

로봇들(1000a, ..., 1000z)은 수신된 맵 정보를 맵 저장부(200)에 업데이트한다(S902, S906). 이후 로봇들(1000a, ..., 1000z)은 주행 과정에서 인체형상/비인체형상 사물들을 센싱하여 정보를 업데이트한다(S910, S912). 일 실시예로 각 로봇이 보유하는 맵 저장부의 정보를 업데이트하는 것을 포함한다. 또한, 로봇 중에서 인접하여 위치하는 로봇 사이에서는 새로이 습득한 사물들(장애물)에 대한 정보를 근거리 통신으로 쉐어링할 수 있다(S915). 이때 장애물에 대한 정보의 쉐어링은 일정한 범위 내에 근접해있는 로봇들에게만 한정하여 제공할 수 있다. 또는, 로봇 이후에 해당 공간으로 이동하는 것이 예정된 로봇에게 제공할 수도 있다.

한편, 각각의 로봇들(1000a, ..., 1000z)은 주행 중 취득한 정보를 서버로 업로드(S911, S921) 송신한다.

서버(2000)는 수신한 맵 정보를 업데이트 하며(S930) 이 과정에서 중복된 정보를 하나의 정보로 정리하거나, 혹은 장애물이 새로이 센싱되었거나 혹은 기존에 센싱된 장애물이 제거되거나, 혹은 새로운 유동인구 밀집지역에 대한 정보 등 업데이트된 상황을 반영하여 새로운 장애물 정보를 다운로드한다(S931, S932).

또한, 이 과정에서 장애물뿐만 아니라 장애물 또는 유동인구 밀집지역의 다수 사람들이 존재함으로 인해 청소와 같은 특정한 기능을 수행한 영역과 수행하지 않은 영역에 대한 맵 정보도 함께 전송될 수 있다. 예를 들어, 어떠한 장애물로 인해, 또는 유동인구들이 밀집되어서 청소가 완료되지 않은 공간이 있다면, 이 공간에 대한 정보를 로봇들(1000a, ..., 1000z)에게 제공할 수 있다. 그리고 장애물이 제거되거나 유동인구들이 이동한 경우 해당 공간으로 이동하는 로봇들(1000a, ..., 1000z) 중 어느 하나는 완료되지 않은 공간에 대해 일정한 기능을 수행할 수 있다.

도 10은 본 발명의 일 실시예에 의한 다양한 센싱부들이 로봇에 배치되는 구성을 보여주는 도면이다. 로봇(1000a)의 상면에는 라이다 센싱부(140a) 및 뎁스 센싱부(110a)가 배치된다. 또한, 로봇(1000a)의 전면에는 초음파 센싱부(120a), 온도를 확인하는 온도 센싱부(130a, 130b)이 배치되어 있다. 실시예에 따라 다양한 종류의 센싱부들이 하나 혹은 다수가 배치될 수 있다.

또한 진행 방향으로 바닥에 가까운 영역에 별도의 장애물이 있는지를 확인하는 하면 센싱부(190a)가 선택적으로 배치될 수 있다. 이는 아래쪽에 배치되는 바닥에서 돌출한 장애물 혹은 바닥에 인접한 공간의 재질 등을 확인할 수 있다. 하면 센싱부(190a)의 일 실시예로는 초음파 센싱부가 될 수 있다. 또한, 하면의 재질을 센싱하거나, 하면의 이미지를 센싱하는 등 다양한 센서가 하면 센싱부(190a)에 적용될 수 있다.

그 외 기능부(500a)가 배치될 수 있다. 도 10에서 기능부(500a)는 청소를 수행하는 구성요소로 솔이나 걸레, 혹은 먼지 흡입구 등이 될 수 있다. 기능부(500a)가 보안을 수행하는 경우, 폭탄 탐지를 수행하는 구성요소가 포함될 수 있다. 이동부(400)는 로봇의 아래에 배치되어 도 10에 도시되지 않은 형태이다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

1000: 로봇 100: 센싱모듈
110: 뎁스 센싱부 120: 초음파 센싱부
130: 온도 센싱부 140: 라이다 센싱부
150: 센싱 데이터 분석부 200: 맵 저장부
300: 대인 동작부 400: 이동부
500: 기능부 600: 통신부
2000: 서버

Claims (13)

1. 로봇을 구성하는 구성요소들을 제어하는 제어부;
   설정된 기능을 수행하는 기능부;
   상기 로봇을 이동시키는 이동부;
   상기 로봇의 이동에 필요한 맵을 저장하는 맵 저장부;
   상기 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 상기 제어부에 제공하는 센싱모듈; 및
   상기 제어부가 상기 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 상기 객체가 사람으로 판별된 경우, 상기 로봇의 동작 범위 내에서 대인 동작을 수행하는 대인 동작부를 포함하며,
   상기 대인 동작부가 대인 동작을 수행한 후,
   상기 센싱모듈이 센싱한 데이터를 이용하여 상기 제어부 및 상기 대인 동작부가 상기 객체가 사물인 것으로 판단하면, 상기 제어부는 상기 객체를 인체형상 사물로 판단하며, 상기 객체가 일정기간 이동하지 않는 경우, 상기 객체의 위치를 상기 맵에 저장하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
2. 제1항에 있어서,
   상기 센싱모듈은
   로봇의 동작 범위 내의 객체의 뎁스를 센싱하는 뎁스 센싱부;
   상기 객체와의 거리를 센싱하는 초음파 센싱부;
   상기 객체의 온도를 센싱하는 온도 센싱부; 및
   상기 다수의 센싱부들이 센싱한 데이터를 분석하며 외부의 환경에 따라 상기 센싱한 데이터의 가중치를 변화시키는 센싱 데이터 분석부를 포함하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
3. 제2항에 있어서,
   상기 뎁스 센싱부는
   상기 객체의 RGB 데이터를 획득하는 비전 센싱부와,
   상기 로봇의 외부광의 특성을 센싱하는 외부광 센싱부를 더 포함하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
4. 제3항에 있어서,
   상기 외부광 센싱부가 센싱한 직사광선의 크기가 미리 설정된 크기 이상인 경우, 상기 센싱 데이터 분석부는 상기 비전 센싱부, 상기 온도 센싱부 또는 상기 초음파 센싱부의 센싱 데이터 중 어느 하나 이상의 가중치를 높이는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
5. 제1항에 있어서,
   상기 맵은
   로봇의 이동공간의 고정 객체의 위치 정보;
   상기 이동공간 내에서 센싱된 인체형상 사물의 위치 정보;
   상기 이동 공간 내에서 센싱된 비인체형상 사물의 위치 정보; 및
   상기 이동 공간 내에서의 유동인구 밀집지역의 위치 정보를 저장하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
6. 제1항에 있어서,
   상기 센싱모듈은 라이다 센싱부를 더 포함하며,
   상기 제어부 및 라이다 센싱부가 상기 센싱된 객체가 배치된 공간이 유동인구 밀집지역에 해당하는 것으로 판단한 경우, 상기 제어부는 상기 객체를 회피하도록 상기 로봇의 이동부를 제어하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
7. 로봇을 구성하는 구성요소들을 제어하는 제어부;
   설정된 기능을 수행하는 기능부;
   상기 로봇을 이동시키는 이동부;
   상기 로봇의 이동에 필요한 맵을 저장하는 맵 저장부;
   상기 로봇의 동작 범위 내의 객체를 센싱하여 사람 혹은 사물을 판별하는데 필요한 데이터를 상기 제어부에 제공하는 센싱모듈; 및
   상기 제어부가 상기 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 상기 객체가 사람으로 판별된 경우, 상기 로봇의 동작 범위 내에서 대인 동작을 수행하는 대인 동작부를 포함하며,
   상기 맵은
   로봇의 이동공간의 고정 객체의 위치 정보;
   상기 이동공간 내에서 센싱된 인체형상 사물의 위치 정보;
   상기 이동 공간 내에서 센싱된 비인체형상 사물의 위치 정보; 및
   상기 이동 공간 내에서의 유동인구 밀집지역의 위치 정보를 저장하는, 사람을 식별하여 대인 동작을 수행하는 로봇.
   
8. 로봇의 센싱모듈이 로봇의 동작 범위 내의 객체를 센싱하는 단계;
   상기 로봇의 제어부는 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 상기 객체의 사람 또는 사물인지 여부를 판별하는 단계;
   상기 제어부는 상기 객체가 사람인 경우 상기 로봇이 상기 객체에 대한 대인 동작을 수행하도록 대인 동작부를 제어하는 단계; 및
   상기 제어부 및 라이다 센싱부가 상기 센싱된 객체가 배치된 공간이 유동인구 밀집지역인 것으로 판단한 경우, 상기 제어부는 상기 객체를 회피하도록 상기 로봇의 이동부를 제어하는 단계를 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법.
   
9. 제8항에 있어서,
   상기 센싱하는 단계는
   상기 센싱모듈의 센싱 데이터 분석부가
   뎁스 센싱부가 센싱한 상기 객체의 뎁스 데이터를 이용하여 사람의 형상을 검출하는 단계; 및
   온도 센싱부가 센싱한 상기 객체의 온도를 이용하여 사람의 온도 범위인지 여부를 판단하는 단계를 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법.
   
10. 제9항에 있어서,
    상기 센싱 데이터 분석부는
    초음파 센싱부가 상기 객체와의 거리를 센싱한 데이터와 상기 뎁스 센싱부에서 상기 객체와의 거리를 센싱한 데이터를 비교하는 단계; 및
    상기 센싱한 데이터의 가중치를 조절하는 단계를 더 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법.
    
11. 제10항에 있어서,
    상기 뎁스 센싱부는 상기 객체의 RGB 데이터를 획득하는 비전 센싱부와, 상기 로봇의 외부광의 크기를 센싱하는 외부광 센싱부를 포함하며,
    상기 외부광 센싱부가 센싱한 직사광선의 크기가 미리 설정된 크기 이상인 경우, 상기 센싱 데이터 분석부는 상기 비전 센싱부, 상기 온도 센싱부 또는 상기 초음파 센싱부의 센싱 데이터 중 어느 하나 이상의 가중치를 높이는 단계를 더 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법.
    
12. 제8항에 있어서,
    상기 대인 동작부가 대인 동작을 수행한 후,
    상기 센싱모듈이 상기 객체를 센싱하는 단계; 및
    상기 제어부 및 상기 대인 동작부가 상기 센싱한 데이터를 이용하여 상기 객체가 사물인 것으로 판단하면, 상기 제어부는 상기 객체를 인체형상 사물로 판단하고 상기 객체가 일정기간 이동하지 않는 경우, 상기 객체의 위치를 상기 맵에 저장하는 단계를 더 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법.
    
13. 로봇의 센싱모듈이 로봇의 동작 범위 내의 객체를 센싱하는 단계;
    상기 로봇의 제어부는 센싱한 데이터 및 맵 저장부에 저장된 맵을 비교하여 상기 객체의 사람 또는 사물인지 여부를 판별하는 단계; 및
    상기 제어부는 상기 객체가 사람인 경우 상기 로봇이 상기 객체에 대한 대인 동작을 수행하도록 대인 동작부를 제어하는 단계를 포함하며,
    상기 대인 동작부가 대인 동작을 수행한 후,
    상기 센싱모듈이 상기 객체를 센싱하는 단계; 및
    상기 제어부 및 상기 대인 동작부가 상기 센싱한 데이터를 이용하여 상기 객체가 사물인 것으로 판단하면, 상기 제어부는 상기 객체를 인체형상 사물로 판단하고 상기 객체가 일정기간 이동하지 않는 경우, 상기 객체의 위치를 상기 맵에 저장하는 단계를 더 포함하는, 사람을 식별하여 대인 동작을 수행하는 방법

Images