KR101708061B1

KR101708061B1 - 제어 장치, 제어 방법 및 기록 매체

Info

Publication number: KR101708061B1
Application number: KR1020110020507A
Authority: KR
Inventors: 요시아끼 이와이; 야스히로 스또; 겐이찌로 나가사까; 아끼찌까 다나까; 다까시 기또
Original assignee: 소니 주식회사
Priority date: 2010-03-16
Filing date: 2011-03-08
Publication date: 2017-02-17
Also published as: JP2011189481A; EP2366503A2; KR20110104431A; CN102189557A; CN102189557B; JP5560794B2; EP2366503A3; US20110231018A1

Abstract

이동체로 하여금 소정의 처리를 실행하게 하는 실행부, 이동체가 이동 가능한 영역의 환경 지도를 기억하고 있는 기억부, 이동체의 주변 정보를 검출하는 검출부, 검출부에 의해 검출된 이동체의 주변 정보에 기초하여, 환경 지도를 갱신하는 갱신부, 및 사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 취득부를 포함하고, 실행부는 환경 지도를 참조하여 이동체로 하여금 지시 정보에 기초한 처리를 실행하게 하고, 갱신부는 지시 정보 및 지시 정보에 기초한 이동체에 의해 실행되는 처리에 기초하여 환경 지도를 갱신하는, 제어 장치가 제공된다.

Description

제어 장치, 제어 방법 및 기록 매체{CONTROL APPARATUS, CONTROL METHOD AND RECORDING MEDIUM}

본 발명은 제어 장치, 제어 방법 및 프로그램에 관한 것이다.

최근, 로봇(이후, "이동체"라 칭함) 주위의 외부 상태나 로봇 자신의 내부 상태에 따라 자립적으로 동작을 행할 수 있는 로봇이 개발되었다. 예를 들어, 보행 동작에서, 외부의 장해물을 검출하여 장해물을 피하도록 행동 경로를 계획하거나, 주위 환경의 장해물 지도를 작성하여 지도에 기초한 행동 경로를 결정하는 로봇이 개발되었다(일본 특허 공개 공보 제2003-269937호 및 제2006-11880호).

예를 들어, 일본 특허 공개 공보 제2003-269937호에서는, 로봇 장치가 취득한 3차원의 거리 정보로부터 바닥면을 검출함으로써, 장해물의 유무를 추정한다. 구체적으로는, 로봇 장치의 주변을, 소정의 크기의 그리드(grid)로 분할된 로봇-중심 좌표계의 지도 정보로서의 환경 지도로 표현하여, 지도의 각 그리드에 대하여 장해물의 존재 확률을 유지할 수 있다. 존재 확률이 소정의 임계치를 초과한 그리드를 장해물로서 인식하여, 로봇의 주변 환경을 식별한다. 또한, 일본 특허 공개 공보 제2006-11880호에서는, 실제로는 존재하지 않는 평면이나 장해물 등의 관측 노이즈에 대하여 높은 내성을 나타내면서 높이 방향으로 고해상도로 주변 환경을 표현할 수 있다.

일본 특허 공개 공보 제2003-269937호 일본 특허 공개 공보 제2006-11880호

일본 특허 공개 공보 제2003-269937호 및 제2006-11880호에서는, 로봇이 자립적으로 로봇 주변의 물체, 장해물 등의 존재 확률을 유지함으로써 환경 지도를 작성한다. 그러나, 사용자가 로봇에 대하여 지시한 정보와 지시에 따른 행동의 존재 확률도 환경 지도에 반영시킴에 의해, 로봇에 대한 작업 지시를 단순화하려는 요구가 증가되고 있다.

상기 문제를 감안하여, 사용자와의 교류(interaction)를 통해서 로봇의 주변 정보를 갱신하고, 로봇에 대한 지시를 단순화하는 것이 가능한, 신규 또한 개량된 제어 장치, 제어 방법 및 프로그램을 제공하는 것이 바람직하다.

본 발명의 일 실시예에 따르면, 제어 장치로서,

이동체로 하여금 소정의 처리를 실행하게 하는 실행부;

이동체가 이동 가능한 영역의 환경 지도를 기억하고 있는 기억부;

이동체의 주변 정보를 검출하는 검출부;

검출부에 의해 검출된 이동체의 주변 정보에 기초하여, 환경 지도를 갱신하는 갱신부; 및

사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 취득부

를 포함하고,

실행부는 환경 지도를 참조하여 이동체로 하여금 지시 정보에 기초한 처리를 실행하게 하고,

갱신부는 지시 정보 및 상기 지시 정보에 기초한 이동체에 의해 실행되는 처리에 기초하여 환경 지도를 갱신하는, 제어 장치가 제공된다.

제어 장치에서, 환경 지도는 물체의 존재 확률을 나타내는 정보를 포함하고, 검출부는 이동체의 주변의 물체를 검출하고, 갱신부는 환경 지도에 포함되는 물체의 존재 확률을 갱신한다.

제어 장치에서, 갱신부는 지시 정보에 포함된 물체에 관한 정보와 물체의 존재 확률을 관련시켜서 환경 지도를 갱신한다.

제어 장치에서, 갱신부는 지시 정보에 포함된 지시어와 물체의 존재 확률을 관련 시켜서 환경 지도를 갱신한다.

제어 장치에서, 갱신부는 지시어의 출현 확률을 소정의 시간 간격으로 갱신한다.

제어 장치에서, 실행부는 지시 정보를 해석하고, 이동체로 하여금 지시 정보에 포함된 사용자가 지시한 물체를 사용자의 위치로 이동시키는 처리를 실행하게 한다.

제어 장치에서, 실행부는 이동체로 하여금 사용자가 지시한 물체의 위치로 이동하게 하여 물체를 그립(gripping)한 채로 사용자의 위치로 이동하게 한다.

제어 장치는 실행부에 의해 실행된 이동체의 처리가 사용자의 지시에 대응하는지의 여부를 판정하는 판정부를 더 포함한다.

제어 장치에서, 판정부가 실행부에 의해 실행된 이동체의 처리가 사용자의 지시와 일치하고 있다고 판정한 경우, 갱신부는 지시 정보에 포함된 물체에 관한 정보의 존재 확률을 증가시킨다.

제어 장치에서, 갱신부는 지시 정보에 포함된 지시 장소에서의 지시 물체의 존재 확률을 증가시킨다.

제어 장치에서, 갱신부는 지시 정보에 포함된 지시 시간에서의 지시어의 존재 확률을 증가시킨다.

본 발명의 일 실시예에 따르면, 이동체의 제어 방법으로서,

사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 스텝;

기억부에 기억되어 있는 이동체가 이동 가능한 영역의 환경 지도를 참조하여, 이동체로 하여금 지시 정보에 기초한 처리를 실행하게 하는 스텝;

이동체의 주변 정보를 검출하는 스텝;

검출된 이동체의 주변 정보에 기초하여, 환경 지도를 갱신하는 스텝; 및

지시 정보 및 지시 정보에 기초한 이동체에 의해 실행되는 처리에 기초하여 환경 지도를 갱신하는 스텝

을 포함하는, 이동체의 제어 방법이 제공된다.

본 발명의 일 실시예에 따르면, 컴퓨터가 제어 장치로서 기능하게 하는 프로그램으로서, 제어 장치는,

이동체로 하여금 소정의 처리를 실행하게 하는 실행부;

이동체의 주변 정보를 검출하는 검출부;

사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 취득부를 포함하고,

갱신부는 지시 정보 및 지시 정보에 기초한 이동체에 의해 실행되는 처리에 기초하여 환경 지도를 갱신하는, 프로그램이 제공된다.

전술된 바와 같은 본 발명에 따르면, 사용자와의 교류를 통해서 로봇의 주변 정보를 갱신하고, 로봇에 대한 지시를 단순화할 수 있다.

도 1은 본 발명의 일 실시예에 따른 제어 장치의 하드웨어 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제어 장치의 기능 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 환경 지도 생성 처리를 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 환경 지도의 존재 확률에 대해서 설명하는 설명도이다.
도 5는 본 발명의 일 실시예에 따른 환경 지도의 갱신 처리를 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 환경 지도의 갱신 처리를 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 환경 지도의 계층화 구조에 대해서 설명하는 설명도이다.

이하, 첨부 도면을 참조하면서, 본 발명의 적합한 실시예에 대해서 상세하게 설명한다. 본 명세서 및 첨부된 도면에서는, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는, 동일한 참조 부호를 부여함으로써 중복 설명을 생략한다는 점을 주목한다.

또한, 이하에 나타낸 순서에 따라, "본 발명의 실시예"를 설명한다.

1. 본 실시예의 목적

2. 제어 장치의 하드웨어 구성

3. 제어 장치의 기능 구성

4. 제어 장치의 동작의 상세

<1.본 실시예의 목적>

우선, 본 실시예의 목적에 대해서 설명한다. 최근, 로봇(이후, "이동체"라 칭함) 주위의 외부 상태나 로봇 자신의 내부 상태에 따라 자립적으로 동작을 행할 수 있는 로봇이 개발되었다. 예를 들어, 보행 동작에서, 외부의 장해물을 검출하여 장해물을 피하도록 행동 경로를 계획하거나, 주위 환경의 장해물 지도를 작성하여 지도에 기초한 행동 경로를 결정하는 로봇이 개발되었다(일본 특허 공개 공보 제2003-269937호 및 제2006-11880호).

예를 들어, 일본 특허 공개 공보 제2003-269937호에서는, 로봇 장치가 취득한 3차원의 거리 정보로부터 바닥면을 검출함으로써, 장해물의 유무를 추정한다. 구체적으로는, 로봇 장치의 주변을, 소정의 크기의 그리드로 분할된 로봇-중심 좌표계의 지도 정보로서의 환경 지도로 표현하여, 지도의 각 그리드에 대하여 장해물의 존재 확률을 유지할 수 있다. 존재 확률이 소정의 임계치를 초과한 그리드를 장해물로서 인식하여, 로봇의 주변 환경을 식별한다. 또한, 일본 특허 공개 공보 제2006-11880호에서는, 실제로는 존재하지 않는 평면이나 장해물 등의 관측 노이즈에 대하여 높은 내성을 나타내면서 높이 방향으로 고해상도로 주변 환경을 표현할 수 있다.

일본 특허 공개 공보 제2003-269937호 및 제2006-11880호에서는, 로봇이 자립적으로 로봇 주변의 물체, 장해물 등의 존재 확률을 유지함으로써 환경 지도를 작성한다. 그러나, 사용자가 로봇에 대하여 지시한 정보와 지시에 따른 행동의 존재 확률도 환경 지도에 반영시킴에 의해, 로봇에 대한 작업 지시를 단순화하려는 요구가 증가되고 있다. 이러한 점에서, 상기 사항을 감안하여, 본 발명에 따른 제어 장치(100)가 제작되었다. 제어 장치(100)에 따르면, 사용자와의 교류를 통해서 로봇의 주변 정보를 갱신하고, 로봇에 대한 지시를 단순화하는 것이 가능하다.

<2. 제어 장치의 하드웨어 구성>

다음으로, 도 1을 참조하여, 본 실시예에 따른 제어 장치(100)의 하드웨어 구성을 설명한다. 도 1은, 제어 장치(100)의 하드웨어 구성을 도시하는 블록도이다. 도 1에 나타낸 바와 같이, 제어 장치(100)는, CPU(11), ROM(Read Only Memory, 12), RAM(Random Access Memory, 13), 호스트 버스(14), 브릿지(15), 외부 버스(16), 인터페이스(17), 입력 장치(18), 출력 장치 (19), 기억 장치(하드 디스크 드라이브;HDD, 20), 드라이브(21), 접속 포트(22) 및 통신 장치(23)를 포함한다.

CPU(11)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 제어 장치(100)의 동작 전반을 제어한다. 또한, CPU(11)는 마이크로프로세서일 수 있다. ROM(12)은 CPU(11)가 사용하는 프로그램, 연산 파라미터 등을 기억한다. RAM(13)은 CPU(11)의 실행에서 사용하는 프로그램, CPU(11)의 실행에서 적절히 변화하는 파라미터 등을 우선 기억한다. CPU(11)는, ROM(12)과 RAM(13)을 CPU 버스 등을 포함하는 호스트 버스(14)를 통해 서로 접속시킨다.

호스트 버스(14)는, PCI(Peripheral Component Interconnect/interface) 버스 등의 외부 버스(16)에 접속되어 있다. 또한, 호스트 버스(14), 브리지(15) 및 외부 버스(16)를 서로 분리시켜 구성할 필요는 없다. 예를 들어, 호스트 버스(14), 브리지(15) 및 외부 버스(16)의 기능을 하나의 버스로 집적시킬 수 있다.

입력 장치(18)는, 예를 들어, 마우스, 키보드, 터치 패널, 버튼, 마이크, 스위치 또는 레버 등의 사용자가 정보를 입력하게 하기 위한 입력 수단, 사용자로부터의 입력에 기초한 입력 신호를 생성하고, 입력 신호를 CPU(11)에 출력하는 입력 제어 회로 등을 포함한다. 제어 장치(100)의 사용자는, 입력 장치(18)를 조작함으로써, 제어 장치(100)에 각종 데이터를 입력하거나, 제어 장치(100)가 처리 동작을 행하도록 지시할 수 있다.

출력 장치(19)는, 예를 들어, CRT(Cathode Ray Tube) 표시 장치, LCD(Liquid crystal display) 장치, OLED(Organic Light Emitting Display) 장치 및 램프 등의 표시 장치, 및 스피커 또는 헤드폰 등의 음성 출력 장치를 포함한다. 출력 장치(19)는, 예를 들어, 재생된 콘텐츠를 출력한다. 구체적으로는, 표시 장치는 재생된 영상 데이터 등의 각종 정보를 텍스트 또는 영상의 형태로 표시한다. 한편, 음성 출력 장치는 재생된 음성 데이터 등을 음성으로 변환하여 음성을 출력한다.

기억 장치(20)는, 본 실시예에 따른 제어 장치(100)의 기억부의 일례로서 구성된 데이터 기억 장치이며, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기록 매체로부터 데이터를 판독하는 판독 장치, 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함할 수 있다. 기억 장치(20)는, 예를 들어, HDD를 포함한다. 기억 장치(20)는 하드 디스크를 구동하고, CPU(11)가 실행하는 프로그램과 각종 데이터를 저장한다.

드라이브(21)는 기억 매체용 판독기/기입기이며, 제어 장치(100)에 내장되거나 제어 장치(100)의 외부에 구비된다. 드라이브(21)는, 장착되어 있는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하고, 정보를 RAM(13)에 출력한다.

접속 포트(22)는, 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등을 통하여 데이터 전송 가능한 외부 기기와의 접속을 위한 포트이다.

통신 장치(23)는, 예를 들어, 통신 네트워크(5)에 접속하기 위한 통신 장치 등을 포함하는 통신 인터페이스이다. 또한, 통신 장치(23)는, 무선 LAN(Local Area Network)-호환 통신 장치, 무선 USB-호환 통신 장치, 또는 유선 통신을 행하는 유선 통신 장치일 수 있다. 이상, 제어 장치(100)의 하드 구성에 대해서 설명했다.

<3. 제어 장치의 기능 구성>

다음으로, 도 2을 참조하여, 제어 장치(100)의 기능 구성에 대해서 설명한다. 도 2는 제어 장치(100)의 기능 구성을 도시하는 블록도이다. 도 2에 나타낸 바와 같이, 제어 장치(100)는 화상 인식부(101), 검출부(102), 기억부(104), 갱신부(106), 실행부(107), 취득부(108), 판정부(110) 등을 포함한다.

검출부(102)는 로봇의 주변 정보를 검출하는 기능을 갖는다. 구체적으로는, 검출부(102)는, 스테레오 카메라나 레이저 거리 측정기 등의 각종 센서로부터 제공되는 주변의 화상 정보나 3D 정보에 기초하여 주변의 바닥면을 검출한다. 또한, 3D 정보에 기초하여 주변의 바닥면을 검출함으로써, 바닥면 상의 물체를 검출할 수 있다. 또한, 바닥면의 텍스처(texture)를 등록함으로써, 등록된 텍스처와 다른 텍스처가 존재하는지의 여부에 의해 물체를 검출할 수 있다.

또한, 검출부(102)가 바닥면 이외의 면에서 물체의 존재를 검출한 경우에는, 검출부(102)는 물체가 무엇인지를 검출할 수 있다. 물체가 무엇인지에 관한 정보는 화상 인식부(101)에 의해 취득될 수 있다. 화상 인식부(101)는 물체의 화상의 화상 특징량, 개념, 명칭 등을 서로 관련시켜 학습한다. 따라서, 검출부(102)는 스테레오 카메라 등에 의해 취득된 물체의 화상 특징량과, 화상 인식부(101)에 의해 학습된 물체의 화상 특징량을 비교함으로써, 물체가 무엇인지를 검출할 수 있다.

또한, 검출부(102)는, 물체를 그립할 수 있는 경우에, 물체의 무게를 검출할 수 있다. 검출부(102)에 의해 검출된 로봇의 주변 정보는, 기억부(104)의 환경 지도(105)에 기억되거나 갱신부(106)에 제공된다.

기억부(104)에 기억되어 있는 환경 지도(105)는, 로봇이 이동 가능한 영역의 환경을 나타내는 정보이다. 구체적으로는, 환경 지도(105)는, 로봇 주변의 환경을, 소정의 크기의 그리드로 분할된 로봇 중심 좌표계의 지도 정보로서 표현될 수 있다. 또한, 환경 지도의 각 그리드에 대하여 장해물의 존재 확률을 유지할 수 있다. 존재 확률이 있는 임계치를 초과한 그리드를 장해물로서 인식하여, 로봇의 주변 환경을 식별한다.

또한, 환경 지도(105)에서, 장해물의 존재 확률을 3차원 그리드로 표현할 수 있다. 예를 들어, 4m², 수평 해상도 4cm 및 수직 해상도 1cm를 하나의 셀로 하는 3차원 그리드로 표현할 수 있다. 로봇은, 예를 들어, 1초당 30회 등과 같이 소정의 시간 간격으로 주위의 상태를 취득할 수 있다. 로봇이 이동하고 있을 경우에는, 3차원 그리드로 표현되는 공간은, 시시각각 변화한다. 예를 들어, 취득된 셀에 대하여, 보이는 셀을 1로 표현하고, 보이지 않는 셀을 0.5로 표현할 수 있다. 점유 확률은 1초당 30회 측정하는 동안에 점차 갱신될 수 있다.

또한, 환경 지도(105)는 전체 지도와 국소 지도가 계층화된 구조를 가질 수 있다. 이러한 경우, 각 국소지도는, 시간 정보를 고려한 3차원 구조를 갖는다. 또한, 국소 지도에서의 각 그리드(x, y, t)에 관련된 정보는, 물체의 존재 확률, 물체의 정보(명칭, 무게), 사용자로부터의 지시어의 확률 등을 포함한다. 사용자로부터의 지시어는, 후술하는 취득부(108)에 의해 취득되는 사용자의 지시를 나타내는 지시 정보에 포함되는 '그것', '저것' 등을 포함한다.

갱신부(106)는 검출부(102)에 의해 검출된 이동체의 주변 정보에 기초하여, 환경 지도(105)를 갱신하는 기능을 갖는다. 구체적으로는, 갱신부(106)는 환경 지도의 각 그리드와 연계되어 있는 물체의 존재 확률을 갱신한다. 또한, 갱신부(106)는 후술하는 실행부(107)에 의해 실행된 이동체의 처리에 기초하여 환경 지도를 갱신한다. 또한, 갱신부(106)는, 검출부(102)에 의해 물체의 명칭과 무게가 검출된 경우에는, 그리드와 연계되어 있는 물체의 명칭이나 무게의 정보를 갱신한다.

취득부(108)는, 사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 기능을 갖는다. 지시 정보는, 예를 들어, 사용자가 소유하기를 원하는 물체에 관한 정보 등, 예를 들어, 물체의 위치나 물체의 명칭 등의 정보를 포함한다. 또한, 지시 정보는 "거실에서 쥬스를 가져와" 또는 "저것을 나에게 가져와" 등의 사용자로부터의 지시를 나타내는 문장을 포함한다. 취득부(108)는 취득한 사용자로부터의 지시 정보를 실행부(107)에 제공한다. 취득부(108)는 사용자의 지시 정보로부터, 사용자와 로봇 사이의 위치 관계, 로봇의 위치 등의 컨텍스트를 취득하여 실행부(107)에 제공할 수 있다.

실행부(107)는, 환경 지도(105)를 참조하여, 지시 정보에 기초한 처리를 로봇으로 하여금 행하게 하는 기능을 갖는다. 실행부(107)는, 취득부(108)에 의해 제공된 지시 정보를 해석하고, 로봇으로 하여금 지시 정보에 포함된 사용자가 지시한 물체를 사용자의 위치로 이동시키는 처리를 실행하게 한다. 또한, 실행부(107)는 로봇을 사용자가 지시한 물체의 위치로 이동시키고, 로봇으로 하여금 물체를 그립하게 하고, 로봇을 사용자의 위치로 이동시킨다.

예를 들어, 사용자가 "저것을 나에게 가져와"라고 지시하였을 경우에는, 실행부(107)는 환경 지도(105)를 참조하여, '저것'에 대응하는 물체를 추정한다. 전술된 바와 같이, 지시 정보에 포함된 지시어의 출현 확률은, 매시간 환경 지도(105)에 기억된다. 따라서, 실행부(107)는 사용자가 "저것을 나에게 가져와"라고 지시한 시간과 장소를 해석함으로써, 매시간 유지되는 '저것'의 확률로부터 '저것'이 무엇인지를 추정할 수 있다.

또한, 갱신부(106)는 실행부(107)에 의해 실행된 사용자로부터의 지시에 포함되는 지시 단어와 물체의 존재 확률을 관련시켜서 환경 지도를 갱신할 수 있다. 또한, 갱신부(106)는, 지시어의 출현 확률을 소정의 시간 간격으로 갱신할 수 있다. 즉, 로봇이 행동한 시간이나 장소에서의 환경 지도나 그리드의 '저것'이라 지시되는 확률을 증가시킨다.

판정부(110)는 사용자 입력에 따라 실행부(107)의 실행 하에 로봇이 실행하는 처리가 사용자의 지시에 대응하는지 여부를 판정하는 기능을 갖는다. 판정부(110)가, 실행부(107)의 실행 하에 로봇이 실행하는 처리와 사용자의 지시가 일치한다고 판정한 경우에는, 갱신부(106)는 지시 정보에 포함된 물체에 관한 정보의 존재 확률을 증가시킨다.

또한, 판정부(110)가, 실행부(107)의 실행 하에 로봇이 실행하는 처리와 사용자의 지시가 일치한다고 판정한 경우에는, 갱신부(106)는 지시 정보에 포함된 지시 장소에서의 지시 물체의 존재 확률을 증가시킨다. 또한, 갱신부(106)는 지시 시간에서의 '저것' 등의 지시어의 존재 확률을 증가시킨다. 또한, 실시예에서는, 바닥면을 로봇이 물체를 그립할 수 있는 영역으로서 설명하고 있다. 그러나, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 테이블이나 선반 등의 평면이 물체를 그립할 수 있는 영역으로 설정될 수 있다. 이상, 제어 장치(100)의 기능 구성에 대해서 설명했다.

<4. 제어 장치의 동작의 상세>

다음으로, 도 3 내지 도 7을 참조하여, 제어 장치(100)의 동작의 상세에 대해서 설명한다. 도 3은, 제어 장치(100)에서의 환경 지도 생성 처리를 나타내는 흐름도이다. 도 3에서는, 이동체가 자립적으로 이동하여 환경 지도를 생성하거나 갱신하는 경우를 예로서 설명한다.

도 3에 나타낸 바와 같이, 우선, 로봇의 이동과 함께, 제어 장치(100)는 자기 위치(self-position)의 추정을 행한다(S102). 자기 위치의 추정에 따라, 제어 장치(100)는 환경 지도 상의 로봇의 위치를 추정한다. 스텝(S102)에서, 환경 지도가 이미 생성되어 있는 경우에는, 제어 장치(100)는 환경 지도 상에서 로봇이 위치하고 있는 그리드를 판정한다. 그러나, 환경 지도가 생성되어 있지 않은 경우에는, 제어 장치(100)는 소정의 좌표계 상의 자기 위치를 판정한다.

다음으로, 제어 장치(100)는 로봇의 주변의 화상 데이터나 3D 데이터를 취득한다(S104). 스텝(S104)에서, 제어 장치(100)는 스테레오 카메라나 레이저 거리 측정기 등의 센서로부터의 정보를 사용하여, 로봇의 주변의 화상 정보나 3D 정보를 취득한다.

그 후, 제어 장치(100)는 3D 정보에 기초한 바닥면 검출을 행하여 바닥면 상의 물체를 검출한다(S106). 또한, 스텝(S106)에서, 제어 장치(100)는 바닥면의 텍스처를 미리 등록하고, 등록된 텍스처와 다른 텍스처의 존재의 여부에 의해 물체를 검출할 수 있다.

제어 장치(100)는 바닥면 이외에 물체가 존재하는지의 여부를 판정한다(S108). 스텝(S108)에서, 바닥면 이외에 물체가 존재한다고 판정된 경우에는, 제어 장치(100)는 화상 인식부(101)에 의해 물체가 무엇인지를 인식한다. 그러나, 스텝(S110)에서, 물체를 인식하는데 실패했거나 물체에 대응하는 인식부가 없을 경우에는, 물체 정보는 Unknown 이라 설정된다.

또한, 제어 장치(100)는 로봇으로 하여금 물체를 누르거나 그립하게 함으로써, 물체가 그립될 수 있는지의 여부를 검증한다. 물체가 그립될 수 있는 경우에는, 제어 장치(100)가 물체의 무게에 대한 정보를 취득한다. 스텝(S108)에서, 바닥면 이외에 물체가 존재하지 않는다고 판정된 경우에는, 스텝(S112)의 처리를 실행한다.

그리고, 스텝(S106)에서의 물체의 검출 결과와 스텝(S110)에서의 물체의 인식 결과에 따라, 제어 장치(100)는 환경 지도(Map) 정보를 갱신한다(S112). 스텝(S108)에서, 바닥면 이외에 물체가 존재하지 않는다고 판정된 경우에, 제어 장치(100)는 환경 지도의 대응 위치에 물체가 존재하는 확률을 감소시킨다.

또한, 스텝(S108)에서, 바닥면 이외에 물체가 존재한다고 판정된 경우에, 제어 장치(100)는 환경 지도의 해당 위치에 물체가 존재하는 확률을 증가시킨다. 단, 환경 지도 상에 이미 정보가 있는 경우에는, 과거에 관측된 데이터에 기초하여 현재 추정된 정보를 확인할 필요가 있다. 따라서, 과거의 정보와 검출된 물체의 정보가 일치하지 않는 경우에는, 환경 지도 상의 동일한 장소에 복수의 다른 물체가 존재할 가능성이 있다.

도 4는 환경 지도의 존재 확률에 대해서 설명하는 설명도이다. 도 4는 장해물의 존재 확률이 반영된 3차원 그리드를 나타내는 설명도이다. 3차원 그리드로서 표현되는 영역은, 예를 들어, 4m², 수평 해상도 4cm 및 수직 해상도 1cm를 하나의 셀로서 규정한 3차원 그리드로 표현된다. 또한, 예를 들어, 1초당 30회 등과 같이 소정의 시간 간격으로 주위의 상태를 취득할 수 있기 때문에, 로봇이 이동하고 있을 경우에는, 3차원 그리드로 표현되는 공간은 시시각각 변화한다. 예를 들어, 취득된 셀에 대하여, 보이는 셀을 1로 표현하고, 보이지 않는 셀을 0.5로 표현할 수 있다. 존재 확률은 1초당 30회 측정하는 동안에 점차 갱신될 수 있다.

도 4에 나타낸 3차원 그리드의 작성 및 갱신은, 측정점과 관측 중심을 연결하는 직선 상에 장해물이 존재하지 않는 알고리즘에 기초하여 행해진다. 예를 들어, 측정 대상점인 셀 p와 로봇 장치의 스테레오 카메라 등의 촬상 장치의 사이의 셀에 대하여, 빈(empty) 처리를 행한다. 계속해서, 측정점 p로서 기능하는 셀에 대하여 점유(occupied) 처리를 행한다.

3차원 그리드는, 셀 C에 대하여 장해물의 존재 확률(장해물에 의해 점유된 확률) p(C)를 유지하고, 빈 처리 및 점유 처리는 각 셀에 통계적인 처리이다. 빈 처리는 장해물의 존재 확률을 저하시키는 처리이며, 점유 처리는 장해물의 존재 확률을 증가시키는 처리이다. 본 실시예에서는, 빈 처리 및 점유 처리의 존재 확률을 산출하는 방법의 일례로서, 베이즈(Bayes)의 갱신 규칙을 사용한다.

빈 처리의 때는 이하의 수학식 1로 나타낸 바와 같이 점유 확률을 감소시킨다. 점유 처리의 때는 이하의 수학식 2로 나타낸 바와 같이 점유 확률을 증가시킨다. 수학식 1은, 셀 C의 점유 확률을 나타내는 p(c)가 "점유"를 나타내는 조건 하에 있는 셀 C의 확률을 나타낸다. 또한, 수학식 1 또는 수학식 2에서, 셀 C가 점유되어 있는지 또는 점유되어 있지 않은지를 나타내는 확률 p(occ|…), p(empty|…)은, 미리 결정되어 있는 임계치 th이다.

이상, 제어 장치(100)에서의 환경 지도 생성 처리에 대해서 설명했다. 다음으로, 도 5를 참조하여, 사용자의 지시에 의한 행동에 기초한 환경 지도의 갱신 처리에 대해서 설명한다. 도 5는 사용자의 지시에 의한 행동에 기초한 환경 지도의 갱신 처리를 나타내는 흐름도이다. 도 5에 나타낸 바와 같이, 우선, 사용자의 지시 정보를 취득한다(S202). 스텝(S202)에서는, 사용자의 지시 정보로서, 사용자로부터 대상 물체의 장소와 대상 물체의 명칭 등의 정보를 취득한다.

다음으로, 스텝(S202)에서 지정된 장소로 로봇을 이동시킨다(S204). 스텝 (S204)에서, 로봇의 이동 중에 다양한 관측 데이터를 취득하기 때문에, 도 3에 나타낸 자율 이동에 기초하여 환경 지도 갱신 처리를 실행할 수 있다. 또한, 로봇을 이동시킬 때는, 이전에 생성 또는 갱신된 환경 지도의 정보에 기초하여, 최적인 행동 경로를 결정하는 것이 가능하다.

스텝(S204)에서 로봇을 지정 장소로 이동시킨 후, 지정 장소에서 물체를 검출하고, 검출 위치를 환경 지도 상의 정보로서 유지한다(S206). 또한, 스텝(S206)에서 검출한 물체를 로봇이 그립한다(S208).

그리고, 로봇을 사용자의 위치로 이동시킨다(S210). 스텝(S210)에서도, 로봇의 이동 중에 관측 데이터를 취득하고, 환경 지도를 갱신할 수 있다.

스텝(S208)에서 그립된 물체를 사용자에게 건넨다(S212). 여기에서, 스텝 (S212)에서 사용자에게 건넨 물체가, 사용자가 지시한 물체인지 여부를 확인한다(S214). 스텝(S214)에서, 확인을 행함으로써, 로봇에 의한 물체에 대한 인식 오류나 잘못된 이동에 의해, 틀린 물체 정보가 환경 지도에 반영되는 것을 방지할 수 있다.

스텝(S214)에서 사용자에게 건넨 물체가, 사용자가 지시한 물체라고 확인되었을 경우에는, 환경 지도를 갱신한다(S216). 스텝(S216)에서는, 물체의 검출 장소, 물체의 명칭 및 무게를 포함하는 물체 정보 등의 환경 지도 상의 존재 확률을 증가시킨다. 도 3에 나타낸 자립적으로 환경 지도를 갱신하는 처리와는 다르게, 사용자 지시에 따라 환경 지도를 갱신할 경우에는, 사용자에 의해 물체의 명칭 등이 확인되기 때문에, 환경 지도의 존재 확률을 크게 갱신할 수 있다.

다음으로, 도 6을 참조하여, 사용자가 "나에게 가져와"라고 지시하였을 경우의 처리에 대해서 설명한다. 도 6은, 사용자가 "나에게 가져와"라고 지시하였을 경우의 처리를 나타내는 흐름도이다. 도 6에 나타낸 바와 같이, 우선, 사용자의 지시 정보로서, "나에게 가져와"를 취득한다(S222).

스텝(S222)에서 사용자가 "나에게 가져와"라고 지시한 후에, 사용자와 로봇 사이 위치 관계, 로봇의 현재의 장소나 현재 시간 등의 컨텍스트를 파악한다(S224). 예를 들어, 로봇의 현재의 장소가 거실인지 부엌인지를 파악하고, 현재 시간으로부터 아침인지 낮인지 저녁인지를 파악한다. 컨텍스트를 사용하여, 환경 지도 정보로부터 '저것'에 대응하는 물체를 추정한다.

여기에서, 환경 지도의 계층화 구조에 대하여 설명한다. 도 7에 나타낸 바와 같이, 환경 지도는 전체 지도와 국소 지도를 포함하는 계층화된 구조를 갖는다. 또한, 국소 지도는 시간축 정보를 고려한 3차원 구조를 갖는다. 환경 지도의 각 픽셀(x, y, t)에 연계되어 있는 정보로서는, 물체의 존재 확률, 물체의 정보(명칭, 무게), 사용자로부터의 지시어의 확률 등을 포함한다.

환경 지도는, 전술된 바와 같이, 모든 확률을 증가시키거나 감소시키는 것에 의해 갱신된다. 확률 밀도의 갱신은 시간적 및 공간적으로 행해진다. 단, '저것' 등의 지시어의 확률은, 그 시간의 공간에서만 갱신된다. 예를 들어, 부엌(61)에서 '저것'이라 지시되는 물체의 확률은, 설명도(63)에 나타낸 바와 같이, 매시간 갱신된다. 이것은, 시간의 흐름에 따라 '저것'이라 지시되는 물체의 확률은 변화하기 때문이다. 매시간 '저것'의 확률을 갱신함으로써, 로봇으로 하여금 사용자로부터의 "저것을 가져와"라는 지시의 '저것'을 로봇에 정확하게 해석시키는 것이 가능하다.

다시 도 6에서, 스텝(S224)에서, '저것'에 대응하는 물체를 추정한 후에, 사용자에 의해 사용자가 지시한 '저것'이 추정된 물체인지의 여부를 확인한다. 따라서, 사용자가 지시한 물체를 보다 확실하게 사용자에게 이동시킬 수 있다.

스텝(S224)에서 사용자가 '저것'이라 지시한 물체를 추정하고, 로봇이 환경 지도 정보에 기초하여 사용자가 지시한 물체의 위치로 이동한다(S226). 스텝(S226)에서, 로봇이 이동 중에 다양한 관측 데이터를 취득하고, 환경 지도가 필요에 따라 갱신될 수 있다.

그리고, 물체가 검출되고, 로봇에 의해 물체가 그립된다(S228). 스텝(S228)에서, 필요하면, 환경 지도에 등록되어 있는 물체의 명칭을 사용하여 사용자에 의한 확인을 행할 수 있다. 예를 들어, '저것'이라 지시되는 물체의 명칭이 "패트병"이나 "쥬스" 등의 명칭인지를 텍스트로 표시할 수 있고, 물체의 화상이 사용자에게 표시될 수 있다.

다음으로, 로봇이 사용자의 위치로 이동한다(S230). 스텝(S230)에서도, 로봇의 이동 중에 관측 데이터를 취득하고, 환경 지도를 갱신할 수 있다.

그리고, 스텝(S228)에서 그립된 물체를 사용자에게 건넨다(S232). 여기에서, 스텝(S232)에서 사용자에게 건넨 물체가, 사용자가 지시한 물체인지 여부를 확인한다(S234). 스텝(S234)에서, 사용자에게 건넨 물체가, 사용자가 지시한 '저것'에 대응하는 것인지 여부가 확인되었을 경우에는, 환경 지도를 갱신한다(S236). 스텝(S236)에서, 환경 지도의 대응점에서의 물체 정보를 갱신한다. 즉, 특정 컨텍스트에서의 '저것'이라 지시되는 확률을 증가시킨다.

이상, 사용자가 "나에게 가져와"라고 지시하였을 경우의 처리에 대해서 설명했다. 전술된 바와 같이, 본 실시예에 따르면, 환경 지도를 참조하여, 로봇으로 하여금 사용자로부터의 지시 정보에 기초한 처리를 실행하게 하고, 사용자로부터의 지시 정보나 지시 정보에 기초한 이동체의 처리에 기초하여 환경 지도를 갱신한다. 이에 따라, 사용자와의 교류를 통해서, 환경 지도에 여러 가지 정보를 부가하는 것이 가능하다.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시예에 대해서 상세하게 설명했지만, 본 발명은 상기 예들에 한정되지 않는다. 당업자이면, 첨부된 특허 청구 범위 내에서, 각종 대체 및 수정을 착안할 수 있고, 이러한 것들도, 당연히 본 발명의 기술적 범위에 속하는 것이라 할 수 있다.

예를 들어, 본 명세서의 제어 장치(100)의 처리에서의 각 스텝은, 반드시 흐름도에 기재된 순서에 따라 시계열로 처리할 필요는 없다. 즉, 제어 장치(100)의 처리에서의 각 스텝은 다른 처리일지라도, 처리에서의 각 스텝을 병렬적으로 실행할 수 있다.

또한, 제어 장치(100) 등에 내장된 CPU, ROM 및 RAM 등의 하드웨어를, 전술된 제어 장치(100)의 각 구성 요소와 동등한 기능을 나타내기 위한 컴퓨터 프로그램으로 작성할 수 있다. 또한, 컴퓨터 프로그램을 기억하기 위한 기억 매체도 제공된다.

본 출원은 2010년 3월 16일 일본 특허청에 출원된 일본 특허 출원 공개 공보 JP2010-059621에 개시된 것과 관련된 요지를 포함하며, 그 전체 내용은 참조로서 본원에 원용된다.

100: 제어 장치
101: 화상 인식부
102: 검출부
104: 기억부
105: 환경 지도

Claims

제어 장치로서,
이동체로 하여금 소정의 처리를 실행하게 하는 실행부;
상기 이동체가 이동 가능한 영역의 환경 지도를 기억하고 있는 기억부;
상기 이동체의 주변 정보를 검출하는 검출부;
상기 검출부에 의해 검출된 상기 이동체의 주변 정보에 기초하여, 상기 환경 지도를 갱신하는 갱신부; 및
사용자 입력에 따라 상기 사용자의 지시를 나타내는 지시 정보를 취득하는 취득부
를 포함하고,
상기 실행부는 상기 환경 지도를 참조하여 상기 이동체로 하여금 상기 지시 정보에 기초한 처리를 실행하게 하고,
상기 갱신부는 상기 지시 정보, 및 상기 지시 정보에 기초한 상기 이동체에 의해 실행되는 처리에 기초하여 상기 환경 지도를 갱신하고,
상기 환경 지도는 물체의 존재 확률을 나타내는 정보를 포함하여 구성되고,
상기 갱신부는 상기 지시 정보에 포함되는 지시어와 상기 물체의 존재 확률을 관련시켜서 상기 환경 지도를 갱신하고, 또한 상기 지시어의 출현 확률을 소정의 시간마다 갱신하는, 제어 장치.
제1항에 있어서,
상기 검출부는 상기 이동체의 주변에 존재하는 물체를 검출하고,
상기 갱신부는 상기 환경 지도에 포함되는 물체의 존재 확률을 갱신하는, 제어 장치.
제2항에 있어서,
상기 갱신부는 상기 지시 정보에 포함되는 상기 물체에 관한 정보와 상기 물체의 존재 확률을 관련시켜서 상기 환경 지도를 갱신하는, 제어 장치.
제1항에 있어서,
상기 실행부는 상기 지시 정보를 해석하여, 상기 지시 정보에 포함되는 사용자에 지시된 물체를 사용자 위치로 이동시키는 처리를 이동체에 실행시키는, 제어 장치.
제1항에 있어서,
상기 실행부는 상기 이동체를 사용자에 지시된 물체가 존재하는 장소로 이동시키고 상기 물체를 파지(gripping)하여 사용자가 위치하고 있는 장소로 이동시키는, 제어 장치.
제1항에 있어서,
사용자 입력에 따라 상기 실행부에 의해 실행된 상기 이동체의 처리가 상기 사용자의 지시에 대응하는지의 여부를 판정하는 판정부를 포함하는, 제어 장치.
제6항에 있어서,
상기 판정부가 상기 실행부에 의해 실행된 상기 이동체의 처리가 상기 사용자의 지시와 일치하고 있다고 판정한 경우, 상기 갱신부는 상기 지시 정보에 포함된 물체에 관한 정보의 존재 확률을 증가시키는, 제어 장치.
제7항에 있어서,
상기 갱신부는 상기 지시 정보에 포함되는 지시된 장소에서의 지시된 물체의 존재 확률을 증가시키는, 제어 장치.
제7항에 있어서,
상기 갱신부는 상기 지시 정보에 포함되는 지시된 시간에서의 지시어의 존재 확률을 증가시키는, 제어 장치.
이동체의 제어 방법으로서,
사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 스텝;
기억부에 기억되어 있는 이동체가 이동 가능한 영역의 환경 지도를 참조하여, 상기 이동체로 하여금 상기 지시 정보에 기초한 처리를 실행하게 하는 스텝;
상기 이동체의 주변 정보를 검출하는 스텝;
상기 검출된 상기 이동체의 주변 정보에 기초하여, 상기 환경 지도를 갱신하는 스텝; 및
상기 지시 정보, 및 상기 지시 정보에 기초한 상기 이동체에 의해 실행되는 처리에 기초하여 상기 환경 지도를 갱신하는 스텝을 포함하고,
상기 환경 지도는 물체의 존재 확률을 나타내는 정보를 포함하여 구성되고,
상기 갱신하는 스텝에서는, 상기 지시 정보에 포함되는 지시어와 상기 물체의 존재 확률을 관련시켜서 상기 환경 지도를 갱신하고, 또한 상기 지시어의 출현 확률을 소정의 시간마다 갱신하는,
이동체의 제어 방법.
컴퓨터를 제어 장치로서 기능하게 하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서,
상기 제어 장치는,
이동체로 하여금 소정의 처리를 실행하게 하는 실행부;
상기 이동체가 이동 가능한 영역의 환경 지도를 기억하고 있는 기억부;
상기 이동체의 주변 정보를 검출하는 검출부;
상기 검출부에 의해 검출된 상기 이동체의 주변 정보에 기초하여, 상기 환경 지도를 갱신하는 갱신부; 및
사용자 입력에 따라 사용자의 지시를 나타내는 지시 정보를 취득하는 취득부
를 포함하고,
상기 실행부는 상기 환경 지도를 참조하여 상기 이동체로 하여금 상기 지시 정보에 기초한 처리를 실행하게 하고,
상기 갱신부는 상기 지시 정보, 및 상기 지시 정보에 기초한 상기 이동체에 의해 실행되는 처리에 기초하여 상기 환경 지도를 갱신하고,
상기 환경 지도는 물체의 존재 확률을 나타내는 정보를 포함하여 구성되고,
상기 갱신부는 상기 지시 정보에 포함되는 지시어와 상기 물체의 존재 확률을 관련시켜서 상기 환경 지도를 갱신하고, 또한 상기 지시어의 출현 확률을 소정의 시간마다 갱신하는, 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
삭제
삭제