KR102625488B1

KR102625488B1 - 제어 장치 및 제어 방법, 프로그램, 그리고 이동체

Info

Publication number: KR102625488B1
Application number: KR1020207014651A
Authority: KR
Inventors: 다이 고바야시; 료 와타나베
Original assignee: 소니그룹주식회사
Priority date: 2017-12-05
Filing date: 2018-11-21
Publication date: 2024-01-17
Also published as: JP7180612B2; EP3722904A1; EP3722904B1; EP3722904A4; US20200387162A1; WO2019111701A1; KR20200090777A; US11592829B2; JPWO2019111701A1

Abstract

본 개시는, 자기 위치가 불분명해도, 다시, 신속하게 자기 위치를 추정할 수 있도록 하는 제어 장치 및 제어 방법, 프로그램, 그리고 이동체에 관한 것이다. LIDAR이나 차륜 인코더에 의해 검출되는 시계열에 공급되는 정보를 저장하고, 저장된 시계열의 정보를 사용하여 자기 위치를 추정하는 경우, 키드냅 상태 등의 미리 예측할 수 없는 자세 변화가 검출되었을 때는, 저장된 시계열의 정보를 리셋하고 나서, 다시, 자기 위치를 추정한다. 탑재된 계산기에 따라 자율적으로 이동하는 다족 로봇, 비상체, 차량 탑재 시스템에 적용할 수 있다.

Description

제어 장치 및 제어 방법, 프로그램, 그리고 이동체

본 개시는, 제어 장치 및 제어 방법, 프로그램, 그리고 이동체에 관한 것이며, 특히 자기 위치가 불분명한 상태에서도, 계산기에 의해 행동 계획을 생성하고, 자율적인 이동을 실현할 수 있도록 한 제어 장치 및 제어 방법, 프로그램, 그리고 이동체에 관한 것이다.

로봇 등의 이동체의 자율적인 이동을 실현하기 위해서는, 행동을 계획하는 기점이 되는 자기의 위치를 인식·추정할 필요가 있다. 그래서, 자기 주위의 상황을 센서 등의 수단으로 인식하여, 자기의 위치를 추정하고, 자율적인 이동을 계획하는 기술이 제안되어 있다.

예를 들어, 연속적으로 과거에 검출한 자기 위치의 정보를 이용하여 자기 위치를 순차적으로 추정하는 경우, 어떠한 외력에 의해, 지금까지의 자기 위치의 경향과는 전혀 다른 자기 위치로 이동해 버린 경우, 과거의 자기 위치의 정보와의 연속성을 상실함으로써, 자기 위치를 인식할 수 없는 상태가 된다.

그래서, 자기 위치를 인식할 수 없는 상태인, 슬립이나 키드냅(자기 위치를 인식할 수 없는 상태) 등의 이상 이동 상태가 발생할 때, 다중 상태 정보를 보정하여 이동 장치의 최종 위치 정보를 산출하고, 키드냅 중의 이동 거리를 반영하는 기술이 제안되어 있다(특허문헌 1 참조).

또한, 주행에 관한 제어 입력량과 실제의 이동량의 차에 의한 변동을 감시함과 함께, 변동이 외란에 의해 제어 가능한 범위를 일탈하여, 자기 위치를 인식할 수 없는 상태로 되었을 때 주행을 정지하는 기술이 제안되어 있다(특허문헌 2 참조).

일본 특허 제4718518호 공보 일본 특허 공개 제2013-45298호 공보

특허문헌 1에 있어서는, 키드냅 후의 보정에 키드냅 중의 이동 거리를 반영한다는 것을 명시하고 있고, 다시, 자기 위치를 구하는 것은 아니기 때문에, 정확하게 자기 위치를 검출할 수 없을 우려가 있다.

또한, 특허문헌 2에 있어서는, 제어 입력량과 실제의 이동량의 차에 의한 변동 감시에 한정되어 있어, 복수의 센서를 사용하여, 다시, 자기 위치를 추정할 수는 없을 우려가 있다.

본 개시는, 이와 같은 상황을 감안하여 이루어진 것이며, 특히 자기 위치가 불분명한 상태로부터, 다시, 자기 위치를 추정할 수 있도록 하는 것이다.

본 개시의 일 측면의 제어 장치는, 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와, 상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와, 센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부를 포함하는 제어 장치이다.

상기 자기 위치 추정부에는, 상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부를 포함시키도록 할 수 있고, 상기 시계열 정보 축적부는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되도록 할 수 있고, 상기 시계열 정보 자기 위치 추정부에는, 상기 제1 추정 모델로서, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정시키고, 상기 제2 추정 모델로서, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정시키도록 할 수 있다.

상기 시계열 정보 축적부에 축적된 과거의 시계열 정보는, 상기 리셋에 의해, 소정 시간 이상 길게 축적된 시계열 정보부터 삭제되도록 할 수 있다.

상기 시계열 정보 자기 위치 추정부에는, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 상기 리셋된 후, 상기 시계열 정보 축적부에 축적된 시간이 긴 상기 시계열 정보일수록, 상기 시계열 정보에 의해 추정되는 자기 위치의 가중도를 가볍게 하여, 상기 시계열 정보 자기 위치를 추정시키도록 할 수 있다.

상기 자기 위치 추정부에는, 사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 시계열 정보 자기 위치를 추정하는 시계열 정보 자기 위치 추정부를 포함시키도록 할 수 있고, 상기 시계열 정보 자기 위치 추정부에는, 상기 제1 추정 모델로서, 상기 시계열 정보 자기 위치를, 사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 추정시키고, 상기 제2 추정 모델로서, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 최신의 상기 시계열 정보의 가중을 최대로 한 후, 상기 칼만 필터를 사용하여, 상기 시계열 정보 자기 위치를 추정시키도록 할 수 있다.

상기 자기 위치 추정부에는, 상기 센서 정보에 의해 센싱되는 시계열 정보로서 축적하는 시계열 정보 축적부와, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부와, 상기 센서 정보에 의해 센싱되는 현재의 정보인 현재 정보에 기초하여, 상기 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력하는 현재 정보 자기 위치 추정부를 포함시키도록 할 수 있고, 상기 자기 위치 추정부에는, 상기 미리 예측할 수 없는 자세의 변화가 검출되지 않은 경우, 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용하고, 상기 미리 예측할 수 없는 자세의 변화가 검출된 경우, 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하도록 하게 할 수 있다.

상기 자기 위치 추정부에는, 상기 자세 변화 검출부의 검출 결과에 따라서, 동작 모드를, 적어도 제1 모드, 제2 모드 및 제3 모드로 천이시키도록 할 수 있고, 동작 개시 시에 있어서, 상기 동작 모드는, 제1 모드로 되고, 상기 제1 추정 모델에 의해 상기 자기 위치를 추정시키도록 할 수 있고, 상기 제1 모드에서, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 동작 모드를 제2 모드로 천이시키고, 상기 미리 예측할 수 없는 자세의 변화가 검출되었음을 통지시키도록 할 수 있고, 상기 제2 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 제3 모드로 천이시키고, 상기 제2 추정 모델에 의해, 상기 자기 위치를 추정시키도록 할 수 있고, 상기 제3 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 상기 제1 모드로 천이시키도록 할 수 있다.

상기 자기 위치 추정부에는, 상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부와, 상기 센서 정보에 의해 센싱되는 현재의 정보인 현재 정보에 기초하여, 상기 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력하는 현재 정보 자기 위치 추정부를 포함시키도록 할 수 있고, 상기 제1 모드에서, 상기 제1 추정 모델인, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용한, 상기 시계열 정보 자기 위치 추정부에 의해 추정된 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용시키고, 상기 제3 모드에서, 상기 제2 추정 모델인, 상기 현재 정보를 사용한, 상기 현재 정보 자기 위치 추정부에 의해 추정된 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용시키도록 할 수 있다.

상기 미리 예측할 수 없는 자세의 변화는, 상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태로의 변화이며, 상기 제1 모드는 통상 모드이고, 상기 제2 모드는 자기 위치 부정(不定) 모드이며, 상기 제3 모드는 현재 정보 자기 위치 추정 모드이도록 할 수 있다.

상기 동작 모드가, 상기 제3 모드인, 상기 현재 정보 자기 위치 추정 모드인 경우, 상기 미리 예측할 수 없는 자세의 변화가 검출되었을 때, 상기 자기 위치 추정부에는, 상기 동작 모드를, 상기 제2 모드인, 상기 자기 위치 부정 모드로 천이시키도록 할 수 있다.

상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태에는, 키드냅 상태, 발바닥 접지면 및 차륜의 슬립 상태, 비고정 물체의 승하차 및 센서 이상 상태를 포함시키도록 할 수 있다.

상기 미리 예측할 수 없는 자세의 변화는, 사고 발생 상태로의 변화이며, 상기 제1 모드는 통상 모드이고, 상기 제2 모드는 사고 직후 모드이며, 상기 제3 모드는 제어 회복 모드이도록 할 수 있다.

상기 사고 발생 상태에는, 사람, 물체 및 타기기·타차와의 충돌, 펑크, 부품 탈락, 부품 및 화물 낙하 상태를 포함시키도록 할 수 있다.

상기 시계열 정보는, LIDAR에 의해 검출되는 3차원 점군 정보, 및 차륜 인코더에 의해 검출되는 위치 정보, 자세, 속도, 가속도 및 각속도로 할 수 있고, 시계열 정보 자기 위치 추정부에는, 상기 시계열 정보에 기초하여, 칼만 필터 또는 입자 필터를 사용하여, 상기 자기 위치를 추정시키고, 추정 결과를 시계열 정보 자기 위치로서 출력시키고, 상기 현재 정보는, 스테레오 카메라에 의해 촬상되는 시차(視差) 화상으로 할 수 있고, 현재 정보 자기 위치 추정부에는, 상기 시차 화상으로부터 뎁스 화상을 생성시키고, 상기 뎁스 화상으로부터 화상 특징량을 추출시키고, 상기 화상 특징량에 기초하여 자기 위치를 추정시키고, 추정 결과를 현재 정보 자기 위치로서 출력시킨다.

상기 자기 자세 검출부가 상기 자기의 자세를 검출할 때 사용하는 상기 센서 정보에는, 연직 방향의 가속도를 포함시키도록 할 수 있고, 상기 자기 자세 검출부에는, 상기 연직 방향의 가속도의 변화의 주파수 성분을 추출하는 주파수 성분 추출부와, 상기 주파수 성분 추출부에 의해 추출된 주파수 성분으로부터 특징량을 추출하는 특징량 추출부와, 상기 특징량에 기초하여, 상기 자기의 자세를 검출하는 자세 검출부를 포함시키도록 할 수 있다.

기지의 자세에 대한 센서 정보에 기초하여, 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록된 데이터베이스를 더 포함시키도록 할 수 있고, 상기 자세 검출부에는, 상기 특징량에 기초하여, 상기 데이터베이스로부터, 대응하는 자세를 검색함으로써, 상기 자세를 검출시키도록 할 수 있다.

상기 데이터베이스에는, 상기 기지의 자세에 대한 센서 정보에 기초하여, 뉴럴 네트워크를 사용한 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록되도록 할 수 있다.

본 개시의 일 측면의 제어 방법은, 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출 처리와, 상기 자기 자세 검출 처리에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출 처리와, 센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출 처리에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정 처리를 포함하는 제어 방법이다.

본 개시의 일 측면의 프로그램은, 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와, 상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와, 센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부로서 컴퓨터를 기능시키는 프로그램이다.

본 개시의 일 측면의 이동체는, 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와, 상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와, 센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부와, 상기 자기 위치 추정부에 의해 추정된 자기 위치의 주변의 상황에 기초하여, 행동 계획을 생성하는 행동 계획 생성부와, 상기 행동 계획 생성부에 의해 결정된 행동 계획에 기초하여 이동체의 동작을 제어하는 제어부를 포함하는 이동체.

본 개시의 일 측면에 있어서는, 센서 정보에 기초하여, 자기의 자세가 검출되고, 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화가 검출되고, 센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치가 추정됨과 함께, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치가 추정된다.

본 개시의 일 측면에 의하면, 특히 자기 위치가 불분명한 상태로 되어도, 다시, 자기 위치를 추정하는 것이 가능해진다.

도 1은 본 개시의 개요를 설명하는 이동체의 구성예를 도시하는 도면이다.
도 2는 본 개시의 개요를 설명하는 도면이다.
도 3은 본 개시의 이동체를 제어하는 이동체 제어 시스템의 구성예를 설명하는 블록도이다.
도 4는 본 개시의 적합한 실시 형태에 관한 인식 처리부와 그 주변의 구성예의 상세한 블록도이다.
도 5는 자세 검출을 설명하는 도면이다.
도 6은 도 4의 특징량 자세 DB를 생성하는 특징량 자세 DB 생성부의 구성예이다.
도 7은 시계열 정보 자기 위치 추정 처리를 설명하는 흐름도이다.
도 8은 현재 정보 자기 위치 추정 처리를 설명하는 흐름도이다.
도 9는 자세 변화 검출 처리를 설명하는 흐름도이다.
도 10은 자율 이동 제어 처리를 설명하는 흐름도이다.
도 11은 특징량 자세 DB 학습 처리를 설명하는 흐름도이다.
도 12는 제1 변형예의 자율 이동 제어 처리를 설명하는 흐름도이다.
도 13은 제2 변형예에 있어서의 동작 모드의 상태 변화를 설명하는 도면이다.
도 14는 제2 변형예의 자율 이동 제어 처리를 설명하는 흐름도이다.
도 15는 도 14의 통상 모드 처리를 설명하는 흐름도이다.
도 16은 도 14의 위치 부정 모드 처리를 설명하는 흐름도이다.
도 17은 도 14의 현재 정보 자기 위치 추정 모드 처리를 설명하는 흐름도이다.
도 18은 제3 변형예에 있어서의 동작 모드의 상태 변화를 설명하는 도면이다.
도 19는 제3 변형예의 자율 이동 제어 처리를 설명하는 흐름도이다.
도 20은 도 19의 사고 직후 모드 처리를 설명하는 흐름도이다.
도 21은 도 19의 제어 회복 모드 처리를 설명하는 흐름도이다.
도 22는 범용의 컴퓨터의 구성예를 설명하는 도면이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.

1. 본 개시의 개요

2. 적합한 실시 형태

3. 제1 변형예

4. 제2 변형예

5. 제3 변형예

6. 소프트웨어에 의해 실행시키는 예

<<1. 본 개시의 개요>>

본 개시의 이동체는, 연속적으로 추정한 과거의 자기 위치의 추정 결과를 사용하여, 새로운 자기 위치 추정을 반복할 때, 외력에 의해 자기 위치가 상실된 후에도, 다시, 새롭게 자기 위치를 추정하는 이동체이다.

도 1은 본 개시의 이동체(11)의 개요가 되는 구성예를 도시하고 있다.

이동체(11)는, 예를 들어 로봇 등이며, 센서군(21), 자율 이동 제어부(22), 및 액추에이터군(23)을 구비하고 있다.

센서군(21)은, 이동체(11)의 내부, 및 이동체(11)의 주위의 상황의 인식에 필요한 각종 정보를 검출하는 센서(21a-1 내지 21a-n)를 구비하고 있고, 검출 결과를 자율 이동 제어부(22)에 출력한다. 또한, 센서(21a-1 내지 21a-n)에 대하여 특별히 구별할 필요가 없는 경우, 간단히, 센서(21a)라 칭하는 것으로 하고, 그 밖의 구성에 대해서도 마찬가지로 칭한다.

보다 구체적으로는, 센서(21a-1 내지 21a-n)는, 예를 들어 이동체(11)의 주위를 촬상하는 카메라, 이동체(11)의 움직임을 검출하는 가속도 센서, 이동체(11)의 주위에 존재하는 물체까지의 거리를 측정하는 LIDAR, ToF(Time of Flight) 센서, 방향을 검출하는 지자기 센서, 자이로 센서, 가속도 센서, 주위의 기압의 변화를 검출하는 기압 센서, 접촉의 유무 등을 검출하는 접촉 센서, 온도를 검출하는 온도 센서, 습도를 검출하는 습도 센서, PSD(Position Sensitive Detector) 측거 센서 및 지구 상의 위치를 검출하는 GNSS(Global Navigation Satellite System) 등을 포함한다.

자율 이동 제어부(22)는, 센서군(21)의 각종 검출 결과로부터, 주위의 상황을 인식하고, 인식 결과에 기초하여 행동 계획을 생성하고, 행동 계획에 따라서, 로봇을 구동시키는 액추에이터군(23)의 각종 액추에이터(23a-1 내지 23a-n)를 동작시킨다. 또한, 액추에이터(23a-1 내지 23a-n)에 대하여 특별히 구별할 필요가 없는 경우, 간단히, 액추에이터(23a)라 칭하는 것으로 하고, 그 밖의 구성에 대해서도 마찬가지로 칭한다.

보다 상세하게는, 자율 이동 제어부(22)는, 인식 처리부(31), 행동 계획 처리부(32), 및 행동 제어 처리부(33)를 구비하고 있다.

인식 처리부(31)는, 센서군(21)으로부터 공급되는 검출 결과에 기초하여, 인식 처리를 실행하고, 예를 들어 화상, 사람, 물체, 표정의 종류, 위치, 속성, 및 자신이나 장애물의 위치 등을 인식하고, 인식 결과로서 행동 계획 처리부(32)에 출력한다. 또한, 인식 처리부(31)는, 센서군(21)으로부터 공급되는 검출 결과에 기초하여, 자기 위치를 추정한다. 이때, 인식 처리부(31)는, 소정의 모델을 사용하여 자기 위치를 추정한다. 또한, 인식 처리부(31)는, 센서군(21)에 의해 공급되는 검출 결과에 기초하여, 외력의 영향에 의해, 소정의 모델을 사용한 자기 위치의 추정을 할 수 없는 상태로 되면, 소정의 모델과는 다른 모델로 자기 위치를 추정한다.

행동 계획 처리부(32)는, 인식 결과에 기초하여, 이동체(11)의 전체의 행동인, 이동체(11)의 이동에 관한 기기의 이동의 궤적, 상태 변화, 및 속도 또는 가속도 등의 행동 계획을 생성하고, 행동 제어 처리부(33)에 공급한다.

행동 제어 처리부(33)는, 행동 계획 처리부(32)로부터 공급되는 행동 계획에 기초하여, 액추에이터군(23)의 액추에이터(23a-1 내지 23a-n)의 각각의 구체적인 움직임을 제어하기 위한 제어 신호를 생성하여, 액추에이터군(23)을 동작시킨다.

액추에이터군(23)은, 행동 제어 처리부(33)로부터 공급되는 제어 신호에 기초하여, 이동체(11)를 구체적으로 동작시키는 액추에이터(23a-1 내지 23a-n)를 동작시킨다. 보다 상세하게는, 액추에이터(23a-1 내지 23a-n)는, 이동체(11)의 구체적인 움직임을 실현하는 모터, 서보 모터, 브레이크 등의 동작을 제어 신호에 기초하여 동작시킨다.

또한, 액추에이터(23a-1 내지 23a-n)는, 신축 운동, 굴신 운동, 또는 선회 운동 등을 실현시키는 구성을 포함함과 함께, 정보를 표시하는 LED(Light Emission Diode)나 LCD(Liquid Crystal Display) 등을 포함하는 표시부, 및 음성을 출력하는 스피커 등의 구성을 더 포함할 수도 있다. 따라서, 액추에이터군(23)이 제어 신호에 기초하여, 제어됨으로써, 이동체(11)를 구동시키는 각종 장치의 동작이 실현됨과 함께, 정보가 표시되고, 그리고 음성이 출력된다.

즉, 액추에이터군(23)의 액추에이터(23a-1 내지 23a-n)가 제어됨으로써, 이동체(11)의 이동에 관한 동작이 제어됨과 함께, 정보의 표시나 음성의 출력 등의 각종 정보의 제시도 제어된다.

<본 개시의 자기 위치 추정의 개요>

인식 처리부(31)는, 센서군(21)으로부터 공급되는 검출 결과에 기초하여, 자기 위치를 추정한다. 이때, 인식 처리부(31)는, 소정의 모델로서, 과거의 자기 위치의 추정 결과를 이용하여, 현재의 자기 위치를 추정한다. 그리고, 인식 처리부(31)는, 센서군(21)으로부터 공급되는 검출 결과에 기초하여, 외력에 의해, 지금까지와는 다른 큰 거동이 검출되거나 하여, 과거의 자기 위치의 추정 결과를 이용할 수 없는 상태를 검출하면, 소정의 모델과는 다른 모델을 이용하여, 예를 들어, 자기의 주변의 현재의 정보에 기초하여 자기 위치를 추정한다.

보다 상세하게는, 인식 처리부(31)는, 예를 들어 도 2에서 도시한 바와 같이, 시각 (t-1)에 있어서, 추정 모델 MA에 의해, 시각 (t-1)에 있어서의 센서군(21)에 의해 공급되는 검출 결과와, 과거의 시각 (t-2)에 있어서의 정보인, 자기 위치 D(t-2)를 이용하여, 현재의 자기 위치 D(t-1)을 추정한다.

마찬가지로, 시각 t에 있어서, 인식 처리부(31)는, 추정 모델 MA에 의해, 시각 t에 있어서의 센서군(21)에 의해 공급되는 검출 결과와, 과거의 시각 (t-1)에 있어서의 정보인, 자기 위치 D(t-1)(또한, 필요에 따라서, 과거의 시각 (t-2)에 있어서의 정보인, 자기 위치 D(t-2))을 이용하여, 현재의 자기 위치 D(t)를 추정한다.

다음에, 시각 (t+1)에 있어서, 인식 처리부(31)는, 외력에 의해, 자기 위치가 크게 변화되어, 과거의 자기 위치 추정 결과와의 연속예가 상실되어, 이용할 수 없는 상태로 된 경우, 추정 모델을 추정 모델 MA와 다른 추정 모델 MB로 전환하여, 예를 들어 현재의 시각 (t+1)에 있어서의 센서군(21)에 의해 공급되는 검출 결과만을 사용하여, 자기 위치 D(t+1)을 추정한다.

즉, 인식 처리부(31)는, 예를 들어 자기 위치를, 연속적으로 추정할 수 있는 경우에는, 추정 모델 MA에 의해 현재의 검출 결과와 과거의 자기 위치 추정 결과를 이용하여 자기 위치를 추정한다. 한편, 어떠한 외력에 의해 자기 위치가 크게 변화되어, 과거의 자기 위치 추정 결과를 이용할 수 없을 때는, 인식 처리부(31)는, 추정 모델 MA와 다른, 현재의 센서군(21)의 검출 결과만으로부터 자기 위치를 추정할 수 있는 추정 모델 MB에 의해 자기 위치를 추정한다. 단, 일반적으로, 추정 모델 MB는, 추정 모델 MA보다도 자기 위치의 검출 정밀도가 낮기 때문에, 통상은, 추정 모델 MA가 이용된다.

이와 같이 센서군(21)의 검출 결과에 따라서, 자기 위치가 상실된 상태로 되어도, 추정 모델을 전환함으로써, 자기 위치의 추정을 계속할 수 있게 된다.

결과로서, 자기 위치가 불분명한 상태로 되어도, 다시, 자기 위치의 추정을 계속시키는 것이 가능해져, 계속적으로 자율 행동을 실현하는 것이 가능해진다.

<<2. 적합한 실시 형태>>

<본 개시의 이동체를 제어하는 이동체 제어 시스템의 구성예>

상술한 기능을 실현시키기 위한 이동체(11)를 제어하는 이동체 제어 시스템에 대하여 설명한다.

도 3은 본 개시의 이동체(11)를 제어하는 이동체 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다. 또한, 도 3의 이동체 제어 시스템(100)은, 본 기술이 적용될 수 있는 로봇을 포함하는 이동체(11)를 제어하는 이동체 제어 시스템의 일례이지만, 다른 이동체, 예를 들어 항공기, 선박 및 멀티로터콥터(드론) 등을 제어하는 시스템으로서 적용할 수도 있다. 또한, 로봇에 대해서도, 차륜형 로봇이나 탑승 가능한 자동 운전차여도 되고, 다족 보행형 로봇이어도 된다.

이동체 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 이동체 내부 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 기억부(109), 및 자율 이동 제어부(110)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 기억부(109) 및 자율 이동 제어부(110)는, 통신 네트워크(111)를 통해, 서로 접속되어 있다. 통신 네트워크(111)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), IEEE802.3 등의 LAN(Local Area Network), 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 통신 네트워크나 버스, 혹은 규격화되어 있지 않은 독자의 통신 방식 등을 포함한다. 또한, 이동체 제어 시스템(100)의 각 부는, 통신 네트워크(111)를 통하지 않고, 직접 접속되는 경우도 있다.

또한, 이하, 이동체 제어 시스템(100)의 각 부가, 통신 네트워크(111)를 통해 통신을 행하는 경우, 통신 네트워크(111)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자율 이동 제어부(110)가, 통신 네트워크(111)를 통해 통신을 행하는 경우, 간단히 입력부(101)와 자율 이동 제어부(110)가 통신을 행한다고 기재한다.

입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 이동체 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 이동체 제어 시스템(100)의 각 부에 공급한다.

데이터 취득부(102)는, 이동체 제어 시스템(100)의 처리에 사용할 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 이동체 제어 시스템(100)의 각 부에 공급한다.

예를 들어, 데이터 취득부(102)는, 이동체의 상태 등을 검출하기 위한 각종 센서를 구비함으로써 센서군(112)을 구성하고, 도 1의 센서(21a-1 내지 21a-n)로 구성되는 센서군(21)에 대응한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 등의 가속 입력의 조작량, 감속 입력의 조작량, 방향 지시 입력의 조작량, 엔진이나 모터 등의 구동 장치의 회전수나 입출력 에너지·연료량, 엔진이나 모터 등의 토크양, 혹은, 차륜이나 관절의 회전 속도나 토크 등을 검출하기 위한 센서 등을 구비한다.

또한, 예를 들어 데이터 취득부(102)는, 이동체의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 편광 카메라 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 이동체의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 우적 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 레이저 측거 센서, 초음파 센서, 레이다, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 소나 등을 포함한다.

또한, 예를 들어 데이터 취득부(102)는, 이동체의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.

통신부(103)는, 이동체 내부 기기(104), 및 이동체 외부의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 이동체 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 이동체 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.

예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 이동체 내부 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및 필요하면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 이동체 내부 기기(104)와 유선 통신을 행한다.

또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 이동체의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 이동체(11)가 차량인 경우, 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 이동체와 집 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.

이동체 내부 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 이동체에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.

출력 제어부(105)는, 이동체의 탑승자 또는 이동체 외부에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.

출력부(106)는, 이동체의 탑승자 또는 이동체 외부에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다. 또한, 출력 제어부(105) 및 출력부(106)는, 자율 이동의 처리에는 필수의 구성은 아니기 때문에, 필요에 따라서 생략하도록 해도 된다.

구동계 제어부(107)는, 각종 제어 신호를 생성하여, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라서, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.

구동계 시스템(108)은, 이동체의 구동계에 관련되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 4개의 다리의 각 관절에 구비된 각도나 토크를 지정 가능한 서보 모터, 로봇 자체의 이동의 움직임을 4개의 발의 움직임으로 분해·치환하는 모션 컨트롤러 및 각 모터 내의 센서나 발바닥면의 센서에 의한 피드백 제어 장치를 구비한다.

다른 예에서는, 구동계 시스템(108)은, 4기 내지 6기의 기체 상향의 프로펠러를 갖는 모터, 로봇 자체의 이동의 움직임을 각 모터의 회전량으로 분해·치환하는 모션 컨트롤러를 구비한다.

또한, 다른 예에서는, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다. 또한, 출력 제어부(105), 출력부(106), 구동계 제어부(107), 및 구동계 시스템(108)은, 액추에이터군(113)을 구성하고, 도 1의 액추에이터(23a-1 내지 23a-n)를 포함하는 액추에이터군(23)에 대응한다.

기억부(109)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(109)는, 이동체 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(109)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 이동체의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.

자율 이동 제어부(110)는, 자동 운전 또는 운전 지원 등의 자율 이동에 관한 제어를 행한다. 구체적으로는, 예를 들어 자율 이동 제어부(110)는, 이동체의 충돌 회피 혹은 충격 완화, 이동체간 거리에 기초하는 추종 이동, 이동체 속도 유지 이동, 또는 이동체의 충돌 경고의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자율 이동 제어부(110)는, 조작자·유저의 조작에 상관없이 자율적으로 이동하는 자율 이동 등을 목적으로 한 협조 제어를 행한다. 자율 이동 제어부(110)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다. 이 중, 검출부(131), 자기 위치 추정부(132) 및 상황 분석부(133)는, 인식 처리부(121)를 구성하고, 도 1의 인식 처리부(31)에 대응한다. 또한, 계획부(134)는, 행동 계획 처리부(122)를 구성하고, 도 1의 행동 계획 처리부(32)에 대응한다. 또한, 동작 제어부(135)는, 행동 제어 처리부(123)를 구성하고, 도 1의 행동 제어 처리부(33)에 대응한다.

검출부(131)는, 자율 이동의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142), 및 이동체 상태 검출부(143)를 구비한다.

이동체 외부 정보 검출부(141)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체의 외부의 정보의 검출 처리를 행한다. 예를 들어, 이동체 외부 정보 검출부(141)는, 이동체의 주위의 물체의 검출 처리, 인식 처리 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 이동체, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 이동체 외부 정보 검출부(141)는, 이동체의 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 이동체 외부 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 및 상황 인식부(152), 그리고, 동작 제어부(135) 등에 공급한다.

이동체 내부 정보 검출부(142)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체 내부의 정보의 검출 처리를 행한다. 예를 들어, 이동체 내부 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리, 및 이동체 내부의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 이동체 내부의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 이동체 내부 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(152), 및 동작 제어부(135) 등에 공급한다.

이동체 상태 검출부(143)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체의 상태의 검출 처리를 행한다. 검출 대상이 되는 이동체의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 이동체 탑재 기기의 상태 등이 포함된다. 이동체 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(152) 및 동작 제어부(135) 등에 공급한다.

자기 위치 추정부(132)는, 이동체 외부 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(152) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라서, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151) 및 상황 인식부(152) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(109)에 기억시킨다.

또한, 자기 위치 추정부(132)는, 센서군(112)으로부터 공급되는 검출 결과에 기초하여, 시계열로 공급되는 시계열 정보를 데이터베이스에 축적함과 함께, 축적한 시계열의 정보에 기초하여, 자기 위치를 추정하고, 시계열 정보 자기 위치로서 출력한다. 또한, 자기 위치 추정부(132)는, 센서군(112)으로부터 공급되는 현재의 검출 결과에 기초하여, 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력한다. 그리고, 자기 위치 추정부(132)는, 시계열 정보 자기 위치와, 현재 정보 자기 위치를 통합하거나, 또는 전환함으로써 자기 위치 추정 결과로서 출력한다. 또한, 자기 위치 추정부(132)는, 센서군(112)으로부터 공급되는 검출 결과에 기초하여, 이동체(11)의 자세를 검출하고, 자세의 변화가 검출되고, 자기 위치가 크게 변화되어, 시계열 정보 자기 위치의 추정 정밀도가 저하된다고 간주될 때, 현재 정보 자기 위치만으로부터 자기 위치를 추정한다. 또한, 예를 들어 이동체(11)가 다른 이동체에 탑재되어 이동하는 경우, 자기 위치 추정부(132)는, 센서군(112)으로부터 공급되는 검출 결과에 기초하여, 이동체(11)의 자세의 변화가 검출되지 않아도, 자기 위치가 크게 변화되므로, 시계열 정보 자기 위치의 추정 정밀도가 저하된다고 간주하고, 현재 정보 자기 위치만으로부터 자기 위치를 추정한다. 이것은, 예를 들어 이동체(11)가 차량이며, 카페리 보트에 탑재되어 이동하는 경우를 생각할 수 있다. 이와 같이 함으로써, 외력의 영향의 유무에 관계없이, 미리 예측할 수 없는 자세의 변화가 있어, 자기 위치가 크게 변화되는 때라도, 현재 정보 자기 위치만으로부터 자기 위치가 추정되므로, 자기 위치를 소정의 정밀도로 추정할 수 있다. 또한, 자기 위치 추정부(132)의 상세한 구성에 대해서는, 도 4를 참조하여 후술한다.

상황 분석부(133)는, 이동체 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 상황 인식부(152), 및 상황 예측부(153)를 구비한다.

맵 해석부(151)는, 자기 위치 추정부(132) 및 이동체 외부 정보 검출부(141) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(109)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자율 이동의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 상황 인식부(152), 상황 예측부(153), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.

상황 인식부(152)는, 자기 위치 추정부(132), 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142), 이동체 상태 검출부(143) 및 맵 해석부(151) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(152)는, 이동체의 상황, 이동체의 주위의 상황, 및 이동체의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(152)는, 필요에 따라서, 이동체의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map), 도로 지도(Lane Map), 또는 점군 지도(Point Cloud Map)로 된다.

인식 대상이 되는 이동체의 상황에는, 예를 들어 이동체의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 이동체의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.

상황 인식부(152)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라서, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(153) 등에 공급한다. 또한, 상황 인식부(152)는, 상황 인식용 맵을 기억부(109)에 기억시킨다.

상황 예측부(153)는, 맵 해석부(151) 및 상황 인식부(152) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(153)는, 이동체의 상황, 이동체의 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.

예측 대상이 되는 이동체의 상황에는, 예를 들어 이동체의 거동, 이상의 발생 및 이동 가능 거리 등이 포함된다. 예측 대상이 되는 이동체의 주위의 상황에는, 예를 들어 이동체의 주위의 동물체의 거동, 신호의 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.

상황 예측부(153)는, 예측 처리의 결과를 나타내는 데이터를, 및 상황 인식부(152)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.

루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.

행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 이동하기 위한 이동체의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 이동 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 이동체의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.

보다 상세하게는, 행동 계획부(162)는, 각각 루트 계획부(161)에 의해 계획된 루트의 각각에 대하여, 계획된 시간 내에서 안전하게 이동하기 위한 이동체의 행동 계획의 후보를 행동 계획 후보로서 생성한다. 보다 구체적으로는, 행동 계획부(162)는, 예를 들어 환경을 격자형으로 구획하여, 도달 판정 및 경로의 가중도를 최적화하여 최량의 패스를 생성하는 A*algorithm(A star 탐색 알고리즘), 도로 중심선을 따라서 경로를 설정하는 Lane algorithm, 및 자기 위치로부터 점진적으로 도달 가능한 장소로의 패스를 적절하게 가지치기하면서 늘려가는 RRT(Rapidly-exploring Random Tree) algorithm 등에 의해 행동 계획 후보를 생성한다.

동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 이동체의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 이동 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 이동체의 동작을 나타내는 데이터를, 동작 제어부(135) 등에 공급한다.

동작 제어부(135)는, 이동체의 동작의 제어를 행한다.

보다 상세하게는, 동작 제어부(135)는, 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142) 및 이동체 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 이동체의 이상 등의 긴급 사태의 검출 처리를 행한다. 동작 제어부(135)는, 긴급 사태의 발생을 검출한 경우, 급정지나 급선회 등의 긴급 사태를 피하기 위한 이동체의 동작을 계획한다.

또한, 동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동체의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 동작 제어부(135)는, 계획된 가속, 감속, 또는 급정지를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.

동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동체의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.

<인식 처리부의 상세한 구성예>

다음에, 도 4를 참조하여, 도 3의 이동체 제어 시스템(100) 중, 인식 처리부(31)에 대응하는 자율 이동 제어부(110)의 인식 처리부(121)와, 그 주변의 구체적인 구성예에 대하여 설명한다.

또한, 여기서는, 이동체가 차륜형 이동 로봇을 포함하는 이동체(11)인 예에 대하여 설명하지만, 그 밖의 로봇이나 차량 등의 이동체여도 된다.

센서군(112)은, LIDAR(201), 차륜 인코더(202), 스테레오 카메라(203) 및 내계 센서(204)를 구비하고 있는 것으로 한다. 당연히, 4족 보행 로봇이나 차량 등이면, 그 밖의 센서를 사용하도록 해도 된다.

LIDAR(201)은, 이동체(11)의 주위의 물체까지의 거리를 3차원 점군 데이터로서 취득하고, 검출부(131)를 통해, 자기 위치 추정부(132)의 시계열 정보 자기 위치 추정부(221)에 시계열 정보로서 출력한다.

차륜 인코더(202)는, 이동체(11)의 위치 정보(X, Y, Z), 자세(쿼터니언), 속도(dx, dy, dz), 가속도(ax, ay, az), 및 각속도(wx, wy, wz)를 검출하고, 검출부(131)를 통해, 시계열 정보 자기 위치 추정부(221)에 시계열 정보로서 출력한다.

스테레오 카메라(203)는, 이동체(11)의 주위의 시차 화상을 촬상하여, 검출부(131)를 통해, 현재 정보 자기 위치 추정부(223)에 현재 정보로서 출력한다.

내계 센서(204)는, 가속도 센서, 자이로 센서 및 지자기 센서 등의 총칭이며, 이동체(11)의 가속도, 각도, 각속도 및 지자기 방향 등을 검출하고, 검출부(131)를 통해, 자기 위치 추정부(132)에 출력한다.

자기 위치 추정부(132)는, 시계열 정보 자기 위치 추정부(221), 시계열 정보 DB(222), 현재 정보 자기 위치 추정부(223), 위치 화상 특징량 DB(224), 자기 위치 추정 결과 전환부(225), 자기 자세 검출부(226), 특징량 자세 DB(227), 및 자세 변화 검출부(228)를 구비하고 있다.

시계열 정보 자기 위치 추정부(221)는, LIDAR(201) 및 차륜 인코더(202)로부터 공급되는, 자기 위치 및 주위의 장애물의 위치를 표현하는 3차원 점군 데이터 등의 시계열 정보를 시계열 정보 DB(222)에 저장한다. 또한, 시계열 정보 자기 위치 추정부(221)는, 시계열 정보 DB(222)로부터, 과거부터 현재까지의 시계열 정보를 필요에 따라서 판독하고, 판독한 과거부터 현재까지의 시계열 정보에 기초하여 자기 위치를 추정하고, 자기 위치 추정 결과 전환부(225)에 공급한다.

또한, 시계열 정보 자기 위치 추정부(221)에 의한, SLAM(Simultaneous Localisation and Mapping)을 사용한 구체적인 자기 위치 추정 방법에 대해서는, 「확장 칼만 필터를 사용한 이동 로봇의 자기 위치 추정과 환경 인식」 모리모토 유스케, 나메리카와 토루, 「Simultaneous Localisation and Mapping(SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey」 및 「Simultaneous Localisation and Mapping(SLAM): Part II State of the Art Tim Bailey and Hugh Durrant-Whyte」를 참조하기 바란다. 또한, 시계열 정보 자기 위치 추정부(221)에 의해 시계열 정보에 기초하여 추정되는 자기 위치를 시계열 정보 자기 위치라 칭한다.

현재 정보 자기 위치 추정부(223)는, 스테레오 카메라(203)로부터 공급되는 시차 화상에 기초하여, 뎁스 화상(거리 화상)을 생성하고, 뎁스 화상으로부터 화상 특징량을 추출한다. 그리고, 현재 정보 자기 위치 추정부(223)는, 위치와 화상 특징량이 대응지어져 기억되어 있는 위치 화상 특징량 DB(224)로부터, 추출한 특징량에 대응하는 위치의 정보에 기초하여, 자기 위치를 추정하고, 자기 위치 추정 결과 전환부(225)에 공급한다. 또한, 현재 정보 자기 위치 추정부(223)에 의해 현재 정보에 기초하여 추정되는 자기 위치를 현재 정보 자기 위치라 칭한다.

자기 자세 검출부(226)는, 내계 센서(204)로부터 공급되는 검출 결과에 기초하여, 이동체(11)의 자기의 자세를 검출하여 자세 변화 검출부(228)에 출력한다.

보다 상세하게는, 자기 자세 검출부(226)는, 주파수 성분 추출부(271), 특징량 추출부(272) 및 자세 검출부(273)를 구비하고 있다.

주파수 성분 추출부(271)는, 내계 센서(204)의 검출 결과에 기초하여, 이동체(11)의 진동의 주파수 성분을, 예를 들어 FFT(Fast Fourier Transform)에 의해 추출하고, 특징량 추출부(272)에 출력한다.

특징량 추출부(272)는, 주파수 성분 추출부(271)로부터 공급된 이동체(11)의 진동의 주파수 성분으로부터 특징량을 추출하여 자세 검출부(273)에 출력한다.

자세 검출부(273)는, 미리 학습에 의해 특징량과 자세가 대응지어져 등록되어 있는 특징량 자세 DB(227)에 액세스하여, 추출된 특징량에 기초하여, 대응지어져 등록되어 있는 자세를 추출하고, 현재의 이동체(11)의 자세 정보로서, 자세 변화 검출부(228)에 출력한다. 자세 검출부(273)가 특징량에 기초하여 검출하는 자세의 정보는, 적어도 통상 보행 상태, 안아 올리기, 및 정지 상태의 3종류의 자세를 포함하는 것이다.

보다 구체적으로는, 이동체(11)가 주행하고 있는 상태와, 갑자기 들어 올려져 버리는, 소위, 안아 올리기 상태(kidnap 상태)는, 예를 들어 연직 방향의 가속도와, 그 주파수 해석 결과인 파워 스펙트럼에 기초하여, 식별할 수 있다.

도 5의 상단은, 연직 방향의 가속도를 나타내고 있고, 내계 센서(204)의 출력이 20Hz일 때의 1.6초분, 즉, 32요소에 대한 변위를 나타내고 있으며, 횡축이 시간이고, 종축이 가속도이다.

또한, 도 5의 하단은, 좌측으로부터 x 방향(x), y 방향(y), z(z) 방향의 가속도이고, x 방향(rx), y 방향(ry), z 방향(zy)의 각각의 회전 속도의 파워 스펙트럼이며, 횡축이 주파수(Hz: 10Hz분씩)이고, 종축이 각각의 파워 스펙트럼이다. 여기에서는, x, y 방향이 수평 방향의 좌표계이고, z 방향이 수직(연직) 방향의 좌표계이다.

또한, 도 5의 좌측부의 상단 및 하단은, 모두 안아 올리기 상태(kidnap 상태)에 있어서의 파형을 나타내고 있고, 도 5의 우측부의 상단 및 하단은, 모두 주행 상태에 있어서의 파형을 나타내고 있다.

도 5의 상단에 도시한 바와 같은 파형에, FFT를 사용한 주파수 해석이 가해짐으로써, 도 5의 하단에서 도시한 바와 같은 파형이 된다.

주행 상태일 때는, 도 5의 우측 상단에서 도시한 바와 같이, 연직 방향의 가속도에는 변화가 없음이 나타나 있다. 이에 반해, 안아 올리기 상태 시에는, 도 5의 좌측 상단에서 도시한 바와 같이, 0.4초 부근에 있어서 작아진 후, 1.1초 내지 1.4초의 범위에서 크게 변화되어 있다.

이 결과, 파워 스펙트럼에 있어서는, 특히 연직 방향인 z 방향으로 큰 변화가 나타나고, 주행 상태에 있어서는, 전범위에 있어서 평균하여 거의 1.0 이하 정도이지만, 안아 올리기 상태에 있어서는, 2.5Hz까지의 범위에서는 평균하여 거의 2.5를 초과하는 큰 값으로 된다. 또한, 안아 올리기 상태에 있어서는, x, y 방향의 2.5Hz까지의 범위에 있어서, 평균하여 거의 1.0 이상으로 되고, 5Hz 내지 10Hz까지의 범위에 있어서, 평균이 거의 2.0 이하로 된다. 이에 반해, 주행 상태에 있어서는, x, y 방향의 2.5Hz까지의 범위에 있어서, 평균하여 거의 2.0 이상으로 되고, 5Hz 내지 10Hz까지의 범위에 있어서, 평균하여 1.0 이하로 된다.

이에 의해, 안아 올리기 상태에 대해서는, z 방향에 대하여, 2.5Hz까지의 범위에서 파워 스펙트럼이 2.5 이상이고, x, y 방향의 2.5Hz까지의 범위에 있어서, 평균하여 거의 1.0 이상으로 되고, 5Hz 내지 10Hz까지의 범위에 있어서, 평균이 거의 2.0 이하로 된다.

즉, 이와 같은, x, y, z 방향의 각각의 주파수 대역별 파워 스펙트럼의 분포가, 안아 올리기 상태의 특징량으로 된다.

또한, 자세의 검출 방법은, 이 이외의 방법이어도 되고, 예를 들어 「가속도 센서와 자이로 센서를 사용한 제스처 인식, 이타구치 다카시, 가나모리 쓰토무, 가타요세 하루히로, 사토 코스케, 이노구치 세이지 저」 및 「유저의 신체적 특징 정보를 사용한 행동 인식 모델의 학습 방법, 마에카와 다쿠야, 와타나베 신지 저」를 참조하기 바란다.

특징량 자세 DB(227)에는, 이와 같이 특징량과, 자세가 대응지어져 등록되어 있다. 그래서, 자세 검출부(273)는, 특징량 자세 DB(227)에 액세스하여, 주파수 해석 결과로부터 얻어지는 특징량에 대응지어져 등록되어 있는 자세를 검출한다.

또한, 특징량 자세 DB(227)를 생성하는 특징량 자세 DB 생성부(301)(도 6)에 대해서는, 도 6을 참조하여 상세를 후술한다.

자세 변화 검출부(228)는, 자기 자세 검출부(226)로부터 출력되는 자세 정보를 취득하여, 자세의 변화의 유무를 검출하고, 검출 결과를 자기 위치 추정 결과 전환부(225)에 출력한다. 보다 상세하게는, 자세 변화 검출부(228)는, 이동체(11)의 적어도 통상 보행 상태, 안아 올리기, 및 정지 상태의 3종류의 자세의 변화를 검출하고, 검출 결과를 자기 위치 추정 결과 전환부(225)에 출력한다.

자기 위치 추정 결과 전환부(225)는, 시계열 정보 자기 위치 추정부(221)로부터 공급되는 시계열 정보 자기 위치와, 현재 정보 자기 위치 추정부(223)로부터 공급되는 현재 정보 자기 위치를 전환하거나, 또는 통합하여 자기 위치 추정 결과로서, 상황 분석부(133)에 출력한다.

또한, 자기 위치 추정 결과 전환부(225)는, 자세 변화 판정부(251)를 구비하고 있고, 자세 변화 검출부(228)로부터 자세의 변화가 검출되었음이 통지되었는지 여부를 판정하고, 자세의 변화가 검출되었음이 통지되면, 시계열 정보 DB(222)에 저장되어 있는 시계열 정보를 리셋하여 모두 소거한다.

<특징량 자세 DB 생성부의 구성예>

다음에, 도 6을 참조하여, 도 4의 특징량 자세 DB(227)를 생성하는 특징량 자세 DB 생성부(301)의 구성예에 대하여 설명한다.

특징량 자세 DB 생성부(301)는, 과거의 자세를 알고 있는 내계 센서(204)의 검출 결과가 등록된 자세 DB(302)의 정보에 기초하여, 자세별로 검출 결과로부터 추출되는 특징량과의 관계를 학습하여, 특징량 자세 DB(227)에 등록한다.

보다 상세하게는, 특징량 자세 DB 생성부(301)는, 주파수 성분 추출부(311), 특징량 추출부(312), 및 특징량 자세 학습부(313)를 구비하고 있다.

주파수 성분 추출부(311)는, 주파수 성분 추출부(271)에 대응하는 구성이며, 과거의 자세를 알고 있는 내계 센서(204)의 검출 결과를 자세 DB(302)로부터 판독한다. 그리고, 주파수 성분 추출부(311)는, 판독한 검출 결과인 진동의 주파수 성분을, 예를 들어 FFT(Fast Fourier Transform)를 적용함으로써 해석하여 추출하고, 자세의 정보와 함께 특징량 추출부(312)에 출력한다.

특징량 추출부(312)는, 특징량 추출부(272)에 대응하는 구성이며, 주파수 성분 추출부(311)로부터 공급되는 주파수 성분으로부터 특징량을 추출하여, 자세의 정보와 함께 특징량 자세 학습부(313)에 출력한다.

특징량 자세 학습부(313)는, 미리 알고 있는 자세와 대응하는 특징량의 관계를 학습하고, 학습 결과로서 얻어진, 자세와 특징량의 관계를 대응지어, 특징량 자세 DB(227)에 등록한다.

<시계열 정보 자기 위치 추정 처리>

다음에, 도 7의 흐름도를 참조하여, 시계열 정보 자기 위치 추정 처리에 대하여 설명한다.

스텝 S11에 있어서, LIDAR(201)은, 이동체(11)의 주위의 물체까지의 거리를 3차원 점군 데이터로서 취득하고, 검출부(131)를 통해, 자기 위치 추정부(132)의 시계열 정보 자기 위치 추정부(221)에 시계열 정보로서 출력한다.

스텝 S12에 있어서, 차륜 인코더(202)는, 이동체(11)의 위치 정보, 자세, 속도, 가속도 및 각속도를 검출하고, 검출부(131)를 통해, 시계열 정보 자기 위치 추정부(221)에 시계열 정보로서 출력한다.

스텝 S13에 있어서, 시계열 정보 자기 위치 추정부(221)는, 최신의 시계열 정보를 취득하여, 시계열 정보 DB(222)에 등록한다.

스텝 S14에 있어서, 시계열 정보 자기 위치 추정부(221)는, 시계열 정보 DB(222)에 등록되어 있는 최신의 시계열 정보와, 과거의 시계열 정보로부터, 예를 들어 SLAM에 의해 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치 정보로서 자기 위치 추정 결과 전환부(225)에 출력한다.

스텝 S15에 있어서, 시계열 정보 자기 위치 추정부(221)는, 처리의 종료가 지시되었는지 여부를 판정하고, 종료가 아닌 경우, 처리는, 스텝 S11로 되돌아간다.

그리고, 스텝 S15에 있어서, 처리의 종료가 지시된 경우, 처리는 종료된다.

이상의 처리에 의해, LIDAR(201) 및 차륜 인코더(202)에 의해 검출되는 시계열 정보가 순차적으로 검출되어, 시계열 정보 DB(206)에 순차적으로 축적되고, 시계열로 축적된 과거부터 현재까지의 시계열로 축적된 시계열 정보에 기초하여, 시계열 정보 자기 위치가 추정되어, 반복하여 자기 위치 추정 결과 전환부(225)에 출력된다.

<현재 정보 자기 위치 추정 처리>

다음에, 도 8의 흐름도를 참조하여, 현재 정보 자기 위치 추정 처리에 대하여 설명한다.

스텝 S31에 있어서, 스테레오 카메라(203)는, 이동체(11)의 주위의 시차 화상을 촬상하여, 검출부(131)를 통해, 현재 정보 자기 위치 추정부(223)에 현재 정보로서 출력한다.

스텝 S32에 있어서, 현재 정보 자기 위치 추정부(223)는, 스테레오 카메라(203)로부터 공급되는 시차 화상에 기초하여, 뎁스 화상(거리 화상)을 생성한다.

스텝 S33에 있어서, 현재 정보 자기 위치 추정부(223)는, 생성한 뎁스 화상으로부터, 화상 특징량을 추출한다.

스텝 S34에 있어서, 현재 정보 자기 위치 추정부(223)는, 위치와 화상 특징량이 대응지어져 기억되어 있는 위치 화상 특징량 DB(224)로부터, 추출한 화상 특징량에 대응하는 위치의 정보를 검출함으로써 자기 위치를 추정하고, 추정 결과를 현재 정보 자기 위치로서 자기 위치 추정 결과 전환부(225)에 공급한다.

스텝 S35에 있어서, 현재 정보 자기 위치 추정부(223)는, 처리의 종료가 지시되었는지 여부를 판정하고, 종료가 아닌 경우, 처리는, 스텝 S31으로 되돌아간다.

그리고, 스텝 S35에 있어서, 처리의 종료가 지시된 경우, 처리는 종료된다.

이상의 처리에 의해, 스테레오 카메라(203)에 의해 시차 화상이 현재 정보로서 촬상되고, 현재 정보로서의 시차 화상으로부터 뎁스 화상이 생성되고, 생성된 뎁스 화상의 화상 특징량이 추출되고, 화상 특징량에 대응지어져 등록되어 있는 위치 정보에 기초하여, 현재 정보 자기 위치가 추정되어, 반복하여 자기 위치 추정 결과 전환부(225)에 출력된다.

<자세 변화 검출 처리>

다음에, 도 9의 흐름도를 참조하여, 자세 변화 검출 처리에 대하여 설명한다.

스텝 S51에 있어서, 내계 센서(204)가, 이동체(11)의 가속도, 각도, 각속도 및 지자기 방향 등을 검출하고, 검출부(131)를 통해, 자기 위치 추정부(132)의 자기 자세 검출부(226)에 출력한다.

스텝 S52에 있어서, 자기 자세 검출부(226)의 주파수 성분 추출부(271)는, 내계 센서(204)에 의해 검출된 가속도, 각도, 각속도 및 지자기 방향의 검출 결과에, FFT를 적용하여 주파수 해석하고, 해석 결과를 특징량 추출부(272)에 출력한다.

스텝 S53에 있어서, 특징량 추출부(272)는, 주파수 해석 결과로부터 특징량을 추출하여, 자세 검출부(273)에 출력한다.

스텝 S54에 있어서, 자세 검출부(273)는, 도 5를 참조하여 설명한 바와 같이, 특징량 자세 DB(227)에 액세스하여, 특징량에 기초하여, 대응하는 자세의 정보를 검색하고, 검색 결과를 현재의 자세로서 검출하여, 자세 변화 검출부(228)에 출력한다.

스텝 S55에 있어서, 자세 변화 검출부(228)는, 자기 자세 검출부(226)로부터 공급되는, 새로운 현재의 자세의 정보를 기억함과 함께, 자기 위치 추정 결과 전환부(225)에 통지한다.

스텝 S56에 있어서, 자세 변화 검출부(228)는, 자기 자세 검출부(226)로부터 공급된, 새로운 현재의 자세의 정보와, 직전까지 기억되어 있던 자세의 정보를 비교하여, 자세에 변화가 발생하였는지 여부를 판정한다.

스텝 S56에 있어서, 직전까지의 자세와, 현재의 자세가 달라 변화가 발생하였다고 간주되는 경우, 처리는, 스텝 S57로 진행된다.

스텝 S57에 있어서, 자세 변화 검출부(228)는, 자세가 변화되었음을 자기 위치 추정 결과 전환부(225)에 통지한다.

한편, 스텝 S56에 있어서, 자세의 변화가 검출되지 않은 경우, 스텝 S57의 처리가 스킵된다.

스텝 S58에 있어서, 자기 자세 검출부(226)는, 처리의 종료가 지시되었는지 여부를 판정하고, 종료가 아닌 경우, 처리는, 스텝 S51로 되돌아간다. 즉, 종료가 지시될 때까지, 스텝 S51 내지 S58의 처리가 반복되어, 자기 자세가 검출됨과 함께, 변화의 유무가 계속해서 검출된다.

그리고, 스텝 S58에 있어서, 처리의 종료가 지시된 경우, 처리는 종료된다.

이상의 처리에 의해, 이동체(11)의 자세가 검출됨과 함께, 검출된 자세의 정보가 자기 위치 추정 결과 전환부(225)에 통지된다. 또한, 검출된 자세의 정보가 순차적으로 기억되고, 검출된 현재의 자세의 정보와 직전까지 기억되어 있는 자세의 비교에 의해, 자세가 변화되었는지 여부가 판정되고, 자세 변화가 검출된 경우, 자세 변화가 검출되었음이, 자기 위치 추정 결과 전환부(225)에 통지된다.

<자율 이동 제어 처리>

다음에, 도 10의 흐름도를 참조하여, 도 4의 이동체 제어 시스템(100)에 있어서의 자율 이동 제어 처리에 대하여 설명한다.

스텝 S71에 있어서, 자기 위치 추정 결과 전환부(225)의 자세 변화 판정부(251)는, 자세 변화 검출 처리에 의해 검출되는, 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로 변화되는 자세 변화가 검출되었음이 통지되었는지 여부를 판정한다.

스텝 S71에 있어서, 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로 변화되는 자세 변화가 검출된 경우, 처리는, 스텝 S72로 진행된다.

스텝 S72에 있어서, 자기 위치 추정 결과 전환부(225)는, 이동체(11)를 소정 시간만큼 정지하도록 행동 제어 처리부(123)에 대하여 지시를 출력한다. 이에 의해, 행동 제어 처리부(123)는, 액추에이터군(113)을 제어하여, 소정 시간만큼 이동체(11)의 동작을 정지시킨다.

스텝 S73에 있어서, 자기 위치 추정 결과 전환부(225)는, 소정 시간이 경과하여, 동작의 정지가 해제된 후, 시계열 정보 DB(222)에 등록되어 있는 과거의 시계열 정보를 리셋한다.

또한, 스텝 S71에 있어서, 자세 변화가 검출되지 않았다고 간주된 경우, 스텝 S72, S73의 처리는 스킵된다. 즉, 이 경우, 시계열 정보 DB(222)에 등록되어 있는 과거의 시계열 정보는, 리셋되지 않고, 등록된 상태가 유지된다. 또한, 안아 올리기 상태가 검출되면, 과거의 시계열 정보를 사용하여 자기 위치를 추정할 수 없으므로, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보의 정보가 모두 소거되어 리셋된다.

스텝 S74에 있어서, 자기 위치 추정 결과 전환부(225)는, 시계열 정보 자기 위치 추정부(221)의 추정 결과인 시계열 정보 자기 위치를, 자기 위치 추정 결과로서 상황 분석부(133)에 출력한다.

스텝 S75에 있어서, 상황 분석부(133)는, 자기 위치의 추정 결과에 기초하여, 자기 위치의 주위의 상황을 분석하고, 분석 결과를 행동 계획 처리부(122)에 출력한다.

스텝 S76에 있어서, 행동 계획 처리부(122)는, 자기 위치의 추정 결과에 기초한 주위의 분석 결과에 의해, 목적지까지의 루트를 계획하고, 계획된 루트에 기초하여, 행동 계획을 결정하고, 액추에이터군(113)을 제어하기 위한 동작 계획을 생성하여, 행동 제어 처리부(123)에 출력한다.

스텝 S77에 있어서, 행동 제어 처리부(123)는, 동작 계획부(163)로부터 공급되는 동작 계획에 기초하여, 액추에이터군(113)을 제어한다.

스텝 S78에 있어서, 자율 이동 제어부(110)는, 종료가 지시되었는지 여부를 판정하고, 종료가 지시되지 않은 경우, 처리는, 스텝 S71로 되돌아간다. 즉, 스텝 S71 내지 S78의 처리가 반복된다. 그리고, 스텝 S78에 있어서, 종료가 지시된 경우, 처리는 종료된다.

이상의 처리에 의해, 외력의 영향 등에 의해 안아 올리기 상태로 되는 자세 변화가 검출되지 않은 경우에는, 시계열 정보 DB(222)에 등록되어 있는 과거의 시계열 정보는 리셋되는 일이 없으므로, 신뢰성이 높은 현재부터 과거에 이르는 모든 시계열 정보를 이용하여 추정되는 시계열 정보 자기 위치가 자기 위치 추정 결과로서 출력된다.

이에 반해, 외력의 영향 등에 의해 안아 올리기 상태로 된다는, 미리 예측할 수 없는 자세 변화가 검출된 경우에는, 시계열 정보 DB(222)에 등록되어 있는, 비교적 신뢰성이 낮은, 과거의 시계열 정보가 리셋되어 소거되고, 안아 올리기 상태로 자세 변화가 검출된 타이밍 후의 타이밍으로부터의, 비교적 새로운 시계열 정보를 이용하여 추정된 시계열 정보 자기 위치가 자기 위치 추정 결과로서 출력된다.

즉, 외력의 영향 등에 의해 안아 올리기 상태로 된다는, 미리 예측할 수 없는 자세 변화의 검출의 유무에 따라, 과거부터 현재에 이르기까지의 모든 시계열 정보를 사용하여 시계열 정보 자기 위치를 추정하는 제1 추정 모델과, 안아 올리기 상태로 되는 자세 변화가 검출된 타이밍에 시계열 정보 DB(222)가 리셋된 후의 비교적 새로운 시계열 정보를 사용하여 시계열 정보 자기 위치를 추정하는 제2 추정 모델이 전환된다.

이 때문에, 안아 올리기 상태 등의 외력에 의한 자세의 변화가 검출되지 않은 경우에는, 시계열 정보 DB(222)에, 과거부터 현재에 이르기까지의, 시계열로 연속성이 높은 시계열 정보 과거부터 현재에 이르기까지의 시계열 정보를 사용하여, 고정밀도로 시계열 정보 자기 위치를 추정할 수 있다.

한편, 안아 올리기 상태 등의 미리 예측할 수 없는 자세의 변화가 검출된 경우에는, 시계열 정보 DB(222)에 등록되는 시계열 정보가 리셋되므로, 안아 올리기 등의 외력 등에 의해, 직전까지의 자기 위치가 변화됨으로써, 사용할 수 없는 과거의 시계열 정보를 제외한, 비교적 새로운, 안아 올리기 상태 이후의 신뢰성이 높은 시계열 정보에 기초하여, 시계열 정보 자기 위치를 추정하는 것이 가능해진다. 또한, 시계열 정보 DB(222)에 등록되는 시계열 정보는, 리셋 후도 시간의 경과에 따라서, 점차 증가됨으로써, 신뢰성이 향상되어 간다.

결과로서, 미리 예측할 수 없는 자세 변화의 유무에 상관없이, 신뢰성이 높은 시계열 정보 자기 위치를 추정시키는 것이 가능해진다.

또한, 이상에 있어서는, 자세 변화로서, 어떤 자세로부터 안아 올리기 상태가 검출될 때, 시계열 정보 DB(222)가 리셋되는 예에 대하여 설명하였지만, 시계열 정보 DB(222)의 시계열 정보가 리셋되는 타이밍은, 안아 올리기 상태 이외여도 된다. 예를 들어, 포장 도로, 자갈길, 눈길, 비로 젖어 있는 노면, 계단, 평면, 선로 비정비 주행로 등의 노면 상태를 검출하여, 예를 들어 눈길 및 자갈길 등일 때의 4족 보행 로봇에 있어서의 발바닥 접지면의 슬립이나, 차륜형 로봇에 있어서의 차륜의 슬립이 검출된 타이밍, 또는 비고정 물체의 승하차가 검출된 타이밍이어도 된다. 또한, 센서의 검출 결과를 통계 처리함으로써, 검출 결과의 변화에 기초하여, 센서의 이상을 검출하고, 환경 변화(전자 노이즈, 물체의 그림자)에 의해 시야가 좁아지거나, 또는 없어지는 등이 검출되는 타이밍이어도 된다. 또한, 이동체(11)가 차량 등인 경우, 카페리 보트에 탑재되어 이동함으로써, 승선 전후의 자기 위치나 자세가 소정값보다도 크게 변화되었음이 검출되는 타이밍이어도 된다. 또한, 이동체(11)가 차량 등의 경우이며, 타이어가 펑크남으로써, 엔진이 정지하고, 펑크의 수리 전후 등에서, 자기 위치나 자세가 소정값보다도 크게 변화되었음이 검출되는 타이밍이어도 된다. 즉, 자기 위치나 자세의, 시계열의 변화에 있어서의 연속성이 저하되는 상황(연속성이 없어지는 상태) 등의, 미리 사전에 예측할 수 없는 자세 변화가 검출되는 타이밍이면, 다른 타이밍이어도 된다.

또한, 스텝 S74에 있어서는, 시계열 정보 자기 위치 추정부(221)에 의해 추정되는 시계열 정보 자기 위치가 자기 위치로서 채용되는 예에 대하여 설명하였지만, 시계열 정보 자기 위치와, 현재 정보 자기 위치의 양쪽을 칼만 필터나 입자 필터 등에 의해 통합한 결과를, 자기 위치 추정 결과로서 출력하도록 해도 된다.

또한, 이상에 있어서는, 주파수 성분의 특징량을 이용하여 자세를 검출하는 예에 대하여 설명하였지만, 자세를 확률 또는 확실도로서 구하도록 해도 된다. 이 경우, 복수의 자세 변화에 대하여, 각각의 확률 혹은 확실도에 기초한 가중을 이용하여, 각각의 자세일 때의 결과를, 융합하도록 해도 된다.

또한, 이상에 있어서는, 이동체(11)가 차륜형 이동 로봇인 경우에, 시계열 정보로서, LIDAR(201)과 차륜 인코더(202)에 의해 검출되는 정보를 사용하고, 현재 정보로서 스테레오 카메라(203)에 의해 촬상되는 시차 화상을 사용하는 예에 대하여 설명하였다.

그러나, 시계열 정보 및 현재 정보에 대해서는, 이에 한하지 않고, 이동체(11)의 형태에 맞춘 것으로 해도 된다. 즉, 이동체(11)가 드론인 경우에는, 시계열 정보를, LIDAR과 IMU(관성 계측 장치)나 가속도 센서에 의해 검출되는 정보로 하고, 현재 정보를 GNSS에 의해 취득되는 정보로 해도 된다.

또한, 이동체(11)가 차량인 경우에는, 시계열 정보를, LIDAR에 의해 검출되는 정보로 하고, 현재 정보를 GNSS에 의해 취득되는 정보로 해도 된다.

또한, 이동체(11)가 다족 보행 로봇인 경우에는, 시계열 정보를, LIDAR, IMU(관성 계측 장치), 및 액추에이터에 부속된 센서에 의해 검출되는 정보로 하고, 현재 정보를 스테레오 카메라, IMU(관성 계측 장치), 및 액추에이터에 부속된 센서에 의해 취득되는 정보로 해도 된다.

또한, 스테레오 카메라 대신에, LIDAR 및 ToF 센서를 사용하도록 해도 된다.

또한, 이상에 있어서는, 자기 자세 검출부(226)에 의한 자기 자세의 검출에는, 내계 센서(204)(가속도 센서와 자이로 센서의 조합)의 검출 결과가 사용되고, 현재 정보 자기 위치 추정부(223)에 있어서의 현재 정보 자기 위치 추정에는, 스테레오 카메라(203)에 의한 시차 화상이 사용되고, 시계열 정보 자기 위치 추정부(221)에 있어서의 시계열 정보 자기 위치 추정에는, LIDAR(201)과 차륜 인코더(202) 센싱 결과가 사용되어 왔다.

그러나, 자기 자세 검출부(226)에 있어서, 자기 자세를 검출할 수 있고, 현재 정보 자기 위치 추정부(223)에 있어서 현재 정보 자기 위치 추정이 가능하고, 시계열 정보 자기 위치 추정부(221)에 있어서 시계열 정보 자기 위치 추정이 가능하면, 각각에 공급되는 센싱 결과는 다른 센서에 의한 검출 결과여도 된다.

또한, 시계열 정보 자기 위치 추정부(221), 현재 정보 자기 위치 추정부(223), 및 자기 자세 검출부(226)의 각각에 LIDAR(201)의 센싱 결과인, 3차원 점군 정보가 공급되도록 하여, 각각 3차원 점군 정보에 기초하여, 자기 자세 검출, 현재 정보 자기 위치 추정, 및 시계열 정보 자기 위치 추정이 실현되도록 해도 된다. 또한, 시계열 정보 자기 위치 추정부(221), 현재 정보 자기 위치 추정부(223), 및 자기 자세 검출부(226)에 스테레오 카메라(203)의 센싱 결과인, 시차 화상이 공급되도록 하여, 시차 화상에 기초하여, 각각 자기 자세 검출, 현재 정보 자기 위치 추정 및 시계열 정보 자기 위치 추정이 실현되도록 해도 된다.

<특징량 자세 DB 학습 처리>

다음에, 도 11의 흐름도를 참조하여, 특징량 자세 DB 학습 처리에 대하여 설명한다.

스텝 S91에 있어서, 주파수 성분 추출부(311)는, 과거의 자세를 알고 있는 내계 센서(204)의 검출 결과를 자세 DB(302)로부터 판독하여, 진동의 주파수 성분을, 예를 들어 FFT(Fast Fourier Transform)에 의해 해석하여 특징량 추출부(312)에 출력한다.

스텝 S92에 있어서, 특징량 추출부(312)는, 주파수 성분 추출부(311)로부터 공급되는 주파수 성분으로부터 특징량을 추출하여 특징량 자세 학습부(313)에 출력한다.

스텝 S93에 있어서, 특징량 자세 학습부(313)는, 미리 알고 있는 자세와 대응하는 특징량의 관계를, 예를 들어 뉴럴 네트워크 등을 이용하여 학습한다.

스텝 S94에 있어서, 특징량 자세 학습부(313)는, 학습 결과로서 얻어진, 자세와 주파수 성분의 특징량의 관계를 대응지어, 특징량 자세 DB(227)에 등록한다.

이상의 처리에 의해, 주파수 성분의 특징량과 자세가 대응지어져 특징량 자세 DB(227)에 등록된다. 결과로서, 주파수 성분의 특징량으로부터 자세를 검출하는 것이 가능해진다.

<<3. 제1 변형예>>

이상에 있어서는, 외력의 영향에 의해 자기 위치가 부정인 경우에 있어서는, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보를 리셋하는 예에 대하여 설명하였지만, 자기 위치가 부정으로 된 직후에 있어서는 시계열 정보의 신뢰도가 낮을 것이 예상된다. 그래서, 자기 위치가 부정으로 되어, 시계열 정보를 리셋한 후에는, 시계열 정보의 신뢰도가 소정값보다 높아질 때까지는, 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하도록 해도 된다.

<제1 변형예의 자율 이동 제어 처리>

다음에, 도 12의 흐름도를 참조하여, 도 4의 이동체 제어 시스템(100)에 있어서의 시계열 정보의 신뢰도가 소정값보다 높아질 때까지는, 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하도록 하도록 한 자율 이동 제어 처리에 대하여 설명한다.

시계열 정보의 신뢰도는, 예를 들어 시계열 정보로서 축적되어 있는 정보수에 기초하여 설정되는 값으로 해도 된다. 즉, 시계열 정보 자기 위치는, 과거의 정보로부터 현재의 정보까지의 복수의 정보를 사용함으로써 추정되는 것이므로, 자기 위치 추정의 이용 가능한 정보수가 신뢰도의 지표로 된다.

시계열 정보의 신뢰도의 다른 예는, 예를 들어 시계열 정보에 기초하여 산출한 과거 x초간의 자기 위치 추정의 결과와, 실제의 과거 x초간의 자기 위치의 거리차의 시간 평균의 역수로 해도 된다.

또한, 도 12의 흐름도에 있어서의 스텝 S101 내지 S108의 처리는, 도 10의 흐름도에 있어서의 스텝 S71 내지 S78의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S101에 있어서, 외력의 영향에 의해 안아 올리기 상태를 나타내는 자세로 자세가 변화되었다고 판정된 경우, 환언하면, 미리 예측할 수 없는 자세 변화가 검출되었다고 판정된 경우, 처리는, 스텝 S109로 진행된다.

스텝 S109에 있어서, 자기 위치 추정 결과 전환부(225)는, 예를 들어 리셋이 이루어진 후에, 새롭게 시계열 정보 DB(222)에 등록된 시계열 정보의 정보수가 소정수보다도 많은지 여부에 따라, 시계열 정보의 신뢰도가 소정의 역치보다도 높은지 여부를 판정한다.

스텝 S109에 있어서, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보의 정보수가 소정수보다도 많아, 신뢰도가 소정값보다도 높다고 간주된 경우, 처리는, 스텝 S104로 진행된다.

즉, 이 경우, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보에 신뢰도가 소정값보다도 높으므로, 스텝 S104에 있어서, 시계열 정보 자기 위치가 자기 위치 추정 결과로서 채용된다.

한편, 스텝 S109에 있어서, 리셋이 행해진 직후에 가까운 타이밍 등에, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보의 정보수가 소정수보다도 적어, 신뢰도가 소정값보다도 낮다고 간주된 경우, 처리는, 스텝 S110으로 진행된다.

스텝 S110에 있어서, 자기 위치 추정 결과 전환부(225)는, 현재 정보 자기 위치 추정부(223)의 추정 결과인 현재 정보 자기 위치를, 자기 위치 추정 결과로서 상황 분석부(133)에 출력한다.

이에 반해, 외력의 영향 등에 의해 안아 올리기 상태로 되는 자세 변화가 검출된 경우에는, 시계열 정보 DB(222)에 등록되어 있는, 비교적 신뢰성이 낮은, 과거의 시계열 정보가 리셋되어 소거됨과 동시에, 현재 정보를 이용하여 추정된 현재 정보 자기 위치가 자기 위치 추정 결과로서 출력된다.

즉, 외력의 영향 등에 의해 안아 올리기 상태로 되는 자세 변화의 검출의 유무에 따라, 과거부터 현재에 이르기까지의 모든 시계열 정보를 사용하여 시계열 정보 자기 위치를 추정하는 제1 추정 모델과, 안아 올리기 상태로 되는 자세 변화가 검출된 타이밍 이후의 현재 정보를 사용하여 현재 정보 자기 위치를 추정하는 제2 추정 모델이 전환된다.

한편, 안아 올리기 상태 등의 외력에 의한 자세의 변화가 검출된 경우에는, 신뢰성이 높은 현재 정보에 기초하여, 현재 정보 자기 위치를 추정하는 것이 가능해진다.

또한, 시계열 정보 DB(222)에 등록되는 시계열 정보가 리셋된 후, 소정 시간이 경과하여 시계열 정보가 소정수보다도 많이 등록되어, 신뢰성이 복귀되면, 추정 모델은, 과거부터 현재에 이르기까지의 모든 시계열 정보를 사용하여 시계열 정보 자기 위치를 추정하는 제1 추정 모델로 복귀된다.

어느 것에 있어서도, 결과로서, 미리 예측할 수 없는 자세 변화의 유무에 상관없이, 신뢰성이 높은 시계열 정보 자기 위치를 추정시키는 것이 가능해진다.

즉, 시계열 정보 DB(222)에 등록된 시계열 정보가 리셋된 후에 있어서도, 신뢰도가 소정값보다도 높은 상태로 될 때까지는, 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 것이 가능해져, 신뢰도가 낮은 시계열 정보에 기초한, 자기 위치 추정 결과에 의한 추정 정밀도의 극단적인 저하를 방지하는 것이 가능해진다.

또한, 이상에 있어서는, 시계열 정보가 리셋된 후에는, 시계열 정보의 신뢰도가 소정값보다도 높은 상태로 될 때까지, 현재 정보 자기 위치가 자기 위치 추정 결과로서 채용되는 예에 대하여 설명하였다.

그러나, 시계열 정보 자기 위치가, 사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터가 사용되어 추정되는 경우, 자세의 변화가 검출되었을 때, 최신의 시계열 정보의 가중을 최대로 한 후, 통상의 칼만 필터를 사용하여, 시계열 정보 자기 위치를 추정하도록 해도 된다.

또한, 시계열 정보가 리셋된 후에는, 시계열 정보 DB(222)에 등록된 시계열 정보 중, 최신의 시계열 정보에 대하여 추정되는 자기 위치의 가중도를 크게 하고, 오래된 시계열 정보에 의해 추정되는 자기 위치일수록 가중도를 가볍고 작게 하도록 하여 구하도록 해도 된다. 이 경우, 가중치가 0으로 되어 버리는 시계열 정보에 대해서는, 시계열 정보 DB(222)로부터 삭제하도록 해도 된다. 이와 같이 함으로써, 인간 등의 기억에 있어서의 망각과 유사한 처리를 실현하는 것이 가능해지고, 시계열 정보 DB(222)에 등록되는 시계열 정보를 오래된 것부터 차례로 삭제하는 것이 가능해져, 자기 위치의 추정 정밀도의 저하를 방지하면서, 시계열 정보 DB(222)에 축적되는 시계열 정보의 정보량을 적절하게 압축하는 것이 가능해진다.

<<4. 제2 변형예>>

이상에 있어서는, 자기 자세의 변화가 검출되었을 때 자기 위치 추정 결과 전환부(225)에 있어서의 동작을 전환하는 예에 대하여 설명하였지만, 동작 모드를 전환하도록 해도 된다.

도 13은 자율 이동 제어부(110)에 있어서의 동작 모드의 상태 천이를 설명하는 도면이다.

자율 이동 제어부(110)에 있어서의 동작 모드는, 통상 모드 St1, 위치 부정 모드 St2, 및 현재 정보 자기 위치 추정 모드 St3의 3종류의 동작 모드를 포함한다.

통상 모드 St1은, 시계열 정보 추정 정보가, 자기 위치 추정 결과로서 채용되는 동작 모드이다. 통상 모드 St1에 있어서는, 외력에 의한 자세의 변화가 검출되지 않을 때는, 동작 모드가, 화살표 C0으로 나타내어지는 바와 같이, 통상 모드 St1로 되돌아가는 상태가 계속된다. 또한, 통상 모드 St1에 있어서는, 외력에 의한 자세의 변화가 검출될 때는, 화살표 C1로 나타내어지는 바와 같이, 동작 모드가, 위치 부정 모드 St2로 천이한다.

위치 부정 모드 St2는, 자기 위치가 부정 상태인 것이 계속해서 통지되는 동작 모드이다. 위치 부정 모드 St2에 있어서는, 소정 시간이 경과하면, 화살표 C2로 나타내어지는 바와 같이, 동작 모드가, 현재 정보 자기 위치 추정 모드 St3으로 천이한다.

현재 정보 자기 위치 추정 모드 St3은, 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 동작 모드이다. 현재 정보 자기 위치 추정 모드 St3에 있어서는, 소정 시간이 경과할 때까지는, 화살표 C4로 나타내어지는 바와 같이, 동작 모드가, 현재 정보 자기 위치 추정 모드 St3으로 되돌아가는 상태가 계속된다. 또한, 현재 정보 자기 위치 추정 모드 St3에 있어서는, 소정 시간이 경과하면, 화살표 C3으로 나타내어지는 바와 같이, 동작 모드가, 통상 모드로 천이하여, 원래의 상태로 복귀된다. 또한, 현재 정보 자기 위치 추정 모드에서는, 외력에 의한 자세의 변화가 검출되면, 즉, 미리 예측할 수 없는 자세 변화가 검출되면, 화살표 C4로 나타내어지는 바와 같이, 동작 모드가, 위치 부정 모드 St2로 천이한다.

<제2 변형예의 자율 이동 제어 처리>

다음에, 도 14의 흐름도를 참조하여, 통상 모드, 위치 부정 모드, 및 현재 정보 자기 위치 추정 모드의 3종류의 동작 모드를 포함하는 자율 이동 제어부(110)에 있어서의 자율 이동 제어 처리에 대하여 설명한다.

스텝 S121에 있어서, 자기 위치 추정 결과 전환부(225)는, 통상 모드 처리를 실행하여, 통상 모드에서 동작한다. 또한, 통상 모드 처리에 대해서는, 도 15를 참조하여 상세를 후술한다.

스텝 S122에 있어서, 자기 위치 추정 결과 전환부(225)의 자세 변화 판정부(251)는, 자세 변화 검출 처리에 의해, 예를 들어 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로 변화되는 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되었음이 통지되었는지 여부를 판정한다.

스텝 S122에 있어서, 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되지 않았다고 간주된 경우, 처리는, 스텝 S125로 진행된다.

스텝 S125에 있어서, 처리의 종료가 지시되었는지 여부가 판정되고, 종료가 지시되지 않은 경우, 처리는, 스텝 S121로 되돌아간다. 또한, 스텝 S122에 있어서, 자세 변화가 검출되지 않은 경우, 스텝 S121, S122, S125의 처리가 반복되어, 통상 모드의 동작 상태가 유지되어, 통상 모드 처리가 계속된다. 또한, 스텝 S125에 있어서, 처리의 종료가 지시된 경우, 처리는 종료된다.

<통상 모드 처리>

여기서, 도 15의 흐름도를 참조하여, 통상 모드 처리에 대하여 설명한다. 또한, 도 15의 흐름도에 있어서의 스텝 S141 내지 S144의 처리는, 도 10의 흐름도에 있어서의 스텝 S74 내지 S78의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 통상 모드 처리에 있어서는, 시계열 정보 자기 위치가, 자기 위치 추정 결과로서 출력된다.

여기서, 도 14의 흐름도의 설명으로 되돌아간다.

스텝 S122에 있어서, 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되었다고 간주된 경우, 동작 모드는, 통상 모드로부터 위치 부정 모드로 변화되고, 처리는, 스텝 S123으로 진행된다.

스텝 S123에 있어서, 자율 이동 제어부(110)는, 위치 부정 모드 처리를 실행하여, 위치 부정 모드에서 동작하고, 자기 위치가 부정임이 계속해서 통지됨으로써, 동작이 정지된다. 또한, 위치 부정 모드 처리에 대해서는, 도 16의 흐름도를 참조하여 상세를 후술한다.

스텝 S124에 있어서, 동작 모드가 현재 정보 자기 위치 추정 모드로 천이하여, 현재 정보 자기 위치 추정 모드 처리가 실행되고, 그 후, 스텝 S125로 진행된다.

스텝 S125에 있어서, 동작의 종료가 지시되었는지 여부가 판정되고, 종료가 지시되지 않은 경우, 처리는, 스텝 S121로 되돌아간다. 즉, 종료가 지시될 때까지, 스텝 S121 내지 S125의 처리가 반복된다. 그리고, 스텝 S125에 있어서, 처리의 종료가 지시되면, 처리가 종료된다. 또한, 현재 정보 자기 위치 추정 모드 처리에 대해서는, 도 17을 참조하여 상세를 후술한다.

즉, 동작 모드는, 통상 모드 St1로부터 개시되고, 자세의 변화가 검출되지 않는 한, 스텝 S121, S122, S125의 처리가 반복되어, 통상 모드 처리가 계속해서 실행된다. 그리고, 스텝 S122에 있어서, 자세의 변화(미리 예측할 수 없는 자세 변화)가 검출되면, 동작 모드가 위치 부정 모드 St2로 천이하여, 스텝 S123에 있어서, 위치 부정 모드 처리가 실행된다. 그리고, 그 후, 동작 모드가, 현재 정보 자기 위치 추정 모드 St3으로 천이하여, 스텝 S124에 있어서, 현재 정보 자기 위치 추정 모드 처리가 실행된다. 그리고, 종료가 지시되지 않는 한, 동작 모드는, 다시, 통상 모드로 천이한다.

<위치 부정 모드 처리>

다음에, 도 16의 흐름도를 참조하여, 위치 부정 모드 처리에 대하여 설명한다.

스텝 S161에 있어서, 자기 위치 추정 결과 전환부(225)는, 자세 변화에 수반하여 자기 위치가 부정임을 행동 제어 처리부(123)에 통지한다. 이 통지에 수반하여, 행동 제어 처리부(123)는, 액추에이터군(113)을 제어하여, 이동체(11)의 동작을 정지시킨다.

스텝 S162에 있어서, 자기 위치 추정 결과 전환부(225)는, 소정 시간이 경과하여, 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 되었는지 여부를 판정하고, 천이할 수 없는 경우, 처리는, 스텝 S161로 되돌아간다. 즉, 소정 시간이 경과하여, 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 될 때까지, 스텝 S161, S162의 처리가 반복된다.

그리고, 스텝 S162에 있어서, 소정 시간이 경과하여, 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 되면, 처리는 종료되고, 동작 모드가, 위치 부정 모드로부터 현재 정보 자기 위치 추정 모드로 천이한다.

또한, 다른 실시 형태로서, 자기 위치 추정 결과 전환부(225)는, 과거 x초간의 자세의 변화량을, 센서값 등을 기초로 산출하고, 그 자세 변화량의 시간 평균이 소정량을 하회하였을 때, 위치 부정 모드로부터 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 할 수도 있다.

또한, 다른 실시 형태로서, 자기 위치 추정 결과 전환부(225)는, 과거 X초간의 자기 기체에 대한 중력 방향의 변화량을, 센서값 등을 기초로 산출하고, 그 변화량의 시간 평균이 소정량을 하회하였을 때, 위치 부정 모드로부터 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 할 수도 있다.

이상의 처리에 의해, 위치 부정 모드에서는, 소정 시간이 경과할 때까지, 자기 위치 추정 결과가 위치 부정임을 통지하는 처리가 반복된다. 그리고, 소정 시간이 경과하여, 현재 정보 자기 위치 추정 모드로 천이할 수 있는 상태로 되면 동작 모드가, 현재 정보 자기 위치 추정 모드로 천이한다.

<현재 정보 자기 위치 추정 모드 처리>

다음에, 도 17의 흐름도를 참조하여, 현재 정보 자기 위치 추정 모드 처리에 대하여 설명한다.

스텝 S181에 있어서, 자기 위치 추정 결과 전환부(225)는, 소정 시간만큼 동작의 정지를 행동 제어 처리부(123)에 지시한다. 이 지시에 수반하여, 행동 제어 처리부(123)는, 액추에이터군(113)을 제어하여, 이동체(11)의 동작을 소정 시간만큼 정지시킨다.

스텝 S182에 있어서, 자기 위치 추정 결과 전환부(225)의 자세 변화 판정부(251)는, 자세 변화 검출 처리에 의해 검출되는, 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로의 변화(미리 예측할 수 없는 자세 변화)가 검출되었는지 여부를 판정한다.

스텝 S182에 있어서, 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로의 자세 변화(미리 예측할 수 없는 자세 변화)가 검출된 경우, 처리는, 도 14의 스텝 S123으로 되돌아간다. 즉, 동작 모드가, 현재 정보 자기 위치 추정 모드로부터 위치 부정 모드로 되돌아가고, 처리는, 스텝 S123의 위치 부정 모드 처리로 진행된다.

한편, 스텝 S182에 있어서, 안아 올리기 상태(kidnap 상태)임을 나타내는 자세로 변화되는 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되지 않은 경우, 처리는, 스텝 S183으로 진행된다.

스텝 S183에 있어서, 자기 위치 추정 결과 전환부(225)는, 현재 정보 자기 위치 추정부(223)의 추정 결과인 현재 정보 자기 위치를, 자기 위치 추정 결과로서 상황 분석부(133)에 출력한다.

스텝 S184에 있어서, 상황 분석부(133)는, 자기 위치의 추정 결과에 기초하여, 자기 위치의 주위의 상황을 분석하고, 분석 결과를 행동 계획 처리부(122)에 출력한다.

스텝 S185에 있어서, 행동 계획 처리부(122)는, 자기 위치의 추정 결과의 주위의 분석 결과에 의해, 목적지까지의 루트를 계획하고, 계획된 루트에 기초하여, 행동 계획을 결정하고, 액추에이터군(113)을 제어하기 위한 동작 계획을 생성하여, 액추에이터군(113)을 제어하기 위한 동작 계획을 생성하여, 행동 제어 처리부(123)에 출력한다.

스텝 S186에 있어서, 행동 제어 처리부(123)는, 동작 계획부(163)로부터 공급되는 동작 계획에 기초하여, 액추에이터군(113)을 제어한다.

스텝 S187에 있어서, 자율 이동 제어부(110)는, 소정 시간이 경과하였는지 여부를 판정하고, 소정 시간이 경과하지 않은 경우, 처리는, 스텝 S182로 되돌아간다. 즉, 소정 시간이 경과할 때까지, 스텝 S182 내지 S187의 처리가 반복된다. 그리고, 스텝 S187에 있어서, 소정 시간이 경과한 경우, 처리는, 스텝 S188로 진행된다.

스텝 S188에 있어서, 자기 위치 추정 결과 전환부(225)는, 시계열 정보 DB(222)에 등록되어 있는 과거의 시계열 정보를 리셋하고, 현재 정보 자기 위치 추정 모드 처리는 종료되고, 처리는, 도 14의 스텝 S125로 되돌아간다.

이상의 처리에 의해, 안아 올리기 상태 등의 자세로 변화되는 자기 자세의 변화(미리 예측할 수 없는 자세 변화)가 검출되었을 때, 동작 모드를 통상 모드로부터, 위치 부정 모드로 전환함으로써, 자기 위치 추정 결과가 위치 부정임이 통지되고, 소정 시간만큼 동작을 정지시킨 후, 현재 정보 자기 위치 추정 모드로 하여, 소정 시간만큼 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용한다. 그리고, 소정 시간이 경과한 후, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보를 리셋시킴으로써, 안아 올리기 상태 등의 후라도, 적절하게 자기 위치를 추정하면서 자율 이동 제어 처리를 계속하는 것이 가능해진다.

<<5. 제3 변형예>>

이상에 있어서는, 안아 올리기 상태, 주행로가 눈길이나, 주행로가 자갈길인 것에 의한 슬립, 센서 이상을 발생시키는 환경 변화(전자 노이즈, 물체의 그림자)에 의해 시야가 좁아지거나, 또는 없어지는 자기 자세의 변화, 즉, 미리 예측할 수 없는 자세 변화가 검출되었을 때 자기 위치 추정 결과 전환부(225)에 있어서의 동작 모드를, 통상 모드 St1, 위치 부정 모드 St2, 및 현재 정보 자기 위치 추정 모드 St3의 3종류의 동작 모드로 전환하도록 하는 예에 대하여 설명하였다.

그러나, 미리 예측할 수 없는 자기 자세의 변화의 종별은, 또한, 사람, 물체 및 타차 등의 충돌, 펑크나 부품 탈락, 부품이나 화물 낙하 등의 뜻하지 않은 고장 등이어도 된다.

도 18은 미리 예측할 수 없는 자기 자세의 변화의 종별이, 또한, 사람이나 물체나 타차와의 충돌, 펑크나 부품 탈락이나 부품이나 화물 낙하 등의 뜻하지 않은 고장 등인 경우의 자율 이동 제어부(110)에 있어서의 동작 모드의 상태 천이를 설명하는 도면이다.

자율 이동 제어부(110)에 있어서의 동작 모드는, 통상 모드 St11, 사고 직후 모드 St12, 및 제어 회복 모드 St13의 3종류의 동작 모드를 포함한다.

통상 모드 St11은, 도 13의 통상 모드 St1과 마찬가지이며, 시계열 정보 추정 정보가, 자기 위치 추정 결과로서 채용되는 동작 모드이다. 통상 모드 St11에 있어서는, 외력에 의한 자세의 변화가 검출되지 않을 때는, 동작 모드는, 화살표 C10으로 나타내어지는 바와 같이, 통상 모드 St1로 되돌아가는 상태가 계속된다. 또한, 통상 모드 St11에 있어서는, 미리 예측할 수 없는 자세의 변화로서, 사고의 발생이 검출되면, 화살표 C11로 나타내어지는 바와 같이, 동작 모드가, 사고 직후 모드 St12로 천이한다.

사고 직후 모드 St12는, 사고 직후의 상태이며, 시계열 정보 DB(222)의 시계열 정보가 리셋되고, 동작을 정지시키는 동작 모드이다. 사고 직후 모드 St12에 있어서는, 소정 시간이 경과하면, 화살표 C12로 나타내어지는 바와 같이, 동작 모드가, 제어 회복 모드 St13으로 천이한다.

제어 회복 모드 St13은, 자기 위치로서 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 동작 모드이다. 제어 회복 모드 St13에 있어서는, 소정 시간이 경과할 때까지는, 화살표 C14로 나타내어지는 바와 같이, 동작 모드가, 제어 회복 모드 St13으로 되돌아가는 상태가 계속된다. 또한, 제어 회복 모드 St13에 있어서는, 소정 시간이 경과하면, 화살표 C13으로 나타내어지는 바와 같이, 동작 모드가, 통상 모드 St11로 천이하여, 원래의 상태로 복귀된다.

<제3 변형예의 자율 이동 제어 처리>

다음에, 도 19의 흐름도를 참조하여, 통상 모드, 사고 직후 모드, 및 제어 회복 모드의 3종류의 동작 모드를 포함하는 자율 이동 제어부(110)에 있어서의 자율 이동 제어 처리에 대하여 설명한다.

스텝 S201에 있어서, 자율 이동 제어부(110)는, 통상 모드 처리를 실행하여, 통상 모드에서 동작한다. 또한, 통상 모드 처리에 대해서는, 도 15를 참조하여 설명한 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S202에 있어서, 자기 위치 추정 결과 전환부(225)의 자세 변화 판정부(251)는, 자세 변화 검출 처리에 의해 검출되는, 사고가 발생한 이상 상태를 나타내는 자세로 변화되는 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되었음이 통지되었는지 여부를 판정한다.

스텝 S202에 있어서, 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되지 않았다고 간주된 경우, 처리는, 스텝 S205로 진행된다.

스텝 S205에 있어서, 처리의 종료가 지시되었는지 여부가 판정되고, 종료가 지시되지 않은 경우, 처리는, 스텝 S201로 되돌아간다. 즉, 사고가 발생한 이상 상태를 나타내는 자세로 변화되는 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되지 않는 한, 스텝 S201, S202, S205의 처리가 반복되어, 통상 모드의 동작 상태가 유지되어, 통상 모드 처리가 계속된다. 또한, 스텝 S205에 있어서, 처리의 종료가 지시된 경우, 처리는 종료된다.

스텝 S202에 있어서, 자세 변화(미리 예측할 수 없는 자세 변화)가 검출되었다고 간주된 경우, 동작 모드는, 통상 모드로부터 사고 직후 모드로 변화되고, 처리는, 스텝 S203으로 진행된다.

스텝 S203에 있어서, 자율 이동 제어부(110)는, 사고 직후 모드 처리를 실행하여, 사고 직후 모드에서 동작하고, 동작이 정지되고, 시계열 정보 DB(222)에 등록된 시계열 정보가 리셋된다. 또한, 사고 직후 모드 처리에 대해서는, 도 20을 참조하여 상세를 후술한다.

스텝 S204에 있어서, 동작 모드가 제어 회복 모드 처리로 천이하여, 제어 회복 모드에서 동작하고, 그 후, 스텝 S205로 진행된다. 제어 회복 모드 처리에 있어서는, 현재 정보 자기 위치가 자기 위치 추정 결과로서 채용되고, 소정 시간이 경과한 후, 종료가 지시되지 않는 한, 처리가, 스텝 S201로 되돌아가, 동작 모드가, 통상 모드로 복귀된다. 또한, 제어 회복 모드 처리에 대해서는, 도 21을 참조하여 상세를 후술한다.

즉, 동작 모드는, 통상 모드 St11로부터 개시되고, 미리 예측할 수 없는, 사고가 발생한 이상 상태를 나타내는 자세의 변화가 검출되지 않는 한, 스텝 S201, S202, S205의 처리가 반복되어, 통상 모드 처리가 계속해서 실행된다. 그리고, 스텝 S202에 있어서, 사고가 발생한 이상 상태를 나타내는 자세의 변화(미리 예측할 수 없는 자세 변화)가 검출되면, 동작 모드가 사고 직후 모드 St12로 천이하여, 스텝 S203에 있어서, 사고 직후 모드 처리가 실행된다. 그리고, 그 후, 동작 모드가, 제어 회복 모드 St13으로 천이하여, 스텝 S204에 있어서, 사고 회복 모드 처리가 실행된다. 그리고, 종료가 지시되지 않는 한, 동작 모드는, 다시, 통상 모드로 천이한다.

<사고 직후 모드 처리>

다음에, 도 20의 흐름도를 참조하여, 사고 직후 모드 처리에 대하여 설명한다.

스텝 S211에 있어서, 자기 위치 추정 결과 전환부(225)는, 동작의 정지를 행동 제어 처리부(123)에 지시한다. 이 지시에 수반하여, 행동 제어 처리부(123)는, 액추에이터군(113)을 제어하여, 이동체(11)의 동작을 정지시킨다.

스텝 S212에 있어서, 자기 위치 추정 결과 전환부(225)는, 시계열 정보 DB(222)에 등록되어 있는 시계열 정보를 리셋시킨다.

스텝 S213에 있어서, 자기 위치 추정 결과 전환부(225)는, 소정 시간이 경과하여, 제어 회복 모드로 천이할 수 있는 상태로 되었는지 여부를 판정하고, 소정 시간이 경과하여, 천이할 수 있을 때까지, 마찬가지의 처리를 반복한다.

그리고, 스텝 S213에 있어서, 소정 시간이 경과하여, 제어 회복 모드로 천이할 수 있는 상태로 되면, 처리는 종료되고, 동작 모드가, 사고 직후 모드로부터 제어 회복 모드로 천이한다.

또한, 다른 실시 형태로서, 자기 위치 추정 결과 전환부(225)는, 과거 x초간의 자세의 변화량을, 센서값 등을 기초로 산출하고, 그 자세 변화량의 시간 평균이 소정량을 하회하였을 때, 사고 직후 모드로부터 제어 회복 모드로 천이할 수 있는 상태로 할 수도 있다.

또한, 다른 실시 형태로서, 자기 위치 추정 결과 전환부(225)는, 과거 X초간의 자기 기체에 대한 중력 방향의 변화량을, 센서값 등을 기초로 산출하고, 그 변화량의 시간 평균이 소정량을 하회하였을 때, 사고 직후 모드로부터 제어 회복 모드로 천이할 수 있는 상태로 할 수도 있다.

이상의 처리에 의해, 사고 직후 모드에서, 사고가 발생한 직후이므로, 동작을 정지시키는 것이 지시됨으로써 동작이 정지되고, 시계열 정보 DB(222)의 시계열 정보가 리셋된다. 그리고, 소정 시간이 경과하여, 제어 회복 모드로 천이할 수 있는 상태로 되면 동작 모드가, 제어 회복 모드로 천이한다.

<제어 회복 모드 처리>

다음에, 도 21의 흐름도를 참조하여, 제어 회복 모드 처리에 대하여 설명한다. 또한, 도 21의 흐름도에 있어서의 스텝 S221 내지 S226의 처리는, 도 17의 스텝 S181, S183 내지 S187의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 도 21의 제어 회복 모드에서는, 소정 시간이 경과할 때까지, 현재 정보 자기 위치가 자기 위치 추정 결과로서 채용되어, 동작 모드가 통상 모드로 복귀된다.

결과로서, 미리 예측할 수 없는, 사고가 발생하는 자세의 변화가 검출되어도, 안전하게 동작을 정지시킨 후, 자기 위치에 대해서도, 현재 정보 자기 위치가 자기 위치 추정 결과로서 채용되므로, 사고 직후에, 자율 이동 제어부(110)가 복귀된 타이밍에 있어서도, 자기 위치 추정에 사용하기 위해서는 정밀도가 낮을 것이 예상되는 시계열 정보가 리셋되고, 현재 정보 자기 위치가 자기 위치 추정 결과로서 채용됨으로써, 자기 위치 추정 결과의 정밀도의 큰 저하를 방지하는 것이 가능해진다.

또한, 자세의 변화에 기초하여 검출되는 미리 예측할 수 없는 자세 변화이면, 사고 이외가 검출되는 경우여도 되고, 예를 들어 강풍, 지진, 쓰나미, 제3자로부터의 공격, 차량이 탑재될 수 있는 탈것(예를 들어, 카페리 보드 등)의 가속도의 변화, 선로나 도로의 덜걱거림이 검출되는 경우여도 된다.

이 경우, 동작 모드를 통상 모드로부터 사고 직후 모드, 또는 위치 부정 모드로 천이시키고, 이후에 있어서, 제어 회복 모드, 또는 현재 정보 자기 위치 추정 모드로 천이시킨 후, 통상 모드로 천이시키도록 해도 된다.

<<6. 소프트웨어에 의해 실행시키는 예>>

그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 컴퓨터 등에, 기록 매체로부터 인스톨된다.

도 22는 범용의 컴퓨터의 구성예를 도시하고 있다. 이 퍼스널 컴퓨터는, CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통해, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는, ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.

입출력 인터페이스(1005)에는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스를 포함하는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 저장하는 하드디스크 드라이브 등을 포함하는 기억부(1008), LAN(Local Area Network) 어댑터 등을 포함하고, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 미디어(1011)에 대하여 데이터를 판독 기입하는 드라이브(1010)가 접속되어 있다.

CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램, 또는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(1011)로부터 판독되어 기억부(1008)에 인스톨되고, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들어 기억부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통해, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 미디어(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통해, 기억부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(1009)에서 수신하고, 기억부(1008)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(1002)이나 기억부(1008)에, 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 도 22에 있어서의 CPU(1001)가, 도 3에 있어서의 자율 이동 제어부(110)의 기능을 실현시킨다. 또한, 도 22에 있어서의 기억부(1008)가, 도 3에 있어서의 기억부(109)를 실현한다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.

또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 개시는, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.

<1> 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,

상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와,

센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부를 포함하는 제어 장치.

<2> 상기 자기 위치 추정부는,

상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와,

상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부를 포함하고,

상기 시계열 정보 축적부는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되고,

상기 시계열 정보 자기 위치 추정부는,

상기 제1 추정 모델로서, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고,

상기 제2 추정 모델로서, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하는 <1>에 기재된 제어 장치.

<3> 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보는, 상기 리셋에 의해, 소정 시간 이상 길게 축적된 시계열 정보부터 삭제되는 <2>에 기재된 제어 장치.

<4> 상기 시계열 정보 자기 위치 추정부는, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 상기 리셋된 후, 상기 시계열 정보 축적부에 축적된 시간이 긴 상기 시계열 정보일수록, 상기 시계열 정보에 의해 추정되는 자기 위치의 가중도를 가볍게 하여, 상기 시계열 정보 자기 위치를 추정하는 <2>에 기재된 제어 장치.

<5> 상기 자기 위치 추정부는,

사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 시계열 정보 자기 위치를 추정하는 시계열 정보 자기 위치 추정부를 포함하고,

상기 시계열 정보 자기 위치 추정부는,

상기 제1 추정 모델로서, 상기 시계열 정보 자기 위치를, 사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 추정하고,

상기 제2 추정 모델로서, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 최신의 상기 시계열 정보의 가중을 최대로 한 후, 상기 칼만 필터를 사용하여, 상기 시계열 정보 자기 위치를 추정하는 <1>에 기재된 제어 장치.

<6> 상기 자기 위치 추정부는,

상기 센서 정보에 의해 센싱되는 시계열 정보로서 축적하는 시계열 정보 축적부와,

상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부와,

상기 센서 정보에 의해 센싱되는 현재의 정보인 현재 정보에 기초하여, 상기 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력하는 현재 정보 자기 위치 추정부를 포함하고,

상기 자기 위치 추정부는,

상기 미리 예측할 수 없는 자세의 변화가 검출되지 않은 경우, 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용하고,

상기 미리 예측할 수 없는 자세의 변화가 검출된 경우, 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 <1>에 기재된 제어 장치.

<7> 상기 자기 위치 추정부는,

상기 자세 변화 검출부의 검출 결과에 따라서, 동작 모드를, 적어도 제1 모드, 제2 모드, 및 제3 모드로 천이시키고,

동작 개시 시에 있어서, 상기 동작 모드는, 제1 모드로 되고, 상기 제1 추정 모델에 의해 상기 자기 위치를 추정하고,

상기 제1 모드에서, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 동작 모드를 제2 모드로 천이시키고, 상기 미리 예측할 수 없는 자세의 변화가 검출되었음을 통지하고,

상기 제2 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 제3 모드로 천이시키고, 상기 제2 추정 모델에 의해, 상기 자기 위치를 추정하고,

상기 제3 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 상기 제1 모드로 천이시키는 <1>에 기재된 제어 장치.

<8> 상기 자기 위치 추정부는,

상기 제1 모드에서, 상기 제1 추정 모델인, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용한, 상기 시계열 정보 자기 위치 추정부에 의해 추정된 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용하고,

상기 제3 모드에서, 상기 제2 추정 모델인, 상기 현재 정보를 사용한, 상기 현재 정보 자기 위치 추정부에 의해 추정된 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 <7>에 기재된 제어 장치.

<9> 상기 미리 예측할 수 없는 자세의 변화는, 상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태로의 변화이며,

상기 제1 모드는 통상 모드이고, 상기 제2 모드는 자기 위치 부정 모드이며, 상기 제3 모드는 현재 정보 자기 위치 추정 모드인 <8>에 기재된 제어 장치.

<10> 상기 동작 모드가, 상기 제3 모드인, 상기 현재 정보 자기 위치 추정 모드인 경우, 상기 미리 예측할 수 없는 자세의 변화가 검출되었을 때, 상기 자기 위치 추정부는, 상기 동작 모드를, 상기 제2 모드인, 상기 자기 위치 부정 모드로 천이시키는 <9>에 기재된 제어 장치.

<11> 상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태는, 키드냅 상태, 발바닥 접지면 및 차륜의 슬립 상태, 비고정 물체의 승하차 및 센서 이상 상태를 포함하는 <9>에 기재된 제어 장치.

<12> 상기 미리 예측할 수 없는 자세의 변화는, 사고 발생 상태로의 변화이며,

상기 제1 모드는 통상 모드이고, 상기 제2 모드는 사고 직후 모드이며, 상기 제3 모드는 제어 회복 모드인 <8>에 기재된 제어 장치.

<13> 상기 사고 발생 상태는, 사람, 물체, 및 타기기·타차와의 충돌, 펑크, 부품 탈락, 부품 및 화물 낙하 상태를 포함하는 <12>에 기재된 제어 장치.

<14> 상기 시계열 정보는, LIDAR에 의해 검출되는 3차원 점군 정보, 및 차륜 인코더에 의해 검출되는 위치 정보, 자세, 속도, 가속도 및 각속도이고,

시계열 정보 자기 위치 추정부는, 상기 시계열 정보에 기초하여, 칼만 필터 또는 입자 필터를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하고,

상기 현재 정보는, 스테레오 카메라에 의해 촬상되는 시차 화상이며,

현재 정보 자기 위치 추정부는, 상기 시차 화상으로부터 뎁스 화상을 생성하고, 상기 뎁스 화상으로부터 화상 특징량을 추출하고, 상기 화상 특징량에 기초하여 자기 위치를 추정하고, 추정 결과를 현재 정보 자기 위치로서 출력하는 <8>에 기재된 제어 장치.

<15> 상기 자기 자세 검출부가 상기 자기의 자세를 검출할 때 사용하는 상기 센서 정보는, 연직 방향의 가속도를 포함하고,

상기 자기 자세 검출부는,

상기 연직 방향의 가속도의 변화의 주파수 성분을 추출하는 주파수 성분 추출부와,

상기 주파수 성분 추출부에 의해 추출된 주파수 성분으로부터 특징량을 추출하는 특징량 추출부와,

상기 특징량에 기초하여, 상기 자기의 자세를 검출하는 자세 검출부를 포함하는 <1> 내지 <14> 중 적어도 어느 것에 기재된 제어 장치.

<16> 기지의 자세에 대한 센서 정보에 기초하여, 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록된 데이터베이스를 더 포함하고,

상기 자세 검출부는, 상기 특징량에 기초하여, 상기 데이터베이스로부터, 대응하는 자세를 검색함으로써, 상기 자세를 검출하는 <15>에 기재된 제어 장치.

<17> 상기 데이터베이스는, 상기 기지의 자세에 대한 센서 정보에 기초하여, 뉴럴 네트워크를 사용한 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록되는 <16>에 기재된 제어 장치.

<18> 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출 처리와,

상기 자기 자세 검출 처리에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출 처리와,

센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출 처리에 의해, 상기 미리 예측할 수 없는 자세로의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정 처리를 포함하는 제어 방법.

<19> 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,

센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부로서 컴퓨터를 기능시키는 프로그램.

<20> 센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,

센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부와,

상기 자기 위치 추정부에 의해 추정된 자기 위치의 주변의 상황에 기초하여, 행동 계획을 생성하는 행동 계획 생성부와,

상기 행동 계획 생성부에 의해 결정된 행동 계획에 기초하여 이동체의 동작을 제어하는 제어부를 포함하는 이동체.

11: 이동체
21: 센서군
21a, 21a-1 내지 21a-n: 센서
22: 자율 이동 제어부
23: 액추에이터군
23a, 23a-1 내지 23a-n: 액추에이터
31: 인식 처리부
32: 행동 계획 처리부
33: 행동 제어 처리부
41: 루트 계획부
42: 행동 계획부
43: 동작 계획부
102: 데이터 취득부
105: 출력 제어부
106: 출력부
107: 구동계 제어부
108: 구동계 시스템
110: 자율 이동 제어부
112: 센서군
113: 액추에이터군
121: 인식 처리부
122: 행동 계획 처리부
123: 행동 제어 처리부
134: 계획부
161: 루트 계획부
162: 행동 계획부
163: 동작 계획부
201: LIDAR
202: 차륜 인코더
203: 스테레오 카메라
204: 내계 센서
221: 시계열 정보 자기 위치 추정부
222: 시계열 정보 DB
223: 현재 정보 자기 위치 추정부
224: 위치 화상 특징량 DB
225: 자기 위치 추정 결과 전환부
226: 자기 자세 검출부
227: 특징량 자세 DB
228: 자세 변화 검출부
251: 자세 변화 판정부
271: 주파수 성분 추출부
272: 특징량 추출부
273: 자세 검출부

Claims

센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,
상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와,
센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부를 포함하고,
상기 자기 위치 추정부는,
상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와,
상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부를 포함하고,
상기 시계열 정보 축적부는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되고,
상기 시계열 정보 자기 위치 추정부는,
상기 제1 추정 모델로서, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고,
상기 제2 추정 모델로서, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하는 제어 장치.
삭제
제1항에 있어서,
상기 시계열 정보 축적부에 축적된 과거의 시계열 정보는, 상기 리셋에 의해, 소정 시간 이상 길게 축적된 시계열 정보부터 삭제되는 제어 장치.
제1항에 있어서,
상기 시계열 정보 자기 위치 추정부는, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 상기 리셋된 후, 상기 시계열 정보 축적부에 축적된 시간이 긴 상기 시계열 정보일수록, 상기 시계열 정보에 의해 추정되는 자기 위치의 가중도를 가볍게 하여, 상기 시계열 정보 자기 위치를 추정하는 제어 장치.
제1항에 있어서,
상기 자기 위치 추정부는,
사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 시계열 정보 자기 위치를 추정하는 시계열 정보 자기 위치 추정부를 포함하고,
상기 시계열 정보 자기 위치 추정부는,
상기 제1 추정 모델로서, 상기 시계열 정보 자기 위치를, 사전 확률 밀도 분포의 관측값을 최신의 시계열 정보에 의해 갱신하는 스텝을 반복하는 칼만 필터를 사용하여 추정하고,
상기 제2 추정 모델로서, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 최신의 상기 시계열 정보의 가중을 최대로 한 후, 상기 칼만 필터를 사용하여, 상기 시계열 정보 자기 위치를 추정하는 제어 장치.
제1항에 있어서,
상기 자기 위치 추정부는,
상기 센서 정보에 의해 센싱되는 시계열 정보로서 축적하는 시계열 정보 축적부와,
상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부와,
상기 센서 정보에 의해 센싱되는 현재의 정보인 현재 정보에 기초하여, 상기 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력하는 현재 정보 자기 위치 추정부를 포함하고,
상기 자기 위치 추정부는,
상기 미리 예측할 수 없는 자세의 변화가 검출되지 않은 경우, 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용하고,
상기 미리 예측할 수 없는 자세의 변화가 검출된 경우, 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 제어 장치.
제1항에 있어서,
상기 자기 위치 추정부는,
상기 자세 변화 검출부의 검출 결과에 따라서, 동작 모드를, 적어도 제1 모드, 제2 모드 및 제3 모드로 천이시키고,
동작 개시 시에 있어서, 상기 동작 모드는, 상기 제1 모드로 되고, 상기 제1 추정 모델에 의해 상기 자기 위치를 추정하고,
상기 제1 모드에서, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 동작 모드를 제2 모드로 천이시키고, 상기 미리 예측할 수 없는 자세의 변화가 검출되었음을 통지하고,
상기 제2 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 제3 모드로 천이시키고, 상기 제2 추정 모델에 의해, 상기 자기 위치를 추정하고,
상기 제3 모드에서, 소정 시간이 경과한 후, 상기 동작 모드를 상기 제1 모드로 천이시키는 제어 장치.
제7항에 있어서,
상기 자기 위치 추정부는,
상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와,
상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부와,
상기 센서 정보에 의해 센싱되는 현재의 정보인 현재 정보에 기초하여, 상기 자기 위치를 추정하고, 현재 정보 자기 위치로서 출력하는 현재 정보 자기 위치 추정부를 포함하고,
상기 제1 모드에서, 상기 제1 추정 모델인, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용한, 상기 시계열 정보 자기 위치 추정부에 의해 추정된 상기 시계열 정보 자기 위치를 자기 위치 추정 결과로서 채용하고,
상기 제3 모드에서, 상기 제2 추정 모델인, 상기 현재 정보를 사용한, 상기 현재 정보 자기 위치 추정부에 의해 추정된 상기 현재 정보 자기 위치를 자기 위치 추정 결과로서 채용하는 제어 장치.
제8항에 있어서,
상기 미리 예측할 수 없는 자세의 변화는, 상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태로의 변화이며,
상기 제1 모드는 통상 모드이고, 상기 제2 모드는 자기 위치 부정 모드이며, 상기 제3 모드는 현재 정보 자기 위치 추정 모드인 제어 장치.
제9항에 있어서,
상기 동작 모드가, 상기 제3 모드인, 상기 현재 정보 자기 위치 추정 모드인 경우, 상기 미리 예측할 수 없는 자세의 변화가 검출되었을 때, 상기 자기 위치 추정부는, 상기 동작 모드를, 상기 제2 모드인, 상기 자기 위치 부정 모드로 천이시키는 제어 장치.
제9항에 있어서,
상기 자기 위치 및 자세의 변화에 연속성이 없어지는 상태는, 키드냅 상태, 발바닥 접지면 및 차륜의 슬립 상태, 비고정 물체의 승하차 및 센서 이상 상태를 포함하는 제어 장치.
제8항에 있어서,
상기 미리 예측할 수 없는 자세의 변화는, 사고 발생 상태로의 변화이며,
상기 제1 모드는 통상 모드이고, 상기 제2 모드는 사고 직후 모드이며, 상기 제3 모드는 제어 회복 모드인 제어 장치.
제12항에 있어서,
상기 사고 발생 상태는, 사람, 물체, 및 타기기·타차와의 충돌, 펑크, 부품 탈락, 부품 및 화물 낙하 상태를 포함하는 제어 장치.
제8항에 있어서,
상기 시계열 정보는, LIDAR에 의해 검출되는 3차원 점군 정보, 및 차륜 인코더에 의해 검출되는 위치 정보, 자세, 속도, 가속도 및 각속도이고,
시계열 정보 자기 위치 추정부는, 상기 시계열 정보에 기초하여, 칼만 필터 또는 입자 필터를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하고,
상기 현재 정보는, 스테레오 카메라에 의해 촬상되는 시차 화상이며,
현재 정보 자기 위치 추정부는, 상기 시차 화상으로부터 뎁스 화상을 생성하고, 상기 뎁스 화상으로부터 화상 특징량을 추출하고, 상기 화상 특징량에 기초하여 자기 위치를 추정하고, 추정 결과를 현재 정보 자기 위치로서 출력하는 제어 장치.
제1항에 있어서,
상기 자기 자세 검출부가 상기 자기의 자세를 검출할 때 사용하는 상기 센서 정보는, 연직 방향의 가속도를 포함하고,
상기 자기 자세 검출부는,
상기 연직 방향의 가속도의 변화의 주파수 성분을 추출하는 주파수 성분 추출부와,
상기 주파수 성분 추출부에 의해 추출된 주파수 성분으로부터 특징량을 추출하는 특징량 추출부와,
상기 특징량에 기초하여, 상기 자기의 자세를 검출하는 자세 검출부를 포함하는 제어 장치.
제15항에 있어서,
기지의 자세에 대한 센서 정보에 기초하여, 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록된 데이터베이스를 더 포함하고,
상기 자세 검출부는, 상기 특징량에 기초하여, 상기 데이터베이스로부터, 대응하는 자세를 검색함으로써, 상기 자세를 검출하는 제어 장치.
제16항에 있어서,
상기 데이터베이스는, 상기 기지의 자세에 대한 센서 정보에 기초하여, 뉴럴 네트워크를 사용한 학습에 의해, 상기 자세와, 상기 주파수 성분의 특징량이 대응지어진 상태에서 등록되는 제어 장치.
센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출 처리와,
상기 자기 자세 검출 처리에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출 처리와,
센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출 처리에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정 처리를 포함하고,
상기 자기 위치 추정 처리는,
상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적 처리와,
상기 시계열 정보 축적 처리에서 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정 처리를 포함하고,
상기 시계열 정보 축적 처리에서는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되고,
상기 시계열 정보 자기 위치 추정 처리에서는,
상기 제1 추정 모델로서, 상기 시계열 정보 축적 처리에서 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고,
상기 제2 추정 모델로서, 상기 시계열 정보 축적 처리에서 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적 처리에서 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하는 제어 방법.
센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,
상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와,
센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부로서 컴퓨터를 기능시키는, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로서,
상기 자기 위치 추정부는,
상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와,
상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부를 포함하고,
상기 시계열 정보 축적부는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되고,
상기 시계열 정보 자기 위치 추정부는,
상기 제1 추정 모델로서, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고,
상기 제2 추정 모델로서, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하는, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
센서 정보에 기초하여, 자기의 자세를 검출하는 자기 자세 검출부와,
상기 자기 자세 검출부에 의한 검출 결과에 기초하여, 미리 예측할 수 없는 자세의 변화를 검출하는 자세 변화 검출부와,
센서 정보에 기초하여, 제1 추정 모델에 의해 자기 위치를 추정함과 함께, 상기 자세 변화 검출부에 의해, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 상기 제1 추정 모델과 다른 제2 추정 모델에 의해 자기 위치를 추정하는 자기 위치 추정부와,
상기 자기 위치 추정부에 의해 추정된 자기 위치의 주변의 상황에 기초하여, 행동 계획을 생성하는 행동 계획 생성부와,
상기 행동 계획 생성부에 의해 결정된 행동 계획에 기초하여 이동체의 동작을 제어하는 제어부를 포함하고,
상기 자기 위치 추정부는,
상기 센서 정보를 시계열 정보로서 축적하는 시계열 정보 축적부와,
상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고, 추정 결과를 시계열 정보 자기 위치로서 출력하는 시계열 정보 자기 위치 추정부를 포함하고,
상기 시계열 정보 축적부는, 상기 미리 예측할 수 없는 자세의 변화가 검출되는 경우, 축적된 과거의 상기 시계열 정보가 리셋되고,
상기 시계열 정보 자기 위치 추정부는,
상기 제1 추정 모델로서, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하고,
상기 제2 추정 모델로서, 상기 시계열 정보 축적부에 축적된 과거의 시계열 정보가 리셋된 후의, 상기 시계열 정보 축적부에 축적된 시계열 정보를 사용하여, 상기 자기 위치를 추정하는 이동체.