KR100898435B1

KR100898435B1 - 로봇 장치 및 그 제어 방법

Info

Publication number: KR100898435B1
Application number: KR1020037008514A
Authority: KR
Inventors: 고따로 사베; 겐따 가와모또
Original assignee: 소니 가부시끼 가이샤
Priority date: 2001-10-22
Filing date: 2002-10-22
Publication date: 2009-05-21
Also published as: CN1304177C; EP1439039A1; WO2003035334A1; JP4396273B2; KR20040050055A; US20040117063A1; JPWO2003035334A1; US6850818B2; EP1439039A4; CN1487871A

Abstract

로봇 장치는, 비동기로 통지되는 개개의 인식 결과를 통합하고 나서 행동 모듈로 넘기기 때문에, 행동 모듈에서 정보의 취급이 용이하다. 인식한 관측 결과에 관한 정보를 기억으로서 유지하기 때문에, 일시적으로 관측 결과가 나오지 않지 않은 경우가 있더라도, 상위 모듈로부터는 항상 거기에 물체가 지각되어 있는 것처럼 보인다. 이 결과, 인식기의 오류나 센서의 노이즈에 강해지기 때문에, 인식기의 통지의 타이밍에 의존하지 않는 안정된 시스템을 실현할 수 있다. 따라서, 로봇 장치는, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고, 고도의 행동 제어를 행할 수 있다.

로봇 장치, 인식 결과, 행동 모듈, 행동 제어, 단기 기억부, 타겟

Description

로봇 장치 및 그 제어 방법{ROBOT APPARATUS AND CONTROL METHOD THEREOF}

본 발명은, 자율적인 동작을 행하여 사실적인 커뮤티케이션을 실현하는 로봇 장치 및 그 제어 방법에 관한 것으로, 특히, 화상이나 음성 등의 외계의 정보를 인식하여 그것에 대하여 자신의 행동을 반영시키는 기능을 구비한 자율형의 로봇 장치 및 그 제어 방법에 관한 것이다.

더욱 구체적으로는, 본 발명은, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고 행동 제어를 행하는 로봇 장치 및 그 제어 방법에 관한 것으로, 특히, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석하는 로봇 장치 및 그 제어 방법에 관한 것이다.

전기적 혹은 자기적인 작용을 이용하여 인간의 동작에 근사시킨 운동을 행하는 기계 장치를 「로봇」이라고 한다. 로봇의 어원은, 슬라브어의 "ROBOTA(노예 기계)"에서 유래한다고 되어 있다. 우리나라에서는, 로봇이 보급되기 시작한 것은 1960년대 말부터이지만, 그 대부분은, 공장에서의 생산 작업의 자동화·무인화 등을 목적으로 한 매니퓨레이터나 반송 로봇 등의 산업용 로봇(industrial robot)이 었다.

최근에는, 개나 고양이, 곰과 같이 4족 보행의 동물의 신체 메카니즘이나 그 동작을 모방한 페트형 로봇, 혹은, 인간이나 원숭이 등의 2족 직립 보행을 행하는 동물의 신체 메카니즘이나 동작을 모방한 「인간형(人間形)」 혹은「인간형(人間型)」의 로봇(humanoid robot) 등, 각식 이동 로봇의 구조나 그 안정 보행 제어에 관한 연구 개발이 진전되어, 실용화에 대한 기대도 높아져 왔다. 이 각식 이동 로봇은, 크롤러식 로봇에 비하여 불안정하고 자세 제어나 보행 제어가 어렵게 되지만, 계단의 승강이나 장해물 타고 넘기 등, 유연한 보행·주행 동작을 실현할 수 있다고 하는 점에서 우수하다.

아암식 로봇과 같이, 어떤 특정한 장소에 고정 설치하여 이용하는 것 같은 고정형 로봇은, 부품의 조립·선별 작업 등 고정적·국소적인 작업 공간에서만 활동한다. 이것에 대하여, 이동식의 로봇은, 작업 공간은 비한정적이고, 소정의 경로 상 또는 무경로 상을 자유롭게 이동하여, 소정의 혹은 임의의 인적 작업을 대행하거나, 인간이나 개 혹은 그 밖의 생명체를 대체하는 여러 가지 서비스를 제공할 수 있다.

각식 이동 로봇의 용도의 하나로서, 산업활동·생산활동 등에 있어서의 각종의 어려운 작업의 대행을 들 수 있다. 예를 들면, 원자력 발전 플랜트나 화력 발전 플랜트, 석유 화학 플랜트에서의 메인터넌스 작업, 제조 공장에 있어서의 부품의 반송·조립 작업, 고층빌딩에서의 청소, 화재 현장 등에 있어서의 구조와 같은 위험 작업·어려운 작업의 대행 등이다.

또한, 각식 이동 로봇의 다른 용도로서, 상술한 작업 지원 같은 것보다도, 생활 밀착형, 즉 인간과의「공생」 혹은「엔터테인먼트」와 같은 용도를 들 수 있다. 이 종류의 로봇은, 인간 혹은 개(애완용), 곰 등의 비교적 지성이 높은 각식 보행 동물의 동작 메카니즘이나 사지를 이용한 풍부한 감정 표현을 충실히 재현한다. 또한, 미리 입력된 동작 패턴을 단순히 충실히 실행할 뿐만이 아니라, 사용자(혹은 다른 로봇)로부터 받아 말이나 태도(「칭찬한다」라든가 「꾸짖는다」, 「때린다」등)에 대하여 동적으로 대응한, 생생한 응답표현을 실현하는 것도 요구된다.

종래의 완구 기계는, 사용자 조작과 응답 동작과의 관계가 고정적이고, 완구의 동작을 사용자의 기호에 맞추어서 변경하는 것은 할 수 없었다. 이 결과, 사용자는 동일한 동작 밖에 반복하지 않는 완구가 언젠가는 싫증이 나버리게 된다.

이것에 대하여, 자율 동작을 행하는 지능형인 로봇은, 일반적으로, 외계의 정보를 인식하여 그것에 대하여 자신의 행동을 반영시키는 기능을 갖고 있다. 즉, 로봇은, 외부 환경으로부터의 음성이나 화상, 촉각 등의 입력 정보에 기초하여 감정 모델이나 본능 모델을 변화시켜서 동작을 결정함으로써, 자율적인 사고 및 동작 제어를 실현한다. 즉, 로봇이 감정 모델이나 본능 모델을 준비함으로써, 보다 고도의 지적 레벨로 인간과의 사실적인 커뮤니케이션을 실현하는 것도 가능해진다.

로봇이 환경 변화에 따른 자율 동작을 행하기 위해서, 종래에는, 어떤 1개의 관측 결과에 대하여 그 정보를 받아 행동을 취하는 것 같은 단순한 행동 기술의 조합으로 행동을 기술하고 있었다. 이들 입력에 대한 행동의 맵핑에 의해, 랜덤성, 내부 상태(감정·본능), 학습, 성장 등의 기능을 도입함으로써 일의적이 아닌 복잡한 행동의 발현을 가능하게 할 수 있다.

그런데, 이러한 단순한 행동 맵핑 방법에서는, 예를 들면 볼을 쫓아가 찬다고 한 동작 중에 일순간이라도 볼을 시야에서 놓치면, 볼에 관한 정보는 유지되어 있지 않기 때문에, 처음부터 볼을 찾는 것과 같은 행동을 취하게 되어, 인식 결과의 이용에 일관성이 없다.

또한, 로봇은, 복수의 볼이 관측되었을 때에, 어떤 인식 결과가 이전 관측된 어느 결과에 대응하는가 등과 같은 대응 문제를 해석할 필요가 있다. 또한, 얼굴의 인식이나 피부색의 인식이나 소리의 인식 등 보다 복잡한 인식 결과를 이용하기 위해서는, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석할 필요가 있다.

본 발명의 목적은, 화상이나 음성 등의 외계의 정보를 인식하여 그것에 대하여 자신의 행동을 반영시키는 기능을 구비한, 자율형의 우수한 로봇 장치 및 그 제어 방법을 제공하는 것에 있다.

본 발명의 또 다른 목적은, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고, 고도의 행동 제어를 행할 수 있는, 우수한 로봇 장치 및 그 제어 방법을 제공하는 것에 있다.

본 발명의 또 다른 목적은, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석할 수 있는, 우수한 로봇 장치 및 그 제어 방법을 제공하는 것에 있다.

본 발명은, 상기 과제를 참작하여 이루어진 것으로, 외부 환경의 변화에 따른 자율적인 동작이 가능한 로봇 장치 또는 그 제어 방법으로서,

외부 환경을 인식하는 1 이상의 인식 수단 또는 인식 단계와,

상기 인식 수단 또는 단계에 의한 인식 결과를 기초로 외부 환경에 존재하는 물체를 검출하는 타겟 검출 수단 또는 단계와,

상기 타겟 검출 수단 또는 단계에 의해 검출된 물체에 관한 타겟 정보를 유지하는 타겟 기억 수단 또는 단계

를 구비하는 것을 특징으로 하는 로봇 장치 또는 그 제어 방법이다.

여기서, 상기 인식 수단 또는 인식 단계는, 예를 들면, 외부 환경에 있어서, 음성이나, 사용자의 발화(發話) 내용, 물체의 색, 사용자의 얼굴 등을 인식할 수 있다.

본 발명에 따른 로봇 장치 또는 그 제어 방법은, 상기 타겟 기억 수단 또는 단계에 기억되어 있는 타겟 정보를 기초로, 로봇 장치 자신이 실행하는 행동을 제어하는 행동 제어 수단 또는 단계를 더 구비하고 있어도 된다.

여기서, 상기 타겟 기억 수단 또는 단계는, 상기 인식 수단 또는 단계에 의한 물체에 대한 인식 결과, 물체의 위치, 자세 정보를 타겟 정보로서 유지한다.

이 때, 상기 인식 수단 또는 단계가 갖는 좌표계에서 인식된 인식 결과를, 로봇 장치의 동체를 기준으로 한 고정 좌표계로 변환하여 물체의 위치, 자세 정보 를 유지하도록 함으로써, 복수의 인식기의 정보를 통합하는 것이 가능해진다. 예를 들면, 로봇이 목 등을 움직여 센서의 자세가 변화하는 경우에도, 타겟 정보를 기초로 로봇의 행동 제어를 행하는 상위 모듈(어플리케이션)로부터 본 물체의 위치는 동일한 그대로가 된다.

또한, 상기 인식 수단 또는 단계에 의해 소정 시간 이상 인식되지 않게 된 물체에 관한 타겟 정보를 삭제하는 타겟 삭제 수단 또는 단계를 더 구비하고 있어도 된다.

또한, 상기 인식 수단 또는 단계에 의해 인식되지 않은 타겟이 인식 범위 내인가 또는 이 범위 밖일까를 판단하여, 이 범위 밖이라면 상기 타겟 기억 수단의 대응하는 타겟 정보를 유지하고, 이 범위 내이면 상기 타겟 기억 수단의 대응하는 타겟 정보를 망각하는 망각 수단을 더 구비하더라도 된다.

또한, 인식된 결과가 동일한 또는 중첩되어 있는 것을 동일하게 물체에 관한 정보로 하고, 타겟 정보 간의 관련성을 발견하는 타겟 연상 수단 또는 단계를 더 구비하고 있어도 된다.

또한, 2 이상의 인식 수단에 의해 인식된 결과가 동일한 위치 혹은 중첩되어 있는 것을 동일한 물체에 관한 정보로 하고, 타겟 정보 간의 관련성을 발견하는 타겟 연상 수단 또는 단계를 더 구비하고 있어도 된다.

또한, 상기 타겟 기억 수단 또는 단계는, 동일한 물체에 관하여 뒤로부터 인식된 정보를 추가하여 1개의 타겟 정보로서 유지하도록 하여도 된다.

또한, 본 발명에 따른 로봇 장치 또는 그 제어 방법은, 상기 인식 수단 또는 단계에 의한 인식 결과를 기초로 외부 환경에서 발생한 이벤트를 검출하는 이벤트 검출 수단 또는 단계와, 상기 이벤트 검출 수단 또는 단계에 의해 검출된 이벤트에 관한 정보를 발생한 시간 순으로 유지하는 이벤트 기억 수단 또는 단계를 더 구비하고 있어도 된다.

여기서, 상기 이벤트 검출 수단 또는 단계는, 인식된 발화 내용, 물체의 출현 및/또는 소실, 로봇 장치 자신이 실행한 행동 등의 외계의 상황 변화에 관한 정보를 이벤트로서 취급하도록 해도 된다.

또한, 기억되어 있는 이벤트 정보를 기초로, 로봇 장치 자신이 실행하는 행동을 제어하는 행동 제어 수단 또는 단계를 더 구비하고 있어도 된다.

본 발명에 따른 로봇 장치 또는 그 제어 방법은, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고, 고도의 행동 제어를 행할 수 있다. 또한, 비동기로 통지되는 개개의 인식 결과를 통합하고 나서 행동 모듈로 넘길 수 있기 때문에, 행동 모듈에서 정보의 취급이 용이하게 된다.

따라서, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석하는 것이 가능하다.

또한, 본 발명에 따른 로봇 장치 또는 그 제어 방법에 따르면, 인식한 관측 결과에 관한 정보를 기억으로서 유지하고 있기 때문에, 자율 행동하는 기간 중에 일시적으로 관측 결과가 나오지 않거나 한 경우에도, 동체의 행동 제어를 행하는 어플리케이션 등의 상위 모듈로부터는 항상 거기에 물체가 지각되어 있는 것처럼 보인다. 이 결과, 인식기의 오류나 센서의 노이즈에 강해져, 인식기의 통지의 타이밍에 의존하지 않는 안정된 시스템을 실현할 수 있다.

또한, 본 발명에 따른 로봇 장치 또는 그 제어 방법에 따르면, 관련하는 인식 결과가 결부되어 있기 때문에, 어플리케이션 등의 상위 모듈에서 관련하는 정보를 사용하여 행동 판단하는 것이 가능하다. 예를 들면, 로봇 장치는, 부르는 소리를 기초로, 그 인물의 이름을 인출할 수 있기 때문에, 인사의 응답으로 「안녕하십니까, XXX 씨.」와 같이 대답하는 것이 가능하다.

또한, 본 발명에 따른 로봇 장치 또는 그 제어 방법에 따르면, 센서의 시야 밖의 정보도 곧 바로 잊지 않고 유지하고 있기 때문에, 로봇이 물체를 일단 시야에서 놓쳤다고 해도, 후에 찾아낼 수 있다.

또한, 본 발명에 따른 로봇 장치 또는 그 제어 방법에 따르면, 인식기 단체(單體)로부터 보아서 정보가 모자라더라도, 다른 인식 결과가 보충할 수 있는 경우가 있기 때문에, 시스템 전체로서의 인식 성능이 향상된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에서 의해 분명히 될 것이다.

도 1은 본 발명의 실시에 제공되는 각식 이동 로봇(100)을 전방으로부터 조망한 양태를 도시한 도면.

도 2는 본 발명의 실시에 제공되는 각식 이동 로봇(100)을 후방에서 조망한 양태를 도시한 도면.

도 3은 본 발명의 일 실시 형태에 따른 각식 이동 로봇(100)이 구비하는 자유도 구성 모델을 모식적으로 도시한 도면.

도 4는 본 발명의 일 실시 형태에 따른 각식 이동 로봇(100)에 있어서 채용되는 행동 제어 시스템(50)의 아키텍처를 모식적으로 도시한 도면.

도 5는 행동 제어 시스템(50)에 있어서의 동작의 순서를 모식적으로 도시한 도면.

도 6은 단기 기억부(55)가 동작하는 양태를 모식적으로 도시한 도면.

도 7은 각 인식 기능부(51∼53)에 있어서의 인식 결과에 기초하여 타겟 메모리에 들어가는 정보의 흐름을 도시한 도면.

도 8은 각 인식 기능부(51∼53)에 있어서의 인식 결과에 기초하여 이벤트 메모리에 들어가는 정보의 흐름을 도시한 도면.

도 9는 타겟 검출기의 처리 동작을 도시한 순서도.

도 10은 가비지 콜렉터가 타겟 메모리로부터 타겟의 삭제를 행하기 위한 처리 순서를 도시한 순서도.

도 11은 타겟 메모리의 데이터 표현을 도시한 도면.

도 12는 이벤트 메모리의 데이터 표현을 도시한 도면.

도 13은 각 인식 기능부(51∼53)에 있어서의 인식 결과를 저장하는 구조체의 예를 도시한 도면.

도 14는 로봇(100)에 의한 사용자 A와 사용자 B의 대화 처리의 예를 도시한 도면.

도 15는 로봇(100)에 의한 사용자 A와 사용자 B의 대화 처리의 예를 도시한 도면.

도 16은 로봇(100)에 의한 사용자 A와 사용자 B의 대화 처리의 예를 도시한 도면.

이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 상술한다.

<A. 각식 이동 로봇의 구성>

도 1 및 도 2에는, 본 발명의 실시에 제공되는 각식 이동 로봇(100)이 직립해 있는 양태를 전방 및 후방의 각각으로부터 조망한 양태를 도시하고 있다. 이 각식 이동 로봇(100)은, 「인간형(人間形)」 혹은「인간형(人間型)」이라고 부르는 타입으로서, 후술하는 바와 같이, 음성이나 화상 등의 외부 자극의 인식 결과에 기초하여 자율적으로 행동 제어를 행할 수 있다. 도시한 바와 같이, 각식 이동 로봇(100)은, 각식 이동을 행하는 좌우 2족의 하지(下肢)와, 체간부와, 좌우의 상지(上肢)와, 머리부로 구성된다.

좌우 각각의 하지는, 대퇴부와, 무릎 관절과, 정강이부와, 발목과, 발로 구성되고, 고관절에 의해서 체간부의 대략 최하단에서 연결되어 있다. 또한, 좌우 각각의 상지는, 위팔과, 팔꿈치 관절과, 아래팔로 구성되고, 어깨 관절에 의해서 체간부 상측의 좌우 각측 모서리에서 연결되어 있다. 또한, 머리부는, 목 관절에 의해서 체간부의 대략 최상단 중앙에 연결되어 있다.

체간부 유닛 내에는, 도 1 및 도 2 상에서는 보이지 않는 제어부가 갖추어져 있다. 이 제어부는, 각식 이동 로봇(100)을 구성하는 각 관절 액츄에이터의 구동 제어나 각 센서(후술)등으로부터의 외부 입력을 처리하는 컨트롤러(주 제어부)나, 전원 회로 등의 주변기기류를 탑재한 케이싱이다. 제어부는, 기타, 원격 조작용의 통신 인터페이스나 통신 장치를 포함하고 있어도 된다.

도 3에는, 본 실시예에 따른 각식 이동 로봇(100)이 구비하는 관절 자유도 구성을 모식적으로 도시하고 있다. 도시한 바와 같이, 각식 이동 로봇(100)은, 2개의 팔부와 머리부(1)를 포함하는 상체와, 이동 동작을 실현하는 2개의 다리부로 이루어지는 하지와, 상지와 하지를 연결하는 체간부로 구성된다.

머리부(1)를 지지하는 목 관절은, 목 관절 요우축(2)과, 목 관절 피치축(3)과, 목 관절 롤축(4)과 같은 3 자유도를 갖고 있다.

또한, 각 팔부는, 어깨 관절 피치축(8)과, 어깨 관절 롤축(9)과, 위팔 요우축(10)과, 팔꿈치 관절 피치축(11)과, 아래팔 요우축(12)과, 손목 관절 피치축(13)과, 손목 관절 롤축(14)과, 손부(15)로 구성된다. 손부(15)는, 실제로는, 복수개의 손가락을 포함하는 다관절·다자유도 구조체이다. 단, 손부(15)의 동작 자체는, 로봇(100)의 자세 안정 제어나 보행 동작 제어에 대한 기여나 영향이 적기 때문에, 본 명세서에서는 제로 자유도라고 가정한다. 따라서, 좌우의 각 팔부는 7 자유도를 갖는 것으로 한다.

또한, 체간부는, 체간 피치축(5)과, 체간 롤축(6)과, 체간 요우축(7)이라는 3 자유도를 갖는다.

또한, 하지를 구성하는 좌우 각각의 다리부는, 고관절 요우축(16)과, 고관절 피치축(17)과, 고관절 롤축(18)과, 무릎 관절 피치축(19)과, 발목 관절 피치축(20)과, 관절 롤축(21)과, 발부(발바닥 또는 발)(22)로 구성된다. 인체의 발부(발바닥)(22)는, 실제로는 다관절·다자유도의 발바닥을 포함한 구조체이지만, 본 실시예에 따른 각식 이동 로봇(100)의 발바닥은 제로 자유도로 한다. 따라서, 좌우의 각 다리부는 6 자유도로 구성된다.

이상을 총괄하면, 본 실시예에 따른 각식 이동 로봇(100) 전체로서는, 합계로 3+7×2+3+6×2=32 자유도를 갖게 된다. 단, 각식 이동 로봇(100)이 반드시 32 자유도에 한정될 이유가 없다. 설계·제작 상의 제약 조건이나 요구 사양 등에 따라서, 자유도 즉 관절 수를 적절하게 증감할 수 있는 것은 물론이다.

각식 이동 로봇(100)이 갖는 상술한 각 관절 자유도는, 실제로는 액튜에이터에 의한 능동적인 동작으로서 실현된다. 장치의 외관상에서 여분의 돌출부를 없애어 인간의 자연체 형상에 근사시키는 것이라든가, 2족 보행이라는 불안정 구조체에 대하여 자세 제어를 행하는 것 등의 여러 가지의 요청으로부터, 관절 액츄에이터는 소형 또한 경량인 것이 바람직하다. 본 실시 형태에서는, 기어 직결형으로 또한 서보 제어계를 원 칩화하여 모터 유닛에 내장한 타입의 소형 AC 서보 액츄에이터를 탑재하도록 하였다. 또, 각식 이동 로봇(100)에 적용 가능한 소형 AC 서보 액츄에이터에 관해서는, 예를 들면 본 출원인에게 이미 양도되어 있는 특개2000-299970호 공보(특원평11-33386호 명세서)에 개시되어 있다.

<B. 로봇의 행동 제어 시스템의 구성>

본 실시 형태에 따른 각식 이동 로봇(100)은, 외부 자극의 인식 결과나 내부 상태의 변화에 따라서 행동 제어를 행할 수 있다. 도 4에는, 본 실시형태에 따른 각식 이동 로봇(100)에 있어서 채용되는 행동 제어 시스템(50)의 기본 아키텍처를 모식적으로 도시하고 있다.

도시된 행동 제어 시스템(50)에는 오브젝트 지향 프로그래밍을 도입할 수 있다. 이 경우, 각 소프트웨어는, 데이터와 그 데이터에 대한 처리 수속을 일체화시킨 「오브젝트」라는 모듈 단위로 다루어진다. 또한, 각 오브젝트는, 메시지 통신과 공유 메모리를 사용한 오브젝트 간 통신 방법에 의해 데이터의 교환과 인보크(Invoke)를 행할 수 있다.

행동 제어 시스템(50)은, 외부 환경(Environments)을 인식하기 위해서, 시각 인식 기능부(51)와, 청각 인식 기능부(52)와, 접촉 인식 기능부(53)를 구비하고 있다.

시각 인식 기능부(Video)(51)는, 예를 들면, CCD(Charge Coupled Device: 전하 결합 소자) 카메라와 같은 화상 입력 장치를 통하여 입력된 촬영 화상을 기초로, 얼굴 인식이나 색인식 등의 화상 인식 처리나 특징 추출을 행한다. 시각 인식 기능부(51)는, 후술하는 "MultiColorTracker", "FaceDetector", "FaceIdentify"과 같은 복수의 오브젝트로 구성된다.

청각 인식 기능부(Audio)(52)는, 마이크 등의 음성 입력 장치를 통하여 입력되는 음성 데이터를 음성 인식하여, 특징 추출하거나, 단어 세트(텍스트) 인식을 행하기도 한다. 청각 인식 기능부(52)는, 후술하는 "AudioRecog", "AuthurDecoder"과 같은 복수의 오브젝트로 구성된다.

접촉 인식 기능부(Tactile)(53)는, 예를 들면 동체의 머리부 등에 내장된 접촉 센서에 의한 센서 신호를 인식하여, 「쓰다듬어졌다」라든가「맞았다」와 같은 외부 자극을 인식한다.

내부 상태 관리부(ISM: Internal Status Manager)(54)는, 본능 모델이나 감정 모델을 구비하여, 상술한 시각 인식 기능부(51)와, 청각 인식 기능부(52)와, 접촉 인식 기능부(53)에 의해서 인식된 외부 자극(ES:ExternalStimula)에 따라서 로봇(100)의 본능이나 정서와 같은 내부 상태를 관리한다.

감정 모델과 본능 모델은, 각각 인식 결과와 행동 이력을 입력으로 갖고, 감정치와 본능치를 관리하고 있다. 행동 모델은, 이 감정치나 본능치를 참조할 수 있다.

단기 기억부(ShortTermMemory)(55)는, 상술한 시각 인식 기능부(51)와, 청각 인식 기능부(52)와, 접촉 인식 기능부(53)에 의해서 외부 환경으로부터 인식된 타겟이나 이벤트를 단기간 유지하는 기능 모듈이다. 예를 들면, 카메라로부터의 입력 화상을 약 15초 정도의 짧은 기간 동안만 기억한다.

장기 기억부(LongTermMemory)(56)는, 물건의 이름 등 학습에 의해 얻어진 정보를 장기간 유지하기 위해서 사용된다. 장기 기억부(56)는, 예를 들면, 어느 행동 모듈에 있어서 외부 자극으로부터 내부 상태의 변화를 연상 기억한다. 단, 장기 기억부(56)에 있어서의 연상 기억은, 본 발명의 요지와는 직접 관련되어 있지 않기 때문에, 여기서는 설명을 생략한다.

본 실시 형태에 따른 각식 이동 로봇(100)의 행동 제어는, 반사 행동부(59) 에 의해서 실현되는 「반사 행동」과, 상황 의존 행동 계층(58)에 의해서 실현되는 「상황 의존 행동」과, 숙고 행동 계층(57)에 의해서 실현되는 「숙고 행동」으로 대별된다.

숙고 행동 계층(DeliberativeLayer)(57)은, 단기 기억부(55) 및 장기 기억부(56)의 기억 내용에 기초하여, 각식 이동 로봇(100)의 비교적 장기에 걸치는 행동 계획 등을 행한다.

숙고 행동은, 주어진 상황 혹은 인간으로부터의 명령에 의해, 추론이나 그것을 실현하기 위한 계획을 세워 행해지는 행동이다. 이러한 추론이나 계획은, 로봇(100)이 인터랙션을 유지하기 위한 반응 시간보다도 처리 시간이나 계산 부하를 요할 가능성이 있기 때문에, 반사 행동이나 상황 의존 행동이 실시간으로 반응을 보이면서, 숙고 행동은 추론이나 계획을 행한다.

상황 의존 행동 계층(SituatedBehaviorsLayer)(58)은, 단기 기억부(55) 및 장기 기억부(56)의 기억 내용이나, 내부 상태 관리부(54)에 의해서 관리되는 내부 상태를 기초로, 각식 이동 로봇(100)이 현재 위치하고 있는 상황에 즉응하는 행동을 제어한다.

상황 의존 행동 계층(58)은, 각 행동마다 스테이트머신을 준비하고 있어, 그 이전의 행동이나 상황에 의존하여, 센서 입력된 외부 정보의 인식 결과를 분류하고, 행동을 동체 상에서 발현한다. 또한, 상황 의존 행동 계층(58)은, 내부 상태를 어느 범위에 유지하기 위한 행동(「호메오스타시스 행동」이라고도 부른다)도 실현하여, 내부 상태가 지정한 범위 내를 넘은 경우에는, 그 내부 상태를 상기 범 위 내로 복귀시키기 위한 행동이 나오기 쉽게 되도록 그 행동을 활성화시킨다(실제로는, 내부 상태와 외부 환경의 양방을 고려한 형태로 행동이 선택된다). 상황 의존 행동은, 반사 행동(후술)에 비하여, 반응 시간이 느리다.

숙고 행동 계층(57)이나 상황 의존 행동 계층(58)은, 어플리케이션으로서 실장할 수 있다.

반사적 행동부(ConfigurationDependentActionsAndReactions)(59)는, 상술한 시각 인식 기능부(51)와, 청각 인식 기능부(52)와, 접촉 인식 기능부(53)에 의해서 인식된 외부 자극에 따라서 반사적인 동체 동작을 실현하는 기능 모듈이다.

반사 행동은, 기본적으로, 센서 입력된 외부 정보의 인식 결과를 직접 받아, 이것을 분류하고, 출력 행동을 직접 결정하는 행동이다. 예를 들면, 인간의 얼굴을 따라가거나, 고개를 끄덕이는 것 같은 행동은 반사 행동으로서 실장하는 것이 바람직하다.

본 실시 형태에 따른 각식 이동 로봇(100)에서는, 단기 기억부(55)가, 상술한 시각 인식 기능부(51), 청각 인식 기능부(52), 접촉 인식 기능부(53) 등의 복수의 인식기의 결과를 시간적 및 공간적으로 정합성을 유지하도록 통합하여, 외부 환경 하의 각 물체에 관한 지각을 단기간의 기억으로서 상황 의존 행동 계층(SBL)(58) 등의 행동 제어 모듈에 제공하도록 되어 있다.

따라서, 상위 모듈로서 구성되는 행동 제어 모듈 측에서는, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고, 고도의 행동 제어를 행할 수 있다. 또한, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡 한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석할 수 있다.

또한, 인식한 관측 결과에 관한 정보를 기억으로 하여 단기 기억부(55)가 유지하고 있기 때문에, 자율 행동하는 기간 중에 일시적으로 관측 결과가 나오지 않거나 하는 경우에도, 동체의 행동 제어를 행하는 어플리케이션 등의 상위 모듈로부터는 항상 거기에 물체가 지각되어 있는 것처럼 보이도록 할 수 있다. 예를 들면, 센서의 시야 밖의 정보도 곧바로 잊는 일없이 유지하고 있기 때문에, 로봇이 물체를 일단 시야에서 놓쳤다고 해도, 다시 후에 찾아 낼 수 있다. 이 결과, 인식기의 오류나 센서의 노이즈에 강해져, 인식기의 통지의 타이밍에 의존하지 않는 안정된 시스템을 실현할 수 있다. 또, 인식기 단체로부터 보아서 정보가 부족하더라도, 다른 인식 결과를 보충할 수 있는 경우가 있기 때문에, 시스템 전체로서의 인식 성능이 향상된다.

또한, 관련하는 인식 결과가 결부되어 있기 때문에, 어플리케이션 등의 상위 모듈에서 관련하는 정보를 사용하고 행동 판단하는 것이 가능하다. 예를 들면, 로봇 장치는, 부르는 소리를 기초로, 그 인물의 이름을 인출할 수 있다. 이 결과, 인사의 응답으로 「안녕하십니까, XXX 씨.」와 같이 대답하는 등의 리액션이 가능하다.

도 5에는, 도 4에 도시한 행동 제어 시스템(50)을 구성하는 각 오브젝트에 의한 동작의 순서를 도시하고 있다.

도 5에 있어서, 동그라미로 표시되고 있는 것이, 「오브젝트」 또는 「프로 세스」라고 불리는 엔티티이다. 오브젝트끼리가 비동기로 통신함으로써, 시스템 전체가 동작한다. 각 오브젝트는 메시지 통신과 공유 메모리를 사용한 오브젝트 간 통신 방법에 의해 데이터의 교환과 인보크를 행하고 있다. 이하에, 각 오브젝트의 기능에 대하여 설명한다.

(AudioRecog:)

마이크 등의 음성 입력 장치로부터의 음성 데이터를 수취하여, 특징 추출과 음성 구간 검출을 행하는 오브젝트이다. 또한, 마이크가 스테레오인 경우에는, 수평 방향의 음원 방향 추정을 행할 수 있다. 음성 구간이라고 판단되면, 그 구간의 음성 데이터의 특징량 및 음원 방향이 ArthurDecoder(후술)로 보내어진다.

(ArthurDecoder:)

AudioRecog로부터 수취한 음성 특징량과 음성 사전 및 구문 사전을 사용하여 음성 인식을 행하는 오브젝트이다. 인식된 단어의 세트는 단기 기억부(ShortTermMemory)(55)에 보내어진다.

(MultiColorTracker:)

색인식을 행하는 오브젝트로서, 카메라 등의 화상 입력 장치로부터 화상 데이터를 수취하여, 미리 가지고 있는 복수의 컬러 모델에 기초하여 색영역을 추출하고, 연속한 영역으로 분할한다. 분할된 각 영역의 위치나 크기, 특징량 등의 정보를 출력하여, 단기 기억부(ShortTermMemory)(55)로 보낸다.

(FaceDetector:)

화상 프레임 중에서 얼굴 영역을 검출하는 오브젝트로서, 카메라 등의 화상 입력 장치로부터 화상 데이터를 수취하여, 그것을 9 단계의 스케일 화상으로 축소 변환한다. 이 모든 화상의 중에서 얼굴에 상당하는 구형(矩形) 영역을 탐색한다. 중첩한 후보 영역을 삭감하여 최종적으로 얼굴이라고 판단된 영역에 관한 위치나 크기, 특징량 등의 정보를 출력하여, FaceIdentify(후술)로 보낸다.

(FaceIdentify:)

검출된 얼굴 화상을 식별하는 오브젝트로서, 얼굴의 영역을 나타내는 구형 영역 화상을 FaceDetector에서 수취하여, 이 얼굴 화상이 소지된 인물 사전 중에 어느 인물에 상당하는 가를 비교하여 인물의 식별을 행한다. 이 경우, 얼굴 검출로부터 얼굴 화상을 수취하고, 출력으로서 얼굴 화상 영역의 위치, 크기 정보와 함께 인물의 ID 정보를 출력한다.

(ShortTermMemory(단기 기억부):)

로봇(100)의 외부 환경에 관한 정보를 비교적 짧은 시간만 유지하는 오브젝트로서, ArthurDecoder로부터 음성 인식 결과(단어, 음원 방향, 확신도)를 수취하고, MultiColorTracker로부터 피부색의 영역의 위치, 크기와 얼굴 영역의 위치, 크기를 수취하고, FaceIdentify에서 인물의 ID 정보 등을 수취한다. 또한, 로봇(100)의 동체 상의 각 센서로부터 로봇의 목의 방향(관절각)을 수취한다. 그리고, 이들의 인식 결과나 센서 출력을 통합적으로 사용하여, 현재 어디에 어느 인물이 있고, 발화된 말이 어느 인물의 것이고, 그 인물은 지금까지 어떤 대화를 행하였는가와 같은 정보를 보존한다. 이러한 물체 즉 타겟에 관한 물리 정보와 시간 방향에서 본 이벤트(이력)를 출력으로 하여, 상황 의존 행동 계층(SBL) 등의 상 위 모듈로 넘긴다.

(SituatedBehaviorLayer(상황 의존 행동 계층):)

상술한 ShortTermMemory(단기 기억부)로부터의 정보를 기초로 로봇(100)의 행동(상황에 의존한 행동)을 결정하는 오브젝트이다. 복수의 행동을 동시에 평가하거나, 실행하거나 할 수 있다. 또, 행동을 전환하여 동체를 슬립 상태로 해 두고, 다른 행동을 기동할 수 있다.

(ResourceManager:)

출력용의 커맨드에 대하여 로봇(100)의 각 하드웨어의 리소스 조정을 행하는 오브젝트이다. 도 5에 도시하는 예에서는, 음성 출력용의 스피커를 컨트롤하는 오브젝트와 목을 모션 컨트롤하는 오브젝트의 리소스 조정을 행한다.

(SoundPerformerTTS:)

음성 출력을 행하기 위한 오브젝트로서, ResourceManager 경유로 SituatedBehaviorLayer로부터 주어진 텍스트 커맨드에 따라서 음성 합성을 행하고, 로봇(100)의 동체 상의 스피커로부터 음성 출력을 행한다.

(HeadMotionGenerator:)

ResourceManager 경유로 SituatedBehaviorLayer로부터 목을 움직이는 커맨드를 받은 것에 응답하여, 목의 관절각을 계산하는 오브젝트이다. 「추적」의 커맨드를 받았을 때에는, ShortTermMemory로부터 수취한 물체의 위치 정보를 기초로, 그 물체가 존재하는 방향을 향하는 목의 관절각을 계산하여 출력한다.

<C. 단기 기억부>

본 실시 형태에 따른 각식 이동로봇(100)에서는, ShortTermMemory(단기 기억부)(55)가, 외부 자극에 관한 복수의 인식기의 결과를 시간적 및 공간적으로 정합성을 유지하도록 통합하여, 의미를 갖는 심볼 정보로서 취급하게 되어 있다. 이에 따라, 상황 의존 행동 계층(SBL)(58) 등의 상위 모듈에서는, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석하는 것을 가능하게 하고 있다.

단기 기억부(55)는, 타겟 메모리와 이벤트 메모리라는 2 종류의 메모리 오브젝트로 구성된다.

타겟 메모리는, 각 인식 기능부(51∼53)로부터의 정보를 통합하여, 현재 지각하고 있는 물체에 관한 정보 즉 타겟을 유지하고 있다. 이 때문에, 대상물체가 없게 되거나 나타나거나 함으로써, 해당하는 타겟을 기억 영역으로부터 삭제하거나(GarbageCollector), 새롭게 생성하기도 한다. 또한, 1개의 타겟을 복수의 인식 속성으로 표현할 수 있다(TargetAssociate). 예를 들면, 어떤 피부색이고 어떤 얼굴의 패턴이고 소리를 발하는 물체(인간의 얼굴) 등이다.

타겟 메모리에서 유지되는 물체(타겟)의 위치나 자세 정보는, 각각의 인식 기능부(51∼53)에 있어서 사용되는 센서 좌표계가 아니고, 로봇(100)의 체간 등의 동체 상의 특정한 부위가 소정의 장소에 고정된 월드 좌표계에서 표현을 행하도록 하고 있다. 이 때문에, 단기 기억부(STN4)(55)에서는, 로봇(100)의 각 관절의 현재값(센서 출력)을 항상 감시하고, 센서 좌표계로부터 이 고정 좌표계로의 변환을 행한다. 이에 따라, 각 인식 기능부(51∼53)의 정보를 통합하는 것이 가능하게 된다. 예를 들면, 로봇(100)이 목 등을 움직여 센서의 자세가 변화해도, 상황 의존 행동 계층(SBL) 등의 행동 제어 모듈로부터 보아서 물체의 위치는 동일한 그대로이기 때문에, 타겟의 취급이 용이하게 된다.

또한, 이벤트 메모리는, 외부 환경 하에서 발생한 과거부터 현재까지의 이벤트를 시계열적으로 저장하는 오브젝트이다. 이벤트 메모리에 있어서 취급되는 이벤트로서, 타겟의 출현과 소실, 음성 인식 단어, 자기의 행동이나 자세의 변화 등의 외계의 상황의 변화에 관한 정보를 예로 들 수 있다.

이벤트 중에는, 어떤 타겟에 관한 상태 변화가 포함되어 있다. 이 때문에, 이벤트 정보로서 해당하는 타겟의 ID를 포함시킴으로써, 발생한 이벤트에 관한 보다 자세한 정보를, 상술한 타겟 메모리로부터 검색하는 것도 가능하다.

본 발명의 하나의 포인트는, 속성이 다른 2종 이상의 센서 정보의 통합에 의해 타겟의 검출을 행하는 점에 있다. 센서 결과와 기억 결과의 거리 계산은, 예를 들면, 타겟의 중심 위치의 거리로부터 양자의 크기를 2분의 1하여 뺀 것을 취급하는 통산 거리 계산(극좌표는 각도)을 이용한다.

소리에 관한 센서 정보와 얼굴에 관한 센서 정보를 통합하는 경우, 음성(voice)에 관한 인식 결과가 얻어진 때에 단기 기억부 내의 타겟에 얼굴(face)의 인식 결과가 포함되어 있는 경우에는, 통산 거리 계산에 기초하여 통합한다. 그것 이외의 경우에는, 거리가 무한대로서 취급된다.

또한, 색에 관한 센서 정보를 통합하는 경우, 색(co1or)의 인식 결과와 기억 한 타겟의 색이 동색인 경우에는 통상 거리×0.8를 거리로 하고, 그것 이외인 경우에는 통상 거리×4.0를 거리로 한다.

또한, 센서의 결과와 기억 결과를 통합할 때, 극좌표계 표현인 경우에는 앙각과 수평각의 평균이 25도 이내인 것, 데카르트 좌표계 표현인 경우에는 통상 거리가 50 ㎝ 이내인 것을, 통상 통합 룰로 한다.

또한, 개개의 인식 결과에 따른 차이는, 인식 결과와 타겟의 거리의 계산 방법에 가중을 가하는 등에 의해 대응할 수 있다.

도 6에는, 단기 기억부(55)가 동작하는 양태를 모식적으로 도시하고 있다. 도 6에 도시하는 예에서는, 얼굴의 인식 결과(FACE)와 음성 인식, 및, 그 음원 방향의 인식 결과(VOICE)가 별도의 타이밍으로 처리되어, 단기 기억부(55)에 통지되었을 때의 동작을 도시하고 있다(단, 로봇(100)의 동체를 원점으로 하는 극좌표계에서 도시되어 있다). 이 경우, 각 인식 결과는 시간적으로도 공간적으로 가깝기 (오버랩하고 있기) 때문에, 얼굴의 속성과 음성의 속성을 갖는 1개의 물체라고 판단하여, 타겟 메모리를 갱신하고 있다.

도 7 및 도 8에는, 각 인식 기능부(51∼53)에 있어서의 인식 결과에 기초하여, 단기 기억부(55) 내의 타겟 메모리 및 이벤트 메모리에 들어가는 정보의 흐름을 각각 도시하고 있다.

도 7에 도시한 바와 같이, 단기 기억부(55)(STM 오브젝트) 내에는, 외부 환경으로부터 타겟을 검출하는 타겟 검출기가 설치되어 있다. 이 타겟 검출기는, 소리 인식 결과나 얼굴 인식 결과, 색인식 결과 등의 각 인식 기능부(51∼53)에 의한 인식 결과를 기초로, 신규 타겟을 추가하거나, 기존의 타겟을 인식 결과에 반영하도록 갱신하기도 한다. 검출된 타겟은, 타겟 메모리 내에 유지된다.

또한, 타겟 메모리에는, 이제는 관측되지 않게 된 타겟을 찾아 소거하는 가비지 콜렉터(GarbageCollector)나, 복수의 타겟의 관련성을 판별하여 동일한 타겟에 결부시키는 타겟 어소시에이트(Target Associate) 등의 기능이 있다. 가비지 콜렉터는, 시간의 경과에 따라서 타겟의 확신도를 디크리먼트해 가고, 확신도가 소정값을 하회한 타겟을 삭제(delete)함으로써 실현된다. 또한, 타겟 어소시에이트는, 동일한 속성(인식 타입)의 특징량이 가까운 타겟 사이에서 공간적·시간적인 근사성을 가짐으로써, 동일한 타겟을 확인할 수 있다.

상술한 상황 의존형 행동 계층(SBL)은, 단기 기억부(55)의 클라이언트(STM 클라이언트)가 되는 오브젝트로서, 타겟 메모리로부터는 정기적으로 각 타겟에 관한 정보의 통지(Notify)를 수취한다. 본 실시 형태에서는, STM 플록시 클래스가, 단기 기억부(55)(STM 오브젝트)와는 독립한 클라이언트 로컬 작업 영역에 타겟을 복사하여, 항상 최신의 정보를 유지해 둔다. 그리고, 로컬인 타겟 리스트(Target of Interest)로부터 원하는 타겟을 판독하여, 스키마(schema) 즉 행동 모듈을 결정한다.

또한, 도 8에 도시한 바와 같이, 단기 기억부(55)(STM 오브젝트) 내에는, 외부 환경에서 발생하는 이벤트를 검출하는 이벤트 검출기가 설치되어 있다. 이 이벤트 검출기는, 타겟 검출기에 의한 타겟의 생성이나, 가비지 콜렉터에 의한 타겟의 삭제를 이벤트로서 검출한다. 또한, 인식 기능부(51∼53)에 의한 인식 결과가 음성 인식인 경우에는, 그 발화 내용이 이벤트가 된다. 발생한 이벤트는, 발생한 시간 순으로 이벤트 메모리 내에서 이벤트 리스트로서 저장된다.

상술한 상황 의존형 행동 계층(SBL)은, 단기 기억부(55)의 클라이언트(STM 클라이언트)가 되는 오브젝트로서, 이벤트 메모리로부터는 시시각각 이벤트의 통지(Notify)를 수취한다. 본 실시 형태에서는, STM 프록시 클래스가, 단기 기억부(55)(STM 오브젝트)와는 독립한 클라이언트 로컬 작업 영역에 이벤트 리스트를 복사해 둔다. 그리고, 로컬인 이벤트 리스트로부터 원하는 이벤트를 판독하여, 스키마(schema) 즉 행동 모듈을 결정한다. 실행된 행동 모듈은 새로운 이벤트로서 이벤트 검출기에 의해 검출된다. 또한, 오래된 이벤트는, 예를 들면 FIFO(Fast In Fast 0ut) 형식으로 이벤트 리스트로부터 순차적으로 폐기된다.

도 9에는, 타겟 검출기의 처리 동작을 순서도의 형식으로 도시하고 있다. 이하, 이 순서도를 참조하면서, 타겟 검출기에 의한 타겟 메모리의 갱신 처리에 대하여 설명한다.

각 인식 기능부(51∼53)로부터의 인식 결과를 수취하면(단계 S1), 인식 결과와 동일한 시각에서의 관절각 데이터를 검색하여, 그것을 기초로, 각 인식 결과를 센서 좌표계로부터 월드 고정 좌표계로의 좌표 변환을 행한다(단계 S2).

계속해서, 타겟 메모리(Target of Interest)로부터 타겟을 1개 추출하여(단계 S3), 타겟의 위치 및 시간 정보를, 인식 결과의 위치 및 시간 정보와 비교한다(단계 S4). 위치가 중첩되어 있고 또한 측정 시간이 가까운 경우에는, 타겟과 인식 결과가 일치한다고 판단한다.

일치한 경우에는, 타겟 내에 인식 결과와 동일한 인식 타입의 정보가 있는지의 여부를 또한 체크한다(단계 S5).

그리고, 동일한 인식 타입의 정보가 있으면, 또한, 특징량이 일치하는가 아닌가를 체크한다.(단계 S6). 특징량이 일치하는 경우에는, 금회의 인식 결과를 반영시켜서(단계 S7), 상기 타겟의 타겟 위치나 관측 시각을 갱신하고(단계 S8), 본 처리 루틴 전체를 종료한다.

한편, 특징량이 일치하지 않은 경우에는, 신규 타겟을 생성하고, 그것에 금회의 인식 결과를 할당하고(단계 S11), 본 처리 루틴 전체를 종료한다.

또한, 단계 S5에 있어서, 인식 정보가 일치하는 타겟 내에 동일한 인식 타입의 정보가 없다고 판별된 경우에는, 이 타겟에 대하여 인식 결과를 추가하고(단계 S9), 그 타겟 위치나 관측 시각을 갱신하고(단계 S9), 본 처리 루틴 전체를 종료한다.

또한, 단계 S4에 있어서, 취해진 타겟이 인식 결과의 위치 및 시간 정보에 일치하지 않는다고 판별된 경우에는, 다음의 타겟을 순차 추출하여(단계 S10), 상술한 것과 동일한 처리를 반복하여 행한다. 최종적으로 인식 결과와 일치하는 타겟을 발견할 수 없었던 경우에는, 신규 타겟을 생성하여, 그것에 금회의 인식 결과를 할당하고(단계 S11), 본 처리 루틴 전체를 종료한다.

이미 진술한 바와 같이, 타겟 검출기에 의한 타겟의 추가나 갱신은, 이벤트가 된다.

도 10에는, 가비지 콜렉터가 타겟 메모리로부터 타겟의 삭제를 행하기 위한 처리 순서를 플로우차트의 형식으로 도시하고 있다.

가비지 콜렉터는, 정기적으로 호출되어 기동한다. 우선, 센서의 측정 범위를 월드 고정 좌표계로 변환한다(단계 S21).

그리고, 타겟 메모리(Target of Interest)로부터 타겟을 1개 추출한다(단계 S22). 그리고, 취해진 타겟이 센서의 측정 범위 내에 존재하는가 아닌가를 체크한다(단계 S23).

타겟이 센서의 측정 범위 내에 있으면, 시간의 경과에 따라서 그 확신도를 디크리먼트한다(단계S24). 센서의 측정 범위임에도 불구하고 타겟의 정보가 갱신되어 있지 않기 때문에 타겟이 존재하지 않을 가능성이 있는 경우에도, 그 확신도를 낮춘다. 측정 범위 외의 타겟에 대해서는, 그 정보가 유지된다.

그리고, 타겟의 확신도가 소정의 임계치 TH를 하회한 경우에는(단계 S25), 이제는 관찰되지 않게 된 것으로 하여, 그 타겟을 타겟 메모리로부터 삭제한다(단계 S26).

상술한 바와 같은 확신도의 갱신이나 타겟의 삭제 처리를 모든 타겟에 대하여 반복하여 행한다(단계 S27).

이미 진술한 바와 같이, 가비지 콜렉터에 의한 타겟의 삭제는, 이벤트가 된다.

도 11에는, 타겟 메모리의 데이터 표현을 도시하고 있다. 도 11에 도시한 바와 같이, 타겟은, AssociatedTarget라는 복수의 인식 결과를 요소로 갖는 리스트이다. 이 때문에 타겟은 관련하는 인식 결과를 몇 개라도 가질 수 있다.

리스트의 선두에는, 모든 인식 결과로부터 통합적으로 판단된 이 타겟의 위치나 크기 등의 물리 정보가 저장되어, 음성(voice)이나 색(color), 얼굴(face) 등의 인식 결과가 이것에 계속된다. AssociatedTarget는 공유 메모리 상에 전개되어, 타겟의 출현, 소실과 함께 메모리 상에 생성되거나, 사라지기도 한다. 상위 모듈은 이 메모리를 참조함으로써 현재 로봇(100)의 의식 하에 있는 물체의 정보를 얻을 수 있다.

또한, 도 12에는, 이벤트 메모리의 데이터 표현을 도시하고 있다. 도 12에 도시한 바와 같이, 각 이벤트는 STMEvent이라는 구조체로 표현되고, 이 안에는 어떤 이벤트에도 공통의 데이터 필드와 이벤트를 검지한 인식기 고유의 필드로 이루어진다.

이벤트 메모리는, 이 STMEvent 구조체의 리스트의 요소로서 갖는 기억 영역이다. 상위 모듈은, STMEvent의 데이터 필드의 데이터로부터 해당하는 데이터를 사용하여, 원하는 이벤트를 찾을 수 있다. 이러한 이벤트 탐색에 의해, 어떤 특정한 인물과의 대화의 이력을 검색할 때에는 그 인물에 대응하는 타겟ID와 SPEECH(발화)라는 이벤트의 종류를 사용하여, 그 인물이 발성한 모든 단어를 리스트하는 것이 가능해진다.

또한, 도 13에는, 각 인식 기능부(51∼53)에 있어서의 인식 결과를 저장하는 구조체의 예를 도시하고 있다. 도시된 구조체의 데이터 필드에는, 각각의 인식 기능부(51∼53)에 의존하는 특징량 등의 데이터 필드와 인식에 의존하지 않는 위치나 크기 속도 등의 물리적 파라미터 필드가 설치되어 있다.

<D. 로봇에 의한 대화 처리>

본 실시 형태에 따른 각식 이동 로봇(100)에서는, 외부 자극에 관한 복수의 인식기의 결과를 시간적 및 공간적으로 정합성을 유지하도록 통합하여, 의미를 갖는 심볼 정보로서 취급하게 되어 있다. 이에 따라, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석하는 것을 가능하게 하고 있다.

이하에서는, 도 14∼도 16을 참조하면서, 로봇(100)에 의한 사용자 A 및 B와의 대화 처리에 대하여 설명한다.

우선, 도 14에 도시한 바와 같이, 사용자 A가「마사히로(로봇의 이름) 군!」이라고 부르면, 각 인식 기능부(51∼53)에 의해 소리 방향 검출, 음성 인식, 및 얼굴 식별이 행해지고, 불려진 방향을 향하여, 사용자 A의 얼굴을 트랙킹하거나, 사용자 A와의 대화를 개시한다고 하는 상황 의존의 행동이 행하여진다.

계속해서, 도 15에 도시한 바와 같이, 이번에는 사용자 B가「마사히로(로봇의 이름) 군!」이라고 부르면, 각 인식 기능부(51∼53)에 의해 소리 방향 검출, 음성 인식, 및 얼굴 식별이 행하여지고, 사용자 A와의 대화를 중단한 후(단, 회화의 콘텍스트를 보존한다), 불려진 방향을 향하여, 사용자 B의 얼굴을 트랙킹하거나, 사용자 B와의 대화를 개시한다고 하는 상황 의존의 행동이 행하여진다.

계속해서, 도 16에 도시한 바와 같이, 사용자 A가「어이!」라고 외치고, 회화의 계속을 재촉하면, 이번에는, 사용자 B와의 대화를 중단한 후(단, 회화의 콘텍 스트를 보존한다), 불려진 방향을 향하여, 사용자 A의 얼굴을 트랙킹하거나, 보존되어 있는 콘텍스트에 기초하여 사용자 A와의 대화를 재개한다고 하는 상황 의존의 행동이 행하여진다.

<보충>

이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상술하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 상기 실시예의 수정이나 대용을 할 수 있는 것은 자명하다.

본 발명의 요지는, 반드시「로봇」이라고 불려지는 제품에만 한정되지 않는다. 즉, 전기적 혹은 자기적인 작용을 이용하여 인간의 동작에 근사시킨 운동을 행하는 기계 장치이라면, 예를 들면 완구 등과 같은 다른 산업 분야에 속하는 제품일지라도, 마찬가지로 본 발명을 적용할 수 있다.

결국, 예시라는 형태로 본 발명을 개시하여 온 것이고, 본 명세서의 기재 내용을 한정적으로 해석하여서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 첫머리에 기재한 특허 청구의 범위의 란을 참작하여야한다.

본 발명에 따르면, 화상이나 음성 등의 외계의 정보를 인식하여 그것에 대하여 자신의 행동을 반영시키는 기능을 구비한, 자율형의 우수한 로봇 장치 및 그 제어 방법을 제공할 수 있다.

또한, 본 발명에 따르면, 외계로부터의 복수의 인식 결과를 통합하여 의미를 갖는 심볼 정보로서 취급하고, 고도의 행동 제어를 행할 수 있는, 우수한 로봇 장 치 및 그 제어 방법을 제공할 수 있다.

또한, 본 발명에 따르면, 이전에 관측된 인식 결과와의 대응 문제 등 보다 복잡한 인식 결과를 이용하여, 어느 피부색 영역이 얼굴에서 어느 인물에 대응하고 있는가 라든가, 이 소리가 어느 인물의 소리인가 등을 해석할 수 있는, 우수한 로봇 장치 및 그 제어 방법을 제공할 수 있다.

본 발명에 따른 로봇 장치는, 비동기로 통지되는 개개의 인식 결과를 통합하고 나서 행동 모듈로 넘길 수 있기 때문에, 행동 모듈에서 정보의 취급이 용이하게 된다.

또한, 본 발명에 따른 로봇 장치는, 인식한 관측 결과에 관한 정보를 기억으로서 유지하고 있기 때문에, 자율 행동하는 기간 중에 일시적으로 관측 결과가 나오지 않거나 한 경우에도, 동체의 행동 제어를 행하는 어플리케이션 등의 상위 모듈로부터는 항상 거기에 물체가 지각되어 있는 것처럼 보인다. 이 결과, 인식기의 오류나 센서의 노이즈에 강해져, 인식기의 통지의 타이밍에 의존하지 않는 안정된 시스템을 실현할 수 있다.

또한, 본 발명에 따른 로봇 장치는, 관련하는 인식 결과가 결부되어 있기 때문에, 어플리케이션 등의 상위 모듈에서 관련하는 정보를 사용하여 행동 판단하는 것이 가능하다. 예를 들면, 로봇 장치는, 불려진 소리를 기초로, 그 인물의 이름을 인출하는 것이 가능하기 때문에, 인사의 응답으로 「안녕하십니까, XXX 씨.」와 같이 대답하는 것이 가능하다.

또한, 본 발명에 따른 로봇 장치는, 센서의 시야 밖의 정보도 곧바로 잊는 일없이 유지하고 있기 때문에, 로봇이 물체를 일단 시야에서 놓쳤다고 해도, 나중에 찾아 낼 수 있다.

또한, 본 발명에 따른 로봇 장치는, 인식기 단체로부터 보아 정보가 모자라더라도, 다른 인식 결과를 보충할 수 있는 경우가 있기 때문에, 시스템 전체로서의 인식 성능이 향상된다.

Claims

입력 정보에 대응하여 동작하는 로봇 장치에 있어서,

외부 환경을 인식 속성마다의 특징량으로 인식하는 복수의 인식 수단(51, 52, 53)과,

상기 복수의 인식 수단으로부터의 인식 결과에 기초해 타겟을 검출하는 타겟 검출 수단과,

상기 타겟 검출 수단에 의해 검출된 각 타겟의 인식 속성마다의 특징량과 시간적 및 공간적 정보를 기억하는 타겟 메모리와,

상기 타겟 메모리에 기억된 각 타겟에 기초하여, 상기 로봇 장치의 행동을 결정하는 행동 결정 수단(58)

을 구비하고,

상기 타겟 검출 수단은,

검출한 타겟과 시간적 및 공간적 관계가 가깝고 또한 동일 특징량이 일치하는 인식 속성의 정보를 갖는 상기 타겟 메모리 내의 타겟을 동일한 타겟으로 동정(同定)하고, 상기 타겟 메모리 내의 해당 타겟의 인식 속성의 정보를 현재의 인식 결과에 반영시키고,

검출한 타겟과 시간적 및 공간적 관계가 가깝고 또한 동일 특징량이 일치하는 인식 속성의 정보를 갖는 타겟을 상기 타겟 메모리 내에서 발견할 수 없는 때에는, 해당 검출한 타겟을 신규 타겟으로서 상기 타겟 메모리에 기억하는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

상기 타겟은, 복수의 인식 속성으로 기술되어 있는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

상기 복수의 인식 속성은 적어도 색 정보, 소리 정보, 얼굴 인식 정보를 갖는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

상기 타겟 검출 수단이 검출한 타겟의 공간적 정보를, 상기 인식 수단에 있어서 사용되는 좌표계로부터 상기 로봇 장치를 기준으로 한 고정 좌표계의 표현으로 변환하는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

상기 타겟 메모리 내에 기억되어 있는 타겟의 확신도를 시간의 경과를 따라서 디크리먼트하고, 확신도가 소정값을 하회한 타겟을 상기 타겟 메모리로부터 삭제하는 가비지 콜렉터를 더 구비하는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

상기 복수의 타겟 간의 시공간적 근사성을 판별하여, 근사성이 높은 타겟끼리를 링크시키는 타겟 어소시에이트 수단을 더 구비하는 것을 특징으로 하는 로봇 장치.
제1항에 있어서,

외부 환경에서 발생한 이벤트를 시계열에 따라서, 관련하는 타겟 정보와 함께 기억하는 이벤트 메모리를 더 구비하며,

상기 행동 결정 수단은 상기 타겟 메모리에 기억된 타겟과 상기 이벤트 메모리에 기억된 이벤트에 기초하여 행동 결정을 행하는 것을 특징으로 하는 로봇 장치.
제7항에 있어서,

상기 이벤트는 상기 타겟의 출현 및 소실, 음성 인식 단어, 대화, 상기 로봇 장치의 자기 행동 결과 중 어느 하나가 포함되어 있는 것을 특징으로 하는 로봇 장치.
입력 정보에 대응하여 동작하는 로봇 장치의 제어 방법에 있어서,

외부 환경을 인식 속성마다의 특징량으로 인식하는 복수의 인식 단계와,

상기 복수의 인식 단계에 의한 인식 결과에 기초해 타겟을 검출하는 타겟 검출 단계와,

상기 타겟 검출 단계에 의해 검출된 각 타겟의 인식 속성마다의 특징량과 시간적 및 공간적 정보를 기억하는 타겟 기억 단계와,

상기 타겟 기억 단계에 의해 기억된 각 타겟에 기초하여, 상기 로봇 장치의 행동을 결정하는 행동 결정 단계

을 구비하고,

상기 타겟 검출 단계는,

검출한 타겟과 시간적 및 공간적 관계가 가깝고 또한 동일 특징량이 일치하는 인식 속성의 정보를 갖는 타겟 메모리 내의 타겟을 동일한 타겟으로 동정하고, 타겟 메모리 내의 해당 타겟의 인식 속성의 정보를 현재의 인식 결과에 반영시키고,

검출한 타겟과 시간적 및 공간적 관계가 가깝고 또한 동일 특징량이 일치하는 인식 속성의 정보를 갖는 타겟을 타겟 메모리 내에서 발견할 수 없는 때에는, 해당 검출한 타겟을 신규 타겟으로서 타겟 메모리에 기억하는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

상기 타겟은, 복수의 인식 속성으로 기술되어 있는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

상기 복수의 인식 속성은, 적어도 색 정보, 소리 정보, 얼굴 인식 정보를 갖는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

상기 타겟 검출 단계에서 검출한 타겟의 공간적 정보를, 상기 인식 단계에 있어서 사용되는 좌표계로부터 상기 로봇 장치를 기준으로 한 고정 좌표계의 표현으로 변환하는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

정기적으로 기동되어, 타겟 메모리 내에 기억되어 있는 타겟의 확신도를 시간의 경과를 따라서 디크리먼트하고, 확신도가 소정값을 하회한 타겟을 타겟 메모리로부터 삭제하는 가비지 콜렉팅 단계를 더 구비하는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

상기 타겟 검출 단계와 상기 타겟 기억 단계 사이에, 상기 복수의 타겟 간의 시공간적 근사성을 판별하여, 근사성이 높은 타겟끼리를 링크시키는 타겟 어소시에이팅 단계를 더 구비하는 것을 특징으로 하는 로봇 장치의 제어 방법.
제9항에 있어서,

외부 환경에서 발생한 이벤트를 시계열에 따라서, 관련하는 타겟 정보와 함께 기억하는 이벤트 기억 단계를 더 구비하며,

상기 행동 결정 단계에서는, 상기 타겟 기억 단계에 있어서 기억된 타겟과 상기 이벤트 기억 단계에 있어서 기억된 이벤트에 기초하여 행동 결정을 행하는 것 을 특징으로 하는 로봇 장치의 제어 방법.
제15항에 있어서,

상기 이벤트는, 상기 타겟의 출현 및 소실, 음성 인식 단어, 대화, 상기 로봇 장치의 자기 행동 결과 중 어느 하나가 포함되어 있는 것을 특징으로 하는 로봇 장치의 제어 방법.