KR20140037802A

KR20140037802A - 로봇과 사용자 상호작용을 위한 다중 상태 모델

Info

Publication number: KR20140037802A
Application number: KR1020137018167A
Authority: KR
Inventors: 러셀 어빈 산체즈; 말렉 엠 찰라비; 코델 비 크라우스코프
Original assignee: 마이크로소프트 코포레이션
Priority date: 2011-01-13
Filing date: 2012-01-12
Publication date: 2014-03-27
Also published as: EP3722054A1; US8818556B2; EP2663429A4; WO2012097109A2; HK1171830A1; CN102609089B; US20120185090A1; JP5905488B2; WO2012097109A3; EP2663429A2; KR101984320B1; JP2014502566A; CN102609089A

Abstract

주요 개시는 태스크를 수행하기 위한 로봇의 태스크 관련 동작과 로봇과 상호작용하기 위한 사용자-관계 동작을 제어하는 모델을 포함하는 로봇 장치에 관한 것이다. 모델은 동작 상태를 제어하는데, 다양한 자극, 예를 들어, 로봇의 센서를 통해 수신된 정보 및/또는 학습된 데이터로부터 결정된 현재 맥락에 기초하여 자율 태스크 상태에서 관계 상태로 전이하는 것을 포함한다. 로봇이 사용자와 관계를 맺고자 할 수 있고, 사용자가 로봇과 관계를 맺고자 할 수 있으며, 또는 사용자와 로봇은 우연히 만나고 거기서 둘 중 하나가 관계를 개시하려고 시도할 수 있다.

Description

로봇과 사용자 상호작용을 위한 다중 상태 모델{MULTI-STATE MODEL FOR ROBOT AND USER INTERACTION}

가전기기, 차량, 컴퓨터, 전화, 핸드헬드 장치 등과 같은 사람을 위해 설계된 장치는, 상호작용을 시작하기 위하여 주로 터치나 기타 손을 기반으로 하는 접촉과 같은 하나 이상의 사용자의 명시적인 물리적 동작에 의존한다. 예를 들어, 전자레인지는 누군가가 키패드를 누르는 것을 기다리고, 컴퓨터는 누군가가 마우스를 움직이거나 키를 누르는 것을 기다리며, 이동 전화는 누군가가 스크린이나 버튼을 터치하는 것을 기다리는 등이다. 이러한 장치는 (직접적으로 또는 리모트 컨트롤러(remote controller)를 통해 간접적으로) 명시적 물리적 동작이 취해지는 때에 사용자와 관계되고, 사용자의 물리적 동작이 상호작용을 관장한다.

반면, 소비자 로봇(감각적 인식, 컴퓨터 지능(computational intelligence) 및 이동성의 조립을 포함)은 완전히 다른 범위의 사람과의 상호작용을 보인다. 그 중 하나로, 일반적으로 명시적 물리적 접촉은 로봇과 관계를 시작하는 가장 좋은 방법이 아니다. 대신에, 예를 들어, 한쪽(사람 또는 로봇)이 언어 또는 제스처 통신을 통하는 것을 포함하여 다른 쪽과의 관계(engage)나 관계 끊기(disengage)를 개시할 수 있다. 예를 들어, 로봇은 메시지를 전달하거나, 정보를 묻거나 제공하기 위해 특정인을 찾고, 인식하고 물리적으로 접근하여 관계를 맺을 수 있다. 관계를 맺기 위한 직접 상호작용이 필수적인 것은 아님을 유의하라; 예를 들어, 사용자는 로봇으로부터의 도움을 필요로 하거나 다른 방으로부터 로봇을 소환할 수 있다.

종래의 전자 장치와의 또 다른 현저한 차이는 로봇이 자주 고정된 위치에서 대기하는 것이 아니라 사용자, 주인, 가족 구성원, 방문자 또는 손님 대신에 과업을 수행하거나, 자율적으로 공간을 탐험하거나, 일반적이지 않은 사건을 기록 및 보고하거나, 심지어 스스로 유흥을 즐기면서("entertaining" itself) 공간(예를 들어, 집)을 돌아다닌다는(maneuver) 점이다. 로봇과 사람의 단순한 근접은 관계 맺음과 필연적으로 대응하는 것은 아닌데, 양 당사자(로봇과 사람)가 여하한 시간에 독립적인 태스크에 빠져 있을 수 있기 때문이다. 예를 들어 둘은 각자 별개의 관계없는 태스크에 집중하면서 복도에서 서로를 지나치고 있을 수 있다. 양 당사자가 관계 맺을 수 있기는 하지만, 관계는 필수적이지 않다. 그러나 우연히 지나치는 동안(예를 들어 복도에서), 한 쪽 당사자는 다른 당사자에게 요청을 하고자 할 수 있다.

또한, 사람과 로봇이 관계를 맺은 때에 둘 중 하나는 상황적 맥락에 기초하여 다양한 이유로 관계를 끊을 수 있다. 예를 들어, 로봇은 이전에 스케줄된 태스크에 착수하기 위한 허가를 요청할 수 있고, 또는 사람이 별개의 대화에 의해 방해받을 수 있다.

본 개요는 아래 상세한 설명에서 더 설명될 대표적 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요 특징을 식별하기 위한 것이 아니고, 여하한 방식으로도 청구된 주제의 범위를 제한하도록 사용되려는 것도 아니다.

간략하게, 여기 설명된 주제의 다양한 태양은 로봇 장치가, 로봇과 상호작용하기 위하여 로봇의 태스크 관련 동작 및 사용자-관계 동작을 제어하는 다수의 상태(예를 들어, 관계(engaged), 사용자-지시(user-directed), 자율-지시(self-directed), 휴지(rest))를 포함하는 상호작용 모델을 포함하게 하는 기술에 관한 것이다. 모델은, 로봇이 태스크를 수행하는 자율 태스크 상태에서 로봇이 사용자와 상호작용하는 관계 상태로 전이하는 것 및 그 역을 포함하여 동작 상태에 관해 로봇 장치의 동작을 제어한다. 모델은 로봇의 센서를 통해 수신한 정보를 포함하여 현재 맥락에 기초하여 언제 전이할지를 결정한다. 로봇은 사용자와 관계를 맺기를 구할 수 있거나, 사용자가 로봇과 관계 맺기를 구할 수 있거나, 또는 사용자와 로봇이 우연히 만나서 둘 중 하나가 관계를 시작하려고 시도할 수 있다.

일 태양에서, 모델을 통해 로봇이 자율 태스크 상태에서 동작하는데, 이는 로봇이 사용자 입력에 기초하여 사용자 태스크를 수행하는 사용자 지시 모드와 로봇이 사용자 입력에 기초하지 않은 태스크를 수행하는 자율 지시 모드를 포함한다. 로봇은 휴지 상태에 있을 수도 있는데, 로봇은 태스크 관련 트리거링 이벤트나 사용자와의 관계 필요성에 의해 휴지 상태에서 나갈 수 있다. 우선순위 레벨 순서는 관계 상태의 로봇을 자율 상태(사용자-지시 모드)보다 위에 배치하고, 자율 상태(사용자-지시 모드)는 다시 자율 상태(자율-지시 모드)보다 위에 있으며, 자율 상태(자율-지시 모드)는 다시 휴지 상태보다 위에 있다.

다른 태양에서, 로봇은 관계 상태로 들어가서, 복수의 자극 중 어떤 자극이 관계 상태로의 전이를 유발하였는지에 따라 상이하게 동작한다. 예시적인 자극은 원격 프록시 통신, 오디오 데이터(예를 들어, 로봇 이름에 대응하는 발화), 또는 사용자에 대응하는 모션의 검출을 포함한다.

로봇은 사용자를 향해 움직임으로써, 또는 사용자를 향한 청각 및/또는 시각 통신 데이터를 출력함으로써 관계를 시작할 수 있다. 사용자와 관계를 맺으려는 시도는 사용자와의 이전의 관계 이력에 기초하여 적응될 수 있는데, 예를 들어, 관계 시도를 위한 주파수-결정 시간에 이를 때까지 대기함으로써 너무 자주 관계를 시도하지 않을 수 있다.

다른 장점이 도면과 결합하여 아래의 상세한 설명으로부터 명확해질 수 있다.

본 발명은 첨부된 도면에서 예시의 방식으로 도시되고 제한되지 않는데, 도면에서 유사한 참조 부호는 유사한 요소를 나타낸다.
도 1은 로봇 장치의 컴퓨터 지능 시스템이 로봇 장치의 동작 상태를 결정하는 모델을 포함하는 로봇 장치의 예시적인 실시형태를 나타내는 블록도이다.
도 2는 예시적인 로봇 장치의 입력 양상(modality), 출력 양상 및 동작 상태의 표현이다.
도 3은 로봇 장치의 상태와 그들 상태 사이의 전이를 나타내는 상태도이다.
도 4는 여기에 설명된 다양한 실시형태의 하나 이상의 태양이 구현될 수 있는 예시적 비제한적 컴퓨팅 시스템 또는 동작 환경을 나타내는 블록도이다.

여기에 설명된 기술의 다양한 태양은 일반적으로, 자연스럽고 적절하며 유용하고 즐길 수 있는 상호작용을 용이하게 하는 방식으로 로봇의 상호작용 동작을 제어하는 다수의 상태(예를 들어, 관계, 사용자-지시, 자율-지시, 휴지)를 포함하는 사람(또는 "사용자")과 로봇 상호작용 모델을 포함하는 로봇 장치에 관한 것이다. 일 태양에서, 모델은 비관계(non-engaged) 상태와 관계 상태 사이의 전이, 로봇 또는 사람에 의한 개시 방법 및 이들 전이를 관리하기 위한 맥락 인식 및 감각 능력의 사용을 관장한다. 모델은 그의 관계 가능성을 조정하기 위해 로봇이 감각적 인식을 어떻게 이용하는지와 같은 기타 로봇 행동을 정의할 수 있다.

본 명세서의 예 중 어떤 것도 비제한적임을 이해하여야 한다. 예를 들어, 다양한 모델 등이 여기에서 예시로서 사용되는데, 그러나, 예시된 것과 다른 모델이 사용될 수 있다. 이와 같이, 본 발명은 여기에 설명된 여하한 특정 실시형태, 태양, 개념, 구조, 기능 또는 예로 제한되지 않는다. 오히려, 여기 설명된 실시형태, 태양, 개념, 구조, 기능 또는 예 중 여하한 것은 비제한적이고, 본 발명은 로보틱스 기술 일반에서 이점과 장점을 제공하는 다양한 방식으로 이용될 수 있다.

도 1은 이동성(운전) 메커니즘(104)을 통해 이동성을 위해 구성된 로봇 장치(102)의 예시적인 구현을 나타내는 블록도이다. 컴퓨터 지능 시스템(106)이 적절한 명령을 통해 이동성 메커니즘(104)을 구동한다. 이는 로봇 장치(102)에 이동성을 제공하여 컴퓨터 지능 시스템(106)이 컴퓨터 지능 시스템(106)으로부터의 명령에 기초하여 운송될 수 있다.

일반적으로, 로봇(102)은, 환경 데이터, 시간, 요일, 현재 위치, 배터리 잔량, 근처의 인식된 사람 등과 같은 현재 상태 데이터 등을 나타내기 위해 컴퓨터 지능 시스템(106)에 하나 이상의 신호를 제공하는 하나 이상의 센서를 포함하는 센서 세트(108)를 포함한다. 이 상태 데이터는, 로봇의 스캐줄, 이력 데이터(예를 들어, 적응되고 학습된 지식) 등과 같은 다른 유지되는 데이터와 함께 현재 맥락을 포함한다.

센서 세트(108)는 여하한 기계, 전기, 광학 및/또는 자기 센서나 센서들을 포함할 수 있고, 각각은 감지를 위해 로봇(102) 상의 적절한 위치에 배치될 수 있는데, 예를 들어, 특정 시야각을 얻기 위해 높이 설치될 수 있다. 센서 세트(108)는 컴퓨터 지능 시스템(106)이 특정 사람의 물리적 존재, 응시 방향, 핸드 제스처 등을 검출할 수 있게 하는 하나 이상의 카메라를 포함할 수 있다. 로봇(102)은 장치 배터리(109) (또는 기타 적장한 휴대용 전원)도 포함할 수 있다.

컴퓨터 지능 시스템(106)은 프로세서(110), 메모리(112) 및 인터페이스(114)를 포함한다. 후술하는 바와 같이, 인터페이스(114)는 로봇(102)이 다양한 유형의 입력과 출력을 통해 통신하도록 구성될 수 있다. 또한 후술하는 바와 같이, 컴퓨터 지능 시스템(106)은 사용자(사람) 상호작용 모델(120)을 포함한다.

도 2는 하나 이상의 로봇 입력 메커니즘(220)과 로봇 출력 메커니즘(222)을 포함하여, 로봇과의 통신을 위한 일부 예시적인 메커니즘을 보여준다. 도 2에 나타낸 바와 같이, 로봇은 리모트 컨트롤 프록시 사용자 명령을 특히 다른 방과 같은 원격 위치로부터 수신하는 등을 위한 리모트 컨트롤 수신기(224)를 포함할 수 있다. 사용자가 리모트 컨트롤의 일 실시형태에서 리모트 컨트롤을 착용할 수 있기 때문에 리모트 컨트롤 입력의 한 가지 유형은 "펜던트(pendant)" 입력이라고 불림을 유의하라. 로봇은 또한 여하한 유선(물리적으로 결합된 경우) 또는 무선 소스로부터 리모트 컨트롤 명령을 수신할 수 있는데, 예를 들어, 사용자는 퍼스널 컴퓨터를 이용한 인터넷 접속 등을 통해 통신할 수 있다.

다른 유형의 입력은 발화(speech)인데, 이를 로봇이 발화 인식기(225)에 의해 처리한다. 비디오 카메라나 깊이 센서에 의해 캡처되는 바와 같은 이미지 입력은 입력의 다른 유형이고, 도 2에서 이미지 인식기(블록 226)로 나타내는 바와 같이, 얼굴 인식 기술, 위치 검출, 응시 검출, 눈 추적, 제스처 검출/인식 기술, 골격 추적(skelectal tracking) 등으로 처리될 수 있다. 캡처된 이미지 중 하나의 이미지/시퀀스는 예일 뿐이고, 종래의 이미지 또는 비디오일 필요는 없는데, 예를 들어, 적외선, 모션, 깊이 센서 등이 모두 적당한 카메라나 유사한 센서에 의해 포착 및 검출될 수 있음을 유의하라.

도 2에는 블록 227에 의해 검출된 이미지 및 발화 입력도 나타내어져 있다. 이는 제스처와 결합된 발화를 지칭하는데, 이는 상이한 의미로 결합될 수 있다(예를 들어, 적절한 손 제스처와 함께 "움직여(move)"라는 단어를 말하는 것은 로봇에게 움직이라고 명령할 뿐만 아니라 좌나 우와 같이 어느 방향으로 움직일지를 명령하는데 사용될 수 있다). 다른 유형의 입력이 결합될 수 있는데, 예를 들어, 사용자가 말하는 때에 로봇을 보는 것은 사용자가 로봇을 보지 않는 경우와 다르게 해석될 수 있다(예를 들어, 사용자는 로봇에게 전혀 말하고 있지 않을 수 있다).

예를 들어, 터치, 냄새, 온도, 습도, 사용자 바이오메트릭 데이터 등의 다른 유형의 입력이 적절한 센서에 의해 감지되는 대로 수신될 수 있다. 블록 228이 여하한 이러한 다른 입력 메커니즘 및/또는 센서를 나타낸다.

로봇은, 몸 움직임, 자세/응시(231), 시각적 표현(232)(예를 들어, 눈 깜빡임과 같은 애니메이션 움직임), 오디오(233) 및 디스플레이(234)(스크린이나 프로젝터와 같은 디스플레이 장치를 통해 렌더링될 수 있는 그래픽 사용자 인터페이스, 이미지 등)를 통하는 것을 포함하여, 도 2에 도시된 것들 중 일부나 전부를 포함하는 다양한 출력 메커니즘(222) 중 하나 이상을 통하여 정보를 출력할 수 있다. 진동이나 냄새와 같은 다른 출력이 블록 235를 통해 나타내어져 있다. 로봇은 기분, 일반적인 상태, 태스크 상태 등을 나타내기 위해 여하한 상태에 있는 동안 그 출력 메커니즘(222) 중 하나 이상을 사용할 수 있다.

도시된 출력 메커니즘(222)은 일반적으로 사람 사용자와 통신하는 것에 관한 것임을 유의하라. 그러나, 출력의 다른 유형은 다른 로봇, 컴퓨터, 전화, 기기 등과 같은 전자 장치를 향할 수도 있다. 이들 장치와는 예를 들어 유선 또는 무선 무선 신호 또는 오디오 샘플을 통해 통신할 수 있다. 또한, 로봇은 다른 로봇뿐만 아니라 애완동물, 움직이지 않는 물체(예를 들어, 게임 콘솔) 등과 같은 다른 엔티티와 상호작용할 수 있다. 그러므로, 사람뿐만 아니라 이와 같은 기타 엔티티가 여기서는 "사용자"라고 지칭된다(다만 사람이 가장 통상적인 사용자이므로 "사람"과 "사용자"는 상호교환가능하게 사용된다).

도 2는 또한, 입력 및 출력 메커니즘(220과 222)이 로봇-사용자 상호작용을 위해 사용되고 있는 관계 상태(242)를 포함하여 로봇이 임의의 시간에 있을 수 있는 일부 예시적인 동작 상태(240-244)를 도시한다. 나타낸 상태(240-244)가 아래에 설명되지만, 하나 이상의 다른 상태가 가능하고 상태는 결합될 수 있음(예를 들어, 다른 구현에서 로봇은 사용자-지시 태스크의 일부를 실행하면서 다르게는 휴지 상태에 있을 수 있다)을 이해하여야 한다. 다음 표가 예시적인 상태를 요약한다:

후술하는 바와 같이, 로봇은 위의 표에 나타난 바와 같이 상태의 명확한 우선순위를 갖는다. 더 높은 우선순위 상태는 낮은 우선순위 상태를 인터럽트할 수 있고, 관계(관계 상태로의 전이)가 임의의 자율-지시 또는 사용자-지시 태스크를 인터럽트할 수 있다.

도 3은 로봇의 자율 동작 모드(360)(도 2의 사용자-지시 또는 자율-지시 상태(243과 244)에 대응)에서 애플리케이션 상호작용 모드(362)(도 2의 관계 상태(242)에 대응)로의 전이의 표시이다. 일반적으로, 그리고 도 3에 나타낸 바와 같이, 로봇은 사용자와의 관계 검출(블록 364) 시에 자율 모드(360)에서 애플리케이션 상호작용 모드(362)(관계 상태)로 전이하고, 관계 끊기 검출(블록 366) 시에 애플리케이션 상호작용 모드(362)에서 다시 자율 모드(360)로 전이한다. 오프/이용불가 상태(240) 및 휴지 상태(241)와 같은 도 2의 다른 상태가 아래에서 이들 다른 상태에 관련하여 설명되는데, 예를 들어, 로봇은, 시간이나 기타 트리거링 이벤트에 기초하는 등으로 사람과의 관계없이 휴지 상태(241)에서 자율 모드(360)로 갈 수 있다.

이들 전이에서 볼 수 있는 바와 같이, 로봇에 관하여 사용자의 관계 및 미관계(disengaged) 상태를 구별할 필요가 있다. 이해하는 바와 같이, 일반적으로, 구별하는데 상황 맥락이 관련이 있다.

이 목적으로, 사용자 선호, 상태 데이터, 위치, 예절, 사회적 규범 등과 같은 맥락 인자에 기초한 구조화되지 않은 환경 내의 관계/관계 끊기 모델을 포함하는 동적 멀티-스테이트 사용자-로봇 상호작용 모델(120)(도 1)이 여기에 설명된다. 이 모델은 관계와 미관계(non-engaged) 상태 사이의 전이, 로봇이나 사용자에 의한 관계 및 관계끊기의 시작 및 이들 전이를 관리하기 위한 맥락 인식 및 감각 능력의 사용을 관장한다. 모델은 그의 관계 가능성을 조정하기 위해 로봇이 감각적 인식을 어떻게 이용하는지를 정의할 수 있다.

더 구체적으로, 둘 중 하나(사용자나 로봇)는, 상황 맥락에 따라 다른 하나와의 관계 또는 관계 끊기의 시작을 다양한 방식으로(통상 비접촉 방법) 적절하게 시작할 수 있어야 한다. 이는 시간, 위치, 사용자의 정체 및 각 당사자의 그 시간에서의 예측되는 필요와 같은 인자를 포함할 수 있다. 로봇은 통상의 모임 시간 및 장소와 같은 관찰된/학습된 가정의 패턴에 기초하여 그 가용성을 최적화할 수 있다.

도 2를 참조하여 상술한 바와 같이, 관계를 용이하게 하기 위해, 로봇은 각 상태에서의 상호작용의 범위와 상태 사이의 전이를 정의하는 다수의 상태(예를 들어, 관계, 사용자-지시, 자율-지시, 휴지)를 가진다. 로봇이 사용자와 관계되는 때에, 사용자는 대기하고 있거나, 입력을 수신하거나 입력에 응답하고 있다. 관계는 맥락 큐(cue)에 기초하여 유지될 수 있다. 예를 들어, 사용자와 로봇의 근접성, 사용자와 로봇 사이의 응시/눈 맞춤(eye contact), 발화의 위치 및/또는 계속되는 상호작용이 관계와 관계 끊기를 제어할 수 있다. 사용자가 발화, 움직임 또는 얼굴 검출을 이용하여 로봇과 관계되는 경우, 사용자와 로봇은 서로의 상호작용 범위(이는 일반적으로 움직임/얼굴 검출보다 오디오에 대해 더 넓은 범위이다) 내에 위치하고 있음을 유의하라. 사용자가 리모트 컨트롤(프록시) 장치를 이용하여 로봇과 관계되는 경우, 사용자와 로봇은 서로의 송신/수신 범위 내의 어디에나 위치될 수 있다.

다음의 예는 사용자가 관련되는 결정 지점(예를 들어, 스케줄된 태스크 오버라이드(override))에 도달하는 때마다 사용자가 로봇을 책임지는 시나리오에 관한 것임을 유의하여야 한다. 일부 시나리오에서, 상이한 사용자들이 로봇과 상호작용하고 로봇을 지시(명령)할 수 있다. 이들은 피어(peer) 사용자들일 수 있으며, 따라서 여하한 충돌이 모델(120)에 의해 해결되는데, 예를 들어, 최후 명령이 우선할 수 있으며, 또는 사용자의 계층이 있을 수 있는데, 예를 들어, 사용자 B는, 예를 들어, 로봇이 사용자 B의 태스크 세트를 위해 사용가능하게 되는 때 등에 태스크를 스케줄링하고 상태 정보를 알기 위해 로봇과 잠시 관계될 수는 있지만 사용자 B가 사용자 A의 태스크 세트를 오버라이드할 수는 없다. 사용자의 다른 유형은 (예를 들어 권한 있는 사용자가 달리 로봇에 이야기해 줄 때까지) 인식되지 않은 사람과 같은, 로봇이 명령을 수용하지 않는 비인증(non-authorized)/비권한(non-authenticated) 사용자이다. 이는 애플리케이션에 의존할 수 있는데, 예를 들어, 순찰 태스크 중에 있는 때에, 로봇은 오직 최고위 사용자 또는 사용자들과만 통신하도록 허용될 수 있다. 또한, 본 예는 모델의 일 구현에 대응한다; 모델의 다른 구현은 로봇 행동을 관장하는 다른 규칙 등을 가질 수 있고, 예시된 모델의 일부 태양은 사용자 선호에 따라 (예를 들어, 규칙을 오버라이드 하도록) 사용자 구성가능할 수 있다.

일 예로서, 모델(120)은, 관계되는 동안에 사용자가 로봇이 그렇게 하도록 동의하지 않고는 로봇이 자율-지시 상태(244)에 들어갈 수 없고 사용자로부터의 명시적인 명령에 의해서만 휴지 상태(241)로 갈 수 있다고 규정한다. 저 배터리 상태와 같은 극단적인 경우에도, 관계된 동안에 로봇은 사용자에게 사용자가 충전하러 가도록 해달라고 요청(또는 달리 신호)한다.

사용자-지시 상태(243)에서, 로봇은 관계 종료하였고(블록 366), 도 3에 도시되는 바와 같이 사용자를 대신하여 태스크를 수행하기 위해 동작의 자율 모드로 들어갔다. 이 상태에는 사용자로부터의 명시적인 명령에 응답하여 관계 상태를 통해 또는 특정 시간에 일어나는 명시적인 태스크 설정에 의해 들어가게 된다.

관계 상태에 있는 동안에 (직접적으로 또는 사용자-특정 스케줄 또는 기타 기준을 통해) 명시적으로 획득되지 않은 로봇이 수행할 수 있는 다른 태스크는 자율-지시 상태(244)에서 실행되는 것으로 생각된다.

사용자-지시 상태(243)에 있는 동안, 로봇은 요청이 있으면 사용자와 관계될 수 있지만, 사용자-지시 태스크 세트가 종료되기까지는 자율-지시 태스크로 들어가지 않을 것이다. 그 결과, 로봇의 메트릭 맵을 개선하기 위한 탐색과 같은 주어진 시간에 보통 일어나는 자율-지시 태스크는 사용자-지시 테스크(또는 태스크 세트)가 완료될 때까지 대기한다.

사용자-지시 태스크 세트가 완료되면, 로봇은 그의 자율-지시 상태(244)로 전이한다. 순찰과 같이 사용자에 의해 실행되도록 스케줄된 테스크는 사용자-지시 태스크로서 실행됨을 유의하라. 즉각적인 사용자-지시 태스크는 스케줄된 태스크보다 우선한다.

로봇은 사용자-지시 상태(243)에 있는 때에 사용자에 의해 관계를 갖게 되면, 로봇은 태스크로 바쁘다는 것을 나타내는 정보(예를 들어, 대화)를 출력한다. 대화는 사용자가 대화를 중단(따라서 관계 요청을 취소)하고 로봇이 그 태스크를 계속하도록 허용하거나, 현재 사용자-지시 태스크나 애플리케이션을 취소(또는 중단)하여 사용자가 관계를 계속할 수 있도록 강제한다.

자율-지시 상태에서, 로봇은 완전히 자율적으로 동작하고 있다. 이 상태에서, 로봇은 로봇이 하기로 결정하는 태스크를 수행하는데, 예를 들어, 그의 내부 집 지도를 개선/업데이트하고, 학습된 이력에 기초하여 필요로 하는 사용자 예측 하에서 그 배터리를 충전하는 등이다. 자율-지시 상태(244)에서, 사용자가 상호작용을 요청하면 로봇은 그의 현재 태스크를 중단할 것이다.

휴지 상태(241)에서, 로봇은 관계 요청을 대기하고, 움직이지 않고 있다(예를 들어, 사용자를 찾기 위해 간헐적으로 회전(swivel)하는 등 관계 요청을 용이하게 하기 위한 것을 제외). 로봇은 휴지 상태에서 충전하고 있거나 충전하지 않고 있을 수 있다. 일반적으로, 로봇은, 에너지를 유지하고 그 부품의 마모를 피하면서, 예를 들어, 발화, 리모트 컨트롤 신호, 비디오 입력 등을 통해 통신을 "듣고 있다(listening)." 휴지 상태(241)에 있는 동안, 사용자에 의한 새로운 상호작용 없이, 로봇이 자기-지시 상태(244)로 전이할 수 있고 사용자 스케줄 태스크를 통해 사용자-지시 상태(243)로 전이할 수 있다.

관계 및 어트랙션(attraction)으로 가면, 관계의 유형은 로봇의 행동을 결정할 수 있다. 예를 들어, 사용자는 로봇과 관계를 맺기 위해 리모트 컨트롤(프록시) 장치를 사용할 수 있는데, 이는 마이크로폰 및/또는 스피커를 통한 오디오(예를 들어, 발화), 카메라 및/또는 디스플레이 장치를 통한 시각적 정보 등을 릴레이할 수 있다. 그러므로 로봇은 발화를 수신하고 그에 응답할 수 있고 명령을 제시하고 키보드 바로가기 대화를 표시할 수 있다. 로봇은 무활동 기간 후에 이러한 원격 관계를 중단할 수 있다.

키워드-온리(keyword-only) 관계에서, 로봇이 그때에 관계를 맺지 않거나 관계를 제시하고 있더라도, 로봇은 그 이름을 (예를 들어, 발화 인식을 통해) 키워드로서 인식하였다. 키워드-온리 관계에서, 로봇은 키워드 바로가기 대화를 표시하고 키워드 바로가기에 응답할 수 있다. 로봇은 또한 국지적인(localized) 얼굴을 스캔할 수 있다. 얼굴을 일반적으로 스캔하기 위해서, 로봇은 전체 각도의 시야를 효과적으로 커버하는 패턴으로 전체 움직임 범위에 걸쳐 그의 두부를 회전시키고 기울일 수 있다; 그러나, 로봇은 대신에 국지적인 얼굴을 스캔할 수 있는데, 여기서 로봇은 예를 들어 음원 위치결정(sound source localization)을 이용하여 음(음성) 소스의 방향을 중심으로 한 시야의 범위를 효과적으로 커버하는 패턴으로 제한된 움직임 범위에 걸쳐 그 두부를 회전시키고 기울인다. 로봇은 해제되거나 무활동 타임아웃(예를 들어, 30초)에 도달할 때까지 키워드-온리 관계에서 유지된다.

로봇 이름 인식에 관하여, 로봇은 현재 맥락, 예를 들어, 관계 가능, 관계 제안 및 관계에 의존하는 그의 이름 인식에 대한 상이한 반응을 가질 수 있다. 예를 들어, 가용한 경우, 로봇은 멈추고 그의 머리를 음원을 향해 돌려 국지적인 얼굴을 스캔할 수 있다. 얼굴이 검출되지 않으면, 로봇은 발화 관계로 들어가고 키워드 바로가기 대화를 표시하며, 로봇은 인식 이벤트를 "후속 음성 듣기" 단계로 취급하고 어트랙션 동작으로 진행하는데, 예를 들어, 음원으로 이동하고 멈춰서 얼굴을 스캔하고, 타임아웃 시간 전에 얼굴이 검출되지 않으면 이전 태스크로 돌아간다. 얼굴이 검출되면, 또는 로봇이 관계를 제안하고 있으면, 로봇은 후술하는 바와 같이 "근처의(nearby)" 관계 제안 및 수용 동작으로 진행한다.

관계를 제안하는 동안, 로봇이 그 이름을 인식하면 로봇은 관계 모드로 움직인다. 관계 모드에 있는 동안 로봇이 그 이름을 인식하면, 애플리케이션 상태와 무관하게, 맥락에 적당한 키워드 바로가기 대화를 표시한다.

근처 관계라고 지칭되는 관계 유형에서, 로봇과 사용자는 상호작용 범위 (예를 들어, 가시 범위) 내에 있고 사용자는 로봇의 관계 제안을 수용하였다 (또는 그 역일 수 있다). 로봇은 해제되거나 무활동 타임아웃에 도달할 때까지 근처 관계로 유지된다. 로봇은 동시에, 관계되고 사용자와의 근접성을 통해 근처 관계된 원격 프록시 장치일 수 있음을 유의하라. 검출된 다수의 사용자가 있을 수 있고, 이 경우, 현재 근처의 사용자가 얼굴이 상호작용 범위 내에서 깊이 카메라에 가장 가까운 것으로 검출된 (선택적으로 얼굴이 인식된 및/또는 선택적으로 인증된) 사용자인 것으로 결정된다. 로봇은 상호작용 평면을 생성하고, 현재 사용자로부터의 제스처 입력을 추적하고 인식한다.

로봇과 사용자가 근처 관계된 때에, 로봇은 예를 들어 사용자의 손을 검출 및 추적할 수 있고, 제스처 입력에 응답할 수 있다. 로봇은 메뉴를 표시할 수 있고, 사용자의 얼굴이 인식되면 사용자의 표시(예를 들어, 사용자의 아바타)를 표시할 수 있는 등이다. 사용자의 얼굴이 인식되지 않으면, 로봇은 "알 수 없음" 표시를 표시하고, 관계에 걸처 얼굴 인식 시도를 계속한다.

관계 시작에 관하여, 로봇이 휴지 상태에 있으면 로봇은 되는대로 관계를 찾지만, 찾기의 범위와 유형은 그 배터리 수준에 의존할 수 있다. 자기-지시 상태에서, 로봇은 자주 그리고 정규적으로 (가능하게는 약간의 임의성이 삽입되어) 멈추어서 되는대로 관계를 찾을 수 있다. 사용자-지시 상태에서, 로봇은 관계를 찾지 않지만, 예를 들어, 발화, 얼굴 검출 또는 원격 프록시 장치를 이용하여 사용자가 직접 요청하면 관계를 맺을 것이다.

추가적인 세부사항으로 가면, 근처 관계에서, 로봇은 소리나 움직임에 유혹되고, 얼굴 검출을 수행하여 검출된 얼굴을 인식하려고 시도한다. 로봇은 관계를 제안할 수 있고, 사용자는 신중하게 관계 제안을 받아들일 수 있다. 제안은 중복된 것일 수 있고 따라서 사용자가 관계가 희망된다는 것을 명확히 하였다면 제안이 필요하지 않지만, 아래에서 설명의 목적으로, 로봇이 (귀찮게) 검출하는 모든 얼굴과 관계를 맺지 않고 관계 맺는 것을 중단하지 않도록, 로봇은 관계를 제안하여야 하고 사용자는 신중하게 그 제안을 받아들여야 한다.

관계 수용의 예는 응시(gaze)를 포함하는데, 여기서 사용자는 소정 기간, 예를 들어 2초 동안 로봇의 카메라를 직접 (예를 들어, 15도 내로) 응시한다. 사용자가 로봇 너머를 보거나 옆을 보면, 관계는 수용된 것으로 생각되지 않는다. 사용자가 로봇을 보고 있는 사용자-초점 주의(user-focused attention) 상태에 있으면 주위 주의 상태(ambient attention) 상태와 달리 동작할 수 있다. 다른 예는, 사용자가 로봇의 이름을 말하는 (그리고 로봇이 인식하는) 경우이다. 제스처도 관계 수용을 위해 검출되고 사용될 수 있는데, 예를 들어, 사용자는 "에어터치(airtouch)" 평면을 통해 손을 앞으로 뻗거나, 사용자가 사용자의 볼과 로봇 사이에서 손을 앞뒤로 흔드는 것과 같은 다른 특정한 제스처를 취한다.

로봇 상에서 실행되는 일부 애플리케이션은 적극적으로 여하한 사용자 또는 특정 사용자와의 관계를 시작할 수 있다. 이러한 경우에, 애플리케이션은 되는대로 사람을 찾고 얼굴을 스캔할 수 있다. 얼굴이 검출되는 때에, 애플리케이션은 관계 제안을 할 수 있다.

관계 프로세스는 사용자를 귀찮게 하는 것과 같은 바람직하지 않은 행동을 초래할 수 있다. 관계 문제를 축소시키기 위해, 로봇은 다른 결정을 채용하거나 다른 결정을 할 수 있다. 예를 들어, 로봇이 비-인간(소스가 머리 모양을 갖지 않음)으로부터 연속적인 음성 및/또는 RGB 움직임을 검출하면, 로봇은 소스의 위치를 "미디어 플레이어"로 표시하고 그 위치에서의 음성, 동작 및 얼굴을 무시한다. 로봇은 관계에서 물러설 수 있는데(back off), 예를 들어, 로봇이 한 위치에서 잦은 관계 제안을 하고 하나도 받아들여지지 않으면, 로봇은 일시적으로 그 위치에서의 또는 특정 사용자로의 제안의 빈도를 줄인다. 로봇은 빈도를 조정하기 위해 전달할 메시지의 긴급성과 같은 인자를 고려할 수 있다. 로봇은 다른 사람을 검출하고 대신에 그 사람과 관계를 맺으려고 시도할 수 있다. 로봇은 적응하여 가끔 다른 사람보다 먼저 한 사용자에게 갈 수 있고, 그 역일 수도 있다.

다른 태양으로 가면, 사용자의 얼굴이 로봇에게 상실되면, 사용자가 로봇의 시야 범위 (프레임)을 떠났고 사용자가 관계를 계속하고 싶으면 곧 돌아올 것이라는 것이 가정이다. 그러나, 사용자가 무심코 프레임을 떠났지만 여전히 상호작용하고자 할 수 있다. 로봇은 관계를 맺은 때에 추적 행동을 갖고, 그러므로 이는 사용자가 상호작용 범위 밖으로 가거나 로봇이 추적하기에는 너무 빨리 움직이는 때에만 일어난다는 것을 유의하라. 그러므로, 사용자가 떠난 것으로 생각하기 전에 시간 기간(예를 들어, 3초)이 사용되고, 예를 들어, 사용자 복귀를 돕도록 카메라를 같은 위치에 두고, 그 후에 로봇이 표준 관계 전 상태로 돌아간다. 유사한 상황은 사용자가 로봇으로부터 멀리 걸어가고 더 이상 상호작용하기를 원치 않는 때이다; 이 경우, 로봇은 예를 들어 수 초 후에 그 태스크를 다시 시작한다.

그러므로, 로봇이 사용자의 얼굴의 모습을 잃으면, 로봇은 카메라 앵글을 리셋하여 대부분의 사용자가 쉽게 찾아질 수 있게 한다. 그러면 로봇은 그의 무활동 타임아웃에 도달하기를 기다린 후에 관계 상태로부터 빠져나간다.

자율 관계 행동은 로봇이 도움이 되고 쌍방향성이어야 한다는 점에 기초하고, 사용자를 찾고 사용자에 접근함으로써 부분적으로 이루어질 수 있다. 로봇이 자율-지시 상태나 휴지 상태에 있는 때에, 로봇은 주위를 관찰하고, 사람을 찾는데, 예를 들어, 로봇은 검출을 최적화하기 위해 그 관련 센서를 회전시킬 수 있다. 로봇이 사람을 검출하면, 로봇은 관계를 제안한다; 사람이 관계 범위 밖에 있으면, 로봇은 사용자를 향해 갈 수 있고, 관계 범위 내에 있으면 관계를 제안할 수 있다.

예시적인 컴퓨팅 장치

언급한 바와 같이, 유리하게는, 여기 설명된 기술은 여하한 장치에 적용될 수 있다. 그러므로, 핸드헬드, 휴대용 및 기타 컴퓨팅 장치와 모든 종류의 컴퓨팅 물체가 다양한 실시형태와 관련한 사용을 위해 고려됨을 이해할 수 있다. 예를 들어, 아래 도 4에서 설명되는 범용 원격 컴퓨터는 로봇 장치를 위한 하드웨어 및 기저 소프트웨어 플랫폼의 대부분을 형성할 수 있는 컴퓨팅 장치의 일 예일 뿐이다.

실시형태는 부분적으로, 장치나 물체를 위한 서비스의 개발자에 의해 사용되기 위하여, 운영 체제를 통해 구현될 수 있거나, 및/또는 여기 설명된 다양한 실시형태 중 하나 이상의 기능적 태양을 수행하도록 동작하는 애플리케이션 소프트웨어 내에 포함될 수 있다. 소프트웨어는, 클라이언트 워크스테이션, 서버 또는 기타 장치와 같은 하나 이상의 컴퓨터에 의해 실행되고 있는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령의 일반적인 맥락에서 설명될 수 있다. 당업자는 컴퓨터 시스템이 데이터를 통신하는데 사용될 수 있는 다양한 구성 및 프로토콜을 가질 수 있고 그러므로 특정 구성이나 프로토콜은 제한적인 것으로 생각되지 않음을 인식할 것이다.

도 4는 그러므로 여기에 도시된 실시형태 중 하나 또는 태양들이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(400)의 예를 도시하지만, 위에서 명확히 한 바와 같이, 컴퓨팅 시스템 환경(400)은 적당한 컴퓨팅 환경의 일 예일 뿐이고 사용이나 기능의 범위에 관한 여하한 제한도 시사하려는 것이 아니다. 또한, 컴퓨팅 시스템 환경(400)은 예시적인 컴퓨팅 시스템 환경(400)에 도시된 컴포넌트 중 여하한 하나 또는 그 결합에 관한 여하한 의존성을 갖는 것으로 해석되려는 것이 아니다.

도 4를 참조하면, 하나 이상의 실시형태를 구현하기 위한 예시적인 원격 장치는 컴퓨터(410)의 형태로 범용 컴퓨팅 장치를 포함한다. 컴퓨터(410)의 컴포넌트는, 처리 유닛(420), 시스템 메모리(430) 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 처리 유닛(420)에 결합하는 시스템 버스(422)를 포함할 수 있지만 이에 제한되지 않는다.

컴퓨터(410)는 통상 다양한 컴퓨터 판독가능 매체를 포함하지만 컴퓨터(410)에 의해 액세스될 수 있는 여하한 가용 매체일 수 있다. 시스템 메모리(430)는 ROM(read only memory) 및/또는 RAM(random access memory)와 같은 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함할 수 있다. 제한이 아니라 예로서, 시스템 메모리는 또한 운영 체제, 애플리케이션 프로그램, 기타 프로그램 모듈 및 프로그램 데이터를 포함할 수 있다.

사용자는 입력 장치(440)를 통해 컴퓨터(410)로 명령과 정보를 입력할 수 있다. 모디터 또는 기타 유형의 디스플레이 장치가 또한 출력 인터페이스(450)와 같은 인터페이스를 통해 시스템 버스(422)로 접속된다. 모니터에 추가하여, 컴퓨터는 또한 스피커와 프린터와 같은 기타 주변 출력 장치를 포함할 수 있는데, 이는 출력 인터페이스(450)를 통해 접속될 수 있다.

컴퓨터(410)는 원격 컴퓨터(470)와 같은 하나 이상의 다른 원격 컴퓨터로의 논리적 접속을 이용하여 네트워크된 또는 분산된 환경에서 동작할 수 있다. 원격 컴퓨터(470)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트워크 노드, 또는 여하한 기타 원격 매체 소비(consumption) 또는 전송 장치일 수 있고, 컴퓨터(410)에 대해 상술한 요소 중 여하한 것 또는 전부를 포함할 수 있다. 도 4에 도시된 논리적 접속은 LAN(local area network) 또는 WAN(wide area network)와 같은 네트워크(472)를 포함하지만, 다른 네트워크/버스도 포함할 수 있다. 이러한 네트워킹 환경은 가정, 사무실, 기업 범위 컴퓨터 네트워크 인트라넷 및 인터넷에서 흔하다.

상술한 바와 같이, 다양한 컴퓨팅 장치 및 네트워크 아키텍처와 관련하여 예시적인 실시형태가 설명되었지만, 기저의 개념은 리소스 사용의 효율을 개선하는 것이 바람직한 여하한 컴퓨팅 장치나 시스템 몇 여하한 네트워크 시스템에 적용될 수 있다.

또한, 동일 또는 유사한 기능을 구현하기 위한 다수의 방법, 예를 들어, 애플리케이션과 서비스가 여기 제공된 기술을 이용할 수 있게 하는 적절한 API, 툴킷(tool kit), 드라이버 코드, 운영 체제, 제어, 독립 또는 다운로드가능 소프트웨어 객체 등이 존재한다. 그러므로, 여기의 실시형태는 API(또는 기타 소프트웨어 객체)의 관점에서뿐만 아니라 여기에 설명되는 바와 같은 하나 이상의 실시형태를 구현하는 소프트웨어나 하드웨어 객체의 관점에서 고려된다. 그러므로, 여기 설명된 다양한 실시형태는 전부 하드웨어 안에 있는 태양, 부분적으로 하드웨어 안에 있고 부분적으로 소프트웨어에 있는 태양뿐만 아니라 소프트웨어 안에 있는 태양을 가질 수 있다.

"예시적인"이라는 단어는 여기서 예, 경우, 또는 예시로 기능하는 것을 의미하는 것으로 사용된다. 의심을 피하기 위해, 여기 개시된 주제는 이러한 예에 의해 제한되지 않는다. 또한, 여기서 "예시적"인 것으로 설명된 여하한 태양이나 설계는 다른 태양이나 설계에 비해 선호되거나 유리한 것으로 해석되어야 하는 것은 아니고, 당업자에게 알려진 균등한 예시적 구조 및 기술을 배제하려는 것도 아니다. 또한, "포함한다(include)," "갖는다," "포함한다(contain)" 및 기타 유사한 단어가 사용되는 범위에서, 의심을 피하기 위해, 이러한 용어는 청구범위에서 사용되는 때에 여하한 추가의 또는 기타 요소를 배제하지 않는 개방형 전환어(open transition word)로서의 용어 "포함하는(comprsing)"과 유사한 방식으로 포괄적인 것으로 의도된다.

언급된 바와 같이, 여기 설명된 다양한 기술은 하드웨어 또는 소프트웨어와 관련하여, 또는 적절한 때에는 양자의 결합과 관련하여 구현될 수 있다. 여기에 사용되는 바와 같은 용어 "컴포넌트," "모듈," "시스템" 등은 유사하게 하드웨어, 하드웨어와 소프트웨어의 결합, 소프트웨어 또는 실행 중의 소프트웨어 중 하나인 컴퓨터-관련 엔티티를 지칭하려는 것이다. 예를 들어, 컴포넌트는 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행파일(executable), 실행 스레드(thread) 프로그램 및/또는 컴퓨터일 수 있지만 이에 제한되지 않는다. 예시로서, 컴퓨터 상에서 실행되는 애플리케이션과 컴퓨터 양자는 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행의 스레드 내에 거주할 수 있고, 컴포넌트는 하나의 컴퓨터에 국지화되거나 및/또는 2 이상의 컴퓨터 사이에서 분산될 수 있다.

전술한 시스템은 몇몇의 컴포넌트 사이의 상호작용에 관해 설명되었다. 이러한 시스템과 컴포넌트는 그들 컴포넌트 또는 특정된 서브-컴포넌트, 특정된 컴포넌트 또는 서브-컴포넌트 중 일부 및/또는 추가의 컴포넌트를 포함할 수 있고, 또한 전술한 것의 다양한 순열과 조합에 따를 수 있음을 인식할 수 있다. 서브-컴포넌트는 부모 컴포넌트 내에 포함되는(계층적) 것이 아니라 다른 컴포넌트에 통신적으로 결합되는 컴포넌트로 구현될 수도 있다. 또한, 하나 이상의 컴포넌트가 집합 기능을 제공하는 단일 컴포넌트로 결합되거나 별개의 서브 컴포넌트들로 나누어질 수 있고, 관리 계층과 같은 여하한 하나 이상의 중간 계층이 집적된 기능을 제공하기 위해 이러한 서브-컴포넌트로 통신적으로 결합하기 위해 제공될 수 있음을 유의할 수 있다. 여기 설명된 여하한 컴포넌트는 또한 여기 구체적으로 설명되지 않지만 당업자가 일반적으로 알고 있는 하나 이상의 다른 컴포넌트와 상호작용할 수도 있다.

여기 설명된 예시적인 시스템에 비추어, 설명된 주제에 따라 구현될 수 있는 방법론은 또한 다양한 도면의 흐름도를 참조하여 인식될 수 있다. 설명의 단순화를 위해 방법론은 블록의 시리즈로 도시되고 설명되지만, 일부 블록은 여기 도시되고 설명된 것과 다른 순서로 및/또는 다른 블록과 동시에 일어날 수 있어서 다양한 실시형태는 블록의 순서에 의해 제한되지 않음을 이해할 것이다. 흐름도를 통해 비순차적인, 또는 분기되는 흐름이 도시되는 경우, 동일 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로 및 블록의 순서가 구현될 수 있음을 인식할 수 있다. 또한, 일부 도시된 블록은 후술하는 방법론을 구현하는데 선택적이다.

결론

본 발명이 다양한 변경 및 대안적 구조를 허용할 수 있지만, 특정한 도시된 실시형태가 도면에 도시되고 위에서 상세히 설명되었다. 그러나, 본 발명을 개시된 특정 형태로 제한하려는 의도는 없고, 오히려, 모든 변경, 대안적 구조 및 본 발명의 사상과 범위 내에 있는 균등물을 커버하려는 의도임을 이해하여야 한다.

여기 설명된 다양한 실시형태에 추가하여, 대응하는 실시형태(들)과 동일한 또는 균등한 기능을 수행하기 위해 그들로부터 벗어남이 없이 다른 유사한 실시형태가 사용될 수 있거나 설명된 실시형태(들)에 변경과 추가가 이루어질 수 있음을 이해하여야 한다. 또한, 다수의 처리 칩 또는 다수의 장치가 여기 설명된 하나 이상의 기능의 수행을 공유할 수 있고, 유사하게, 저장소가 복수의 장치에 걸쳐 이루어질 수 있다. 따라서, 본 발명은 여하한 단일 실시형태로 제한될 것이 아니고, 첨부된 청구범위에 따른 폭, 사상 및 범위에서 해석될 것이다.

Claims

컴퓨팅 환경에서의 로봇 장치로서,
상기 로봇 장치에 정보를 입력하는 센서 세트와,
사용자와의 통신을 위한 하나 이상의 출력 양상(modality)을 포함하는 출력 메커니즘과,
동작 상태에 관하여 상기 로봇 장치의 동작을 제어하도록 구성된 모델(model)로서, 상기 상태는 상기 로봇 장치가 직접적 사용자 입력에 독립적인 태스크를 수행하는 자율 태스크 상태와 상기 로봇 장치가 상기 센서 세트와 상기 출력 메커니즘을 통해 상기 사용자와 상호작용하는 관계(engaged) 상태를 포함하고, 상기 모델은 상기 센서 세트를 통해 수신되는 정보를 포함하는 현재 맥락에 기초하여 상기 자율 태스크 상태에서 상기 관계 상태로, 또한 상기 관계 상태에서 상기 자율 태스크 상태로 언제 전이할지를 결정하도록 구성되는, 모델을 포함하는
로봇 장치.
제 1 항에 있어서,
상기 자율 태스크 상태는 상기 로봇 장치가 사용자 입력에 기초하여 하나 이상의 사용자 태스크를 포함하는 태스크 세트를 수행하는 사용자-지시(user-directed) 모드와 상기 로봇 장치가 사용자 입력에 기초하지 않는 하나 이상의 태스크를 수행하는 자율-지시(self-directed) 모드를 포함하는
로봇 장치.
제 2 항에 있어서,
휴지(rest) 상태를 더 포함하고, 상기 모델은, 상기 자율 태스크 상태에서 상기 관계 상태가 상기 사용자-지시 모드보다 높은 우선 순위를 갖고, 상기 자율 태스크 상태에서 상기 사용자-지시 모드가 상기 자율-지시 모드보다 높은 우선 순위를 갖고, 상기 자율 태스크 상태의 상기 자율-지시 모드가 상기 휴지 상태보다 높은 우선 순위를 갖는 우선 순위 순서에 따라 상기 로봇 장치의 동작을 제어하는
로봇 장치.
제 1 항에 있어서,
상기 모델은, 상기 로봇 장치가 상기 사용자와의 관계 시도를 개시하고 상기 시도가 성공하는 때에 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키는
로봇 장치.
제 1 항에 있어서,
상기 모델은, 상기 로봇 장치가 우연한 만남에 의해 상기 사용자를 검출하고 또한 상기 로봇 장치가 상기 사용자가 상기 로봇 장치와의 상호작용에 관심이 있을 수 있다는 것을 검출하는 때에 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키는
로봇 장치.
제 1 항에 있어서,
상기 모델은, 상기 로봇 장치가 태스크를 수행하고 있는 동안에 상기 사용자가 상기 로봇 장치와의 관계시도를 개시하는 때에 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키고, 상기 관계 상태에 있는 동안 상기 로봇 장치는 상기 태스크를 다시 시작할지 아니면 상기 관계 상태에 머무를지를 결정하기 위해 상기 사용자와 통신하는
로봇 장치.
컴퓨팅 환경에서, 적어도 하나의 프로세서 상에서 적어도 부분적으로 수행되는 방법으로서
자율 태스크 상태에 있는 동안 태스크 세트를 수행하는 것과, 사용자를 검출하는 것과, 상기 사용자와 관계 맺기를 시도하는 것과, 상기 관계 맺기 시도가 성공적이면 상기 사용자와 상호작용하기 위해 관계 상태로 들어가는 것을 포함하여, 로봇이 자율적으로 동작하도록 하는 하나 이상의 프로그램을 상기 로봇에서 실행시키는 단계를 포함하는
방법.
제 7 항에서,
상기 관계 상태로 들어가는 단계와, 상기 사용자와 상호작용하는 단계 및 현재 상태 데이터의 변화에 기초하여 상기 관계 상태로부터 관계를 종료하는 단계를 더 포함하는
방법.
실행되는 때에,
로봇이 독립적으로 태스크를 수행하는 자율 태스크 상태의 자율-지시 모드에서 동작하는 것을 포함하여 상기 로봇이 자율적으로 동작하도록 하는 하나 이상의 프로그램을 상기 로봇에서 실행하는 단계와,
상기 로봇이 사용자로부터의 이전의 입력과 트리거링 이벤트의 검출에 기초하여 사용자 태스크를 수행하는 상기 자율 태스크 상태의 사용자-지시 모드에서 동작하는 단계와,
상기 사용자 태스크를 완료하는 단계와,
상기 자율 태스크 상태에서 관계 상태로 전이하는 것과, 상기 관계 상태에 있는 동안 다른 사용자 태스크에 대응하는 정보를 수신하는 것과, 상기 다른 사용자 태스크를 수행하기 위해 상기 자율 태스크 상태로 전이하는 것을 포함하여, 상기 로봇이 다른 사용자 태스크를 수행하는 상기 사용자-지시 모드의 다른 인스턴스에서 동작하는 단계
를 포함하는 단계를 수행하는 컴퓨터 실행가능 명령을 갖는 하나 이상의 컴퓨터 판독가능 매체.
제 9 항에 있어서,
현재 맥락을 결정하기 위해 입력 데이터를 감지하는 단계를 포함하는 컴퓨터 실행가능 명령을 더 갖고, 상기 트리거링 이벤트는 상기 현재 맥락에 대응하는 정보에 기초하는
하나 이상의 컴퓨터 판독가능 매체.