KR102103624B1 - 자율 생활 능력을 갖는 휴머노이드 로봇 - Google Patents

Abstract

자율 생활 능력을 갖는 휴머노이드 로봇
본 발명은 주위를 탐색하여, 특히, 인간이 존재할 때를 결정하고, 필요에 따라 상기 인간과의 활동에 참여하기 위한 휴머노이드 로봇과 관련된다. 로봇의 운영 체제는 로봇에서 추출기(센서 및 처리부)에 의해 수신되는 정보를 처리하고, 현재 조건 및 인간과의 체결의 히스토리를 기초로 우선순위화되는 활동(제스처, 대화 등...)의 리스트를 만들고, 어느 활동이 런칭될 것인지를 결정하고 액추에이터가 활동을 실행하게 하도록 구성된다. 로봇의 보호 조건이 또한 수행될 활동의 리스트에서 고려된다.

Description

자율 생활 능력을 갖는 휴머노이드 로봇{HUMANOID ROBOT WITH AN AUTONOMOUS LIFE CAPABILITY}

본 발명은 로봇 프로그래밍 시스템의 분야와 관련된다. 더 구체적으로, 본 발명은 관절 사지를 중심으로 운동하거나 이들을 이용하는 로봇, 특히, 인간 또는 동물 형상의 로봇의 행동 및 모션을 편집 및 제어하는 것에 적용된다. 로봇은 특정 인간 외관 속성, 즉, 머리, 몸통, 2개의 팔, 2개의 손 등을 갖을 때부터 휴머노이드로서 자격이 있을 수 있다. 그러나 휴머노이드 로봇은 더 복잡하거나 덜 복잡할 수 있다. 로봇의 사지는 더 많거나 더 적은 수의 관절을 가질 수 있다. 휴머노이드 로봇은 균형 상태를 정적 및 동적으로 제어하여, 가능하면 3차원으로 이족 보행을 제어할 수 있거나 단순히 바닥을 구를 수 있다. 휴머노이드 로봇은 주위로부터 신호를 수집("듣기", "보기", "터치", "감지" 등)하고 더 많거나 더 적은 정교한 행동에 따라 반응하고 타 로봇 또는 인간과 음성 또는 제스처에 의해 대화할 수 있다. 휴머노이드 로봇의 현재 생성을 위해, 프로그래머는 로봇에 의해 반응/수행되는 이벤트/동작의 시퀀스로서 더 또는 절 정교할 수 있는 시나리오를 만들 수 있다. 이들 동작은 로봇과 대화하는 사람의 특정 행동에 따라 조건적일 수 있다. 그러나 제1 세대인 이 휴머노이드 로봇에서, 애플리케이션 프로그래밍은 개발 툴킷으로 수행되고 각각의 애플리케이션은 이의 발생이 애플리케이션에 포함되었던 트리거링 이벤트에 의해 런칭될 필요가 있다.

따라서 속한 환경에 따라 지정된 방식으로 행동할 수 있는 인간처럼 "자율 생활(autonomous life)"을 살 수 있는 휴머노이드 로봇에 대한 필요성이 존재한다. 프로그래머의 어떠한 개입 없이, 로봇이 속한 상황에 적응된 생활의 시퀀스를 자율적으로 결정할 수 있는 로봇을 제공함으로써 종래 기술의 로봇의 한계를 극복하는 것이 본 발명의 목적이다.

이를 위해, 본 발명은 휴머노이드 로봇을 제공하며, 상기 휴머노이드 로봇은 적어도: 로봇에 의해 실행되기 위한 활동을 불러오고 저장하기 위한 처리 능력부에 연결된 메모리 - 상기 활동은 사전 프로그램된 로봇 행동과 상기 행동의 런칭 조건을 갖는 매니페스트 파일의 쌍으로 구성됨 - ; 상황, 이벤트 및 로봇을 둘러 싸는 장면 내 인간과의 대화 중 하나 이상을 특징 짓는 이미지, 소리, 터치, 및 관성 신호의 추출기; 조명 신호, 디스플레이되는 정보, 소리,음성, 운동의 하나 이상의 액션의 액추에이터 - 상기 하나 이상의 액션은 행동에 속함 - 을 포함하며, 상기 휴머노이드 로봇은 활동의 우선순위화된 리스트를 자동으로 생성하고, 우선순위화된 리스트 내에서 적어도 하나의 활동을 선택하며, 위한 마인드 모듈을 더 포함한다.

바람직하게는, 메모리가 인간의 신원 데이터와 로봇이 대화하는 상대 간 매칭을 가능하게 하는 데이터 및 상기 대화의 지정 파라미터를 저장하도록 더 구성된다.

바람직하게는, 상기 우선순위화된 활동 리스트는 로봇과 통신하기 위한 상황에서의 인간의 존재 여부 결정, 자율 활동을 실시하는 것에 대한 선호, 및 어떤 활동이든 수행할 수 있는 능력 중 하나 이상을 기초로 생성된다.

바람직하게는, 로봇과 통신하기 위한 상황에서의 인간의 존재 여부에 대한 결정이 이뤄진 후, 복수의 체결 구역(engagement zone)이 로봇 주위에서 형성된다.

바람직하게는, 복수의 체결 구역이 인간과 로봇 간 거리에 의해 형성된다.

바람직하게는, 복수의 체결 구역이 인간과 로봇 간 대화의 맥락(context)의 형성을 기초로 달라진다.

바람직하게는, 로봇과 통신하기 위한 상황에서의 인간의 존재 여부에 대한 결정이 이뤄진 후, 추출기 서비스(extractor service)가 타 활동의 수행 중에도 인간을 계속 추적한다.

바람직하게는, 우선순위화된 활동 리스트는 로봇이 이미 대화한 인간이 선호하는 활동의 결정을 기초로 생성된다.

바람직하게는, 우선순위화된 활동 리스트에서의 순서가, 첫째, 로봇을 보호하기 위한 제약을 고려하고, 둘째, 체결 구역들 중 하나에 한 명 이상의 인간의 존재를 고려하며, 셋째, 로봇에 의해 자율적으로 수행될 수 있는 활동을 고려함으로써, 설정된다.

바람직하게는, 우선순위화된 활동 리스트의 순서화에 기여하는 자원 관리자를 더 포함한다.

바람직하게는, 우선순위화된 활동 리스트가 우선순위화된 활동 리스트 내 첫 번째 활동의 실행 전에 무작위화된다.

본 발명은 또한 휴머노이드 로봇을 제어하기 위한 방법을 제공하며, 상기 방법은 적어도: 로봇에 의해 실행되기 위한 활동을 불러오고 저장하는 단계 - 상기 활동은 사전 프로그램된 로봇 행동과 상기 행동의 런칭 조건을 갖는 매니페스트 파일의 쌍으로 구성됨 - ; 상기 추출기로부터 로봇을 둘러 싸는 장면 내 상황, 이벤트 및 인간과의 대화 중 하나 이상을 특징짓는 이미지, 소리, 터치 및 관성 신호를 불러오는 단계; 조명 신호, 디스플레이되는 정보, 소리,음성, 운동의 하나 이상의 액션의 액추에이터를 활성화하는 단계 - 상기 하나 이상의 액션은 행동에 속함 - 을 포함하며, 상기 방법은 마인드 모듈(mind module)에서 우선순위화된 활동 리스트를 자동으로 생성하고, 상기 우선순위화된 활동 리스트에서 적어도 하나의 활동을 선택하며 상기 활동의 실행을 하나 이상의 액추에이터에게 명령하는 단계를 더 포함한다.

본 발명은 또한 컴퓨터 상에서 실행될 때 청구항 제12항의 방법을 실행하기 위한 컴퓨터 코드를 포함하는 컴퓨터 프로그램를 제공한다.

본 발명은 운영 체제의 기능을 제공할 수 있는데, 즉, 로봇의 센서의 출력에 의해 생성되는 명령어와 센서 판독물의 서로 다른 값에 대한 행동을 정의하는 애플리케이션을 분리시킬 수 있다. 이로 인해, 컴퓨터 코드의 모듈화가 가능해지고, 따라서 협업적 프로그래밍(collaborative programming), 즉, 커뮤니티의 구성원이 서로 다른 애플리케이션에 기여할 수 있는 프로그래밍이 가능하며, 이는 하위 레벨 프로그래밍 기능으로의 액세스가 허용되지 않는 경우라도 동작할 것이다. 본 발명의 소프트웨어 아키텍처 때문에, 애플리케이션을 런칭하기 위한 개발 툴 킷을 로봇에 연결할 필요가 없다. 또한, 분리가 더 용이한 유지관리를 가능하게 한다. 또한 본 발명 때문에, 로봇이 한 명 이상의 인간과 대화해야 하는 상황에 있는지 여부(대화 모드), 또는 주위에 인간이 있는지 여부(자율 모드), 또는 특정 이유로 위험 상황인지 여부(저 배터리 때문에, 또는 넘어짐 때문에 또는 그 밖의 다른 이유로 인한 보호 모드)에 따라서, 로봇의 행동에 우선순위를 확립하는 것이 가능하다.

본 발명은 더 잘 이해될 것이며 이의 다양한 특징 및 이점이 복수의 예시적 실시예에 대한 다음의 기재 및 이의 도면으로부터 자명해질 것이다.
도 1은 본 발명의 복수의 실시예에서의 인간 로봇의 물리적 아키텍처를 디스플레이한다.
도 2는 본 발명의 복수의 실시예에서, 휴머노이드 로봇의 소프트웨어 모듈의 기능적 아키텍처를 디스플레이한다.
도 3은 도 2의 소프트웨어 모듈의 기능 아키텍처의 동작의 흐름도를 디스플레이한다.
도 4는 본 발명의 복수의 실시예에서의 우선순위 알고리즘을 도시한다.
도 5는 본 발명의 복수의 실시예에서, 로봇 주위의 체결 구역(engagement zone)을 결정하기 위한 개략도를 디스플레이한다.

도 1은 본 발명의 복수의 실시예에서의 인간 로봇의 물리적 아키텍처를 디스플레이한다.

도면 상의 특정 로봇(100)이 본 발명이 구현될 수 있는 휴머노이드 로봇의 예시로서 간주된다. 도시된 로봇의 다리는 보행을 위한 것이 아니고, 놓은 표면에서 구르는 베이스(140)를 이용해 임의의 방향으로 이동할 수 있다. 본 발명은 보행에 적합한 로봇에서 쉽게 구현될 수 있다. 예를 들어, 이 로봇은 약 120cm일 수 있는 높이(110), 약 65cm인 깊이(120), 및 약 40cm인 폭(130)을 가진다. 특정 실시예에서, 본 발명의 로봇은 메시지(오디오, 비디오, 웹 페이지)를 이의 주위 환경으로 통신하거나, 태블릿의 촉각 인터페이스를 통해 사용자로부터의 입력 값을 수신할 수 있는 태블릿(150)을 가진다. 태블릿의 프로세서에 추가로, 본 발명의 로봇은 또한 고유 마더보드의 프로세서를 이용하며, 상기 프로세서는 예를 들어 Intel™사의 ATOM™ Z530일 수 있다. 본 발명의 로봇은 또한 본 발명의 특정 실시예에서, 마더보드, 특히, 자기 회전 인코더(MRE)(Magnetic Rotary Encoder)를 포함하는 보드와 사지의 관절의 모터 및 로봇이 바퀴로서 사용하는 볼(ball)을 제어하는 센서 간 데이터 흐름의 핸들링에 특화된 프로세서를 포함할 수 있다. 모터는 확정적 관절을 위해 필요한 최대 토크(torque)의 크기에 따라 서로 다른 유형을 가질 수 있다. 예를 들어, e-minebea™ 사의 브러쉬 DC 코어리스 모터(가령, SE24P2CTCA)가 사용되거나, Maxon™ 사의 브러시리스 DC 모터(가령, SE24P2CTCA)가 사용될 수 있다. MRE는 일반적으로 12 또는 14비트 정밀도로 홀 효과(Hall effect)를 이용하는 유형인 것이 바람직하다.

본 발명의 실시예에서, 도 1에 도시된 로봇이 또한 다양한 유형의 센서를 포함한다. 이들 중 일부가 로봇의 위치 및 운동을 제어하도록 사용된다. 예를 들어, 이는, 로봇의 몸통에 위치하는 관성 유닛이 3-축 자이로미터 및 3-축 가속도계를 포함하는 경우에 해당한다. 또한 로봇은 시스템 온 칩(SOC) 유형이며, 초당 5 프레임에서 5메가픽셀의 해상도를 갖고 약 57°수평 및 44°수직의 시야(FOV)를 갖는 로봇(상부 및 하부)의 이미 상의 2개의 2D 컬러 RGB 카메라, 가령, Shenzen V-Vision Technology Ltd™ (OV5640)를 포함할 수 있다. 또한 하나의 3D 센서, 가령, 초당 20 프레임에서 0.3메가픽셀의 해상도를 갖고, 2D 카메라와 거의 동일한 FOV를 갖는 ASUS XTION™ SOC 센서가 로봇의 눈 뒤에 포함될 수 있다. 본 발명의 로봇에 레이저 라인 생성기(laser lines generator), 가령, 머리에 3개, 베이스에 3개가 구비되어, 환경에 속하는 물체/생물체에 대한 상대적 위치를 감지할 수 있다. 본 발명의 로봇은 이의 환경에서 소리를 감지할 수 있도록 마이크로폰을 더 포함할 수 있다. 하나의 실시예에서, 1kHz에서 300mV/Pa +/-3dB의 감도 및 300Hz 내지 12kHz의 주파수 범위(1kHz에 대한 -10dB)를 갖는 4개의 마이크로폰이 로봇의 머리 상에서 구현될 수 있다. 본 발명의 로봇은 또한, 로봇의 베이스의 전면 및 후면에 위치할 수 있는 2개의 초음파 센서를 포함하여, 로봇 주위의 물체/인간까지의 거리를 측정할 수 있다. 로봇은 자신의 머리와 손 상에 촉각 센서(tactile sensor)를 더 포함하여, 인간과의 대화를 가능하게 할 수 있다. 또한 자신의 베이스 상에 범퍼(bumper)를 더 포함하여, 자신의 경로 상에서 마주치는 장애물을 감지할 수 있다.

로봇의 감정을 번역하고 로봇 주위의 인간과 통신하기 위해, 본 발명의 로봇은 다음을 더 포함할 수 있다:

- 가령, 눈과 귀 및 어깨 상의 LED,

- 가령, 귀에 위치하는 2개의 확성기.

본 발명의 로봇은 RJ45 또는 WiFi 802.11 연결을 통해 기지국 또는 그 밖의 다른 로봇과 통신할 수 있다.

본 발명의 로봇은 약 400Wh의 에너지를 갖는 리튬 철 인산염 배터리에 의해 전력을 공급 받을 수 있다. 상기 로봇은 자신이 포함하는 배터리의 유형에 적합한 충전 스테이션을 액세스할 수 있다.

로봇의 위치/운동이 센서의 측정 관점에서, 각 사지와 각 사지의 끝부분에서 형성된 효과기(effector)에 의해 형성된 체인을 활성화하는 알고리즘을 이용해 이의 모터에 의해 제어된다.

도 2는 본 발명의 복수의 실시예에서, 휴머노이드 로봇의 소프트웨어 모듈의 기능적 아키텍처를 디스플레이한다.

본 발명의 목표는 휴머노이드 로봇이 로봇이 직면할 상태를 예상하기 위한 프로그래머의 임의의 개입 없이 자율적인 방식으로 활동을 수행할 수 있게 하는 방법을 제공하는 것이다. 종래 기술에서, 가령, 출원인에게 허여된 복수의 특허 또는 특허 출원, 가령, 유럽 특허 번호 EP2435216, EP2451617, EP2588209에서 개시된 바에 의하면, 로봇은 자신의 마더보드에 프로그램 및 업로드된 시나리오를 실행할 수 있을 것이다. 이들 시나리오는 환경이 달라지는 상태에 대한 반응을 포함할 수 있지만, 로봇은 예측되지 않았으며 마더보드에 업로드되거나 원격지에서 액세스되는 코드에 포함된 상태에 반응할 수 없을 것다. 이와 달리, 본 발명의 목표는, 프로그래머에 의해 예측되지 않았던 이벤트/상태 하에서도, 로봇이 자율적으로 행동할 수 있도록 하는 것이다. 이 목표는 도 2에 디스플레이된 기능 아키텍처에 의해 달성된다.

이 기능 아키텍처는 본질적으로 4개의 주요 소프트웨어 모듈을 포함한다.

서비스 모듈(210)은 다음의 적어도 3개의 유형의 서비스를 포함한다:

추출기 서비스 - 도 1과 관련하여 기재된 유형의 로봇 센서로부터 입력 판독물을 수신하며, 이들 센서 판독물이 사전처리되어, 로봇의 위치, 주위 물체/인간의 신원, 상기 물체/인간의 거리,인간이 발음한 단어 또는 감정과 관련된 데이터를 추출할 수 있고, 추출기 서비스의 예시로는: 로봇에 근접한 인간의 존재를 지각하기 위한 인간 지각, 이들 인간의 운동을 검출하기 위한 운동 검출, 소리의 위치를 찾기 위한 소리 위치 찾기, 로봇 촉각 센서 상의 터치를 해석하기 위한 터치 검출, 음성 인식, 단어 또는 제스처를 통해 로봇에 근접한 인간이 표현한 감정을 식별하기 위한 감정 인식이 있음 - ;

로봇의 물리적 동작, 가령, 관절 또는 베이스의 모터를 활성화시키기 위한 모션부, 로봇의 주위 환경에서의 인간의 모션을 따르기 위한 추적기, 감정을 전달하기 위한 로봇의 LED 조명, 애니메이션된 스피치(Animated Speech)(스피치와 제스처의 조합), 행동부를 제어하는 액추에이터 서비스(212) - 행동은 복잡한 동작을 수행할 수 있게 하는 운동, 단어, 조명의 조합임 - ;

특히, 데이터 서비스를 포함하는 시스템 서비스(213) - 데이터 서비스는 단기 또는 장기적으로 저장된 데이터를 제공하며, 데이터 서비스의 예시로는:

사용자 데이터 및 이들이 로봇에 의해 가공되는 것의 히스토리를 저장하는 사용자 세션 서비스 - ;

하이 레벨 정의, 런칭 조건 및 태그화 함께 로봇에 의해 실행되는 절차의 확장 가능한 저장소를 제공하는 패키지 관리자 서비스.

활동 모듈(220)은 사전 프로그램된 로봇의 행동(221)을 포함한다. 본 특허 출원의 출원인에게 허여된 EP2435216로 공개된 유럽 특허 출원의 대상인 그래픽 통합 개발 환경(Choregaphe™)을 이용해 행동의 프로그래밍이 수행될 수 있다. Choregaphe™로 프로그램된 행동은 시간 기반 로직과 이벤트 기반 로직을 조합한다. 각각의 행동은 특히 행동의 런칭 조건을 포함하는 텍스트 파일인 메니페스트(222)로 태깅된다.

마인드 모듈(230)은 추출기의 판독물 및 선택기라고 지칭되는 마인드에 프로그램된 알고리즘을 기초로 액추에이터를 런칭하는 활동의 선택을 제어함으로서 서비스 및 활동 모듈을 서로 연결한다. 선택기의 예시는 다음과 같다:

상황의 맥락을 기초로 활동(Activity)을 실행시키는 자율 생활(Autonomous Life)(231) - 마인드부가 자율 생활에게 집중할 활동이 무엇인지 알려줄 수 있으며(이하의 예시 참조); 임의의 활동이 모듈 API의 모든 호출 프로시저에 대한 완전한 액세스 권한을 가지며; 활동은 확실한 활동에 집중하도록 자율 생활에게 지시할 제약을 포함할 수 있음 - ;

추출기 서비스, 가령, 사람 인식, 운동 검출 및 소리 측위를 구독하는 기본 인지부(Basic Awareness)(232)가 모션 서비스에게 운동할 것을 지시하며; 마인드부가 상황 정보를 기초로 기본 인지부의 행동을 설정하고; 그 밖의 다른 때에, 기본 인지부가 스스로 행동하거나 실행되는 활동에 의해 설정됨 - ;

음성 인식 추출기를 구독하며 애니메이션된 스피치 액추에이터 서비스를 이용하는 대화부(233) - 상황 정보를 기초로, 마인드부는 대화부에게 집중할 주제를 말할 수 있으며, 매니페스트의 메타데이터는 이 정보를 고려하며, 대화부는 또한 대화를 관리하기 위한 자신의 알고리즘을 가지며 스스로 행동한다.

실행 엔진(240)은 API 콜을 런칭하여 서비스를 호출할 수 있다.

도 3은 도 2의 소프트웨어 모듈의 기능 아키텍처의 동작의 흐름도를 디스플레이한다.

도 2의 아키텍처는 운영 체제(NAOqi™ OS라고 지칭됨)의 기능을 수행하며, 이러한 관점에서 이는 프로그래머가 작업을 함께 하도록 침범할 수 없는 기본 서비스(추출기(211), 액추에이터(212), 데이터(213), 활동(220))를 포함한다.

NAOqi™ OS는 가장 관련성 있는 설치된 활동의 자율적인 시작을 가능하게 하는 수단을 제공한다. 이 활동은 이의 런칭 조건을 포함하는 매니페스트를 포함한다. 이들 런칭 조건은 OS 추출기가 지각할 수 있는 것을 기초로 한다(가령, 로봇 주위에 셋 이상의 사람이 존재할 때마다 또는 로봇의 이용 조건에 들어 맞는다고 결정될 그 밖의 다른 조건 때마다 런칭하려 시도할 수 있다).

마인드부는 하나 또는 복수의 활동이 런칭되도록 선택한다. 이를 위해, 마인드부는 OS 추출기를 구독하고 모든 설치된 활동의 조건을 런칭할 수 있다. 이들 조건의 변수는 이벤트 기반이다. 나열된 활동이 런칭되기 전에 시스템이 대기할 시간에 대한 타임 래그(time lag)의 시간 지시자를 이벤트에 추가함으로써, 이벤트 조건이 시간 종속적이 될 수 있다. 따라서, 변경된 변수를 포함하는 조건문(condition statement)이 재평가될 필요가 있다. 정렬 알고리즘, 이의 우선순위, 및 생명 사이클(이하 참조)의 결과를 기초로, 활동이 런칭될 수 있고, 일부 활동은 아마도 중단될 수 있다.

실행된 활동은 OS 서비스(가령, 추출기, 액추에이터 및 마인드 서비스)로의 API 콜을 이용하여 프로그램된 작업을 수행할 수 있다. 활동이 포커싱 또는 런칭 또는 실행 중 중단될 때마다, 마인드부는 발생된 때, 발생된 경우 조건의 현재 상태, 및 학습을 촉진시키는 것으로 보이는 사용자 피드백(이하에서 상세히 설명됨)에 대한 데이터를 수집한다.

기존 추출기 이벤트가 조건에 대해 충분하지 않은 경우, 개발자는 새로운 이벤트를 생성하기 위한 추가 추출기를 생성할 수 있고, 이를 애플리케이션과 함께 패키지로 배포할 수 있다.

생명 활동 및 대화 주제(즉, 로봇이 자율적으로 또는 트리거 조건을 기초로, 가령, 인간과 통신하기 위한 상황에 있을 때 실행시킬 수 있는 활동)가, 프로그램에 따라, 언제든지 마인드부에게 다른 활동 또는 주제로 포커스를 전환할 것을 지시할 수 있다.

런칭될 활동을 결정하기 위한 가능한 알고리즘의 한 가지 예시가 이하에서 기재된다:

- 활동의 런칭 조건이 참 또는 거짓이 되는 순간, 상기 순간에 대한 모든 가능한 활동의 리스트가 마인드부로 전송된다:

- 활동 우선순위에 따라 리스트가 필터링된다(이하에서 더 기재됨);

- 리스트 순서가 무작위화된다;

- 리스트가 정렬(또는 점수화)되어 "고유"하고 덜 자주 시작되는 활동에 우선순위를 부여할 수 있다.

- 이 리스트의 상위 활동이 실행된 이전 활동과 동일한 활동이 아님을 확실시하기 위한 특수 체크가 이뤄진다.

- 목록은 사용자의 선호에 따라 다시 정렬되고 필터링될 수 있다.

예를 들자면, 미소 짓는 인간의 검출이 로봇이 로봇이 감정적 행동(가령, 미소, 친절한 말 등)을 디스플레이하는 린칭 후보 활동들을 나열하기 위한 기준으로서 사용될 것이다. 이는 추출기 중 하나인 감정 인식 모듈에 의해 이뤄진다. 또한 이 감정 인식 모듈은 피드백 루프에서 사용되어, 인간의 반응의 함수로서 결정된 인간이 존재할 때 실행된 활동에 태깅하고 상기 결정된 인간과의 체결(engagement)을 위한 우선순위 리스트를 생성할 수 있다.

동일한 우선순위를 갖는 둘 이상의 활동이 런칭되도록 나열된 때, 이전에 바로 사용된 적 있는 활동이 다른 나열된 활동보다 런칭될 확률이 낮도록 하는 랜덤화가 사용된다. 랜덤화된 행동이 많은 이유로 리스트의 상위에 갈 수 있는 연쇄적 활동들보다 덜 "기계적"으로 보일 것이다.

도 3에서, 이하에서 제공될 예시의 데이터 흐름에서 서로 다른 단계들을 나타내기 위해 다음의 표기가 사용될 것이다.

- A: 패키지 관리자;

- B: 추출기:

- C: 활동 제안부;

- D: 사용자+과거 데이터;

- E: 마인드 우선순위부;

- F: 포커싱된 자율 활동

- G: 포커싱된 대화 주제;

- H: 그 밖의 다른 마인드 서비스 설정.

도 4는 본 발명의 복수의 실시예에서의 우선순위 알고리즘을 도시한다.

우선, 로봇이 켜질 때, 마인드부는 어떠한 활동 또는 대화도 실행되지 않는, 기본 자율 상태이다. 마인드부는 인간을 발견하도록 최적화된 방식으로 소리 및 운동을 추적하도록 기본 인지 서비스를 설정한다. 자율 활동에 대한 조건이 참일 때, 마인드부는 가능한 경우 활동을 시작할 것이다. 활동의 우선순위화가 확률을 결정한다. 바람직한 실시예에서, 3개의 주요 우선순위가 정의되며, 다음의 규칙에 따라 증가 순으로, 자율(Autonomous), 대화(Interactive), 및 보호(SafeGuard)이다:

- 어떠한 활동도 실행 중이 아닌 경우, 보호(430), 대화(420), 또는 정규 자율(410)이 시작될 수 있다.

- 자율 활동에 이미 집중 중인 경우, 대화 또는 보호 우선순위만 시작될 수 있으며 자율 활동이 중단될 것이다.

- 대화 우선순위 활동에 집중 중인 경우, 현재 대화 우선순위 활동을 중단할 보호만 시작될 수 있다.

- 보호에 집중 중인 경우, 현재 활동을 중단시킬 더 높은 레벨의 보호만 집중될 수 있다.

추가 우선순위가 수동 자율(Passive Autonomous), 수동 대화(Passive Interactive), 및 병렬 반응(Parallel Reaction)이다:

- 수동 자율 활동은 정규 자율 활동에 의해 중단될 수 있으며 그 밖의 다른 것은 정규 자율 활동과 동일한 활동이다.

- 수동 대화는 정규 대화 우선순위 활동에 의해 중단될 수 있으며 그 밖의 다른 것은 대화 우선순위 활동과 동일하다.

- 단일 병렬 반응 활동이 (수동) 자율 또는 대화 우선순위 활동과 병렬로 발생할 수 있지만 보호 우선순위 활동 중에는 발생할 수 없다. 이들은 실행 중인 활동과 충돌하지 않도록 자원 관리자에게 종속적이며, 본 발명의 OS와 함께 사용될 수 있는 자원 관리자는 유럽 특허 출원 공개 번호 2651607에 개시되어 있다.

새로운 대화 활동 또는 홀로 하는 활동에 집중되기 전에, 마인드부는 파라미터를 초기화하도록 로봇을 설정함으로써, 가령, 모든 자기-충돌-회피 모션 애니메이션 기능이 활성화됨을 보장하면서 앱(app)이 알려진 상태로부터 시작되게 할 것이다. 이전 활동의 개발자가 이들 기능을 비활성화한 경우, 다음 활동이 시작하기 전에 정규 상태로 되 돌아감이 보장된다. 설정에 의해 정의될 때, 마인드부는 더 높은 레벨에서 타 모듈의 파라미터를 설정한다. 대화 우선순위 활동일 때, 사용자 안전을 위해 로봇 센서의 블라이드 스팟(blind spot)을 감소시키도록 이따금 주위를 이동하도록 자율 이동 활동을 설정한다. 대화 우선순위 활동에서, 대화를 위해 최적화된 방식으로 인간을 추적하기 위해 기본 인지 서비스를 설정한다. 추가 마인드 서비스가 시스템에 추가될 수 있고, 조건과 상태에 따라 실행 중에 동적으로 설정될 수 있다. 현재 자율 우선순위를 기초로, 마인드부는 필요한 추출기를 활성화시켜 조건 상황 정보(conditional context)를 획득할 수 있다. 대화 우선순위 활동에서, 이 서브셋이 인간 대화를 위해 감소/최적화된다.

도 5는 본 발명의 복수의 실시예에서, 로봇 주위의 체결 구역(engagement zone)을 결정하기 위한 개략도를 디스플레이한다.

다양한 시나리오가 복수의 실시예에 따르는 본 발명의 로봇의 동작을 설명하도록 이하에서 기재된다. 예시는 이 다이어그램(530, 550)에서 경계선에 의해 정의되는 번호 매겨진 '체결 구역' (540, 560, 570)에서 로봇(510)과 관련된 인간의 위치(520)에 따른다. 이들 체결 구역의 형태 및 크기가 실행 중에 동적으로 설정 가능하다. 체결 구역은 추출기 서비스이다.

재설정 가능한 체결 구역이 로봇이 자신의 주위의 인간과 대화해야 할 때를 결정하는 효율적인 방식이다. 이는 이러한 프로세스에 의해서는, 모든 추출기 서비스, 특히, 상당한 양의 파워(에너지 및 컴퓨터)를 사용하는 것, 예컨대, 사람 지각부를 영구적으로 실행시킬 어떠한 필요성도 없기 때문이다. 따라서 이 서비스가 로봇의 인근에서 인간을 "습득"할 때, 마인드부는 앞서 설명된 "체결 구역" 개념을 기초로 하는 단순한 추적 모드를 이용한다. 대안적으로, 인간 지각 서비스는 완전 추적 모드에서 계속 실행될 수 있으며, 따라서 더 긴 범위 및 더 정확한 대화를 가능하게 할 수 있다. 완전 추적 모드는, 예를 들어, 로봇이 직접 또는 통신 링크를 통해 통신하기 위한 상황에 있을 때 활성화될 수 있다.

다음의 활동이 로봇에 설치된다(도 3의 흐름도의 아이템 B):

이는 배터리가 30초 동안 60퍼센트 미만이고 사람이 600초 동안 보이지 않을 때 또는 배터리가 30초 동안 30퍼센트 미만일 때 시작될 것이다. 그러나 그 밖의 다른 어떠한 활동도 계속되지 않는 경우에만 그렇다.

이는 배터리가 30초 동안 7퍼센트 미만이며 더 상위의 보호를 겪고 있지 않는 경우 시작할 것이다.

이는 배터리가 10초 동안 2퍼센트 미만인 경우 시작할 것이다.

이는 로봇이 밀렸을 때 시작할 것이다. 이는 진행 중인 더 낮은 우선순위 활동을 중단시킬 것이다. 로봇은 균형을 잡을 것이다.

이는 로봇이 무엇인가와 예상치 않게 충돌했을 때 시작될 것이다. 이는 진행 중인 더 낮은 우선순위 활동을 중단시킬 것이다.

이는 로봇이 과열됐을 때 시작될 것이다. 이는 진행 중인 더 낮은 우선순위 활동을 중단시킬 것이다. 로봇은 냉각 위치로 갈 것이며, 냉각된 후 활동이 빠져 나올 것이다.

로봇이 추적 중인 사람이 구역 1에 있고 이들의 신장이 175센티미터 이상인 경우, 이 대화 주제에 자율적으로 집중할 수 있다.

로봇이 추적 중인 사람이 구역 1에 있는 경우, 이 대화 주제에 자율적으로 집중하는 것이 가능하다.

로봇이 추적 중인 사람이 구역 1에 있고, 날짜가 12월과 2월 사이인 경우, 이 대화 주제에 자율적으로 집중하는 것이 가능하다. 이는 로봇에 계절 특화적으로 설치될 수 있다.

로봇이 추적 중인 사람이 구역 1에 있는 경우, 이 대화 주제에 자율적으로 집중하는 것이 가능하다.

구역 2에 적어도 5초 동안 적어도 2명의 사람이 있고 구역 2의 적어도 한 명의 사람이 미소 짓고 있는 경우, 이 활동에 집중하는 것이 가능하다.

이 대화 주제는 오로지 프로그램에 따라 미소 짓는 사람 자극으로부터 사용되며, 마인드가 아닌 행동으로부터 런칭된다.

이 활동은 취침 시간이라고 정의된 시간 동안이 아닌 경우 그리고 음악이 적어도 30초 동안 재생되는 경우, 그리고 최근 600초 내 사람이 존재했었고 로봇의 온도가 70도 미만이며 배터리가 50 퍼센트 이상 충전되어 있는 경우 런칭될 수 있다.

이 활동은, 로봇이 집으로 정의된 위치에 있고, 로봇 소유자들 중 한 명이 21600초(6시간 및 최대 딜레이의 소유자가 이 조건 키에 보고됨) 동안 안 보인 후 보인 경우, 그리고 시간대가 저녁으로 정의된 경우, 그리고 지난 1800초(30분) 동안 (어떠한 사람에게도) 이 동일한 활동을 시작할 적이 없는 경우, 시작된다.

이 대화 주제는 오로지 프로그램에 따라 가족 구성원에게 환영 인사로부터 사용되며, 마인드가 아닌 행동으로부터 런칭된다.

예시 1

상황정보에 따라, 인간을 자율적으로 자극

2명의 사람이 잠시 동안 구역 2에 서 있다. 이들 중 한 명이 미소 짓고 있다. 로봇이 "거기 여러분 행복해 보이네요"라고 말한다.

A: 설치된 패키지는 앞서 나열된 바와 같다.

B: 추출기에 의해 제공되는 메모리의 상태가 다음과 같다:

C: 이들 조건을 기초로, 다음의 활동이 가능하다:

D: 존재하는 사람 누구도 로봇과의 확립된 과거를 갖지 않는다.

"미소 짓는 사람 자극"이 서로 다른 사람에 의해 하루에 2회 런칭되었다.

E: 단 하나의 활동이 제안될 때 최종 우선순위화된 리스트는 다음과 같을 것이다:

어떠한 활동도 현재 집중되지 않을 때, 마인드부는 "미소 짓는 사람 자극"을 시작할 것이다.

F: 자율 활동 "미소 짓는 사람 자극"이 집중된다. 활동이 프로그램을 실행시킨다:

- 로봇은 태블릿이 사람을 향하도록 사람을 향해 회전한다.

- 그래픽이 태블릿 상에서 나타난다.

- 로봇은 그래픽을 흔든다.

- 그 후 활동에 의해 미소 대화 중 일부가 트리거된다. 로봇이 "거기 여러분 행복해 보이네요"라고 말하고, 응답을 기다린다.

- 사용자가 신체적으로 또는 구두로 행한 것을 기초로, 활동이 수행될 수 있으며, 로봇의 제어를 가지며, 활동이 코멘트를 한 바로 후에 빠져 나오도록 결정할 수 있다.

G: 이 경우 대화는 마인드부(E)에 의해 직접 제어되지 않았다. 그러나 활동(F)은 프로그램에 따라 이를 다소 제어한다.

H: 로봇이 자율 우선순위에 대해 이미 설정되었기 때문에, 마운드부(E)는 활동(F)를 시작하기 전에 기본 인지부 또는 그 밖의 다른 마인드 서비스에서 어떠한 설정도 변경하지 않는다. 그러나 활동(F)이 기본 인지 마인드 서비스에 의해 설정된 추적 모드를 변경하는 것이 가능하다. 이 경우, 자유 우선순위에서 마인드에 의해 설정된 추적 모드는 "비체결(Unengaged)"이며, 로봇이 임의의 순간에 임의의 것으로 자신의 주의를 돌릴 수 있음을 의미한다. 활동 개발자가 "반체결(SemiEngaged)"이 좋다고 결정할 수 있으며, 이는 기본 인지부가 자극되는 경우, 로봇은 자극을 바라보지만 항상 이전 인간에게 주의를 되 돌릴 것임을 의미한다. 환경에서 인간과 로봇의 체결 조건이 로봇에서 지속적으로 실행되는 기본 인지 기능에 의해 결정된다.

예시 2

맥락적 활동 및 대화 우선순위

로봇이 여전히 예시 1의 "미소 짓는 사람 자극" 활동을 실행 중이라고 가정한다. 이제, 이전에는 보이지 않은 새로운 사람이 측면에서 구역 1로 들어온다. 그는 장신이다. 로봇이 그에게 "거기 위쪽 날씨는 어떤가요"라고 말한다.

A: 설치된 패키지는 앞서 나열된 바와 같다.

B: 메모리의 상태가 다음과 같다:

C: 이들 조건을 기초로, 다음의 활동이 가능하다:

D: 사용자 중 2명이 미소 짓는 사람 자극을 경험하고 그 밖의 다른 활동은 경험하지 않는다.

세 번째(추적된) 사용자가 이들 활동 중 어느 것도 경험하지 않는다.

미소 짓는 사람 자극이 오늘 3회 시작됐었다.

계절 겨울 제안 및 스포츠 제안이 각각 오늘 1회 실행됐다.

일반적인 수다가 오늘 5회 실행됐다.

장신의 사람을 제안이 오늘 실행되지 않았다.

E: 정렬된 리스트는 다음과 같다: 장신의 사람을 제안이 승자이다:

나머지 모든 활동이 더 높은 우선순위를 가졌기 때문에, 미소 짓는 사람 자극이 제거된다.

정렬의 나머지는 어느 활동이 하루 중에 최소로 시작됐는지에 의해 결정된다.

F: 여기서는 아무 것도 하지 않음

G: 마인드부가 대화의 "장신의 사람을 제안" 주제에 집중한다.

이는 이전의 더 낮은 우선순위 활동인 "미소 짓는 사람 자극"을 중단한다.

로봇이 그에게 "거기 위쪽 날씨는 어떤가요"라고 말한다. (단어 "위쪽"을 처리할 때, 애니메이션된 스피치가 위를 보는 모션을 취한다...")

지금부터, 이 날씨 주제는 대화에 따라 이 주제 내에서 활성화될 수 있는 그 밖의 다른 임의의 주제로 전환될 수 있다.

또는, 이 주제가 대화에서 벗어나는 경우, 빠져나올 수 있다. 그 후 이는 마인드부를 해방시켜 맥락을 기초로 서로 다른 활동을 시작하기 위한 결정을 할 수 있다.

H: 마인드가 대화에 집중하기 전에, 대화 우선순위에 대한 디폴트인 방해 방지 인간 추적(완전 체결 모드)을 이용하도록 기본 인지부를 재설정한다. 자율 이동, 및 그 밖의 다른 마인드 서비스가 또한 디폴트 대화 값에 따라 재설정된다.

예시 3

사용자 히스토리를 고려한다.

이는 상이한 로봇에서 발생한다고 가정할 때, 이전 2개의 예시가 연결되지 않는다.

1. 사람이 구역 1에 들어가고, 스포츠에 대해 로봇과 대화하며, 이들의 이름을 로봇에게 말하며, 떠난다.

2. 그 후 이들이 돌아온다. 로봇은 이들이 누구인지 기억하고, 이를 언급하며, 스포츠에 대해서는 이미 대화했기 때문에, 이때는 날씨에 대해 이야기할 것이다.

1A: 설치된 패키지는 앞서 나열된 바와 같다.

1B: 메모리의 상태가 다음과 같다:

1C: 이들 조건을 기초로, 다음의 활동이 가능하다:

1D: 우리는 이 사용자에 대해 어떠한 히스토리도 갖지 않는다.

스포츠 제안, 계정 겨울 제안, 및 일반적인 수다가 각각 하루에 1회 집중되었다.

1E: 각각의 활동이 정렬 후 동일한 가중치를 가지며, 순서가 무작위화된다.

스포츠 제안이 승자이다.

1F: 수행할 일 없음.

1G: 마인드부가 대화의 "스포츠 제안" 주제에 집중한다.

로봇과 인간은 스포츠에 대한 대화에 참여한다.

대화 중에, 인간이 "이름이 뭐니"라고 묻는다.

이로 인해, 마인드부가 "일반 수다" 주제로 집중하도록 대화가 전환될 수 있다.

대화의 이 부분에서, 로봇은 인간의 이름이 "Lindsay"임을 학습한다.

Lindsay가 로봇을 떠날 때 대화 주제에서 빠져나온다.

1H: 대화에 집중하기 전에, 이들의 대화 우선순위 디폴트에 의해 그 밖의 다른 마인드 서비스가 설정되었다.

2A: 설치된 패키지는 앞서 나열된 바와 같다.

2B: 메모리의 상태가 1B와 같다:

2C: 이들 조건을 기초로, 다음의 활동이 가능하다:

2D: 추적된 사용자가 "Lindsay"라고 인식되며, 스포츠 제안 및 일반 수다를 1번 경험했다.

스포츠 제안, 계정 겨울 제안이 각각 하루에 2회 집중되었다.

일반적인 수다가 3회 집중됐다.

2E: 정렬된 리스트가 다음과 같다.

계절 겨울 제안이 승자이다.

오늘의 활동에 따르면, 스포츠 제안 및 계절 겨울 제안이 일반적인 수다보다 위로 정렬된다. 그 후 다음 정렬로서 Lindsay의 히스토리를 고려한 후, 계정 겨울 제안이 최상위가 된다.

2F: 수행할 일 없음.

2G: 마인드부가 대화의 "계절 겨울 제안" 주제에 집중한다.

대화부가 주제가 집중되고 있음을 알 때, 사용자는 마지막과는 상이함을 안다. 따라서 먼저 "안녕 Lindsay"라고 인사한다.

그 후 이들은 겨울에 대해 대화를 계속한다.

2H: 대화에 집중하기 전에, 이들의 대화 우선순위 디폴트에 의해 그 밖의 다른 마인드 서비스가 설정되었다.

예시 4

사용자 선호를 자율적으로 학습

이는 상이한 로봇에서 발생한다고 가정할 때, 이전 3개의 예시가 연결되지 않는다.

1. 로봇이 저녁에 집에 있다. 로봇의 소유자로 등록된 사람이 방에 들어오고, 로봇은 아침 이후로 이 사람을 보지 못했다.

로봇은 사람에게 다가가, 포옹하고 "환영해요, 보고 싶었어요"라고 말한다. 사람은 "이러는 거 싫어"라고 말한다.

2. 다음 날, 동일한 시나리오가 발생하지만, 이번에는 로봇이 아무 행동도 하지 않는다.

1A: 설치된 패키지는 앞서 나열된 바와 같다.

1B: 추출기에 의해 제공되는 메모리의 상태가 다음과 같다:

1C: 이들 조건을 기초로, 다음의 활동이 가능하다:

1D: 상기 활동은 이 사용자에 대해 이전에 1회 실행된 적이 있고, 오늘은 실행된 적 없다.

1E: 승자 활동, 즉, 런칭될 가능성이 있는 활동은, "가족 구성원에게 환영 인사"이다.

1F: 자율 활동이 집중된다. 로봇이 사용자를 살피고, 사용자를 포옹한다. 그 후 프로그램에 따라 "환영 대화" 대화 주제를 시작한다.

1G: 그 후 로봇은 "환영해요 John, 보고 싶었어요"라고 말한다. 사람은 "이러는 거 싫어"라고 말한다.

대화는 마인드부에게 사용자가 현재의 활동을 선호하지 않음을 통지한다.

1H: 활동에 집중하기 전에, 이들의 대화 우선순위 디폴트에 의해 그 밖의 다른 마인드 서비스가 설정되었다.

2A: 설치된 패키지는 앞서 나열된 바와 같다.

2B: 메모리의 상태가 1B와 같다: 2C: 이들 조건을 기초로, 다음의 활동이 가능하다:

2D: 이 추적된 사용자에 대한 히스토리가 그가 이 활동을 전에 2회 런칭했음을 보여주고, 사용자로부터 부정적인 피드백을 받았음을 보여준다.

이 활동은 오늘 시작된 적 없다.

2E: 사용자로부터의 부정적인 피드백 때문에, 정렬 후, 마인드부가 빈 리스트(empty list)를 내 놓는다.

2F: 수행할 일 없음.

2G: 수행할 일 없음.

2H: 수행할 일 없음.

예시 5

자율 재충전 및 우선순위

이제 독자가 흐름에 익숙해졌다고 추정되므로, 이 예시는 더 하이 레벨 설명과 함께 제공된다.

1. 배터리는 30초 동안 30퍼센트 미만이었다.

어떠한 활동도 집중되지 않는다.

a. 마인드는 "약식 배터리 재충전"을 시작한다.

로봇은 충전 스테이션으로 되 돌아 가기 시작한다.

2. 가는 중에, 로봇은 구역 1에서 인간을 만난다.

a. 마인드부는 더 높은 우선순위(대화)이며 (정규 자율 우선순위) 재충전 활동을 중단하는 "일반 수다"를 시작한다.

3. 대화 중에, 배터리가 7% 미만이 됐다.

a. 마인드부는 더 높은(보호 1) 우선순위이며, (대화 우선순위인) 일반 수다를 중단하는 "긴급 배터리 재충전"을 시작한다.

4. 로봇은 재충전 스테이션으로 다시 되 돌아 간다. 불행히도, 로봇은 이를 찾을 수 없거나 시간 안에 도달할 수 없다.

배터리가 3%미만이 됐다.

a. 마인드부는 더 높은 (보호 10) 우선순위이며, 긴급 배터리 재충전(보호 1)을 중단시키는 "배터리 셧다운"을 시작한다.

b. 로봇이 꺼진다.

예시 6

과열 보호

이제 독자가 흐름에 익숙해졌다고 추정되므로, 이 예시는 더 하이 레벨 설명과 함께 제공된다.

1. 낮 동안이고, 로봇은 완전 배터리 충전 상태이며, 뜨겁지 않다. 사람이 방 안에 있고 로봇이 목격한다. 이들은 음악을 틀고 방을 떠난다.

a. 로봇이 30초 동안 지속적으로 음악을 들은 후, 마인드부가 "자율 댄서"를 시작한다.

로봇은 춤추기 시작한다.

2. 이 춤 동안, 로봇의 평균 몸체 온도가 1분 이상 90도를 초과한다.

a. 마인드부는 더 높은 (보호 5) 우선 순위이며 (정규 자율 우선순위인) 자율 댄서를 중단시키는 "긴급 냉각"을 시작한다.

3. 잠시 이 활동을 실행한 후, 로봇은 냉각된다.

a. "긴급 냉각"에서 빠져 나오고 마인드부는 더 낮은 우선순위 작업에 다시 집중할 수 있다.

4. 음악이 여전히 재생 중이고 인간이 주위에 있을 때 로봇은 자율 댄서를 다시 시작하기로 결정할 수 있다.

예시 7

밀림 보호

이제 독자가 흐름에 익숙해졌다고 추정되므로, 이 예시는 더 하이 레벨 설명과 함께 제공된다.

1. 로봇은 다시 자율 댄서를 실행 중이다.

2. 이때, 누군가가 뒤에서 몰래 다가가 로봇을 민다.

3. "밀렸음(I was pushed)" 활동에 집중된다.

a. 로봇은 균형 잡기 알고리즘을 수행하고, 그 후 민 방향으로 돌아 서서 사람에게 항의한다.

b. 활동이 중단된다.

4. 로봇은 다시 자율 댄서에 집중하거나, 현재 상태에 따라 다른 활동에 집중할 수 있다.

앞서 기재된 예시가 본 발명의 실시예의 예시로서 제공된다. 이들 예시는 다음의 청구항에 의해 규정되는 본 발명의 범위를 어떠한 식으로도 한정하지 않는다.

Claims (13)

1. 휴머노이드 로봇(110)으로서, 상기 휴머노이드 로봇은
   로봇에 의해 실행되기 위한 활동을 불러오고 저장하기 위한 처리부로 연결된 메모리(213) - 활동은 사전-프로그램된 로봇 행동과 상기 행동의 런칭 조건을 포함하는 매니페스트 파일의 쌍으로 구성되고, 상기 런칭 조건은, 메모리 내의 하나 이상의 변수에 대한 사전정의된 조건에 따라 활동이 런칭될 수 있는지를 정의하고, 상기 활동은 사전정의된 우선순위와 연관되고, 상기 사전정의된 우선순위는,
   가장 높은 우선순위부터 가장 낮은 우선순위로,
   ○ 로봇을 보호하기 위한 제약을 고려하는 활동을 위한 보호 우선순위,
   ○ 로봇 주위에 형성된 복수의 체결 구역 내에서, 하나 이상의 인간의 존재를 고려하는 활동을 위한 대화 우선순위,
   ○ 로봇에 의해 자율적으로 수행될 수 있는 활동을 위한 자율 우선순위를 포함하는 그룹에서 선택됨 - ,
   상황, 이벤트 및 로봇 주위 장면 내 인간과의 대화 중 하나 이상을 특징 짓는 이미지, 소리, 터치, 및 관성 신호의 추출기(211),
   조명 신호, 디스플레이된 정보, 소리, 음성, 운동 중 하나 이상의 동작의 액추에이터(212) - 상기 하나 이상의 동작은 행동에 속함 - 를 포함하고,
   상기 휴머노이드 로봇은, 런칭 조건이,
   ○ 가장 높은 우선순위를 갖지 않은 활동을 제거하기 위해 우선순위화된 리스트를 필터링하고,
   ○ 우선순위화된 리스트가 둘 이상의 활동을 포함할 때, 우선순위화된 리스트를 랜덤화함에 의해 충족된 사전정의된 활동의 우선순위에 따라 우선순위화된 활동 리스트를 자동으로 생성하고, 상기 우선순위화된 활동 리스트에서 첫 번째 활동을 선택하며 상기 활동의 실행을 하나 이상의 액추에이터에게 명령하기 위한 마인드 모듈(230)을 더 포함하는, 휴머노이드 로봇.
2. 제1항에 있어서, 상기 메모리는 인간의 신원 데이터와 로봇이 대화하는 상대 간 매칭을 가능하게 하는 데이터 및 상기 대화의 지정 파라미터를 저장하도록 더 구성되는, 휴머노이드 로봇.
3. 제1항 또는 제2항에 있어서, 상기 우선순위화된 활동 리스트는 로봇과 통신하기 위한 상황에서의 인간의 존재 여부 결정, 자율 활동을 실시하는 것에 대한 선호, 및 어떤 활동이든 수행할 수 있는 능력 중 하나 이상을 기초로 생성되는, 휴머노이드 로봇.
4. 제3항에 있어서, 로봇과 통신하기 위한 상황에서의 인간의 존재 여부에 대한 결정이 이뤄진 후, 복수의 체결 구역(engagement zone)이 로봇 주위에서 형성되는, 휴머노이드 로봇.
5. 제4항에 있어서, 복수의 체결 구역이 인간과 로봇 간 거리에 의해 형성되는, 휴머노이드 로봇.
6. 제5항에 있어서, 복수의 체결 구역이 인간과 로봇 간 대화의 맥락(context)의 형성을 기초로 달라지는, 휴머노이드 로봇.
7. 제3항에 있어서, 로봇과 통신하기 위한 상황에서의 인간의 존재 여부에 대한 결정이 이뤄진 후, 추출기 서비스(extractor service)가 타 활동의 수행 중에도 인간을 계속 추적하는, 휴머노이드 로봇.
8. 제2항에 있어서, 우선순위화된 활동 리스트는 로봇이 이미 대화한 인간이 선호하는 활동의 결정을 기초로 생성되는, 휴머노이드 로봇.
9. 제2항에 있어서, 우선순위화된 활동 리스트에서의 순서가, 첫째, 로봇을 보호하기 위한 제약을 고려하고, 둘째, 체결 구역들 중 하나에 한 명 이상의 인간의 존재를 고려하며, 셋째, 로봇에 의해 자율적으로 수행될 수 있는 활동을 고려함으로써, 설정되는, 휴머노이드 로봇.
10. 제9항에 있어서, 우선순위화된 활동 리스트의 순서화에 기여하는 자원 관리자를 더 포함하는, 휴머노이드 로봇.
11. 제1항에 있어서, 우선순위화된 활동 리스트가 우선순위화된 활동 리스트 내 첫 번째 활동의 실행 전에 무작위화되는, 휴머노이드 로봇.
12. 휴머노이드 로봇을 제어하기 위한 방법으로서, 상기 방법은
    로봇에 의해 실행되기 위한 활동을 불러오고 저장하는 단계 - 활동은 사전-프로그램된 로봇 행동과 상기 행동의 런칭 조건을 포함하는 매니페스트 파일의 쌍으로 구성되고, 상기 런칭 조건은, 메모리 내의 하나 이상의 변수에 대한 사전정의된 조건에 따라 활동이 런칭될 수 있는지를 정의하고, 상기 활동은 사전정의된 우선순위와 연관되고, 상기 사전정의된 우선순위는,
    가장 높은 우선순위부터 가장 낮은 우선순위로,
    ○ 로봇을 보호하기 위한 제약을 고려하는 활동을 위한 보호 우선순위,
    ○ 로봇 주위에 형성된 복수의 체결 구역 내에서, 하나 이상의 인간의 존재를 고려하는 활동을 위한 대화 우선순위,
    ○ 로봇에 의해 자율적으로 수행될 수 있는 활동을 위한 자율 우선순위를 포함하는 그룹에서 선택됨 - ,
    하나 이상의 추출기로부터 상황, 이벤트 및 로봇을 둘러 싸는 장면 내 인간과의 대화 중 하나 이상을 특징 짓는 이미지, 소리, 터치, 및 관성 신호를 불러오는 단계,
    조명 신호, 디스플레이된 정보, 소리, 음성, 운동 중 하나 이상의 동작의 액추에이터를 활성화하는 단계 - 상기 하나 이상의 동작은 행동에 속함 - 를 포함하고,
    상기 방법은 마인드 모듈(mind module)에서 우선순위화된 활동 리스트를 자동으로 생성하고, 런칭 조건이,
    ○ 가장 높은 우선순위를 갖지 않은 활동을 제거하기 위해 우선순위화된 리스트를 필터링하고,
    ○ 우선순위화된 리스트가 둘 이상의 활동을 포함할 때, 우선순위화된 리스트를 랜덤화함에 의해 충족된 사전정의된 활동의 우선순위에 따라 상기 우선순위화된 활동 리스트에서 첫 번째 활동을 선택하며 상기 활동의 실행을 하나 이상의 액추에이터에게 명령하는 단계를 더 포함하는, 휴머노이드 로봇을 제어하기 위한 방법.
13. 컴퓨터 상에서 실행될 때 청구항 제12항의 방법을 실행하기 위한 컴퓨터 코드를 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

Images