KR20160034243A - 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들 - Google Patents

지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들 Download PDF

Info

Publication number
KR20160034243A
KR20160034243A KR1020157025366A KR20157025366A KR20160034243A KR 20160034243 A KR20160034243 A KR 20160034243A KR 1020157025366 A KR1020157025366 A KR 1020157025366A KR 20157025366 A KR20157025366 A KR 20157025366A KR 20160034243 A KR20160034243 A KR 20160034243A
Authority
KR
South Korea
Prior art keywords
pcd
user
people
video
parameter
Prior art date
Application number
KR1020157025366A
Other languages
English (en)
Inventor
신시아 브리질
Original Assignee
지보, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지보, 인코포레이티드 filed Critical 지보, 인코포레이티드
Publication of KR20160034243A publication Critical patent/KR20160034243A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G06K9/00624—
    • G06K9/00778—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/232—
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/007—Details of energy supply or management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

방법은 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계; 시간 파라미터에 따라 상기 환경에서 한 명 이상의 사람들을 포토그래핑하기 위한 명령을 수신하는 단계; 및 하나 이상의 포토그래프들을 유도하도록 상기 시간 파라미터에 따라 한 명 이상의 사람들을 포토그래핑하는 단계를 포함한다.

Description

지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들{APPARATUS AND METHODS FOR PROVIDING A PERSISTENT COMPANION DEVICE}
[0001] 관련 출원들에 대한 상호-참조
[0002] 본 출원은 2013년 3월 15일에 출원된 미국 가특허 출원번호 제61/788,732호의 우선권을 주장하며, 이에 의해 이 가출원은 그 전체내용이 인용에 의해 통합된다.
[0003] 배경
[0004] 발명 분야
[0005] 본 출원은 일반적으로 지속적 동반 디바이스에 관한 것이다. 특히, 본 출원은 사람의 환경내에 연속적이도록 존재하여 동반 디바이스의 사용자와 상호작용하여 디바이스의 감정 참여를 제공하도록 적응되고 그리고/또는 동반 디바이스와 사용자와 동반 디바이스간의 상호작용들에 대한 애플리케이션들, 컨텐츠, 서비스들 또는 장기적인 데이터 수집과 연관된 동반 디바이스를 제공하기 위한 장치 및 방법들에 관한 것이다.
[0006] 관련 기술의 설명
[0007] 스마트 폰들 및 태블릿 컴퓨터와 같은 디바이스들의 성능들, 예를들어 네트워킹 사양들, 고선명 비디오, 터치 인터페이스들, 및 애플리케이션들이 향상되는 반면에, 이러한 디바이스들은 인간 사용자들과 관계를 맺는 능력, 예를들어 디바이스와의 상호작용으로부터 컴패니온십(companionship) 또는 강화된 감정 경험의 장점들을 제공하는 능력은 제한된다. 컴패니온십을 제공하기 위한 개선된 디바이스들 및 관련 방법들 및 시스템들을 대한 필요성이 요구된다.
[0008] 발명의 요약
[0009] 본 개시내용은 사람의 환경내에 연속적이도록 존재하고 동반 디바이스의 사용자와 상호작용하여 디바이스의 감정 참여를 제공하도록 적응되고 그리고/또는 동반 디바이스와 사용자와 동반 디바이스간의 상호작용들에 대한 애플리케이션들, 컨텐츠, 서비스들 또는 장기적인 데이터 수집과 연관된 동반 디바이스를 제공하기 위한 방법들 및 시스템들에 관한 것이다. 디바이스는 본원에서 추가로 설명되는 바와같이 광범위한 애플리케이션들에 대한 풍부한 상호작용을 제공하기 위하여 관련 하드웨어, 소프트웨어 및 다른 컴포넌트들과 상호작용하는 시스템의 부분일 수 있다.
[0010] 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 시간 파라미터에 따라 환경내에서 한 명 이상의 사람들을 포토그래핑하기 위한 명령을 수신하는 단계 및 하나 이상의 포토그래프들을 유도하도록 시간 파라미터에 따라 한 명 이상의 사람들을 포토그래핑하는 단계를 포함한다.
[0011] 예시적이고 비제한적인 실시예에 따르면, 컴퓨터 프로그램 물건은 사용자의 환경내에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스의 일부를 형성하는 컴퓨터 판독가능 매체 상에 존재하며, 컴퓨터 판독가능 매체는 복수의 명령들이 저장되며 복수의 명령들은 프로세서에 의해 실행될 때 프로세서로 하여금 동작들을 수행하게 하고, 상기 동작들은 사용자의 환경내에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 동작, 시간 파라미터에 따라 환경내에서 한 명 이상의 사람들을 포토그래핑하기 위한 명령을 수신하는 동작 및 하나 이상의 포토그래프들을 유도하도록 시간 파라미터에 따라 한 명 이상의 사람들을 포토그래핑하는 동작을 포함한다.
[0012] 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속적이도록 적응되는 텔레-프리젠트(tele-present) 디바이스를 제공하는 단계 및 일정 시간 기간 동안 디바이스와 사용자 간의 상호작용들을 기술하는 데이터를 포함하는 장기적인 데이터를 디바이스로부터 수집하는 단계를 포함한다.
[0013] 예시적이고 비제한적인 실시예에 따르면, 방법은 사람의 환경내에서 연속적으로 지속하고 동반 디바이스의 원격 사용자의 제어에 응답하여 사용자와 상호작용하도록 적응되는 원격통신 가능 원격-제어 로봇 디바이스를 제공하는 단계 및 환경내의 사람 및 동반 디바이스의 원격 사용자 중 적어도 하나와 동반 디바이스의 상호작용들에 대한 데이터를 수집하기 위한 장기적인 데이터 수집 장비를 제공하는 단계를 포함한다.
[0014] 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속하며 사용자와 상호작용하도록 적응되는 텔레-프리젠트 디바이스 ― 이 디바이스는 애니메이트 사용자 인터페이스를 포함함 ―를 제공하는 단계 및 사용자 인터페이스를 통해 사용자로부터의 데이터를 수집하기 위하여 이 디바이스를 활용하는 단계를 포함한다.
[0015] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경 내에서 지속하여 사용자와의 애니메이션 상호작용을 시뮬레이트하는 사용자 인터페이스를 통해 사용자와 상호작용하도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 사용자의 환경을 통해 사용자가 디바이스를 이동시키는 것을 돕기 위하여 손 휴대가능성에 대해 디바이스를 적응시키는 단계 및 디바이스가 사용자의 환경 내의 평탄하지 않은 표면들상에 안정되게 포지셔닝되도록 안정화 시설에 디바이스를 적응시키는 단계를 포함한다.
[0016] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에 지속하도록 적응되는 텔레-프리젠트 디바이스를 제공하는 단계, 디바이스와 사용자 간의 상호작용들을 기술하는 데이터를 포함하는 장기적인 데이터를 디바이스로부터 수집하는 단계 및 수집된 데이터에 적어도 부분적으로 기초하여 상호작용들의 품질을 개선시키기 위한 머신 학습 장비를 제공하는 단계를 포함한다.
[0017] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경 내에서 지속하도록 적응되는 텔레-프리젠트 디바이스를 제공하는 단계, 디바이스와 사용자간의 상호작용들을 기술하는 데이터를 포함하는 장기적인 데이터를 디바이스로부터 수집하는 단계, 디바이스와 사용자 간의 상호작용들의 성공 측정치를 결정하는 단계, 및 머신 학습 장비의 애플리케이션에 기초하여, 상호작용들을 적응시키고, 성공 측정치에 대한 영향을 반복적으로 결정하고 그리고 일정 시간 기간에 걸쳐 상호작용들을 개선하는 단계를 포함한다.
[0018] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속하도록 적응되는 텔레-프리젠트 디바이스를 제공하는 단계를 포함하며, 상기 디바이스는 상기 사용자의 환경을 대표하는 복수의 표면들상에 안정되게 포지셔닝되도록 적응되며, 상기 표면들은 적어도 하나의 평탄하지 않은 표면들을 포함하며, 디바이스는 사용자의 환경을 통해 손으로 휴대가능하도록 적응된다.
[0019] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경 내에서 지속하도록 적응되는 텔레-프리젠트 디바이스를 제공하는 단계를 포함하며, 상기 디바이스는 사용자의 환경의 소셜 큐(social cue)들을 지속적으로 알도록 적응되며, 디바이스는 손으로 휴대가능하도록 적응된다.
[0020] 또 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속하여 사용자의 소셜 애니메이트-형 상호작용을 제공하는 사용자 인터페이스를 통해 사용자의 상호작용하도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 사용자의 환경내에서 사용자가 디바이스를 이동시키는 것을 돕기 위하여 손 휴대가능성에 대하여 디바이스를 적응시키는 단계, 디바이스가 사용자의 환경 내의 평탄하지 않은 표면들상에 안정되게 포지셔닝되도록 안정화 장비에 디바이스를 적응시키는 단계 및 사용자의 환경으로부터 소셜 큐 데이터를 수집하기 위한 로봇 디바이스의 소셜 데이터 수집 모듈을 제공하는 단계를 포함한다.
[0021] 이러한 실시예에 따르면, 소셜 데이터 수집 모듈은 사용자의 소셜 제스처를 표시하는 센서 데이터, 사용자의 소셜 얼굴 표정을 표시하는 센서 데이터, 사용자의 소셜 스피치를 표시하는 스피치 인식 데이터, 사용자의 환경 내의 다른 개인들의 존재를 표시하는 모션 데이터, 사용자에 의한 로봇 디바이스의 소셜 터치의 사용을 표시하는 터치 데이터 및 사용자의 환경으로부터 원격 개인들로부터의 소셜 통신들을 표시하는 통신 데이터로 구성된 그룹으로부터 선택된 데이터를 선택한다.
[0022] 다른 예시적이고 비제한적인 실시예에 따르면, 방법은 사용자의 환경내에서 지속되도록 적응되는 텔레-프리젠트 디바이스를 제공하는 단계, 사용자로부터 복수의 언어 신호 및 비-언어 신호들을 디바이스에서 수신하는 단계, 및 복수의 수신된 언어 신호들 및 비-언어 신호들에 응답하여 디바이스의 동작을 적응시키는 단계를 포함한다.
[0023] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트(tele-present) 디바이스를 제공하는 단계, 디바이스에서, 사용자로부터의 복수의 구두(verbal) 신호들 및 비-구두(non-verbal) 신호들을 수신하는 단계 및 수신된 복수의 구두 신호들 및 비-구두 신호들에 응답하여 디바이스의 작동(behavior)을 적응시키는 단계를 포함하며, 여기서 적응(adaption)은, 적응화들(adaptations)의 라이브러리에 기초하며, 적응화는 사용자로부터의 구두 및 비-구두 신호들에 의해 표시되는 상호작용의 타입을 결정하는 것에 기초하여 라이브러리로부터 선택되며, 여기서 적응화는 머신 학습 설비(machine learning facility)에 라포트의 측정치(measure)를 공급하고 머신 학습 설비의 제어하에, 사용자와 디바이스의 상호작용들을 적응시킴으로써 개선된다.
[0024] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 디바이스를 제공하는 단계 및 디바이스를 통해, 별개의 디바이스 페르소나(distinct 디바이스 persona)를 사용자에게 표현하는 단계를 포함한다.
[0025] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 로봇 디바이스를 제공하는 단계, 로봇 디바이스의 복수의 페르소나 모듈들을 인에이블링하는 단계 ―각각의 페르소나 모듈은 로봇 디바이스에 페르소나를 제공하도록 적응되는 별개의 로봇 디바이스 피쳐들을 인에이블링함―, 사용자의 적어도 하나의 특성(trait)을 결정하는 단계 및, 결정된 특성에 기초하여, 로봇 디바이스의 페르소나를 선택하는 단계 및 적응시키는 단계 중 적어도 하나의 단계를 포함하며, 여기서 페르소나 모듈은, 로봇 디바이스의 스피치(speech)의 볼륨, 로봇 디바이스의 스피치 패턴, 로봇 디바이스에 의해 사용되는 소셜 표현들의 라이브러리, 로봇 디바이스에 의해 사용되는 제스처들의 라이브러리, 로봇 디바이스의 애니메이션의 출현(appearance), 로봇 디바이스에 의해 사용되는 컨텐츠의 라이브러리 및 사용자의 환경에서 소셜 큐들(social cues)에 대한 로봇 디바이스의 반응도(responsiveness) 중 적어도 하나를 제어한다.
[0026] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 디바이스를 제공하는 단계, 뉴트링(nurturing)을 위한 요청들을 포함하는 하나 이상의 소셜 큐들을 디바이스로부터 송신하는 단계 및 하나 이상의 소셜 큐들에 응답하여, 사용자로부터, 하나 이상의 뉴트링(nurturing) 응답들을 수신하는 단계를 포함한다.
[0027] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계 및 하나 이상의 큐들을 디바이스로부터 송신하는 단계를 포함하며, 여기서 각각의 큐는 사용자에 의해 디바이스-뉴트링(device-nurturing) 작동을 요청한다(invites).
[0028] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 디바이스를 제공하는 단계, 디바이스의 적어도 하나의 사용자에 관한 정보, 디바이스의 사용자와 동반(companion) 디바이스와의 상호작용들 및 디바이스의 사용자의 환경을 수집하기 위한 데이터 수집 설비 및 감지 설비 중 적어도 하나를 제공하는 단계 및 수집된 정보에 기초하여 사용자의 요구 상태(need state)를 예상하는 단계를 포함한다.
[0029] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 디바이스의 적어도 하나의 사용자에 관한 정보, 디바이스의 사용자와 동반 디바이스와의 상호작용들 및 디바이스의 사용자의 환경을 수집하기 위한 데이터 수집 설비 및 감지 설비 중 적어도 하나를 제공하는 단계, 사용자의 요구 상태를 예상 결정하기 위해 수집된 정보를 분석하는 단계 및 결정된 요구 상태를 처리(address)하기 위해 로봇 디바이스의 작동을 적응시키는 단계를 포함한다.
[0030] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 디바이스를 제공하는 단계, 사용자의 요구 구역(area)을 식별하는 단계 및 텍스트-기반 메시지들을 전송하는 것 및 소셜 미디어 사이트에 접속하는 것 중 적어도 하나를 통해 요구 구역에서 사용자에게 가족 멤버 및 친구들 중 적어도 하나의 연결을 제공하는 단계를 포함한다.
[0031] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 사용자의 요구 구역을 식별하는 단계, 사용자에게 가족 멤버 및 친구 중 적어도 하나의 연결을 제공하는 단계 및 소셜 네트워킹 환경에서 적어도 하나의 가족 멤버 또는 친구에게 요구 구역을 통신하는 단계를 포함하며, 통신은 로봇 디바이스의 원격통신 능력을 통해 사용자와 상호작용하기 위한 초정(invitation)을 포함한다.
[0032] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 텔레-프레전트 디바이스를 제공하는 단계, 사용자의 감정 요구를 식별하는 단계 및 감정 요구와 연관된 앵커(anchor)를 트리거링하기 위해 적어도 하나의 트리거를 실행시키는 단계를 포함한다.
[0033] 또 다른 예시적이고 비제한적 실시예에 따르면, 방법은, 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계, 사용자의 감정 상태를 나타내는 데이터를 수집하기 위한 센서 및 데이터 수집 설비 중 적어도 하나를 이용하는 단계, 감정 상태에 기초하여 사용자의 감정 요구를 식별하기 위해 수집된 데이터를 분석하는 단계 및 식별된 감정 요구와 연관된 로봇 디바이스의 앵커링 작동을 트리거링하는 단계를 포함한다.
[0034] 도면의 간단한 설명
[0035] 반드시 실척대로 도시되지 않은 도면들에서, 동일한 번호들은 몇 개의 도면들 전체에 걸쳐 실질적으로 유사한 컴포넌트들을 설명할 수 있다. 서로 다른 문자 접미사들을 갖는 동일한 번호들은 실질적으로 유사한 컴포넌트들의 서로 다른 예시들을 표현할 수 있다. 도면들은, 일반적으로, 본 개시물에서 논의되는 특정 실시예들에 대한 상세한 설명을 제한 방식이 아닌 예시의 방식으로 예시한다.
[0036] 도 1은 예시적이고 비제한적인 실시예들에 따른 PCD의 다양한 도면들을 예시한다;
[0037] 도 2는 예시적이고 비제한적인 실시예들에 따른 PCD의 소프트웨어 아키텍처를 예시한다;
[0038] 도 3은 예시적이고 비제한적인 실시예들에 따른 PSIM(psycho-social interaction module)의 아키텍처를 예시한다;
[0039] 도 4는 예시적이고 비제한적인 실시예들에 따른, PCD에 의한 그리팅 상호작용(greeting interaction)의 단순화된 버전을 도시하는 작업(task) 네트워크를 예시한다 ;
[0040] 도 5는 예시적이고 비제한적인 실시예들에 따른 PCD의 하드웨어 아키텍처를 예시한다;
[0041] 도 6은 예시적이고 비제한적인 실시예들에 따른 PCD의 기계적 아키텍처를 예시한다;
[0042] 도 7은 예시적이고 비제한적인 실시예들에 따른, 통화 응답(call answering) 및 메시징 서비스를 제공하는 방법에 대한 흐름도를 예시한다;
[0043] 도 8은 예시적이고 비제한적인 실시예들에 따라, PCD에 의해 스토리를 중계하는 방법에 대한 흐름도를 예시한다;
[0044] 도 9는 예시적이고 비제한적인 실시예들에 따른 PCD의 사용에 의해 사용자의 감정 상태를 나타내고 그리고/또는 이에 영향을 미치는 방법에 대한 흐름도를 예시한다;
[0045] 도 10은 예시적이고 비제한적인 실시예들에 따라, PCD에 의해 애니메이션 피쳐(animation feature) 또는 스토리 액팅(acting)을 가능케하는 방법에 대한 흐름도를 예시한다 ;
[0046] 도 11은 예시적이고 비제한적인 실시예들에 따라, 백 스토리들을 생성하고 인코딩하는 방법에 대한 흐름도를 예시한다;
[0047] 도 12는 예시적이고 비제한적인 실시예들에 따라, 상호작용 데이터를 처리하고 이를 사용자 요구들을 해결하는데 이용하는 방법에 대한 흐름도를 예시한다; 그리고
[0048] 도 13은 예시적이고 비제한적인 실시예들에 따라, 사용자 입력들에 기초하여 PCD의 작동을 조절하는 방법에 대한 흐름도를 예시한다.
[0049] 상세한 설명
[0050] 예시적이며 비제한적인 실시예들에 따라, 사람/사용자의 환경에서 지속적으로 상주하며 그리고 동반 디바이스의 사용자와 상호작용하는 PCD(Persistent Companion Device)가 제공되고 설명된다. 아래에 보다 상세히(fully) 설명되는 바와 같이, PCD는 움직임, 그래픽들, 사운드들, 라이트들(lights), 냄새(scent)를 통해 표현되는 별개의 페르소나를 갖는 지속적, 소셜 존재감(social presence)을 제공한다. PCD의 각각의 실시예에 수반되는 "디지털 소울(digital soul)"의 개념이 아래에 추가로 도입된다. 본원에서 사용되는 바와 같이, "디지털 소울"은 PCD에 의해 액션들을 결정하고 실행하기 위한 입력들로서 기능하는, 디지털 포맷으로 저장될 수 있는 복수의 속성들을 지칭한다. 본원에서 사용되는 바와 같이, "환경"은 PCD의 센서들에 의한 사용자의 관찰을 허용하기에 충분한 사용자의 근접도 내에서의 사용자의 물리적 환경을 지칭한다.
[0051] 이 디저털 소울은 PCD의 상호작용/인터페이스에 수반된 소셜-감정/대인간 느낌(interpersonal feel)을 통해 소셜 상호작용 및 라포트-빌딩 동작들(rapport-building activities)에서 사용자들이 참여(engage)하도록 동작한다. 아래에 보다 상세히 설명되는 바와 같이, PCD(100)는 PCD(100)의 사용자에 대한 광범위한 기능들을 수행할 수 있다. 아래에 상세히 설명되는 예시적이며 비제한적인 실시예들에 따라, PCD는 (1) 사람들/사용자들 사이의 보다 의미있고, 참여적이며, 물리적으로 구체화되고, 사회적 환경에 처한(socially situated) 상호작용들을 조장(facilitate) 및 지원할 수 있고, 그리고 (2) 실용적 작업(utilitarian task)들의 수행에 참여할 수 있고 ―여기서 PCD는 어시스턴트(assistant)로서 동작하거나 또는 이로 제한되는 것은 아니지만, 사용자에게 유용한 정보를 제공하는 것, 스케줄링을 보조하는 것, 리마인딩하는 것(reminding), 포토그래퍼처럼 동작하는 것과 같은 특정한 서비스들을 제공하는 것을 비롯한 개인 서비스를 제공하는 어떤 것으로서 동작하여, 가족 스토리들 및 정보(knowledge)(예를 들어, 특정 레시피들) 등을 가족이 생성/보존/공유하게 돕는다― 그리고 (3) 사용자들에게 재미를 주고(예를 들어, 스토리들, 게임들, 뮤직 및 다른 미디어 또는 컨텐츠) 그리고 회합(company) 및 캠패니온십(companionship)를 제공할 수 있다.
[0052] 예시적이고 비 제한적인 실시예들에 따라, PCD의 다양한 기능들은 하기(이들로 제한되지 않음)를 포함하는 복수의 동작 모드들을 통해 달성될 수 있다:
ⅰ. 개선된 캠피니온십을 제공하기 위하여 시간에 걸쳐 적응할 수 있는 특성(trait)들을 포함하는, 선택적으로 다양한 상이한 성격 특성들을 표현하는 개인화된 인터페이스를 통해.
ⅱ. 정보뿐 아니라 정서(affect)를 전달할 수 있는 표정이 풍부한, 따뜻하고 인간화된 인터페이스를 통해. 하기 설명된 바와 같이, 그런 인터페이스는 얼굴 표정(애니메이션 또는 움직임 중 어느 하나에 의해), 바디 움직임, 그래픽들, 사운드, 스피치, 컬러, 광, 향기 등을 포함하는 다수의 큐(cue)들을 통해 감정, 정서 및 성격을 표현할 수 있다.
ⅲ. PCD가 점점 PCD의 사용자(들)에 맞춤화되고, 적응되고 의지되도록 다수의 소스들(센서들, 데이터, 다른 디바이스들로부터의 정보, 인터넷, GPS, 등)에 걸쳐 맥락과 관련된, 경도 정보를 획득함을 통해.
ⅳ. 사용자의 요구/원함을 보다 잘 매칭하기 위하여 적응성 자가-구성/자기 힐링을 통해.
ⅴ. 특정 상황 및 그 사용자의 사회적 및 감정적 상세들을 고려함을 통해.
[0053] 도 1을 참조하여, 예시적이고 비 제한적인 실시예들에 따른 PCD(100)의 다수의 도면들이 도시된다. 예시된 바와 같이, PCD(100)는 예를 들어 용량성 센서들(102)을 포함하는 복수의 예시적인 입력/센서 디바이스들을 포함한다. 하나 또는 그 초과의 용량성 센서들(102)은 스트록킹(stroking), 허깅(hugging), 터칭(touching) 등(이들로 제한되지 않음)을 포함할 뿐만 아니라 잠재적으로 사용자 인터페이스로서 역할을 하는 물리적 사회적 상호작용을 감지하도록 동작할 수 있다. PCD(100)는 사용자로부터 입력을 수신할 뿐 아니라 사용자에게 PCD(100)에 의해 데이터의 출력을 위한 그래픽 디스플레이로서 기능하도록 구성된 디바이스로서 터치 스크린(104)을 더 포함할 수 있다. PCD(100)는 스틸 이미지들 및 비디오(이들로 제한되지 않음)를 포함하는 시각적 성질(visual nature)의 입력을 수신하기 위한 하나 또는 그 초과의 카메라들(106)을 더 포함할 수 있다. PCD(100)는 사용자로부터 입력을 수신하기 위하여 하나 또는 그 초과의 조이스틱들(108)을 더 포함할 수 있다. PCD(100)는 오디오 데이터를 방출하거나 그렇지 않으면 출력하기 위한 하나 또는 그 초과의 스피커들(110)을 더 포함할 수 있다. PCD(100)는 하나 또는 그 초과의 마이크로폰들(112)을 더 포함할 수 있다.
[0054] PCD 소프트웨어 아키텍처
[0055] 도 2를 참조하여, 예시적이고 비 제한적인 실시예들에 따라 소프트웨어 아키텍처(200)를 묘사하는 블록도가 예시된다. 소프트웨어 아키텍처(200)는, PCD(100)가, 로봇 실시예를 통해서뿐 아니라 광범위한 애플리케이션들에 걸쳐 연결된 디바이스들을 통해 사람들이 관계를 맺을 수 있는 감정적으로 공명하는 페르소나 같은 경험을 삶에 제공하게 할 수 있는 인공 지능, 머신 학습, 및 연관된 소프트웨어 및 하드웨어 시스템들 같은 기술들에 적응될 수 있다.
[0056] 예시적이고 비 제한적인 실시예들에 따라, PCD(100)와 연관된 지능은 인간 사회 윤리를 머신들에 인코딩할 수 있는 하나 또는 그 초과의 카테고리들로 분할될 수 있다. 몇몇 실시예들에서, 이들 하나 또는 그 초과의 카테고리들은 PCD의 인식-감정 아키텍처의 토대일 수 있다. 하나 또는 그 초과의 카테고리들은 심리사회적 인지, 심리사회적 학습, 심리사회적 상호작용, 심리사회적 표현 등(이들로 제한되지 않음)을 포함할 수 있다. 지능의 심리사회적 인지 카테고리는 PCD(100)의 자연적 사회적 인터페이스 및 파-필드(far-field) 상호작용을 지원하기 위하여 인간 사회적 큐들(예를 들어, 시력, 청력, 터치)의 통합된 머신 인지를 포함할 수 있다. 심리사회적 학습 카테고리는, PCD(100)가 직접적인 상호작용을 통해 그리고 PCD(100) 및 디바이스 생태계에 의해 캡쳐된 다중-모드 데이터로부터의 데이터 분석들을 통해 사람들의 아이덴티티, 활동 패턴들, 선호도들, 및 관심들에 관해 학습할 수 있는 알고리즘들을 포함할 수 있다. PCD는 자신의 니어 또는 파 필드 통신 범위에 진입하는 사람들의 음성 샘플들을 기록할 수 있고 검출된 사람들의 아이덴티티 및 개인적 데이터를 얻기 위하여 음성 식별 시스템들을 이용할 수 있다. 게다가, PCD는 BLE의 디스커버리 채널(Discovery Channel) 인에이블된 디바이스들에서 방송된 UUID를 검출할 수 있고 디바이스 사용자와 연관된 개인적 데이터를 디코딩할 수 있다. PCD는 페이스북, 트위터, 링크드인(LinkedIn) 등 같은 사회적 네트워킹 사이트들로부터 부가적인 개인적 정보를 모으기 위하여 얻어진 아이덴티티 및 개인적 데이터를 사용할 수 있다. PCD는 사람들의 구성된 개인 프로파일의 디스플레이와 함께 자신의 니어 또는 파 필드 통신 범위에서 검출된 사람들의 존재 및 아이덴티티를 발표할 수 있다.
[0057] 심리사회적 상호작용 카테고리는, PCD(100)가 임무들 및 활동들뿐 아니라, - 모든 언어 및 다중-모드 작동을 통해 - 사람들과 신뢰 및 감정적 유대를 형성하는 관계 형성 기술들을 지원하기 위하여 프로세스들 만드는 사전 대책 판정을 수행하게 할 수 있다. 지능의 심리사회적 표현 카테고리는, PCD(100)가 스피치, 움직임, 그래픽들, 사운드들 및 조명의 오케스트라를 통해 감정적으로 조화된 페르소나로서 "활기를 띠고", 컨텐츠에 생기를 주고, 그리고 사람들과 관계를 맺도록 자신의 다중 모드 출력들을 조직하게 할 수 있다. 아키텍처(200)는 다중 모드 머신 인지 기술들, 스피치 인식, 표정이 있는 스피치 종합력에 대응하는 모듈들뿐 아니라, 비용 효율성을 레버리징하는 하드웨어 모듈들(즉, 모바일 디바이스들에 공통인 컴포넌트들)을 포함할 수 있다. 도 1에 예시된 바와 같이, PCD(100) 내에 하나 또는 그 초과의 소프트웨어 서브시스템들이 제공되고 이들 하나 또는 그 초과의 서브시스템들은 하기에 보다 상세히 설명될 것이다.
[0058]
[0059] 심리사회적 인지
[0060] PCD(100)의 심리사회적 인지는 사용자들의 로케이션을 평가하고, 사용자들의 감정을 캡쳐하고, 사용자들의 아이덴티티와 제스처들을 인식하고, 그리고 사용자들과 상호작용을 유지하기 위하여 사용될 수 있는 음성 입력, 및 시각적-공간적 인지를 다루기 위하여 사용될 수 있는 청각 인지를 포함할 수 있다. PCD(100)의 청각 인지는 마이크로폰들(202)의 어레이, 204 같은 하나 또는 그 초과의 신호 프로세싱 기술들 및 자동 스피치 인식 모듈(206)을 사용하여 실현될 수 있다. 게다가, 청각 인지는 상호작용 소셜 로봇의 고유 감각 및 프로세싱 요건들로 모바일 컴퓨팅 생태계에 대해 생성된 컴포넌트들 및 기술들을 레버리징함으로써 실현될 수 있다. PCD(100)는 마이크로폰 어레이(202)를 사용하여 스피치를 통해 다중 모드 파-필드 상호작용 및 신호 프로세싱 모듈(204a)을 사용한 노이즈 제거 기술을 지원하기 위한 하드웨어 및 소프트웨어뿐 아니라 자동 스피치 인식 모듈(206) 및 청각 장면 분석을 돕기 위한 제 3-파티 솔루션들을 포함할 수 있다.
[0061] PCD(100)는, 사람들이 노이지 환경에서 말하는 바를 듣고 이해하도록 적응하도록 구성될 수 있다. 이것을 수행하기 위하여, 사운드 신호는, 자동 음성 인식기(ASR) 모듈(206)에 전달되기 전에 신호 프로세싱 모듈(204a)을 통해 전달될 수 있다. 사운드 신호는 ASR의 성공 레이트를 개선하기 위하여 정적 및 동적 배경 노이즈들, 에코들, 모터들, 및 심지어 다른 사람들과 말하기로부터 스피치를 분리하도록 프로세싱된다.
[0062] 예시적이고 비 제한적인 실시예들에 따라, PCD(100)는 공간 구성에 적어도 4개의 MEMS 마이크로폰들의 어레이를 사용하도록 구성될 수 있다. 게다가, 사운드 도달 시간 기반 알고리즘(본원에서 빔-포밍 알고리즘으로 지칭됨)은 특정 방향으로 사운드를 분리하기 위하여 이용될 수 있다. 모두 6개의 마이크로폰 신호들, 방향 벡터, 및 마이크로폰들의 배치를 사용하여, 빔 형성 알고리즘은 특정 공간 소스로부터 오는 사운드를 분리할 수 있다. 빔 형성 알고리즘은 동시에 다수의 빔들을 허용함으로써 사운드의 다수의 소스들에 관한 정보를 제공할 수 있다. 게다가, 스피치-비 스피치 검출 알고리즘은 스피치 소스를 식별할 수 있고, 스피커의 공간 위치 결정을 제공할 수 있다. 몇몇 실시예들에서, 빔-포밍 정보는 방향뿐 아니라, 회전 및 배향할 모터 능력을 선택하기 위하여 PCD(100)의 시각 및 인식 시스템들과 통합될 수 있다. 예를 들어, 3D 센서는 3D 공간에서 사람의 머리의 로케이션을 검출하기 위하여 사용될 수 있고 따라서, 방향은 감지된 로케이션으로부터 오는 사운드들을 ASR 모듈(206)에 전달하기 전에 상기 사운드들을 분리할 수 있는 빔 형성 알고리즘에 통신될 수 있다.
[0063] 동작 동안, PCD(100)는 노이즈들을 형성 또는 스피킹함으로써 사운드를 생성할 수 있다. 신호 프로세싱 모듈(204a)은 마이크로폰 어레이(202)를 통해 ASR 모듈(206)로 피드백되는 것으로부터 이러한 사운드들을 방지하도록 구성될 수 있다. 스피커 노이즈를 제거하기 위해, 신호 프로세싱 모듈(204a)은 마이크로폰에 의해 수신되고 있는 신호로부터 스피커로 피딩되고 있는 신호를 차감하는 알고리즘들을 이용할 수 있다. 하모닉-풍부 모터 노이즈를 감소시키기 위해, PCD(100)는 신호 프로세싱 기술들 및 기계적 접근법을 구현하도록 구성될 수 있다.
[0064] 일부 실시예들에서, PCD(100)는 모터의 상이한 부분들로부터 생성되는 노이즈를 처리하기 위해 모터의 이러한 포트들을 모니터링할 수 있다. 일예에서, PCD(100)는 휠링(whirring) 사운드의 형태인 아마추어(armature) 베어링에 의해 생성될 수 있는 고주파수들을 흡수할 수도 있는 일래스토머릭(elastomeric) 재료에 모터를 장착하도록 구성될 수 있다. 모터는, 모터가 고속으로 회전할 때에만 분명한 히싱(hissing) 사운드를 생성할 수 있는 브러쉬들을 포함할 수 있다. 따라서, PCD(100)는 히싱 사운드를 방지하기 위해 비교적 저속의 활동(animation) 및 움직임을 보인다. 부가적으로, PCD(100)는 낮은 기어비를 구현하도록 구성될 수 있고, 추가로 히싱 사운드를 방지하기 위해 모터의 속도를 감소시킬 수 있다. 전형적으로, 호비스트 서보들(hobbyist servos)과 같은 저품질의 PWM 드라이브들은 높게 피칭되는 와인(whine)을 생성할 수 있다. PCD(100)는 모터 노이즈의 이러한 부분을 제거하기 위해 우수한 품질의 PWM 드라이브들로 구성될 수 있다. 일반적으로, 모터의 기어들은 낮게 피칭된 그라인딩(grinding) 사운드―이는 모터 노이즈의 대부분을 차지함―를 유발할 수 있다. 최종 기어 드라이브는 구동계(drive-train)에서 가장 많은 토크를 감당할 수 있으며, 결국 대부분 노이즈의 소스이다. PCD(100)는 노이즈의 이러한 소스를 최소화하기 위해 최종 기어 드라이브를 마찰(friction) 드라이브로 대체하도록 구성될 수 있다. 또한, PCD(100)는 모터에 의해 생성된 노이즈를 감소시키기 위해 신호 프로세싱 기술들을 이용하도록 구성될 수 있다. 일 실시예에서, 마이크로폰은, 메인 마이크로폰 어레이(202)에서 신호들로부터 노이즈 신호가 차감될 수 있도록 각 모터 다음에 배치될 수 있다.
[0065] PCD(100)의 오디오 파이프라인의 출력은 클리닝된(cleaned-up) 오디오 소스를 ASR 모듈(206)로 피딩할 수 있고, 이는 예를 들어, ASR의 n개의 최상(n-best) 아웃풋 또는 워드 래티스들(word-lattices)을 사용하여, 스피치를 텍스트로 그리고 가능하게는 의미 있는 신뢰 레벨들로 강화된 대안적인 경쟁 단어 가정들(competing word hypotheses)로 변환시킬 수 있다. 그 다음, 스피치(단어들)의 텍스트 표현은 사용자의 의도 및 사용자가 제공한 정보를 "이해"하기 위해 분석될 수 있고, 결국 기호적인 표현(의미)으로 변환된다. ASR 모듈(206)은 표준 볼륨으로 그리고 전형적인 사람 간 통신 거리에 대응하는 거리에서 사용자들로부터의 스피치를 인식할 수 있다. 일예에서, 거리는 주위의 노이즈 및 스피치 품질을 포함하는 다수의 환경 속성들에 의존하여 거의 5-6 피트 또는 그 이상일 수 있다. 일 예에서, 스피치 인식 범위는 전형적인 12피트 ×15피트 방의 면적을 커버할 것이다. ASR 모듈(206)로 피딩되는 신호는 마이크로폰 어레이 빔 포밍 알고리즘의 결과일 것이고, 스피커 주위의 약 +/- 30도의 음향 각에서 나올 수 있다. 비교적 좁은 음향 각은, 열악한 스피치 인식 정확도의 주요 원인인 배경 주위 노이즈 및 반향의 일부를 적극적으로 감소하게 허용할 수 있다. 예를 들어, 스피커가 마이크로폰들로부터 너무 멀거나, 스피커가 너무 조용히 말하는 것으로 인해, 스피치 신호가 너무 낮은 시나리오에서, PCD(100)는 예방적으로 (예를 들어, 3D 센서에 의해 결정된 바와 같이 스피커의 거리가 유용한 경우)스피커가 더 근접하도록 요청하거나, 더 크게 말하도록 요청하거나 또는 둘 모두를 요청한다. 일부 실시예들에서, PCD(100)는 문법 및 통계적 언어 모델(SLM)들로 많은 어휘 인식을 지원할 수 있는 실시간 임베딩된 ASR 솔루션을 이용하도록 구성될 수 있다. 추가로, 음향 ASR 모델들은 스피치 인식 레이트들을 향상시키기 위해 음향 리그(rig)로부터 데이터를 이용하여 트레이닝/튜닝될 수 있다.
[0066] 예시적인 그리고 비제한적인 실시예들에 따라, PCD(100)는 PCD(100)의 상호작용 시스템과 ASR 모듈(206) 사이에 끼여 있을 수 있는 자연 언어 프로세싱 층을 포함하도록 구성될 수 있다. 자연 언어 프로세싱 층은 ASR에 의해 생성된 텍스트를 취해서 그 텍스트에 의미를 할당할 수 있는 자연 언어 이해(NLU) 모듈을 포함할 수 있다. 일부 실시예들에서, NLU 모듈은 포맷들, 이를테면 전술한 임베딩된 스피치 인식기에 의해 지원될 수 있는 증강된 BNF(backus-naur form) 표시, JSGF(java speech grammar format) 또는 SRGF(speech recognition grammar format)에 적응되도록 구성될 수 있다. 점점 더 많은 사용자 발음(utterances)이 수집됨에 따라, PCD(100)는 전형적인 문법들을, 더 높은 스피치 인식 및 이해 성능을 제공할 수 있는 통계적 문법들로 점진적으로 변환할 수 있고, 자동 데이터-주도(data-driven) 적응을 허용할 수 있다.
[0067] 예시적인 그리고 비제한적인 실시예들에 따라, PCD(100)는, 각 상호작용 태스크에 대한 다양한 대화 시스템 사용자 인터페이스 디자인 원리들을 이용하여 (PCD(100)의 브레인에 대해 적응된 태스크 네트워크 표현에 기초하여) 구조화된 상호작용 흐름을 설계하도록 구성될 수 있다. 상호작용 흐름은 다양한 입력들(예를 들어, 음성 및 터치)을 연속적으로 (예를 들어, 한 번에 하나의 입력) 또는 동시에 (예를 들어, 입력들이 이들이 수신된 순서로 독립적으로 프로세싱될 수 있음) 수신되도록 그리고 다양한 출력들(예를 들어, 음성 프롬프트들, PCD의 움직임들, 디스플레이 아이콘들 및 텍스트)을 생성하도록 구성될 수 있다. 제한이 아닌 예로서, PCD(100)는 예/아니오 질문을 요청할 수 있으며, PCD(100)의 눈은 하나 이상의 터치 센서들에 의해 선택될 수 있는 예/아니오 아이콘들을 가진 물음표 형상으로 변할 수 있다. 일 실시예에서, PCD(100)는 의도(예를 들어, 어이! 사진 찍자!)를 표현하고 있을 수 있는 자연 언어 상호작용들을 프로세싱하도록 적응될 수 있다. 일 실시예에서, 상호작용들이 "직접 대화" 방식으로 후속될 수 있다. 예를 들어, 사진을 찍을 의도가 식별된 이후, PCD(100)는 방금 무엇을 들었는지 또는 추가의 정보를 위해 무엇을 요청하는 지를 확인하기 위해, 지시된(directed) 질문들을 요청할 수 있다(예를 들어, 제가 당신 사진 찍어 드릴까요?).
[0068] 시공간적 인지(Visual-Spatial Perception)
[0069] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 2D 화상, 3D 화상 또는 감지 움직임 또는 컬러를 수신하도록, 하나 이상의 시공간적 인지 센서들, 이를테면, RGB 카메라(212), 깊이 카메라(214) 및 다른 센서들을 이용하도록 구성될 수 있다. PCD(100)는 주위 환경에서 사용자의 감정 인지를 획득하도록 구성될 수 있다. 예를 들어, PCD(100)는 사람 각자의 표현된 감정 상태를 검출할 수 있다. PCD(100)는 사용자들 및 환경의 시시각각의 물리적 상태를 추적하기 위해 시공간적 인지 서브시스템을 포함할 수 있다. 이러한 서브시스템은 LPS(Local Perceptual Space)(208)로 불리는, 동적으로 업데이트된 공유 데이터 구조로서 다른 내부 소프트웨어 모듈에 사용자들의 현재 상태 추정을 제공할 수 있다. LPS는 PCD(100)의 현재 위치 상에 중심을 둔 단일의 3D 좌표 시스템에서 다수의 센서의 입력 스트림들을 결합함으로써 구축될 수 있는 한편, 센서들은 자신의 움직임들을 설명할 수 있는 운동학적 변환들을 이용하여 3D에 등록될 수 있다. 일 실시예에서, LPS(208)는 각각이 세부의 더 높은 레벨들로 프로그레싱하는 다수의 정보 '레벨들'을 유지하도록 설계될 수 있고, 프로세싱 및 키 센서 입력들을 요구할 수 있다. LPS(208) 레벨들은 이하를 포함할 수 있다:
[0070] 사람 검출: 이 레벨은 가까운 인근에 있는 사람들을 검출할 수 있다. 예를 들어, PCD(100)는 센서들을 사용하여 인근의 사람들의 수를 계산할 수 있다. 일 실시예에서, 시스템에서 시각적 움직임 큐가 PCD(100)를 방향 설정하기 위해 이용될 수 있다. 또한, PIR(pyroelectric infra red) 센싱 및 간단한 마이크로폰 출력이, 시스템이 저전력 '슬립' 상태에 있을 수 있지만, 방에 들어오는 누군가에게 여전히 응답할 수 있도록, 마이크로컨트롤러에 대한 웨이크업을 구현하도록 집적될 수 있다. 이는 사람의 존재를 검출하기 위해 시각적 움직임 큐 및 컬러 세그멘테이션 모델들 결합될 수 있다. 검출은 LPS(208)와 통합될 수 있다.
[0071] 사람 추적: PCD(100)는 사람을 3D로 로케이팅하고, 상응하게 시각, 깊이, 움직임, 소리, 컬러, 형상들 및 활성적 움직임과 같이 센서들을 사용하여 사람의 궤적(trajectory)을 결정하도록 구성될 수 있다. 예를 들어, 시각적 움직임 검출 및 3D 개인 검출의 결합은 사용자(특히 이들의 머리/얼굴)를 로케이팅하도록 사용될 수 있다. 또한, LPS(208)는 폐쇄(occlusion) 및 더욱 동시에 사람을 처리하기 위해 시간적 모델들 및 다른 입력들을 포함하도록 적응될 수 있다. 움직임 및 3D 큐들 외에도, 시스템은 배경으로부터 사용자들의 얼굴 및 손을 적응적으로 분리하기 위해 이미지들로부터 컬러 세그멘테이션 모델(Naive Bayes) 온라인을 (움직이는 영역들 및 3D로부터) 학습할 수 있으며, 다수의 입력들의 결과를 LPS(208)의 공간 및 시간적 필터링과 결합하여 시스템에 대한 강고한 사람 위치 검출을 제공할 수 있다.
[0072] 사람 식별: PCD(100)는 시각 센서들, 청각 센서들 또는 사람 ID를 위한 터치 입력들을 이용하여 알려진 그리고 알려지지 않은 사람을 식별할 수 있다. 일 예에서, 하나 이상의 오픈 소스 OpenCV 라이브러리들이 얼굴 식별 모듈에 사용될 수 있다. 추가로, 사람 추적 정보 및 움직임 검출이 결합되어 얼굴 검출을 위해 후보들인 이미지 영역들의 제한된 세트를 식별할 수 있다.
[0073] 포즈/제스쳐 추적: PCD(100)는 시각적 분류(예를 들어, 얼굴, 바디 포즈, 골격(skeleton) 추적 등) 또는 터치 맵핑(touch mapping)을 이용하여 각각의 사람의 포즈 또는 자세(posture)를 식별할 수 있다. 일 실시예에서, 3D 데이터 세트들을 이용하여, 이러한 피쳐(feature)를 PCD(100)의 센서 양식들(modalities)과 결합시킬(incorporate) 수 있다. 일 예에서, 오픈 소스 제스쳐 인식 툴키트(open source gesture recognition toolkit)가, 시각적 및 3D 시각적 피쳐 추적에 기초하여 커스텀(custom) 제스쳐 인식을 가속화하기 위해 채택될 수 있다.
[0074] 관심 집중: PCD(100)는 집중 영역(focus area)을 결정하도록 구성될 수 있으며, 그에 따라, PCD(100)는 결정된 집중 영역을 지시하거나(pointing) 볼 수 있다. 관심 집중을 위해, 다양한 센서들이 위치들/방향들의 세트들에 결합될 수 있다. 예를 들어, 사람의 추정된 위치는 LPS(208)에 관심 집중 위치들의 세트를 생성할 수 있다. 이들은, 주어진 위치에 대한 관심 추진의 칸피던스(confidence of the attention drive)와 함께, 사람의 추정들을 위한 최대 가능성 위치들일 수 있다. 집중 포인트들 및 방향들의 세트는 칸피던스에 의해 레이팅되고(rated), 다른 모듈들에 의해 사용하기 위한 LPS(208) 데이터의 전체적인 서머리가 생성된다. PCD(100)는 이러한 집중 포인트들 및 방향들을 이용하여 응시 타겟들(gaze targets)을 선택하여, 사용자들을 직접적으로 어드레싱하고 그리고 다수의 사용자들 사이에서 끊김이 없이(seamlessly) "자신의 응시를 플립핑(flip its gaze)"할 수 있다. 부가적으로, 이는 PCD(100) 로봇으로 하여금 근처의 사용자들의 존재를 확인하도록 더 낮은-칸피던스 위치들을 볼 수 있게 허용한다.
[0075] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 시스템에 활성 추정을 포함하도록 구성될 수 있거나, 또는 음성 프로소디(voice prosody)로부터의 감정 상태의 추정뿐만 아니라 음성 입력에 의한 추적 및 식별을 위한 더 많은 센서 양식들을 포함할 수 있다. LPS(208)는, 프로세싱되는 입력 피쳐들에 대해 그리드-기반 입자 필터 모델들을 이용하여 다수의 입력들로부터의 데이터를 결합할 수 있다. 입자 필터들은, PCD의 파트 상에서의 추가의 센싱 및 액션들에 의해 해결되어야 하는 상당한 불확실성이 있을 때 다수의 가설 케이스들에 대한 표현 뿐만 아니라, 사용자들의 물리적인 상태의 강력한 온-라인 추정에 대한 지원(support)을 제공할 수 있다. 또한, 입자 필터링 기법들은, 당연히, 결합 분포(joint distribution)의 명시적인 폐쇄 형태 모델(closed form model)을 필요로 하지 않으면서, 감각 입력들과 관련 속성들의 혼합이, 물리적으로 측정가능한 사용자 상태의 단일의 확률론적 모델(probabilistic model) 내로 결합될 수 있도록 허용한다. 또한, 그리드 기반 입자 필터들은, 단일 좌표(coordinate) 시스템에서 3D (스테레오) 및 2D(영상(vision)) 감지의 입력들을 융합시키고(fuse), 그리고 임의의 주어진 시간에 단지 하나의 오브젝트에 의해서만 공간이 점유될 수 있다는 제약을 실시하는 것을 도울 수 있다.
[0076] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 체험적 제안 분포들 및 체험적 천이(transition) 모델들을 포함하도록 구성될 수 있으며, 이들은, PCD(100)가 이들을 직접적으로 보고있지 않을 때에도 시간에 걸쳐서 모델 사용자 상태를 캡쳐하는 것을 도울 수 있다. 이는, PCD(100)에 의한 언어 및 비-언어 큐들(cues)을 이용하는 멀티-파티 대화들을 취하는 내츄럴 턴(natural turn)을 가능하게 하며, 입자 필터링 프레임워크 내에서 용이하게 맞춰질(fit) 수 있다. 결과적으로, 이는 원칙에 입각한(principled) 방식으로, 강건한 통계적 추정과 인간-중심 발견법(heuristics)을 결합하는 것을 허용할 수 있다. 또한, LPS(208)는 반복된 상호작용으로부터 사전 확률 분포들(prior probability distributions)을 학습(learn)할 수 있고, 복도들, 문(door)들 및 카운터들 주위로부터 사람이 나올 수 있는, 공간에서의 '핫 스폿들'에 대해 적응시킬 것이며, 사용자들에 대한 가장 적절한 위치들을 자동적으로 타켓팅(target)하기 위해 이러한 공간적 정보를 이용할 수 있다. 저-레벨 이미지 및 신호 프로세싱 코드는 주문제작될(customized) 수 있으며, 퀄리티 오픈 소스 툴들, 이를 테면 OpenCV, IVT(integrating vision toolkit), 일반적 수치 프로세싱(general numerical processing)을 위한 아이겐(Eigen) 및 프로세서-특정의 최적화 라이브러리들에 기초할 수 있다.
[0077] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 비디오 스트림으로부터, 이를 테면, 기쁨, 화남, 경멸, 혐오, 공포, 슬픔, 혼란, 좌절 및 놀람과 같은 다양한 레벨들의 감정들을 인식하도록 구성될 수 있다. 일 실시예에서, PCD(100)는 머리 위치(head position), 성별, 나이, 및 어떤 사람(someone)이 안경을 쓰고 있는지의 여부, 얼굴의 털을 가지고 있는 지의 여부 등을 결정하도록 구성될 수 있다.
[0078] 예시적이고 비제한적인 실시예들에 따르면, 오디오 입력 시스템은 사용자에 집중된다. 몇몇 실시예들에서, PCD(100)는, 예를 들어, 관심 방향들의 추정되는 3D 포커스(focus), 운동학(kinematics), 및 로봇 이동에 따라 오디오 빔-포밍 기능(audio beam-forming function)의 방향을 실시간으로 업데이트하도록 구성될 수 있다. 이는 PCD(100)로 하여금, 적절하고 액티브한 오디오 입력이 존재하는 경우 특정의 '섹터들'을 선택적으로 청취할 수 있게 할 수 있다. 이는, 풀(full) 3D 사람 감지 및 관심 집중과의 통합을 통해 ASR 및 NLU 기능들의 신뢰도를 증가시킬 수 있다.
[0079] 공간적 확률 학습
[0080] 예시적이고 비제한적인 실시예들에 따르면, 공간적 확률 학습 기법들은, 사용자들이 자신의 존재를 엔터링할(enter) 때 PCD(100)가 보다 매끄럽게 인게이징(engage)하는 것을 돕는 데에 이용될 수 있다. 시간이 지남에 따라, PCD(100)는 도착의 시퀀스들 및 사용자들의 공동 존재를 기억하고, 주어진 룸(room)에 대해 이러한 통계들을 누적할 수 있다. 이는, 룸 엔트리(room entry) 상의 사용자들에 대한 인게이지먼트 룰들을 예측할 수 있는 능력을 PCD(100)에게 제공할 수 있으며, 그에 의해, PCD(100)로 하여금, 주어진 시간 기간 동안 섹터를 터닝(turn)하고, 심지어 룸 점유자들(occupants)을 추측할 수 있게 할 수 있다. 예를 들어, 이러한 피쳐는, 룸에 들어오는 어떤 사람을 PCD(100)가 완전히 식별하기 전에, "이봐, 너 빌리니?"와 같은 상호작용들을 지원하도록 제한된 예측들을 사용할 수 있는 능력을 PCD(100)에게 제공할 수 있다. PCD(100)는 가장 가능성있는 공간적 방향으로 터닝하여(turning), 결과적으로, 동시에 그날 그 시간에 어떤 사람을 보게 된다.
[0081] 심리사회적 상호작용
[0082] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 완전히 자율적이고 인위적인 캐릭터일 수 있다. PCD(100)는 감정들을 가질 수 있고, (사용자 입력에 기초하여) 그 자신의 목표들을 선택할 수 있고, 사용자들을 행복하고 건강하게 유지하기 위해 그러한 목표들을 달성하도록 폐쇄 루프 실시간 제어 시스템을 실행시킬 수 있다. 심리사회적 상호작용 모듈(PSIM)은, 센서들의 출력들을 프로세싱할 수 있으며 그리고 출력들 및 표현들에 대한 액션들을 선택할 수 있는, 폐쇄 루프 이산 시간 제어 시스템의 최상위 계층(top layer)이다. 다양한 지원 프로세스들이 CPU 상에서 동시에 진행될 수 있고, 감각 입력들이 결정-수행 모듈(decision-making module)에 비동기식으로 전달될 수 있다. "틱(tick)"은 결정 사이클이며, 이러한 결정 사이클에서는, 누적된 센서 정보, 현재의 단기간(short-term) 메모리/지식 및 PCD(100)의 작업-구동된 의도적 상태(task-driven, intentional state)가 결합되어, 새로운 액션들 및 표현들을 선택할 수 있다.
[0083] 도 3a는 예시적이고 비제한적인 실시예들에 따른 PSIM(300)의 아키텍쳐를 도시한다. PSIM(300)의 코어는, 다른 엘리먼트들의 동작을 조정하는(orchestrating) 실행부(302)이다. 실행부(302)는 PCD(100)의 브레인의 주기적인 업데이트를 담당한다. PSIM(300)의 각각의 "틱"은, 다음의 방식으로 심리사회적 표현 모듈에 새로운 커맨드들을 발행하는(issuing) 것을 지향하는(move toward) 프로세싱 단계들의 세트를 포함할 수 있다.
[0084] 내부 업데이트:
a. 감정 업데이트
b. 목표 선택.
[0085] 입력 처리:
a. 심리사회적 인지(304)로부터의 비동기적인 입력들은 샘플링되고, 결정 모듈의 블랙 보드(306) 내로 업데이트된다.
b. 입력은, 개인 위치들, 얼굴 ID 샘플들과 같은 정보를 포함할 수 있고, 분석된(parsed) NLU 발언들은 다양한 사용자들을 형성한다.
c. 블랙 보드(306)로서 업데이트될 필요가 있는 새로운 정보만이 캐시처럼 작동할 수 있다.
d. 또한, 현재의 작업들과 관련된 정보가 캡쳐될 필요가 있다.
[0086] 질의 처리:
a. 임의의 지식 질의 동작들로부터의 결과들은 심리사회적 지식 베이스(308)로부터 백그라운드(306) 내로 샘플링된다.
b. 이는 현재의 결정들에서 이용하기 위한 질의 동작들의 연기된(deferred) 프로세싱의 결과들을 수집할 수 있다.
[0087] 작업 네트워크(310): 씽크/업데이트(Think/Update)
a. 실행부(302)는 작업 네트워크(310)의 "씽크" 동작을 실행할 수 있으며, 임의의 필요한 액션들 및 결정들이 각 레벨에서 행해진다. 작업 네트워크(310) 내의 액티브 노드들의 세트가 이러한 프로세스 동안 업데이트될 수 있다.
b. 작업 네트워크(310)는, 로봇들 상호작용을 위한 계층 제어기(hierarchical controller)로서의 역할을 하는 상태 머신 기반 로직(state machine based logic)의 플렉서블 형태(flexible form)이다.
[0088] 출력 처리:
a. 특정 블랙보드(306) 프레임들 내로 로딩된 출력들은 심리사회적 표현 모듈(312)로 전달된다.
[0089] 예시적이고 비제한적인 실시예들에 따르면, 실행부(302)는 또한 태스크 네트워크(310)에서 태스크들의 비동기적인 디스패치의 중요한 서비스를 제공할 수도 있다. 네트워크(310)에서의 임의의 태스크는 임의의 계산 집약적인 작업을 수행하도록 비동기적인 디스패치에 요청함으로써 동시 백그라운드 스레드들에 대한 계산을 미루는 것이 가능할 수도 있다. 이 특징은 태스크 네트워크(310)가 헤비급 계산 그리고 느리거나 심지어 네트워크 I/O를 차단하는 것과 같은 것들을, 결정 사이클을 "차단"하거나 PCD(100)의 결정 프로세스의 반응성을 변경하지 않고 동작들로서 조직화하게 할 수 있다. 일부 실시예들에서, 실행부(302)는 태스크 네트워크(310)의 새로운 섹션들을 생성하는 계획 동작들을 디스패치할 수 있고, 이들은 계획 능력들을 통해 동작을 제품 지능 성장으로서 확장하도록 실행 트리에 동적으로 부착될 것이다. 태스크 네트워크(310)는 병행 계층적 유한 상태 머신(CHFSM)의 형태로 구상될 수 있다. 그러나 행동 트리 설계들에 의해 사용되는 접근 방식은 인간 설계자들 및 소프트웨어 엔지니어들이 함께 작업하여 컨텐츠 파이프라인 내에서 상호적인 경험들을 생성하는 데 있어 엄청난 성공을 했다. 태스크 네트워크 설계는 종래의 프로그래밍 언어에서 태스크들의 깨끗하고 효과적인 구현 및 구성을 가능하게 할 수 있다.
[0090] 도 4는 PCD(100)에 의한 그리팅 상호작용의 단순화된 버전을 보여주는 태스크 네트워크를 나타낸다. 태스크 네트워크(310)의 아키텍처는 다양한 표현들, 이동들, 감지 동작들 및 스피치가 엔진 내에서 통합될 수 있게 하며, 그로써 설계자들에게 PCD(100)의 상호작용 역학 관계에 대한 완벽한 제어를 제공한다. 예시된 바와 같이, 네트워크의 아주 적은 부분은 동작 도중 언제라도 액티브하다. 컨텐츠 생성의 일부로서 기술적 그리고 설계 청중 모두에서 통신하기 위해 시각적 태스크 네트워크 표현이 사용될 수 있다. 이 예에서, PCD(100)의 PIR 센서는 영역에 입장하는 사람을 탐지했다. PCD(100)는 PCD(100)가 누군가를 그리팅할 필요가 있을 수도 있다는 사실을 인지하고 "사용자 그리트" 시퀀스를 시작한다. 이 "사용자 그리트" 시퀀스는 모션 큐들에 대한 추적을 초기화한 다음, "Hello"라고 말할 수 있는데, 이와 동시에 사용자들이 접근함에 따라 사용자에 대한 추적을 업데이트한다. PCD(100)는 시각 입력의 업데이트를 계속하여 사용자의 얼굴 ID를 캡쳐할 수 있다. 이 시나리오에서, ID는 이것이 Jane이라고 말하여 PCD(100)가 시퀀스의 다음 파트로 넘어가는데, 여기서 PCD(100)는 Jane이 어떻게 하고 있는지에 관해 체크인할 발언을 형성할 수 있으며, 자신의 ASR/NLU 프로세싱 윈도우를 열어 응답들을 할 준비가 된다. Jane이 무언가를 말한다면, 지식 질의가 사용되어 발언을 "양호" 또는 "불량"으로 분류할 수 있고, PCD(100)는 Jane에 대한 적절한 물리적 그리고 스피치 반응을 형성하여 자신의 그리팅을 완료할 수 있다. 네트워크는 지능이 어떻게 작동하는지의 개념을 전달할 수 있다.
[0091] 심리사회적 표현
[0092] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 PCD(100)의 사교적인 성질을 보완할 수 있는 엔진을 포함하도록 구성될 수 있다. 예를 들어, 엔진은 스피치 출력을 수정하기 위한 태깅 시스템을 포함할 수도 있다. 엔진은 PCD(100)의 음성 품질 제어를 가능하게 할 수 있다. 일례로, PCD(100)의 음성을 제어하도록 음성 아티스트에 의해 기록들이 이루어질 수도 있다. 엔진은 간단한 가격결정 모델 및 임베디드 디바이스들에 대한 고품질 압축 오디오 파일들과 같은 특징들을 포함할 수도 있다. 또한, PCD(100)는 물리적 합동 회전들; 그래픽들, 형상, 텍스처 및 컬러; LED 조명 또는 무드 컬러링; 타이밍; 그리고 PCD(100)의 임의의 다른 표현 양상에 애니메이션들을 제공하기 위한 애니메이션 엔진을 포함할 수도 있다. 이러한 애니메이션들은 오디오 큐들, 스피치, seent 등과 같은 다른 표현 출력들을 동반할 수 있다. 애니메이션 엔진은 다음에, 절차적 애니메이션들에 실시간으로 블렌딩하면서, 그 애니메이션의 전부 또는 부분들을 서로 다른 속도들로, 전환들로 그리고 곡선들 사이에서 플레이할 수 있다. 이 엔진은 서로 다른 PCD 모델들, 기하학적 구조 및 자유도들을 탄력적으로 수용할 수 있다.
[0093] 동적 목표 설정
[0094] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 PCD(100)를 3D 공간 내의 포인트들로 절차적으로 지향하게 할 수 있는 알고리즘을 이용하도록 구성될 수 있다. PCD(100)의 바디가 개별 애니메이션을 플레이하고 있을 수도 있는 동안 PCD(100)의 안구들은 단일 포인트 상에 고정된 것으로 나타날 수도 있고, 또는 바디가 특정 방향으로 포인트를 따라갈 수 있는 동안 안구가 리드할 수도 있다. 한 실시예에서는, PCD의 응시 목표를 계산하기 위한 폐쇄형 기하학적 해결사가 사용될 수 있다. 다음에, 가속 제약들, 부가적 블렌딩/레이어링, 및 시뮬레이팅되는 VOR(vestibule-ocular reflex)에 대한 지원을 포함할 수 있는 다중-목표 블렌드 시스템으로 이러한 목표 포즈가 제공된다.
[0095] 시뮬레이션
[0096] 예시적이고 비제한적인 실시예들에 따르면, 애니메이션 엔진은 애니메이션들과 절차적 애니메이션들을 가상으로 플레이하고 블렌딩할 수 있는 시뮬레이터를 포함할 수 있다. 시뮬레이터는 얼굴 탐지와 같은 감각 입력을 시뮬레이팅할 수 있다. 일부 실시예들에서, 로봇의 질량, 모터들의 전력, 및 로봇의 전류 인출 한계들을 고려하여 애니메이션들을 인증하고 테스트하도록, 가상 모델로의 물리적 시뮬레이션이 확립될 수 있다.
[0097] 안구
[0098] 예시적이고 비제한적인 실시예들에 따르면, 개인들의 그래픽 표현, 예를 들어 PCD(100)의 안구는 조인트들을 사용하여 이것이 그 자체를 다른 대상들로 모핑 및 형상화하게 하도록 구성될 수 있다. 안구 그래픽 엔진은 맞춤 애니메이션 파일들을 사용하여 홍채를 다른 형상들로 모핑하고, 블링크하고, 그 컬러를 변경하고, 텍스처를 변경하여 전체 범위의 표현을 가능하게 할 수도 있다.
[0099] 그래픽들
[00100] PCD API는 2D 장면 그래프 스타일 인터페이스에서의 그래픽들, 포토들, 애니메이션들, 비디오들 및 텍스트의 디스플레이를 지원할 수 있다.
[00101] 플랫폼 및 에코시스템
[00102] PCD(100)는 고도로 집적된 고성능 임베디드 리눅스 시스템을 기반으로 하며, 모바일 디바이스 "동반" 앱들의 에코시스템, 클라우드-기반 백-엔드, 및 구입 가능한 컨텐츠 및 기능을 가진 온라인 상점과 연결된 플랫폼이다.
[00103] PCD SDK
[00104] PCD SDK는 제 3자 개발자들이 낮은 학습 곡선으로 성능들을 추가할 수 있는 개방적이고 탄력적인 플랫폼을 제공하도록 최신 웹 개발 커뮤니티의 오픈 언어 및 Javascript를 이용할 수 있다. PCD SDK에 의해 생성된 모든 PCD 앱들, 컨텐츠 및 서비스들은 PCD 앱 스토어로부터의 다운로드에 이용 가능하다. TTS, 감각 인지, NLU, 애니메이션들 등을 포함하는 PCD의 기능들 전부가 PCD API를 통해 이용 가능할 것이다. 이 API는 NodeJS, V8의 최상위에 구성된 JavaScript 플랫폼, Chrome의 오픈 소스 JavaScript 엔진을 사용한다. NodeJS는 빠르고 효율적이며 로봇 프로그래밍으로 잘 옮겨지는 이벤트 구동 모델을 사용한다. NodeJS는 발군의 기능 과잉이 따르며 애드-온들로서 쉽게 확장 가능하다. PCD의 API는 NodeJS 애드-온일 것이다. 애드-온들은 또한 쉽게 삭제 또는 수정되기 때문에, 개발자들이 PCD와 상호작용할 수 있는 방법들이 제어될 수 있다. 예를 들어, 개발자들은 아웃바운드 소켓을 생성할 수 있지만, 또한 아웃바운드 접속들의 수를 제한할 수도 있다.
[00105] 클라우드 아키텍처
[00106] 예시적이고 비제한적인 실시예들에 따르면, PCD의 지능을 지원하고, 프레시 컨텐츠를 리트리브하고, 사람들이 그들의 가족과 계속 연결될 수 있게 하기 위해 정교한 클라우드-기반 백 엔드 플랫폼이 사용될 수 있다. 가정 내 PCD 디바이스는 Wi-Fi를 통해 클라우드 내의 PCD 서버들에 접속할 수 있다. PCD 클라우드 서버들에 대한 액세스는 상당히 안전하고 암호화된 웹 통신 프로토콜들에 의존한다. PCD 사용자들, 부양자들 및 가족 구성원들을 계속해서 지원할 수 있는 다양한 애플리케이션들이 iOS, Android 및 HTML5를 위해 개발될 수 있다. 이러한 모바일 및 웹 앱들로, PCD(100)는 다수의 디바이스들 상에서 항상 당신과 함께 있을 수 있어, 도움을 제공하고 당신의 선호들, 요구들 및 관심들을 어떻게 더 잘 지원할지를 내내 학습할 수 있다. 도 2를 참조하면, PCD(100)는 PCD(100)를 그 가족에게 고유하게 만들 수 있는 데이터 전부를 클라우드에 미러링하도록 구성될 수 있어, 사용자들이 미래의 PCD 로봇 릴리스들로 쉽게 업그레이드하고 이들이 설정한 페르소나 및 관계들을 확보할 수 있다. 예를 들어, PCD의 서버들은 클라우드 저장소(214)에 데이터를 수집하고 PCD 로봇 및 다른 접속된 디바이스들로부터의 메트릭들을 계산하여 머신 학습 알고리즘들이 사용자 모델들(216)을 개선하고 PCD 페르소나 모델(218)을 적응시킬 수 있게 하도록 구성될 수 있다. 또한, 클라우드 저장소(214)에 수집된 데이터는 제품 공급을 계속해서 개선하기 위해, 어떤 PCD 특징들이 사용자들에게 가장 잘 반향을 불러일으키고 있는지를 분석하고, PCD 에코시스템에 걸친 사용 패턴을 이해하는데 사용될 수 있다.
[00107] 예시적이고 비제한적인 실시예들에 따르면, 클라우드-기반 백 엔드 플랫폼은 다수의 PCS들 사이에 공유되도록 의도된 데이터의 저장 및 배포를 위해 사용될 데이터베이스 시스템을 포함할 수도 있다. 클라우드-기반 백 엔드 플랫폼은 또한 사람들의 식별(예를 들어, 음성 ID 애플리케이션) 및 소셜 네트워크들과의 상호 연동을 통한 개인 다중-모달 데이터의 수집에서 PCD들을 지원하도록 서비스 애플리케이션들을 호스팅할 수도 있다.
[00108] 클라우드-기반 서버
[00109] 예시적이며 비제한적인 실시예들에 따르면, 하나 이상의 PCD(100)는 압축된 JSON을 사용하는 RESTful-기반 웹 서비스들을 사용하여, 클라우드-기반 서버 백-엔드(cloud-based server back-end)와 통신하도록 구성될 수 있다.
[00110] 보안
[00111] 예시적이며 비제한적인 실시예들에 따르면, 동일성(identity)을 확인하기(validate) 위해, OAUTH 인증 모델과 함께 제로-구성 네트워크 프로토콜이 사용될 수 있다. 또한, 아파치 시로(apache shiro)가 역할들 및 허가들(roles and permisisons)에(around) 부가적인 보안 프로토콜들을 제공할 수 있다. 모든 민감한 데이터는 SSL을 통하여 전송될 것이다. 서버 측 상에서, 컨텐츠 토큰(content token)을 획득하기 위해 OAUTH를 이용하는 엄격한 방화벽 구성을 이용하여 데이터가 보안될 수 있다. 또한, 클라우드-기반 서버들에 대한 모든 호출들(calls)은 유효한 컨텐츠 토큰을 갖도록 요구될 수 있다.
[00112] 컨텐츠 전달
[00113] 예시적이며 비제한적인 실시예들에 따르면, 주어진 PCD 디바이스에 대한 최신의 컨텐츠를 얻기 위해, 웹 서비스 호출을 포함하도록 서버 API가 사용된다. 이러한 웹 서비스는, 모든 펜딩 메시지들(pending messages)의 리스트, 경보들, 업데이트된 리스트들(예를 들면, 쇼핑, 리마인더들, 체크인들 등) 및 간결하고 컴팩트한 작업 매니페스트(job manifest)를 응답하는(return) 하이 레벨 호출을 제공할 수 있다. PCD 로봇은 그 후, 그러한 매니페스트에 표시된 펜딩 데이터를 그 현재의 안건(current agenda)에 기초하여 편의적으로(opportunistically) 검색할 수 있다. 일부 실시예들에서, PCD의 실체(truth)는 클라우드 내에 있으며, 이는 리스트들, 리마인더들, 체크인들, 및 다른 애플리케이션 상태의 마스터 레코드(master record)가 PCD 서버들 상에 저장되는 것을 의미한다. 로봇이 가장 최근의 컨텐츠에 접근할 수 있는 것을 보장하기 위해, API는 종종 그리고 수집된 컨텐츠 편의적으로(그러나 시기적절한 방식으로) 호출될 수 있다.
[00114] 워크플로우 관리
[00115] 예시적이며 비제한적인 실시예들에 따르면, 클라우드에 오프로딩되고(offloaded) 실시간으로 결과들을 응답하지 않을 기능성(functionality)이 사용될 수 있다. 이는 전술된 안건-기반 메시지 큐잉(agenda-based message queuing)의 개념과 밀접하게 결부될(tie) 수 있다. 또한, 이는 서버 아키텍쳐(server architecture)를 수반할(involve) 수 있는데, 서버 아키텍쳐는 RESTful 웹 서비스 API에 대해 이루어질 서비스들에 대한 요구들 및 애플리케이션 서버들에 대한 디스패치 작업들(dispatch jobs을 허용할 수 있다. SWF(Amazon Simple Workflow) 또는 유사한 워크플로우가 사용되어, 그러한 시스템을 전통적인 메시지 큐잉 시스템들과 함께 실행시킬 수 있다.
[00116] 업데이트들
[00117] 예시적이며 비제한적인 실시예들에 따르면, 업데이팅을 필요로 할 수 있는 컨텐츠는, 운영 시스템 커널, 펌웨어, 하드웨어 드라이버들, V8 엔진 또는 PCD(100)의 동반 앱들(companion apps)을 포함할 수 있다. 이러한 컨텐츠에 대한 업데이트들은, 이용가능한 업데이트들의 유형들에 대한 정보를 응답하고 특정 아이템들의 요구를 허용하는 웹 서비스를 통하여 이용가능할 수 있다. 사용자 활동을 중단시키는 것을 회피하기 위해, PCD가 종종 편의적일 필요가 있을 것이기 때문에, 로봇은, 업데이트들을 적용할 수 있을 때, 업데이트들을 요구할 수 있다. 업데이트들에 대해 정기적으로 폴링하기(poll) 위해 PCD 로봇에 의존하기보다, 특정 유형들의 업데이트들의 이용가능성이 로봇에 푸시될(pushed) 수 있다.
[00118] 로깅/메트릭스
[00119] 예시적이며 비제한적인 실시예들에 따르면, PCD(100)는 서버들에 로그 정보를 전송할 수 있다. 서버들은 이러한 데이터를 적절한 컨테이너(SQL 또는 NoSQL)에 저장할 수 있다. Hadoop(Amazon MapReduce) 및 Splunk와 같은 툴들이 데이터를 분석하기 위해 사용될 수 있다. 메트릭스는 또한, 질의가능할(queryable) 수 있어서, 사람이 PCD(100)와 상호작용하고 PCD(100)를 사용하는 방법에 대한 보고서(report)가 실행될(run on) 수 있다. 이러한 분석들의 결과들은, PCD가 학습하고, 상호작용하고, 행동하는 방법, 및 또한 어떤 특징들이 미래 업데이트들에서 요구될 수 있을 지에 대한 파라미터들을 조정하기 위해 사용될 수 있다.
[00120] 기계 학습
[00121] 예시적이며 비제한적인 실시예들에 따르면, PCD 로봇 및 클라우드-기반 시스템들이 계속적으로 개선될 수 있게 하기 위해, 다양한 트레이닝 시스템들 및 피드백 루프가 개발될 수 있다. PCD 로봇들은, 기계 학습 알고리즘들을 트레이닝하기 위해 사용될 수 있는 정보를 수집할 수 있다. 약간의 기계 학습량은 로봇 자체에서 일어날 수 있지만, 클라우드에서는 분류기들(classifiers)을 트레이닝하기 위해 많은 소스들로부터 데이터가 수집될(aggregated) 수 있다. 클라우드-기반 서버들은 지상 검증 자료(ground truth)가 결정될 수 있게 할 수 있는데, 이는 듣거나, 보거나, 정확히 이해할 가능성이 매우 낮은 컨텐츠를 명확히 하기 위해, 인간 코더들(human coders)에게 약간의 양의 데이터를 전송함으로써 이루어진다. 새로운 분류기들이 생성된다면, 이들은 전술된 업데이트 시스템을 통하여 전송될(send out) 수 있다. 분류기들/예보기들(predictors)의 기계 학습 및 트레이닝은, 감독된, 자율의(unsupervised), 또는 강화-학습 방법들 및 지상 검증 자료의 보다 복잡한 인간 코딩(human coding) 둘 모두에 확대될(span) 수 있다. 트레이닝 신호들은, PCD 로봇이 음성, 터치 프롬프트(touch prompt), 미소 띤 얼굴, 제스처, 등과 같이, 사용자에 의해 발생된 분명한 피드백 또는 과제를 달성했다는 인식(knowledge)을 포함할 수 있다. 얼굴 및 오디오 데이터를 포함할 수 있는, 카메라들로부터의 이미지들을 축적하는 것(accumulating)은, 클라우드에서 그러한 각각의 시스템들의 품질을 개선하는데 사용될 수 있다.
[00122] 텔레프레전스 지원(Telepresence Support)
[00123] 예시적이며 비제한적인 실시예들에 따르면, 비디오 챗 옵션(video chat option)을 포함하는 텔레프레전스 특징이 사용될 수 있다. 또한, 사용자들의 안전을 보장하기 위해 비디오 챗에 보안 모델이 가능해진다(enabled). 또한, 비디오 챗 성능들의 비인가 사용으로부터 최종 사용자들을 보호하기 위한 역할들, 허가들 및 보안 기반구조(security infrastructure)를 활용하는, 웹 앱(web app) 및 또한 모바일 디바이스 앱들이 사용될 수 있다.
[00124] 소프트웨어 기반구조
[00125] PCD의 소프트웨어 시스템의 하이 레벨 성능들은, 우리의 하이 레벨 소프트웨어 시스템들에 청결하고 강력하며 신뢰적인 개발 환경을 제공하는, 키 라이브러리들, 보드 지원, 드라이버들 및 다른 종속물들에 대해 맞춤되는 강력하고 유능한 임베디드 리눅스 플랫폼(Embedded Linux platform)을 기반으로 하고 있다(built on). 최고-레벨 기능성 모듈들은 우리의 임베디드 리눅스 시스템의 프로세스들로서 실현된다. PCD의 모듈 기반구조는 특히, 언어 라이브러리들(language libraries)에 기초하는 C++ 및 C의 힘든 작업들을 컴퓨터를 사용하여(computationally) 지원하면서, 자바스크립트의 컨텐츠, 상호작용들 및 반응(behavior)의 유연성 있는 스크립팅(scripting)을 지원하는 것을 목표로 한다. 이는, C++ 모듈들 및 라이브러리들로서 패키징된, 지원 및 키 확장들을 갖는 성공적인 Node.js 플랫폼 및 V8 자바스크립트 엔진을 기반으로 한다.
[00126] 하드웨어 시스템 아키텍쳐
[00127] 도 5a는, 감각 기관(sensory), 모터, 연결성(connectivity), 전력 및 PCD(100)의 하나 이상의 성능들의 계산 필요성들(computational needs)을 지원하도록 엔지니어링될 수 있는 PCD(100)의 하드웨어 아키텍쳐를 도시한다. 일부 실시예들에서, PCD(100)의 하나 이상의 하드웨어 엘리먼트들은, 고급 태블릿들 및 다른 모바일 디바이스들에서 사용될 수 있는 코어 하드웨어의 적응들 및 특수화들이다. 그러나, 형상, 모션 및 센서들의 물리적 실현 및 배열은 PCD(100)에 대해 고유하다. PCD(100)의 전체 물리적 구조는 또한, 본원에서 3-링 제타 타입(Zetatype)으로 지칭될 수 있다. PCD(100)의 그러한 타입의 물리적 구조는 PCD(100)에 청결하고, 제어가능하며 매력적인 작용선(line of action)을 제공할 수 있다. 실시예에서, 이러한 구조는 어텐션(attention) 및 감정을 전달하기 위해 캐릭터 애니메이터들(character animators)에 의해 사용될 수 있는 원리들로부터 획득될(derived) 수 있다. PCD(100)의 물리적 구조는, 3개의 링 볼륨들, 모션의 범위들 및 필요한 센서 배치에 기초하여, 기계적이며 전기적인 아키텍쳐의 경계들을 정의할 수 있다.
[00128] 예시적이며 비제한적인 실시예들에 따르면, PCD(100)는, 이동을 위한 3-축들, 하나 이상의 스테레오 비전 카메라(504), 마이크로폰 어레이(506), 터치 감지 성능부들(508) 및 LCD 디스플레이와 같은 디스플레이(510)를 포함하도록 구성될 수 있다. 이동을 위한 3개의 축들은, 자연스러운 방식으로 사용자들을 수행하고(attend) 센서들을 지향시킬 수 있는 능력 및 감정적인 표현을 지원할 수 있다. 스테레오 비전 카메라(504)는, 비디오 입력, 카메라 스냅들(camera snap), 등을 제공하기 위해, 사용자들의 추적 및 3D 로케이션을 지원하도록 구성될 수 있다. 마이크로폰 어레이(506)는 ASR 성능을 최대화하기 위해 빔-포밍 오디오 입력을 지원할 수 있다. 터치 감지 성능부들(508)은, 대안적인 상호작용이 PCD(100)를 친구와 같이, 또는 사용자 인터페이스의 형태로서 만들 수 있게 할 수 있다. LCD 디스플레이(510)는 감정적 표현뿐 아니라 동적인 정보 디스플레이를 지원할 수 있다. 주위 LED 조명이 또한 포함될 수 있다.
[00129] 예시적이며 비제한적인 실시예들에 따르면, 하드웨어 아키텍쳐(500)는, 임베디드 제어 및 로보틱스 공간(rototics space)으로부터의 COTS 프로세서에 기초하며 모바일 디바이스들 및 태블릿 공간으로부터의 고급 애플리케이션 프로세서와 결합될 수 있는 전기적 아키텍쳐를 포함하도록 구성될 수 있다. 임베디드 제어기는 모션 제어 및 저-레벨 센서 집합에 책임이 있지만, 소프트웨어 스택의 대부분(majority)은 애플리케이션 프로세서에서 실행된다(run on). 물건(product) 내의 전기 기판들(electrical boards)은 V1 디자인에 대한 기능에 의해 분리되며, 이는 로봇의 물리적 구조와 매칭하도록 모듈방식(modularity)을 제공하면서, 하나의 보드 상의 디자인 변화들에 대한 필요성을 보다 큰 디자인 업데이트들로의 전파로부터 경감시킬(mitigating) 수 있다. 일부 실시예들에서, 전기적 아키텍쳐는 카메라 인터페이스 보드를 포함할 수 있고, 카메라 인터페이스 보드는 2개의 모바일-산업 기반 저-해상도 MIPI 카메라 모듈들을 통합시킬 수 있으며, 저-해상도 MIPI 카메라 모듈들은, 스테레오 시스템을 위해 캡쳐 이미지들이 시간에 맞춰 등록될 수 있도록, 하드웨어 동기화를 지원할 수 있다. 스테레오 카메라들은 연속적인 모드로 비디오를 스트리밍하도록 디자인된다. 또한, 카메라 인터페이스 보드는, 고 해상도 포토들을 촬영하기 위한 단일 RGB 애플리케이션 카메라 및 화상 회의 비디오 품질을 지원할 수 있다. RGB 애플리케이션 카메라는, 특정 포토 촬영, 이미지 스냅들 및 비디오 애플리케이션들을 위해 사용하도록 디자인될 수 있다.
[00130] 예시적이고 비제한적인 실시예들에 따르면, 하드웨어 아키텍쳐는, 마이크로폰 어레이(506), 오디오 프로세싱 및 코덱 지원부(514)를 운반할 수 있는 마이크로폰 인터페이스 보드를 포함할 수 있고, 오디오의 디지털 스트림을 메인 애플리케이션 프로세서(516)에 전송한다. 우리의 코덱(514)으로부터 출력된 오디오는, 스피커들(518)이 사운드 분리를 위해 바디의 별개의 섹션에 있기 때문에 밖으로 라우팅될 수 있다.
[00131] 예시적이고 비제한적인 실시예들에 따르면, 하드웨어 아키텍쳐는, 바디의 중간 섹션에 집적될 수 있는 바디 제어 보드(520)를 포함할 수 있고, 모터 제어, 저레벨 바디 감지, 전력 관리 및 PCD(100)에 대한 시스템 웨이크업 기능을 제공한다. 제한이 아닌 예로서, 바디 제어 보드(520)는 산업 표준 Cortex-M4F 마이크로제어기 플랫폼 주위에 구축될 수 있다. 또한, 아키텍쳐(500)는, 코어 SoC(System On Chip) 프로세서를 제공하고, 로봇 시스템의 나머지를 함께 연결할 수 있는 애플리케이션 프로세서 보드를 포함할 수 있다. 실시예에서, 보드는, SoM(System On Module)을 이용하여, 초기 프로토타입들의 개발 시간 및 비용을 최소화할 수 있다. 일부 실시예들에서, 애플리케이션 프로세서 보드는 비용 감소 및 단순화된 생산을 위해 SoC 프로세서를 포함할 수 있다. 애플리케이션 프로세서 보드의 주요 인터페이스들은, MIPI 카메라들, 디스플레이, 무선 통신들 및 고성능 오디오를 지원하기 위한 인터페이스를 포함할 수 있다.
[00132] 예시적이고 비제한적인 실시예들에 따르면, 하드웨어 아키텍쳐(500)는, PCD(100)의 전력 요건들을 처리할 수 있는 전력 관리 보드(522)를 포함하도록 구성될 수 있다. 전력 관리 보드(522)는 전력 레귤레이터들, 배터리 충전기 및 배터리를 포함할 수 있다. 전력 레귤레이터들은, 하드웨어 아키텍쳐(500)의 하나 이상의 엘리먼트들 또는 보드들이 레귤레이팅된 전력 공급을 수신할 수 있도록 입력 전력을 레귤레이팅하도록 구성될 수 있다. 추가로, 배터리 충전기는, PCD(100)가 긴 시간 동안 동작하게 하기 위해 배터리를 충전하도록 구성될 수 있다. 실시예에서, PCD(100)는 충전 도크/베이스/크래들을 가질 수 있고, 이들은 벽 플러그와 블라인드 메이트 충전 커넥터를 통합할 것이어서, PCD(100)는 베이스 상에 배치되는 경우 내부 배터리를 충전할 수 있을 것이다.
[00133] 기계적 아키텍쳐
[00134] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)의 다양한 특징들이 단일 디바이스의 형태로 사용자에게 제공된다. 도 6a는, 다양한 특징들을 친숙한 방식으로 사용자들에게 제공하기 위해, 요구되는 소프트웨어 및 하드웨어 아키텍쳐를 포함하도록 구성될 수 있는 PCD(100)의 예시적인 설계를 예시한다. PCD(100)의 기계적 아키텍쳐는, 재료들의 비용 효과적인 청구를 타겟팅하면서, 조용한 품위 및 표정을 위해 최적화되었다. 다수의 성숙한 마켓들로부터 최상의 엘리먼트들을 신중하게 선택하고, 이들을 PCD(100)에 대한 고유의 결합으로 함께 합침으로써, 고유의 디바이스가 생성된다. 도 6a에 예시된 바와 같이, 기계적 아키텍쳐는, 마이크로폰 보드, 메인 보드, 배터리 보드, 바디 제어 보드, 카메라 보드와 같은 다양한 보드들을 PCD(100) 내의 예시적인 위치에 배치한 것을 도시한다. 또한, 냉각 효과를 제공하는 기류를 적절히 허용하기 위해, PCD(100)의 설계에 하나 이상의 통풍구들이 제공된다.
[00135] 아래에서 설명되는 다양한 예시적이고 비제한적인 실시예들에 따르면, PCD는 데이터를 감지하기 위해 프로세서와 통신하는 복수의 센서들을 활용한다. 아래에서 설명되는 바와 같이, 이러한 센서들은 모든 방식의 감각 입력을 포착하도록 동작하고, 프로세서는 작업들을 수행하기 위한 일련의 프로그래밍가능한 알고리즘들을 통해 감각 입력에 대해 동작한다. 이러한 작업들의 달성 시에, PCD(100)는, PCD(100)의 일부를 형성하는 로컬 메모리에 저장된 데이터를 이용하고, 유선 또는 무선 통신 모드들을 통하는 것과 같이 클라우드에서 또는 서버에서와 같이 원격으로 저장된 데이터에 액세스한다. 유사하게, PCD(100)는 다양한 출력 디바이스들, 예를 들어, 터치 스크린들, 스피커들, 촉각 엘리먼트들 등을 이용하여, 소셜 상호작용에 결합한 동안 사용자에게 정보를 출력한다. 동반 디바이스에 관한 데이터, 센서들, 프로세서들 및 통신 모드들의 동작 및 상호운용성을 상세화한 추가적인 비제한적 개시는, 공개된 미국 출원 2009/0055019 A1에서 발견될 수 있고, 상기 미국 출원의 내용들은 인용에 의해 본원에 통합된다.
[00136] 본 명세서에서 설명되는 실시예들은, 특히 PCD(100)와 사용자 사이에서 소셜 상호작용을 달성하기 위해, 이러한 동반 디바이스가 적용될 수 있는 특징들 및 기능에 대한 신규하고 자명하지 않은 실시예들을 제시한다. 당업자에게 공지된 바와 같이, 물리적 환경으로부터 소셜 단서를 평가 및 검출하기 위해 다양한 형태들의 센서 데이터 및 기술들이 이용될 수 있음이 이해된다. 이러한 기술들은, 음성 및 스피치 인식, 눈 이동 추적, 인간 자세의 시각적 검출, 위치, 모션 등을 포함하지만 이에 제한되는 것은 아니다. 이러한 기술들을 참조로 설명되지만, 본 개시는, 본 명세서에서 설명되는 특징들 및 실시예들을 달성하기 위해 PCD(100)에 의한 데이터의 포착, 프로세싱 및 출력을 위한 임의의 그리고 모든 방법들을 광범위하게 포함하게 된다.
[00137] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 순수하게 물리적 실시예에서, 예를 들어, 모바일 폰, PDA, 시계 등과 같은 모바일 연산 디바이스 상에서 실행되는 경우 가상의 존재로 표현될 수 있거나, 또는 물리적/가상 로봇의 혼합 모드로 표현될 수 있다. 일부 실시예들에서, 혼합 모드, 물리적 또는 가상 PCD를 구동하기 위한 소스 정보는, 모두 동일한 실시예인 것처럼 유도될 수 있다. 예를 들어, GUI 인터페이스를 통해 입력되고 데이터베이스에 저장될 수 있는 소스 정보는, 기계적 PCD 뿐만 아니라 가상 PCD의 일부를 형성하는 디스플레이의 애니메이션 컴포넌트를 구동할 수 있다. 일부 실시예들에서, 소스 정보는, AI 시스템들로부터의 출력들, 실시간 감지로부터의 출력들; 소스 애니메이션 소프트웨어 모델들, 운동학적 정보 모델들 등을 포함하는 다양한 소스들을 포함한다. 일부 실시예들에서, 데이터는, (소스에서) 순수하게 가상의 캐릭터의 동작에 관한 단일 소스로부터 푸시될 수 있고, 그 다음, 물리적 모드 뿐만 아니라 물리적 PCD에 대한 가상 모드들을 출력할 수 있다. 이러한 방식으로, PCD의 실시예들은, 순수하게 물리적인 것으로부터 전적으로 가상인 모드, 그리고 둘의 일부를 포함하는 혼합 모드까지의 범위에 걸쳐있을 수 있다. PCD(100)는, 클라우드에 저장될 수 있고, 사용자가 물리적 디바이스로 행한 것을 기억되게 허용할 수 있는 코어 페르소나를 포함하고 코어 페르소나로서 표현되어, 가상 페르소나가, 물리적 디바이스로 발생하고 있는 것을 기억하고 대응할 수 있고, 그 반대도 마찬가지이다. 예를 들어, 적절한 경우 하나의 인스턴스로부터 다른 인스턴스로 전이하는 것, 듀얼 경험을 갖는 것 등을 위해, 클라우드를 통해 물리적 및 가상 인스턴스들을 관리할 수 있다.
[00138] 예시된 바와 같이, PCD(100)는, 일반적으로 원형 링으로 분리된 3개의 분리된 바디 세그먼트들을 포함하는 3부 설계를 통합한다. 내부 모터들(미도시)과 같은 링을 중심으로 각각의 바디 세그먼트를 회전시킴으로써, PCD(100)는, 다양한 폼 팩터들을 달성하도록 자신의 형상을 변경할 뿐만 아니라 센서들(102, 104, 106, 108, 112)로 사용자들 및 다른 오브젝트들을 트래킹하도록 구성된다. 다양한 실시예들에서, PCD(100)의 속성들은, 터치 스크린(104)의 형상, 표현적 바디 이동, 특정한 표현적 사운드들 및 기억법, 말할 때의 특정한 품질의 운율 및 음성 품질, 디지털 인터페이스의 세부사항들, PCD(100)의 "얼굴들", 풀 스펙트럼 LED 조명 엘리먼트 등을 포함하여(그러나 이에 제한되는 것은 아님) 정적으로 또는 동적으로 구성될 수 있다.
[00139] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 많은 입력들 및 출력들이 동시에 액티브일 수 있는 멀티-모드 사용자 인터페이스를 이용하도록 구성될 수 있다. 이러한 타입의 동시적 인터페이스는 견고한 사용자 경험을 제공할 수 있다. 몇몇 실시예들에서, 사용자 인터페이스 입력들 또는 출력들 중 하나 이상은, PCD(100)의 비교적 덜 최적인 동작을 초래하는 환경에 따라 손상될 수 있다. 다양한 모드들을 동시에 동작시키는 것은, 사용자 경험 및 디바이스와의 상호작용의 페일-세이프(fail-safe)를 보조하여 통신의 무손실을 보장할 수 있다.
[00140] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 PCD(100)의 사용자에게 풍부한 경험을 제공하기 위해 하나 이상의 입력들을 프로세싱하도록 구성될 수 있다. PCD(100)는 사용자의 스피치를 인식하도록 구성될 수 있다. 예를 들어, PCD(100)는 "긍정 오류" 인게이지먼트들을 감소시키기 위해 스피치로부터 "웨이크 업 워드" 및/또는 다른 메커니즘을 식별한다. 일부 실시예들에서, PCD(100)는 N x M 피트의 근거리 범위에서 스피치를 인식하도록 구성될 수 있고, 여기서 N 및 M은 스피치의 사운드 품질 및 PCD의 검출 감도에 의해 결정될 수 있다. 다른 실시예들에서, PCD(100)는, 적어도 12 피트 x 15 피트의 방 크기를 커버하는 N 피트 초과의 원거리 범위로 스피치를 인식하도록 구성될 수 있다. 일부 실시예들에서, PCD(100)는 발화된 언어와는 다른 사운드들을 식별하도록 구성될 수 있다. PCD는, PCD가 인식할 수 있고 그에 대해 동작할 수 있는 사운드들로 구성된 사운드 서명 데이터베이스를 이용할 수 있다. PCD는 이러한 데이터베이스의 컨텐츠를 직접 또는 클라우드 기반 통신들을 통해 다른 PCD 디바이스들과 공유할 수 있다. 제한이 아닌 예로서, 발화된 언어와는 다른 사운드들은, 유리가 깨지는 것, 도어 벨, 전화 벨, 사람이 넘어지는 것, 사이렌들, 총소리들, 가청 알람들 등에 대응하는 사운드들을 포함할 수 있다. 추가로, PCD(100)는, PCD(100)의 기존의 분류기들에 매칭하지 않는 사운드의 소스를 식별시키도록 사용자에게 요청함으로써, 새로운 사운드들을 "학습"하도록 구성될 수 있다. 디바이스는 다수의 언어들에 응답할 수 있다. 일부 실시예들에서, PCD(100)는 웨이크-업 단어를 갖는 근거리 범위의 외부에 있는 사용자에 대해 응답하도록 구성될 수 있다. 사용자는 디바이스의 시야로 들어오도록 요구받을 수 있다.
[00141] 일부 실시예들에서, PCD(100)는, 스피치 입력이 임의의 이유로 절충될 때 사용될 수 있는 자신의 표면 상의 터치 감지 영역들을 가질 수 있다. 이러한 터치 입력들을 사용하여, PCD(100)는 예/아니오 질문들을 질문하거나 스크린 상에 옵션들을 디스플레이할 수 있고, 스크린 상의 사용자의 터치를 사용자로부터의 입력들로서 고려할 수 있다. 일부 실시예들에서, PCD(100)는, 특히 2 명 이상의 사용자들이 시야 내에 있을 때, 다른 것으로부터 하나의 사용자를 구별하기 위해 비전 및 이동을 사용할 수 있다. 추가로, PCD(100)는 근거리 범위 내의 총 골격의 자세 및 이동뿐만 아니라 일부 공통의 제스처들을 해석할 수도 있다. 이러한 제스처들은 디바이스 제어보다 소셜 상호작용을 향해 더 많이 배향될 수 있다. 일부 실시예들에서, PCD(100)는 포토들 및 영화들을 촬영하기 위한 카메라들을 포함하도록 구성될 수 있다. 실시예에서, 카메라는, 사용자가 카메라의 미리 결정된 범위 내에 있을 때 포토들 및 영화들을 촬영하도록 구성될 수 있다. 게다가, PCD(100)는 비디오 회의(팝-인스)를 지원하도록 구성될 수 있다. 추가로, PCD(100)는, 카메라가 포토 모드에 있을 때, "빨간 눈"을 제거하기 위한 모드를 포함하도록 구성될 수 있다.
[00142] 일부 실시예들에서, PCD(100)는, 자신이 픽업, 운반, 강하하는지 등을 결정하도록 구성될 수 있다. 게다가, PCD(100)는 자력계를 구현하도록 구성될 수 있다. 일부 실시예들에서, PCD(100)는 주변 조명 레벨들을 결정할 수 있다. 게다가, PCD(100)는 주변 광 레벨에 기초하여 디스플레이 및 액센트 조명 밝기 레벨들을 적절한 레벨로 조절할 수 있다. 일부 실시예들에서, PCD(100)는 디바이스의 위치를 근사화하기 위해 GPS를 사용하는 능력을 가질 수 있다. PCD(100)는 거주지 내의 상대적인 위치를 결정할 수 있다. 일부 실시예들에서, PCD(100)는 총 또는 원거리 모션 검출을 보조하기 위해 하나 이상의 수동 IR 모션 검출 센서들(PIR)을 포함하도록 구성될 수 있다. 일부 실시예들에서, PCD(100)는 환경의 주변 온도를 표시하기 위한 적어도 하나의 서미스터를 포함할 수 있다.
[00143] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 "하나의 음성" 영어를 사용자에게 이해 가능한 자연스러운 음성으로 말하도록 구성될 수 있다. PCD(100)는 애니메이팅된 디바이스 감정 상태를 모방하기 위해(PCD(100)가 슬플 때 슬픈 소리를 냄 등) 구두의 음성의 톤을 변경하도록 구성될 수 있다. 일부 실시예들에서, PCD(100)는 스피치, 높은 충실도 음악 및 사운드 효과들을 재생할 수 있는 적어도 하나의 스피커를 포함하도록 구성될 수 있다. 실시예에서, PCD(100)는 다수의 스피커들, 즉, 스피치를 위한 하나, 음악을 위한 하나 및/또는 특수 가청 신호들 및 알람들을 위한 부가적인 스피커를 가질 수 있다. 스피치로 전용된 스피커는 사용자를 향해 위치되고, 음성 주파수 응답에 대해 튜닝될 수 있다. 음악으로 전용된 스피커는 완전한 주파수 응답에 대해 튜닝될 수 있다. PCD(100)는 실제 컬러, 완전한 프레임 레이트 디스플레이를 갖도록 구성될 수 있다. 일부 실시예들에서, 디스플레이된 능동 이미지는 지름이 적어도 4-1/2"인 원형(마스킹됨)일 수 있다. 일부 실시예들에서, PCD(100)는 최소 이동의 3 자유도를 가질 수 있어서, 환경의 360도 센서 커버리지 및 인간형 자세들 및 이동들의 범위(액션의 표현 라인) 둘 모두를 허용한다. PCD(100)는 물리적 애니메이션을 사운드, 스피치, 액센트 조명 및 디스플레이 그래픽들에 동기화하도록 구성될 수 있다. 이러한 동기화는 인간의 인지에 대해 끊김이 없도록 충분히 밀접할 수 있다. 일부 실시예들에서, PCD(100)는, 주변 통지 및 소셜 상호작용 둘 모두에 대한 액센트 조명을 사용할 수 있는 지정된 영역들을 가질 수 있다. 디바이스 형태에 의존하여, 액센트 조명은, PCD(100)의 카메라가 포토 또는 영화 캡쳐 모드에 있을 때, 포토 내의 대상을 조명하는 것을 도울 수 있다. 일부 실시예들에서, PCD(100)는, 카메라가 포토 캡쳐 모드에 있을 때, 포토 내의 대상을 자동적으로 조명할 카메라 플래시를 가질 수 있다. 추가로, 액센트 조명이 대상의 조명을 달성하는 것이 더 양호할 수 있다. 게다가, PCD(100)는, 카메라가 포토 캡쳐 모드에 있을 때, "레드 아이"를 제거하기 위한 모드를 가질 수 있다.
[00144] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 사용자를 식별 및 추적할 수 있다. 실시예에서, PCD(100)는, 사람이 근거리 범위에 진입할 때를 통지할 수도 있다. 예를 들면, 근거리 범위는 10 피트일 수 있다. 다른 실시예에서, PCD(100)는 사람이 원거리 범위에 진입할 때를 통지할 수도 있다. 예를 들면, 원거리 범위는 10 피트일 수 있다. 일부 실시예들에서, PCD(100)는 비디오(안면 인식), 깊이 카메라(골격 특징 매칭) 및 사운드(음성 ID)의 조합을 사용하여 최대 5 명의 상이한 사용자들을 식별할 수 있다. 실시예에서, PCD(100)가 인식할 수 있을 사용자들을 학습하기 위해 "학습" 루틴이 PCD(100)에 의해 사용된다. 일부 실시예들에서, PCD(100)는 비디오, 깊이 카메라 및 청각의 장면 분석의 조합을 사용하여 근거리 범위 내의 사용자들을 완전한 360도로 로케이팅 및 추적할 수 있다. 일부 실시예들에서, PCD(100)는 10 피트의 원거리 범위 내의 사용자들을 완전한 360도로 로케이팅 및 추적할 수 있다. 일부 실시예들에서, PCD(100)는, 사용자들이 근거리 범위 내에 있을 때마다 자신에 대해 상이한 사용자들의 위치들의 내부 맵을 유지할 수 있다. 일부 실시예들에서, PCD(100)는, 사용자가 PCD(100)로부터 더 멀어질 때 기능 레벨을 저하시킬 수 있다. 실시예에서, PCD(100)의 완전한 기능은 PCD(100)의 근거리 범위 내의 사용자들에게 이용 가능할 수 있다. 일부 실시예들에서, PCD(100)는 사용자들의 무드 및 응답을 추적하도록 구성될 수 있다. 실시예에서, PCD(100)는 비디오 분석, 골격 추적, 스피치 운율, 사용자 어휘 및 구두의 심문(즉, 디바이스가 "안녕하세요(how are you)?"라고 묻고, 응답을 해석함)의 조합을 통해 사용자 또는 사용자들의 그룹의 무드를 결정할 수 있다.
[00145] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 감정 컨텐츠를 그의 애니메이션들로 혼합하기 위해 인간의 소셜 코드로 프로그래밍될 수 있다. 특히, 사용자 표현의 인지된 감정 컨텐츠에 기초하여, 출력들의 감정 컨텐츠를 적절히 완전히 자율적인 방식으로 조절하기 위해 프로그래매틱 지능이 PCD(100)에 적용되어야 한다. PCD(100)는 스피치, 조명, 이동 및 사운드 효과들의 조합을 통해 사용자의 감지된 무드를 개선하려고 시도하도록 프로그래밍될 수 있다. 추가로, PCD 소셜 코드는 사용자와의 관계를 구축하기 위한 능력, 즉, 작동 미러링, 헤드 포즈들 모방 등을 제공할 수 있다.
[00146] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 학습된 사용자 선호도들에 기초하여 스포츠 뉴스 및 게임들, 날씨 보고들, 뉴스 클립들, 현재 사건들에 관한 정보 등을 포함하는 사전에 맞춤화된 인터넷 컨텐츠를 소셜, 개입 방법으로 사용자에게 전달하고 및/또는 사용자의 잠재적인 관심들을 넓히는 방식으로 그 정보 및 데이터를 공유하기 위해 그 자신의 선호도들을 발전시키도록 프로그래밍될 수 있다.
[00147] PCD 디바이스는, PCD 디바이스가 인식하는 각각의 별개의 사용자에게 컨텐츠가 통신되는 방식 및 컨텐츠의 타입 둘 모두를 맞춤화하는 능력으로 프로그래밍될 수 있다.
[00148] PCD 디바이스는, 전달된 인터넷 컨텐츠의 사용자 선호도들, 그에 대한 사용자 반응 및 그의 프로세싱 습관들에 기초하여 시간에 걸쳐 별개의 사용자로의 전달/컨텐츠의 맞춤화를 개선하고 최적화하는 능력으로 프로그래밍될 수 있다.
[00149] PCD는, 전달된 정보가 사용자에 의해 이해되었다는 것을 확인하기 위해 사용자와의 소셜 대화에 개입하도록 프로그래밍될 수 있다.
[00150] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 사용자의 활동을 관리 및 모니터링하도록 구성될 수 있다. 일부 실시예들에서, 서비스와 관련하여 통신 디바이스들(122)은, 일단 사용자들이 쇼핑 트립을 위해 떠났다면, 사용자에게 통신될 수 있는 해야 할 일, 식료품 또는 다른 리스트들을, 사용자의 요청 시에, 생성 및 저장한다. 일부 실시예들에서, PCD(100)는 (서비스를 통해) 사용자 및 모바일 폰으로 텍스트(SMS) 메시지로서 리스트를 푸시하거나, 요청 시에, 사용자의 모바일 또는 웹 애플 중 어느 하나의 사용자에 의해 풀링될 수 있다. 일부 실시예들에서, 사용자는 PCD(100) 상에서 음성을 통해 또는 서비스를 통한 모바일 또는 웹 애플을 통해 그러한 요청을 할 수 있다. PCD(100)는 리스트들을 관리(즉, 구매된, 완료된, 더 이상 필요하지 않은 아이템들을 제거, 사용자 이력에 기초하여 부가적인 리스트 아이템들에 대한 제안들을 함 등)하기 위해 사용자와 상호작용할 수 있다. PCD(100)는 주변 대화에서 핵심적인 구절들을 듣고 이해함으로써 리스트에 부가할 필요성을 추론할 수 있다(즉, 디바이스는 "우리는 커피가 떨어졌다"라는 것을 듣고, 사용자들이 식료품 리스트에 커피를 부가하는 것이 좋은지를 사용자에게 질문함)
[00151] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 사용자-생성 리마인더들 또는 메시지들을 정확한 시간들에 제공하도록 구성될 수 있다. PCD(100)는 정확한 시간들에 리마인더들을 전달하기 위한 조건들을 설정하는데 사용될 수 있다. 실시예에서, 리마인더들에 대한 조건들은 "내일 아침 너가 나를 처음 볼 때" 또는 "나의 딸이 여기에 있는 다음 시간", 또는 심지어 "다음 화요일 정오 후에 너가 나를 처음 볼 때" 등과 같은 실시간 조건들을 포함할 수 있다. 일단 조건세트가 만족되면, PCD(100)는 ("응시"뿐만 아니라 신체 언어/표현 관점으로부터) 사용자에 개입하고, 적절한 음성 및 문자로 리마인더를 전달할 수 있다. 일부 실시예들에서, PCD(100)는 리마인더의 무드 컨텐츠를 분석하고, 그 리마인더의 애니메이션/조명/전달에 영향을 주기 위해 이러한 정보를 사용할 수 있다. 다른 실시예들에서, 사용자들이 리마인드된 액션을 수행하였는지를 사용자에게 질문함으로써 PCD(100)가 리마인더를 전달한 후에, PCD(100)는 사용자를 따라 할 수 있다.
[00152] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는, 사용자에 의해 제공될 수 있는 요청 시에 사용자의 부재를 모니터링할 수 있다. 예를 들면, 사용자는, 그들이 밖으로 보행하는 때 및 이유(예를 들면, "나는 이제 산책하러 간다"), 및 활동의 예상된 듀레이션을 PCD(100)에 말할 수 있어서, PCD(100)는 사용자가 원하는/요청된 시간프레임 내에 복귀한다는 것을 보장할 수 있다. 추가로, PCD(100)는, 사용자가 지정된 윈도우 내에 복귀하지 않은 경우에, 이러한 만일의 사태에 대해 사용자에 의해 지정된 긴급 연락들을 통지할 수 있다. PCD(100)는 텍스트 메시지를 통해 및/또는 모바일 애플을 통해 긴급 연락들을 통지할 수 있다. PCD(100)는, 사용자가 복귀할 때, 활동에 대한 존재 및 후속 조치를 인식할 수 있다(즉, 어떠한 활동이 있는지 또는 활동에 관련된 다른 질문들을 질문함). 그러한 타입의 상호작용은 PCD(100)와 사용자 사이의 소셜 상호작용을 가능하게 하고, 또한 학습 데이터베이스를 위한 사용자에 관한 정보의 수집을 가능하게 할 수 있다. PCD(100)는 이러한 목적으로 사용자에 의해 식별된 그러한 가족/친구들에게 체크-아웃/체크-인 시간들 및 현재 사용자 상태를 보여줄 수 있다. 이것은 모바일 애플을 통해 달성될 수 있다. PCD(100)는 더 깊이 있는 활동 모니터링/패터닝/보고를 할 수도 있다.
[00153] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 하나 또는 그 초과의 데이터 연결을 통해 외부 네트워크에 연결하도록 구성될 수 있다. 몇몇 실시예들에서, PCD(100)는 와이파이 데이터 연결과 같은 강건하고 높은 대역폭 무선 데이터 연결에 대한 액세스를 가질 수 있다. 실시예에서, PCD(100)는 2.4GHz 및 5GHz 대역들 둘 다에서 2x2 2개의 스트림 MIMO 구성으로 802.11n 와이파이 규격을 구현할 수 있다. 몇몇 실시예들에서, PCD(100)는 다른 블루투스 디바이스들(메디컬 센서들, 오디오 스피커들 등)에 연결될 수 있다. 실시예에서, PCD(100)는 BLE(Bluetooth 4.0 LE) 규격을 구현할 수 있다. BLE 인에이블 PCD(100) 디바이스는 멀티-모달 사용자 데이터를 포함하고 이를 다른 BLE 인에이블 PCD(100) 디바이스와 공유하도록 그의 UUID를 맞춤화되게 구성될 수 있다. 몇몇 실시예들에서, PCD(100)는 3G/4G/LTE 또는 다른 셀룰러 네트워크에 대한 연결성을 가질 수 있다.
[00154] 예시적이고 비제한적인 실시예들에 따라, 다수의 PCD(100) 디바이스들은 클라우드 기반 서비스에 대한 요구 없이 직접 데이터 공유 및 통신들을 허용하기 위해 애드-혹 네트워킹 기법들을 이용하여 메시 네트워크 구성으로 구성될 수 있다. 대안적으로, 다수의 PCD(100) 디바이스들 간에 공유되는 데이터는, 그것이 프로세싱되고 다수의 PCD(100) 디바이스들로의 브로드캐스팅을 위해 준비될 수 있는 클라우드 기반 데이터베이스/데이터 센터에 업로드되거나 저장될 수 있다. 클라우드 기반 데이터 서비스는 다수의 위치들에서 다수의 PCD(100) 디바이스들에 대한 로컬 및 중앙 데이터 저장소, 공유 및 분배를 제공하도록 메시 네트워크 어레인지먼트와 결합될 수 있다.
[00155] 예시적이고 비제한적인 실시예들에 따라, 동반 애플리케이션이 PCD(100)에 연결하도록 구성될 수 있다. 몇몇 실시예들에서, 동반 애플리케이션은, 다음의 플랫폼들: iOS, 안드로이드, 및 웹 상에서 이용 가능하다. 동반 애플리케이션은 피쳐 또는 기능에 액세스하기 위해 3개 초과의 상호작용들을 요구하지 않을 수 있는 직관적이고 이용하기 쉬운 사용자 인터페이스(UI)를 포함할 수 있다. 동반 애플리케이션은 PCD(100)의 가상 카운터파트에 대한 액세스를 사용자에게 제공할 수 있어서, 사용자는 실제 PCD(100)와 상호작용하기 위해 이 가상 카운터파트에 액세스할 수 있게 된다.
[00156] 몇몇 실시예들에서, 사용자는 동반 애플리케이션을 통해 PCD(100)의 활동 로그들, 쇼핑 리스트들과 같은 정보에 액세스할 수도 있다. 또한, 동반 애플리케이션은 PCD(100)에 국부적인 사용자 활동의 장기적인 리포트들을 사용자에게 제공할 수 있다. 몇몇 실시예들에서, 동반 애플리케이션은 비디오 및 오디오를 통해 사용자를 PCD(100)에 연결할 수 있다. 또한, 동반 애플리케이션은 특정한 조건들(예를 들어, 로컬 사용자는 체크-인에 의해 예상된 것보다 늦고, 시끄러운 노이즈가 있었고, 로컬 사용자는 무반응이고 등등)에 대해 사용자에게 비동기식으로 경고할 수 있다.
[00157] 몇몇 실시예들에서, 동계의 디바이스들에 걸친 제어 또는 연결성을 허용하기 위한 관리/전개 애플리케이션이 웹 플랫폼 상에서 이용 가능할 수 있다. 관리 애플리케이션의 UI는 상세한 리포트들, 셋-업, 전개 및/또는 지원 능력에 대한 빠른 액세스를 요구할 수 있는 병원/간호가 관리자들 또는 구매자들을 인에이블할 수 있다. 또한, 그룹은 관리 애플리케이션을 이용하여 PCD(100) 디바이스들의 관리된 세트에 걸쳐 저장된 정보에 액세스할 수도 있다. 관리 애플리케이션은 특정한 조건들(예를 들어, 로컬 사용자는 체크-인에 의해 예상된 것보다 늦고, 시끄러운 노이즈가 있었고, 로컬 사용자는 무반응이고 등등)에 대해 관리자에게 비동기식으로 경고할 수 있다. 또한, 관리 애플리케이션은 그의 관리된 디바이스들의 서브세트 또는 모두 다에 걸쳐서 메시지들 및 리마인더들을 브로드캐스트할 수 있다.
[00158] 예시적이고 비제한적인 실시예들에 따라, 지원 콘솔은 PCD(100)의 인원이 하나 또는 그 초과의 디바이스들을 모니터링/지원/진단/전개하도록 허용할 수 있다. 지원 콘솔은 웹 플랫폼 상에서 이용 가능할 수 있다. 일 실시예에서, 지원 콘솔은 고유 일련 번호, 소유자, 기관 전개 세트, 펌웨어 및 애플리케이션 버전 번호들, 또는 등록된 예외사항에 의해 식별될 수 있는 모든 전개된 PCD 디바이스들의 리스트 뷰를 지원할 수 있다. 일 실시예에서, 지원 콘솔은 일련 번호, 소유자, 기관 전개 세트, 펌웨어 및 애플리케이션 버전 번호, 또는 등록된 예외사항들을 포함하는 태그들로 상호작용식 질의들을 지원할 수 있다. 또한, 지원 콘솔은 디바이스 진단들의 발동 및 리포팅을 지원할 수 있다.
[00159] 예시적이고 비제한적인 실시예들에 따라, 지원 콘솔은 새로운 펌웨어 및 소프트웨어 버전들(푸시 모델)의 전개를 보조할 수 있다. 또한, 지원 콘솔은 더 새로운 NLU들, 새로운 앱들 등의 전개를 보조할 수 있다. 지원 콘솔은 고객 지원 시나리오들, 서비스의 계획된 중단시간과 같은 것들을 통신하기 위해 전개된 디바이스들 모두 또는 서브세트로의 메시지들의 브로드캐스팅 등을 지원할 수 있다. 몇몇 실시예들에서, 지원 콘솔은, PCD(100)와 상호작용하는데 걸린 시간, 모든 앱들/서비스들에 걸쳐 브레이크다운된 시간, 오디오 및 비디오 지각 알고리즘들에 대한 어그리게이팅된 히트/미스 메트릭들, (데이터 마이닝 등을 지원하기 위해) 로깅된 액션들, 로깅된 예외사항들, 경고 임계치들(예를 들어, 어떤 예외 레벨에서 지원 콘솔이 당신에게 날카로운 소리를 제공해야 하는가?) 등을 포함(그러나 배타적이지 않음)하는 다양한 온-디바이스 메트릭들에 대한 액세스를 지원할 필요가 있을 수 있다.
[00160] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 원격회의에 참가할 수 있다. 몇몇 실시예들에서, 원격회의는 단순한 UI를 통해, PCD(100)의 바디 또는 터치스크린(104)을 터치하여, 또는 다수의 구문들, 사운드들 등으로 개시될 수 있는 것과 같은 음성 활성화를 통해 실행되도록 시작할 수 있다. 일 실시예에서, 원격회의를 개시하기 위해 PCD(100)의 기껏 2번의 터치들이 요구된다. 몇몇 실시예들에서, 호들은 또한 호 스케줄링/프롬프팅 특징의 출력으로서 또한 개시될 수 있다. 일단 개시되면, PCD(100)는 와이파이 연결, 블루투스, 전화 연결 또는 전화 기능성에 영향을 주는 이들의 임의의 결합을 이용하면서, 사용자로부터 오디오 데이터를 수신하고 출력하도록 마이크로폰(112) 및 스피커(110)를 이용하여 전화로서 기능할 수 있다.
[00161] 호들은 표준 음성 호들이거나, 또는 비디오 컴포넌트들을 포함할 수 있다. 이러한 상호작용들 동안, PCD(100)는 대화의 PCD(100) 단부에 대한 카메라맨으로서 기능할 수 있다. 몇몇 실시예들에서, PCD(100)는 테이블의 중간 또는 PCD(100) 주위의 방을 점유하는, 가족과 같은 복수의 사용자들과의 다른 소셜 게더링 지점에 배치될 수 있으며, 이들 모두는 호 동안 깨어있고, 이동하고 활성일 수 있다. 호 동안, PCD(100)는 원하는 위치의 카메라(106)를 포인팅할 수 있다. 일 실시예에서, PCD(100)는 카메라(106)가 대화자/사용자를 포인팅한 채로 유지하도록 사운드 로컬화 및 얼굴 추적을 활용할 수 있다. 다른 실시예들에서, PCD(100)는 방 안의 사람들/사용자들에 의해 지시(예를 들어, "PCD, 루비를 봐")될 수 있다. 다른 실시예들에서, 원격 사람이 디바이스를 통해 추적될 타겟을 특정할 수도 있고 PCD(100)는 자동으로 그 타겟을 보고 추적할 것이다. 어느 시나리오든, 카메라(106)가 입력으로서 수신하는 것은, 예를 들어, 원격 참가자가 스마트폰, 랩톱, 또는 비디오를 디스플레이할 수 있는 다른 디바이스를 이용하는 경우 이들에게 제시된다.
[00162] 디바이스는 다수의 언어들을 이해하고 응답할 수도 있다. 이러한 상호작용 동안, PCD(100)는 또한 음성 입력을 수신하고 프로세서를 통해 입력을 번역하고 번역된 출력을 출력함으로써 국제 연합 인터프리터의 패러다임처럼 링크의 다른 단부 상의 사람에 대한 "인터프리터"로서 기능할 수 있다. PCD(100)가 있는 방에 TV, iPad 등과 같은 이용 가능한 스크린이 있는 경우, PCD(100)는 예컨대, 블루투스 또는 와이파이를 통해 오디오를, 그리고 이용 가능한 경우, 이 TV 스크린 상에 디스플레이될 원격 참가자의 비디오를 송신할 수 있다. 이용 가능한 다른 스크린이 없는 경우, PCD(100)는 원격 참가자로부터의 오디오를 릴레이할 수 있지만, 어떠한 원격 비디오도 이용 가능하지 않을 수 있다. 이러한 예에서, PCD(100)는 원격 참가자의 단어들을 단지 릴레이한다. 몇몇 실시예들에서, PCD(100)는 애니메이팅되고 예컨대, 예를 들어, 원격 참가자가 미리 결정된 양의 시간 동안 멈추어 있는 경우, 깜박이거나 아래를 봄으로써 또는 원격 참가자가 매우 흥분되었음을 PCD(100)가 감지하는 경우 약간의 춤 또는 "시미(shimmy)"를 함으로써 사용자에게 반응할 수 있다.
[00163] 다른 실시예에서, PCD(100)는 링크의 원격 단부 상의 사람의 아바타일 수 있다. 예를 들어, 눈 또는 터치 스크린(104) 상에 디스플레이되는 다른 영역은 원격 참가자의 얼굴의 랜더링된 버전(다른 실시예들 중에서, 카툰, 이미지 기반 또는 비디오 스트림)으로 모핑할 수 있다. 랜더링은 PCD(100)에 저장되고 액세스 가능할 수 있다. 다른 실시예들에서, PCD(100)는 또한 원격 사용자를 설명하고 연관된 데이터를 리트리브하고 아바타 경험을 강화하기 위해 원격 사용자의 모션/비-버발 큐들을 모방할 수 있다.
[00164] 몇몇 실시예들에서, 호 동안, 원격 또는 로컬 참가자들은 참가자들 및 PCD(100) 카메라 뷰의 정지 이미지들, 비디오 및 오디오 클립들, 또는 단신(예를 들어, "PCD, 이 번호를 기억해")의 저장을 큐잉할 수 있다. 이들 태깅된 아이템들은 적절히 메타-태깅되고 PCD 클라우드에 저장될 것이다.
[00165] 다른 실시예들에 따라, PCD(100)는 또한 요청 시에 원격 상호작용의 자극을 또한 도울 수 있다. 예를 들어, 사용자가 아래에서 보다 완전히 설명되는 게임을 제안하도록 PCD(100)에 요청하고(PCD는 연결된 게임 모드를 개시할 것임), 양 참가자들이 동의할 때까지 게임들을 제안할 수 있다. 다른 예에서, 사용자는 이야깃거리에 대해 PCD(100)에 또한 요청할 수 있다. 이에 응답하여, PCD(I100)는 대화 참가자들의 공통 관심사들에 타겟팅되는 "PCD 인더노우(In The Know)" 데이터베이스에 액세스하거나, 또는 이들이 이야기할 것을 제안하기 위해 이벤트에 대해 참가자들에 대한 PCD 캘린더를 마이닝할 수 있다(예를 들어, "할머니, 지난번 당신 친구와 먹은 점심식사에 관해 루비에게 말해주세요").
[00166] 스케줄링 보조
[00167] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 링크의 다른 단부에 있는 존재의 캘린더 가용성, 특별한 날, 및/또는 지식에 기초하여 호들을 제안할 수 있다(예를 들어, "당신의 엄마는 지금 집에 있고, 오늘이 그녀의 생일이에요, 엄마에게 전화를 하는건 어떤가요?"). 사용자가 제안을 수락하고, 이 경우에, PCD 호 앱이 PCD(100)와 원격 참가자의 PCD(100), 전화, 스마트 디바이스 또는 스카이프 계정간에 런칭된다. 사용자는 또한 호를 추후에 스케줄링하도록 PCD(100)에 요청함으로써 제안을 수락할 수 있고, 이 경우에 스케줄링 앱이 그것을 사용자의 캘린더에 추가한다.
[00168] 호 응답 및 메시징
[00169] 예시적이고 비제한적인 실시예들에 따르면, 호 응답 및 메시징 기능은 PCD(100)를 이용하여 구현될 수 있다. 이 특징이 PCD(100)에 배치된 음성 또는 비디오 호들에 적용되고 PCD(100)는 다른 셀룰러 연결 디바이스들에 대한 호 관리 서비스들을 수행하지 않을 것이다. 도 7을 참고하면, 예시적이고 비제한적인 실시예의 흐름도(700)가 도시된다. 도시된 바와 같이, 단계(702)에서, 호가 PCD(100)에 배치되면, PCD(100)는 호출자를 방에 있는 사람들에게 알릴 수 있다. 방에 아무도 없는 경우, PCD(100)는 사용자의 캘린더를 체크할 수 있고, 캘린더가 사람들이 집에 없다는 것을 나타내는 경우, PCD(100)는 PCD(100)와 연관된 음성메일로 직접 호를 전송할 수 있다(단계 704). 역으로, 캘린더가 사람들이 집에 있다고 나타내는 경우, PCD(100)는 집에 있는 사람들의 주의를 끌도록 더 시끄러운 소리(벨, 링들, 고함소리?)를 사용할 것이다(단계 706).
[00170] 일단 PCD(100)가 그의 사용자의 주의를 끌었다면, 단계(708)에서, PCD(100)는 발신자를 알리고, 그 사람이 통화하기를 원하는지 물어볼 수 있다. 단계(710)에서, 사용자는 단순 터치 인터페이스, 또는 이상적으로 중립 언어 인터페이스로 응답할 수 있다. 사용자가 예라고 응답하는 경우, 단계(712)에서, PCD(100)는, 동기식 온-디맨드 멀티모드 메시징 특징에 설명된 바와 같이 호를 연결한다. 대답이 아니오인 경우, 단계(714)에서, 호가 PCD(100) 음성메일로 전송된다.
[00171] 호출자가 음성메일로 전환되는 경우, PCD(100)는 호출자들에게 인사하고 메시지를 남길지를 호출자들에게 물어볼 수 있다. 일부 실시예들에서, 음성 또는 음성/비디오(호출자가 Skype 또는 그 등가물을 이용하고 있는 경우) 메시지가, 나중에 재생되기 위해서 기록될 수 있다.
[00172] 사용자가 복귀하고 PCD(100)가 사용자가 다시 방에 있다는 것을 검출하면, PCD(100)는, 단계(716)에서, 사용자에게 메시지(음성으로 "메시지가 도착했습니다" 또는 비언어적으로 조명 방울 등)를 통지하고, 사용자가 메시지를 청취하기 원하는지를 묻는다. 예인 경우, PCD(100)는 오디오를 재생하거나 또는 상술된 바와 같이 TV/태블릿/등에서 오디오/비디오 메시지를 재생할 수 있다.
[00173] 사용자는 나중을 위해 메시지를 저장하는 옵션을 가질 수 있다. 그는, 특정 시각에 다시 물어보도록 또는 단지 "나중에"라고 PCD(100)에게 말하며, 나중에라고 말한 경우, PCD(100)는 미리결정된 양의 시간 이후에 다시 물을 것이다.
[00174] 호출자가 PCD(100)에게 알려지지 않은 경우, PCD(100)는 그 호를 음성메일로 전환할 수 있고, 사용자에게, X번호로부터의 식별되지 않은 호가 수신되었다는 것을 통지하고, 메시지가 기록되었다면 그 메시지를 재생한다. 이후, 사용자는 앞으로 그 번호를 연락처/음성메일로부터 효과적으로 차단시킬것을 PCD(100)에게 지시할 수 있다. PCD(100)는 또한, 사용자가 동기식으로 또는 비동기식으로 호를 복귀시키기 원하는지를 물어볼 수 있다. 사용자가 수락한 경우, PCD(100)는 사용자의 요청을 완료하기 위해 적절한 메시징 모드에 착수한다. 일부 실시형태들에서, PCD(100)는 또한, 호 관리자 기능을 다른 셀룰러 또는 집에 있는 유선 디바이스들에 제공할 수 있다. 또 다른 실시형태들에서, PCD(100)는 호에 응답하고 대화식으로 호출자에게 메시지를 남길 것을 프롬프트하므로 개인 비서의 역할을 할 수 있다.
[00175] 연결 스토리 읽기
[00176] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 연결 스토리 읽기 앱을 포함하여, 원격 참여자로 하여금, PCD(100)을 이용하여 룸에 있는 로컬 참여자에게 PCD(100)를 "통하여" 스토리를 읽어 줄 수 있게 할 수 있다. 판독기는 스토리를 집어내고 이것을 판독하는 프로세스를 통해 가상 PCD(100)에 의해 가이드된 단순 웹 또는 안드로이드 앱 기반 인터페이스를 통해 상호작용할 수 있다. 판독기는 가상 PCD(100)에 의해 프롬프트된 것으로서 스토리의 단어들을 판독할 수 있다. 일부 실시예들에서, 판독기의 음성은 물리적 PCD(100)에 의해 청취자에게 재생될 것이며, 미리설정된 필터들이 판독자의 음성에 적용되므로, 판독자는, 그/그녀가 이를 하기 위한 고유 능력을 갖지 않더라도, 믿을 수 없을 만큼 강력한 방법으로 문자들의 "음성들을 수행"할 수 있다. 사운드 트랙 및 효과들이 또한 재생에 삽입될 수 있다. 판독자의 인터페이스는 또한 청취자의 "PCD의 전경(Eye View)"을 보여주고, PCD(100)는, 청취자를 비디오에 유지시키는 그의 "사진사" 능력을 사용할 수 있다.
[00177] 물리적 PCD(100)는 또한, 적절한 때에 단편 애니메이션들(공포의 전율 등)을 갖는 스토리에 반응할 수 있고, 상술된 PCD(100)의 눈이 스토리 요소들의 지원 시 상이한 형상들로 변형될 수 있다. 이러한 기능으로 PCD 호 피쳐 내부를 둘러쌀 수 있으므로, 판독자 및 청취자는 이것에 대한 대화에 의해 스토리를 중단시킬 수 있는 식이다. 이 앱은, 판독자가 스토리를 읽는 것을 중단하였다는 것을 인식하고 피쳐를 일시중지시킬 수 있으므로, 판독자와 청취자는 필터링되지 않은 상태로 대화할 수 있다. 대안으로, 텔러(teller)는 스토리를 사전 레코딩하여 아래에 설명된 스토리 중계 앱을 이용하여 나중에 재생되게 스케줄링할 수 있다.
[00178] 핫라인
[00179] 예시적이고 비제한적인 실시예들에 따르면, 사용자는 "푸시 투 토크" 또는 "워키-토키" 스타일 인터페이스를 통해 "인-네트워크" 멤버들과 통신하기 위해 PCD(100)를 사용할 수 있다. 이 피쳐는, 스킨 상에 1회 터치를 통해 또는 PCD(100) 상의 스크린 아이콘을 통해, 또는 "PCD(100), 엄마와 이야기하기"라는 단순 음성 커맨드를 통해 액세스될 수 있다. 일부 실시형태들에서, 이 피쳐는 단지 PCD-투-PCD 대화로 제한되고, PCD들(100) 둘 모두가 이들의 링크 끝 부분에서 사용자 존재를 검출할 경우에만 이용가능할 수 있다
[00180] 스토리 중계
[00181] 도 8과 관련하여, 예시적이고 비제한적인 실시형태의 흐름도(800)가 도시된다. 도시된 바와 같이, 단계(802)에서, 사용자/스토리 텔러는 임의의 시각에 스토리를 레코딩하여 PCD(100)가 나중에 재생하게 할 수 있다. 스토리들은 여러 가지 방법들로 레코딩될 수 있다.
[00182] PCD(100)에 의해서: 스토리텔러는 그 스토리를 PCD(100)에게 말하고, PCD(100)는 재생을 위해 이것을 레코딩한다.
[00183] 가상의 PCD(100) 웹 인터페이스 또는 안드로이드 앱에 의해: 사용자는 그 스토리를 웹캡에 말하는 가상의 PCD(100)에 의해 가이드된다. 이들은 또한 이러한 타입들의 스토리들에 더욱 풍부한 애니메이션들/사운드 효과들/배경 음악을 포함시키기 위한 기회를 가질 수 있다.
[00184] 스토리가 레코딩되면, PCD(100)는 텔러에 의해 설정된 스케줄링 선호들에 따라서 스토리를 재생할 수 있다(단계 804). 청취자에게는 스케줄링된 시각에 스토리를 듣는 옵션이 주어질 것이고, 스토리를 수락, 거절, 또는 리스케줄링할 수 있다.
[00185] 일 실시예에서, 스토리텔링 동안, PCD(100)는 미리결정된 레이트로 청취자의 정지 사진들을 찍을 수 있다. 스토리가 완료되면, PCD(100)는, 그/그녀가 스토리텔러에게 다시 메시지를 전송하기 원하는지를 청취자에게 물어볼 수 있다(단계 806). 사용자가 수락한 경우, 단계(808)에서, PCD(100)는 "비동기 멀티모드 메시징" 피쳐를 입력하고, 메시지를 컴파일링하고, 이들이 1을 갖는 경우 텔러의 물리적 PCD(100)에 메시지를 전송하거나 또는 가상의 PCD(100) 웹 링크로 메시지를 전송할 수 있다. 청취자는, 스토리를 청취하는 그 자신/그녀 자신의 사진을 복귀 메시지에 포함시킬 기회를 가질 수 있다.
[00186] 포토/메모리 메이커
[00187] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)가 이벤트에 대한 포토그래퍼의 역할을 함으로써 PCD(100)는 사진/메모리 메이커 피쳐를 포함할 수 있다. 이를 위한 2가지 모드가 존재한다:
[00188] PCD 스냅 모드
[00189] 이 모드에서, 사진 안에 있길 원하는 사용자들이 함께 서있을 수 있고 "PCD, 우리 사진을 찍어"라고 말한다. PCD(100)는 확인응답한 후, 구두(verbal) 큐들을 사용하여 "백업", "왼쪽으로 이동" 등과 같은 큐들을 이용하여 카메라 이미지에서 사람/들을 중앙에 위치시킨다. 이들이 적절하게 위치될 때 PCD(100)는 이들에게 멈춰있으라고 말한 후, 미소("치즈" 등)를 유도하는 특정한 짧은 어구를 사용한다. PCD(100)는 이들이 미소를 짓고 있지 않다면 말하여 계속해서 미소를 유도하도록 시도하기 위해 얼굴 표정 인식을 사용할 수 있다. 이미지 안에 있는 모든 사용자들이 미소를 짓고 있을 때, PCD(100)는 자동 초점을 이용하여 몇 장의 사진들을 찍고 필요하다면 플래시를 터트릴 수 있다.
[00190] 이벤트 포토그래퍼 모드
[00191] 이 모드에서, 사용자는 특정 시각(또는 원하는 경우 "지금")에 시작하는, 미리결정된 양의 시간 동안 이벤트의 사진들을 찍도록 PCD(100)에게 지시할 수 있다. PCD(100)는 방을 둘러보고 사운드 위치와 얼굴 인식의 조합을 사용하고 사용자 정의 속도로 방에 있는 사람들의 자연스러운 사진들을 찍는다. 생성된 사진들 모두가 PCD(100) 메모리에 국부적으로 저장될 수 있다.
[00192] 일단 사진들이 생성되면, PCD(100)는, 사진들이 PCD(100) 클라우드로 업로드되었음을 사용자에게 알릴 수 있다. 그 때에, 그들이 PCD(100) 앱 또는 웹 인터페이스를 통해 액세스될 수 있고, 가상의 PCD(100)가 사진들의 삭제, 편집, 잘라내기 등의 프로세스를 통해 사용자를 안내할 수 있다. 이후, 이들이 사용자에게 이메일로 전송되거나 또는 페이스북 등에 포스팅될 수 있다. 이 앱의 이러한 "아웃 오브 더 박스(out of the box)" 버전에서, 사진들은, 아래에 설명되는 예를 들어, "살아있는 유산"의 일부로서 월정액 요금으로 제공된 파일링/메타태깅을 갖는 영구 저장소를 이용하여 미리결정된 양의 시간 동안 PCD(100) 클라우드 상에서만 유지될 수 있다.
[00193] 본원에 설명된 바와 같이, 이와 같이, PCD(100)는 개인간 그리고 사회적 기회들을 향상시키는 것을 보조하도록 동작할 수 있다. 일 실시예에서, 애플리케이션, 또는 "앱"은, PCD(100)의 하나 또는 그보다 많은 인터페이스 컴포넌트들에 액세스하고 이들을 동작시켜 사회적 활동을 달성시키도록 PCD(100) 상에 구성되거나 또는 인스톨될 수 있다. 예를 들어, PCD(100)는, 실행될 경우, 하나 또는 그보다 많은 사진들을 찍고 저장하기 위해 PCD(100)가 어느 것을 진행하는지에 따라서 하나 또는 그보다 많은 파라미터들을 수신하도록 사용자와 상호작용하도록 동작하는 팩토리 인스톨식 앱을 포함할 수 있다. 예를 들어, 사용자가 PCD(100)에게 "이번 파티에서 모두 개별적으로 개인 사진을 적어도 한 장씩 찍어줘"라고 말할 수 있다. 응답으로, PCD(100)는 액세스가능한 손님 리스트로부터 파티 손님들의 리스트를 조합하고 각각의 손님의 사진을 찍도록 진행할 수 있다. 일 실시예에서, PCD(100)는 정지상태를 유지하고 손님들이 지나갈 때 개인들에게 그들의 신분에 대해 질의하고 인스턴스를 레코딩하고, 개인 사진을 찍을 수 있다. 다른 실시예에서, PCD(100)는 손님들의 사진들을 찍기 위해서 손님들과 상호작용하고 손님들의 그룹들 앞에서 PCD(100)을 설정하도록 그들에게 요청할 수 있다. 파티의 지속기간과 같은 일 시간의 기간 동안, PCD(100)는 사회적 이벤트를 문서화하는 것을 포함하여 사회적 목적/활동의 성취 시 사용자의 희망에 따라 파티 손님들의 사진을 2장 이상 획득한다.
[00194] 다른 예시적인 실시예들에 따르면, PCD(100)는 사회적 신호들을 판독하고 그에 반응할 수도 있다. 예를 들어, PCD(100)는, 사용자가 더 부드럽게 말할 필요를 다른 사람에게 표시한다는 것을 관측할 수도 있다. 응답으로, PCD(100)는 자신이 구두 통신(verbal communication)들을 출력하는 볼륨을 낮출 수도 있다. 유사하게, PCD(100)는, 껴안아지거나 또는 쓰다듬어지는 경우(stroke), 만족감을 표시하는 사운드들을 방출할 수도 있다. 다른 실시예들에서, PCD(100)는 사회적 신호들을 방출하거나 그렇지 않으면 출력할 수도 있다. 예를 들어, 사용자가 약속이 늦어서 뛰고 있다고 감지하는 PCD(100)는, 사용자의 이동 속도를 앞당기기 위해 겉보기에 과민한 상태로 앞뒤로 흔들거릴 수도 있다.
[00195] 인터액티브 캘린더
[00196] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 퇴근(outside of work) 이후의 사용자 및 가족 용무를 캡쳐하도록 캘린더 시스템을 이용하여 구성될 수도 있다. PCD들(100)은, 그들의 사용자들이 허가를 제공하면, 캘린더들을 다른 PDC(100)들의 캘린더들과 공유 및 통합할 수 있을 수도 있으므로, 모든 각각의 가정 내의 PCD(100)를 갖는 전체의 확장된 가족이 모든 사람들에 대한 단일의 통합된 캘린더를 가질 수 있을 것이다.
[00197] PCD(100)들의 캘린더 내의 아이템들은, 적절한 정보, 즉 초기에는 약속이 있는 가족 멤버(들)의 이름, 그들이 약속/이벤트에 대해 어떻게 느끼는지, 날짜 또는 날짜-특정 정보(휴일 등) 등으로 메타태그될 수도 있다. 입력될 수도 있는 이벤트들의 타입들은, 기상 시간들, 식사 시간들, 약속들, 리마인더들, 전화 통화들, 집안 일들/정원일 등을 포함하지만 이에 제한되지는 않는다. 모든 이벤트들이 특정한 시간으로 셋팅될 필요는 없음을 유의하며, 이벤트들이 센서 입력들에 대해 예측되어 스케줄링될 수도 있는 등의 식이고, 예를 들어, "당신이 내일 아침에 나를 처음에 보면 내 우산을 챙기라고 나에게 리마인드 해 주세요"이다.
[00198] PCD(100)들의 캘린더로의 아이템들의 엔트리는 다수의 방식들로 달성될 수도 있다. 일 실시예는 안드로이드 앱 또는 웹 인터페이스를 이용하며, 여기서, 가상 PCD(100)는 프로세스를 통해 사용자를 안내한다. 이러한 포인트에서, 사용자가 apt/이벤트에 대해 어떻게 느끼는지를 PCD(100)에게 나타내기 위해 이모티콘들 또는 다른 인터페이스가 사용될 수 있다. 이러한 모드에서의 캘린더의 그래픽적인 묘사는 아웃룩과 유사할 수도 있어서, 사용자가 다른 네트워크 멤버들의 이벤트들/앱들을 관측하게 한다. PCD(100) 캘린더는 또한, 이와 관련하여 아웃룩이 행하는 것과 유사한 약속 충돌회피(de-confliction)를 위한 특성을 가질 수도 있다.
[00199] 몇몇 실시예들에서, 사용자들은 또한, 자연 언어 인터페이스를 통해 캘린더에 아이템들을 부가할 수 있을 수도 있다("PCD, 나는 화요일 1PM에 치과 예약이 있고, 30분 전에 나에게 리마인드 해 주세요", 또는 "PCD, 저녁은 오늘 밤 5:30PM이다"). 사용자에 의해 통신되지 않으면, 사용자 느낌이 그 이후에 PCD(100)에 의해 질의될 수도 있어서(예를 들어, 그 약속에 대해 당신은 어떻게 느끼셨나요), 적절한 감정 메타태깅을 허용한다.
[00200] 일단 이벤트 리마인더가 트립되면, PCD(100)는 2개의 방식들 중 하나로 리마인더를 따라 전달할 수도 있다. 리마인더가 셋팅되었던 사용자가 PCD(100)의 환경에 존재하면, 그는, 구두 리마인더, 애니메이션, 안면 표현들 등이 완비된 리마인더를 따라 대면하여(in person) 전달할 것이다. 안면 표현의 감정 내용은, 예컨대 이모티콘 또는 사용자 구두 입력들을 통해 이벤트의 메타태깅으로부터 도출될 수도 있다. 그의 작동들은 또한, 알려진 맥락으로부터 도출될 수 있다(예를 들어, 그는 깨어날 경우 항상 졸릴 것이거나, 식사시간에는 항상 배가 고프다). 상이한 이벤트들에 맥락적으로 적절한 표현들은, 주기적으로 내용을 저술하여 그것을 비-반복적이고 즐거운 것으로 유지함으로써 리프레쉬될 수 있다.
[00201] 리마인더가 발생하는 사용자에게 PCD(100)가 물리적으로 존재하지 않으면, PCD(100)는 그들에 대해 콜 아웃(call out)될 수 있다. 그러한 예시에서, 그들이 이에 응답하지 않으면, PCD(100)는 그들의 핸드폰에 리마인더를 문자로 전송할 수도 있다.
[00202] 리스트 관리자
[00203] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 리스트 관리자 특성을 이용하여 구성될 수도 있다. 이러한 특성에 따르면, PCD(100)는 사용자의 요청 시에, 일단 그들이 쇼핑 트립을 위해 떠나면 사용자에게 문자로 전송될 수 있는 할일(to-do) 리스트들 또는 쇼핑 리스트들을 생성할 수도 있다. 특성은 간단한 터치 인터페이스를 통해, 또는 이상적으로는 자연 언어 인터페이스를 통해 사용자에 의해 개시될 수도 있다. 사용자는 행해질 리스트의 타입을 특정할 수도 있다(예를 들어, "식료품", "의류들", "할일", 또는 특정한 타입의 상점 또는 상점 명칭). PCD(100)는 리스트 상에 초기에 존재하는 것을 요청할 수도 있으며, 사용자는 PCD(100)가 일들을 리스트에 부가하게 하기 위해 구어(spoken word)를 통해 응답할 수도 있다. 임의의 추후의 시간에서, 사용자는 다른 아이템들을 리스트에 부가하도록 PCD(100)에게 요청할 수도 있다.
[00204] 몇몇 실시예들에 따르면, PCD(100)는, 아이템이 리스트에 부가되어야한다는 것을 결정하기 위해 일상 대화를 파싱할 수 있을 수도 있다. 예를 들어, 방 내의 어떤 사람이 "우유가 없다"고 말하면, PCD(100)는 우유를 식료품 리스트에 자동적으로 부가할 수도 있다.
[00205] PCD(100)가 리스트를 보유하고 있는 상점으로 트립을 위해 사용자가 떠나는 경우, 사용자는 적절한 리스트를 그들에게 문자로 전송하도록 PCD(100)에게 요청할 수도 있으므로, 그들이 상점에서 쇼핑하고 있는 경우, 그 리스트가 그들에게 이용가능하게 될 것이다. 부가적으로, 사용자가 상점 근방이긴 하지만 PCD(100)로부터 떨어지면, 그들은 안드로이드 또는 웹 앱을 통해 전송하도록 리스트를 요청할 수도 있다.
[00206] 사용자의 복귀 시에(즉, 다음에 PCD(100)는, 사용자가 그들에게 텍스트로 전송하도록 리스트를 요청했던 이후에 그 사용자를 관측함), PCD(100)는 트립이 어땠는지/사용자가 리스트 상의 모든 것을 발견했는지를 문의할 수도 있다. "예"라면, PCD(100)는 리스트를 클리어하고 리스트에 부가될 다른 아이템들을 대기할 것이다. "아니오"라면, PCD(100)는, 구매되지 않았던 것에 대해 질의하고, 리스트로부터 다른 모든 아이템들을 클리어할 것이다.
[00207] 할일 리스트들의 경우, 사용자는 PCD(100)에게 "나는 X를 했어"라고 말할 수도 있으며, 그 아이템은 저장된 리스트로부터 제거될 수도 있다.
[00208] 사용자들은 또한, 그들에게 문자로 전송된 다른 사람의 PCD-생성된 리스트를 갖도록 요청할 수도 있다(적절한 허가들을 보류중임). 예를 들어, 성인이 나이가 많은 부모님께 PCD(100)를 제공하면, 그 성인은, 그들의 부모의 PCD(100)에 의해 생성된 쇼핑 리스트를 그들에게 전송하도록 PCD(100)에게 요청할 수 있으므로, 성인이 스스로 쇼핑하고 있었던 동안 그들은 그들의 부모님들의 식료품을 획득할 수 있거나, 성인은, 그들이 임의의 필요한 툴들을 갖는다는 것을 보장하기 위해 방문 이전에 어머니의 "할일" 리스트에 대해 PCD(100)에게 문의할 수 있는 등의 식이다.
[00209] 잘 알고 있는 PCD
[00210] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 "잘 알고 있는" 특성을 이용하여 구성될 수도 있다. 이러한 특성에 따르면, PCD(100)는, 사용자가 관심있는 뉴스들, 날씨, 스포츠 등을 사용자에게 최신으로 유지할 수도 있다. 이러한 특성은, 간단한 더치 인터페이스, 또는 이상적으로는 자연 언어 커맨드(예를 들어, "PCD(100), 전날 밤의 야구 스코어들을 나에게 알려줘")를 사용하여 요청 시에 액세스될 수도 있다.
[00211] 사용자는, 하루의 특정한 시간들에서 "정보 세션들"을 셋업하기 위한 능력을 가질 수도 있다. 이것은, 웹 또는 모바일 앱 인터페이스를 통해 행해질 수도 있다. 이러한 특성을 사용하면, PCD(100)는 하루의 특정한 시간들에서 특정한 정보를 중계하도록 스케줄링될 수도 있다. 예를 들어, 사용자는, 사용자가 깨어난 이후 뉴스를 제공하도록 그들의 PCD(100)를 프로그래밍할 수도 있다. 사용자가 "예"라고 말하면, PCD(100)는 사용자가 자신의 "모닝 브리핑"으로 요청한 정보를 전달할 수도 있다. 이것은, 팀 스코어들/뉴스, 날씨, 주요 신문으로부터의 헤드라인들의 리뷰 등을 포함할 수도 있다. PCD(100)는 이들 아이템들의 개관으로 시작할 수도 있고, 임의의 포인트에서 사용자는 특정한 아이템에 대해 더 많이 알도록 요청할 수도 있으며, PCD(100)는 전체 뉴스 아이템을 읽을 것이다.
[00212] 뉴스 아이템들은 "PCD-화"될 수도 있다. 상세하게, PCD(100)는, PCD(100)가 읽고 있는 뉴스에 대한 논설 및 반응을 제공할 수도 있다. 그러한 반응은 AI 생성의 결과로서 맥락적으로 관련있을 수도 있다.
[00213] 분위기, 활동, 환경 모니터
[00214] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, PCD(100)에 대한 애플리케이션의 형태로 분위기, 활동, 및 환경 모니터 특성을 이용하여 구성될 수도 있다. 이러한 애플리케이션은, 예컨대 나이가 많은 부모님을 위하여 이미 PCD(100)를 구매했던 사람에 의해 구매될 수도 있다. 구매 시에, 웹 인터페이스 또는 안드로이드 앱 인터페이스는 모니터링 셋업 및 상태에 액세스하기 위해 사용될 수도 있다. 가상 PCD(100)는 이러한 프로세스를 통해 사용자를 안내할 수도 있다. 모니터링될 수 있는 것들의 몇몇 예들은, (1) PCD(100)가 있는 방/집 내의 주변 온도, (2) 활동(사람이 매 시간/하루마다 걸었던 횟수, 사람을 보고 있지 않은 시간 수 등), (3) 방 내의 사람/들의 분위기: 센서들로부터의 피드백에 기초한 유한한 세트의 선택들 중 하나로서 표현됨(안면 표현들, 웃음 빈도, 특정한 단어들/어구들의 사용 빈도 등) 및 (4) PCD(100)가 약제가 취해졌는지를 문의하는 것 또는 약제가 취해졌는지를 명시적으로 관찰하는 것 중 어느 하나를 통해 약제 정책(medication regime)들에 대한 준수(compliance)를 모니터링할 수도 있는 것을 포함한다.
[00215] 셋팅될 수도 있는 모니터들의 상태는 앱 또는 웹 인터페이스를 통해 체크될 수 있거나, 그 후, 경고 레벨이 초과된 경우(예를 들어, 집안이 너무 춥다, 어떠한 사람도 임계 시간 양에서 걸어다니지 않음), 텍스트가 PCD(100)에 의해 모니터링 사용자에게 전송될 수 있다. 부가적으로, PCD(100)는, 예를 들어, 너무 춥다면 한기를 느껴 온도를 높이도록 요청하는 것과 같이, 앱 또는 웹 인터페이스를 통해 모니터링 사용자에 의해 셋팅된 특정한 조건들이 충족되는지를 사용자에게 자율적으로 리마인드할 수도 있다.
[00216] 무드 링
[00217] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 무드 링 특징을 이용하여 구성될 수 있다. 무드 링 특징은, 사용자의 기분/감정 상태의 표시자 및 심지어 인플루언서(influencer)로서의 역할을 하도록 PCD(100)의 센서들을 사용할 수 있다. 이 특징은 사용자의 감정 상태의 실시간 로그를 유지할 수 있다. 이 표시자는 표정 인식(facial expression recognition), 체온, 안구 운동, 활동 레벨 및 타입, 스피치 운율, 키워드 사용, 및 심지어 PCD(100)가 사용자에게 그들이 어떻게 느끼고 있는지를 묻는 것과 같은 단순한 기술들의 융합에 기초할 수 있다. PCD(100)는, 그의 해석들을 정정하고 그리고 시간에 따라 사용자의 더 나은 감정 모델을 만들기 위해 사용자 검증 기술들(예컨대, 묻기)을 시도할 것이다. 이는 또한, PCD(100) 클라우드로부터의 "클라우드 소싱" 학습 데이터(검증된 센서 데이터 <-> 다른 사용자들로부터의 감정 상태 맵핑들)를 수반할 수 있다. 도 9를 참조하면, 예시적이고 비제한적인 실시예의 흐름도(900)가 예시된다. 단계(902)에서, PCD(100)는 그의 감정 상태를 결정하기 위해 사용자 바디/얼굴/스피치 상세사항들을 해석한다. 시간에 따라, PCD(100)는 감정 상태를 결정하기 위해 사용자 바디/얼굴/스피치 상세사항들을 정확하게 해석할 수 있다.
[00218] 일단 PCD(100)가 사용자의 감정 상태를 결정했다면, 단계(904)에서, 그는 이것을 다른 사람들에게 보고한다. 이는 다수의 방식들로 이루어질 수 있다. (예컨대, 병원 셋팅에서) 코-로케이팅되는 돌보는 사람(caregiver)들에 대해, PCD(100)는 돌보는 사람이 속하는 개인의 기분을 표시하기 위해 조명/얼굴 그래픽들/자세의 결합을 사용할 수 있고, 따라서 돌보는 사람은 돌봄 하의 개인이 슬펐음/행복했음/화났음/등을 한눈에 알 수 있고 그에 따라 개입할 수 있다(또는 개입하지 않을 수 있다).
[00219] 코-로케이팅되지 않은 돌보는 사람들(예컨대, 여전히 혼자 사는 노부모를 돌보는 성인)에 대해, PCD(100)는, 자신이 어느 데이터를 제시하는지 그리고 어느 시간 기간들 동안 제시하는지에 관하여 맞춤 가능한 모바일/웹 앱을 통해 이 감정 상태 데이터를 제공할 수 있다.
[00220] 일단 사용자의 기분의 이러한 이해가 설정되면, 단계(906)에서, PCD(100)는 그 기분의 변화를 시도하고 실행한다. 이는 독자적으로 일어날 수 있는데, PCD(100)는 이야기/농담 말하기, 연민, 게임 플레이, 감정 미러링 등의 프로세스를 통해 사용자 감정 상태의 긍정적 변화를 유발하려고 노력한다. 대안적으로, 주요 사용자가 부정적 감정 상태에 있음을 PCD(100)에 의해 통보받을 때, 돌보는 사람은, 그들이 알 수 있는 특정한 것들을 말하고/시도하고/수행하도록 PCD(100)에게 지시할 수 있고, 이는 이러한 특정 상황에서 부정적 감정들을 완화시킬 것이다.
[00221] 종야등
[00222] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 종야등 특징을 이용하여 구성될 수 있다. 이 특징에 따라, PCD(100)는 사용자가 한밤중에 웨이크한다면 애니메이팅되는 종야등으로서 동작할 수 있다. 정확한 조건들이 충족된다면(예컨대, 시간이 한밤중이고, 주변광이 매우 낮고, 장시간 동안 정적 및 침묵 또는 슬리핑 소음들이 존재했고, 이후에 갑자기 이동 또는 말하기가 존재한다면), PCD(100)는 부드럽게 웨이크할 수 있고, 진정시키는 색으로 방울(pompom)을 조명할 수 있고, 아마도 사용자가 오케이(OK)하는지를 질문할 수 있다. 몇몇 실시예들에서, PCD(100)는 진정시킬 수 있는 활동 또는 앱을 제안할 수 있고, 사용자가 자러 돌아가는 것을 도울 수 있다.
[00223] 무작위 귀여움 동작들
[00224] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 무작위 귀여움 동작들 특징을 이용하여 구성될 수 있다. 이 특징에 따라, PCD(100)는 기쁘게 하도록 또는 진지하게 생각을 하게 하도록 설계되는 식으로 온종일 다양한 시간들에 이러니저러니 말하고/질문들을 하도록 동작할 수 있다. 일 실시예에서, 이 기능은 PCD(100)와의 자유로운 형태의 자연 언어 대화를 수반하는 것이 아니라, 생각/대화를 위한 소재로서 재미있고, 귀엽고, 웃긴 것들 등을 말할 PCD(100)의 능력을 수반한다.
[00225] 몇몇 실시예들에서, PCD(100)는 생성, 유지, 및 가끔 리프레쉬되는 속담들, 문구들, 농담들 등의 데이터베이스 ―이 데이터베이스는 PCD(100) 내부에 있거나 또는 외부적으로 위치됨― 에 액세스할 수 있다. 데이터는 예컨대 날씨, 스포츠, 뉴스 등으로부터 나올 수 있다. RSS는 다른 PCD(100)들로부터의 클라우드 소싱, 및 사용자 프로파일들을 피딩한다. 이러한 비트들을 메타태깅하고 메타태그들을 개별 PCD(100) 사용자 선호도들과 비교하는 프로세스를 통해, 적절한 사실 또는 속담이 모든 각각의 개별 PCD(100)에 전송될 수 있다.
[00226] PCD(100)가 무작위 귀여움 동작을 전달하기로 결정할 때, PCD(100)는 클라우드에 연결될 수 있고, 사용자 ID 등을 제공할 수 있으며, 데이터 저장소로부터의 비트를 요청할 수 있다. 위에서 설명된 바와 같이, 서버는 사실을 사용자 선호도들, 요일/날짜/시간, 사용자의 홈 영역의 날씨 등에, 그 사용자에 전달할 최선의 비트를 결정하기 위해 매칭시킬 것이다.
[00227] 몇몇 실시예들에서, 이 특징은 단순한 질문의 형태를 취하도록 기능할 수 있는데, 여기서 질문은 답변의 인식을 더 쉽게 만들기에 충분할 정도로 구체적이고, 동시에 이러한 질문들에 대한 답변들은 그 사용자의 프로파일을 형성하는 것을 돕는데 사용될 수 있으며, 따라서 정확한 시간들에 그/그녀의 PCD(100)에 전달되는 비트들을 더욱 잘 피팅하는 것이 보장된다. 다른 실시예들에서, 사용자는 단순한 터치 인터페이스를 통해 또는 자연 언어 인터페이스를 통해 귀여움 동작을 구체적으로 요청할 수 있다. 몇몇 실시예들에서, 이 특징은 이러한 특정한 사용자가 관심이 있는 비트들을 제공하는데 호전되도록 알고리즘을 인에이블링하기 위해서 "좋아요/싫어요" 사용자 피드백 권유를 사용할 수 있다.
[00228] DJ PCD
[00229] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 DJ 특징을 이용하여 구성될 수 있다. 이 특징에 따라, PCD(100)는 뮤직 플레이, 댄싱, 및 PCD(100)로부터의 제안들을 특징으로 하도록 동작할 수 있다. 이 특징은 여러 모드들에서 동작할 수 있다. 이러한 모드들 또는 기능들은 단순한 터치 인터페이스(시작부터 원하는 동작까지 2개 이하의 두드림들)를 통해 또는 다른 실시예들에서 자연 언어 인터페이스를 통해 액세스 및 제어될 수 있다. 뮤직은 로컬로 저장될 수 있거나 또는 외부 소스로부터 수신될 수 있다.
[00230] PCD(100)가 이 특징을 사용하여 노래를 플레이할 때, PCD(100)는 노래에 댄스 애니메이션들, 조명/컬러 쇼들, 표정들 등을 동반시키기 위해 박자 트랙킹(beat tracking)을 사용할 수 있다. PCD(100)의 노래 선택은, 하기와 같은 모드들 중 어느 모드가 선택되는지에 따라 좌우될 수 있다:
[00231] 쥬크박스 모드
[00232] 이 모드에서는, PCD(100)가 사용자가 선택하는 특정한 노래, 아티스트, 또는 앨범을 플레이할 수 있다.
[00233] 무드박스 모드
[00234] 이 모드에서는, 사용자가 특정한 무드의 노래를 요청한다. PCD(100)는 노래를 선택하기 위해 무드 메타태그들을 사용할 수 있다. 사용자는 판도라와 유사하게 노래들에 대한 피드백을 제공할 수 있고, 이는 PCD(100)가 미래 선택들을 위해 가중치들을 맞추도록 허용한다.
[00235] 앰비언트 뮤직 모드
[00236] 일단 사용자가 이 모드를 선택하면, PCD(100)는 방에서 배경 분위기를 생성하기 위해서 플레이할 노래들 및 이 노래들을 플레이할 볼륨들을 선택하기 위해 웹으로부터의 정보(날짜, 주중 요일, 하루중 시간, 달력 이벤트들, 바깥 날씨 등), 뿐만 아니라 센서들(102, 104, 106, 108, 112)(예컨대, 방에 있는 사람들의 수/활동 레벨, 소음 레벨들 등)로부터 정보를 사용한다. 사용자들은 볼륨을 제어하거나 노래를 스킵할 능력을 가질 수 있다. 부가하여, 앰비언트 뮤직 모드를 떠나지 않고, 사용자들은 아무 때나 특정한 노래를 요청할 수 있다. 요청된 노래는 플레이될 수 있고, 그리고 (볼륨 변경들에 대해서와 같은) 사용자 선택은 미래 선택 가중치들에 사용될 수 있다.
[00237] PCD 선호들
[00238] 몇몇 실시예들에서, 이 모드에 직접 액세스할 수 있지만("어떤 종류의 뮤직을 좋아하세요, PCD?"), PCD(100)는 또한 때때로, 노래들의 스트림에 하나 또는 그 초과의 선택들을 끼워넣을 수 있거나, 또는 쥬크박스 또는 무드박스 모드의 개시 시 선택을 플레이하려고 노력할 수 있다(앰비언트 뮤직 모드에서는, PCD(100)가 이를 수행하지 않을 수 있다). PCD의 뮤직 선택들은, PCD(100) 주식회사(Inc)로부터 규칙적으로 업데이트되는 목록들에 기초할 수 있거나, 작곡가들에 의해 생성될 수 있거나 또는 예컨대 다른 PCD들로부터의 클라우드 소싱 노래 선택들에 의해 생성될 수 있다. PCD(100) 선호들은 또한, 사용자의 네트워크의 특정한 PCD(100)로부터 특정한 노래를 뽑을 수 있는데, 예컨대, PCD(100)는 "당신 딸이 이 노래를 줄곧 지금 요청하고 있어요"를 알릴 수 있고, 이후 딸의 즐겨찾기 노래를 플레이할 수 있다.
[00239] 댄싱 PCD
[00240] 예시적이고 비제한적인 실시예들에 따라, 임의의 모드에서 노래를 플레이한 후, PCD(100)는 그것이 어땠는지를 물을 수 있거나(그리고 사용자의 답변에 따라 적절하게 행복 또는 슬픔으로 응답할 수 있음), 또는 사용자가 얼마나 잘 댄싱했는지에 관한 점수를 사용자에게 제공할 수 있다. 또한, PCD(100)는 사용자 댄싱의 포토들을 캡쳐할 수 있고, 그리고 이 포토들을 사용자의 PCD 프로파일, 소셜 미디어 사이트에 업로딩하거나 또는 이 포토들을 이메일링하도록 제공할 수 있다. 다양한 기능 모드들이 하기를 포함한다:
[00241] 상대방 복사
[00242] 이 모드에서는, PCD(100)가 플레이할 노래를 선택하고, 이후 비스(vis)/RGBD 카메라 시야에서 사용자를 포착하기 위해 사운드 위치/얼굴/골격 트랙킹을 사용한다. 사용자가 뮤직을 따라서 댄싱할 때, PCD(100)는 사용자의 댄스를 모방하려고 노력할 수 있다. 사용자가 뮤직에 박자를 맞추는데 실패한다면, 뮤직은 속도가 떨어지거나 올라갈 수 있다. 노래의 끝에서, PCD(100)는 사용자의 이동들을 복사할 때 그것이 어떻게 수행했는지를 물을 수 있거나, 또는 사용자가 얼마나 잘 박자를 맞추었는지에 관한 점수를 사용자에게 제공할 수 있다. 또한, PCD(100)는 사용자 댄싱의 포토들을 캡쳐할 수 있고, 그리고 이 포토들을 사용자의 PCD 프로파일, 소셜 미디어 사이트에 업로딩하거나 또는 이 포토들을 사용자에게 이메일링하도록 제공할 수 있다.
[00243] 카피 PCD
[00244] 이 모드에서, PCD(100)는 춤추고, 사용자는 춤을 모방하려고 노력한다. 다시, 사용자가 양호하게 임무를 완수하고 있지 않는 경우, 음악의 재생에 영향을 미친다. 일부 실시예들에서, 별개의 스크린은 사용자 및 PCD(100) 둘 모두가 모방하기 위한 인간 댄서를 도시한다. 사용자 및 PCD(100) 둘 모두는 그들의 춤을 추고, 그 다음, PCD(100)는 자기 자신과 사용자 둘 모두를 등급화(grade)한다.
[00245] 춤추기
[00246] 이 모드에서, 사용자는 라디오, iPod, 노래부르기, 허밍 등으로부터 음악을 재생하고, PCD(100)는 춤을 추려고 노력하여, 그것이 결국 얼마나 잘 수행하였는지를 묻는다.
[00247] 스토리 액팅/애니메이팅
[00248] 예시적이고 비제한적인 실시예들에 따라, PCD(100)는 스토리 액팅/애니메이팅 피쳐(feature)로 구성될 수 있다. 이 피쳐에 따라, PCD(100)는 사용자가 PCD(100)와의 상호작용적 수행에 대한 플레이들을 구입하게 하도록 동작할 수 있다. 도 10을 참조하면, 예시적이고 비제한적인 실시예의 흐름도(1000)가 예시된다. 단계(1002)에서, 플레이들은 구입되고 사용자의 PCD 클라우드 프로파일에 저장될 수 있거나, 이들은 넷플릭스(Netflix) 스타일로 렌트될 수 있다.
[00249] 플레이들/씬들의 구입은, 예를 들어, 안드로이드 앱 또는 웹 인터페이스를 통해 발생할 수 있고, 여기서, 가상 PCD(100)는 구입 및 설치 프로세스를 통해 사용자에게 안내할 수 있다. 일부 실시예들에서, 단계(1004)에서, 사용자들은 자신들이 수행하기를 원하는 플레이/씬을 선택할 수 있다. 이 선택뿐만 아니라, 그것을 이용하는 동안의 피쳐의 제어는 단순한 터치 인터페이스(PCD(100)의 아이(eye) 또는 바디)를 통해 또는 자연 언어 인터페이스를 통해 달성될 수 있다. 단계(1006)에서, 일단 사용자가 플레이를 선택하면, PCD(100)는 사용자가 리허설하거나 수행하기를 원하는지 여부를 물어볼 수 있고, 이는 진입될 모드를 지시할 것이다.
[00250] 선택된 모드와 관계없이, 단계(1008)에서, PCD(100)는 사용자가 어떤 캐릭터가 플레이에 있기를 원하는지 사용자에게 물어봄으로써 시작할 수 있다. 이것 이후, 먼저, PCD(100)는 그 플레이가 다시 선택되는 경우, 그 선택을 검증할 것이고, 사용자는 언제라도 변경할 수 있다.
[00251] 리허설 모드
[00252] 단계(1010)에서, 일단 사용자가 리허설 모드에 진입하면, PCD(100)는 사용자가 플레이에 익숙하도록 플레이를 수행하도록 제안할 수 있다. 사용자가 이미 익숙한 경우, 사용자는 이것을 스킵할 수 있다. 단계(1012)에서, PCD(100)가 플레이를 수행하기를 사용자가 원하는 경우, PCD(100)는 사용자가 판독을 수행할 때 사용자의 역할에 대한 라인들을 강조할 수 있다.
[00253] 이 판독 이후, 단계(1014)에서, PCD(100)는 라인들을 사용자에게 교시하는 것을 시작할 수 있다. 각각의 라인에 대해, PCD(100)는 촉구(prompt) 및 라인을 통지하고, 그 다음, 사용자가 라인을 열거(recite)하는 동안 터치 스크린(104) 상에 단어들을 보여줄 수 있다. PCD(100)는 스피치 인식을 이용하여 사용자가 정확한지 여부를 결정할 수 있으며, 사용자가 라인을 정확하게 반복할 때까지 계속 노력할 것이다. 그 다음, PCD(100)는 촉구를 사용자에게 제안하고, 사용자들이 라인을 반복하게 할 수 있어, 사용자가 촉구에 대해 라인을 적절히 반복할 수 있을 때까지 다시 노력한다. 그 다음, PCD(100)는 다음 라인으로 이동할 수 있다.
[00254] 단계(1016)에서, 일단 사용자가 모든 라인들을 습득한 경우, PCD(100)는 응답의 적절한 라인에 대해 체크하고 필요한 경우 사용자에게 촉구하여 모든 촉구들을 소모할 것이다.
[00255] 먼저, 촉구들은 라인을 제안하는 형상으로의 아이 모핑(eye morphing)을 갖는 그래픽 형태를 취할 수 있다는 점이 주목된다. 이것은 촉구에서의 첫 번째 시도일 수 있고, 사용자가 여전히 라인을 기억할 수 없는 경우, PCD(100)는 언어적 촉구(verbal prompting)로 진행할 수 있다.
[00256] 수행 모드
[00257] 단계(1018)에서, 일단 사용자가 자신이 나타내길 원하는 캐릭터에 대한 모든 라인들을 기억한다면, 사용자는 수행 모드에 진입할 수 있다. 이 모드에서, PCD(100)는, 사용자가 자신의 라인들을 말하게 하도록 일시정지(pause)하고 사용자가 더듬거리거나 잊은 경우 촉구하여, 플레이의 풀 업 수행을 이행할 것이다. PCD(100)는 이 수행 동안, 심지어 사용자-전달 라인들 동안에도, 전체 사운드 효과들, 배경 음악, 애니메이션들 및 조명 효과들을 이용할 것이다. 일부 실시예들에서, 플레이가 수행된 이후, PCD(100)는, (가능한 경우) 사용자가 플레이하는 캐릭터의 입에 동기화되고 포함되는 사용자의 라인들 동안 사용자의 음성 오디오를 갖는 플레이의 카툰(cartoon)/애니메이션(animated) 버전을 생성할 수 있다. 이 카툰은 PCD 클라우드에 저장되거나, 소셜 미디어 사이트들에 포스팅되거나, 공유/기억하기 위해 사용자에게 이메일 전송될 수 있다. 일부 실시예들에서, PCD(100)는 또한, 다수의 참여자들(각각은 그들 자신의 캐릭터를 플레이함)에 의해 플레이들을 수행하도록 구성될 수 있고, 참여자들은 (예를 들어, 텔레플로우(teleflow)의 다른 종단에서) 원격일 수 있다.
[00258] 춤추는 PCD - 공유
[00259] 예시적이고 비제한적인 실시예에 따라, PCD(100)는 위에서 설명된 춤추는 PCD 앱의 추가 피쳐를 이용하도록 구성될 수 있다. 이 피쳐의 일부 실시예들에서, 사용자는 PCD(100)에 대한 관습 춤(custom dance)을 생성할 수 있다. 이것은 모바일 또는 웹 앱을 통해 생성되어서, 사용자가 노래를 고르고 PCD(100)가 음악과 함께 수행하도록 함께 조합할 춤 동작들을 선택하게 한다. 사용자는 또한, PCD(100)가 춤이 PCD(100)와 협력적으로 생성되도록 춤 동작을 고르게 할 수 있다. 일부 실시예들에서, 조명/사운드 효과들(예를 들어, PCD가 "get down!"이라 말함)이 추가되어 춤과 동기화될 수 있다. 다른 실시예들에서, 가상 PCD(100)에 의해 수행되는 친구들에게 보여지고, 온라인에 저장되는 등의 식으로, PCD(100) 춤들은 다른 PCD들(100)에게 전송될 수 있다. 사용자는 또한, 다른 PCD(100) 사용자들에 의해 생성되는 다른 PCD(100) 춤들을 플레이할 수 있다.
[00260] 셀러브리티 (Celebrity) 생성 컨텐츠
[00261] 예시적이고 비제한적인 실시예들에 따라, 이 피쳐는 사용자가 자신의 PCD(100) 셀러브리티 생성 컨텐츠에 대해 다운로드 또는 스트리밍하게 한다. 컨텐츠는 웹 인터페이스 또는 안드로이드 앱을 통해 선택되며, 여기서, 가상 PCD(100)는 컨텐츠 구입의 프로세스를 통해 사용자에게 안내할 수 있다. 컨텐츠는 다음 중 어느 하나일 수 있다:
[00262] 프리레코딩 (Prerecorded)
[00263] 이것은 영화들, Mystery Science Theater 3000 타입의 농담들 등에 대한 디렉터/액터 해설을 포함할 수 있다. 모든 컨텐츠는 영화에 단서가 주어질 수 있다. 오디오 워터마킹은 컨텐츠의 PCD(100)의 전달을 시청되고 있는 미디어와 동기화하기 위해 이용될 수 있다.
[00264] 라이브 스트리밍
[00265] 이 모드에서, PCD(100)는 중심 위치에서 셀러브리티/전문가(pundit)에 의해 실시간으로 생성되고 있는 컨텐츠를 스트리밍할 수 있다. 컨텐츠 크리에이터는 또한, 말한 단어를 보완하도록 애니메이션들/조명/컬러 효과들을 달성하기 위한, 실시간 "인형(puppet)" PCD(100)에 대한 능력을 가질 수 있다. 이러한 경우들에서, 컨텐츠 크리에이터가 이론적으로 사용자와 동시에 이벤트를 시청하고 실시간으로 해설을 생성할 것이기 때문에, 어떠한 오디오 워터마킹도 필요하지 않다. 이것은 정치 전문가들이 대통령 연설들, 선거 보도 등에 대해 해설을 제공하는 것 또는 사용자의 좋아하는 선수가 스포츠 이벤트에 대한 해설을 제공하는 것을 포함할 수 있다.
[00266] 예시적이고 비제한적인 실시예에 따라, PCD(persistent companion device)(100)는 사람 또는 사람들의 환경 내에서 계속적으로 또는 거의 계속적으로 상주하도록 적응된다. 일 실시예에서, 사람은 사람을 식별하는 다양한 파라미터 데이터가 PCD에 의해 포착되거나 PCD에 이용가능하게 이루어지는 사람의 특정 예이다. 아래에서 더 충분히 설명되는 바와 같이, 사람의 ID와 더불어, PCD(100)는 동작(스케줄들, 루틴들, 습관들 등), 선호도들, 태도들, 목표들, 과제들 등의 패턴들을 추가로 인식할 수 있다.
[00267] 식별 파라미터 데이터는 예를 들어, 위에서 설명된 센서들(102, 104, 106, 108, 112) 중 하나 또는 둘 이상을 이용하는 음성 인식, 안면 인식 등을 이용하여 사람의 존재를 식별하기 위해 이용될 수 있다. 파라미터 데이터는, 이를테면, PCD(100)의 메모리 내에서 로컬로 또는 PCD(100)가 이를테면, 블루투스, 와이파이 등을 통해 유선 또는 무선 통신하는 서버 상에서 원격으로 저장될 수 있다. 이러한 파라미터 데이터는 PCD(100) 또는 서버에 수동으로 입력될 수 있거나, 초기화 프로세스의 일부로서 또는 시간이 지남에 따라 PCD(100)에 의해 포착될 수 있다.
[00268] 예를 들어, 그렇지 않고 초기화되지 않은 PCD(100)를 사용자의 환경으로 이동시킬 시, 사용자는 PCD(100)가 사용자의 음성, 안면 피쳐들 등(및 다른 관련 사실 정보)의 예를 포착하기 위해 함께 상호작용/동작되는 초기화 프로시저를 수행할 수 있다. 아래에서 더 충분히 설명되는 패밀리 허브(family hub) 실시예에서, 소셜 네트워크를 형성하는 사용자들이 연장된 패밀리를 포함하는 경우, 다수가 존재할 수 있다. 이 데이터는 PCD(100) 내에 저장될 수 있으며, 마찬가지로, 이를테면, 예를 들어, 서버에서 외부 저장을 위해 PCD(100)에 의해 통신될 수 있다. 다른 식별 사용자 데이터, 이를테면, 사용자 이름, 사용자 생일, 사용자 눈 색, 사용자 헤어 색, 사용자 몸무게 등은, 이를테면, PCD(100)의 부분의 형성 또는 서버의 그래픽 사용자 인터페이스, 스피치 인터페이스를 통해 수동적으로 입력될 수 있다. 일단 파라미터 데이터의 일부가 PCD(100)에 입력되거나 그렇지 않으면 PCD(100)에 의해 포착되면, PCD(100)는 다른 파라미터 데이터를 추가적으로 포착하도록 동작할 수 있다. 예를 들어, 이를테면, 미리 결정된 텍스트를 PCD(100)에 열거함으로써 샘플 음성 시그니처를 제공하는 것을 포함하는 초기화를 수행할 시, PCD(100)는 말하고 있는 사용자를 식별하고 안면 식별에 대해 요구되는 안면 피쳐 데이터를 포착하도록 자율적으로 동작할 수 있다. PCD(100)가 사용자의 환경 내에서 지속적 존재를 유지할 때, PCD(100)는 사용자의 다양한 파라미터 데이터를 포착하도록 시간이 지남에 따라 동작할 수 있다.
[00269] 일부 실시예들에서, 초기화 동안에, PCD(100)는 사람의 ID 이외의 사람에 관한 관련된 정보를 획득하도록 동작한다. 위에서 언급된 바와 같이, PCD(100)는, 배경 정보, 인구통계 정보, 기호들, 연락 정보(이메일, 셀 폰 등), 관심들, 선호들, 성격 등을 획득하도록 동작할 수 있다. 그러한 경우들에서, PCD(100)는, 예를 들어, "숙지하는(getting acquainted)" 상호작용 동안에, 텍스트 기반/GUI/스피치 입력 정보를 획득하도록 동작할 수 있다. 부가하여, PCD(100)는 또한, PCD(100)로 직접적으로 입력될 수 있을 뿐만 아니라, PCD들(100) 사이에서 공유될 수 있는, 가족 중심(예를 들어, 연장자 부모, 자식 등)의 개인화된 파라미터화된 정보 및 연락 정보를 획득하도록 동작할 수 있다. 아래에서 더 완전히 설명되는 다양한 실시예들에서, PCD(100)는 확장된 가족과의 가족 연결을 용이하게 하도록 동작한다. 아래에서 더 설명되는 바와 같이, 사람의 스케줄, 이벤트들, 기분 등을 포함하지만 이에 제한되지는 않는 일간 정보는, PCD(100)가 사용자에게 어떻게 상호작용하고, 추천하고, 활성들을 제안하고, 정보를 제안하는지 등에 대한 중요한 상황을 제공할 수 있다.
[00270] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)에 의해 획득된 상황적, 종단적 데이터는 적응 시스템을 용이하게 하며, 적응 시스템은, 사용자(들)의 관심들, 선호들, 사용 사례들에 점점 더 맞춰지게 되도록, 그 적응 시스템의 기능들 및 피쳐들을 구성한다. 예를 들어, PCD(100)가, 사용자가 음악을 좋아하는 것을 학습하는 경우에, PCD(100)는, 좋아하는 음악을 발견하고, 그 종류의 음악을 플레이하고, 정보에 근거한 음악 추천들을 할 수 있도록, 클라우드로부터 "음악 속성"을 자동적으로 다운로딩할 수 있다.
[00271] 이러한 방식으로, PCD(100)는 사용자의 생활에 관하여 학습한다. PCD(100)는 실세계에서의 사용자를 감지할 수 있고, PCD(100)는, PCD(100)에 연결된, 다른 디바이스들, 기술들, 시스템들, 개인 컴퓨팅 디바이스들, 개인 전자 디바이스들의 생태로부터 데이터를 수집할 수 있다. 종단적 데이터의 이러한 수집으로부터, PCD(100)는, 그것으로 하여금 사용자에 관하여 학습할 수 있게 하고, 그것이 제공할 수 있는 기능들에 대해 더 우수하게 적응되고 매칭되도록 그 자체를 구성할 수 있게 하는 활성의 패턴들 및 사람에 관하여 학습한다. 중요하게, PCD(100)는, 당신의 생활에서 중요한 사람들(당신의 확장된 가족)인 당신의 사회/가족 패턴들에 관하여 학습하고, 그것은 당신의 감정들/기분들에 관하여 학습하고 추적하고, 그것은 (당신이 어떤 것들을 행하는 경향이 있는 경우에) 중요한 행동 패턴들에 관하여 학습하고, 그것은 당신의 선호들, 기호들 등을 학습하고, 그것은 당신이 알고 싶어하는 것, 당신을 즐겁게 하는 것 등을 학습한다.
[00272] 아래에서 더 완전히 설명되는 바와 같이, PCD(100)는, PCD(100)와 PCD(100)의 사용자의 상호작용들에 관한 데이터를 수집하기 위한 종단적 데이터 수집 기능을 제공하기 위해, 사용자와 상호작용하도록 구성된다.
[00273] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 시각, 청각, 및 촉각 센서들(102, 104, 106, 108, 112)을 수반하는 상호작용을 통해 사용자와의 지속적인 상호작용의 하나 이상의 속성들을 포함하는 종단적 데이터를 획득하도록 구성된다. 각각의 경우에서, 시각, 청각, 및 촉각 감각들은 인지될 수 있거나, 또는 그렇지 않으면, 사용자로부터 PCD(100)에 의해 획득될 수 있을 뿐만 아니라, PCD(100)에 의해 사용자에게 전달될 수 있다. 예를 들어, PCD(100)는, 사용자의 활성들, 감정 상태, 및 건강 상태에 관련된 데이터를 포함하는, 사용자로부터의 시각 정보를 획득하기 위해, 카메라 센서(106)를 포함할 수 있다. 마찬가지로, PCD(100)는, 스피치 인식으로부터 유도된 데이터, 스트레스 레벨들에 관련된 데이터, 뿐만 아니라, 사용자에 의해 활용된 엔터테인먼트 매체들의 아이덴티티와 같은 상황적 정보를 포함하는, 사용자로부터의 오디오 정보를 획득하기 위해, 오디오 센서(112)를 포함할 수 있다. PCD(100)는, PCD(100)를 허깅(hugging)하는 것 및 페팅(petting)하는 것을 포함하지만 이에 제한되지는 않는, 사용자의 터칭 또는 PCD(100)와 물리적으로 접촉하는 것에 관련된 데이터를 포함하는, 사용자로부터의 촉각 정보를 획득하기 위해, 촉각 센서(102)를 더 포함할 수 있다. 다른 실시예들에서, 사용자는 또한, PCD(100)의 터치 스크린 인터페이스를 네비게이팅하기 위해 터치를 사용할 수 있다. 다른 실시예들에서, 사용자 또는 PCD(100)의 로케이션이, 예를 들어, 사용자가 휴대하고 있고, 로케이션 상황-관련된 정보를 제공하고 서비스들을 제공하기 위한 입력으로서 사용되는 셀 폰을 통해, 결정될 수 있다.
[00274] 언급된 바와 같이, 시각, 청각, 및 촉각 감각들은 PCD(100)에 의해 사용자에게 전달될 수 있다. 예를 들어, 오디오 출력 디바이스는, 사운드들, 알람들, 음악, 음성 명령들 등을 출력하고, 사용자와 대화하기 위해 사용될 수 있다. 유사하게, 그래픽 엘리먼트는, 사용자에게 이미지들 및 텍스트를 전달하기 위해 활용될 수 있을 뿐만 아니라, 사용자와 PCD(100) 사이의 통신 상호작용의 부분을 포함하는 그래픽 데이터를 전달하도록 동작할 수 있다. 그것은 주변 광 및 다른 큐들(그것의 LED 폼 폼(LED pom pom))을 사용할 수 있다. 촉각 디바이스(102)는, 예를 들어, 진동을 통해, 감정 상태들 및 포함하는 다양한 다른 데이터를 PCD(100)에 전달하고, 디바이스의 인터페이스/컨텐츠를 네비게이팅하기 위해 사용될 수 있다. 디바이스는 사용자의 상황, 기분 등에 적합한 상이한 냄새들을 방출할 수 있다.
[00275] 정보는 PCD(100)에 연결된 상이한 디바이스들을 통해 수집될 수 있다. 이는, 제 3자 시스템들(메디컬, 가정 보안 등의 데이터), 모바일 디바이스 데이터(음악 플레이리스트들, 포토들, 검색 히스토리, 달력, 연락 리스트들, 비디오들 등), (특히, PCD(100) 포털을 통해 입력된) 데스크톱 컴퓨터 데이터로부터 유래할 수 있다.
[00276] 위에서 설명된 센서들에 부가하여, 사용자와 PCD(100) 사이의 상호작용들에 수반되는 정보 및 데이터는, 다양한 데이터 소스들로부터 획득될 수 있고, 다양한 데이터 소스들 상에 저장될 수 있고, 다양한 데이터 소스들로 출력될 수 있다. 예시적이고 비제한적인 실시예들에서, 상호작용 데이터는, 클라우드 데이터 또는 연결의 다른 모드들(블루투스 등)을 통해 사용자와 PCD(100) 사이에서 송신될 수 있고 저장될 수 있다. 일 실시예에서, PCD(100)와의 상호작용을 가능하게 하기 위해, 사용자의 클라우드 저장된 데이터에 PCD(100)에 의해 액세스가 가능하게 될 수 있다. 예를 들어, PCD(100)는, 인터넷을 검색할 수 있고, app/서비스를 사용할 수 있거나, 또는 클라우드 스토리지로부터의 사용자의 스케줄과 같은, 클라우드로부터의 데이터에 액세스할 수 있고, 그로부터 유도된 정보를 사용하여, 상호작용들을 트리거링할 수 있다. 일 예로서, PCD(100)는, 사용자가 근처의 레스토랑에서 9:00 am에 친구와 조식 약속이 있다는 것을 지적할 수 있다. PCD(100)가, 약속 5 분 전에 집에 사용자가 있다는 것을 알아차리는 경우에, PCD(100)는, 사용자가 출발할 준비를 해야 하지 않는지를 질의하기 위해, 오디오 디바이스(110)를 통해 스피킹함으로써, 사용자와 상호작용할 수 있다. 예시적인 실시예에서, PCD(100)는, 현재의 GPS 좌표들 및 레스토랑의 GPS 좌표들에 기초하여, 이동 시간 계산을 자율적으로 수행함으로써, 이러한 공적을 달성할 수 있다. 이러한 방식으로, PCD(100)는, 사용자와 PCD(100) 사이의 관계 구축 상호작용들을 발생시키는 액션들을 트리거링하기 위해, 액세스된 온라인 또는 클라우드 데이터에 하나 이상의 알고리즘들을 적용할 수 있다. 사람들은, 소셜 네트워킹, 실시간 또는 비동기 방법들, 예를 들어, 텍스트들을 전송하는 것, 실시간 오디오-시각 연결을 확립하는 것, 다른 앱들/서비스들(페이스북, 트위터 등)을 통해 연결하는 것 등을 통해 PCD(100)와 통신할 수 있다. 다른 예들은, 상호작용들을 트리거링하기 위해 사용될 수 있는 아이튠즈(itunes) 및 넷플릭스(Netflix) 데이터를 포함하지만 이에 제한되지는 않는, 클라우드에 저장된, 사용자의 엔터테인먼트 및 매체 파일들로의 PCD(100)에 의한 액세스를 포함한다.
[00277] 유사한 방식으로, 다른 예시적인 실시예들에 따르면, 상호작용 데이터는, 사용자의 환경에 또는 그 근처에, 예를 들어, 서버 또는 개인 컴퓨터 또는 모바일 디바이스 상에 저장될 수 있고, 사용자에 의해 액세스 가능할 수 있다. PCD(100)는, 마찬가지로, 클라우드에 데이터를 저장할 수 있다. 다른 실시예들에서, 상호작용 데이터는 PCD(100) 외부의 센서들을 통해 획득될 수 있다.
[00278] 예시적이고 비제한적인 실시예들에 따르면, 상호작용을 용이하게 하기 위해 활용될 수 있는, 활성 로그 및 디바이스 사용 로그가 생성될 수 있고, 예를 들어, PCD(100) 상에, 서버 상에, 또는 클라우드에 저장될 수 있다. 활성 로그는, 사용자에 의해, PCD(100)에 의해, 또는 대화식 방식으로 사용자 및 PCD(100) 양자 모두에 의해 관여된 활성들을 레코딩하는 정보를 저장할 수 있다. 예를 들어, 활성 로그는, 체스 게임에 관여하는 사용자 및 PCD(100)의 경우들을 레코딩할 수 있다. 부가적으로, 그러한 매칭들 동안의 사용자의 감정 상태에 관한 정보가 저장될 수 있고, 그로부터, 사용자의 즐거움 레벨이 추측될 수 있다. 이러한 데이터를 사용하여, PCD(100)는, 사용자가 얼마나 자주 체스를 플레이하기를 원하는지, PCD(100)와 사용자가 마지막으로 체스를 플레이한 이래로 얼마나 지났는지, 사용자가 체스 매칭에 관여하기를 원하는 가능성 등과 같은 것들을 결정할 수 있다. 유사한 방식으로, 언제, 얼마나 자주, 그리고 어떻게, 사용자가 PCD(100)와 상호작용하는 것을 선호하는지를 나타내는 디바이스 사용 로그가 저장 및 유지될 수 있다. 분명한 바와 같이, 활성 로그 및 디바이스 사용 로그 양자 모두는, 사용자와 PCD(100) 사이의 상호작용들의 품질 및 빈도 양자 모두를 증가시키기 위해 사용될 수 있다.
[00279] 예시적이고 비제한적인 실시예에 따르면, 상호작용 데이터는 수동 입력을 통해 획득될 수 있다. 그러한 데이터는, 사용자에 의해 직접적으로, PCD(100)의 부분을 형성하는 입력 디바이스들(102, 104, 106, 108, 112)을 통해 PCD(100)로 입력될 수 있거나, 또는 컴퓨팅 디바이스, 예를 들어 서버, PDA, 개인 컴퓨터 등으로 입력될 수 있고, 예를 들어 블루투스 또는 와이파이(wifi)/클라우드를 통해 PCD(100)로 송신될 수 있거나 또는 그렇지 않으면 통신될 수 있다. 다른 실시예들에서, 상호작용 데이터는 사용자와 PCD(100) 사이의 다이얼로그를 통해 PCD(100)에 의해 획득될 수 있다. 예를 들어, PCD(100)는 일련의 질문들을 포함하는, 사용자와의 다이얼로그에 관여할 수 있고, 사용자의 대답들은 PCD(100) 상에서, 서버 상에서, 또는 클라우드에서 동작하는 스피치 인식 소프트웨어를 통해 텍스트로 변환되고, 결과들은 상호작용 데이터로서 저장된다. GUI 또는 터치-기반 상호작용에 대해서도 유사하다.
[00280] 예시적이고 비제한적인 실시예에 따르면, 상호작용 데이터는, 후각 데이터를 식별하도록 구성된 센서(102, 104, 106, 108, 112)를 통해 생성될 수 있다. 마찬가지로, PCD(100)는 후각 냄새들을 방출하도록 구성될 수 있다. 또 다른 실시예들에서, 상호작용을 향상시키기 위해, GPS 및 다른 로케이션 결정 장치가 PCD(100)에 포함될 수 있다. 예를 들어, 어린이 사용자가 가족 로드 트립 또는 베케이션에 그의 PCD(100)를 가지고 갈 수 있다. 운송 중에, PCD(100)는 그것의 지리적인 로케이션을 결정할 수 있고, 근처의 랜드마크들을 결정하기 위해 인터넷에 액세스할 수 있고, 랜드마크들을 논의함으로써 장소 및 시간에 관련된, 어린이와의 다이얼로그에 관여할 수 있다.
[00281] 이러한 방식에서의 논의에 대한 주제들을 확인하는 것에 부가하여, 일부 실시예들에서, 이러한 상호작용들의 결과들은, 그 시간에 또는 나중 시간에, 미리 정의된 보안 설정들에 따라 복수의 사용자들로부터 그와 같이 포착된, 누적된 상호작용 데이터가 존재하는 원격 저장 설비에 전송할 수 있다. 이러한 방식에서, 위치와 같은 PCD(100) 포착 데이터 및 사용자의 속성들의 통계적 프로파일에 기초하여, 바람직한 상호작용 모드들의 중앙집중형 데이터베이스가 전개될 수 있다. 예를 들어, 이전의 예에서, PCD(100)는 자신의 위치가, 항공 우주 박물관 인근의 그리고 자연사 박물관 건너편의 내셔널 몰 상에 있는 것으로 결정할 수 있다. 중앙집중형 데이터베이스에 액세스하여 사용자의 나이 및 위치를 제공함으로써, 사용자의 나이 프로파일에 매칭되는 다른 어린이들이 공룡(dinosaurs)에 흥미있어 하는 경향이 있음이 결정될 수 있다. 결과적으로, PCD(100)는 사용자를 자연사 박물관으로 향하게 하면서 공룡의 논의에 참여하기 시작한다.
[00282] 예시적이고 비제한적인 실시예에 따르면, PCD(100)는, 사용자의 다양한 생리적 그리고 물리적 속성들 및 파라미터들에 적어도 부분적으로 기초하여, 사용자와의 상호작용의 양상들을 변조(modulate)할 수 있다. 일부 실시예들에서, PCD(100)는 사용자의 시선의 방향을 결정하기 위해 시선 트랙킹을 이용할 수 있다. 이러한 정보는 예를 들어, 사용자의 흥미를 결정하기 위해 또는 회피성(evasiveness)을 측정하기 위해 이용될 수 있다. 마찬가지로, 사용자의 심박동수 및 호흡률이 포착될 수 있다. 또 다른 실시예들에서, 사용자의 피부 톤(skin tone)이 시각적 센서 데이터로부터 결정되어, 사용자의 물리적 또는 감정적 상태를 확인하기 위해 활용될 수 있다. 센서들(102, 104, 106, 108, 112)을 통해 확인될 수 있는 사용자의 다른 행동 속성들은, 이에 제한되는 것은 아니지만, 발성 운율(vocal prosody) 및 단어 선택을 포함할 수 있다. 다른 예시적인 실시예들에서, PCD(100)는, 흔드는 것(waving) 또는 가리키는 것(pointing)과 같은 사용자의 물리적 제스처들을 확인 및 해석할 수 있고, 이는 추후에 상호작용을 위한 트리거들로서 활용될 수 있다. 마찬가지로, 사용자가 서 있는지, 구부정하게 있는지, 기대 있는지 등을 결정하기 위해, 사용자의 자세가 PCD(100)에 의해 평가 및 분석될 수 있다.
[00283] 다양한 예시적이고 비제한적인 실시예들에 따르면, PCD(100)와 사용자 사이의 상호작용은, 사용자의 결정된 감정적 또는 정신적 상태 또는 속성에 적어도 부분적으로 기초할 수 있다. 예를 들어, PCD(100)는, 사용자가 예를 들어, 불안해하는 것 같은지, 행복해하는 것 같은지, 걱정스러워하는 것 같은지, 즐거워하는 것 같은지 등을 확인하기 위해, 사용자가 눈을 깜빡이는 레이트, 사용자가 웃고 있는지 자신의 입술을 깨물고 있는지, 사용자가 웃음소리를 내는지 등을 결정 및 기록할 수 있다. 유사하게, PCD(100)는, 사용자 외에는 조용한 환경에서 사용자가 비교적 움직임없이 그리고 조용하게 있으면서 사용자의 시선이 공간의 포인트를 응시하는 것을 관찰하고, 사용자가 생각하는 상태 또는 혼란스러워하는 상태에 있음을 결정할 수 있다. 또 다른 실시예들에서, PCD(100)는, 자신의 머리를 끄덕이거나 흔드는 것과 같은 사용자 제스처들을 정신적 동의 또는 비동의의 표시들로서 해석할 수 있다.
[00284] 예시적이고 비제한적인 실시예에 따르면, 사용자가 상호작용하는 인터페이스의 일반적 속성들은, 의인화(anthropomorphic) 또는 비-인간(non-human) 기반 PCD(100)를 제공하도록 구성 및/또는 조정될 수 있다. 일 실시예에서, PCD(100)는 비-인간 동물(non-human animal)의 특성들을 디스플레이하도록 구성된다. 그렇게 하는 것에 의해, 특정 동물에 대한, 사용자에 의한 기존의 감정적 애호성(emotional predilection)을 모방 및/또는 증폭시킴으로써, PCD(100)와 사용자 사이의 상호작용이 향상될 수 있다. 예를 들어, PCD(100)는, 개가 행동할 때 짖는 것에 의해 흥분 상태를 전달하는 것을 모방할 수 있다. PCD(100)는 추가로, 사용자의 상호작용들에 응답하여 흔들 수 있는 꼬리 같은 부속물을 갖출 수 있다. 마찬가지로, PCD(100)는, 친숙한 고양잇과의 "야옹(meow)"과 유사한 소리들을 출력할 수 있다. PCD(100) 인터페이스의 실시간 표현(real time manifestation)들에 부가하여, 이러한 인터페이스 속성들은, 상호작용을 추가로 향상시키기 위해 사용자의 에이징 프로세스 및 PCD(100) 동물 캐릭터를 조정함으로써, 시간에 걸쳐 바뀔 수 있다. 예를 들어, 개에 기초하는 PCD(100) 캐릭터는, 처음 포착될 때 강아지의 동작들을 모방하고, 사용자와 PCD 캐릭터의 관계가 발전되고 있다는 의미를 사용자 쪽에 제공하기 위해 자신의 행동들 및 상호작용들을 점진적으로 발달시킬 수 있다.
[00285] 유의된 바와 같이, 동물들 또는 허구적인 존재(fictional creature)들에 기초하는 PCD 특성들에 부가하여, PCD(100)는 인간(human being)을 본떠 모델링된 의인화 인터페이스를 제공하도록 구성될 수 있다. 이러한 인간 또는 "페르소나"는 사전-구성되거나, 사용자 정의가능하거나 또는 이 둘의 임의의 조합일 수 있다. 이는, PCD(100)가 유명인사, 매체의 유명인 또는 캐릭터(예를 들어, 래리 버드(Larry Bird), 존 스튜어트(Jon Stewart), 다운튼 애비(Dowton Abby)로부터의 캐릭터 등)의 매너리즘(mannerism)들 및 특성들을 취할 수 있는 경우, 인격화(impersonation)들을 포함할 수 있다. PCD(100)의 페르소나 또는 "디지털 소울"은, PCD(100) 상에 상주하는 것에 부가하여 PCD(100) 외부 (예를 들어, 클라우드에) 저장될 수 있고, 그러므로 다른 PCD들(100) 상에 다운로드 및 설치될 수 있다. 이러한 다른 PCD들은 그래픽적일 수 있거나(예를 들어, 그것의 화상(likeness)이 사용자 모바일 디바이스 상에 나타남), 다른 물리적 PCD(100)(예를 들어, 새로운 모델)가 될 수 있다.
[00286] PCD(100)의 페르소나는 또한, 합성적 또는 기술적 성질일 수 있다. 결과적으로, PCD(100)는 의인화된 기술로서 기능하며, 디바이스 PCD(100)는, 사람, 동물, 알려진 캐릭터 등과 같은 이미 존재하는 다른 것을 모방하려고 시도하기 보다는, 자기 자신의 고유한 페르소나를 갖는 것으로 보여진다. 일부 실시예들에서, 시간에 걸쳐 그 사용자에게 더 양호하게 맞춰지도록 적응 및 수정될 수 있는, PCD(100)에 대한 사유 페르소나(proprietary persona)들이 생성될 수 있다. 예를 들어, 사용자의 PCD(100)의 운율은, 친밀감 및 애정을 쌓는 그러한 기법들로서, PCD(100)의 사용자 자신의 운율에 더 가깝게 반영하도록 시간에 걸쳐 적응될 수 있다. PCD(100)는 또한, PCD(100)의 사용자가 구매한 임의의 코스메틱 또는 가상 아티팩트들에 부가하여, PCD(100)를 개인화(personalize) 또는 맞춤화(customize)하기 위해, PCD(100)의 사용자의 기호(like)들 및 선호도(preference)들에 적응되도록, PCD(100)의 그래픽적 모습을 변경할 수 있다.
[00287] 예시적인 실시예에서, PCD(100)의 디지털 소울은, 사용자와 PCD(100) 사이의 상호작용들의 성질에 영향을 미치는 속성들뿐만 아니라, PCD(100)의 인터페이스의 속성들 및 특성들을 정의한다. 이러한 디지털 소울이, 사용자와의 상호작용에 참여하기 위해 PCD(100)에 의해 활용되는 상호작용 데이터 및 정보로부터 분기(bifurcate)되지만, 디지털 소울은 특정 사용자들과의 상호작용에 응답하여 시간에 걸쳐 변경될 수 있다. 예를 들어, 사용자들 각각을 그들 자신의 PCD(100)와 분리시키는 것은, 예를 들어, 알베르트 아인슈타인(Albert Einstein)과 같은 잘 알려진 역사적 인물에 기초하여 동일한 디지털 소울을 설치할 수 있다. 2개의 분리된 PCD들(100) 상에서의 설치 순간으로부터, 각각의 PCD(100)는 PCD(100)에 의해 발생되고 PCD(100)에 액세스가능한 사용자 특정 상호작용 데이터에 따라 상이한 방식으로 상호작용할 것이다. 디지털 소울은, 상이한 물리적 형태들(예를 들어, 로봇 형태들) 또는 디지털 형태들(예를 들어, 그래픽적 아바타들)로부터의 다수의 형태들로 구현될 수 있다.
[00288] 예시적이고 비제한적인 실시예에 따르면, PCD(100)는 수집된 데이터에 기초하여 상호작용들의 품질을 개선하기 위한 기계 학습 설비를 제공한다. 기계 학습을 수행하기 위해 활용되는 알고리즘들은, PCD(100) 상에, PCD(100)와 통신하는 컴퓨팅 플랫폼 상에서 발생될 수 있다. 예시적인 실시예에서, PCD(100)는, 코칭 및 트레이닝을 제공하도록 사용자와 상호작용하기 위해, 연관성 컨디셔닝을 이용할 수 있다. 연관성, 또는 "자발적(operant)" 컨디셔닝은 행동을 증가시키기 위해 강화인자(reinforcement)를 이용하는 것에 초점을 맞춘다. 이러한 프로세스를 통해, 행동과 그러한 행동에 대한 결과들 사이에 연관성이 형성된다. 예를 들어, PCD(100)는, 움직이지 않고 가만히 있는 것과 대조적으로, 사용자가 일찍 깨어나서 침대에서 뛰쳐나갈 때, 행복 노이즈(happy noise)를 낼 수 있다. 시간에 걸쳐, PCD(100)와 사용자 사이의 이러한 상호작용은, 사용자가 더 일찍 일어나는 것에 동기부여하게 작용하는데, 그 이유는 사용자가 이러한 액션과 PCD들(100)의 명백한 행복 상태를 연관시키기 때문이다. 다른 예에서, PCD(100)는, 사용자가 운동중임을 PCD(100)가 관찰한 경우, 격려하는 소리들 또는 단어들을 낼 수 있다. 이러한 경우, PCD(100)는 사용자에 의해 원해지는 액션들을 위해 지속되는 긍정적 강화인자를 제공하도록 기능한다.
[00289] 다양한 예시적인 실시예들에 따르면, PCD(100)는, 이에 제한되는 것은 아니지만, 시간적 패턴 모델링 및 인식, 사용자 선호도 모델링, 특징 분류, 태스크/정책 모델링 및 강화인자 학습을 포함하는 기계 학습을 수행할 때, 당해 기술분야에 알려진 복수의 유형들의 분석 중 하나를 이용할 수 있다.
[00290] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 사용자와의 상호작용에 가장 적합화된 상호작용 모드를 식별하기 위해 시각적, 오디오, 운동감각적, 또는 "VAK" 모델을 이용할 수 있다. PCD(100)는 사용자의 지배적인 학습 스타일을 결정하도록 동작할 수 있다. 예를 들어, 사용자가 대부분 시각적인 방식으로 정보를 처리함을 PCD(100)가 결정하는 경우, PCD(100)는 정보를 사용자에게 전달하기 위해 PCD(100)의 일부를 형성하는, 이를테면, 그래픽 디스플레이(104) 상에서, 차트들 또는 일러스트레이션들을 이용할 수 있다. 마찬가지로, PCD(100)는, 청각적 환경들에서, 그들을 기민하게 유지하는 것을 돕기 위해, 질문들 및 다른 프롬프트들을 사용자에게 하도록 동작할 수 있다.
[00291] 마찬가지로, 사용자가 대부분 청각적 방식으로 정보를 처리함을 PCD(100)가 결정하는 경우, PCD(100)는, 무슨 일이 있을지의 간략한 설명으로 새로운 상호작용들을 시작할 수 있고, 무슨 일이 있었는지의 요약으로 마무리 지을 수 있다. 마지막으로, 사용자가 대부분 운동감각적 방식으로 정보를 처리함을 PCD(100)가 결정하는 경우, PCD(100)는 움직임 및 터치를 수반하는 운동감각적 및 촉각적 상호작용들을 통해 사용자와 상호작용하도록 동작할 수 있다. 예를 들어, 아침에 사용자를 깨워서 활동적이게 하기 위해, PCD(100)는 활동에 참여할 수 있으며, PCD(100)는 사용자에게 포옹을 요청한다. 다른 실시예들에서, 사회적 상호작용의 요소를 강조 및 강화하기 위해, PCD(100)는 상호작용과 관련된 향기를 방출할 수 있다.
[00292] 집 주위에서 PCD(100)를 움직이게 하는 능력은 PCD(100)로서 중요한 양상이다. 동작시에, PCD(100)는 사람들로 하여금 스크린 정면에 멈춰 모여야(huddle)(현대의 비디오 회의) 하기보다는 "그들 삶의 흐름에서 머무르게" 하도록 허용하는, 통신하기 위한, 원격의 사람에게 물리적으로 체화되고(physically embodied) 그리고 물리적으로 사회적인 표현 방식을 제공하도록 동작한다. 그 결과, PCD(100)는 마치 사용자가 그들의 집에서 누군가를 방문하고 있었던 것처럼 일상적인 상호작용들에 대한 지원을 제공한다. 사용자는, 설겆이 등과 같은 다른 활성들을 하고 있었을 수도 있고, PCD(100)가 방 주위의 사용자를 추적할 수 있는 방법으로 인해 대화를 여전히 이어가고 있을 수도 있다. 전술한 예시적인 실시예들에서, PCD(100)는 자체 센서를 갖도록 설계되어 방 등을 가로지르는 이동(carry)을 출력한다. 중심 기술 양상들은 이하를 포함한다.
[00293] 사용자는 PCD(100)의 카메라 뷰를 제어할 수 있고, 이는 또한 타겟 물체 상에 자신의 카메라를 유지시키기 위해 역기구학(inverse kinematics)을 추적하고 행함으로써 이를 자동화하도록 도울 수 있다.
[00294] PCD(100)는 아이-컨택(eye-contact)과 같은 중요한 비-언어 큐들을 보존하는 방식으로 스크린에 사용자 당신의 표현(비디오 스트림, 그래픽들 등)을 렌더링할 수 있다.
[00295] PCD(100)는, 사람이 표현적 물리적 존재를 갖도록, 원격에 있는 사람의 머리 포즈, 자세를 미러링할 수 있다. PCD(100)는 또한 라포트(rapport)를 구축하기 위해 자세 미러링 및 동조(synchrony)와 같은 상황에 맞추도록 자신 소유의 표현 바디 무브먼트를 생성할 수 있다.
[00296] PCD(100)는 재미있는 애니메이션들 및 소리들을 추가로 트리거할 수 있다. 그래서, 사용자는 당신으로서 또는 재미난 캐릭터로서 정확하게 당신 자신을 전달하도록 시도할 수 있다. 이는 연관된 스토리 리딩을 위해 매우 유용한데, 이 스토리 리딩에서 할머니가 그녀의 손녀딸과 원격으로 스토리를 읽으면서 스토리 세션 동안 서로 다른 캐릭터들을 맡을 수 있다.
[00297] PCD(100)는 (PCD(100)를 수동으로 제어해야만 하는데 있어서의 인지 부하(cognitive load)를 감소시키기 위해) 스피커(speaker)에게 자체 응시/당신의 카메라 뷰를 자동으로 시프트하라고 말하는 누군가를 추적할 수 있다.
[00298] PCD(100)는 슬라이딩 자율성 인터페이스를 가져서, 이에 따라 원격의 사용자는 PCD(100)를 통해 더 많은 또는 더 적은 직접 제어를 어써트할 수 있으며, 이는 보충하기 위해 자율성을 이용할 수 있다.
[00299] PCD(100)는, 사용자에게 (당신이 디바이스 정면에 머물러야하기 때문에 다른 디바이스들이 제공/추정하는 터널 비전보다 훨씬 더) 넓은 범위의 뷰를 제공할 수 있다.
[00300] 이러한 일들을 모두 함으로써 그리고 집 주위의 여러 장소들에 PCD(100)를 놓아둘 수 있음으로써, 원격의 사람은 이제 이들이 통신할 수 있을 뿐만 아니라 활성에 참여할 수 있다는 것을 느낀다. 취침시에 스토리를 공유할 수 있게 하기 위해, 놀이방에 있어 손자들과 놀게 할 수 있게 하기 위해, 추수감사절 저녁을 원격으로 참여할 수 있게 하기 위해, 당신의 딸이 가족 레시피로 요리하는 것을 당신이 돕게 하기 위해 조리대에 참여할 수 있게 하기 위해서의 식이다. 이는, 당신이 실제로 어디서나 물리적 사회적 존재를 갖는 것으로 느끼게 하도록, 핸즈 프리 동작을 지원한다.
[00301] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 사용자가 생활하고 동작하는 통상적인 환경의 여러 가지 표면들에 대해 또는 이들에 관해 안정적인 또는 균형잡힌 방식으로 포지셔닝되도록 구성 또는 적응될 수 있다. 예를 들어, PCD(100)의 일반적으로 평평한 표면들은, 평활한 표면들 상에서 PCD(100)의 슬라이딩을 방지하도록 동작하는 마찰 패드들로부터 적어도 부분적으로 제작될 수 있거나 또는 마찰 패드들을 적어도 부분적으로 포함할 수 있다. 다른 실시예들에서, PCD(100)는 평평하지 않은 표면들 상에 PCD(100)를 포지셔닝하기 위해 수동으로 또는 자동으로 배치될 수 있는 부분적으로 탈착가능한 또는 텔레스코핑 부속물들을 채용할 수 있다. 다른 실시예들에서, 디바이스는, 그 디바이스로 하여금 그 환경에서 이리저리 움직이게 하거나 또는 물체들을 조작하게 하는 하드웨어 액세서리들을 가질 수 있다. 이 디바이스들에는 외부 표면들 또는 물체들 상에 디스플레이하게 하기 위해 레이저 포인터 또는 프로젝터가 장착될 수 있다. 이러한 인스턴스들에서, PCD(100)는 미끄럼을 추가로 저감하기 위해 부속물들의 사지들(extremities)에 또는 그 근처에 마찰 패드들을 포함할 수 있다. 또 다른 실시예들에서, PCD(100)는 표면으로의 일시적인 부착을 위해 PCD(100)의 외부 표면 또는 표면들 상에 하나 또는 그 초과의 석션 컵(suction cup)들을 포함할 수 있다. 또 다른 실시예들에서, PCD(100)는 PCD(100)를 자리에 고정시키고 그리고/또는 PCD(100)를 걸게 하기 위해 후크들, 루프들 등을 포함할 수 있다.
[00302] 다른 예시적인 실시예들에서, PCD(100)는 손으로 휴대가능하도록 적응된다. 구체적으로, PCD(100)는 10㎏미만의 중량이 되고 4,000㎤를 넘지 않는 체적을 점유하도록 구성된다. 추가로, PCD(100)는 PCD(100)를 운반하는데 사용하기 위한 부착된 또는 탈착가능한 스트랩 또는 핸들을 포함할 수 있다.
[00303] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 소셜 큐들의 존재 또는 출현을 컴퓨테이션을 통해 지속적으로 결정할 수 있게 되도록 또는 그에 대해 지속적으로 인지하게 되도록 그리고 사회적으로 존재하게 되도록 구성된다. 이와 같이, PCD(100)는 완전한 셧다운의 기간들을 회피하도록 동작할 수 있다. 일부 실시예들에서, PCD(100)는 전력을 보존하기 위해 저전력 상태, 또는 "슬립 상태"로 주기적으로 진입할 수 있다. 이러한 슬립 상태 동안, PCD(100)는, PCD(100)의 주변으로 진입하는 사람 또는 사용자, 사람 음성의 소리 등과 같은 소셜 큐들의 존재에 대해 PCD(100)에 경고하기 위한 것 같은 감소된 세트의 입력들을 처리하도록 동작할 수 있다. PCD(100)가 PCD(100)가 상호작용할 수 있는 사람 또는 사용자의 존재를 검출할 때, PCD(100)는 완전 경고 모드로 천이할 수 있는데, 이 완전 경고 모드에서는 더 많은 또는 전체 PCD들(100) 센서 입력들이 개념적 데이터를 수신 및 처리하는데 활용된다.
[00304] 소셜 큐들을 지속적으로 인지하도록 유지하는 능력은, PCD(100)가 언제나 파워 오프되거나 또는 수동으로 파워 온될 필요성을 감소시킨다. 턴 오프 그리고 턴 온 될 능력이 머신 디바이스들과 연관된 속성이기 때문에, 완전 파워 다운 모드에 있는 것을 회피하기 위한 PCD(100)의 능력은 PCD(100)가 살아있는 동반자라는 인지를 증가시키도록 기능한다. 일부 실시예들에서, PCD(100)는 백색 노이즈 또는 코골음을 모방하는 소리들을 방출함으로써 슬립 상태에 있는 것으로 증강(augment)할 수 있다. 이러한 예시에서, 사용자가 PCD(100)를 발견했을 때, PCD(100)는, 사용자의 존재를 감지하고, 예를 들어, 하품과 같이 깨어남을 나타내는 소리를 통해 사용자를 맞이함으로써 완전 경고 또는 파워 업 모드로 천이하도록 진행한다. 이러한 액션들은 PCD(100)와 사용자 사이의 상호작용들을 시작하기 위한 큐(queue)들로서 기능한다.
[00305] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 사용자로부터의 언어 그리고 비-언어 신호를 모니터링, 추적 및 특징화하도록 적응된다. 이러한 큐들의 예시들은, 제스쳐, 응시 방향, 단어 선택, 발성 운율학, 자세, 얼굴 표정, 감정의 큐들, 터치 등을 포함한다(그러나, 이에 한정되지 않는다). 모든 이러한 큐들은 센서 디바이스들(102, 104, 106, 108, 112)을 통해 PCD(100)에 의해 캡쳐될 수 있다. PCD(100)는 캡쳐된 큐들을 효율적으로 모방하거나 미러링하기 위해 자신의 작동을 적응시키고 조정하도록 더 구성될 수 있다. 이렇게 함으로써, PCD(100)는 사용자의 특징들 및 정신적 상태들을 반영하는 것처럼 보임으로써 PCD(100)와 사용자 사이의 라포트를 증가시킨다. 이러한 미러링은, PCD(100)에 의한 상기 특성들의 장기간 프로젝션 동안 PCD(100)의 개성 또는 디지털적 소울에 통합될 수 있거나, 또는 일시적일 수 있고 그리고 예를 들어, 특정 사회적 상호작용을 포괄하는 시간 기간에 걸쳐 연장할 수 있다.
[00306] 예를 들어, 사용자가 특정 관용구(phrase)를 주기적으로 이용한다고 PCD(100)가 검출하면, PCD(100)는 미래에 사용자와 상호작용할 때 PCD(100)에 의한 지속적인 이용을 위해 상호작용 데이터의 코퍼스에 그 관용구를 부가할 수 있다. 유사하게, PCD(100)는 실시간으로 또는 거의 실시간으로 순간적인 음성적 및 비-음성적 제스쳐들을 모방할 수 있다. 예를 들어, PCD(100)가 검출하는 것이 흥분을 나타내는 증가된 말 속도(word rate)와 결합된 사용자의 목소리의 증가된 주파수인 경우, PCD(100)는 증가된 말 속도를 통해 정상 주파수보다 더 높게 사용자와 음성적으로 상호작용하기 시작할 수 있다.
[00307] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 바디 폼 팩터, 물리적 움직임들, 그래픽들 및 소리를 포함하는(그러나, 이에 한정되지 않는) PCD(100)의 일부를 형성하는 다양한 물리적 징후들을 통해 별개의 페르소나(distinct persona) 또는 디지털 소울을 투영할 수 있다. 일 실시예에서, PCD(100)는 표현적 메카닉들을 채용할 수 있다. 예를 들어, PCD(100)는 오디오 신호의 출력을 통해 말할 때 활성화될 수 있는 이동가능 턱 부속물(movable jaw appendage)을 포함할 수 있다. 이러한 부속물은 적절할 때 웃음 또는 찡그림을 모방하기에 충분한 다수의 자유도로 승인될 수 있다. 유사하게, PCD(100)는 시각적 노출의 정도를 변화시킬 수 있는 하나 또는 그 초과의 "눈과 비슷한" 액세서리들로 구성될 수 있다. 그 결과, PCD(100)는 경악함, 놀람, 흥미로움 등에 응답하여 "눈이 휘둥그레진(wide eyed)" 표현을 디스플레이할 수 있다.
[00308] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 예를 들어, 스크린 모드와 전체 모드 사이에서의 천이를 위해 공간 내 자체 자세 또는 포지션을 검출할 수 있다. 예를 들어, PCD(100)가 그래픽 정보를 디스플레이하기 위한 스크린(104)을 포함하면, PCD(100)는, 그가 처한 어떤 상황으로부터, 사용자가 사용자의 얼굴에까지 스크린을 들고 있을 때 스크린에 그리고 사용자가 디스플레이를 보는 포지션으로 정보를 출력하는 모드로 천이할 수 있다.
[00309] 다른 실시예에 따르면, PCD(100)의 일부를 형성하는 하나 또는 그 초과의 압력 센서들은, 사용자가 사회적인 방식으로 PCD(100)를 터치하고 있을 때를 검출할 수 있다. 예를 들어, PCD(100)는, 1개 초과의 압력 센서들은 사용자가 PCD(100)를 스트로킹(stroking)하거나, 페팅(petting)하거나, 또는 패팅(patting)하고 있는 동안의 압력을 경험하는 패턴으로부터 결정할 수 있다. 사회적인 터치의 상이한 검출 모드들은, 사용자와의 사회적 상호작용을 격려하거나 또는 나타내는 상호작용적 작동들을 표현하기 위해 PCD(100)에 대한 트리거들로서 기능할 수 있다.
[00310] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 PCD(100)의 외관(the look) 및 느낌을 강화하기 위한 액세서리들로 고정될 수 있다. 이러한 액세서리들은, 스킨들, 코스튬들, 내부 및 외부 라이트들, 마스크들 등을 포함한다(그러나, 이에 한정되지 않는다).
[00311] 앞서 설명된 바와 같이, PCD(100)의 페르소나 또는 디지털적 소울은 PCD(100)의 물리적 징후로부터 두 갈래로 나뉠 수 있다. PCD(100) 페르소나를 포함하는 속성들은, 서버 및 개인용 컴퓨팅 디바이스를 포함하는(그러나, 이에 한정되지 않는) 하나 또는 그 초과의 다른 컴퓨팅 디바이스들에, 예컨대, 블루투스 또는 wifi를 통해 전달 및 통신될 수 있는 디지털 데이터로서 저장될 수 있다. 이러한 문맥에서, 개인용 컴퓨팅 디바이스는 일련의 프로그래머블 단계들을 실행하기 위해 프로세서 및 저장 메모리를 활용하는 임의의 디바이스일 수 있다. 일부 실시예들에서, PCD(100)의 디지털 소울은 시계 또는 모바일 폰과 같은 소비자 액세서리로 전달될 수 있다. 이러한 경우에서, PCD(100)의 페르소나는 다른 디바이스에 효과적으로 그리고 일시적으로 전달될 수 있다. 일부 실시예들에서, 전달되는 동안, PCD(100)의 전달된 인스턴스는, 사용자의 환경을 감지하고, 사회적 상호작용에 관계를 맺고, 그리고 상호작용 데이터를 리트리브하고 출력하는 것을 계속할 수 있다. 이러한 상호작용 데이터는, 이후에 PCD(100)에 전달될 수 있거나 또는 PCD(100)에 의한 나중의 리트리벌을 위해 서버에 업로드될 수 있다.
[00312] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는, 사회적 큐들에 반응하여 조정되는 시각적 패턴들을 보여줄 수 있다. 예를 들어, 디스플레이(104)는, 흥분된 경우 적색 광을 그리고 차분한 경우 청색 광을 내보낼 수 있다. 마찬가지로, 디스플레이(104)는, 사용자가 작업을 성공적으로 완료하는 때와 같은 경우, 환희를 전달하기 위해 애니메이팅된 떨어지는 색종이를 디스플레이할 수 있다. 몇몇 실시예들에서, 디스플레이를 위한 텍스쳐들 및 애니메이션들은, PCD(100)와 통신하는 외부 디바이스 또는 서버 내로 또는 직접 PCD(100) 내로 프로그래밍 가능하거나, 또는 사용자 선택 가능할 수 있다. 또 다른 실시예들에서, PCD(100)는, 시뮬레이팅된 감정들을 표현하기 위해, 일련의 비프음들 및 휘슬들을 내보낼 수 있다. 몇몇 실시예들에서, 비프음들 및 휘슬들은, 사용자의 스피치 및 다른 구두 발언들로부터 유도된 패턴들에 따라 패터닝될 수 있다. 몇몇 예들에서, 비프음들, 휘슬들, 및 다른 청각적 출력들은 PCD(100)에 대해 고유한 청각적 서명(signature)으로서 역할을 할 수 있다. 몇몇 실시예들에서, 관련성의 정도를 나타내기 위해, 시뮬레이팅된 패밀리를 형성하는 "관련된" PCD들(100)의 그룹과 같은 복수의 PCD들(100)에 대해, 동일한 청각적 서명의 변형들이 채용될 수 있다.
[00313] 몇몇 실시예들에서, PCD(100)는 감정을 전달하기 위한 표현의 모드들 사이의 애니모픽(animorphic) 전이에 관여할 수 있다. 예를 들어, PCD(100)는, 인간의 감정을 디스플레이하기 위한 방법으로서, 디스플레이(104)가, 랜덤한 또는 의사 랜덤(pseudorandom)한 패턴 또는 다른 그래픽으로부터 웃거나 찡그린 입의 디스플레이로 전이되도록 작동시킬 수 있다.
[00314] 다른 예시적인 실시예들에서, PCD(100)는 감정 상태를 표현하기 위해 향기들 또는 페로몬들을 내보낼 수 있다.
[00315] 또 다른 예시적인 실시예에 따르면, 사용자와의 상호 작용들의 기초를 위해서일 수 있는, PCD(100)에 액세스 가능한 데이터의 형태의 백 스토리로 제공될 수 있다. 그러한 데이터는, PCD들(100) 이전 히스토리의 일부를 형성하는, 실제와 가상 양자 모두의 과거 이벤트들을 참조하는 하나 또는 그 초과의 스토리들을 포함할 수 있다. 예를 들어, PCD(100)의 라이프에서 과거 사건들에 대해 말해주는 스피치 생성을 통해 사용자에게 전달될 수 있는 스토리들이, PCD(100)에 제공될 수 있다. 그러한 스토리들은, 상호작용 데이터에 의해 트리거링될 수 있는, 사용자에 의한 요청에 따라 출력될 수 있다. 예를 들어, PCD(100)는 사용자 데이터로부터, 오늘이 사용자의 생일이라는 것을 인식할 수 있다. 반응하여, PCD(100)는 PCD(100)의 과거 생일에 관련된 사용자와 스토리를 공유하도록 트리거링될 수 있다. 백 스토리를 포함하는 데이터는 중앙에 저장될 수 있고, 그리고 사용자에 의한 또는 자율적으로 PCD(100)에 의한 요청에 따라 PCD(100)에 다운로드될 수 있다.
[00316] 백 스토리들은 PCD(100)의 제조자에 의해 생성되고 저장될 수 있으며, 요청에 따라 사용자에게 사용가능할 수 있다. 도 11을 참조하면, 예시적이고 비제한적인 실시예의 흐름도(1100)가 예시된다. 예에서, 단계(1102)에서, 제조자는 입력으로서, 스포츠, 특히 야구 및 보스톤 레드 삭스에 관심이 있는 사용자와 연관된 개에 대해 모델링된 PCD(100)를 위한 백스토리에 대한 요청을 수신할 수 있다. 반응하여, 제조자 또는 서드 파티 백 스토리 제공자는, 단계(1104)에서, 기본 백 스토리를 생성할 수 있다. 예에서, 스토리는, 레드 삭스와 관련된 세부 사항들이 부가된, 야구를 다루는 더 구체적인 스토리들에 의해 증대된, 상대적으로 일반적인 개 스토리들을 포함할 수 있다.
[00317] 몇몇 실시예들에서, 단계(1106)에서, 백 스토리는, PCD(100)에 의한 추가적인 실시간 맞춤화를 허용할 변수들에 의해 인코딩될 수 있다. 예를 들어, 백 스토리는: "나와 내 형제들 및 누이들<for i==1 to max_siblings, insert sibling_name[i]>은 ...에서 자랐다" 와 같은 의사 코드로 인코딩될 수 있다. 이러한 방식에서, PCD(100)에 의해 판독되는 경우, 스토리는, PCD(100)와 연관되도록 구성된 다른 PCD들(100)의 이름을 포함하는 것으로 판독될 수 있다.
[00318] 예시적이고 비제한적인 실시예에 따르면, 사용자가 동료 디바이스를 돌보도록 권장되는, PCD(100)의 공동 양육 기능을 관리하기 위한 실행 가능한 모듈 또는 프로그램이 PCD(100)에 제공될 수 있다. 예를 들어, 공동 양육 모듈은, 유아들과 연관된 소리들, 그래픽들, 향기들 등을 수반하는 행동을 통해 사용자와의 상호 작용을 시작함으로써 아기를 돌보기 위해, 사용자의 타고난 임펄스에 따라 플레이하도록 작동할 수 있다. PCD(100)와 사용자 사이의 일치는, 공동 육아 모듈이, 부정적인 감정을 완화시키도록 사용자에게 액션들을 권유하는 동안 슬픔, 외로움, 및/또는 우울과 같은 부정적인 감정을 표현하도록 작동하는 경우, 추가적으로 권장될 수 있다. 이러한 방식으로, 사용자는 PCD(100)를 응원하기 위해 PCD(100)와 상호작용하도록 권장된다.
[00319] 예시적이고 비제한적인 실시예에 따르면, PCD(100)는 사용자 특성들, PCD(100)와 PCD100)의 사용자의 상호작용들, 및 PCD(100)의 사용자의 환경을 나타내는 상호작용 데이터에 액세스하도록 구성된 모듈을 포함할 수 있다. 도 1200을 참조하면, 예시적이고 비제한적인 실시예의 흐름도가 예시된다. 단계(1202)에서, 상호작용 데이터가 액세스된다. 단계(1204)에서, 상호작용 데이터는 중앙집중화된 데이터 수집 설비에 저장될 수 있다. 일단 검색되고 저장되면, 단계(1206)에서, 상호작용 데이터는 사용자의 요구 상태를 예상하기 위해 활용될 수 있다. 일단 요구 상태가 식별되면, 단계(1208)에서, 액션을 수행하기 위한 스케줄에 의존하지 않고, 사용자의 요구들을 사전대책적으로 처리하기 위해 상호작용 데이터가 활용될 수 있다. 몇몇 실시예들에서, 사용자의 물리적 외모, 및 자세 등은 요구 상태를 식별하기 위한 기초를 형성할 수 있다. 몇몇 예에서, 요구 상태의 식별은, 상호작용 데이터의 일부를 포함하는 것과 같이, 스케줄 데이터에 의해 보완될 수 있다. 예를 들어, 스케줄은, 항생제의 투여를 수행할 사용자의 요구를 충족하기에 시간이 지났음을 나타낼 수 있다. PCD(100)는, 안면 분석 및 음성 변조 분석으로부터 도출된 데이터로부터, 사용자의 요구 상태를, 부분적으로, 확인할 수 있다.
[00320] 예시적이고 비제한적인 실시예들에 따르면, PCD(100)는 한 사람으로부터 다른 사람으로 메시지를 전달하는 메신저로서 사용될 수 있다. 메시지들은, 전송자의 음성의 오디오 녹음들을 포함하지만 이에 제한되지는 않고, PCD(100)는 문자 메시지를 전달하며, 메시지와 노래들을 강화하기 위해 댄스들/애니메이션들/소리 클립들이 사용된다.
[00321] 메시지들은 다양한 방식들로 생성될 수 있다. 일 실시예에서, PCD(100)는 스마트 디바이스 상의 앱으로서 구현된다. 전송자는 앱을 열고, 메시지 및 연관된 소리들, 스케줄링, 등을 선택한다. 앱에서의 PCD(100)의 시각적 인스턴스는 사용자에게 프로세스를 보여준다. 다른 실시예에서, PCD(100)와의 직접적인 상호작용을 통해, 전송자/사용자는, 어떤 미래의 시간에 다른 사람에게 무언가를 말하기 위해, 간단한 터치 인터페이스 또는 자연 언어 인터페이스를 통해서 PCD(100)에게 지시할 수 있다. 예를 들어, 사용자는, "PCD, 내 아내가 오늘 아침에 주방에 오면, 그녀에게 X 노래를 플레이해주고 그녀에게 내가 그녀를 사랑한다고 말해줘" 라고 말할 수 있다. 전송자는 또한, 메시지의 일부로서 사용하기 위해, 그/그녀의 목소리를 PCD(100)가 녹음하게 할 수 있다. 다른 실시예들에서, 전송자의 PCD(100)가 메시지를 전달하는 대신에, 메시지는 다른 위치의 다른 PCD(100)에 의해 전달될 수 있다. 또 다른 실시예에서, 사용자/전송자는, 예를 들어, 메시지를 특정 PCD들(100) 해시태그에 트윗할 수 있고, PCD(100)는 그러한 메시지를 사용자/수신인에게 말할 수 있다. PCD(100)에 의해 행해질, 미리 준비된 애니메이션/소리 스크립트를 발생시키는 이모티콘들이 또한, 메시지 내에 삽입될 수 있다. 몇몇 예시적인 이모티콘들이다:
Figure pct00001
[00322] 부가적으로, 메시지들은, 특정 날짜 및 시간 또는 특정 세트의 환경들(예를 들어, "화요일에 네가 사람 X를 만나는 처음 순간" 또는 "사람 Y가 수요일에 일어나면, 그들에게 이 메시지를 전해줘") 하에서, 나중에 전송되도록 스케줄링될 수 있다.
[00323] 다른 실시예들에서, PCD(100)는 PCD들을 가지고 있지 않은 사용자들을 위한 메시지들을 생성하도록 사용될 수 있다. 그러한 메시지들은 웹링크의 형태로 생성될 수 있고, 그리고 수신자가 PCD를 가졌다면 물리적 PCD(100)가 했었을 것과 동일한 메시지를 전달하기 위한 가상 PCD(100)를 포함할 수 있다.
[00324] 따라서 명백한 바와 같이, PCD(100)는 사용자의 가족들 및 친구들과 같은 사람들로부터 메시지들을 수신하도록 구성될 수 있고, 메시지들은 메시지들에서 특정된 감정들과 관련된 액션들을 트리거링한다. 예를 들어, 사람은, 메시지의 전송자가 PCD(100)을 통해 전달하기를 원하는 사회적 액션 또는 감정을 표현하는 이모티콘이 내부에 내장된, 사용자외 연관된 PCD(100)에 메시지를 문자로 보낼 수 있다. 예를 들어, 전송자가 PCD(100)에, "네가 많이 보고 싶어 OX"라고 판독되는 메시지를 전송하면, PCD(100)는, 메시지를 수신할 때, 스피치 합성기를 통해, "로버트로부터 수신된 메시지에서 '네가 많이 보고 싶어'라고 읽습니다"를 출력하면서, 동시에 키스 소리를 내보내면서, 디스플레이 상에 오므린 입술들을 디스플레이하거나, 또는 유사한 액션을 할 수 있다. 이러한 방식으로, 메시지 전송자들은, PCD(100)가 사용자와 상호작용할 수 있는 표현 양식들을 이용하기 위해 그들의 메시지들에 주석을 달 수 있다.
[00325] 본 명세서에 설명된 방법들 및 시스템들은, 프로세서 상에서 컴퓨터 소프트웨어, 프로그램 코드들, 및/또는 명령들을 실행하는 머신을 통해 부분적으로 또는 그 전부가 전개될 수도 있다. 프로세서는, 서버, 클라이언트, 네트워크 기반구조, 모바일 컴퓨팅 플랫폼, 정적 컴퓨팅 플랫폼, 또는 다른 컴퓨팅 플랫폼의 일부일 수도 있다. 프로세서는, 프로그램 명령들, 코드들, 바이너리 명령들 등을 실행할 수 있는 계산 또는 프로세싱 디바이스의 임의의 유형일 수도 있다. 프로세서는, 프로세서에 저장된 프로그램 명령들 또는 프로그램 코드의 실행을 직접적으로 또는 간접적으로 용이하게 할 수도 있는 신호 프로세서, 디지털 프로세서, 임베딩된 프로세서, 마이크로프로세서, 또는 코-프로세서(co-processor)(계산 코-프로세서, 그래픽 코-프로세서, 통신 코-프로세서 등) 등과 같은 임의의 변형일 수도 있거나 또는 이를 포함할 수도 있다. 부가적으로, 프로세서는 다수의 프로그램들, 스레드들, 및 코드들의 실행을 가능하게 할 수도 있다. 프로세서의 성능을 향상시키고 애플리케이션의 동시 동작들을 용이하게 하기 위해, 스레드들은 동시에 실행될 수도 있다. 구현으로서, 본 명세서에 설명된 방법들, 프로그램 코드들, 프로그램 명령들 등은 하나 또는 그 초과의 스레드로 구현될 수도 있다. 스레드는, 그들과 연관된 할당된 우선순위들을 가질 수도 있는 다른 스레드들을 스포닝(spawn)할 수도 있으며, 프로세서는 우선순위에 기초하거나 프로그램 코드에서 제공되는 명령들에 기초하여 임의의 다른 순서로 이들 스레드들을 실행할 수도 있다. 프로세서는, 본 명세서 및 다른 곳에서 설명된 바와 같은 방법들, 코드들, 명령들, 및 프로그램들을 저장하는 메모리를 포함할 수도 있다. 프로세서는, 본 명세서 및 다른 곳에서 설명된 바와 같은 방법들, 코드들, 및 명령들을 저장할 수도 있는 저장 매체에 인터페이스를 통해 액세스할 수도 있다. 컴퓨팅 또는 프로세싱 디바이스에 의해 실행될 수 있는 방법들, 프로그램들, 코드들, 프로그램 명령들 또는 다른 타입의 명령들을 저장하기 위한 프로세서와 연관된 저장 매체는, CD-ROM, DVD, 메모리, 하드 디스크, 플래시 드라이브, RAM, ROM, 캐시 등 중 하나 또는 그 초과를 포함할 수도 있지만 이에 제한되지 않을 수도 있다.
[00326] 프로세서는, 멀티프로세서의 속도 및 성능을 향상시킬 수도 있는 하나 또는 그 초과의 코어들을 포함할 수도 있다. 실시예에서, 프로세스는, 2개 또는 그 초과의 독립적인 코어들(다이로 지칭됨)을 결합시킨 듀얼 코어 프로세서, 쿼드 코어 프로세서들, 다른 칩-레벨 멀티프로세서 등일 수도 있다.
[00327] 본 명세서에 설명된 방법들 및 시스템들은, 서버, 클라이언트, 방화벽, 게이트웨이, 허브, 라우터, 또는 다른 그러한 컴퓨터 및/또는 네트워크 하드웨어 상에서 컴퓨터 소프트웨어를 실행하는 머신을 통해 부분적으로 또는 그 전부가 전개될 수도 있다. 소프트웨어 프로그램은, 파일 서버, 프린트 서버, 도메인 서버, 인터넷 서버, 인트라넷 서버, 및 2차 서버, 호스트 서버, 분산형 서버 등과 같은 다른 변형들을 포함할 수도 있는 서버와 연관될 수도 있다. 서버는, 메모리들, 프로세서들, 컴퓨터 판독가능 매체들, 저장 매체들, (물리적 및 가상) 포트들, 통신 디바이스들, 및 유선 또는 무선 매체를 통해 다른 서버들, 클라이언트들 머신들 및 디바이스들에 액세스할 수 있는 인터페이스들 등 중 하나 또는 그 초과를 포함할 수도 있다. 본 명세서 및 다른 곳에서 설명된 바와 같은 방법들, 프로그램들 또는 코드들은 서버에 의해 실행될 수도 있다. 부가적으로, 본 출원에 설명된 바와 같은 방법들의 실행을 위해 요구되는 다른 디바이스들은 서버와 연관된 기반구조의 일부로서 고려될 수도 있다.
[00328] 서버는, 클라이언트들, 다른 서버들, 프린터들, 데이터베이스 서버들, 프린트 서버들, 파일 서버들, 통신 서버들, 분산형 서버들 등을 제한 없이 포함하는 다른 디바이스들에 인터페이스를 제공할 수도 있다. 부가적으로, 이러한 커플링 및/또는 접속은 네트워크에 걸친 프로그램의 원격 실행을 용이하게 할 수도 있다. 이들 디바이스들 중 일부 또는 그 전부의 네트워킹은, 범위를 벗어나지 않으면서 하나 또는 그 초과의 위치에서 프로그램 또는 방법의 병렬 프로세싱을 용이하게 할 수도 있다. 부가적으로, 인터페이스를 통해 서버에 연결된 디바이스들 중 임의의 디바이스는, 방법들, 프로그램들, 코드 및/또는 명령들을 저장할 수 있는 적어도 하나의 저장 매체를 포함할 수도 있다. 중앙 저장소는 상이한 디바이스들 상에 실행될 프로그램 명령들을 제공할 수도 있다. 이러한 구현에서, 원격 저장소가 프로그램 코드, 명령들, 및 프로그램들에 대한 저장 매체로서 동작할 수도 있다.
[00329] 소프트웨어 프로그램은, 파일 클라이언트, 프린트 클라이언트, 도메인 클라이언트, 인터넷 클라이언트, 인트라넷 클라이언트, 및 2차 클라이언트, 호스트 클라이언트, 분산형 클라이언트 등과 같은 다른 변형들을 포함할 수도 있는 클라이언트와 연관될 수도 있다. 클라이언트는, 메모리들, 프로세서들, 컴퓨터 판독가능 매체들, 저장 매체들, (물리적 및 가상) 포트들, 통신 디바이스들, 및 유선 또는 무선 매체를 통해 다른 클라이언트들, 서버들, 머신들 및 디바이스들에 액세스할 수 있는 인터페이스들 등 중 하나 또는 그 초과를 포함할 수도 있다. 본 명세서 및 다른 곳에서 설명된 바와 같은 방법들, 프로그램들, 또는 코드들은 클라이언트에 의해 실행될 수도 있다. 부가적으로, 본 출원에서 설명된 바와 같은 방법들의 실행을 위해 요구되는 다른 디바이스들은, 클라이언트와 연관된 기반구조의 일부로서 고려될 수도 있다.
[00330] 클라이언트는, 서버들, 다른 클라이언트들, 프린터들, 데이터베이스 서버들, 프린트 서버들, 파일 서버들, 통신 서버들, 분산형 서버들 등을 제한 없이 포함하는 다른 디바이스들에 인터페이스를 제공할 수도 있다. 부가적으로, 이러한 커플링 및/또는 접속은 네트워크에 걸친 프로그램의 원격 실행을 용이하게 할 수도 있다. 이들 디바이스들 중 일부 또는 그 전부의 네트워킹은, 범위를 벗어나지 않으면서 하나 또는 그 초과의 위치에서 프로그램 또는 방법의 병렬 프로세싱을 용이하게 할 수도 있다. 부가적으로, 인터페이스를 통해 클라이언트에 연결된 디바이스들 중 임의의 디바이스는, 방법들, 프로그램들, 애플리케이션들, 코드 및/또는 명령들을 저장할 수 있는 적어도 하나의 저장 매체를 포함할 수도 있다. 중앙 저장소는 상이한 디바이스들 상에 실행될 프로그램 명령들을 제공할 수도 있다. 이러한 구현에서, 원격 저장소가 프로그램 코드, 명령들, 및 프로그램들에 대한 저장 매체로서 동작할 수도 있다.
[00331] 본 명세서에 설명된 방법들 및 시스템들은 네트워크 기반구조를 통해 부분적으로 또는 그 전부가 전개될 수도 있다. 네트워크 기반구조는, 컴퓨팅 디바이스들, 서버들, 라우터들, 허브들, 방화벽들, 클라이언트들, 개인용 컴퓨터들, 통신 디바이스들, 라우팅 디바이스들, 및 당업계에 알려져 있는 바와 같은 다른 능동 및 수동 디바이스들, 모듈들 및/또는 컴포넌트들과 같은 엘리먼트들을 포함할 수도 있다. 네트워크 기반구조와 연관된 컴퓨팅 및/또는 넌-컴퓨팅(non-computing) 디바이스(들)는, 다른 컴포넌트들 외에도, 플래시 메모리, 버퍼, 스택, RAM, ROM 등과 같은 저장 매체를 포함할 수도 있다. 본 명세서 및 다른 곳에서 설명된 프로세스들, 방법들, 프로그램 코드들, 명령들은, 네트워크 기반구조 엘리먼트들 중 하나 또는 그 초과에 의해 실행될 수도 있다.
[00332] 본 명세서 및 다른 곳에서 설명된 방법들, 프로그램 코드들, 및 명령들은, 다수의 셀들을 갖는 셀룰러 네트워크 상에 구현될 수도 있다. 셀룰러 네트워크는, 주파수 분할 다중 액세스(FDMA) 네트워크 또는 코드 분할 다중 액세스(CDMA) 네트워크 중 어느 하나일 수도 있다. 셀룰러 네트워크는, 모바일 디바이스들, 셀 사이트들, 기지국들, 중계기들, 안테나들, 타워들 등을 포함할 수도 있다. 셀 네트워크는 GSM, GPRS, 3G, EVDO, 메시, 또는 다른 네트워크 타입들일 수도 있다.
[00333] 본 명세서 및 다른 곳에서 설명된 방법들, 프로그램 코드들, 및 명령들은 모바일 디바이스들 상에 또는 모바일 디바이스들을 통해 구현될 수도 있다. 모바일 디바이스들은, 내비게이션 디바이스들, 셀 폰들, 모바일 폰들, 모바일 개인 휴대 정보 단말들, 랩톱들, 팜탑들, 넷북들, 페이저들, 전자 책 판독기들, 뮤직 플레이어들 등을 포함할 수도 있다. 이들 디바이스들은, 다른 컴포넌트들 외에도, 플래시 메모리, 버퍼, RAM, ROM과 같은 저장 매체 및 하나 또는 그 초과의 컴퓨팅 디바이스들을 포함할 수도 있다. 모바일 디바이스들과 연관된 컴퓨팅 디바이스들은, 모바일 디바이스들 상에 저장된 프로그램 코드들, 방법들, 및 명령들을 실행하도록 가능하게 될 수도 있다. 대안적으로, 모바일 디바이스들은 다른 디바이스들과 공동으로 명령들을 실행하도록 구성될 수도 있다. 모바일 디바이스들은, 서버들과 인터페이싱되고 그리고 프로그램 코드들을 실행하도록 구성되는 기지국들과 통신할 수도 있다. 모바일 디바이스들은, 피어 투 피어 네트워크, 메시 네트워크 또는 다른 통신 네트워크를 통해 통신할 수도 있다. 프로그램 코드는, 서버와 연관된 저장 매체 상에 저장되고 서버 내에 임베딩된 컴퓨팅 디바이스에 의해 실행될 수도 있다. 기지국은 컴퓨팅 디바이스 및 저장 매체를 포함할 수도 있다. 저장 디바이스는, 기지국과 연관된 컴퓨팅 디바이스들에 의해 실행되는 프로그램 코드들 및 명령들을 저장할 수도 있다.
[00334] 컴퓨터 소프트웨어, 프로그램 코드들, 및/또는 명령들은, 컴퓨터 컴포넌트들, 디바이스들, 및, 일부 시간 구간 동안 컴퓨팅하기 위해 사용되는 디지털 데이터를 보유하는 기록 매체들; 랜덤 액세스 메모리(RAM)로 알려져 있는 반도체 저장부; 광학 디스크들, 자기 저장 유형 하드 디스크들의 형태들, 테이프들, 드럽들, 카드들 및 다른 타입들과 같은 통상적으로 더 영구적인 저장을 위한 대용량 저장부; 프로세서 레지스터들, 캐시 메모리, 휘발성 메모리, 비-휘발성 메모리; CD, DVD와 같은 광학 저장부; 플래시 메모리(예를 들어, USB 스틱 또는 키들), 플로피 디스크들, 자기 테이프, 페이퍼 테이프, 펀치 카드들, 독립형 RAM 디스크들, Zip 드라이브들, 착탈형 대용량 저장부, 오프-라인 등과 같은 착탈형 매체들; 동적 메모리, 정적 메모리, 판독/기입 저장부, 이변(mutable) 저장부, 판독 전용, 랜덤 액세스형, 순차적 액세스형, 위치 어드레스가능형, 파일 어드레스가능형, 컨텐츠 어드레스가능형, 네트워크 연결 저장부, 저장 영역 네트워크, 바 코드들, 자기 잉크 등과 같은 다른 컴퓨터 메모리를 포함할 수도 있는 머신 판독가능 매체들 상에 저장될 수도 있고 그리고/또는 그들 상에서 액세스될 수도 있다.
[00335] 본 명세서에 설명된 방법들 및 시스템들은, 물리적이거나 및/또는 무형의 아이템들을 하나의 상태로부터 다른 상태로 변환할 수도 있다. 본 명세서에 설명된 방법들 및 시스템들은 또한, 물리적 및/또는 무형의 아이템들을 표현하는 데이터를 하나의 상태로부터 다른 상태로 변환할 수도 있다.
[00336] 도면들 전체에 걸친 흐름도들 및 블록도들에 포함되는 본 명세서에 설명되고 도시된 엘리먼트들은, 엘리먼트들 사이의 로직 경계들을 함의한다. 그러나, 소프트웨어 또는 하드웨어 엔지니어링 실시들에 따르면, 도시된 엘리먼트들 및 그들의 기능들은, 단일구성 소프트웨어 구조로서, 독립형 소프트웨어 모듈로서, 또는 외부 루틴들, 코드, 서비스들 등을 이용하는 모듈들 또는 이들의 임의의 결합으로서 그들 상에 저장된 프로그램 명령들을 실행할 수 있는 프로세서를 갖는 컴퓨터 실행가능 매체들을 통해 머신들 상에서 구현될 수도 있으며, 그러한 구현들 전부가 본 개시의 범위 내에 있을 수도 있다. 그러한 머신들의 예들은, 개인 휴대 정보 단말들, 랩톱들, 개인용 컴퓨터들, 모바일 폰들, 다른 핸드헬드 컴퓨팅 디바이스들, 의료 장비들, 무선 또는 유선 통신 디바이스들, 트랜스듀서들, 칩들, 계산기들, 위성들, 태블릿 PC들, 전자 책들, 가젯(gadget)들, 전자 디바이스들, 인공 지능을 갖는 디바이스들, 컴퓨팅 디바이스들, 네트워킹 장비들, 서버들, 라우터들 등을 포함할 수도 있지만 이에 제한되지 않을 수도 있다. 게다가, 흐름도 및 블록도들에 도시된 엘리먼트들 또는 임의의 다른 로직 컴포넌트는, 프로그램 명령들을 실행할 수 있는 머신 상에서 구현될 수도 있다. 따라서, 전술한 도면들 및 설명들이 기재된 시스템들의 기능적 양상들을 설명하지만, 명백히 언급되지 않거나 또는 맥락으로부터 달리 명확하지 않으면, 이들 기능적 양상들을 구현하기 위한 소프트웨어의 어떠한 특정 어레인지먼트라도 이들 설명들로부터 추론되어야 한다. 유사하게, 위에서 확인되고 설명되는 다양한 단계들이 변경될 수도 있고, 본 명세서에 기재된 기술들의 특정한 애플리케이션들로 단계들의 순서가 적응될 수도 있음이 인식될 수도 있다. 모든 그러한 변형들 및 변경들은 본 개시의 범위 내에 속하는 것으로 의도된다. 따라서, 다양한 단계들에 대한 순서의 도시 및/또는 설명은, 특정한 애플리케이션에 의해 요구되지 않으면, 또는 명백히 언급되거나 맥락으로부터 달리 명확하지 않으면 그들 단계들에 대해 특정한 순서의 실행을 요구하는 것으로 이해되어서는 안된다.
[00337] 상술된 방법들 및/또는 프로세스들, 및 그들의 단계들은, 특정한 애플리케이션에 대해 적절한 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 임의의 결합으로 실현될 수도 있다. 하드웨어는, 범용 컴퓨터 및/또는 전용 컴퓨팅 디바이스 또는 특정 컴퓨팅 디바이스 또는 특정 컴퓨팅 디바이스의 특정한 양상 또는 컴포넌트를 포함할 수도 있다. 프로세스들은, 내부 및/또는 외부 메모리와 함께, 하나 또는 그 초과의 마이크로프로세서들, 마이크로제어기들, 임베딩된 마이크로제어기들, 프로그래밍가능 디지털 신호 프로세서들 또는 다른 프로그래밍가능 디바이스에서 실현될 수도 있다. 프로세스들은 또한 또는 그 대신, 주문형 집적 회로, 프로그래밍가능 게이트 어레이, 프로그래밍가능 어레이 로직, 또는 전자 신호들을 프로세싱하도록 구성될 수도 있는 다른 디바이스 또는 디바이스들의 결합에서 구현될 수도 있다. 프로세스들 중 하나 또는 그 초과는, 머신 판독가능 매체 상에서 실행될 수 있는 컴퓨터 실행가능한 코드로서 실현될 수도 있음이 추가로 인식될 수도 있다.
[00338] 컴퓨터 실행가능 코드는, 상기 디바이스들 뿐만 아니라 프로세서들의 이종 결합들, 프로세서 아키텍쳐들, 또는 상이한 하드웨어 및 소프트웨어의 결합들, 또는 프로그램 명령들을 실행할 수 있는 임의의 다른 머신 중 하나 상에서 구동하도록 저장되거나 컴파일되거나 또는 해석될 수도 있는 C와 같은 구조화된 프로그래밍 언어, C++와 같은 오브젝트 지향 프로그래밍 언어, 또는 (어셈블리 언어들, 하드웨어 디스크립션 언어들, 및 데이터베이스 프로그래밍 언어들 및 기술들을 포함하는) 임의의 다른 하이-레벨 또는 로우-레벨 프로그래밍 언어를 사용하여 생성될 수도 있다.
[00339] 따라서, 일 양상에서, 상술된 각각의 방법 및 그들의 결합들은, 하나 또는 그 초과의 컴퓨팅 디바이스들 상에서 실행되는 경우 그들의 단계들을 수행하는 컴퓨터 실행가능한 코드로 구현될 수도 있다. 다른 양상에서, 방법들은, 그들의 단계들을 수행하는 시스템들에서 구현될 수도 있거나, 다양한 방식으로 디바이스들에 걸쳐 분산될 수도 있거나, 또는 그 기능 전부가 전용, 독립형 디바이스 또는 다른 하드웨어 내에 통합될 수도 있다. 다른 양상에서, 상술된 프로세스들과 연관된 단계들을 수행하기 위한 수단은, 상술된 하드웨어 및/또는 소프트웨어 중 임의의 것을 포함할 수도 있다. 그러한 치환들 및 결합들 전부가 본 개시의 범위 내에 속하는 것으로 의도된다.
[00340] 본 명세서에 설명된 방법들 시스템들이, 상세히 설명되고 도시된 특정한 바람직한 실시예들과 관련하여 기재되었지만, 그들 상에서의 다양한 변형들 및 개선들이 당업자들에게 용이하게 명백해질 수도 있다. 따라서, 본 명세서에 설명된 방법들 및 시스템들의 사상 및 범위는 전술한 예들에 의해 제한되는 것이 아니며, 법에 의해 허용되는 가장 넓은 의미에 있는 것으로 이해될 것이다.
[00341] 도 13을 참조하면, 예시적이고 비제한적인 실시예의 흐름도 및 각각의 방법(1300)이 예시되어 있다. 방법은 단계(1302)에서, PCD(persistent companion device)를 제공하는 단계를 포함한다. 방법은 단계(1304)에서, 제스처, 시선 방향, 워드 선택, 음성의 운율, 바디 자세, 얼굴 표정, 감정 큐들 및 터치로 이루어지는 그룹으로부터 선택되는 사용자로부터의 언어 및 비언어 신호들 중 적어도 하나를 입력하는 단계를 더 포함한다. 방법은 단계(1306)에서, 언어 및 비언어 신호들 중 적어도 하나를 반영하기 위해 PCD의 작동을 조정하는 단계를 더 포함한다.
[00342] 본 명세서에서 참조된 모든 문헌들은 이로써 인용에 의해 포함된다.

Claims (38)

  1. 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 단계;
    제 1 파라미터에 따라 상기 환경에서 한 명 이상의 사람들을 포토그래핑하기 위한 명령을 수신하는 단계; 및
    포토그래프 및 비디오 중 적어도 하나를 유도하도록 상기 제 1 파라미터에 따라 상기 한 명 이상의 사람들을 포토그래핑하는 단계를 포함하는, 방법.
  2. 제 1항에 있어서,
    상기 제 1 파라미터는 시간 파라미터인, 방법.
  3. 제 2항에 있어서,
    상기 시간 파라미터는 미리 결정된 시간의 양, 포토그래프들이 획득될 레이트, 시작 시간 및 종료 시간으로 이루어진 그룹으로부터 선택되는, 방법.
  4. 제 1항에 있어서,
    상기 한 명 이상의 사람들을 포토그래핑하는 단계는 포토그래핑될 한 명 이상의 사람들 각각을 식별하기 위해서 적어도 하나의 감각 입력을 활용하는 단계를 포함하는, 방법.
  5. 제 4항에 있어서,
    상기 적어도 하나의 감각 입력은 청각 입력, 시각 입력, 터치 입력 및 원격 디바이스 입력으로 이루어진 그룹으로부터 선택되는, 방법.
  6. 제 1항에 있어서,
    상기 한 명 이상의 사람들을 포토그래핑하는 단계는 포토그래핑될 한 명 이상의 사람들 각각을 식별하기 위해서 얼굴 검출 또는 얼굴 인식 및 사운드 로케이션 중 적어도 하나를 활용하는 단계를 포함하는, 방법.
  7. 제 1항에 있어서,
    상기 제 1 파라미터는 상기 로봇 디바이스로 하여금 포토그래핑하거나 비디오 촬영할 사람을 탐색하고, 포토그래핑하거나 비디오 촬영할 목표 사람을 선택하며, 포토그래프 또는 비디오를 캡쳐하면서 이동을 통해 상기 목표 사람을 추적하게 하는, 방법.
  8. 제 1항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 클라우드(cloud)에 업로딩하는 단계를 더 포함하는, 방법.
  9. 제 8항에 있어서,
    사용자로 하여금 상기 포토그래프 및 비디오 중 적어도 하나에 대해 액션을 수행할 수 있게 하는 단계를 더 포함하고,
    상기 액션은 삭제, 편집 및 크로핑(cropping)으로 이루어진 그룹으로부터 선택되는, 방법.
  10. 제 1항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 소셜 미디어 웹사이트에 업로딩하는 단계를 더 포함하는, 방법.
  11. 제 1항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 소셜 미디어 웹사이트 또는 다른 디바이스에 이메일로 보내거나 그렇지 않으면 디지털적으로 전송하는 단계, 또는 이미지 또는 비디오를 다른 디바이스로부터 수신하는 단계를 더 포함하는, 방법.
  12. 제 1항에 있어서,
    포토그래핑될 사람의 감정 상태를 관찰하는 단계; 및
    관찰된 감정 상태에 응하여, 상기 사람의 바람직한 감정 상태를 유발(provoke)하기 위해 큐(queue)를 내보내는(emit) 단계를 더 포함하는, 방법.
  13. 제 12항에 있어서,
    상기 사람의 바람직한 감정 상태는 웃는 것인, 방법.
  14. 제 12항에 있어서,
    상기 큐는 클라우드로부터 수신되는 데이터로부터 적어도 부분적으로 유도되는, 방법.
  15. 제 1항에 있어서,
    제 2 파라미터를 사용자로부터 수신하는 단계; 및
    상기 제 2 파라미터에 따라 상기 한 명 이상의 사람들을 포토그래핑하는 단계를 더 포함하는, 방법.
  16. 제 15항에 있어서,
    상기 제 2 파라미터는 상기 한 명 이상의 사람들 각각의 적어도 하나의 포토그래프 또는 비디오를 획득하기 위한 요건인, 방법.
  17. 제 15항에 있어서,
    이미지 합성을 개선하기 위해서, 포토그래핑될 사람들에게 요청을 브로드캐스팅하는 단계 또는 상기 사람들로부터 입력을 수신하는 단계를 더 포함하는, 방법.
  18. 제 17항에 있어서,
    상기 요청은 상기 한 명 이상의 사람들 중 적어도 한 명에게 정지 상태로 있도록 지시하는, 방법.
  19. 제 1항에 있어서,
    상기 한 명 이상의 사람들 중 적어도 한 명의 식별자에 대한 요청을 브로드캐스팅하는 단계;
    상기 한 명 이상의 사람들 중 적어도 한 명으로부터 식별자를 수신하는 단계; 및
    상기 한 명 이상의 사람들 중 적어도 한 명의 포토그래프 및 비디오 중 적어도 하나와 수신된 식별자를 연관시키는 단계를 더 포함하는, 방법.
  20. 제 1항에 있어서,
    상기 명령은 상기 사용자로부터 수신되는, 방법.
  21. 사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스의 일부를 형성하는 컴퓨터 판독가능 매체 상에 존재하는 컴퓨터 프로그램 물건으로서,
    상기 컴퓨터 판독가능 매체는 저장된 복수의 명령들을 포함하고,
    상기 복수의 명령들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 동작들을 수행하게 하고, 상기 동작들은:
    사용자의 환경에서 지속적이도록 적응되는 원격통신 가능 로봇 디바이스를 제공하는 동작;
    제 1 파라미터에 따라 상기 환경에서 한 명 이상의 사람들을 포토그래핑하기 위한 명령을 수신하는 동작; 및
    포토그래프 및 비디오 중 적어도 하나를 유도하도록 상기 제 1 파라미터에 따라 상기 한 명 이상의 사람들을 포토그래핑하는 동작을 포함하는, 컴퓨터 프로그램 물건.
  22. 제 21항에 있어서,
    상기 제 1 파라미터는 시간 파라미터인, 컴퓨터 프로그램 물건.
  23. 제 22항에 있어서,
    상기 시간 파라미터는 미리 결정된 시간의 양, 포토그래프들이 획득될 레이트, 시작 시간 및 종료 시간으로 이루어진 그룹으로부터 선택되는, 컴퓨터 프로그램 물건.
  24. 제 21항에 있어서,
    상기 한 명 이상의 사람들을 포토그래핑하는 동작은 포토그래핑될 한 명 이상의 사람들 각각을 식별하기 위해서 적어도 하나의 감각 입력을 활용하는 동작을 포함하는, 컴퓨터 프로그램 물건.
  25. 제 24항에 있어서,
    상기 적어도 하나의 감각 입력은 청각 입력, 시각 입력, 터치 입력 및 원격 디바이스 입력으로 이루어진 그룹으로부터 선택되는, 컴퓨터 프로그램 물건.
  26. 제 21항에 있어서,
    상기 한 명 이상의 사람들을 포토그래핑하는 동작은 포토그래핑될 한 명 이상의 사람들 각각을 식별하기 위해서 얼굴 인식 및 사운드 로케이션 중 적어도 하나를 활용하는 동작을 포함하는, 컴퓨터 프로그램 물건.
  27. 제 21항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 클라우드(cloud)에 업로딩하는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  28. 제 25항에 있어서,
    사용자로 하여금 상기 포토그래프 및 비디오 중 적어도 하나에 대해 액션을 수행할 수 있게 하는 동작을 더 포함하고,
    상기 액션은 삭제, 편집 및 크로핑(cropping)으로 이루어진 그룹으로부터 선택되는, 컴퓨터 프로그램 물건.
  29. 제 21항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 소셜 미디어 웹사이트에 업로딩하는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  30. 제 21항에 있어서,
    상기 포토그래프 및 비디오 중 적어도 하나를 소셜 미디어 웹사이트에 이메일로 보내는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  31. 제 21항에 있어서,
    포토그래핑될 사람의 감정 상태를 관찰하는 동작; 및
    관찰된 감정 상태에 응하여, 상기 사람의 바람직한 감정 상태를 유발하기 위해 큐(queue)를 내보내는(emit) 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  32. 제 31항에 있어서,
    상기 사람의 바람직한 감정 상태는 웃는 것인, 컴퓨터 프로그램 물건.
  33. 제 31항에 있어서,
    상기 큐는 클라우드로부터 수신되는 데이터로부터 적어도 부분적으로 유도되는, 컴퓨터 프로그램 물건.
  34. 제 21항에 있어서,
    제 2 파라미터를 사용자로부터 수신하는 동작; 및
    상기 제 2 파라미터에 따라 상기 한 명 이상의 사람들을 포토그래핑하는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  35. 제 34항에 있어서,
    상기 제 2 파라미터는 상기 한 명 이상의 사람들 각각의 적어도 하나의 포토그래프를 획득하기 위한 요건인, 컴퓨터 프로그램 물건.
  36. 제 34항에 있어서,
    상기 한 명 이상의 사람들 중 적어도 한 명에게 정지 상태로 있으라는 요청을 브로드캐스팅하는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  37. 제 21항에 있어서,
    상기 한 명 이상의 사람들 중 적어도 한 명의 식별자에 대한 요청을 브로드캐스팅하는 동작;
    상기 한 명 이상의 사람들 중 적어도 한 명으로부터 식별자를 수신하는 동작; 및
    상기 한 명 이상의 사람들 중 적어도 한 명의 포토그래프 및 비디오 중 적어도 하나와 수신된 식별자를 연관시키는 동작을 더 포함하는, 컴퓨터 프로그램 물건.
  38. 제 21항에 있어서,
    상기 명령은 상기 사용자로부터 수신되는, 컴퓨터 프로그램 물건.
KR1020157025366A 2013-03-15 2014-03-13 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들 KR20160034243A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361788732P 2013-03-15 2013-03-15
US61/788,732 2013-03-15
PCT/US2014/026815 WO2014152015A1 (en) 2013-03-15 2014-03-13 Apparatus and methods for providing a persistent companion device

Publications (1)

Publication Number Publication Date
KR20160034243A true KR20160034243A (ko) 2016-03-29

Family

ID=51531442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157025366A KR20160034243A (ko) 2013-03-15 2014-03-13 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들

Country Status (9)

Country Link
US (1) US10391636B2 (ko)
EP (1) EP2974273A4 (ko)
JP (1) JP2016522465A (ko)
KR (1) KR20160034243A (ko)
CN (1) CN105409197A (ko)
AU (2) AU2014236686B2 (ko)
CA (1) CA2904359A1 (ko)
HK (1) HK1217847A1 (ko)
WO (1) WO2014152015A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180116100A (ko) * 2017-04-16 2018-10-24 이상훈 시선 인식에 의한 대화 연속성 식별 기반의 휴먼 인터페이스 처리형 인공지능 스피커
KR20180129886A (ko) * 2016-03-31 2018-12-05 지보, 인코포레이티드 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
KR20190079669A (ko) * 2016-11-10 2019-07-05 워너 브로스. 엔터테인먼트 인크. 환경 제어 특징을 갖는 소셜 로봇
KR20200000713A (ko) * 2018-06-25 2020-01-03 엘지전자 주식회사 로봇
KR20200063449A (ko) * 2018-11-28 2020-06-05 백준흠 자세 관찰 스마트 토이 및 이를 이용한 플랫폼 서비스
US11173594B2 (en) 2018-06-25 2021-11-16 Lg Electronics Inc. Robot

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101358999B1 (ko) * 2011-11-21 2014-02-07 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
US9159313B2 (en) * 2012-04-03 2015-10-13 Sony Corporation Playback control apparatus, playback control method, and medium for playing a program including segments generated using speech synthesis and segments not generated using speech synthesis
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2974273A4 (en) 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
US9910660B2 (en) * 2013-08-05 2018-03-06 Harman International Industries, Incorporated Operating system replacement for in-vehicle computing system
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
WO2015123658A1 (en) 2014-02-14 2015-08-20 Sonic Blocks, Inc. Modular quick-connect a/v system and methods thereof
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
JP6561433B2 (ja) * 2014-05-15 2019-08-21 ソニー株式会社 複数のハードウェアのエレメントを連係動作させることによって機能を実現させるための方法、システム、端末装置、およびサーバ
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
US11270264B1 (en) 2014-06-06 2022-03-08 Massachusetts Mutual Life Insurance Company Systems and methods for remote huddle collaboration
US11294549B1 (en) * 2014-06-06 2022-04-05 Massachusetts Mutual Life Insurance Company Systems and methods for customizing sub-applications and dashboards in a digital huddle environment
US10350763B2 (en) * 2014-07-01 2019-07-16 Sharp Kabushiki Kaisha Posture control device, robot, and posture control method
US9418663B2 (en) 2014-07-31 2016-08-16 Google Inc. Conversational agent with a particular spoken style of speech
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9692867B2 (en) * 2014-12-05 2017-06-27 Here Global B.V. Event accessory item location
US9529359B1 (en) 2015-01-08 2016-12-27 Spring Communications Company L.P. Interactive behavior engagement and management in subordinate airborne robots
US10192546B1 (en) * 2015-03-30 2019-01-29 Amazon Technologies, Inc. Pre-wakeword speech processing
KR102341144B1 (ko) 2015-06-01 2021-12-21 삼성전자주식회사 메시지를 출력하는 전자 장치 및 그 제어 방법
DE102015210879A1 (de) * 2015-06-15 2016-12-15 BSH Hausgeräte GmbH Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
US9724824B1 (en) * 2015-07-08 2017-08-08 Sprint Communications Company L.P. Sensor use and analysis for dynamic update of interaction in a social robot
CN105159111B (zh) * 2015-08-24 2019-01-25 百度在线网络技术（北京）有限公司 基于人工智能的智能交互设备控制方法及系统
CN105108733B (zh) * 2015-08-25 2021-02-23 深圳乐行天下科技有限公司 机器人
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10839302B2 (en) 2015-11-24 2020-11-17 The Research Foundation For The State University Of New York Approximate value iteration with complex returns by bounding
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
KR102573769B1 (ko) 2015-12-15 2023-09-04 삼성전자주식회사 전자장치 및 그 거치대
KR102546714B1 (ko) 2015-12-15 2023-06-23 삼성전자주식회사 전자장치 및 그 거치대
CN105425970B (zh) * 2015-12-29 2019-02-26 深圳微服机器人科技有限公司 一种人机互动的方法、装置及机器人
US10664741B2 (en) 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10452816B2 (en) * 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US9921574B1 (en) * 2016-03-03 2018-03-20 Sprint Communications Company L.P. Dynamic interactive robot dialogue creation incorporating disparate information sources and collective feedback analysis
KR102558873B1 (ko) * 2016-03-23 2023-07-25 한국전자통신연구원 상호 작용 장치 및 그것의 상호 작용 방법
KR102498451B1 (ko) 2016-03-24 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 제공 방법
KR102537543B1 (ko) 2016-03-24 2023-05-26 삼성전자주식회사 지능형 전자 장치 및 그 동작 방법
KR102498364B1 (ko) 2016-03-24 2023-02-10 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 제공 방법
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
CN109416701A (zh) * 2016-04-26 2019-03-01 泰康机器人公司 多种交互人格的机器人
JP2017204231A (ja) * 2016-05-13 2017-11-16 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6844124B2 (ja) * 2016-06-14 2021-03-17 富士ゼロックス株式会社 ロボット制御システム
WO2018000259A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018000261A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018000258A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
US10096321B2 (en) 2016-08-22 2018-10-09 Intel Corporation Reverberation compensation for far-field speaker recognition
US10192551B2 (en) 2016-08-30 2019-01-29 Google Llc Using textual input and user state information to generate reply content to present in response to the textual input
DE102016216407A1 (de) * 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Individuelle Kommunikationsunterstützung
JP6848276B2 (ja) * 2016-09-05 2021-03-24 カシオ計算機株式会社 情報共有装置、情報共有方法、プログラム及び情報共有システム
JP6672114B2 (ja) * 2016-09-13 2020-03-25 本田技研工業株式会社 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム
EP3529013A4 (en) * 2016-10-03 2020-07-01 Carnegie Mellon University TOUCH DETECTION SYSTEM
WO2018073832A1 (en) * 2016-10-20 2018-04-26 Rn Chidakashi Technologies Pvt. Ltd. Emotionally intelligent companion device
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10339769B2 (en) 2016-11-18 2019-07-02 Google Llc Server-provided visual output at a voice interface device
USD832328S1 (en) * 2016-12-16 2018-10-30 Samsung Electronics Co., Ltd. Robotic device
KR102640420B1 (ko) 2016-12-22 2024-02-26 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US10235990B2 (en) 2017-01-04 2019-03-19 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10373515B2 (en) 2017-01-04 2019-08-06 International Business Machines Corporation System and method for cognitive intervention on human interactions
CN106730234A (zh) * 2017-01-11 2017-05-31 上海北辰软件股份有限公司 一种智能情绪疏导系统
US10318639B2 (en) 2017-02-03 2019-06-11 International Business Machines Corporation Intelligent action recommendation
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
CN106653027A (zh) * 2017-02-17 2017-05-10 安徽金猫数字科技有限公司 一种基于NodeJS的智能家居语音控制系统
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
CN106956271B (zh) 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人
WO2018183812A1 (en) * 2017-03-30 2018-10-04 JIBO, Inc. Persistent companion device configuration and deployment platform
US20180295317A1 (en) * 2017-04-11 2018-10-11 Motorola Mobility Llc Intelligent Dynamic Ambient Scene Construction
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
CN108874812B (zh) * 2017-05-10 2021-12-10 腾讯科技（北京）有限公司 一种数据处理方法及服务器、计算机存储介质
US11584018B2 (en) 2017-11-13 2023-02-21 Teenage Engineering Ab User interactive electronic system and method for controlling a robotic arm
WO2019133694A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019133689A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
EP3732677A4 (en) * 2017-12-29 2021-09-29 DMAI, Inc. SYSTEM AND PROCEDURE FOR AN AUTOMATIC COMPANION DRIVEN BY ARTIFICIAL INTELLIGENCE
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
US20190236976A1 (en) * 2018-01-31 2019-08-01 Rnd64 Limited Intelligent personal assistant device
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
US11188810B2 (en) 2018-06-26 2021-11-30 At&T Intellectual Property I, L.P. Integrated assistance platform
CN109214303B (zh) * 2018-08-14 2021-10-01 北京工商大学 一种基于云端api的多线程动态人脸签到方法
CN113168526B (zh) * 2018-10-09 2024-08-27 奇跃公司 用于虚拟和增强现实的系统和方法
JP6611972B1 (ja) 2019-03-05 2019-11-27 正通 亀井 アドバイス提示システム
CN109807900A (zh) * 2019-03-19 2019-05-28 西北工业大学 一种工业机器人组件化控制系统的软件架构
US11376743B2 (en) * 2019-04-04 2022-07-05 Joyhaptics Oy Systems and methods for providing remote touch
US11544594B2 (en) * 2019-04-11 2023-01-03 Sunghee Woo Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device
JP7439826B2 (ja) * 2019-04-16 2024-02-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
KR20210110684A (ko) * 2019-04-29 2021-09-08 구글 엘엘씨 자동화된 어시스턴트 요청에 따라 장치 위치 및/또는 인터페이스 방향을 자율적으로 조정하는 전동 컴퓨팅 장치
EP3739396A1 (de) * 2019-05-15 2020-11-18 Siemens Aktiengesellschaft System zur bewegungsführung eines manipulators aufweisend einen ersten und einen zweiten prozessor
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
CN112447177B (zh) * 2019-09-04 2022-08-23 思必驰科技股份有限公司 全双工语音对话方法及系统
US11263198B2 (en) 2019-09-05 2022-03-01 Soundhound, Inc. System and method for detection and correction of a query
EP3797938B1 (en) * 2019-09-27 2024-01-03 Tata Consultancy Services Limited Attention shifting of a robot in a group conversation using audio-visual perception based speaker localization
US11342895B2 (en) * 2019-10-07 2022-05-24 Bose Corporation Systems and methods for modifying an audio playback
JP7392377B2 (ja) * 2019-10-10 2023-12-06 沖電気工業株式会社 機器、情報処理方法、プログラム、情報処理システムおよび情報処理システムの方法
US11176357B2 (en) * 2019-10-30 2021-11-16 Tascent, Inc. Fast face image capture system
US11004284B2 (en) * 2019-11-09 2021-05-11 Azure Katherine Zilka Smart home system, method, and computer program
CN112883170B (zh) * 2021-01-20 2023-08-18 中国人民大学 一种用户反馈引导的自适应对话推荐方法和系统
CN112801091B (zh) * 2021-01-26 2023-06-13 汕头大学 一种基于深度学习的增材制造制件成形质量监控与预测方法
US12032377B2 (en) * 2021-05-25 2024-07-09 Ubkang (Qingdao) Technology Co., Ltd. Mobility aid robot navigating method and mobility aid robot using the same
USD1030769S1 (en) 2021-09-04 2024-06-11 Assa Abloy Global Solutions Ab Wall mountable door access device
US11762716B2 (en) * 2022-01-10 2023-09-19 Jason Michael Rowoldt Automatic animation system and method
CN114565586B (zh) * 2022-03-02 2023-05-30 小荷医疗器械(海南)有限公司 息肉分割模型的训练方法、息肉分割方法及相关装置

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE454250B (sv) 1984-09-24 1988-04-18 Asea Ab Industrirobot med linjera drivanordningar
JPH07281242A (ja) 1994-04-06 1995-10-27 Hideaki Tatsumi カメラのアオリ撮影用アタッチメント
US5832189A (en) 1996-09-26 1998-11-03 Interval Research Corporation Affect-based robot communication methods and systems
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
JP2001277166A (ja) * 2000-03-31 2001-10-09 Sony Corp ロボット及びロボットの行動決定方法
JP2002000574A (ja) 2000-06-22 2002-01-08 Matsushita Electric Ind Co Ltd 介護支援用ロボットおよび介護支援システム
US7478047B2 (en) * 2000-11-03 2009-01-13 Zoesis, Inc. Interactive character system
JP2003225228A (ja) * 2002-01-31 2003-08-12 Sanyo Electric Co Ltd 健康管理端末装置，コンピュータプログラム及び記録媒体
JP4271193B2 (ja) 2003-08-12 2009-06-03 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット用制御システム
JP2005342862A (ja) * 2004-06-04 2005-12-15 Nec Corp ロボット
JP4179230B2 (ja) * 2004-06-07 2008-11-12 ソニー株式会社 ロボット装置及びその動作制御方法
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007069302A (ja) * 2005-09-07 2007-03-22 Hitachi Ltd 動作表出装置
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
KR101309562B1 (ko) 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
KR20090001725A (ko) 2007-05-14 2009-01-09 주식회사 유진로봇 로봇 구동을 위한 하드웨어 시뮬레이션 방법 및 시스템
CN101362334A (zh) 2008-09-25 2009-02-11 塔米智能科技（北京）有限公司 一种智能机器人及其运作方法
JP2009072910A (ja) 2008-12-22 2009-04-09 Nec Corp ロボット装置及びその制御方法
CN101774179B (zh) 2009-01-10 2012-09-19 鸿富锦精密工业（深圳）有限公司 机器人连接轴
US8608398B2 (en) 2009-06-09 2013-12-17 King Fahd University Of Petroleum And Minerals Spherical joint with internal brake
ES2358139B1 (es) * 2009-10-21 2012-02-09 Thecorpora, S.L. Robot social.
USD639353S1 (en) 2009-11-13 2011-06-07 Home Focus Development Limited Toy figurine
KR101119030B1 (ko) 2010-05-12 2012-03-13 (주) 퓨처로봇 지능형 로봇 장치의 서비스 시나리오 편집 방법, 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
US10343283B2 (en) * 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
KR101159962B1 (ko) 2010-05-25 2012-06-25 숭실대학교산학협력단 표정인식을 이용한 휴대 기기의 상호작용 방법
CN102259336A (zh) 2010-05-28 2011-11-30 鸿富锦精密工业（深圳）有限公司 机器人
CN104898652B (zh) * 2011-01-28 2018-03-13 英塔茨科技公司 与一个可移动的远程机器人相互交流
USD688577S1 (en) 2012-02-21 2013-08-27 Faro Technologies, Inc. Laser tracker
US20120277914A1 (en) * 2011-04-29 2012-11-01 Microsoft Corporation Autonomous and Semi-Autonomous Modes for Robotic Capture of Images and Videos
US8996429B1 (en) * 2011-05-06 2015-03-31 Google Inc. Methods and systems for robot personality development
KR101257896B1 (ko) 2011-05-25 2013-04-24 (주) 퓨처로봇 스마트 서비스 로봇 운영 시스템 및 방법
TW201251445A (en) * 2011-06-10 2012-12-16 Altek Corp System and method of driving shutter by an object moving tendency
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
USD695345S1 (en) 2011-07-22 2013-12-10 Kt Corporation Educational robot
CN103085082B (zh) 2011-11-04 2015-10-14 鸿富锦精密工业（深圳）有限公司 机器人臂部件
WO2013080197A1 (en) * 2011-11-29 2013-06-06 Technion Research & Development Foundation Ltd. Robotic mechanism with two degrees of freedom
US20150138333A1 (en) 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US9561586B2 (en) 2012-03-29 2017-02-07 Ulvac, Inc. Articulated robot, and conveying device
US9495129B2 (en) * 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
USD722281S1 (en) 2012-07-09 2015-02-10 Adept Technology, Inc. Mobile robotic platform
JP2012192518A (ja) 2012-07-12 2012-10-11 Kawasaki Heavy Ind Ltd 冗長関節部を有する冗長ロボットの制御装置および制御方法
KR101190660B1 (ko) 2012-07-23 2012-10-15 (주) 퓨처로봇 로봇 제어 시나리오 생성 방법 및 장치
USD685438S1 (en) 2012-09-12 2013-07-02 Byd Company Limited Robot
KR101281806B1 (ko) 2012-12-28 2013-07-04 (주) 퓨처로봇 퍼스널 로봇
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2974273A4 (en) 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
DE102013204588A1 (de) 2013-03-15 2014-09-18 Siemens Aktiengesellschaft Drehmomentübertragungsvorrichtung, Aktor, Roboter
US9519495B2 (en) 2013-06-14 2016-12-13 Microsoft Technology Licensing, Llc Timed API rules for runtime verification
USD733203S1 (en) 2013-12-17 2015-06-30 Roambotics Inc. Personal robot
DE102014202145A1 (de) 2014-02-06 2015-08-06 Kuka Roboter Gmbh Verfahren zum Programmieren eines Industrieroboters und zugehörigerIndustrieroboter
US10398275B2 (en) 2014-05-23 2019-09-03 Lg Electronics Inc. Robot cleaner
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
JP6440385B2 (ja) 2014-06-10 2018-12-19 キヤノン株式会社 ロボットアーム、表示装置およびロボットシステム
US9718187B2 (en) 2014-06-11 2017-08-01 Canon Kabushiki Kaisha Robot controlling method, robot apparatus, program, recording medium, and method for manufacturing assembly component
USD734821S1 (en) 2014-07-14 2015-07-21 Play-i, Inc. Robotic toy
WO2016011159A1 (en) 2014-07-15 2016-01-21 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9604357B2 (en) 2014-07-30 2017-03-28 Kabushiki Kaisha Yaskawa Denki Robot and device having multi-axis motion sensor, and method of use thereof
JP6075343B2 (ja) 2014-09-02 2017-02-08 トヨタ自動車株式会社 走行ロボット、その動作計画方法及びプログラム
GB2529849B (en) 2014-09-03 2017-06-14 Dyson Technology Ltd A robot cleaner
GB2529847B (en) 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129886A (ko) * 2016-03-31 2018-12-05 지보, 인코포레이티드 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
KR20190079669A (ko) * 2016-11-10 2019-07-05 워너 브로스. 엔터테인먼트 인크. 환경 제어 특징을 갖는 소셜 로봇
KR20180116100A (ko) * 2017-04-16 2018-10-24 이상훈 시선 인식에 의한 대화 연속성 식별 기반의 휴먼 인터페이스 처리형 인공지능 스피커
KR20200000713A (ko) * 2018-06-25 2020-01-03 엘지전자 주식회사 로봇
US11173594B2 (en) 2018-06-25 2021-11-16 Lg Electronics Inc. Robot
US11292121B2 (en) 2018-06-25 2022-04-05 Lg Electronics Inc. Robot
KR20200063449A (ko) * 2018-11-28 2020-06-05 백준흠 자세 관찰 스마트 토이 및 이를 이용한 플랫폼 서비스

Also Published As

Publication number Publication date
JP2016522465A (ja) 2016-07-28
CN105409197A (zh) 2016-03-16
EP2974273A4 (en) 2018-01-10
CA2904359A1 (en) 2014-09-25
AU2014236686B2 (en) 2017-06-15
HK1217847A1 (zh) 2017-01-20
US20140277735A1 (en) 2014-09-18
EP2974273A1 (en) 2016-01-20
US10391636B2 (en) 2019-08-27
WO2014152015A1 (en) 2014-09-25
AU2014236686A1 (en) 2015-09-24
AU2017228574A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
AU2014236686B2 (en) Apparatus and methods for providing a persistent companion device
US11148296B2 (en) Engaging in human-based social interaction for performing tasks using a persistent companion device
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US20170206064A1 (en) Persistent companion device configuration and deployment platform
WO2016011159A1 (en) Apparatus and methods for providing a persistent companion device
CN110139732B (zh) 具有环境控制特征的社交机器人
US20180229372A1 (en) Maintaining attention and conveying believability via expression and goal-directed behavior with a social robot
US11504856B2 (en) System and method for selective animatronic peripheral response for human machine dialogue
CN112262024B (zh) 用于增强数字体验的动态机器人配置的系统和方法
US10994421B2 (en) System and method for dynamic robot profile configurations based on user interactions
US11074491B2 (en) Emotionally intelligent companion device
US20190202061A1 (en) System and method for detecting physical proximity between devices
US11331807B2 (en) System and method for dynamic program configuration
WO2016206645A1 (zh) 为机器装置加载控制数据的方法及装置
WO2018183812A1 (en) Persistent companion device configuration and deployment platform
WO2018132364A1 (en) A method for performing emotional gestures by a device to interact with a user
WO2024214708A1 (ja) 行動制御システム
WO2024219506A1 (ja) 電子機器、行動制御システムおよび制御システム
Saxena et al. Virtual Assistant with Facial Expession Recognition

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid