KR20190126906A - 돌봄 로봇을 위한 데이터 처리 방법 및 장치 - Google Patents

돌봄 로봇을 위한 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
KR20190126906A
KR20190126906A KR1020197030811A KR20197030811A KR20190126906A KR 20190126906 A KR20190126906 A KR 20190126906A KR 1020197030811 A KR1020197030811 A KR 1020197030811A KR 20197030811 A KR20197030811 A KR 20197030811A KR 20190126906 A KR20190126906 A KR 20190126906A
Authority
KR
South Korea
Prior art keywords
capability parameter
adjustment value
capability
model
target object
Prior art date
Application number
KR1020197030811A
Other languages
English (en)
Other versions
KR102334942B1 (ko
Inventor
웨이동 탕
강민 황
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20190126906A publication Critical patent/KR20190126906A/ko
Application granted granted Critical
Publication of KR102334942B1 publication Critical patent/KR102334942B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36488—Record motion and emotion, mimics
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45108—Aid, robot for aid to, assist human disabled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45109—Excercise, coordination, therapy, rehabillitation robot for disabled patients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Nursing (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

돌봄 로봇이 상호작용 대상의 정서 상태를 계산하는 것에 의해서만 지정된 상호작용 모드들 중에서 선택을 수행할 수 있고, 상호작용 대상에 대한 더 적절한 상호작용 모드를 제공할 수 없다는 종래 기술의 문제를 해결하기 위한, 돌봄 로봇을 위한 데이터 처리 방법 및 장치가 개시된다. 이 방법은: 모델 엔진에 의해, 목표 대상의 데이터를 수신하고, 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하는 단계(S401); 모델 엔진에 의해, 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 성장 모델 능력 파라미터 행렬에서의 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하는 단계(S402); 모델 엔진에 의해, 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하는 단계(S403); 및 조정된 능력 파라미터 조정 값이 사전설정된 임계치의 범위 내에 있다면, 모델 엔진에 의해, 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하는 단계 - 기계 학습 엔진은, 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공함 - (S404)를 포함한다.

Description

돌봄 로봇을 위한 데이터 처리 방법 및 장치
본 출원은 2017년 3월 24일자로 중국 특허청에 출원되고 발명의 명칭이 "돌봄 로봇을 위한 데이터 처리 방법 및 장치"인 중국 특허 출원 제201710184421.8호에 대한 우선권을 주장하며, 이는 그 전체가 인용에 의해 본 명세서에 포함된다.
본 출원은 로봇 기술 분야에 관한 것으로, 특히, 돌봄 로봇을 위한 데이터 처리 방법 및 장치에 관한 것이다.
디지털화 및 인공 지능 기술들의 발전에 따라, 종래의 어린이 돌봄 및 훈련 작업의 일부 또는 전부가 지능형 전자 디바이스들로 대체되었다. 지능형 전자 디바이스들의 비교적 양호한 제품 형태는 어린이 돌봄 로봇이다. 종래의 어린이 돌봄 및 훈련의 주요 내용은 실제로 돌보미와 돌봄을 받는 사람 간의 효과적인 상호작용이다. 돌보미는 돌봄을 받는 사람의 정서 상태에 기초하여 적절한 의사소통 방식 및 적절한 의사소통 내용을 선택한다. 예를 들어, 풍부한 교육 경험을 갖는 인간 교사가 학생에게 비교적 복잡한 수학 문제를 가르칠 때, 교사는 학생의 얼굴 표정, 스피치 톤, 신체 자세, 이동 특징 등에 기초하여 학생의 정서 상태를 결정하고, 학생에게 적합한 효율적 교육 방식을 선택할 수 있다. 교사가 학생의 침울한 표정을 관찰할 때, 교사는 말하는 속도를 늦추고 학생에게 더 익숙한 내용을 사용하거나, 상이한 상호작용 모드를 이용하여, 학생의 피로 및 좌절감을 감소시키고 교육 및 상호작용 효율을 개선할 수 있다. 또한, 취학전 교육 경험을 통해 대부분의 어린이들이 충분한 학습 흥미와 열정을 유지하기 위해, 약간 나이가 더 많은 친구들과 상호작용하고 의사소통하는 것을 선호한다는 것이 입증되었다.
종래 기술에서, 어린이 돌봄 로봇은, 상호작용 대상의 정서 상태를 계산한 후에, 적응을 통해 적절한 상호작용 모드 및 적절한 상호작용 내용을 획득한다. 구체적으로, 어린이 돌봄 로봇은, 인간과 상호작용할 때, 하나 이상의 센서를 이용하여 인간의 생리학적 데이터를 수집하고, 특정 환경에서의 사용자의 기분 반응을 모니터링하고, 사용자의 기분 반응에 기초하여 사용자의 정서 상태를 인식하고, 사용자의 정서 상태에 기초하여 로봇의 상호작용 기능을 조정하고, 언어 및 비언어 제2 상호작용 수단을 이용하여 응답을 행하여, 의사소통, 수행, 훈련, 통지, 엔터테인먼트 등의 목적들을 달성한다.
요약하면, 실제 상황에서, 어린이는 약간 나이가 더 많은 친구와 상호작용하고 의사소통하고자 한다. 그러나, 종래 기술에서, 어린이 돌봄 로봇은 상호작용 대상의 정서 상태를 계산하는 것에 의해서만 적응을 통해 적절한 상호작용 모드 및 적절한 상호작용 내용을 획득할 수 있지만, 어린이와 상호작용할 때 지식 및 의사소통 기능들에서 어린이보다 더 우수한 상호작용 대상을 시뮬레이션할 수 없고, 나이가 더 많은 "형" 또는 "누나"의 역할을 할 수 없고, 계속해서 어린이가 충분한 학습 흥미와 열정을 유지하게 할 수 없다.
본 출원은 돌봄 로봇이 상호작용 대상의 정서 상태를 계산하는 것에 의해서만 지정된 상호작용 모드들 중에서 선택을 수행할 수 있고, 상호작용 대상에 대한 더 적절한 상호작용 모드를 제공할 수 없다는 종래 기술의 문제를 해결하기 위한, 돌봄 로봇을 위한 데이터 처리 방법 및 장치를 제공한다.
제1 방면에 따르면, 본 출원은 돌봄 로봇을 위한 데이터 처리 방법을 제공하는데, 이 방법은:
모델 엔진에 의해, 목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하는 단계 - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함하고, 상기 실제로 측정된 능력 파라미터는 센서를 이용하여 획득되는 그리고 자연적인 사회 시나리오에서의 상기 목표 대상의 데이터이고, 상기 통계 능력 파라미터는 제3자 네트워크 클라우드 서비스 기관에 의해 제공됨 -; 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하는 단계 - 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용됨 -; 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하는 단계; 및 상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하는 단계 - 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공함 - 를 포함한다.
본 발명의 이 실시예에서, 상기 목표 대상의 상기 성장 모델 능력 파라미터 행렬은 상기 센서를 이용하여 수집되는 그리고 상기 자연적인 사회 시나리오에서의 상기 목표 대상의 실제로 측정된 능력 파라미터 및 상기 제3자 네트워크 클라우드 서비스 기관에 의해 제공되는 상기 통계 능력 파라미터에 기초하여 생성되고, 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값은 상기 표준 성장 모델 능력 파라미터 행렬에서의 파라미터 또는 상기 조정 공식 계수에 기초하여 조정되고, 상기 조정된 능력 파라미터 조정 값에 기초하여 결정된 종합 능력 파라미터의 값은 상기 목표 대상의 상기 성장 모델 능력 파라미터 행렬에 있는 그리고 상기 실제로 측정된 능력 파라미터에 기초하여 결정되는 상기 종합 능력 파라미터의 값보다 작지 않고, 상기 조정된 능력 파라미터 조정 값은 상기 기계 학습 엔진에 전송되어, 상기 기계 학습 엔진은, 상기 인공 지능 모듈에 대해, 상기 목표 대상과의 상호작용을 위해 요구되는 상기 능력 파라미터를 제공한다. 다시 말해서, 수정된 능력 파라미터 조정 값을 사용하는 돌봄 로봇의 능력은 목표 대상의 능력보다 약간 더 높아서, 목표 대상은 돌봄 로봇과 상호작용하는 충분한 학습 흥미와 열정을 유지한다.
가능한 설계에서, 상기 모델 엔진은 상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성한다.
가능한 설계에서, 상기 모델 엔진에 의해, 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하는 단계 후에, 상기 방법은:
상기 모델 엔진에 의해, 능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하는 단계를 추가로 포함한다.
본 발명의 이 실시예에서는, 능력 파라미터를 수동으로 조정하기 위해 사용자에 의해 전송된 명령을 수신하여, 성장 모델 능력 파라미터 행렬에서의 능력 파라미터를 수동으로 조정하여, 임의의 방면에서 목표 대상의 능력의 훈련에 집중하고, 목표 대상에 대한 더 적절한 상호작용 모드를 제공한다.
가능한 설계에서, 조정된 능력 파라미터 조정 값의 가중 평균 값은 조정 전의 실제로 측정된 능력 파라미터의 가중 평균 값보다 더 크거나 그와 동등하다.
본 발명의 이 실시예에서, 돌봄 로봇은 조정된 능력 파라미터 조정 값을 이용하여, 돌봄 로봇의 능력이 목표 대상의 능력보다 더 높거나 그와 동등하여, 돌봄 목적을 달성할 수 있다.
제2 방면에 따르면, 본 출원은 모델 엔진을 제공하는데, 이는:
목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구성된 모델 생성 모듈 - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함함 -; 및 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여, 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하도록 구성된 모델 수정 모듈을 포함하고, 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용되고, 상기 모델 수정 모듈은: 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하고; 상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하도록 추가로 구성되고, 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공한다.
가능한 설계에서, 상기 모델 생성 모듈은: 상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구체적으로 구성된다.
가능한 설계에서, 상기 모델 수정 모듈은:
능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하도록 추가로 구성된다.
가능한 설계에서, 조정된 능력 파라미터 조정 값의 가중 평균 값은 조정 전의 실제로 측정된 능력 파라미터의 가중 평균 값보다 더 크거나 그와 동등하다.
제3 방면에 따르면, 본 출원은 모델 엔진을 제공하는데, 이 모델 엔진은:
프로그램 명령어를 저장하도록 구성된 메모리; 및
상기 메모리에 저장된 상기 프로그램 명령어를 호출하여, 통신 인터페이스를 통해 목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구성된 프로세서를 포함하고, 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함하고; 상기 프로세서에 의해, 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하고 - 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용됨 -; 상기 프로세서에 의해, 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하고; 상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 프로세서에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하고, 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공한다.
가능한 설계에서, 상기 프로세서는:
상기 통신 인터페이스를 통해 상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구체적으로 구성된다.
가능한 설계에서, 상기 프로세서는:
능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하도록 추가로 구성된다.
제4 방면에 따르면, 본 출원은 전술한 제1 방면의 기능들 및 제1 방면의 임의의 설계를 실행하기 위해 사용되는 컴퓨터 소프트웨어 명령어를 저장하도록 구성된 컴퓨터 판독가능 저장 매체를 추가로 제공하고, 상기 컴퓨터 소프트웨어 명령어는 전술한 제1 방면의 방법 및 제1 방면의 임의의 설계를 실행하도록 설계된 프로그램을 포함한다.
도 1은 본 출원에 따른 어린이 돌봄 로봇 및 사용 환경의 시스템 구조도이다.
도 2는 본 출원에 따른 어린이 돌봄 로봇의 제품 형태의 개략도이다.
도 3은 본 출원에 따른 어린이 돌봄 로봇의 처리 및 계산 모듈의 하드웨어 구조의 개략도이다.
도 4는 본 출원에 따른 돌봄 로봇을 위한 데이터 처리 방법의 흐름도이다.
도 5는 본 출원에 따른 능력 추정 결과의 개략도이다.
도 6은 본 출원에 따른 성장 모델 능력 파라미터 행렬을 도시한다.
도 7은 본 출원에 따른 레이더 다이어그램이다.
도 8a 및 도 8b는 본 출원에 따른 돌봄 로봇의 소프트웨어 모듈들의 기본 아키텍처의 개략도이다.
도 9는 본 출원에 따른 돌봄 로봇의 언어 모듈의 개략 구조도이다.
도 10은 본 출원에 따른 돌봄 로봇의 시각 모듈의 개략 구조도이다.
도 11은 본 출원에 따른 돌봄 로봇의 표정 및 기분 모듈의 개략 구조도이다.
도 12는 본 출원에 따른 모델 엔진의 개략도이다.
도 13은 본 출원에 따른 다른 모델 엔진의 개략도이다.
도 14는 본 출원에 따른 모델 엔진의 하드웨어 구조의 개략도이다.
본 출원의 목적들, 기술적 해결책들, 및 이점들을 더 명확하게 하기 위해, 이하에서는 첨부 도면들을 참조하여 본 출원을 상세히 더 설명한다.
본 출원은 상호작용 대상의 정서 상태를 계산하는 것에 의해서만 지정된 상호작용 모드들 중에서 선택을 수행할 수 있고, 상호작용 대상에 대한 더 적절한 상호작용 모드를 제공할 수 없다는 종래 기술의 문제를 해결하기 위한, 돌봄 로봇을 위한 데이터 처리 방법 및 모델 엔진을 제공한다. 방법 및 장치는 동일한 발명 개념에 기초한다. 문제를 해결하기 위한 방법 및 장치의 원리들이 유사하기 때문에, 장치의 구현과 방법의 구현 간에 상호 참조가 이루어질 수 있고, 반복 설명들이 생략된다.
본 출원은 어린이 돌봄 로봇 및 사용 환경의 시스템에 적용될 수 있다. 시스템 아키텍처가 도 1에 도시되어 있다. 어린이 돌봄 로봇의 사용 환경은 커뮤니티, 주거 지구, 행정 지구, 성(province), 국가, 다국적 시나리오, 및 세계적 시나리오와 같은 임의의 시나리오에 적용가능하고, 다음의 유닛들을 포함할 필요가 있다: 가족 또는 어린이 돌봄 기관(101), 돌봄을 받는 대상의 법정 후견인(106), 법정 후견인(106)이 휴대하는 지능형 단말(105), 실외 무선 액세스 네트워크(107), 어린이 돌봄 서비스 기관(108), 사회 공공 서비스 기관(112), 및 적어도 하나의 제3자 네트워크 클라우드 서비스 기관(115). 가족 또는 어린이 돌봄 기관(101)은 어린이 돌봄 로봇(102), 적어도 하나의 돌봄을 받는 어린이(103), 및 적어도 하나의 실내 무선 액세스 네트워크(104)를 포함한다. 실외 무선 액세스 네트워크(107)는 지능형 단말(105)에 대한 원격 무선 네트워크 액세스 서비스를 제공한다. 어린이 돌봄 서비스 기관(108)은 어린이 돌봄 서비스에 대한 전문적 데이터 서비스를 제공하고, 어린이 성장 클라우드 서버(109), 어린이 성장 모델 라이브러리(110), 및 어린이 돌봄 지식 베이스(111)를 포함한다. 사회 공공 서비스 기관(112)은, 날씨 예보, 의료 서비스 기관들의 목록, 전염병 정보, 긴급 통지 등을 포함하지만 이로 제한되지는 않는, 어린이 돌봄 서비스에 대한 정부 공공 데이터 지원을 제공한다. 사회 공공 서비스 기관(112)은 사회 공공 서비스 클라우드 서버(113) 및 사회 공공 서비스 클라우드 데이터베이스(114)를 포함한다. 적어도 하나의 제3자 네트워크 클라우드 서비스 기관(115)은 어린이 돌봄 서비스에 대한 세분된 전문적 네트워크 클라우드 데이터 서비스, 예를 들어, 인스턴트 메시징, 어린이 돌봄 서비스의 소셜 애플리케이션, 온라인 오디오 및 비디오 서비스, 온라인 쇼핑, 지불 및 물류 추적, 및 커뮤니티들 및 의료 기관들에 대한 평가 및 투표를 제공하고, 제3자 네트워크 서비스 클라우드 서버(116) 및 제3자 네트워크 서비스 클라우드 데이터베이스(117)를 포함한다. 사용 환경의 시스템 아키텍처는 인터넷(118)을 추가로 포함하고 이를 통해 네트워크 운영자가 네트워크 서비스를 제공한다.
또한, 본 출원의 설명에서, "제1" 및 "제2"와 같은 용어들은 단지 구별을 위해 사용되지만, 상대적 중요성을 지시하거나 암시하는 것으로 이해되어서는 안 되며, 순서를 지시하거나 암시하는 것으로 이해되어서는 안 된다는 것을 이해해야 한다.
본 발명의 이 실시예에서, 목표 대상의 성장 모델 능력 파라미터 행렬은 센서를 이용하여 수집되는 그리고 자연적인 사회 시나리오에서의 상기 목표 대상의 실제로 측정된 능력 파라미터 및 제3자 네트워크 클라우드 서비스 기관에 의해 제공되는 통계 능력 파라미터에 기초하여 생성되고, 상기 성장 모델 능력 파라미터 행렬에서의 능력 파라미터 조정 값은 표준 성장 모델 능력 파라미터 행렬에서의 파라미터 또는 조정 공식 계수에 기초하여 조정되고, 조정된 능력 파라미터 조정 값에 기초하여 결정된 종합 능력 파라미터의 값은 상기 목표 대상의 상기 성장 모델 능력 파라미터 행렬에 있는 그리고 상기 실제로 측정된 능력 파라미터에 기초하여 결정되는 종합 능력 파라미터의 값보다 작지 않고, 상기 조정된 능력 파라미터 조정 값은 기계 학습 엔진에 전송되어, 상기 기계 학습 엔진은, 인공 지능 모듈에 대해, 상기 목표 대상과의 상호작용을 위해 요구되는 능력 파라미터를 제공한다. 다시 말해서, 수정된 능력 파라미터 조정 값을 사용하는 돌봄 로봇의 능력은 목표 대상의 능력보다 약간 더 높아서, 목표 대상은 돌봄 로봇과 상호작용하는 충분한 학습 흥미와 열정을 유지한다.
본 발명의 이 실시예에서, 도 1의 어린이 돌봄 로봇(102)의 제품 형태가 도 2에 도시될 수 있고, 이는: 그래픽 또는 이미지 정보를 돌봄을 받는 대상에 제시하고, 사용자의 터치 제어 신호를 수신하도록 구성된 터치스크린(201); 소리, 표정, 및 행동과 같은 돌봄을 받는 대상의 특징들을 검출하도록 구성된 마이크로폰 어레이 및 센서 그룹(202); 돌봄을 받는 대상에 대한 간단한 조작 명령을 제공하고, 긴급상황 하에서의 사용자의 중단 명령에 응답하도록 구성된 시작/일시중지/긴급 버튼(203); 마이크로폰 어레이 및 센서 그룹(202)에 의해 입력된 사용자 상태 신호, 시작/일시중지/긴급 버튼(203)의 사용자 조작 명령, 네트워크로부터의 돌봄을 받는 대상의 후견인 요청 정보, 네트워크로부터의 어린이 돌봄 서비스 기관의 서비스 명령, 제3자 네트워크 클라우드 서비스 데이터 등에 기초하여, 어린이 돌봄 로봇의 제어 명령을 계산 및 출력하도록 구성되어, 어린이 돌봄 로봇이 제어 명령에 기초하여 소리, 그래픽, 이미지, 신체 동작, 이동 방향 등을 출력하도록 하는 처리 및 계산 모듈(204)을 포함한다. 어린이 돌봄 로봇은 기계식 크롤러/바퀴 이동 장치(205), 기계식 암(206) 및 스피커 모듈(207)을 추가로 포함한다. 스피커 모듈(207)은 돌봄을 받는 대상에 대한 소리 출력 신호를 제공하도록 구성된다.
본 발명의 이 실시예에서, 어린이 돌봄 로봇은 터치스크린(201), 기계식 크롤러/바퀴 이동 장치(205), 기계식 암(206), 및 스피커 모듈(207)을 이용하여 어린이 돌봄 로봇의 돌봄을 받는 대상의 후견인 및 돌봄을 받는 대상과의 사회, 정서, 및 대인 관계 및 상호작용을 확립한다. 어린이 돌봄 로봇은 어린이 돌봄 로봇의 돌봄을 받는 대상에 대한 다양한 기능들을 수행하여, 사용자들 간의 의미 있는 사회 활동들을 촉진하고 그에 참여할 수 있다. 사회 활동들은 효과적인 동반 및 의사소통, 기능 훈련, 메시지 송신 및 알림, 및 돌봄을 받는 대상에 대한 다른 보다 복잡한 서비스들을 제공하는 것을 포함하지만 이에 제한되는 것은 아니고, 촬영 및 녹음, 노래 반주, 게임 참여 및 가족 이야기 및 지식 공유 등을 추가로 포함한다. 어린이 돌봄 로봇의 기능은: 터치스크린(201) 상에 사용자 친화적 인터페이스를 제공하는 것, 예를 들어, 터치스크린 상에 그래픽, 카툰 캐릭터, 애완 동물, 및 부모 및 연장자의 이미지를 디스플레이하는 것을 추가로 포함한다. 실시간 시나리오를 참조하여, 어린이 돌봄 로봇은 기계식 크롤러/바퀴 이동 장치(205)를 이용하여 이동하고, 기계식 암(206)을 이용하여 신체 동작을 완료하고, 컬러 조명 등을 제시함으로써 돌봄을 받는 대상과의 의사소통 효율 및 동반 관계를 개선한다.
본 발명의 이 실시예에서, 어린이 돌봄 로봇의 핵심 컴포넌트는 처리 및 계산 모듈(204)이다. 처리 및 계산 모듈(204)의 하드웨어 구조가 도 3에 도시되어 있고, 메인보드(310) 및 다른 주변 기능 컴포넌트들을 포함한다. 센서 그룹(301) 및 버튼(302) 각각은 메인보드(310)의 I/O 모듈에 연결된다. 마이크로폰 어레이(303)가 메인보드(310)의 오디오 및 비디오 인코딩/디코딩 모듈에 연결된다. 메인보드(310)의 터치 디스플레이 컨트롤러는 터치스크린(304)의 터치 제어 입력을 수신하고, 구동 신호를 제공 및 디스플레이한다. 모터 서보 컨트롤러는 프로그램 명령어에 기초하여 모터 및 인코더(307)를 구동한다. 모터 및 인코더(307)는 기계식 크롤러/바퀴 이동 장치 및 기계식 암을 구동하여, 돌봄 로봇이 이동하고 신체 언어를 출력하게 한다. 돌봄 로봇의 소리는 오디오 인코딩/디코딩 모듈이 소리를 전력 증폭기에 출력하고 스피커(308)가 소리를 출력하는 방식으로 제공된다. 메인보드(310)는 프로세서 및 메모리를 추가로 포함한다. 메모리는 돌봄 로봇의 알고리즘, 실행 프로그램, 및 실행 프로그램의 구성 파일을 저장하고, 돌봄 로봇이 돌봄 작업을 수행하기 위해 요구되는 오디오 및 비디오 및 이미지 파일들 등을 더 저장하고, 프로그램 실행 중에 일부 임시 파일들을 더 저장한다. 메인보드(310)의 통신 모듈이 돌봄 로봇과 외부 네트워크 간의 통신의 기능을 제공한다. 바람직하게는, 블루투스 또는 Wi-Fi 모듈이 근거리 통신을 위해 사용된다. 메인보드(310)는 연결된 전력 시스템(305)을 통해 디바이스의 배터리 충전 및 방전 및 전력 절약 관리를 구현하기 위한 전력 관리 모듈을 추가로 포함한다. 무선 수신 및 송신 안테나 장치(306)가 메인보드(310)에 연결된다.
이하에서는 첨부 도면들을 참조하여 본 출원에서의 돌봄 로봇을 위한 데이터 처리 방법을 구체적으로 설명한다.
도 4를 참조하면, 본 출원에서의 방법은 다음의 단계들을 포함한다.
S401: 모델 엔진이 목표 대상의 데이터를 수신하고, 목표 대상의 성장 모델 능력 파라미터 행렬을 생성한다 - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함한다.
구체적으로, 실제로 측정된 능력 파라미터는 센서를 이용하여 획득되는 자연적인 사회 시나리오에서의 목표 대상의 것일 수 있거나, 또는 미리 목표 대상에 대한 능력 평가를 수행함으로써 결정될 수 있다. 통계 능력 파라미터는 제3자 네트워크 클라우드 서비스 기관에 의해 제공되고, 목표 대상에 대응하는 연령 범위의 대상들에 기초한 통계 수집을 통해 획득된다.
옵션으로, 성장 모델 능력 파라미터 행렬은 인공 지능 모듈로부터 획득될 수 있다.
예를 들어, 목표 대상은 돌봄을 받는 대상일 수 있고, 데이터는 돌봄을 받는 대상의 소리, 표정, 동작 등일 수 있고, 제3자 전문 서비스 기관은 돌봄을 받는 대상의 능력들을 평가하고, 능력들은 표현 능력, 사고 능력, 관찰 능력, 주의 능력, 기억 능력, 상상 능력 및 운동 능력을 포함한다. 능력에 대응하는 연령에 기초하여 모든 능력 평가 파라미터들이 디스플레이된다. 예를 들어, 제3자 네트워크 클라우드 서비스 기관은 학습 적성의 Hiskey-Nebraska 테스트(Hiskey-Nebraska test of learning aptitude, H-NTLA) 표준 또는 국가 재활 센터에 의해 제정된 테스트 모델을 이용하여 어린이 학습 능력 평가를 수행하고, 학습 능력 평가 결과를 출력할 수 있다. 학습 능력 평가는 주기적으로, 예를 들어, 사분기마다 또는 반년마다 수행될 수 있다. 테스트된 대상들은 주로 3 내지 8세 연령의 어린이들이다. 어린이들의 종합인 학습 능력들은 보통 구슬 꿰기, 연상, 정사각형 목재 배열, 컬러 기억, 이미지 인식, 단기 기억, 종이 접기, 및 연상과 같은 복수의 주제에 기초하여 테스트하기 위한 방법을 이용하여 수량화되고, 결과 및 제안 보고가 출력되어 분석되고, 장기간 지속가능한 능력 훈련 및 테스트 서비스가 제공된다. 구체적인 보고 샘플이 도 5에 도시되어 있다. 수평 축은 주제들을 나타내고 세로 축은 연령들을 나타낸다. 테스트된 대상의 연령은 6.5세이다. 복수의 테스트 주제(501), 주제 테스트 스코어(502), 테스트된 대상들의 연령(504), 및 주제 테스트 결과들 및 연령에 대응하는 평균 테스트 스코어에 기초한 피팅을 통해 획득된 지능 연령(503)이 존재한다. 테스트된 대상의 우세 주제들은 구슬 꿰기, 컬러 기억, 이미지 인식, 연상, 종이 접기, 정사각형 목재 배열, 및 이미지 완성이고, 열세 주제는 단기 기억이다. 테스트된 대상의 지능 연령은 7.4세와 동등하다. 도 5에 기초하여 획득된 분석 결과 및 제안은 다음과 같다: 테스트된 대상의 능력이 평균 통계 값보다 더 높고, 균형 잡힌 능력 발전에 주의하고, 언어 능력의 우세를 유지한다. 다른 테스트된 대상에 대해 생성된 성장 모델 능력 파라미터 행렬이 도 6에 도시되어 있다. 돌봄을 받는 대상의 사용자 이름은 Dolores이고, 5세 나이의 소녀이다. 능력 연령은 능력의 실제 테스트 스코어를 변환함으로써 획득된 능력 주제의 전형적인 통계 평균 값에 대응하는 연령 값이다. 예를 들어, Dolores의 운동 능력(610)의 테스트 스코어는 123.4이고, 6세 나이의 어린이의 평균 운동 능력 스코어 값과 동등하다. 따라서, 실제로 측정된 능력(602)은 6.0이다. 성장 모델 능력 파라미터 행렬(601)에서의 각각의 능력 테스트 항목은 연령에 대응하는 최대 사회 통계 값(604) 및 최소 사회 통계 값(605), 통계 능력(603), 조정 값(606), 조정 진폭(607), 및 비고(608)를 추가로 포함한다. 99.6% 어린이들의 단일 능력 테스트 데이터는 최대 값과 최소 값 사이에 속한다. 성장 모델 능력 파라미터 행렬(601)은 주의 능력(609), 운동 능력(610), 비고 내용(611 및 612), 및 종합 능력(613)을 추가로 포함할 수 있다. 종합 능력(613)은 실제로 측정된 능력(602)의 스코어들의 산술 평균 값을 계산함으로써 획득되거나, 실제로 측정된 능력(602)의 스코어들의 가중된 합을 계산함으로써 획득될 수 있고, 여기서 가중 계수는 인공 지능 모듈의 학습 및 훈련을 위해 요구되는 능력 파라미터들의 가중치들에 기초한 할당을 통해 획득될 수 있거나, 사용자에 의해 조정 및 할당되는 그리고 인공 지능 모듈의 학습 및 훈련을 위해 요구되는 능력 파라미터들의 가중 비율일 수 있다. 종합 능력 값의 계산 공식 1은 다음과 같다:
Figure pct00001
여기서, T는 종합 능력 값이고, Wn은 n번째 능력 파라미터의 가중 계수이고, Cn은 n번째 능력의 테스트 값이다.
S402: 모델 엔진은 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 성장 모델 능력 파라미터 행렬에서의 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정한다 - 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용된다.
예를 들어, 돌봄을 받는 대상의 합법적 후견인은 사회 활동들에서의 Dolores에 대한 학습 모델을 찾는다. 모델은 Dolores보다 약간 나이가 더 많은 소녀 Susan이고, Susan의 수행은 일부 능력들에서 Dolores보다 확실히 더 우수하다. Susan의 합법적 후견인은 Susan의 성장 능력 파라미터 행렬을 Dolores의 합법적 후견인과 공유하는 것에 동의하고, Dolores의 합법적 후견인은 모바일 폰 APP를 이용하여 또는 단거리 통신을 통해 성장 능력 파라미터 행렬을 획득한다. 성장 능력 파라미터 행렬 데이터의 포맷은, 성장 능력 파라미터 행렬이 도 6에서의 것과 동일하도록 보장하기 위해 변환될 필요가 있을 수 있다. 옵션으로, Dolores의 합법적 후견인은 또한 Susan의 획득된 성장 능력 파라미터 행렬을 부분적으로 조정하여, Dolores에게 더 적합한 성장 능력 파라미터 행렬을 선택할 수 있다.
S403: 모델 엔진은 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정한다.
옵션으로, 조정된 능력 파라미터가 사전설정된 임계치를 초과하면, 단계 S402가 다시 수행된다.
S404: 조정된 능력 파라미터 조정 값이 사전설정된 임계치의 범위 내에 있다면, 모델 엔진은 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송한다 - 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공한다.
본 발명의 이 실시예에서는, 목표 대상의 성장 모델 능력 파라미터 행렬에서의 조정된 능력 파라미터 조정 값이 돌봄 로봇의 기계 학습 엔진에 제공되고, 상호작용 대상과 효과적으로 상호작용하는 방법에 대한 특징 파라미터가 신경 네트워크의 기능들을 이용하여 돌봄 로봇의 인공 지능 모듈에 제공되고, 기계 학습 모델 등이 의사 결정기 및 실행기에 전송된다. 또한, 돌봄 로봇의 다양한 상호작용 내용은 실행 장치를 이용하여 구현된다. 상호작용 내용은 기계적 위치 이동, 표정의 시뮬레이션 및 디스플레이, 조명 효과, 음악 재생, 텍스트, 패턴, 또는 사용자가 적응할 수 있는 말하는 속도, 스피치, 톤, 및 대화 내용을 포함하고, 스피치 의사소통과 같은 내용의 제공, 훈련, 알림, 촬영, 가족 이야기 및 지식의 확립/유지/공유, 게임, 음악 협상, 및 심지어 돌봄을 받는 대상에 대한 핏 유지 운동(keep-fit exercises), 친밀한 친구 관계 확립, 및 풍부한 상호작용 및 응용을 통해 어린이 사용자와 인간 동료 같은 친밀한 관계를 확립하는 것을 추가로 포함한다. 옵션으로, 기계 학습 엔진의 일부는 클라우드 측에서 구현될 수 있고, 예를 들어, 제3자 네트워크 클라우드 서비스 기관은 다양한 클라우드 특징 기반 훈련 시스템을 이용하여 끊임없는 학습 및 알고리즘 개선을 통해 성장 모델 능력 파라미터 행렬의 적시 업데이트를 제공한다. 다른 부분은, 예를 들어, 인공 지능 모듈 상에서 로컬로 수행되어, 오프라인이 될 때 돌봄 로봇이 신뢰성 있게 실행될 수 있도록 보장한다. 돌봄 로봇은 또한 돌봄 로봇이 온라인인지 여부에 기초하여 적절한 기계 학습 모드를 선택할 수 있다. 예를 들어, 모델 엔진은 테스트된 대상의 실제로 측정된 능력 값, 통계 능력 값, 최대 값, 및 최소 값에 기초하여 능력 조정 값을 계산한다. 능력 조정 값은 실제로 측정된 능력 값을 대신하고, 인공 지능 모듈의 학습 및 훈련 프로세스의 다음 주기에서 사용되어, 돌봄 로봇의 종합 능력이 현재 돌봄을 받는 어린이의 종합 능력보다 약간 더 높을 수 있고 돌봄 로봇이 기계 학습 및 훈련의 다음 주기에서 돌봄을 받는 대상과 상호작용하도록 보장한다. 구체적으로, 능력 조정 알고리즘의 계산 방식은 다음과 같다:
Figure pct00002
Cadj는 능력 조정 값이고, K는 능력 성장 계수이고, 1.00 내지 1.50의 범위이고, C는 단일 테스트의 실제로 측정된 능력 값이고, ∑Cadj는 종합 능력 값이고, ∑Cmin는 종합 능력 값의 사회 통계 값의 하한이고, ∑Cmax는 종합 능력 값의 사회 통계 값의 상한이다.
단계 S104 후에, 모델 엔진은 능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 성장 모델 능력 파라미터 행렬에서의 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 조정된 능력 파라미터 조정 값을 결정한다. 옵션으로, 조정된 능력 파라미터가 사전설정된 임계치를 초과하면, 전술한 단계가 다시 수행된다.
예를 들어, 돌봄을 받는 대상의 합법적 후견인은 모바일 지능형 단말을 이용하여 돌봄을 받는 대상의 성장 모델 능력 파라미터 행렬을 수동으로 조정할 수 있고, 도 7에 도시된 개략도가 모바일 지능형 단말의 애플리케이션의 사용자 인터페이스 상에 디스플레이되어, 레이더 차트를 이용하여 사용자에게 표현 능력, 사고 능력, 관찰 능력, 주의 능력, 기억 능력, 상상 능력, 및 운동 능력을 제시할 수 있다. 사용자는 슬라이딩 제스처(704)를 이용하여 조정 값 능력 파라미터(702)를 조정할 수 있고, 조정된 조정 값 능력 파라미터는 최대 통계 값(703)과 최소 통계 값(705) 간의 범위를 초과하지 않는다. 조정 값 능력 파라미터가 조정될 때, 비교적 더 높은 능력 값을 갖는 능력 항목의 능력 값이 적절하게 감소되어, 다양한 능력들의 균형 잡힌 발전을 유지할 수 있고, 조정 후에 돌봄을 받는 대상의 종합 능력이 현재 실제로 측정된 종합 능력(701)보다 더 낮지 않도록 보장될 수 있다. 옵션으로, 사용자는 능력 파라미터의 경계 임계치를 사용자 지정할 수 있고, 능력 파라미터의 경계 임계치는 통계 값에 의해 영향을 받지 않는다.
본 발명의 실시예에서, 돌봄 로봇의 소프트웨어 모듈들의 기본 아키텍처가 도 8a 및 도 8b에 도시될 수 있다. 기본 아키텍처는 센서 모듈(801) 및 인공 지능 모듈(821)을 포함한다. 센서 모듈(801)은 구체적으로 얼굴 및 표정 인식을 위한 카메라 어레이(802), 위치 및 동작 인식을 위한 가속도 센서(803), 실내/실외 위치 지정을 위한 위치 센서(804), 시작/일시중지/긴급 버튼(805), 사용자 및 환경 소리를 수신하기 위한 마이크로폰 어레이(806), 및 사용자의 터치 제어 명령을 수신하기 위한 터치스크린(807)을 포함한다. 인공 지능 모듈(821)은 구체적으로 언어 모듈(822), 시각 모듈(823), 표정/기분 모듈(824), 및 내용 취합 모듈(825)을 포함한다. 인공 지능 모듈(821)은 신호 처리(811)를 통해 처리되는 그리고 다양한 센서들에 의해 획득되는 풍부한 환경 감지 신호들 및 모델 엔진(881)에 의해 제공되는, 기계 학습 모델 파라미터, 즉, 성장 모델 능력 파라미터 행렬에 기초하여, 기계 학습을 통해 획득되는 돌봄 로봇의 제어 신호를 출력한다. 의사 결정기/실행기(841)는 실행 장치(861)를 제어하여 돌봄 로봇의 다양한 상호작용 내용을 구현하는데, 그 상호작용 내용은: 기계식 이동 장치(862)를 이용하여 구현되는 기계식 위치 이동, 그래픽 및 이미지(863)를 이용하여 구현되는 표정 시뮬레이션 및 디스플레이, 텍스트 및 패턴 프레젠테이션, 조명(864)을 이용하여 구현되는 조명 효과, 음악(866)을 이용하여 구현되는 음악 재생, 또는 스피치(865)를 통해 구현되는 그리고 돌봄을 받는 대상이 적응할 수 있는 말하는 속도, 스피치, 톤, 및 대화 내용, 및 풍부한 상호작용 및 애플리케이션들을 통해 돌봄을 받는 대상과 인간 동료 같은 친밀한 관계를 확립하는 것을 포함하지만, 이로 제한되지는 않는다. 모델 엔진(881)은 사용자 성장 모델 모듈(882) 및 모델 수정 모듈(883)을 포함한다. 인공 지능 모듈(821)의 데이터의 다른 부분은 로컬 메모리(834) 및 클라우드 메모리(831)로부터의 데이터이다. 구체적으로, 데이터의 다른 부분의 일부는 인공 지능 모듈(821)에 의해 달성되는 기계 학습 결과들이고, 그 다른 부분은 제3자 네트워크 클라우드 서비스 기관(830)에 의해 제공되는 돌봄을 받는 대상의 능력 테스트 데이터, 또는 모바일 지능형 단말(891)로부터 송신되는 다른 데이터일 수 있다. 클라우드 메모리(831)로부터의 데이터, 예를 들어, 성장 모델 능력 파라미터 행렬에 대한 선호 설정(871)이 통신 모듈(890)을 이용하여 로컬 메모리(834)에 전송된다. 제3자 네트워크 클라우드 서비스 기관(830)은 클라우드 컴퓨팅(832)을 추가로 포함한다.
본 발명의 이 실시예에서, 돌봄 로봇의 언어 모듈은 돌봄 로봇의 "귀 및 입"이다. 모듈의 특정 구조가 도 9에서 900에 도시되어 있고, 스피치 인식, 음원 위치 지정, 의미 정정, 의미 분석, 내용 관리, 스피치 합성, 발성자 인식, 스피치 웨이크업, 기분 인식, 및 스피치 모델과 같은 서브-기능 모듈들을 포함한다. 언어 모듈의 입력 신호는 스피치 신호 처리 모듈이 마이크로폰 어레이에 의해 수집된 주변 환경의 소리 신호를 처리한 후에 획득되는 신호이다. 대부분의 경우에, 마이크로폰 어레이는 잡음 환경에서의 돌봄을 받는 대상, 다른 관련된 사람들, 및 환경에서의 다른 음원의 위치 또는 방위를 정확하게 인식하고, 그것이 환경의 배경 잡음인지 또는 사람들의 말하는 소리인지를 구별하는 것을 통해 학습하고, 대화 내용을 정확하게 인식할 필요가 있다. 마이크로폰 어레이는 복수의 마이크로-전자-기계 시스템(Micro-Electro-Mechanical System, MEMS) 마이크로폰의 어레이일 수 있고, 어린이 돌봄 로봇의 일부 컴포넌트들의 표면들 상에 설치되거나, 또는 단일 전방향성 마이크로폰 또는 단방향성 마이크로폰들의 조합일 수 있고, 머리, 목, 등, 및 심지어 기계식 암 및 기계식 크롤러/바퀴 이동 장치의 표면들 상에 설치된다. 옵션 구현에서, 언어 모듈은 자연어 처리 알고리즘을 사용하고, 스피치 신호를 텍스트로 변환하고, 적절한 언어 규칙에 따라 의미 정정 및 의미 분석 처리를 수행하고, 추가로 텍스트를 처리될 수 있는 텍스트 레코드로 변환하고, 추가로 텍스트 레코드를 구문 분석하여 상호작용 대상의 의도를 이해한다. 자연어 처리 알고리즘에서의 텍스트 레코드의 포맷은, 예를 들어, 배커스-나우어 형식(Backus-Naur Form, BNF) 마크, 자바 스피치 문법 포맷(Java Speech Grammar Format, JSGF) 또는 스피치 인식 문법 포맷(Speech recognition Grammar Format, SRGF)일 수 있다. 많은 상호작용 대상들의 사용자 스피치 데이터가 수집될 때, 기계 학습 엔진(910)을 이용하여 통계 알고리즘이 도입되어, 스피치 인식 정확도를 더 개선하고, 상호작용 대상의 스피치 모델을 리프레시할 수 있다. 언어 모듈(900)의 발성자 인식 모듈은 상호작용 대상의 발성자 신원을 인식하여, 상호작용 대상이 돌봄을 받는 대상인지, 돌봄을 받는 대상의 후견인인지, 도움을 제공하는 교사인지, 또는 보모인지를 구별할 수 있다. 내용 관리 모듈은 발성자 신원, 및 제3자 네트워크 클라우드 서비스 기관의 클라우드 저장 및 클라우드 컴퓨팅에 의해 제공되는 사용자 데이터 및 상호작용 내용 패키지에 기초하여 스피치 상호작용의 내용 정보를 출력하고, 의사 결정기 및 실행기는 명령을 전송하고, 명령은 소리, 텍스트, 이미지, 조명 등의 방식으로 돌봄 로봇의 사용자 상호작용 인터페이스 상에서 출력된다. 스피치 모델 모듈은 상호작용 대상의 스피치 정보에 기초하여 피팅을 통해 대상의 스피치 모델을 획득하여, 스피치 대상의 스피치 특징을 수량화하고 평가할 수 있다. 모델은 제3자 네트워크 클라우드 서비스 기관으로부터 오는 것으로, 예를 들어, 전문적 어린이 교육 서비스를 제공하는 상업적 기관의 전문적 테스트 결과일 수 있다. 기계 학습 엔진(910)은 기계 인식 효율 및 스피치의 정확도를 개선하고, 스피치 상호작용의 내용 품질을 개선하기 위해, 추가 훈련을 위해 스피치 모듈(900)에 대한 기계 학습 모델을 제공한다. 또한, 도 9의 스피치 신호 처리 모듈은 소리 빔포밍 알고리즘을 이용하여 특정 방향에 있지 않은 소리를 제거하고, 특정 방향의 소리 신호를 획득한다. 소리 빔포밍 알고리즘은 돌봄 로봇 주위의 복수의 방위에서의 소리의 동시 입력을 허용할 수 있다. 스피치 신호 처리 모듈은 음원의 속성이 사람인지 또는 다른 음원인지를 인식하기 위해 스피치/비-스피치 검출 알고리즘을 추가로 포함할 수 있다. 스피치 신호 처리 모듈은 주변 잡음 억제 알고리즘을 추가로 포함할 수 있다. 예를 들어, 다음의 구성이 수행될 수 있다: 전방향성 마이크로폰이 주변 잡음 신호를 수집하거나, 전방향성 마이크로폰이 기계식 크롤러/바퀴 이동 장치의 표면 상에 설치되어 기계 장치의 운행 잡음을 수집하거나, 또는 전방향성 마이크로폰이 돌봄 로봇 근처의 다양한 방위들에서의 가까운 강도를 갖는 주변 잡음을 수집하거나, 등등이다. 이들 주변 잡음 신호는 소리 합성 처리 동안 주변 잡음 억제 알고리즘을 이용하여 제거되어, 원하는 신호의 강도를 개선한다. 일부 다른 실현가능한 실시예에서, 소리의 빔 방향 정보를 시각 모듈에 의해 캡처된 이미지와 추가로 조합하여, 소리를 내는 대상의 속성이 돌봄을 받는 대상인지, 다른 사람인지, 또는 다른 환경 음원인지를 계산하고 인식할 수 있다. 시각 모듈은 기계식 크롤러/바퀴 이동 장치의 드래깅을 참조하여 로봇의 시각 방위를 음원의 방위로 지향시켜, 소리 인식 효율을 개선할 수 있다.
본 발명의 이 실시예에서, 돌봄 로봇의 시각 모듈은 돌봄 로봇의 "눈"이다. 특정 구조가 도 10에서 1000에 도시되어 있고, 동시 위치 지정 및 매핑(Simultaneous Localization and Mapping, SLAM), 눈 이동 추적, 얼굴 인식, 이미지 분할, 이미지 검색, 이미지 분류, 및 시각 모델과 같은 서브-기능 모듈들을 포함한다. 카메라 어레이에 의해 수집된 비디오 또는 이미지 신호에 대해 이미지 신호 처리가 수행된 후에 시각 모듈에 의해 입력된 신호가 획득된다. 카메라 어레이는 복수의 카메라(Camera)를 갖는 센서들의 그룹일 수 있고 구체적으로는 이미지 깊이 검출 능력을 갖는 듀얼-카메라 모듈일 수 있고, 여기서 하나의 컬러 카메라가 대상의 평면 컬러 이미지 정보를 획득하고, 다른 적외선 카메라가 목표의 깊이 정보를 획득한다. 카메라 어레이는 목표의 윤곽, 표면 상태, 이동 상태, 및 컬러를 검출할 수 있다. 카메라 어레이는 감지된 목표의 환경에서의 돌봄을 받는 대상의 정서 상태를 획득하도록 구성될 수 있다. 예를 들어, 시각 모듈은 인근 환경에 사람이 있는지를 검출하고, 대상의 얼굴 표정을 획득하고, 정서 인식 알고리즘을 이용하여 대상의 현재 정서 상태를 예측하도록 구성될 수 있다. 돌봄을 받는 대상이 짧은 "Ah…소리를 낼 때, 돌봄 로봇의 마이크로폰 어레이 및 센서 그룹은 소리가 인근 환경의 특정 방위로부터 오고 특정 강도에 도달하고, 돌봄 로봇이 휴면 상태로부터 활성화되는 것을 알게 된다. 언어 모듈은 음원의 방위를 계산하고 구동 신호를 전송한다. 의사 결정/실행 모듈은 기계식 크롤러/바퀴 이동 장치를 구동하여 카메라를 음원의 방위로 회전시키고, 시각 모듈을 시작하여 그 방위에서 평면 컬러 이미지를 획득하고, 목표의 깊이를 검출하고, 얼굴 인식을 시작한다. 이미지 분할 모듈은 목표의 얼굴 표정 이미지를 인터셉트한다. 이미지 검색 모듈은 메모리를 검색하여 시각 범위 내에 매칭된 등록된 얼굴 이미지가 있는지를 결정하고, 등록된 얼굴 이미지가 매칭되면, 추가로 돌봄을 받는 대상의 얼굴 표정 이미지를 획득하고, 대상의 기분 상태를 결정하기 위해 돌봄을 받는 대상의 소리 신호 및 얼굴 표정 이미지를 언어 모듈의 기분 인식 모듈에 전송한다. 기분 인식 모듈은 돌봄을 받는 대상이 행복한 기분, 화난 기분, 경멸하는 기분, 혐오하는 기분, 공포 기분, 슬픈 기분, 혼란스러운 기분, 좌절 기분, 놀이라는 기분 등을 갖는지를 인식하고, 정서 상태 파라미터 행렬을 출력한다. 이미지 검색 모듈이 등록된 얼굴 이미지와 매칭되지 않으면, 로봇은 휴면 상태로 스위칭한다. 시각 모듈의 얼굴 인식 모듈은 활동적인 인체 추적을 구현할 수 있다. 구체적으로, 시각 모듈의 이미지 분류 모듈은 인체 대상의 얼굴을 인식하고, 카메라 어레이에 의해 획득된 깊이를 갖는 목표 인체 이미지 및 다른 센서, 예컨대 적외선 거리 센서 또는 무선 주파수 식별(Radio-frequency identification, RFID) 검출 센서의 인식 신호를 참조하여 그리고 목표 이미지의 깊이 정보를 참조하여 돌봄을 받는 대상의 부위들, 예컨대 얼굴, 머리, 신체, 및 팔을 이미지 배경으로부터 분리하여, 돌봄을 받는 대상의 인체의 얼굴 부위, 인체 골격, 신체 자세 등을 획득 및 인식하고, 캡처된 인체 목표에 기초하여 목표 추적을 구현하고 이동 궤적을 예측한다. 옵션으로, 카메라 어레이는 돌봄을 받는 대상의 손 동작을 추적하고, 제스처 인식 알고리즘을 이용하여 목표 제스처 추적 및 제스처 명령 인식을 구현하도록 추가로 구성될 수 있다. 시각 모듈의 눈 이동 추적 모듈은 인체 대상의 눈 이미지를 이용하여 사용자의 시선 및 초점을 캡처하고, 사용자의 눈 초점의 전이, 초점의 머무는 지속기간, 눈 감기 동작 및 지속기간, 깜박임 빈도 등에 기초하여 사용자의 현재 관심 지점을 예측한다. 옵션으로, 돌봄 로봇과 돌봄을 받는 대상 간의 상호작용의 시나리오에서, 시각 모듈에 포함된 동시 위치 지정 및 매핑 기능 모듈은 돌봄을 받는 대상에 대한 동적 추적 및 돌봄 환경에서의 참조 대상 및 장애물을 인식하는 상황을 통해 현재 시나리오에서의 돌봄 로봇 주위의 실내/실외 지도를 구성하고, 동기적으로 현재 지도에서의 돌봄 로봇의 위치를 결정하고, 돌봄 로봇의 다음 단계 이동 루트를 계획한다. 구체적으로, 랜덤 목표의 궤적은 현재 통계 모델의 상호작용 다중 모델(Interacting Multiple Model, IMM) 방법을 이용하여 예측될 수 있고, 가장 가까운 이웃 데이터 연관 방법(affinity data association method)을 이용하여 동적 랜덤 목표가 지도와 연관된다. 구성된 지도는 정적 특징점 및 랜덤 목표의 궤적을 포함한다. 시나리오가 복수의 상호작용 대상을 포함할 수 있는 경우, 동시 위치 지정 및 매핑 모듈은 상호작용 시나리오에 진입하는 복수의 상호작용 대상의 시퀀스 데이터를 기억할 수 있다. 시간 간격 후에, 돌봄 로봇은 신체를 회전시켜, 카메라 어레이가 복수의 이전에 기억된 상호작용 대상들의 위치들을 스캔하여, 메모리 내의 상호작용 대상들의 시퀀스 데이터를 리프레시하고, 상호작용 대상들의 새로운 시퀀스 데이터를 형성하도록 할 수 있다. 예를 들어, 이 특징에 대해, 스피치 상호작용 모드에서 상호작용 대상들의 시퀀스 데이터의 정확도가 개선될 수 있다. 예를 들어, 돌봄 로봇은 "안녕, Xiaobao"이라고 말한 다음, 응답 스피치 및 표정, 또는 상호작용 대상의 신체 자세의 인식에 기초하여, 상호작용 대상이 "Xiaobao"인지를 결정하고, 및 메모리 내의 "Xiaobao"의 시퀀스 데이터를 리프레시할 수 있다.
본 발명의 이 실시예에서, 돌봄 로봇의 표정 및 기분 모듈은 돌봄 로봇의 "얼굴"이다. 특정 구조가 도 11에서 1100에 도시되어 있고, 표정 인식, 정서 표현, 정서 임계치, 및 정서 모델과 같은 서브-기능 모듈들을 포함한다. 돌봄 로봇이 돌봄을 받는 대상과 상호작용할 때, 표정/기분 모듈은 정서 인식 및 정서 표현 기능들을 구현하도록 구성된다. 정서 인식의 주요 내용은: 심리 및 사회 인식; 및 심리 및 사회 학습의 2개의 방면을 포함한다. 심리 및 사회 인식의 외부 신호가 센서 모듈에 의해 획득될 수 있고, 심리 및 사회 인식은 돌봄 로봇이 돌봄을 받는 대상과 상호작용할 때 획득되는 그리고 자연적인 사회 장면의 단서들, 예를 들어, 스피치 및 톤, 대화 의미, 얼굴 표정, 눈 초점, 신체 자세 및 이동 궤적, 및 터치 제스처의 통합된 기계 인식을 포함한다. 심리 및 사회 학습은 기계 학습 알고리즘을 포함한다. 센서 모듈에 의해 획득되는 그리고 자연적인 사회 장면의 데이터의 복수의 카테고리에 기초하여 돌봄을 받는 대상의 신원, 활동 모드, 선호, 및 관심들이 분석된다. 예를 들어, 돌봄을 받는 대상의 스피치 샘플이 기록되고, 스피치 인식 모듈을 이용하여 돌봄을 받는 대상의 신원이 검출된다. 그 후, 돌봄을 받는 대상의 신원에 기초하여 네트워크로부터 제3자 네트워크 클라우드 서비스 기관, 교육 기관, 소셜 애플리케이션 등에 의해 승인된 더 많은 개인 정보가 획득될 수 있고, 정서 모듈에서 대상의 정서 모델이 확립되거나 업데이트된다. 표정 인식 모듈은 카메라 어레이를 이용하여 실시간으로 돌봄을 받는 대상의 얼굴 표정을 캡처하고, 캡처된 얼굴 표정을 표정 파라미터 행렬로 변환하고, 표정 파라미터 행렬의 디지털 특징을 로컬 저장소 또는 클라우드 저장소에 저장된 돌봄을 받는 대상의 기존 얼굴 표정 이미지 샘플 훈련 세트의 파라미터 행렬의 디지털 특징과 비교하고, 표정 파라미터 행렬의 디지털 특징이 얼굴 표정 이미지 샘플 훈련 세트의 파라미터 행렬의 디지털 특징과 매우 유사하거나 매칭하면, 이 경우에 돌봄을 받는 대상의 얼굴 표정이 샘플 훈련 세트에 정의된 얼굴 표정인 것으로 결정한다. 구체적으로, 인식될 얼굴 표정의 파라미터 행렬의 디지털 특징이 A이고, 샘플 훈련 세트에 저장된 표정 이미지의 디지털 특징이 B이면, A와 B 간의 차이가 지정된 임계치보다 작으면, 캡처된 얼굴 표정은 저장된 표정 이미지와 매칭하는 것으로 간주되고, 또는 A와 B 간의 차이가 지정된 임계치보다 더 크거나 그와 동등하면, 인식될 얼굴 표정 A는 샘플 훈련 세트의 얼굴 표정 이미지 B'의 다른 그룹에 추가된다. 인식될 얼굴 표정 A가 얼굴 표정 이미지의 고유 그룹과 매칭할 때까지 전술한 단계들을 끊임없이 반복하여, 표정 인식 프로세스를 완성한다. 인식될 얼굴 표정 이미지와 매칭하는 얼굴 표정 이미지의 고유 그룹을 샘플 훈련 세트에서 발견할 수 없다면, 샘플 훈련이 수행된다. 특정 샘플 훈련 프로세스는 지정된 임계치를 증가시키는 것이고, 인식될 얼굴 표정 A와 매칭하는 얼굴 표정 이미지의 고유 그룹이 발견될 때까지 매칭 단계들이 반복된다. 인식될 얼굴 표정 이미지와 매칭하는 얼굴 표정 이미지들의 적어도 2개의 그룹이 샘플 훈련 세트에서 발견되면, 지정된 임계치가 감소되고, 인식될 얼굴 표정 A와 매칭하는 얼굴 표정 이미지의 고유 그룹이 매칭될 때까지 전술한 매칭 단계들이 반복되고, 매칭 프로세스가 종료된다. 정서 표현 모듈은 돌봄을 받는 대상의 정서 모델에 대응하는 정서 속성에 기초하고, 여기서 정서 모델은 표정 인식에 기초하여 기계 학습을 통해 획득될 수 있다. 돌봄 로봇은, 돌봄을 받는 대상의 얼굴 표정을 인식함으로써, 돌봄을 받는 대상이 긍정적인 기분을 갖는 것, 예를 들어, 미소짓은, 평온한, 또는 만족스러운 것을 알게 된다. 그 후, 돌봄을 받는 대상에 의해 수락될 수 있는 표현 내용 및 표현 방식이 선택되고, 예를 들어, 새로운 대화 및 새로운 지식이 출력된다. 그러나, 돌봄 로봇이 돌봄을 받는 대상의 표정이 부정적인 기분인 것, 예를 들어, 지친, 둔한, 또는 혼란스러운 것으로 결정하면, 현재 상호작용 및 의사소통 모드가 조정되고, 예를 들어, 적절한 일시중지가 행해지거나, 말하는 속도가 감소되거나, 격려 언어가 출력되거나, 미소가 시뮬레이션되거나, 느린 음악 배경으로 스위칭되어, 돌봄을 받는 대상이 비교적 안정적인 기분 상태로 유지되어, 부정적인 기분이 만연하는 것을 피하도록 한다. 옵션으로, 동일한 내용에 대해 상이한 표현 형식들이 사용될 수 있다. 예를 들어, 텍스트가 컬러 이미지로 변환된다. 표현될 필요가 있는 내용의 복수의 방식이 존재하기 때문에, 복수의 순서의 학습 모델을 이용하여 그리고 내용 대상의 내용, 상호작용 대상의 지능 유형, 및 사용자 선호의 표현 모드에 기초하여 기계 학습 방식으로 표현 방식의 변환 방식을 끊임없이 최적화하여, 효율적인 상호작용의 목적을 달성한다. 실제 구현 프로세스에서, 교환될 필요가 있는 각각의 내용은 복수의 형식의 상호작용 인터페이스 설계들을 사용할 수 있다. 예를 들어, 상호작용은, 매번 하나의 입력만이 존재하는 단일 단계 모드, 또는 스피치, 터치 제어, 및 이미지 정보를 동시에 입력하는 동기 모드로 설정될 수 있다. 출력에 대해, 출력은 자연어, 소리 효과 또는 음악, 위치 이동, 텍스트/그래픽/이미지/비디오의 디스플레이, 및 조명 효과를 출력하는 멀티미디어 방식으로 이루어질 수 있다. 정서 임계치 모듈은 돌봄을 받는 대상의 정서 상태를 인식 및 예측하는 프로세스에서 언제든지 돌봄을 받는 대상의 정서 임계치를 모니터링하여, 효과적이고 지속가능한 의사소통 상태를 유지한다. 정서 임계치는 돌봄을 받는 대상이 환경과 상호작용하는 다양한 프로세스들에서 외부 환경의 자극을 받고 무너지기 전의 정서 임계 값이다. 예를 들어, 돌봄을 받는 대상은 이미 상호작용 프로세스에서 기분 변동을 갖고, 현재 상호작용 모드가 계속되면, 돌봄을 받는 대상은 무너져서, 분노하거나, 울거나, 소란을 일으키는 등을 할 수 있다. 대안적으로, 돌봄을 받는 대상은 환경의 강한 자극을 겪기 시작했을 수 있고, 상호작용 정책이 조정되지 않으면, 돌봄을 받는 대상은 정신적으로 상처를 입을 수 있다. 임계 상태에서의 정서 상태는 정서 임계치이다. 정서 임계치가 과도하게 높게 설정되면, 예를 들어, 어린이 교실 교육 시나리오에서, 어린이가 질문을 하기 위해 자주 요청하고, 돌봄 로봇의 정서 임계치가 과도하게 높게 설정되어 있기 때문에 교사가 적시에 어린이에게 프레젠테이션 기회를 제공하도록 알림을 받지 않으면, 어린이의 열정이 영향을 받을 수 있고, 장기간 교육 효과가 영향을 받을 수 있다. 정서 임계치가 과도하게 낮게 설정될 때, 교육 프로세스에서 과도한 무효한 메시지 알림들이 생성될 수 있어서, 과도하게 낮은 시스템 효율로 이어지고, 따라서 정서 임계치가 사용될 수 없다. 전술한 문제를 해결하기 위해, 상호작용 프로세스에서의 돌봄 로봇의 정서 임계치는 동적으로 그리고 지능적으로 조정된다. 현재 대화 및 상호작용 시나리오에 더 적합한 적절한 환경 정서 임계치를 획득하기 위해 기계 학습에서의 강화 학습 방법이 사용된다. 예를 들어, Q-학습 알고리즘이 사용된다. 이 알고리즘의 주요 학습 목표는 평가 함수에 기초하여 불확실한 대화 시나리오 및 환경에서 최적 정서 임계치 π를 선택하여, 학습 시간 내에 최대 누적 할인 수익률이 획득되도록 하는 것이다. 상호작용 프로세스에서의 정서 파라미터가 임계치 π에 접근하거나 이를 초과할 때, 돌봄 로봇은 의사소통 및 상호작용 정책을 능동적으로 조정하거나, 또는 운영자 또는 후견인은 소리, 그래픽, 텍스트, 또는 조명을 통해, 의사소통 및 상호작용 정책을 조정하도록 알림을 받는다. 정서 모델 모듈은 센서 모듈에 의해 캡처된 돌봄을 받는 대상의 실시간 정보, 예를 들어, 얼굴 표정, 스피치 및 톤, 신체 자세, 이동 상태, 실내/실외 위치, 및 생체 신호에 기초하여 현재 사용자의 정서 모델을 출력하고 매칭시킨다. 정서 모델 파라미터의 일반적으로 보이는 수량화 방식은 대상의 정서 상태 파라미터 행렬을 출력하는 것이다. 정서 표현의 내용은 내용 취합 모듈에 의해 구현된다. 내용 취합 모듈은, 돌봄을 받는 대상의 정서 모델의 정서 상태 파라미터 행렬에 기초한 매칭을 통해, 돌봄을 받는 대상과 상호작용하는 프로세스에 사용되는 정책, 실행될 필요가 있는 상호작용 태스크, 및 활동 내용의 목록을 획득하고, 제어 명령을 형성하는데, 여기서 목록은 기계식 위치 이동, 표정의 시뮬레이션 및 디스플레이, 조명 효과, 음악 재생, 텍스트, 패턴, 적절한 말하는 속도, 스피치, 톤, 및 대화 내용과 같은 복수의 상호작용 형식을 포함하지만 이로 제한되지는 않는다. 의사 결정기 및 실행기는 실행 장치를 구동하여 대응하는 하드웨어 기능 모듈을 이용하여 상호작용 태스크를 완성한다.
방법 실시예와 동일한 발명 개념에 기초하여, 본 출원은 도 12에 도시된 바와 같은 모델 엔진을 추가로 제공하며, 이는:
목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구성된 모델 생성 모듈(1201) - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함함 -; 및
조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 성장 모델 능력 파라미터 행렬에서의 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하도록 구성된 모델 수정 모듈(1202)을 포함하고, 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용되고,
모델 수정 모듈(1202)은: 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하고;
상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하도록 추가로 구성되고, 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공한다.
옵션 실시예에서, 모델 엔진은 어린이 돌봄 로봇의 인공 지능 모듈에 대한 기계 학습 및 훈련을 위한 모델을 제공하여, 효과를 최대화한다. 특정 구조가 도 13에 도시되어 있다. 돌봄 로봇의 인공 지능 모듈은 센서 모듈에 의해 획득된 상호작용 대상의 자연적인 사회 장면의 실시간 데이터에 기초하여 훈련되고 학습을 수행하여, 돌봄을 받는 대상의 환경 데이터(1301)를 획득한다. 훈련 및 학습의 값 템플릿은 언어 모듈, 시각 모듈, 및 표정/기분 모듈을 포함하지만 이로 제한되지는 않는다. 돌봄을 받는 대상의 환경 데이터는 적어도 스피치, 시각 모델, 및 정서의 기계 인식 데이터를 포함하고, 적어도 하나의 제3자 네트워크 클라우드 서비스 기관에 의해 제공되는 제3자 능력 평가 보고에서 제공되는 테스트 데이터(1302)를 추가로 포함한다. 구체적으로, 환경 데이터(1301)의 포맷은 테스트 데이터(1302)의 포맷과 완전히 동일하지 않다. 예를 들어, 환경 데이터(1301)의 포맷은 파라미터 행렬이고, 테스트 데이터(1302)의 포맷은 고정 포맷의 WORD 문서이다. 환경 데이터 및 테스트 데이터는 데이터 포맷 변환(1303)을 통해 처리되고, 기계 학습 및 훈련을 위해 지능 엔진(1304)에 입력되어, 사용자 특징들의 복수의 카테고리를 포함하는 사용자 성장 모델(1305)을 획득한다. 사용자 성장 모델(1305)은 성장 모델 능력 파라미터 행렬을 이용하여 반영될 수 있다. 도 13은 모델 수정 모듈(1306), 기계 학습 엔진(1307), 인공 지능 모듈(1308), 의사 결정기 및 실행기(1309), 제3자 성장 모델(1310) 및 사용자 선호 설정(1311)을 추가로 포함한다.
본 발명의 이 실시예에서, 사용자의 특징 및 요건을 자기 적응 및 기계 학습을 통해 더 잘 매칭시켜, 특정 경우에 돌봄을 받는 대상과의 정서 의사소통의 방식을 끊임없이 최적화한다. 사용자 선호 설정으로부터의 정보, 센서 모듈로부터의 정보, 다른 모바일 지능 장치로부터의 정보, GPS 신호, 인터넷으로부터의 제3자 네트워크 클라우드 서비스 기관의 데이터를 포함하는, 복수의 정보 소스로부터의 정보가 획득된다. 기계 학습 등을 통해 돌봄을 받는 대상의 사용 환경을 끊임없이 획득하고 인식하여, 돌봄 로봇의 서비스 방식 및 내용에 적응하고 이를 개선한다.
본 출원의 이 실시예에서의 모듈 구분은 예이고, 논리적 기능 구분에 불과하고, 실제 구현에서는 다른 구분일 수도 있다. 또한, 본 출원의 실시예들에서의 기능 모듈들이 하나의 프로세서에 통합될 수 있거나, 또는 모듈들 각각이 물리적으로 단독으로 존재할 수 있거나, 또는 2개 이상의 모듈이 하나의 모듈로 통합된다. 통합 모듈은 하드웨어의 형식으로 구현될 수 있거나, 소프트웨어 기능 모듈의 형식으로 구현될 수 있다.
통합 모듈이 하드웨어의 형식으로 구현될 때, 도 14에 도시된 바와 같이, 모델 엔진은 프로세서(1402)를 포함할 수 있다. 모듈에 대응하는 엔티티의 하드웨어는 프로세서(1402)일 수 있다. 프로세서(1402)는 중앙 처리 모듈(영문: central processing unit, 약칭하여 CPU), 디지털 처리 모듈 등일 수 있다. 모델 엔진은 통신 인터페이스(1401)를 추가로 포함할 수 있고, 프로세서(1402)는 통신 인터페이스(1401)를 통해 데이터를 수신한다. 장치는 프로세서(1402)에 의해 실행되는 프로그램을 저장하도록 구성된 메모리(1403)를 추가로 포함한다. 메모리(1403)는 하드 디스크(영문: hard disk drive, 약칭하여 HDD) 또는 솔리드 스테이트 드라이브(영문: solid state drive, 약칭하여 SSD)와 같은 비휘발성 메모리일 수 있거나, 랜덤 액세스 메모리(영문: random access memory, 약칭하여 RAM)와 같은 휘발성 메모리(영문: volatile memory)일 수 있다. 메모리(1403)는 명령어 또는 데이터 구조의 형식으로 예상된 프로그램 코드를 휴대 또는 저장할 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체이지만, 이로 제한되지는 않는다.
프로세서(1402)는 메모리(1403)에 저장된 프로그램 코드를 실행하도록 구성되고, 도 4에 도시된 실시예에서 설명된 방법을 수행하도록 구체적으로 구성된다. 도 4에 도시된 실시예에서 설명된 방법에 대한 참조가 이루어질 수 있고, 세부사항들은 본 출원에서 다시 설명되지 않는다.
통신 인터페이스(1401), 프로세서(1402), 및 메모리(1403) 간의 특정 연결 매체는 본 출원의 이 실시예에서 제한되지 않는다. 본 출원의 이 실시예에서, 도 14에서, 메모리(1403), 프로세서(1402), 및 통신 인터페이스(1401)는 버스(1404)를 이용하여 연결된다. 버스는 도 14의 두꺼운 라인을 이용하여 표현되고, 다른 부분들 간의 연결 방식은 단지 설명을 위한 예로서 사용되고, 본 출원을 제한하지 않는다. 버스는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 표현의 용이함을 위해, 버스는 도 14에서 단지 하나의 굵은 라인을 이용하여 표현된다. 그러나, 그것은 단지 하나의 버스 또는 단지 하나의 유형의 버스만이 있다는 것을 나타내지 않는다.
본 발명의 실시예는 프로세서에 의해 실행될 필요가 있는 동작들을 실행하기 위해 사용되는 컴퓨터 소프트웨어 명령어를 저장하도록 구성되는 컴퓨터 판독가능 저장 매체를 추가로 제공한다. 컴퓨터 소프트웨어 명령어는 프로세서에 의해 실행될 필요가 있는 동작들을 실행하기 위해 사용되는 프로그램을 포함한다.
본 기술분야의 통상의 기술자는 본 출원의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 것을 이해할 것이다. 따라서, 본 출원은 하드웨어만의 실시예들, 소프트웨어만의 실시예들, 또는 소프트웨어와 하드웨어의 조합을 갖는 실시예들의 형식을 사용할 수 있다. 또한, 본 출원은 컴퓨터 사용가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체(자기 디스크 메모리, CD-ROM 및 광학 메모리를 포함하지만 이로 제한되지는 않음) 상에 구현되는 컴퓨터 프로그램 제품의 형식을 사용할 수 있다.
본 출원은 본 출원에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도들 및/또는 블록도들을 참조하여 설명된다. 흐름도들 및/또는 블록도들 내의 각각의 프로세스 및/또는 각각의 블록, 및 흐름도들 및/또는 블록도들 내의 프로세스 및/또는 블록의 조합을 구현하기 위해 컴퓨터 프로그램 명령어들이 사용될 수 있다는 것을 이해해야 한다. 이들 컴퓨터 프로그램 명령어는 기계를 생성하기 위해 범용 컴퓨터, 전용 컴퓨터, 임베디드 프로세서, 또는 임의의 다른 프로그램 가능한 데이터 처리 디바이스의 프로세서에 제공될 수 있어, 컴퓨터 또는 임의의 다른 프로그램 가능한 데이터 처리 디바이스의 프로세서에 의해 실행된 그 명령어는 흐름도들에서의 하나 이상의 프로세스 및/또는 블록도들에서의 하나 이상의 블록에서 지정된 기능을 구현하기 위한 장치를 생성한다.
이들 컴퓨터 프로그램 명령어는 컴퓨터 또는 임의의 다른 프로그램 가능한 데이터 처리 디바이스에게 특정 방식으로 동작하도록 지시할 수 있는 컴퓨터 판독가능 메모리에 저장될 수 있어, 컴퓨터 판독가능 메모리에 저장된 그 명령어는 명령 장치를 포함하는 아티팩트를 생성한다. 명령 장치는 흐름도들에서의 하나 이상의 프로세스 및/또는 블록도들에서의 하나 이상의 블록에서 지정된 기능을 구현한다.
이들 컴퓨터 프로그램 명령어는 또한 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 디바이스 상에 로딩될 수 있어서, 일련의 조작들 및 단계들이 컴퓨터 또는 다른 프로그램 가능한 디바이스 상에서 수행되고, 그에 의해 컴퓨터-구현 처리를 생성한다. 따라서, 컴퓨터 또는 다른 프로그램 가능한 디바이스 상에서 실행되는 명령어들은 흐름도의 하나 이상의 프로세스에서 및/또는 블록도의 하나 이상의 블록에서 지정된 기능을 구현하는 단계들을 제공한다.
명백히, 본 기술분야의 통상의 기술자는 본 출원의 정신 및 범위를 벗어나지 않고 본 출원에 대해 다양한 수정 및 변형을 실시할 수 있다. 본 출원은 본 출원의 이들 수정 및 변형이 다음의 청구항들 및 이들과 균등한 기술들에 의해 정의된 보호의 범위 내에 속하는 한 그것들을 커버하도록 의도된다.

Claims (11)

  1. 돌봄 로봇을 위한 데이터 처리 방법으로서, 상기 방법은:
    모델 엔진에 의해, 목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하는 단계 - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함함 -;
    상기 모델 엔진에 의해, 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하는 단계 - 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용됨 -;
    상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하는 단계; 및
    상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하는 단계 - 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공함 - 를 포함하는, 방법.
  2. 제1항에 있어서, 모델 엔진에 의해, 목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하는 단계는:
    상기 모델 엔진에 의해, 상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하는 단계를 구체적으로 포함하는, 방법.
  3. 제1항에 있어서, 상기 모델 엔진에 의해, 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하는 단계 후에, 상기 방법은:
    상기 모델 엔진에 의해, 능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하는 단계를 추가로 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 조정된 능력 파라미터 조정 값의 가중 평균 값은 조정 전의 상기 실제로 측정된 능력 파라미터의 가중 평균 값보다 더 크거나 그와 동등한, 방법.
  5. 모델 엔진으로서, 상기 모델 엔진은:
    목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구성된 모델 생성 모듈 - 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함함 -; 및
    조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하도록 구성된 모델 수정 모듈을 포함하고, 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용되고,
    상기 모델 수정 모듈은: 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하고;
    상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 모델 엔진에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하도록 추가로 구성되고, 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공하는, 모델 엔진.
  6. 제5항에 있어서, 상기 모델 생성 모듈은:
    상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구체적으로 구성되는, 모델 엔진.
  7. 제5항에 있어서, 상기 모델 수정 모듈은:
    능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하도록 추가로 구성되는, 모델 엔진.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서, 상기 조정된 능력 파라미터 조정 값의 가중 평균 값은 조정 전의 상기 실제로 측정된 능력 파라미터의 가중 평균 값보다 더 크거나 그와 동등한, 모델 엔진.
  9. 모델 엔진으로서,
    프로그램 명령어를 저장하도록 구성된 메모리; 및
    상기 메모리에 저장된 상기 프로그램 명령어를 호출하여, 통신 인터페이스를 통해 목표 대상의 데이터를 수신하고, 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구성된 프로세서를 포함하고, 상기 데이터는 상기 목표 대상의 능력 파라미터를 포함하고, 상기 능력 파라미터는 실제로 측정된 능력 파라미터 및 상기 목표 대상에 대응하는 통계 능력 파라미터를 포함하고, 상기 목표 대상의 상기 생성된 성장 모델 능력 파라미터 행렬은 상기 능력 파라미터, 및 상기 능력 파라미터에 기초하여 계산되는 능력 파라미터 조정 값 및 종합 능력 파라미터를 포함하고; 상기 프로세서에 의해, 조정 공식 계수에 기초하여 또는 표준 성장 모델 능력 파라미터 행렬에 기초하여 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터 조정 값을 조정하여, 조정된 능력 파라미터 조정 값을 결정하고 - 상기 공식은 상기 능력 파라미터에 기초하여 상기 종합 능력 파라미터 및 상기 능력 파라미터 조정 값을 계산하기 위해 사용됨 -; 상기 프로세서에 의해, 상기 조정된 능력 파라미터 조정 값이 사전설정된 임계치를 초과하는지를 결정하고; 상기 조정된 능력 파라미터 조정 값이 상기 사전설정된 임계치의 범위 내에 있다면, 상기 프로세서에 의해, 상기 조정된 능력 파라미터 조정 값을 기계 학습 엔진에 전송하고, 상기 기계 학습 엔진은, 상기 능력 파라미터 조정 값에 기초하여 인공 지능 모듈에 대해, 상기 목표 대상과 상호작용하기 위해 요구되는 능력 파라미터를 제공하는, 모델 엔진.
  10. 제9항에 있어서, 상기 프로세서는:
    상기 통신 인터페이스를 통해 상기 목표 대상의 능력 파라미터를 수신하고, 상기 수신된 능력 파라미터에 기초하여 계산을 수행하여 상기 능력 파라미터 조정 값 및 상기 종합 능력 파라미터를 결정하고, 상기 능력 파라미터, 상기 능력 파라미터 조정 값, 및 상기 종합 능력 파라미터를 지정된 능력 파라미터 행렬 템플릿에 추가하여 상기 목표 대상의 성장 모델 능력 파라미터 행렬을 생성하도록 구체적으로 구성되는, 모델 엔진.
  11. 제9항에 있어서, 상기 프로세서는:
    능력 파라미터를 수동으로 조정하기 위한 수신된 명령에 따라 상기 성장 모델 능력 파라미터 행렬에서의 상기 능력 파라미터를 조정하고, 조정된 능력 파라미터에 기초하여 상기 조정된 능력 파라미터 조정 값을 결정하도록 추가로 구성되는, 모델 엔진.
KR1020197030811A 2017-03-24 2017-11-16 돌봄 로봇을 위한 데이터 처리 방법 및 장치 KR102334942B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710184421.8 2017-03-24
CN201710184421.8A CN107030691B (zh) 2017-03-24 2017-03-24 一种看护机器人的数据处理方法及装置
PCT/CN2017/111312 WO2018171223A1 (zh) 2017-03-24 2017-11-16 一种看护机器人的数据处理方法及装置

Publications (2)

Publication Number Publication Date
KR20190126906A true KR20190126906A (ko) 2019-11-12
KR102334942B1 KR102334942B1 (ko) 2021-12-06

Family

ID=59533431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030811A KR102334942B1 (ko) 2017-03-24 2017-11-16 돌봄 로봇을 위한 데이터 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US11241789B2 (ko)
EP (1) EP3593958B1 (ko)
JP (1) JP6816925B2 (ko)
KR (1) KR102334942B1 (ko)
CN (1) CN107030691B (ko)
WO (1) WO2018171223A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061707A (ko) * 2019-11-20 2021-05-28 (주)로보디바인 로봇을 이용한 돌봄장치 및 방법
WO2024123140A1 (ko) * 2022-12-09 2024-06-13 주식회사 지오비전 표정 및 행동 인식이 가능한 돌봄 로봇 시스템

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018012565A (es) * 2016-04-14 2019-07-08 Deka Products Lp Dispositivo de control de usuario para un transportador.
WO2018112137A1 (en) * 2016-12-15 2018-06-21 General Electric Company System and method for image segmentation using a joint deep learning model
JP6729424B2 (ja) * 2017-01-30 2020-07-22 富士通株式会社 機器、出力装置、出力方法および出力プログラム
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US10460415B2 (en) * 2017-04-10 2019-10-29 Intel Corporation Contextual configuration adjuster for graphics
US11106917B2 (en) * 2017-07-04 2021-08-31 Turing Video Surveillance system with human-machine interface
CN107290975A (zh) * 2017-08-22 2017-10-24 重庆锐纳达自动化技术有限公司 一种家居智能机器人
KR102495359B1 (ko) * 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
CN109767774A (zh) * 2017-11-08 2019-05-17 阿里巴巴集团控股有限公司 一种交互方法和设备
KR102463806B1 (ko) * 2017-11-09 2022-11-07 삼성전자주식회사 이동이 가능한 전자 장치 및 그 동작 방법
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
JP6724889B2 (ja) * 2017-12-07 2020-07-15 カシオ計算機株式会社 見守りシステム及び見守り方法
CN108000529A (zh) * 2017-12-08 2018-05-08 子歌教育机器人（深圳）有限公司 智能机器人
CN107945799A (zh) * 2017-12-18 2018-04-20 深圳市今视通数码科技有限公司 一种多功能语音交互智能机器
CN107953345A (zh) * 2017-12-27 2018-04-24 杨宇辰 面向儿童的熊猫造型智能教育陪护机器人
CN108062416B (zh) * 2018-01-04 2019-10-29 百度在线网络技术（北京）有限公司 用于在地图上生成标签的方法和装置
FR3080926B1 (fr) * 2018-05-04 2020-04-24 Spoon Procede de commande d'une pluralite d'effecteurs d'un robot
JP7151181B2 (ja) * 2018-05-31 2022-10-12 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
JP7326707B2 (ja) * 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN108837510B (zh) * 2018-06-27 2020-11-06 腾讯科技（深圳）有限公司 信息的展示方法和装置、存储介质、电子装置
CN108563138A (zh) * 2018-07-04 2018-09-21 深圳万发创新进出口贸易有限公司 一种智能家居系统
CN109157842A (zh) * 2018-08-30 2019-01-08 网宿科技股份有限公司 一种基于机器学习的养成类游戏角色的培养方法和装置
WO2020107184A1 (zh) * 2018-11-26 2020-06-04 华为技术有限公司 一种模型选择方法和终端
US11570016B2 (en) * 2018-12-14 2023-01-31 At&T Intellectual Property I, L.P. Assistive control of network-connected devices
CN109903843A (zh) * 2019-01-24 2019-06-18 上海联影医疗科技有限公司 医疗扫描设备的声源定位及语音采集系统和语音采集方法
CN109794065B (zh) * 2019-01-28 2022-02-11 网易（杭州）网络有限公司 游戏角色创建方法、装置、电子设备及存储介质
US20200306960A1 (en) * 2019-04-01 2020-10-01 Nvidia Corporation Simulation of tasks using neural networks
CN111954206B (zh) * 2019-05-17 2024-04-09 株式会社Ntt都科摩 终端和基站
JP7392306B2 (ja) * 2019-07-12 2023-12-06 コニカミノルタ株式会社 情報処理システム、情報処理方法、及びプログラム
CN110633669B (zh) * 2019-09-12 2024-03-26 华北电力大学（保定） 家居环境中基于深度学习的移动端人脸属性识别方法
US11806288B2 (en) * 2019-10-28 2023-11-07 Ambulatus Robotics LLC Autonomous robotic mobile support system for the mobility-impaired
CN110888535A (zh) * 2019-12-05 2020-03-17 上海工程技术大学 一种可以提高现场真实感的ar系统
WO2020190362A2 (en) * 2020-01-17 2020-09-24 Futurewei Technologies, Inc. A social interaction robot
CN111267099B (zh) * 2020-02-24 2023-02-28 东南大学 基于虚拟现实的陪护机器控制系统
US20210302922A1 (en) * 2020-03-26 2021-09-30 MeetKai, Inc. Artificially intelligent mechanical system used in connection with enabled audio/video hardware
CN111508530B (zh) * 2020-04-13 2024-02-13 腾讯科技（深圳）有限公司 语音情感识别方法、装置及存储介质
US11461216B1 (en) 2020-05-18 2022-10-04 Vignet Incorporated Monitoring and improving data collection using digital health technology
KR102415997B1 (ko) * 2020-11-05 2022-07-05 (주)로보티즈 사용자의 돌봄 감성을 자극하는 반려 로봇
CN112382280A (zh) * 2020-11-10 2021-02-19 深圳供电局有限公司 一种语音交互方法及设备
CN112365580B (zh) * 2020-11-16 2022-10-28 同济大学 一种面向人机技能传授的虚拟作业演示系统
CN112398952A (zh) * 2020-12-09 2021-02-23 英华达（上海）科技有限公司 电子资源推送方法、系统、设备及存储介质
CN112464018A (zh) * 2020-12-10 2021-03-09 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
CN112667823B (zh) * 2020-12-24 2022-11-01 西安电子科技大学 一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质
CN114762981B (zh) * 2020-12-30 2024-03-15 广州富港生活智能科技有限公司 交互方法及相关装置
CN112733763B (zh) * 2021-01-15 2023-12-05 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
CN113031434B (zh) * 2021-02-03 2022-06-24 中国地质大学（武汉） 时滞多柔性摆臂系统分数阶自适应控制方法及装置
CN113160629A (zh) * 2021-05-06 2021-07-23 吉林工程技术师范学院 一种具有情感识别功能的人机协同学习用教育机器人
CN113580166B (zh) * 2021-08-20 2023-11-28 安徽淘云科技股份有限公司 一种拟人化机器人的交互方法、装置、设备及存储介质
CN114999534A (zh) * 2022-06-10 2022-09-02 中国第一汽车股份有限公司 一种车载音乐的播放控制方法、装置、设备和存储介质
CN116360764B (zh) * 2023-04-03 2023-12-05 北京柏睿数据技术股份有限公司 一种可视化建模平台的模型优化方法和系统
KR102643720B1 (ko) 2023-12-12 2024-03-06 주식회사 서랩 로봇용 인공지능 인터페이스 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122235A (ja) * 2001-10-19 2003-04-25 Gfk:Kk 電子学習装置
JP2003200370A (ja) * 2001-11-05 2003-07-15 Samsung Electronics Co Ltd オブジェクトの成長制御システム及びオブジェクトの成長制御方法
JP2005305631A (ja) * 2004-03-25 2005-11-04 Nec Corp ロボットおよびその制御方法
KR20140035031A (ko) * 2012-09-13 2014-03-21 최문형 유아 체육 영재지수화 및 레벨 분류 방법
KR101667281B1 (ko) * 2014-06-13 2016-10-19 (주) 미디어인터랙티브 인지능력 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터-판독가능한 저장매체
WO2016178772A1 (en) * 2015-04-05 2016-11-10 Smilables Inc. Remotely aggregating and analyzing measurement data from multiple infant monitoring systems
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106530618A (zh) * 2016-12-16 2017-03-22 深圳市神州云海智能科技有限公司 一种机器人的看护方法及装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171286B2 (en) * 2003-02-24 2007-01-30 Intouch Technologies, Inc. Healthcare tele-robotic system with a robot that also functions as a remote station
JP2005250423A (ja) * 2004-03-08 2005-09-15 Haruhiko Nitta 語学学習システム
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
ES2706729T3 (es) * 2005-12-02 2019-04-01 Irobot Corp Sistema de robot
US8265793B2 (en) * 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
WO2009038772A2 (en) * 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
JP2009199396A (ja) * 2008-02-22 2009-09-03 Fun Team Co Ltd 実務的能力診断システム
WO2009157733A1 (en) * 2008-06-27 2009-12-30 Yujin Robot Co., Ltd. Interactive learning system using robot and method of operating the same in child education
US8935005B2 (en) * 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
US8499379B2 (en) * 2010-07-30 2013-08-06 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic posture transfer assist devices and methods
US9026248B1 (en) * 2011-05-06 2015-05-05 Google Inc. Methods and systems for multirobotic management
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US9744672B2 (en) * 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
SG11201400958XA (en) * 2012-01-25 2014-04-28 Adept Technology Inc Autonomous mobile robot for handling job assignments in a physical environment inhabited by stationary and non-stationary obstacles
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
US20140324749A1 (en) 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20140248597A1 (en) * 2012-05-16 2014-09-04 Age Of Learning, Inc. Interactive learning path for an e-learning system
EP2852475A4 (en) * 2012-05-22 2016-01-20 Intouch Technologies Inc SOCIAL BEHAVIOR OF A MEDICAL TELEPRESCENT ROBOT
US8996167B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US9186793B1 (en) * 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
KR20140077726A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 유아용 모니터링 로봇
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9694495B1 (en) * 2013-06-24 2017-07-04 Redwood Robotics Inc. Virtual tools for programming a robot arm
US9302393B1 (en) * 2014-04-15 2016-04-05 Alan Rosen Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
US9050723B1 (en) * 2014-07-11 2015-06-09 inVia Robotics, LLC Human and robotic distributed operating system (HaRD-OS)
US10768708B1 (en) * 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US9849588B2 (en) * 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9352470B1 (en) * 2014-11-11 2016-05-31 Google Inc. Yaw slip handling in a robotic device
US10618174B2 (en) * 2014-12-09 2020-04-14 Aeolus Robotics, Inc. Robotic Touch Perception
CN104635574B (zh) * 2014-12-15 2017-07-25 山东大学 一种面向幼儿的早教陪护机器人系统
US9499218B1 (en) * 2014-12-30 2016-11-22 Google Inc. Mechanically-timed footsteps for a robotic device
US9586318B2 (en) * 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
CN104808487A (zh) * 2015-03-03 2015-07-29 台州学院 一种神经网络自适应鲁棒轨迹跟踪方法及控制器
CN106272449A (zh) * 2015-05-27 2017-01-04 鸿富锦精密工业（深圳）有限公司 人机交互型看护机器人
US9910761B1 (en) * 2015-06-28 2018-03-06 X Development Llc Visually debugging robotic processes
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统
US9975243B2 (en) * 2015-08-31 2018-05-22 Avaya Inc. Movement and interaction verification
US10124491B2 (en) * 2015-08-31 2018-11-13 Avaya Inc. Operational parameters
US9586316B1 (en) * 2015-09-15 2017-03-07 Google Inc. Determination of robotic step path
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
JP3204240U (ja) * 2016-02-26 2016-05-26 株式会社空間概念研究所 対話型又は探査型知育ロボット
MX2018012565A (es) * 2016-04-14 2019-07-08 Deka Products Lp Dispositivo de control de usuario para un transportador.
JP6713822B2 (ja) * 2016-05-13 2020-06-24 テルモ株式会社 無人航空機および医療支援方法
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
US9868214B2 (en) * 2016-06-20 2018-01-16 X Development Llc Localization of a mobile system
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
CN106956271B (zh) * 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
CN106897802A (zh) * 2017-04-07 2017-06-27 华为技术有限公司 数据处理方法、装置和健身机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122235A (ja) * 2001-10-19 2003-04-25 Gfk:Kk 電子学習装置
JP2003200370A (ja) * 2001-11-05 2003-07-15 Samsung Electronics Co Ltd オブジェクトの成長制御システム及びオブジェクトの成長制御方法
JP2005305631A (ja) * 2004-03-25 2005-11-04 Nec Corp ロボットおよびその制御方法
KR20140035031A (ko) * 2012-09-13 2014-03-21 최문형 유아 체육 영재지수화 및 레벨 분류 방법
KR101667281B1 (ko) * 2014-06-13 2016-10-19 (주) 미디어인터랙티브 인지능력 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터-판독가능한 저장매체
WO2016178772A1 (en) * 2015-04-05 2016-11-10 Smilables Inc. Remotely aggregating and analyzing measurement data from multiple infant monitoring systems
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106530618A (zh) * 2016-12-16 2017-03-22 深圳市神州云海智能科技有限公司 一种机器人的看护方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061707A (ko) * 2019-11-20 2021-05-28 (주)로보디바인 로봇을 이용한 돌봄장치 및 방법
WO2024123140A1 (ko) * 2022-12-09 2024-06-13 주식회사 지오비전 표정 및 행동 인식이 가능한 돌봄 로봇 시스템

Also Published As

Publication number Publication date
CN107030691A (zh) 2017-08-11
WO2018171223A1 (zh) 2018-09-27
CN107030691B (zh) 2020-04-14
EP3593958A4 (en) 2020-03-18
KR102334942B1 (ko) 2021-12-06
US20200016745A1 (en) 2020-01-16
JP2020511324A (ja) 2020-04-16
EP3593958B1 (en) 2022-01-05
US11241789B2 (en) 2022-02-08
JP6816925B2 (ja) 2021-01-20
EP3593958A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
KR102334942B1 (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
EP3563986B1 (en) Robot, server and man-machine interaction method
WO2021043053A1 (zh) 一种基于人工智能的动画形象驱动方法和相关装置
US11670324B2 (en) Method for predicting emotion status and robot
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
CN109176535B (zh) 基于智能机器人的交互方法及系统
US11017551B2 (en) System and method for identifying a point of interest based on intersecting visual trajectories
JP2018136545A (ja) 音声応答装置
CN109769213B (zh) 用户行为轨迹记录的方法、移动终端及计算机存储介质
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019087484A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190251350A1 (en) System and method for inferring scenes based on visual context-free grammar model
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
WO2018171196A1 (zh) 一种控制方法、终端及系统
JP7096626B2 (ja) 情報抽出装置
JP2022075661A (ja) 情報抽出装置
WO2019190812A1 (en) Intelligent assistant device communicating non-verbal cues
Shoukry et al. ClasScorer: Towards a Gamified Smart Classroom
JPWO2019087490A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7425681B2 (ja) 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット
WO2022091230A1 (ja) 情報抽出装置
US20240202634A1 (en) Dialogue training device, dialogue training system, dialogue training method, and computer-readable medium
JP6759907B2 (ja) 情報提示装置及びプログラム
Theodorou Design, development and technology acceptance modeling of accessibility systems for people with sensory impairments with applications on autonomous smartphone-based navigation systems for blind people
Kalupahana Mobile Phone based Awareness of Surroundings for the Visually Impaired

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant