KR102140292B1 - 로봇 서비스 학습 시스템 및 그 방법 - Google Patents
로봇 서비스 학습 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102140292B1 KR102140292B1 KR1020170181329A KR20170181329A KR102140292B1 KR 102140292 B1 KR102140292 B1 KR 102140292B1 KR 1020170181329 A KR1020170181329 A KR 1020170181329A KR 20170181329 A KR20170181329 A KR 20170181329A KR 102140292 B1 KR102140292 B1 KR 102140292B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- robot
- data
- response data
- response
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 254
- 238000006243 chemical reaction Methods 0.000 claims abstract description 58
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000013480 data collection Methods 0.000 claims abstract description 24
- 230000006399 behavior Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 53
- 230000008921 facial expression Effects 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000001186 cumulative effect Effects 0.000 claims description 10
- 230000000241 respiratory effect Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000035484 reaction time Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 230000006698 induction Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 230000007423 decrease Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003867 tiredness Effects 0.000 description 2
- 208000016255 tiredness Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G06K9/00302—
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
본 발명은 로봇 서비스 학습 시스템 및 그 방법에 관한 것으로, 해결하고자 하는 기술적 과제는 사용자와 로봇 간의 상호작용을 통해 사용자의 감정과 반응을 이해하고, 사용자에 맞는 로봇의 행동 확률을 조정하고 학습하여 좀 더 강화된 사용자 맞춤형 로봇 서비스를 제공하는데 있다.
일례로, 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집부; 로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시부; 및 상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 사용자의 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습부를 포함하는 로봇 서비스 학습 시스템을 개시한다.
일례로, 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집부; 로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시부; 및 상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 사용자의 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습부를 포함하는 로봇 서비스 학습 시스템을 개시한다.
Description
본 발명은 사용자와 로봇 간의 상호작용에 기반을 둔 로봇 서비스 학습 시스템 및 그 방법에 관한 것이다.
지능형 서비스 로봇은 가정이나 다양한 산업분야에서 인간에게 다양한 서비스를 제공하고 정보화시대의 사회적인 네트워크와 유기적으로 결합하고, 가전기기 등과의 원격제어가 가능한 인간친화적인 인터페이스 역할을 수행하고 있다.
이러한 미래 컴퓨팅 환경과 지능형 서비스 로봇이 결합하면 인지 및 감성과 유비쿼터스 환경을 기반으로 한 미래형 로봇으로 발전할 수 있다.
이러한 로봇은 미래의 우리 생활 속에서 환경과 유기적으로 동작하고, 인간과 자연스러운 상호작용을 통해서 지속적 관계를 갖고 성장하여, 인간의 동반자 역할을 할 수 있게 된다.
아직까지는 산업용 로봇이 대부분의 로봇 시장을 차지하고 있지만 서비스 로봇의 편리성으로 인해서 서비스로봇 시장이 점차 커질 것으로 예상되기 때문에 향후 서비스 로봇을 개발하기 위한 다양한 연구들이 도출되고 진행될 것으로 판단된다. 이에 발맞추어 서비스 로봇을 개발하기 위한 플랫폼, 알고리즘, 제어 기법 등 다양한 기술들이 필요할 것으로 예상된다.
서비스 로봇은 다른 로봇과는 다르게 수행하는 대부분의 작업들이 사람과 상호작용하면서 이루어진다. 예를 들어, 가사 도우미 로봇은 자신에게 주어진 일상적인 가사 업무를 수행하면서 사람이 실시간에 요청한 작업들을 처리한다. 그리고 처리한 작업은 사람에게 알리거나 처리한 결과물을 사람에게 전달한다. 그래서 서비스로봇을 제작하기 위해서는 보행이나 이동과 같은 일반적인 로봇 제작 기술뿐만 아니라 사람의 상황이나 감정에 맞는 상호작용을 처리하는 기술이 기본적으로 필요하다.
본 발명의 실시예는, 사용자와 로봇 간의 상호작용을 통해 사용자의 감정과 반응을 이해하고, 사용자에 맞는 로봇의 행동 확률을 조정하고 학습하여 좀 더 강화된 사용자 맞춤형 로봇 서비스를 제공한다.
본 발명의 실시예에 따른 로봇 서비스 학습 시스템은, 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집부; 로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시부; 및 상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 사용자의 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습부를 포함한다.
또한, 상기 사용자인식데이터는, 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함하고, 상기 사용자반응데이터는, 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함하는 암묵적 피드백 데이터; 및 긍정 또는 부정을 나타내며 사용자로부터 직접 입력 받는 평가 값을 포함하는 명시적 피드백 데이터를 포함할 수 있다.
또한, 상기 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자 또는 미등록 사용자로 분류하여 인식하는 사용자 식별부; 및 상기 사용자반응데이터를 수집하는 반응데이터 수집부를 더 포함할 수 있다.
또한, 상기 반응데이터 선택 지시부는, 상기 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 상기 사용자인식데이터가 상기 인식기준데이터에 속해 있지 않은 경우 상기 인식기준데이터에 속한 사용자 반응의 유도를 더 지시할 수 있다.
또한, 상기 기계 학습부는, 상기 로봇반응데이터의 실행에 따른 사용자의 반응시간, 로봇과 사용자 간의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇에 대한 사용자의 관심도와 친밀도를 분석하는 관심도 및 친밀도 분석부; 상기 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 상기 긍정도 점수를 상기 로봇반응데이터에 라벨링하는 긍정도 분석부; 상기 관심도 및 상기 친밀도의 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장하는 분석결과 저장부; 상기 관심도 및 상기 친밀도의 분석결과 값과 긍정도 점수에 따라 해당 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절하는 반응데이터 선택확률 조절부; 및 상기 사용자반응데이터에 대하여 상기 반응데이터 선택확률 조절부를 통해 선택확률이 조절된 로봇반응데이터를 각각 설정하는 반응데이터 설정부를 포함할 수 있다.
또한, 상기 반응데이터 선택확률 조절부는, 상기 로봇반응데이터에 대한 상기 관심도와 상기 친밀도의 분석결과 값 및 긍정도 점수가 높을수록 해당 로봇반응에 대한 표출 강도와 빈도를 점차 높이고, 상기 로봇반응데이터의 긍정도 점수가 낮을수록 해당 로봇반응의 표출 강도와 빈도를 점차 낮출 수 있다.
본 발명의 다른 실시예에 따른 로봇 서비스 학습 방법은, 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집 단계; 로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시 단계; 및 상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습 단계를 포함한다.
또한, 상기 사용자인식데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함하고, 상기 사용자반응데이터는, 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함하는 암묵적 피드백 데이터; 및 긍정 또는 부정을 나타내며 사용자로부터 직접 입력 받는 평가 값을 포함하는 명시적 피드백 데이터를 포함할 수 있다.
또한, 상기 인식데이터 수집 단계 이후, 상기 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자 및 미등록 사용자를 분류하여 인식하는 사용자 식별 단계; 및 상기 반응데이터 선택 지시 단계 이후, 상기 사용자반응데이터를 수집하는 반응데이터 수집 단계를 더 포함할 수 있다.
또한, 상기 반응데이터 선택 지시 단계는, 상기 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 상기 사용자인식데이터가 상기 인식기준데이터에 속해 있지 않은 경우 상기 인식기준데이터에 속한 사용자 반응의 유도를 더 지시할 수 있다.
또한, 상기 기계 학습 단계는, 상기 로봇반응데이터의 실행에 따른 사용자의 반응시간, 로봇과 사용자와의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇에 대한 사용자의 관심도와 친밀도를 분석하는 관심도 및 친밀도 분석 단계; 상기 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 상기 긍정도 점수를 상기 로봇반응데이터에 라벨링하는 긍정도 분석 단계; 상기 관심도 및 상기 친밀도의 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장하는 분석결과 저장 단계; 상기 관심도 및 상기 친밀도의 분석결과 값과 긍정도 점수에 따라 해당 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절하는 반응데이터 선택확률 조절 단계; 및 상기 사용자반응데이터에 대하여 상기 반응데이터 선택확률 조절부를 통해 선택확률이 조절된 로봇반응데이터를 각각 설정하는 반응데이터 설정 단계를 포함할 수 있다.
또한, 상기 반응데이터 선택확률 조절 단계는, 상기 로봇반응데이터에 대한 상기 관심도와 상기 친밀도의 분석결과 값 및 긍정도 점수가 높을수록 해당 로봇반응의 표출 강도와 빈도를 점차 높이고, 상기 로봇반응데이터의 긍정도 점수가 낮을수록 해당 로봇반응의 표출 강도와 빈도를 점차 낮출 수 있다.
본 발명에 따르면, 사용자와 로봇 간의 상호작용을 통해 사용자의 감정과 반응을 이해하고, 사용자에 맞는 로봇의 행동 확률을 조정하고 학습하여 좀 더 강화된 사용자 맞춤형 로봇 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 로봇 서비스 학습 시스템이 적용되는 로봇을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 로봇 서비스 학습 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 기계 학습부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 로봇 서비스 학습 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 기계 학습 단계를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 로봇 서비스 학습 방법에 대한 상세 구성을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 로봇 서비스 학습 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 기계 학습부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 로봇 서비스 학습 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 기계 학습 단계를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 로봇 서비스 학습 방법에 대한 상세 구성을 나타낸 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 로봇 서비스 학습 시스템이 적용되는 로봇을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 로봇(10)은 헤드부(11)와 바디부(12)를 포함할 수 있다.
상기 헤드부(11)는 헤드 디스플레이부(11a), 헤드 구동부(11b), 사용자 인식 센서부(11c) 및 사용자 감지 센서부(11d)를 포함할 수 있다.
상기 헤드 디스플레이부(11a)는 로봇(10)의 얼굴 부분에 설치되어 아바타 얼굴을 그래픽으로 표시하고, 로봇(10)의 상태 또는 사용자(1)의 반응에 따라 아바타의 적절한 표정을 표현하며, 로봇(10)의 음성이 출력되는 경우 해당 음성에 따른 아바타의 입 모양도 표현할 수 있다.
상기 헤드 구동부(11b)는 헤드부(11)와 바디부(12) 간을 연결하는 목 관절을 구동시키기 위한 수단으로, 로봇(10)의 반응에 따른 적절한 제스쳐가 구현되도록 구동될 수 있다.
상기 사용자 인식 센서부(11c)는 사용자(1)의 얼굴 표정 정보, 음성 정보 및 감지할 수 있다. 이를 위해, 사용자 인식 센서부(11c)는 카메라 센서, 마이크 등의 하드웨어적 수단과 해당 하드웨어 수단으로부터 감지된 데이터들을 미리 설정된 특성 별로 다양한 사용자인식데이터로 분류하기 위한 소프트웨어 수단을 포함할 수 있다.
상기 사용자 감지 센서부(11d)는 사용자(1)의 접근 여부 및 모션(행동)을 감지할 수 있다. 이를 위해 사용자 감지 센서부(11d)는 접근센서 및 카메라 센서 등의 하드웨어적인 수단과 해당 하드웨어 수단으로부터 감지된 데이터들을 미리 설정된 특성 별로 다양한 사용자인식데이터로 분류하기 위한 소프트웨어 수단을 포함할 수 있다.
상기 사용자 인식 센서부(11c)와 사용자 감지 센서부(11d)를 통해 분류된 사용자 인식데이터들은 본 실시예의 로봇 서비스 학습 시스템(100)을 통해 수집 및 분석되고, 그 분석 결과에 기초하여 사용자의 상황이나 감정에 따른 최적의 로봇 서비스를 제공하기 위한 강화 학습이 이루어질 수 있다.
상기 바디부(12)는 팔 구동부(12), 허리 구동부(12b), 장애물 감지 센서부(12c), 이동부(12d) 및 터치 스크린(12e) 중 적어도 하나를 포함할 수 있다.
상기 팔 구동부(12)는 로봇(10)의 팔 관절을 구동시키기 위한 수단으로, 로봇(10)의 반응에 따른 적절한 제스쳐가 구현되도록 구동될 수 있다.
상기 허리 구동부(12b)는 로봇(10)의 허리 관절을 구동시키기 위한 수단으로, 로봇(10)의 반응에 따른 적절한 제스쳐가 구현되도록 구동될 수 있다.
상기 장애물 감지 센서부(12c)는 로봇(10)의 이동 간에 장애물을 감지하기 위한 수단으로, 초음파 감지 센서를 포함할 수 있다.
상기 이동부(12d)는 사용자(1)의 감지에 따라 사용자(1) 방향으로 이동 또는 전환하거나 장애물 감지에 따라 해당 장애물을 회피하기 위해 이동할 수 있다. 이러한 이동부(12d)는 구동 모터, 바퀴 등을 포함할 수 있다.
상기 터치 스크린(12e)은 팔 구동부(12) 또는 바디부(12) 전방에 설치될 수 있으며, 사용자(1)로부터 필요한 정보를 검색 또는 입력하거나 다양한 정보를 출력하여 제공할 수 있다.
상기의 로봇(10)의 구성은 본 실시예의 로봇 서비스 학습 시스템(10)에 적용될 수 있는 하나의 예일 뿐이며, 보다 다양한 구조와 형태로 변경 가능하다.
도 2는 본 발명의 실시예에 따른 로봇 서비스 학습 시스템의 구성을 나타낸 블록도이며, 도 3은 본 발명의 실시예에 따른 기계 학습부의 구성을 나타낸 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 사용자와 로봇 간의 상호작용에 기반한 로봇 서비스 학습 시스템(100)은 인식데이터 수집부(110), 사용자 식별부(120), 반응데이터 선택 지시부(130), 반응데이터 수집부(140) 및 기계 학습부(150) 중 적어도 하나를 포함할 수 있다.
상기 인식데이터 수집부(110)는 사용자의 감정을 나타내는 사용자인식데이터를 수집할 수 있다. 여기서, 사용자인식데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함할 수 있으며, 로봇(10)의 사용자 인식 센서부(11c)와 사용자 감지 센서부(11d)로부터 수집될 수 있다.
상기 사용자 식별부(120)는, 인식데이터 수집부(110)를 통해 수집된 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자(known user) 또는 미등록 사용자(unknown user)로 분류하여 등록 사용자인지 미등록 사용자인지를 인식할 수 있다. 여기서, 등록 사용자는 로봇(10)의 서비스를 제공 받기 위해 사전에 등록된 사용자를 의미하며, 미등록 사용자는 로봇(10)의 서비스를 최초로 제공 받는 사용자나 사용자 데이터베이스에 등록되어 있지 않은 사용자를 의미할 수 있다. 여기서 사용자 데이터베이스는 로봇(10)의 서비스 제공을 위한 메모리에 별도로 구축될 수 있다.
한편, 사용자 식별부(120)는 미등록 사용자를 본 실시예의 로봇 서비스 학습 과정을 수행한 후에 등록 사용자로 관리할 수 있다.
상기 반응데이터 선택 지시부(130)는 로봇반응 데이터베이스(미도시)에서 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시할 수 있다. 예를 들어, 사용자인식데이터에 포함된 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션 등을 토대로 사용자가 현재 즐거움을 느끼고 있는 상황인 것으로 판단되는 경우, 그러한 사용자의 상황과 감정에 맞는 멘트와 모션 등의 반응을 보이기 위한 적절한 로봇반응데이터를 선택하고, 선택된 로봇반응데이터가 실행되도록 로봇(10)으로 실행 지시를 줄 수 있다.
이때, 로봇반응 데이터베이스로부터 로봇반응데이터가 선택되기 위해서는, 우선 사용자 식별부(120)를 통해 현재 사용자인식데이터의 주체가 등록된 사용자인지 아니면 미등록 사용자인지를 식별하는 과정을 진행할 수 있다. 등록된 사용자의 경우 식별된 해당 사용자의 상황과 감정에 따라 학습된 로봇반응데이터가 설정되어 있으므로, 설정된 로봇반응데이터를 선택하고, 로봇(10)이 선택된 로봇반응데이터에 따른 특정 행동이나 리엑션을 실행하도록 지시할 수 있다. 즉, 등록 사용자 별로 어떠한 상황이나 감정 상태에 따른 로봇(10)의 반응이 설정되어 있다는 것이다.
그리고, 미등록 사용자의 경우 식별되지 않은 사용자의 상황과 감정에 따른 공통된 로봇반응데이터를 선택하고, 로봇(10)이 선택된 로봇반응데이터에 따른 행동이나 리엑션을 실행하도록 지시할 수 있다. 즉, 등록되지 않은 사용자에 대해서는 등록된 사용자들의 특정 상황이나 감정 상태에 따라 공통적으로 적용할 수 있는 로봇(10)의 반응이 설정되어 있다는 것이다. 예를 들어, 사용자의 '즐거움'에 대한 상황이나 감정에 대하여 로봇(10)들이 공통적으로 설정되어 있는 반응을 선택하여 해당 반응이 실행되도록 로봇(10)에게 지시할 수 있다.
한편, 반응데이터 선택 지시부(130)는 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 해당 사용자인식데이터가 인식기준데이터에 속해 있지 않은 경우 인식기준데이터에 속한 사용자 반응을 유도하도록 로봇(10)에게 지시할 수 있다. 즉, 반응데이터 선택 지시부(130)는 사용자의 감정상태에 대하여 미리 정의해 놓은 인식기준이 설정되어 있으며, 수집된 사용자인식데이터를 미리 설정된 인식기준과 비교하여 어떠한 감정상태인지 판단, 분류 또는 식별이 되지 않거나 애매한 경우(사용자인식데이터로서 적합하지 않은 경우), 사용자의 감정 상태를 명확하게 인식할 수 있도록 사용자의 얼굴표정, 음성, 모션 등의 반응을 다시 유도하도록 로봇(10)에게 지시할 수 있다. 예를 들어, 사용자의 얼굴표정에 대한 사용자인식데이터를 수집하였는데, 해당 인식데이터로 해당 사용자가 웃는 표정인지 우는 표정인지 화난 표정인지가 명확히 구분되지 않는 경우, 로봇(10)에게 해당 사용자가 얼굴표정을 다시 한번 지을 수 있도록 유도하라는 지시를 내릴 수 있다.
상기 반응데이터 수집부(140)는 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터를 수집할 수 있다. 여기서, 사용자반응데이터는 로봇(10)이 어떠한 반응을 보였을 때, 그 반응에 대한 사용자 반응과 관련된 데이터를 의미할 수 있다. 이러한 사용자반응데이터는 암묵적 피드백 데이터와 명시적 피드백 데이터로 분류할 수 있다.
상기 암묵적 피드백 데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함할 수 있으며, 사용자의 얼굴표정, 음성 내용, 음성 톤, 눈의 시선 등의 피드백 데이터는 사용자 인식 센서부(11c)와 사용자 감지 센서부(11d)로부터 수집될 수 있으며, 사용자의 호흡량, 맥박 등의 피드백 데이터는 사용자가 착용하고 있는 웨어러블 디바이스 또는 휴대단말의 건강 어플리케이션과 연동하여 수집될 수 있다.
한편, 본 실시예의 로봇(10)이 소수의 특정 개인만이 사용하는 가정용 로봇인 경우에는, 해당 개인 사용자의 휴대단말에 설치된 SNS 어플리케이션 및 스케줄 어플리케이션을 통하여 해당 개인 사용자 계정으로 등록된 정보 및 일정 정보를 암묵적 피드백 데이터로서 추가 수집할 수 있다.
예를 들어, 개인 사용자가 금일 SNS 어플리케이션을 통해 감정을 나타내는 표현을 포함하는 글이나 이모티콘 등을 등록하거나, 일정 정보를 기반으로 해당 개인 사용자의 일정이 평소에 비해 바쁜 경우, 이러한 정보를 감안하여 즐거움, 슬픔, 바쁨, 피곤함 등 현재 개인 사용자의 상황이나 감정 상태를 파악하는데 참고할 수 있다. 이와 같이 추가되는 암묵적 피드백 데이터 또한 수치적인 값으로 변환되어 로봇반응데이터의 선택 또는 선택확률에 영향을 줄 수 있다.
상기 명시적 피드백 데이터는 긍정 또는 부정을 나타내며, 사용자로부터 직접적으로 입력받는 평가 값을 의미할 수 있다. 예를 들어, 사용자가 로봇(10)의 반응을 본 후 그 반응에 대하여 '좋아요' 및 '싫어요'라는 긍정과 부정을 각각 나타내는 선택 버튼을 터치 스크린(12e)을 통해 출력하여, 사용자로부터 둘 중 하나의 버튼 입력을 받음으로써 긍정 또는 부정에 대한 평가 값을 입력 받을 수 있다.
상기 기계 학습부(150)는 사용자반응데이터로부터 로봇(10)에 대한 사용자(10)의 관심도(또는 집중도), 친밀도 및 긍정도를 분석하여 로봇반응데이터의 선택확률을 조정할 수 있다. 이를 위해 기계 학습부(150)는 관심도 및 친밀도 분석부(151), 긍정도 분석부(152), 분석결과 저장부(153), 반응데이터 선택확률 조절부(154) 및 반응데이터 설정부(155) 중 적어도 하나를 포함할 수 있다.
상기 관심도 및 친밀도 분석부(151)는 로봇반응데이터의 실행에 따른 사용자(1)의 반응시간, 로봇(10)과 사용자(1) 간의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇(1)에 대한 사용자의 관심도(또는 집중도)와 친밀도를 분석할 수 있다.
상기 관심도(또는 집중도)는 사용자(1)의 반응시간, 로봇(10)과 사용자(1) 간의 상호작용 누적시간 및 상호작용 누적횟수에 대한 기준치 테이블을 이용하여, 각각에 대한 수치로 산출될 수 있다.
상기 친밀도는 관심도(또는 집중도)의 수치 범위에 따라 가중치를 부여하고, 누적된 가중치에 따라 소정의 레벨로 산출될 수 있다. 또한, 친밀도는 관심도(또는 집중도)뿐만 아니라 긍정도 점수에 따라 그 레벨이 변경될 수 있다. 예를 들어, 어떠한 사용자반응데이터에 대한 친밀도는 해당 반응데이터에 대한 긍정도 점수가 소정의 단위씩 증감할 때마다 증감 정도에 따른 가중치를 부여하고, 누적된 가중치에 따라 해당 레벨이 변경될 수 있다.
상기 긍정도 분석부(152)는 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 긍정도 점수를 로봇반응데이터에 라벨링(labeling)할 수 있다. 좀 더 구체적으로, 긍정도 분석부(152)는 사용자반응데이터에 포함되는 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선에 대한 정보가 긍정적인 요소를 포함하는지, 아니면 부정적인 요소를 포함하는지 판단하여, 사용자반응을 유도한 해당 로봇반응데이터 각각에 긍정도 점수를 매칭시켜 저장되도록 할 수 있다.
상기 분석결과 저장부(153)는 관심도 및 친밀도에 대한 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장할 수 있다. 좀 더 구체적으로, 등록된 사용자인 경우 해당 등록 사용자 별로 관리되는 로봇반응 데이터베이스에 각각의 로봇반응데이터 별로 관심도와 친밀도에 대한 분석결과 값을 저장할 수 있으며, 관심도와 친밀도 레벨에 따라 사용자(1) 별 로봇(10)의 페르소나(persona)를 형성할 수 있다.
이때, 저장되는 로봇반응데이터에 긍정도 점수가 라벨링(labeling)되어 함께 저장될 수 있다. 또한, 미등록 사용자의 경우 관심도와 친밀도 레벨이 높은 로봇반응데이터를 공통 로봇 행동 모델로서 저장할 수 있다. 이러한 관심도 및 친밀도에 대한 분석결과는 로봇반응데이터의 선택확률을 조절하는데 이용될 수 있다.
상기 반응데이터 선택확률 조절부(154)는 관심도 및 친밀도의 분석결과 값과 긍정도 점수에 따라 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절할 수 있다. 좀 더 구체적으로, 높은 관심도, 친밀도 및 긍정도를 갖는 로봇반응데이터에 대한 강도와 빈도를 높이고, 낮은 관심도, 친밀도 및 긍정도를 갖는 로봇반응데이터에 대한 강도와 빈도를 낮출 수 있다.
예를 들어, 사용자(1)와 로봇(10) 간의 상호작용이 지속적으로 이루어지며, 이러한 상호작용이 시간이 흐름에 지속적으로 진행됨 따라 가령, '즐거움'와 관련된 로봇반응에 대한 관심도, 친밀도 및 긍정도가 전체적으로 점차 증가하게 되면, '즐거움'에 대한 로봇의 표출 강도를 점차 높이고, 표출 빈도 또한 점차 증가시킬 수 있으며, 해당 로봇반응에 대한 선택확률이 점차 높아질 수 있다. 여기서, 로봇반응에 대한 선택확률을 높인다는 것은 사용자의 특정 상황과 감정 상태에 따라 특정한 로봇(1)의 반응이 선택될 확률이 높아진다는 것을 의미하며, 로봇반응에 대한 선택확률은 사용자(1)와 로봇(10) 간의 상호작용을 반복적으로 진행하는 과정에서 기계 학습을 통해 업데이트될 수 있다.
반면, '즐거움'에 대한 관심도, 친밀도 및 긍정도가 전체적으로 감소하게 되면, '즐거움'에 대한 로봇의 표출 강도를 점차 낮추고, 표출 빈도 또한 점차 감소시킬 수 있으며, 해당 로봇반응에 대한 선택확률이 점차 낮아질 수 있다. 여기서, 로봇반응에 대한 선택확률을 낮춘다는 것은 사용자의 특정 상황과 감정 상태에서 특정한 로봇(1)의 반응이 선택될 확률이 낮아진다는 것을 의미하며, 로봇반응에 대한 선택확률은 사용자(1)와 로봇(10) 간의 상호작용을 반복적으로 진행하는 과정에서 기계 학습을 통해 업데이트될 수 있다.
또한, 반응데이터 선택확률 조절부(154)는 사용자(1)와 로봇(10) 간의 관심도와 친밀도 레벨이 미리 설정된 임계치 이상으로 유지되도록 각각의 로봇(10)의 반응에 대한 선택확률을 조정할 수도 있다. 즉, 사용자(1)와 로봇(10) 간의 상호작용 과정은 시간 축으로 관리되며 관심도와 친밀도 레벨이 임계치 이하인지를 모니터링한 후, 임계치 이하로 되는 경우 이전 로봇반응에 대한 실행 값 즉 표출 강도와 빈도 값을 낮춤으로써 해당 로봇반응에 대한 표출 강도와 빈도를 조절함으로써 로봇반응에 대한 표출 강도와 빈도를 임계치 이상으로 유지할 수 있다.
상기 반응데이터 설정부(155)는 각각의 사용자반응데이터에 대하여 반응데이터 선택확률 조절부(154)를 통해 선택확률이 조절된 로봇반응데이터를 설정할 수 있다. 즉, 어떠한 사용자반응데이터에 대하여 적어도 하나 이상의 로봇반응데이터가 설정되며, 다수의 로봇반응데이터에 대한 선택확률이 지속적으로 변경해나가면서, 사용자반응에 따라 가장 적절한 로봇반응이 선택되도록 데이터 설정이 이루어질 수 있다.
도 4는 본 발명의 실시예에 따른 로봇 서비스 학습 방법을 나타낸 순서도이고, 도 5는 본 발명의 실시예에 따른 기계 학습 단계를 나타낸 순서도이며, 도 6은 본 발명의 실시예에 따른 로봇 서비스 학습 방법에 대한 상세 구성을 나타낸 순서도이다.
도 4 내지 도 6을 참조하면, 본 발명의 사용자와 로봇 간의 상호작용에 기반한 로봇 서비스 학습 방법(S100)은 인식데이터 수집 단계(S110), 사용자 식별 단계(S120), 반응데이터 선택 지시 단계(S130), 반응데이터 수집 단계(S140) 및 기계 학습 단계(S150) 중 적어도 하나를 포함할 수 있다.
상기 인식데이터 수집 단계(S110)에서는 사용자의 감정을 나타내는 사용자인식데이터를 수집할 수 있다. 여기서, 사용자인식데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함할 수 있으며, 로봇(10)의 사용자 인식 센서부(11c)와 사용자 감지 센서부(11d)로부터 수집될 수 있다.
상기 사용자 식별 단계(S120)에서는, 인식데이터 수집 단계(S110)를 통해 수집된 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자(known user) 또는 미등록 사용자(unknown user)로 분류하여 등록 사용자인지 미등록 사용자인지를 인식할 수 있다. 여기서, 등록 사용자는 로봇(10)의 서비스를 제공 받기 위해 사전에 등록된 사용자를 의미하며, 미등록 사용자는 로봇(10)의 서비스를 최초로 제공 받는 사용자나 사용자 데이터베이스에 등록되어 있지 않은 사용자를 의미할 수 있다. 여기서 사용자 데이터베이스는 로봇(10)의 서비스 제공을 위한 메모리에 별도로 구축될 수 있다.
한편, 사용자 식별 단계(S120)에서 미등록 사용자는 본 실시예의 로봇 서비스 학습 방법(S100)을 수행한 후에 등록 사용자로 관리될 수 있다.
상기 반응데이터 선택 지시 단계(S130)에서는 로봇반응 데이터베이스(미도시)에서 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시할 수 있다. 예를 들어, 사용자인식데이터에 포함된 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션 등을 토대로 사용자가 현재 즐거움을 느끼고 있는 상황인 것으로 판단되는 경우, 그러한 사용자의 상황과 감정에 맞는 멘트와 모션 등의 반응을 보이기 위한 적절한 로봇반응데이터를 선택하고, 선택된 로봇반응데이터가 실행되도록 로봇(10)으로 실행 지시를 줄 수 있다.
이때, 로봇반응 데이터베이스로부터 로봇반응데이터가 선택되기 위해서는, 우선 사용자 식별 단계(S120)를 통해 현재 사용자인식데이터의 주체가 등록된 사용자인지 아니면 미등록 사용자인지를 식별하는 과정을 진행할 수 있다. 등록된 사용자의 경우 식별된 해당 사용자의 상황과 감정에 따라 학습된 로봇반응데이터가 설정되어 있으므로, 설정된 로봇반응데이터를 선택하고, 로봇(10)이 선택된 로봇반응데이터에 따른 특정 행동이나 리엑션을 실행하도록 지시할 수 있다. 즉, 등록 사용자 별로 어떠한 상황이나 감정 상태에 따른 로봇(10)의 반응이 설정되어 있다는 것이다.
그리고, 미등록 사용자의 경우 식별되지 않은 사용자의 상황과 감정에 따른 공통된 로봇반응데이터를 선택하고, 로봇(10)이 선택된 로봇반응데이터에 따른 행동이나 리엑션을 실행하도록 지시할 수 있다. 즉, 등록되지 않은 사용자에 대해서는 등록된 사용자들의 특정 상황이나 감정 상태에 따라 공통적으로 적용할 수 있는 로봇(10)의 반응이 설정되어 있다는 것이다. 예를 들어, 사용자의 '즐거움'에 대한 상황이나 감정에 대하여 로봇(10)들이 공통적으로 설정되어 있는 반응을 선택하여 해당 반응이 실행되도록 로봇(10)에게 지시할 수 있다.
한편, 반응데이터 선택 지시 단계(S130)에서는 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 해당 사용자인식데이터가 인식기준데이터에 속해 있지 않은 경우 인식기준데이터에 속한 사용자 반응을 유도하도록 로봇(10)에게 지시할 수 있다. 즉, 반응데이터 선택 지시 단계(S130)에서는 사용자의 감정상태에 대하여 미리 정의해 놓은 인식기준이 설정되어 있으며, 수집된 사용자인식데이터를 미리 설정된 인식기준과 비교하여 어떠한 감정상태인지 판단, 분류 또는 식별이 되지 않거나 애매한 경우(사용자인식데이터로서 적합하지 않은 경우), 사용자의 감정 상태를 명확하게 인식할 수 있도록 사용자의 얼굴표정, 음성, 모션 등의 반응을 다시 유도하도록 로봇(10)에게 지시할 수 있다. 예를 들어, 사용자의 얼굴표정에 대한 사용자인식데이터를 수집하였는데, 해당 인식데이터로 해당 사용자가 웃는 표정인지 우는 표정인지 화난 표정인지가 명확히 구분되지 않는 경우, 로봇(10)에게 해당 사용자가 얼굴표정을 다시 한번 지을 수 있도록 유도하라는 지시를 내릴 수 있다.
상기 반응데이터 수집 단계(S140)에서는 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터를 수집할 수 있다. 여기서, 사용자반응데이터는 로봇(10)이 어떠한 반응을 보였을 때, 그 반응에 대한 사용자 반응과 관련된 데이터를 의미할 수 있다. 이러한 사용자반응데이터는 암묵적 피드백 데이터와 명시적 피드백 데이터로 분류할 수 있다.
상기 암묵적 피드백 데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함할 수 있으며, 사용자의 얼굴표정, 음성 내용, 음성 톤, 눈의 시선 등의 피드백 데이터는 사용자 인식 센서부(11c)와 사용자 감지 센서부(11d)로부터 수집될 수 있으며, 사용자의 호흡량, 맥박 등의 피드백 데이터는 사용자가 착용하고 있는 웨어러블 디바이스 또는 휴대단말의 건강 어플리케이션과 연동하여 수집될 수 있다.
한편, 본 실시예의 로봇(10)이 소수의 특정 개인만이 사용하는 가정용 로봇인 경우에는, 해당 개인 사용자의 휴대단말에 설치된 SNS 어플리케이션 및 스케줄 어플리케이션을 통하여 해당 개인 사용자 계정으로 등록된 정보 및 일정 정보를 암묵적 피드백 데이터로서 추가 수집할 수 있다.
예를 들어, 개인 사용자가 금일 SNS 어플리케이션을 통해 감정을 나타내는 표현을 포함하는 글이나 이모티콘 등을 등록하거나, 일정 정보를 기반으로 해당 개인 사용자의 일정이 평소에 비해 바쁜 경우, 이러한 정보를 감안하여 즐거움, 슬픔, 바쁨, 피곤함 등 현재 개인 사용자의 상황이나 감정 상태를 파악하는데 참고할 수 있다. 이와 같이 추가되는 암묵적 피드백 데이터 또한 수치적인 값으로 변환되어 로봇반응데이터의 선택 또는 선택확률에 영향을 줄 수 있다.
상기 명시적 피드백 데이터는 긍정 또는 부정을 나타내며, 사용자로부터 직접적으로 입력받는 평가 값을 의미할 수 있다. 예를 들어, 사용자가 로봇(10)의 반응을 본 후 그 반응에 대하여 '좋아요' 및 '싫어요'라는 긍정과 부정을 각각 나타내는 선택 버튼을 터치 스크린(12e)을 통해 출력하여, 사용자로부터 둘 중 하나의 버튼 입력을 받음으로써 긍정 또는 부정에 대한 평가 값을 입력 받을 수 있다.
상기 기계 학습 단계(S150)에서는 사용자반응데이터로부터 로봇(10)에 대한 사용자(10)의 관심도(또는 집중도), 친밀도 및 긍정도를 분석하고, 로봇반응데이터의 선택확률을 조정할 수 있다. 이를 위해 기계 학습 단계(S150)는 관심도 및 친밀도 분석 단계(S151), 긍정도 분석부(S152), 분석결과 저장 단계(S153), 반응데이터 선택확률 조절 단계(S154) 및 반응데이터 설정 단계(S155) 중 적어도 하나를 포함할 수 있다.
상기 관심도 및 친밀도 분석 단계(S151)에서는 로봇반응데이터의 실행에 따른 사용자(1)의 반응시간, 로봇(10)과 사용자(1) 간의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇(1)에 대한 사용자의 관심도(또는 집중도)와 친밀도를 분석할 수 있다.
상기 관심도(또는 집중도)는 사용자(1)의 반응시간, 로봇(10)과 사용자(1) 간의 상호작용 누적시간 및 상호작용 누적횟수에 대한 기준치 테이블을 이용하여, 각각에 대한 수치로 산출될 수 있다.
상기 친밀도는 관심도(또는 집중도)의 수치 범위에 따라 가중치를 부여하고, 누적된 가중치에 따라 소정의 레벨로 산출될 수 있다. 또한, 친밀도는 관심도(또는 집중도)뿐만 아니라 긍정도 점수에 따라 그 레벨이 변경될 수 있다. 예를 들어, 어떠한 사용자반응데이터에 대한 친밀도는 해당 반응데이터에 대한 긍정도 점수가 소정의 단위씩 증감할 때마다 증감 정도에 따른 가중치를 부여하고, 누적된 가중치에 따라 해당 레벨이 변경될 수 있다.
상기 긍정도 분석 단계(S152)에서는 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 긍정도 점수를 로봇반응데이터에 라벨링(labeling)할 수 있다. 좀 더 구체적으로, 긍정도 분석 단계(S152)에서는 사용자반응데이터에 포함되는 사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선에 대한 정보가 긍정적인 요소를 포함하는지, 아니면 부정적인 요소를 포함하는지 판단하여, 사용자반응을 유도한 해당 로봇반응데이터 각각에 긍정도 점수를 매칭시켜 저장되도록 할 수 있다.
상기 분석결과 저장 단계(S153)에서는 관심도 및 친밀도에 대한 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장할 수 있다. 좀 더 구체적으로, 등록된 사용자인 경우 해당 등록 사용자 별로 관리되는 로봇반응 데이터베이스에 각각의 로봇반응데이터 별로 관심도와 친밀도에 대한 분석결과 값을 저장할 수 있으며, 관심도와 친밀도 레벨에 따라 사용자(1) 별 로봇(10)의 페르소나(persona)를 형성할 수 있다.
이때, 저장되는 로봇반응데이터에 긍정도 점수가 라벨링(labeling)되어 함께 저장될 수 있다. 또한, 미등록 사용자의 경우 관심도와 친밀도 레벨이 높은 로봇반응데이터를 공통 로봇 행동 모델로서 저장할 수 있다. 이러한 관심도 및 친밀도에 대한 분석결과는 로봇반응데이터의 선택확률을 조절하는데 이용될 수 있다.
상기 반응데이터 선택확률 조절 단계(S154)에서는 관심도 및 친밀도의 분석결과 값과 긍정도 점수에 따라 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절할 수 있다. 좀 더 구체적으로, 높은 관심도, 친밀도 및 긍정도를 갖는 로봇반응데이터에 대한 강도와 빈도를 높이고, 낮은 관심도, 친밀도 및 긍정도를 갖는 로봇반응데이터에 대한 강도와 빈도를 낮출 수 있다.
예를 들어, 사용자(1)와 로봇(10) 간의 상호작용이 지속적으로 이루어지며, 이러한 상호작용이 시간이 흐름에 지속적으로 진행됨 따라 가령, '즐거움'와 관련된 로봇반응에 대한 관심도, 친밀도 및 긍정도가 전체적으로 점차 증가하게 되면, '즐거움'에 대한 로봇의 표출 강도를 점차 높이고, 표출 빈도 또한 점차 증가시킬 수 있으며, 해당 로봇반응에 대한 선택확률이 점차 높아질 수 있다. 여기서, 로봇반응에 대한 선택확률을 높인다는 것은 사용자의 특정 상황과 감정 상태에 따라 특정한 로봇(1)의 반응이 선택될 확률이 높아진다는 것을 의미하며, 로봇반응에 대한 선택확률은 사용자(1)와 로봇(10) 간의 상호작용을 반복적으로 진행하는 과정에서 기계 학습을 통해 업데이트될 수 있다.
반면, '즐거움'에 대한 관심도, 친밀도 및 긍정도가 전체적으로 감소하게 되면, '즐거움'에 대한 로봇의 표출 강도를 점차 낮추고, 표출 빈도 또한 점차 감소시킬 수 있으며, 해당 로봇반응에 대한 선택확률이 점차 낮아질 수 있다. 여기서, 로봇반응에 대한 선택확률을 낮춘다는 것은 사용자의 특정 상황과 감정 상태에서 특정한 로봇(1)의 반응이 선택될 확률이 낮아진다는 것을 의미하며, 로봇반응에 대한 선택확률은 사용자(1)와 로봇(10) 간의 상호작용을 반복적으로 진행하는 과정에서 기계 학습을 통해 업데이트될 수 있다.
또한, 반응데이터 선택확률 조절 단계(S154)에서는 사용자(1)와 로봇(10) 간의 관심도와 친밀도 레벨이 미리 설정된 임계치 이상으로 유지되도록 각각의 로봇(10)의 반응에 대한 선택확률을 조정할 수도 있다. 즉, 사용자(1)와 로봇(10) 간의 상호작용 과정은 시간 축으로 관리되며 관심도와 친밀도 레벨이 임계치 이하인지를 모니터링한 후, 임계치 이하로 되는 경우 이전 로봇반응에 대한 실행 값 즉 표출 강도와 빈도 값을 낮춤으로써 해당 로봇반응에 대한 표출 강도와 빈도를 조절함으로써 로봇반응에 대한 표출 강도와 빈도를 임계치 이상으로 유지할 수 있다.
상기 반응데이터 설정 단계(S155)에서는 각각의 사용자반응데이터에 대하여 반응데이터 선택확률 조절 단계(S154)를 통해 선택확률이 조절된 로봇반응데이터를 설정할 수 있다. 즉, 어떠한 사용자반응데이터에 대하여 적어도 하나 이상의 로봇반응데이터가 설정되며, 다수의 로봇반응데이터에 대한 선택확률이 지속적으로 변경해나가면서, 사용자반응에 따라 가장 적절한 로봇반응이 선택되도록 데이터 설정이 이루어질 수 있다.
이상에서 설명한 것은 본 발명에 의한 로봇 서비스 학습 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 로봇 서비스 학습 시스템
110: 인식데이터 수집부
120: 사용자 식별부
130: 반응데이터 선택 지시부
140: 반응데이터 수집부
150: 기계 학습부
151: 관심도 및 친밀도 분석부
152: 긍정도 분석부
153: 분석결과 저장부
154: 반응데이터 선택확률 조절부
155: 반응데이터 설정부
S100: 로봇 서비스 학습 방법
S110: 인식데이터 수집 단계
S120: 사용자 식별 단계
S130: 반응데이터 선택 지시 단계
S140: 반응데이터 수집 단계
S150: 기계 학습 단계
S151: 관심도 및 친밀도 분석 단계
S152: 긍정도 분석 단계
S153: 분석결과 저장 단계
S154: 반응데이터 선택확률 조절 단계
S155: 반응데이터 설정 단계
1: 사용자
10: 로봇
11: 헤드부
11a: 헤드 디스플레이부;
11b: 헤드 구동부
11c: 사용자 인식 센서부
11d: 사용자 감지 센서부
12: 바디부
12a: 팔 구동부
12b: 허리 구동부
12c: 장애물 감지 센서부
12d: 이동부
12e: 터치 스크린
110: 인식데이터 수집부
120: 사용자 식별부
130: 반응데이터 선택 지시부
140: 반응데이터 수집부
150: 기계 학습부
151: 관심도 및 친밀도 분석부
152: 긍정도 분석부
153: 분석결과 저장부
154: 반응데이터 선택확률 조절부
155: 반응데이터 설정부
S100: 로봇 서비스 학습 방법
S110: 인식데이터 수집 단계
S120: 사용자 식별 단계
S130: 반응데이터 선택 지시 단계
S140: 반응데이터 수집 단계
S150: 기계 학습 단계
S151: 관심도 및 친밀도 분석 단계
S152: 긍정도 분석 단계
S153: 분석결과 저장 단계
S154: 반응데이터 선택확률 조절 단계
S155: 반응데이터 설정 단계
1: 사용자
10: 로봇
11: 헤드부
11a: 헤드 디스플레이부;
11b: 헤드 구동부
11c: 사용자 인식 센서부
11d: 사용자 감지 센서부
12: 바디부
12a: 팔 구동부
12b: 허리 구동부
12c: 장애물 감지 센서부
12d: 이동부
12e: 터치 스크린
Claims (12)
- 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집부;
로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시부;
상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 사용자의 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습부; 및
상기 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자 또는 미등록 사용자로 분류하여 인식하는 사용자 식별부를 포함하고,
상기 반응데이터 선택 지시부는,
상기 로봇반응 데이터베이스로부터 로봇반응데이터가 선택되도록 상기 사용자 식별부를 통해 현재 사용자인식데이터의 주체가 등록된 사용자인지 미등록 사용자인지를 식별하고, 식별 결과 등록된 사용자인 경우 개인 사용자 모델을 기반으로 해당 사용자의 상황과 감정에 따라 학습된 로봇반응데이터를 선택하고, 선택된 로봇반응데이터에 따른 행동이나 리액션의 실행을 지시하고, 미등록 사용자인 경우 공통 행동 모델을 기반으로 해당 사용자의 상황과 감정에 따른 공통된 로봇반응데이터를 선택하고, 선택된 로봇반응데이터에 따른 행동이나 리액션의 실행을 지시하고,
상기 기계 학습부는,
상기 로봇반응데이터의 실행에 따른 사용자의 반응시간, 로봇과 사용자 간의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇에 대한 사용자의 관심도와 친밀도를 분석하는 관심도 및 친밀도 분석부;
상기 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 상기 긍정도 점수를 상기 로봇반응데이터에 라벨링하는 긍정도 분석부;
상기 관심도 및 상기 친밀도의 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장하는 분석결과 저장부;
상기 관심도 및 상기 친밀도의 분석결과 값과 긍정도 점수에 따라 해당 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절하는 반응데이터 선택확률 조절부; 및
상기 사용자반응데이터에 대하여 상기 반응데이터 선택확률 조절부를 통해 선택확률이 조절된 로봇반응데이터를 각각 설정하는 반응데이터 설정부를 포함하고,
상기 반응데이터 선택확률 조절부는,
상기 로봇반응데이터에 대한 상기 관심도와 상기 친밀도의 분석결과 값 및 긍정도 점수가 높을수록 해당 로봇반응에 대한 표출 강도와 빈도를 점차 높이고, 상기 로봇반응데이터의 긍정도 점수가 낮을수록 해당 로봇반응의 표출 강도와 빈도를 점차 낮추는 것을 특징으로 하는 로봇 서비스 학습 시스템.
- 제1 항에 있어서,
상기 사용자인식데이터는,
사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함하고,
상기 사용자반응데이터는,
사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함하는 암묵적 피드백 데이터; 및
긍정 또는 부정을 나타내며 사용자로부터 직접 입력 받는 평가 값을 포함하는 명시적 피드백 데이터를 포함하는 것을 특징으로 하는 로봇 서비스 학습 시스템.
- 제1 항에 있어서,
상기 사용자반응데이터를 수집하는 반응데이터 수집부를 더 포함하는 것을 특징으로 하는 로봇 서비스 학습 시스템.
- 제1 항에 있어서,
상기 반응데이터 선택 지시부는,
상기 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 상기 사용자인식데이터가 상기 인식기준데이터에 속해 있지 않은 경우 상기 인식기준데이터에 속한 사용자 반응의 유도를 더 지시하는 것을 특징으로 하는 로봇 서비스 학습 시스템.
- 삭제
- 삭제
- 사용자의 감정을 나타내는 사용자인식데이터를 수집하는 인식데이터 수집 단계;
상기 인식데이터 수집 단계 이후, 상기 사용자인식데이터를 통해 사용자를 식별하여 등록 사용자 및 미등록 사용자를 분류하여 인식하는 사용자 식별 단계;
로봇반응 데이터베이스에서 상기 사용자인식데이터에 따른 로봇반응데이터를 선택하여 실행을 지시하는 반응데이터 선택 지시 단계; 및
상기 로봇반응데이터의 실행에 의한 사용자의 반응을 나타내는 사용자반응데이터로부터 로봇에 대한 관심도, 친밀도 및 긍정도를 분석하여 상기 로봇반응데이터의 선택확률을 조정하는 기계 학습 단계를 포함하고,
상기 반응데이터 선택 지시 단계는,
상기 로봇반응 데이터베이스로부터 로봇반응데이터가 선택되도록 상기 사용자 식별 단계를 통해 현재 사용자인식데이터의 주체가 등록된 사용자인지 미등록 사용자인지를 식별하고, 식별 결과 등록된 사용자인 경우 개인 사용자 모델을 기반으로 해당 사용자의 상황과 감정에 따라 학습된 로봇반응데이터를 선택하고, 선택된 로봇반응데이터에 따른 행동이나 리액션의 실행을 지시하고, 미등록 사용자인 경우 공통 행동 모델을 기반으로 해당 사용자의 상황과 감정에 따른 공통된 로봇반응데이터를 선택하고, 선택된 로봇반응데이터에 따른 행동이나 리액션의 실행을 지시하고,
상기 기계 학습 단계는,
상기 로봇반응데이터의 실행에 따른 사용자의 반응시간, 로봇과 사용자와의 상호작용 누적시간 및 상호작용 누적횟수를 기반으로 로봇에 대한 사용자의 관심도와 친밀도를 분석하는 관심도 및 친밀도 분석 단계;
상기 로봇반응데이터에 대하여 미리 설정된 긍정도 기준에 따라 긍정도 점수를 부여하고, 상기 긍정도 점수를 상기 로봇반응데이터에 라벨링하는 긍정도 분석 단계;
상기 관심도 및 상기 친밀도의 분석결과 값을 등록 사용자 및 미등록 사용자에 따라 분류하여 각각 저장하는 분석결과 저장 단계;
상기 관심도 및 상기 친밀도의 분석결과 값과 긍정도 점수에 따라 해당 로봇반응에 대한 표출 강도와 빈도를 조정하고, 해당 로봇반응의 선택확률을 조절하는 반응데이터 선택확률 조절 단계; 및
상기 사용자반응데이터에 대하여 상기 반응데이터 선택확률 조절 단계를 통해 선택확률이 조절된 로봇반응데이터를 각각 설정하는 반응데이터 설정 단계를 포함하고,
상기 반응데이터 선택확률 조절 단계는,
상기 로봇반응데이터에 대한 상기 관심도와 상기 친밀도의 분석결과 값 및 긍정도 점수가 높을수록 해당 로봇반응의 표출 강도와 빈도를 점차 높이고, 상기 로봇반응데이터의 긍정도 점수가 낮을수록 해당 로봇반응의 표출 강도와 빈도를 점차 낮추는 것을 특징으로 하는 로봇 서비스 학습 방법.
- 제7 항에 있어서,
상기 사용자인식데이터는 사용자의 얼굴표정, 음성 내용, 음성 톤, 모션을 중 적어도 하나를 포함하고,
상기 사용자반응데이터는,
사용자의 얼굴표정, 음성 내용, 음성 톤, 호흡량, 맥박, 눈의 시선 중 적어도 하나를 포함하는 암묵적 피드백 데이터; 및
긍정 또는 부정을 나타내며 사용자로부터 직접 입력 받는 평가 값을 포함하는 명시적 피드백 데이터를 포함하는 것을 특징으로 하는 로봇 서비스 학습 방법.
- 제7 항에 있어서,
상기 반응데이터 선택 지시 단계 이후, 상기 사용자반응데이터를 수집하는 반응데이터 수집 단계를 더 포함하는 것을 특징으로 하는 로봇 서비스 학습 방법.
- 제7 항에 있어서,
상기 반응데이터 선택 지시 단계는,
상기 사용자인식데이터를 미리 저장된 인식기준데이터와 비교하고, 상기 사용자인식데이터가 상기 인식기준데이터에 속해 있지 않은 경우 상기 인식기준데이터에 속한 사용자 반응의 유도를 더 지시하는 것을 특징으로 하는 로봇 서비스 학습 방법.
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170181329A KR102140292B1 (ko) | 2017-12-27 | 2017-12-27 | 로봇 서비스 학습 시스템 및 그 방법 |
| PCT/KR2017/015622 WO2019132063A1 (ko) | 2017-12-27 | 2017-12-28 | 로봇 서비스 학습 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170181329A KR102140292B1 (ko) | 2017-12-27 | 2017-12-27 | 로봇 서비스 학습 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190079255A KR20190079255A (ko) | 2019-07-05 |
| KR102140292B1 true KR102140292B1 (ko) | 2020-07-31 |
Family
ID=67063881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170181329A KR102140292B1 (ko) | 2017-12-27 | 2017-12-27 | 로봇 서비스 학습 시스템 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102140292B1 (ko) |
| WO (1) | WO2019132063A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023068536A1 (ko) * | 2021-10-21 | 2023-04-27 | 삼성전자주식회사 | 로봇 및 이의 제어 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102196490B1 (ko) * | 2020-05-06 | 2020-12-30 | 주식회사 서큘러스 | 인터렉션 로봇 및 사용자 정서 케어를 위한 인터렉션 방법 |
| US20220357721A1 (en) * | 2021-05-10 | 2022-11-10 | Bear Robotics, Inc. | Method, system, and non-transitory computer-readable recording medium for controlling a robot |
| KR102506563B1 (ko) | 2021-10-22 | 2023-03-08 | (주)인티그리트 | 자율 주행 기기를 이용한 사용자 맞춤 정보 제공 시스템 |
| KR102668933B1 (ko) * | 2023-08-10 | 2024-05-28 | (주)로보케어 | 맞춤형 서비스 제공 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101336641B1 (ko) * | 2012-02-14 | 2013-12-16 | (주) 퓨처로봇 | 감성 교감 로봇 서비스 시스템 및 그 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100429976B1 (ko) * | 2002-02-01 | 2004-05-03 | 엘지전자 주식회사 | 로봇의 행동학습방법 |
| KR100919095B1 (ko) * | 2008-01-18 | 2009-09-28 | 주식회사 케이티 | 사용자 자극행동에 따른 로봇 반응행동 수행 방법 및 그로봇 |
| KR101016381B1 (ko) | 2009-01-19 | 2011-02-21 | 한국과학기술원 | 사람과 상호작용이 가능한 감정 표현 로봇 |
| KR101239274B1 (ko) * | 2009-07-06 | 2013-03-06 | 한국전자통신연구원 | 상호작용성 로봇 |
| KR20130047276A (ko) | 2011-10-31 | 2013-05-08 | 주식회사 아이리버 | 로봇 상호 간의 감정표현방법 |
| KR101772583B1 (ko) * | 2012-12-13 | 2017-08-30 | 한국전자통신연구원 | 사용자 상호작용 서비스를 위한 로봇의 동작 방법 |
| JP6150429B2 (ja) * | 2013-09-27 | 2017-06-21 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 |
| KR101618512B1 (ko) * | 2015-05-06 | 2016-05-09 | 서울시립대학교 산학협력단 | 가우시안 혼합모델을 이용한 화자 인식 시스템 및 추가 학습 발화 선택 방법 |
-
2017
- 2017-12-27 KR KR1020170181329A patent/KR102140292B1/ko active IP Right Grant
- 2017-12-28 WO PCT/KR2017/015622 patent/WO2019132063A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101336641B1 (ko) * | 2012-02-14 | 2013-12-16 | (주) 퓨처로봇 | 감성 교감 로봇 서비스 시스템 및 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023068536A1 (ko) * | 2021-10-21 | 2023-04-27 | 삼성전자주식회사 | 로봇 및 이의 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019132063A1 (ko) | 2019-07-04 |
| KR20190079255A (ko) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102140292B1 (ko) | 로봇 서비스 학습 시스템 및 그 방법 | |
| US11384464B2 (en) | Washing machine | |
| JP6929366B2 (ja) | ドライバ監視及び応答システム | |
| JP6815486B2 (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
| US20200009739A1 (en) | Robot and method of recognizing mood using the same | |
| US8321221B2 (en) | Speech communication system and method, and robot apparatus | |
| Trick et al. | Multimodal uncertainty reduction for intention recognition in human-robot interaction | |
| KR20190099153A (ko) | 전자 장치 | |
| Zheng | A novel attention-based convolution neural network for human activity recognition | |
| KR20230023704A (ko) | 전자 장치 및 그의 제어 방법 | |
| KR20160072621A (ko) | 학습과 추론이 가능한 로봇 서비스 시스템 | |
| US11517500B2 (en) | Massage apparatus | |
| Matthies et al. | Reflexive interaction: Extending the concept of peripheral interaction | |
| KR102573023B1 (ko) | 수면 유도 장치 | |
| Kheratkar et al. | Gesture controlled home automation using CNN | |
| Botzheim et al. | Gestural and facial communication with smart phone based robot partner using emotional model | |
| US11548144B2 (en) | Robot and controlling method thereof | |
| Lombardi et al. | icub knows where you look: Exploiting social cues for interactive object detection learning | |
| US10733448B2 (en) | Machine learning of context data for social and contextual scene inferences | |
| US12011828B2 (en) | Method for controlling a plurality of robot effectors | |
| US20210142047A1 (en) | Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide | |
| Puehn et al. | Design of a low-cost social robot: Towards personalized human-robot interaction | |
| Otero et al. | Distribution and recognition of gestures in human-robot interaction | |
| Upadhya et al. | Study on IoT Embedded Wheelchair Module Using Eyeblinks | |
| Montero et al. | A decision-theoretic video conference system based on gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |