KR102553509B1 - 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법 - Google Patents

보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법 Download PDF

Info

Publication number
KR102553509B1
KR102553509B1 KR1020220142105A KR20220142105A KR102553509B1 KR 102553509 B1 KR102553509 B1 KR 102553509B1 KR 1020220142105 A KR1020220142105 A KR 1020220142105A KR 20220142105 A KR20220142105 A KR 20220142105A KR 102553509 B1 KR102553509 B1 KR 102553509B1
Authority
KR
South Korea
Prior art keywords
user
model
speech
contents
conversation
Prior art date
Application number
KR1020220142105A
Other languages
English (en)
Inventor
정민영
신사임
장진예
김산
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220142105A priority Critical patent/KR102553509B1/ko
Application granted granted Critical
Publication of KR102553509B1 publication Critical patent/KR102553509B1/ko
Priority to US18/384,105 priority patent/US11984138B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법이 제공된다. 본 발명의 실시예에 따른 사용자 모니터링 방법은, 사용자 발화를 입력 받아 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하고, 생성된 대화내용을 음성으로 변환하여 출력하며, 대화 중에 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하고, 모니터링 한다. 이에 의해, 보호가 필요한 사용자의 이상 징후를 전문가/보호자가 모니터링할 수 있도록 하되, 사용자의 행동/감정을 자연스러운 대화가 이루어지는 상황에서 모니터링 할 수 있게 된다.

Description

보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법{Method for monitoring emotion and behavior during conversations for user in need of protection}
본 발명은 인공지능 기술에 관한 것으로, 더욱 상세하게는 보호가 필요한 사용자에 대해 감정과 행동을 인식하여 기록함으로써 전문가나 보호자가 확인할 수 있도록 하는 모니터링 방법 및 시스템에 관한 것이다.
보호가 필요한 사용자, 이를 테면 정신적 또는 정서적으로 불안정한 환자에 대해서는 감정이나 행동을 지속적으로 모니터링하여 줄 필요가 있다. 감정/행동 모니터링은 의사 등의 전문가가 직접 대화하면서 하는 것이 가장 좋지만, 이는 진료 중에만 가능한 것으로 지속적으로 하는 것은 불가능하다.
이에 IT 장치들을 활용하여 보호가 필요한 사용자에 대한 감정과 행동을 모니터링하는 기술들이 제시된 바 있다. 하지만 이는 사용자를 관찰하는 것에 그치고 있다.
즉 사용자의 감정이나 행동 모니터링은 자연스러운 대화 과정에서 이루어져야 하는데 그렇지 못하다는 한계를 보이는 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 보호가 필요한 사용자에 대해 자연스러운 대화중에 발생하는 감정과 행동을 모니터링할 수 있는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 모니터링 방법은, 사용자 발화를 입력 받는 제1 입력단계; 입력되는 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계; 생성된 대화내용을 음성으로 변환하여 출력하는 단계; 제1 입력단계, 생성단계 및 출력단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및 인식되는 사용자의 감정을 모니터링 하는 제1 모니터링 단계;를 포함한다.
본 발명의 실시예에 따른 사용자 모니터링 방법은, 제1 입력단계, 생성단계 및 출력단계를 수행하는 중에, 사용자 영상을 입력받는 단계; 사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식하는 제2 인식단계; 및 인식되는 사용자의 행동을 모니터링 하는 제2 모니터링 단계;를 포함할 수 있다.
생성 단계는, 입력되는 사용자 발화 내용을 기반으로 대화 모델을 결정하는 단계; 및 결정된 대화 모델을 이용하여 대화내용을 생성하는 단계;를 포함할 수 있다.
결정 단계는, 사용자 발화 내용 및 발화 내용과 관련한 지식을 활용하여 대답을 생성하도록 학습된 인공지능 모델인 제1 대화 모델 및 사용자 발화 내용만을 활용하여 대답을 생성하도록 학습된 인공지능 모델인 제2 대화 모델 중 하나를 결정할 수 있다.
제1 인식단계 및 제2 인식단계는, 결정 단계에서 제2 대화 모델이 결정된 경우에만 수행될 수 있다.
결정단계는, 입력되는 사용자 발화 내용을 기초로 관련 지식들을 추출하는 단계; 추출된 관련 지식들 중 관련도가 가장 높은 하나를 추출하는 단계; 및 추출된 관련 지식의 관련도를 기초로 대화 모델을 선택하는 단계;를 포함할 수 있다.
선택 단계는, 추출된 관련 지식의 관련도가 기준값 이상이면, 제1 대화 모델을 선택하고, 추출된 관련 지식의 관련도가 기준값 미만이면, 제2 대화 모델을 선택할 수 있다.
본 발명의 실시예에 따른 사용자 모니터링 방법은, 제1 모니터링 결과와 제2 모니터링 결과를 표시하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 사용자 모니터링 방법은, 제1 모니터링 결과와 제2 모니터링 결과를 원격의 단말로 전송하는 단계;를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 사용자 모니터링 장치는, 사용자 발화를 입력 받는 입력부; 입력부를 통해 입력되는 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하고, 대화내용 생성 중에 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하며 인식되는 사용자의 감정을 모니터링 하는 프로세서; 및 프로세서에서 생성된 대화내용을 음성으로 변환하여 출력하는 출력부;를 포함한다.
본 발명의 또 다른 실시예에 따른 사용자 모니터링 방법은, 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계; 생성단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및 생성단계를 수행하는 중에, 사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식하는 제2 인식단계;를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에는, 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계; 생성단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및 생성단계를 수행하는 중에, 사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식하는 제2 인식단계;를 포함하는 것을 특징으로 하는 사용자 모니터링 방법을 수행할 수 있는 프로그램이 기록된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 보호가 필요한 사용자의 이상 징후(움직임 없음, 이상 행동, 이상 감정 등)를 전문가/보호자가 모니터링할 수 있도록 하되, 사용자의 행동/감정을 자연스러운 대화가 이루어지는 상황에서 모니터링 할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 사용자 감정/행동 모니터링 방법의 설명에 제공되는 흐름도, 그리고,
도 2는 본 발명의 다른 실시예에 따른 사용자 감정/행동 모니터링 장치의 구성을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 사용자 감정/행동 모니터링 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 사용자 감정/행동 모니터링 방법에서는 사용자와 자연스럽게 대화하는 중에 표출되는 감정과 행동을 모니터링 한다.
감정과 행동 모니터링 대상이 되는 사용자는 보호가 필요한 사용자일 수 있지만, 그렇지 않은 사용자를 모니터링하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
먼저 사용자와 자연스럽게 대화하기 위해, 사용자의 발화를 입력 받고(S110), 입력 받은 사용자 발화 음성을 인식하여 텍스트로 변환한다(S120). 다음 S110단계와 S120단계를 통해 획득한 사용자 발화 내용을 기초로, 대화 모델을 이용하여 대화내용을 생성하고(S130), 생성된 대화내용을 음성으로 변환하여 출력한다(S140).
대화 모델은 입력되는 사용자의 발화 내용을 분석하여 적절한 대화내용을 생성하도록 학습된 인공지능 모델로, 사용자 발화 내용이 입력되면 발화 내용에 응답하기 위한 대화내용을 출력하는 CNN, RNN 등으로 구성된 기공지된 구조의 뉴럴 네트워크로 구현가능하다. 대화 모델은 지도 학습을 포함한 기공지된 학습 방법을 통해 학습될 수 있다.
그리고 S110단계 내지 S140단계를 통해 대화 모델과 사용자 간에 대화가 이루어지는 중에, S110단계와 S120단계를 통해 획득한 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식한다(S150).
감정분석 모델은 입력되는 사용자 발화 내용을 분석하여 사용자의 감정 상태를 예측하도록 학습된 인공지능 모델로, 사용자 발화 내용이 입력되면 발화 내용으로부터 사용자의 감정을 인식하여 출력하는 CNN, RNN 등으로 구성된 기공지된 구조의 뉴럴 네트워크로 구현가능하다. 감정분석 모델은 지도 학습을 포함한 기공지된 학습 방법을 통해 학습될 수 있다.
한편 S110단계 내지 S140단계를 통해 대화 모델과 사용자 간에 대화가 이루어지는 중에, 카메라 촬영을 통해 생성되는 사용자 영상을 입력 받고(S160), 입력 받은 사용자 영상으로부터 신체 특징점을 추출한다(S170).
다음 S170단계에서 추출한 신체 특징점 정보를 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식한다(S180). 행동분석 모델은 입력되는 신체 특징점 정보를 분석하여 사용자의 행동을 예측하도록 학습된 인공지능 모델로, 사용자 영상이 입력되면 영상으로부터 사용자 행동의 종류를 인식하여 출력하는 CNN, RNN 등으로 구성된 기공지된 구조의 뉴럴 네트워크로 구현가능하다. 행동분석 모델은 지도 학습을 포함한 기공지된 학습 방법을 통해 학습될 수 있다.
이후 S150단계와 S180단계를 통해 인식되는 사용자의 감정과 행동을 시간순으로 기록하고, 일정 기간 동안 기록된 감정과 행동에 대해 모니터링한다(S190).
S190단계에서의 모니터링은, 1) 사용자의 감정과 행동을 화면에 표시, 2) 사용자의 감정과 행동을 원격에 있는 전문가나 보호자 단말로 전송, 3) 사용자의 감정과 행동에서 이상치를 감지하여, 알람을 출력하거나 원격 전송하는 프로세스들을 포함할 수 있다.
이하에서는 전술한 대화내용을 생성하는 S130단계에 대해 상세히 설명한다. 대화내용은 대화 모델을 이용하여 생성한다고 전술한 바 있다. 본 발명의 실시예에서 이용하는 대화 모델은 2가지이며 다음과 같다.
하나는 'S110단계과 S120단계를 통해 획득한 사용자 발화 내용'과 '발화 내용과 관련한 지식'을 활용하여, 대답을 생성하도록 학습된 인공지능 모델로, 이하에서 지식대화 모델로 표기한다. 지식대화 모델은 사용자 발화 내용 및 발화 내용과 관련한 지식이 입력되면 대답을 생성하여 출력하는 CNN, RNN 등으로 구성된 기공지된 구조의 뉴럴 네트워크로 구현가능하다. 지식대화 모델은 지도 학습을 포함한 기공지된 학습 방법을 통해 학습될 수 있다.
다른 하나는 '발화 내용과 관련한 지식'은 활용하지 않고, 'S110단계과 S120단계를 통해 획득한 사용자 발화 내용'만을 활용하여 대답을 생성하도록 학습된 인공지능 모델이다. 이 대화 모델은 사용자 발화에 공감하기 위한 대답을 생성하는 대화 모델로, 이하에서 공감대화 모델로 표기한다. 공감대화 모델은 사용자 발화 내용이 입력되면 대답을 생성하여 출력하는 CNN, RNN 등으로 구성된 기공지된 구조의 뉴럴 네트워크로 구현가능하다. 공감대화 모델은 지도 학습을 포함한 기공지된 학습 방법을 통해 학습될 수 있다. 공감대화 모델은 이를 테면 사용자의 발화에 짧고 빠르게 반응하는 대답인 맞장구를 생성할 수 있다.
발화 내용과 관련한 지식은 S110단계와 S120단계를 통해 획득한 사용자 발화 내용을 기초로 추출된다. 지식 추출은 기보유하고 있는 지식 DB, 웹 상에 구축된 지식 DB 등을 이용하여 수행될 수 있다.
제시된 2가지 대화 모델 중 대화내용을 생성할 대화 모델은 지식 추출 결과를 기반으로 선택되며, 구체적인 방법은 다음과 같다.
사용자 발화 내용을 기초로 발화 내용과 관련한 관련 지식들을 추출함에 있어서는, 지식들과 발화 내용 간의 관련도가 확률값으로 제시된다. 즉 관련도는 발화 내용과 지식 간의 관련 정도를 확률값으로 나타낸 것이다. 발화 내용과 지식 간의 관련도는 기공지된 방법으로 계산할 수 있다. 확률값이 클수록 사용자 발화 내용과 지식의 관련도가 높고, 반대로 확률값이 낮을수록 사용자 발화 내용과 지식의 관련도가 낮음을 의미한다.
이 관련도가 대화 모델 선택의 기준이 된다. 구체적으로는 사용자 발화 내용과 관련 있어 추출된 지식들의 관련도들 중 가장 높은 관련도가 대화 모델 선택의 기준이다.
이에 따라 추출된 지식들 중 관련도가 가장 높은 지식을 선정하고, 선정된 지식의 관련도와 기준값을 비교하는데, 비교 결과 관련도가 기준값 이상이면 지식대화 모델을 선택한다. 사용자 발화와 관련도가 높은 지식이 있기 때문에, 지식을 기반으로 사용자가 원하는 적절한 대답을 생성할 수 있기 때문이다.
반면 비교 결과 관련도가 기준값 미만이면 공감대화 모델을 선택한다. 사용자 발화와 관련도가 높은 지식이 없기 때문에, 지식을 기반으로 대답을 생성하는 경우 다소 엉뚱한 대답을 생성할 수 있기 때문이다.
한편 대화 모델 선택을 위해 지식의 관련도와 비교 대상이 되는 기준값은 이전 대화 모델 선택 결과를 기초로 가변되도록 구현할 수 있다. 이를 테면 이전 대화에서 지식대화 모델이 선택된 경우에는 기준값을 조금 낮추어 지식 대화 가능성이 높아지도록 하고, 반대로 이전 대화에서 공감대화 모델이 선택된 경우에는 기준값을 조금 높여 공감 대화 가능성이 높아지도록 하는 것이다.
통상적으로 사람의 대화 내용은 갑작스럽게 바뀌지 않는 경향을 보인다. 즉 지식대화를 시작하면 한동안 지식대화가 유지되며, 공감대화로 바뀌었으면 공감대화가 한동안 이어지는 경향이 있으므로, 이를 반영한 것이다.
한편, 사용자의 감정을 인식하는 S150단계와 사용자의 행동을 인식하는 S180단계 및 인식되는 사용자의 감정과 행동을 모니터링하는 S190단계는, 대화 모델로 공감대화 모델이 선택된 경우에만 수행되는 것으로 제한할 수 있다.
공감대화 모델에 의한 대화가 이루어지고 있는 경우에, 사용자의 내면 감정과 그에 따른 행동이 제대로 잘 표출될 수 있는 반면, 지식대화 모델에 의한 대화가 이루어지고 있는 경우에는 그렇지 않기 때문이다.
다른 방법도 가능하다. 이를 테면 공감대화 모델에 의해 대화가 이루어지는 경우와 지식대화 모델에 의해 대화가 이루어지고 있는 경우 모두에 감정과 행동에 대한 인식은 수행하되, 모니터링 시에는 전자에 가중치를 높게 부여하고 후자에는 가중치를 낮게 부여하고 이상 감정과 행동을 감지하는 것이다.
도 2는 본 발명의 다른 실시예에 따른 사용자 감정/행동 모니터링 장치의 구성을 도시한 도면이다.
본 발명의 실시예에 따른 사용자 감정/행동 모니터링 장치는 도시된 바와 같이, 마이크(210), 카메라(220), 통신부(230), 프로세서(240), 메모리(250), 스피커(260) 및 터치 스크린(270)을 포함하여 구성되는 스마트폰으로 구현할 수 있다. 하지만 스마트폰은 사용자 감정/행동 모니터링 장치를 구현할 수 있는 장치들 중 하나에 불과할 뿐이며, 이는 다른 장치로도 사용자 감정/행동 모니터링 장치를 구현할 수 있음을 의미한다.
마이크(210)는 사용자의 음성 발화를 입력 받기 위한 수단이고, 카메라(220)는 촬영을 통해 사용자 영상을 생성하기 위한 수단이다.
프로세서(240)는 마이크(210)를 통해 입력된 사용자 발화 내용을 기초로, 대화 모델을 이용하여 대화내용을 생성하는 한편, 감정분석 모델을 이용하여 사용자의 감정도 인식한다.
또한 프로세서(240)는 사용자 영상으로부터 신체 특징점을 추출하고, 추출한 신체 특징점 정보를 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식한다.
메모리(250)는 프로세서(240)에 의해 인식되는 사용자의 감정과 행동이 시간순으로 기록되는 저장매체이다. 스피커(260)는 프로세서(240)에 의해 생성된 대화내용을 음성으로 출력한다.
또한 프로세서(240)는 메모리(250)에 기록된 일정 기간 동안의 사용자 감정과 행동을 터치 스크린(270)에 표시할 수 있다. 그리고 프로세서(240)는 사용자 감정과 행동을 모니터링하고, 모니터링 결과를 터치 스크린(270)에 표시하거나 통신부(230)를 통해 원격의 전문가나 보호자 단말로 전송할 수 있다.
지금까지 보호가 필요한 사용자를 위한 대화 중 감정/행동 모니터링 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는 보호가 필요한 사용자의 이상 징후(움직임 없음, 이상 행동, 이상 감정 등)를 전문가/보호자가 모니터링할 수 있도록 하되, 사용자의 행동/감정은 자연스러운 대화가 이루어지는 상황에서 모니터링 되도록 하기 위한 방안을 제시하였다.
이에 따라 사용자가 전문가(의사 등)와 직접 대화할 수 없는 상황에서도, 일상 대화중에 발생하는 감정과 행동에 대한 수치 확인과 모니터링을 통한 상태 확인이 가능해진다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 마이크
220 : 카메라
230 : 통신부
240 : 프로세서
250 : 메모리
260 : 스피커
270 : 터치 스크린

Claims (12)

  1. 사용자 발화를 입력 받는 제1 입력단계;
    입력되는 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계;
    생성된 대화내용을 음성으로 변환하여 출력하는 단계;
    제1 입력단계, 생성단계 및 출력단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및
    인식되는 사용자의 감정을 모니터링 하는 제1 모니터링 단계;를 포함하고,
    대화 모델은,
    사용자 발화 내용이 입력되면 발화 내용에 응답하기 위한 대화내용을 생성하여 출력하는 뉴럴 네트워크이고,
    감정분석 모델은,
    사용자 발화 내용이 입력되면 발화 내용으로부터 사용자의 감정을 인식하여 출력하는 뉴럴 네트워크이며,
    생성 단계는,
    입력되는 사용자 발화 내용을 기반으로 제1 대화 모델 및 제2 대화 모델 중 하나를 결정하는 단계; 및
    결정된 대화 모델을 이용하여 대화내용을 생성하는 단계;를 포함하고,
    제1 대화 모델은,
    사용자 발화 내용 및 발화 내용과 관련한 지식을 입력받아 입력되는 사용자 발화 내용과 관련한 지식으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이고,
    제2 대화 모델은,
    사용자 발화 내용만을 입력받아, 입력되는 사용자 발화 내용으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이며,
    제1 인식단계는,
    결정 단계에서 제2 대화 모델이 결정된 경우에는 수행되지만,
    결정 단계에서 제1 대화 모델이 결정된 경우에는 수행되지 않는 것을 특징으로 하는 사용자 모니터링 방법.
  2. 청구항 1에 있어서,
    제1 입력단계, 생성단계 및 출력단계를 수행하는 중에, 사용자 영상을 입력받는 단계;
    사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자 행동의 종류를 인식하는 제2 인식단계; 및
    인식되는 사용자의 행동을 모니터링 하는 제2 모니터링 단계;를 포함하고,
    행동분석 모델은,
    사용자 영상이 입력되면 영상으로부터 사용자 행동의 종류를 인식하여 출력하는 뉴럴 네트워크인 것을 특징으로 하는 사용자 모니터링 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    결정단계는,
    입력되는 사용자 발화 내용과 관련된 지식들인 관련 지식들을 추출하는 단계;
    추출된 관련 지식들 중 사용자 발화 내용과 관련도가 가장 높은 하나를 추출하는 단계; 및
    추출된 관련 지식의 관련도를 기초로 대화 모델을 선택하는 단계;를 포함하고,
    관련도는,
    발화 내용과 지식 간의 관련 정도를 확률값으로 나타낸 것을 특징으로 하는 사용자 모니터링 방법.
  7. 청구항 6에 있어서,
    선택 단계는,
    추출된 관련 지식의 관련도가 기준값 이상이면, 제1 대화 모델을 선택하고,
    추출된 관련 지식의 관련도가 기준값 미만이면, 제2 대화 모델을 선택하는 것을 특징으로 하는 사용자 모니터링 방법.
  8. 청구항 2에 있어서,
    제1 모니터링 결과와 제2 모니터링 결과를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 모니터링 방법.
  9. 청구항 8에 있어서,
    제1 모니터링 결과와 제2 모니터링 결과를 원격의 단말로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 모니터링 방법.
  10. 사용자 발화를 입력 받는 입력부;
    입력부를 통해 입력되는 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하고, 대화내용 생성 중에 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하며 인식되는 사용자의 감정을 모니터링 하는 프로세서; 및
    프로세서에서 생성된 대화내용을 음성으로 변환하여 출력하는 출력부;를 포함하고,
    대화 모델은,
    사용자 발화 내용이 입력되면 발화 내용에 응답하기 위한 대화내용을 생성하여 출력하는 뉴럴 네트워크이고,
    감정분석 모델은,
    사용자 발화 내용이 입력되면 발화 내용으로부터 사용자의 감정을 인식하여 출력하는 뉴럴 네트워크이며,
    프로세서는,
    입력되는 사용자 발화 내용을 기반으로 제1 대화 모델 및 제2 대화 모델 중 하나를 결정하고, 결정된 대화 모델을 이용하여 대화내용을 생성하며,
    제1 대화 모델은,
    사용자 발화 내용 및 발화 내용과 관련한 지식을 입력받아 입력되는 사용자 발화 내용과 관련한 지식으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이고,
    제2 대화 모델은,
    사용자 발화 내용만을 입력받아, 입력되는 사용자 발화 내용으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이며,
    프로세서는,
    제2 대화 모델이 결정된 경우에는 사용자의 감정 인식 및 모니터링을 수행하지만,
    제1 대화 모델이 결정된 경우에는 사용자의 감정 인식 및 모니터링을 수행하지 않는 것을 특징으로 하는 사용자 모니터링 장치.
  11. 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계;
    생성단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및
    생성단계를 수행하는 중에, 사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식하는 제2 인식단계;를 포함하고,
    대화 모델은,
    사용자 발화 내용이 입력되면 발화 내용에 응답하기 위한 대화내용을 생성하여 출력하는 뉴럴 네트워크이고,
    감정분석 모델은,
    사용자 발화 내용이 입력되면 발화 내용으로부터 사용자의 감정을 인식하여 출력하는 뉴럴 네트워크이며,
    생성 단계는,
    입력되는 사용자 발화 내용을 기반으로 제1 대화 모델 및 제2 대화 모델 중 하나를 결정하는 단계; 및
    결정된 대화 모델을 이용하여 대화내용을 생성하는 단계;를 포함하고,
    제1 대화 모델은,
    사용자 발화 내용 및 발화 내용과 관련한 지식을 입력받아 입력되는 사용자 발화 내용과 관련한 지식으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이고,
    제2 대화 모델은,
    사용자 발화 내용만을 입력받아, 입력되는 사용자 발화 내용으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이며,
    제1 인식단계는,
    결정 단계에서 제2 대화 모델이 결정된 경우에는 수행되지만,
    결정 단계에서 제1 대화 모델이 결정된 경우에는 수행되지 않는 것을 특징으로 하는 사용자 모니터링 방법.
  12. 사용자 발화 내용을 기반으로 대화 모델을 이용하여 대화내용을 생성하는 단계;
    생성단계를 수행하는 중에, 사용자 발화 내용을 기반으로 감정분석 모델을 이용하여 사용자의 감정을 인식하는 제1 인식단계; 및
    생성단계를 수행하는 중에, 사용자 영상을 기반으로 행동분석 모델을 이용하여 사용자의 행동을 인식하는 제2 인식단계;를 포함하고,
    대화 모델은,
    사용자 발화 내용이 입력되면 발화 내용에 응답하기 위한 대화내용을 생성하여 출력하는 뉴럴 네트워크이고,
    감정분석 모델은,
    사용자 발화 내용이 입력되면 발화 내용으로부터 사용자의 감정을 인식하여 출력하는 뉴럴 네트워크이며,
    생성 단계는,
    입력되는 사용자 발화 내용을 기반으로 제1 대화 모델 및 제2 대화 모델 중 하나를 결정하는 단계; 및
    결정된 대화 모델을 이용하여 대화내용을 생성하는 단계;를 포함하고,
    제1 대화 모델은,
    사용자 발화 내용 및 발화 내용과 관련한 지식을 입력받아 입력되는 사용자 발화 내용과 관련한 지식으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이고,
    제2 대화 모델은,
    사용자 발화 내용만을 입력받아, 입력되는 사용자 발화 내용으로부터 대답을 생성하여 출력하는 뉴럴 네트워크이며,
    제1 인식단계는,
    결정 단계에서 제2 대화 모델이 결정된 경우에는 수행되지만,
    결정 단계에서 제1 대화 모델이 결정된 경우에는 수행되지 않는 것을 특징으로 하는 사용자 모니터링 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020220142105A 2022-10-31 2022-10-31 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법 KR102553509B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220142105A KR102553509B1 (ko) 2022-10-31 2022-10-31 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법
US18/384,105 US11984138B1 (en) 2022-10-31 2023-10-26 Method for monitoring emotion and behavior during conversation for user in need of protection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220142105A KR102553509B1 (ko) 2022-10-31 2022-10-31 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법

Publications (1)

Publication Number Publication Date
KR102553509B1 true KR102553509B1 (ko) 2023-07-10

Family

ID=87155894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220142105A KR102553509B1 (ko) 2022-10-31 2022-10-31 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법

Country Status (2)

Country Link
US (1) US11984138B1 (ko)
KR (1) KR102553509B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068021A (ko) * 2017-12-08 2019-06-18 전자부품연구원 감정 및 윤리 상태 모니터링 기반 사용자 적응형 대화 장치 및 이를 위한 방법
KR20210125367A (ko) * 2020-04-08 2021-10-18 주식회사 케이티 강화학습 기반의 음성 대화 서비스 제공 방법 및 장치
KR20220025332A (ko) * 2020-08-24 2022-03-03 한국전자기술연구원 감정 분석을 기초로 사용자와의 대화를 수행하기 위한 장치 및 이를 위한 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US11328711B2 (en) * 2019-07-05 2022-05-10 Korea Electronics Technology Institute User adaptive conversation apparatus and method based on monitoring of emotional and ethical states

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068021A (ko) * 2017-12-08 2019-06-18 전자부품연구원 감정 및 윤리 상태 모니터링 기반 사용자 적응형 대화 장치 및 이를 위한 방법
KR20210125367A (ko) * 2020-04-08 2021-10-18 주식회사 케이티 강화학습 기반의 음성 대화 서비스 제공 방법 및 장치
KR20220025332A (ko) * 2020-08-24 2022-03-03 한국전자기술연구원 감정 분석을 기초로 사용자와의 대화를 수행하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
US20240144955A1 (en) 2024-05-02
US11984138B1 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
US10685648B2 (en) Sensor fusion model to enhance machine conversational awareness
US11769492B2 (en) Voice conversation analysis method and apparatus using artificial intelligence
US11016729B2 (en) Sensor fusion service to enhance human computer interactions
US11226673B2 (en) Affective interaction systems, devices, and methods based on affective computing user interface
WO2020135194A1 (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
US11715485B2 (en) Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
US11776544B2 (en) Artificial intelligence apparatus for recognizing speech of user and method for the same
US11270565B2 (en) Electronic device and control method therefor
KR102276415B1 (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
US10620695B2 (en) Adaptive digital environments
EP3593229A1 (en) Electronic entity characteristics mirroring
KR20190105175A (ko) 전자 장치 및 이의 자연어 생성 방법
KR20180049791A (ko) 복수 개의 메시지들을 필터링하는 방법 및 이를 위한 장치
Churamani et al. Affect-driven modelling of robot personality for collaborative human-robot interactions
KR102553509B1 (ko) 보호가 필요한 사용자를 위한 대화 중 감정 및 행동 모니터링 방법
Valenti et al. Emotion expression in a socially assistive robot for persons with Parkinson's disease
CN116127006A (zh) 智能交互方法、语言能力分类模型训练方法及装置
WO2020087534A1 (en) Generating response in conversation
CN113569712B (zh) 信息交互方法、装置、设备以及存储介质
US20240021196A1 (en) Machine learning-based interactive conversation system
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム
US20240069858A1 (en) Machine learning-based interactive conversation system with topic-specific state machines
Lin et al. Nonverbal acoustic communication in human-computer interaction
JP7244390B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN112912954B (zh) 电子装置及其控制方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant