KR102613698B1 - 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 - Google Patents
사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 Download PDFInfo
- Publication number
- KR102613698B1 KR102613698B1 KR1020230099570A KR20230099570A KR102613698B1 KR 102613698 B1 KR102613698 B1 KR 102613698B1 KR 1020230099570 A KR1020230099570 A KR 1020230099570A KR 20230099570 A KR20230099570 A KR 20230099570A KR 102613698 B1 KR102613698 B1 KR 102613698B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- data
- user
- conversation
- segmentation grid
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 92
- 230000008451 emotion Effects 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 44
- 238000013524 data verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001483 mobilizing effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 명세서는 제1 디바이스, 제2 디바이스 및 서버로 구성된 시스템에 있어서, 제1 디바이스는 사용자 정보를 획득하여 서버로 전달하고, 제2 디바이스는 사용자로부터 대화 데이터를 획득하여 피드백 정보를 사용자에게 전달하고, 서버는 사용자에 의해 획득된 적어도 하나 이상의 대화 데이터를 제2 디바이스로부터 전달받고, 적어도 하나 이상의 대화 데이터를 데이터 전처리를 통해 적어도 하나의 텍스트 데이터로 변환하고, 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성하고, 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하고, 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 대화 데이터와 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증할 수 있다.
Description
본 명세서는 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법 및 장치에 대한 것이다. 구체적으로, 사용자 음성 데이터를 통해 대화 데이터를 생성하고, 대화 데이터를 기반으로 사용자 유형화를 수행하는 방법 및 장치에 대한 것이다.
과학의 발전 및 경제 성장으로 인하여, 사람들의 평균 수명은 점차적으로 증가되고 있다.
그러나, 높아진 평균수명과 함께 사회 구조의 노령화로 인해 고령 인구의 비율이 증가하고 있으며, 그 중에서도 독거노인의 비중이 급격히 증가하고 있는 추세로서, 가족들과 함께 살아가지 못하고 홀로 거주하고 있는 독거노인은 새로운 사회적 이슈로 부각되고 있다.
독거노인들은 대부분의 시간을 홀로 보내며, 갑작스런 건강 이상이나 문제가 발생하였을 때 대체하지 못할 수 있다. 이러한 독거노인에 대한 관리 및 감독 문제는 인력을 동원해서 해결하는데 한계가 존재하며, 이를 해결하기 위한 장치들이 필요할 수 있다. 구체적으로, 독거노인 가정을 위한 감지 센서, 카메라 및 그 밖의 장치를 통해 독거노인에 대한 관리 및 감독이 수행될 수 있다.
또한, 독거노인에 대한 수동적인 관리 및 감독뿐만 아니라 독거노인의 생활을 안정화하고, 안정감을 제공하는 방안으로 적극적인 관리 및 감독이 필요할 수 있으며, 하기에서는 상술한 점을 고려하여 돌보미 토이를 통해 서비스를 제공하는 방안에 대해 서술한다.
본 명세서는 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법 및 장치에 대한 것이다.
본 명세서는 사용자 음성 데이터를 기반으로 대화 데이터를 생성하는 방법 및 장치에 대한 것이다.
본 명세서는 대화 데이터를 전처리를 통해 텍스트 데이터로 변환하고, 대화 테마 정보 및 감정 분류 정보를 생성하여 세분화 그리드 매트릭스를 생성하는 방법 및 장치에 대한 것이다.
본 명세서의 일 실시예에 따라, 제1 디바이스, 제2 디바이스 및 서버로 구성된 시스템에 있어서, 제1 디바이스는 사용자 정보를 획득하여 서버로 전달하고, 제2 디바이스는 사용자로부터 대화 데이터를 획득하여 피드백 정보를 사용자에게 전달하고, 서버는 사용자에 의해 획득된 적어도 하나 이상의 대화 데이터를 제2 디바이스로부터 전달받고, 적어도 하나 이상의 대화 데이터를 데이터 전처리를 통해 적어도 하나의 텍스트 데이터로 변환하고, 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성하고, 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하고, 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 대화 데이터와 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법에 있어서, 제1 디바이스로부터 사용자 정보를 획득하고, 제2 디바이스를 통해 적어도 하나 이상의 대화 데이터를 획득하는 단계, 데이터 전처리를 통해 적어도 하나 이상의 대화 데이터를 적어도 하나 이상의 텍스트 데이터로 변환하는 단계, 적어도 하나의 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성하는 단계, 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하는 단계 및 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 대화 데이터와 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증하는 단계를 포함할 수 있다.
또한, 다음의 사항들은 공통으로 적용될 수 있다.
본 명세서의 일 실시예에 따라, 적어도 하나 이상의 대화 데이터에 대한 데이터 전처리를 통해 생성되는 텍스트 데이터는 단어 정보를 포함하고, 제1 디바이스로부터 획득된 사용자 정보 및 단어 정보에 기초하여 복수 개의 대화 부 테마 정보가 생성되고, 복수 개의 대화 부 테마 정보 통합을 통해 대화 테마 정보가 생성될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 적어도 하나 이상의 대화 데이터에 대한 데이터 전처리를 통해 감정 관련 정보가 생성되되, 감정 관련 정보는 소리 세기 정보, 소리 톤 정보 및 감정 정보 중 적어도 어느 하나를 포함하고, 감정 분류 정보는 단어 정보 및 감정 관련 정보를 통해 생성될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제2 디바이스는 사용자 영상 데이터, 사용자 로그 데이터 및 사용자 외부 데이터 중 적어도 어느 하나를 더 획득하고, 감정 분류 정보는 단어 정보 및 감정 관련 정보와 함께 획득된 데이터를 더 이용하여 생성될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 복수 개의 세분화 그리드 매트릭스가 생성되는 경우, 대화 테마 정보가 먼저 결정된 후 결정된 대화 테마 정보에 대응되는 감정 분류 정보가 결정되어 복수 개의 세분화 그리드 매트릭스 각각이 결정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 복수 개의 세분화 그리드 매트릭스 각각에 대한 각각의 참조 데이터가 생성되고, 제2 디바이스는 서버로부터 복수 개의 세분화 그리드 매트릭스 및 각각의 참조 데이터를 획득하고, 사용자로부터 획득한 로그 데이터를 각각의 참조 데이터와 비교하여 데이터 검증을 수행할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 서버는 제2 디바이스를 통해 획득되는 추가 대화 데이터에 기초하여 복수 개의 세분화 그리드 매트릭스를 확장하고, 복수 개의 세분화 그리드 매트릭스가 확장되는 경우, 확장 전 세분화 그리드 매트릭스와 확장된 세분화 그리드 매트릭스를 모두 확인하여 재배치할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제2 디바이스가 사용자로부터 적어도 하나 이상의 대화 데이터를 획득하는 경우, 제2 디바이스는 사용자로부터 메시지를 수신하고, 수신된 메시지에 기초하여 피드백 정보를 생성하여 사용자로 전달하는 절차를 수행하되, 절차가 반복 수행되어 적어도 하나 이상의 대화 데이터가 획득될 수 있다.
본 명세서는 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법을 제공하는 효과가 있다.
본 명세서는 사용자 음성 데이터를 기반으로 대화 데이터를 생성하는 방법을 제공하는 효과가 있다.
본 명세서는 대화 데이터를 전처리를 통해 텍스트 데이터로 변환하고, 대화 테마 정보 및 감정 분류 정보를 생성하여 세분화 그리드 매트릭스를 생성하는 방법을 제공하는 효과가 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 인공지능을 적용한 독거노인 지원 시스템을 설명하기 위한 참고도이다.
도 2는 본 발명에 따라 장치 구성을 나타낸 참고도이다.
도 3은 본 발명에 따라 사용자 대화 데이터를 통해 사용자 유형화를 수행하는 방법에 대한 참고도이다.
도 4a는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 4b는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 4c는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 5는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 추가 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 6은 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 확장하는 방법에 대한 참고도이다.
도 7은 본 발명에 따라 추가 데이터를 활용하여 세분화 그리드 매트릭스를 생성하는 방법에 대한 참고도이다.
도 8은 본 발명에 따라 적어도 하나의 대화 데이터를 생성하는 방법에 대한 참고도이다.
도 9는 본 발명에 따라 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법에 대한 순서도이다.
도 2는 본 발명에 따라 장치 구성을 나타낸 참고도이다.
도 3은 본 발명에 따라 사용자 대화 데이터를 통해 사용자 유형화를 수행하는 방법에 대한 참고도이다.
도 4a는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 4b는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 4c는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 5는 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 생성하고, 추가 대화 데이터를 매핑하는 방법에 대한 참고도이다.
도 6은 본 발명에 따라 사용자 대화 데이터를 통해 세분화 그리드 매트릭스를 확장하는 방법에 대한 참고도이다.
도 7은 본 발명에 따라 추가 데이터를 활용하여 세분화 그리드 매트릭스를 생성하는 방법에 대한 참고도이다.
도 8은 본 발명에 따라 적어도 하나의 대화 데이터를 생성하는 방법에 대한 참고도이다.
도 9는 본 발명에 따라 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법에 대한 순서도이다.
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1은 본 발명에 따른 독거노인 지원 시스템을 설명하기 위한 참고도이다. 도 1을 참조하면, 독거노인 지원 시스템은 적어도 하나의 돌보미 토이(101), 사용자 관리 서버(103), 참조 정보 서버(105) 및 사용자 장치(107)로 구성된다. 여기서, 사용자 장치(107)는 제1 디바이스일 수 있다. 일 예로, 제1 디바이스(107)는 독거노인을 관리하는 관리자(e.g. 복지시설의 관리사) 또는 제2 디바이스(101) 기반 서비스 제공 관리자(e.g. 제2 디바이스 서비스 담당자)가 소유한 장치일 수 있으나, 이에 한정되는 것은 아닐 수 있다. 일 예로, 제1 디바이스는 스마트폰, 스마트패드, PC 및 그 밖의 네트워크를 통해 다른 디바이스나 서버로 데이터를 송수신하는 장치일 수 있으며, 특정 형태로 한정되지 않는다. 하기에서는 설명의 편의를 위해 사용자 장치(107)를 제1 디바이스로 지칭하지만, 해당 명칭으로 한정되는 것은 아닐 수 있다.
또한, 돌보미 토이(101)는 기 설정된 정보에 따라 동작하는 디바이스이다. 일 예로, 돌보미 토이(101)는 제1 디바이스(107) 및 적어도 하나의 서버(103, 105)와 네트워크를 통해 통신을 수행하여 데이터 교환이 가능한 디바이스이다. 구체적으로, 돌보미 토이(101)는 복수 개의 기 설정 동작을 저장할 수 있으며, 제1 디바이스(107) 또는 적어도 하나의 서버(103, 105)로부터 명령 정보를 획득하여 동작하는 디바이스이다. 또한, 돌보미 토이(101)는 제1 디바이스(107)를 통해 사용자를 등록한다. 돌보미 토이(101)는 사용자의 상태 정보를 획득하고, 획득한 사용자의 상태 정보 혹은 사용자의 행동에 따라 피드백을 사용자에게 전달한다. 여기서, 돌보미 토이(101)는 인공지능을 구비하며 등록 사용자에 대한 사용자 상태 정보 및 사용자 행동 정보를 이용하여 학습을 수행한다. 돌보미 토이(101)는 사용자에 대한 데이터가 누적되면 인공지능에 기초하여 사용자 맞춤형 설정으로 보다 개인화된 설정을 통해 사용자와 감성적인 교감을 수행한다.
일 예로, 돌보미 토이(101)는 복수 개의 입력 모듈을 구비한다. 입력 모듈은 영상 인식 모듈(예, 카메라), 음성 인식 모듈(예, 스피커), 센서(예, 모션 감지 센서, 압력 감지 센서, 온도 감지 센서 등) 및 그 밖의 사용자의 데이터를 획득할 수 있는 모듈을 지칭할 수 있으며, 특정 형태로 한정되지 않는다. 여기서, 사용자 상태 정보는 입력 모듈을 통해 획득되는 입력 데이터로 측정된 사용자의 영상, 음성, 제스처 패턴, 체온, 심박수, 혈압, 악력 및 그 밖의 정보를 포함할 수 있다. 또한, 일 예로, 돌보미 토이(101)는 사용자의 인터렉션(interaction) 기반의 피드백 정보를 획득한다. 피드백 정보는 사용자가 미리 정의된 인지 명령어에 따른 인터렉션(interaction)을 수행하는지 여부를 모션 감지 센서를 이용하여 측정하거나, 음성 메시지를 사용자에게 알려주고 사용자가 재현할 수 있는지 여부를 측정한 결과를 포함한다.
이와 같이, 돌보미 토이(101)는 사용자와 밀착한 상태에서 사용자의 생체정보 및 정서상태에 관한 정보를 수집하는 기능을 수행할 수 있다. 따라서, 돌보미 토이(101)는 사용자의 상황 및 감정을 인지하고 교감하는 기능을 수행하는 것이므로, 사용자가 친숙함을 느낄 수 있는 봉제완구 형상을 가질 수 있다. 사용자와의 커뮤니케이션을 담당하는 돌보미 토이를 봉제완구 형태로 제작하게 되면, 감시형 모니터링 시스템이나 웨어러블 디바이스에 비해 사용자의 거부감을 완화시킬 수 있으며, 사용자로 하여금 항상 곁에 두고 싶은 마음을 불러일으킬 수 있다. 은둔형 독거노인의 경우 마음의 문을 닫고 사회와 접촉을 꺼리고 있으므로, 기존 기능적인 접근이 아닌 감성적 접근이 필요하기 때문일 수 있다. 일 예로, 하기에서는 돌보미 토이(101)를 제2 디바이스(101)로 지칭하지만, 이는 설명의 편의를 위한 명칭일 뿐 특정 형태로 한정되지 않는다.
또한, 사용자 관리 서버(103)는 제1 디바이스(107), 제2 디바이스(101) 및 참조 정보 서버(105) 중 적어도 어느 하나와 네트워크를 통해 데이터 교환을 수행한다. 사용자 관리 서버(103)는 제2 디바이스(101)로 명령 정보를 전달하거나 제2 디바이스(101)로부터 사용자 상태 정보를 획득하여 분석 정보를 제공할 수 있다. 또한, 사용자 관리 서버(103)는 제2 디바이스(101)를 재설정하거나 그 밖의 제어 동작을 수행하며, 특정 형태로 한정되지 않는다.
또한, 참조 정보 서버(105)는 미리 설정된 기준에 따라 저장된 외부 속성 정보를 사용자 관리 서버(103)로 송신하도록 구성될 수 있다. 여기서 미리 설정된 기준이란, 의료 데이터, 상태 카테고리 등 관리자에 의하여 미리 분류된 기준으로 정의될 수 있으며, 특정 형태로 한정되지 않는다.
도 2는 본 발명에 따라 장치 구성을 나타낸 참고도이다.
도 2는 장치 구성으로 장치(200)는 상술한 디바이스 및 서버 중 적어도 어느 하나에 대응된다. 즉, 각각의 디바이스와 서버는 장치이다. 도 2를 참조하면, 장치(200)는 제어부(201), 메모리(203) 및 송수신부(205)를 포함한다. 또한, 장치(200)는 그 밖의 다른 구성을 포함할 수 있으며, 특정 형태로 한정되지 않는다. 제어부(201)는 장치(200)에 포함된 각 구성을 제어하는 구성이다. 메모리(203)는 컴퓨터 기록매체로 비소멸성 저장장치 또는 소멸성 저장장치 중 적어도 어느 하나를 포함한다. 메모리(203)는 제어부(201)에 의해 구동되는 명령어가 저장되거나 장치(200)에서 동작하는 어플리케이션, 소프트웨어 및 그 밖의 프로그램이 기록된다. 즉, 제어부(201)는 메모리(203)에 저장된 정보에 기초하여 다른 디바이스 또는 서버와 서비스 제공을 위한 데이터 교환 동작을 수행한다.
구체적으로, 제어부(201)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하며, 메모리(201)에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성된다.
송수신부(205)는 네트워크를 통해 다른 디바이스 또는 서버와 데이터 교환을 수행하도록 하는 구성이며, 제어부(201)에 의해 제어된다. 일 예로, 송수신부(205)가 이용하는 네트워크 방식은 제한되지 않을 수 있으며, 유무선 통신 및 그 밖의 통신 방식이 적용된다. 일 예로, 무선 통신으로 LTE 및 5G나 와이파이 등이 이용된다. 또한 그 밖의 통신 방식이 적용될 수 있으며, 특정 형태로 한정되는 것은 아니다. 또한, 장치(200)는 GPS(Global Positioning System) 모듈, 카메라, 각종 센서 및 그 밖의 구성을 포함할 수 있으며, 이를 통해 데이터를 획득한다.
이하에서, 도면을 참조하여 본 명세서의 실시예들에 대하여 상세히 살펴본다.
도 3은 본 발명에 따라 사용자 대화 데이터를 통해 사용자 유형화를 수행하는 방법에 대한 참고도이다.
도 3을 참조하면, 사용자 관리 서버(103)는 제1 디바이스(107)로부터 사용자 정보를 획득한다. 제1 디바이스(107)는 독거노인을 관리하는 관리자(e.g. 복지시설의 관리사) 또는 제2 디바이스(101) 기반 서비스 제공 관리자(e.g. 제2 디바이스 서비스 담당자)가 소유한 디바이스로 스마트폰, 스마트 패드 및 PC 등일 수 있으며, 이는 상술한 바와 같다. 그 후, 사용자 관리 서버(103)는 제2 디바이스(101)로부터 적어도 하나 이상의 사용자의 대화 데이터를 획득한다. 여기서, 사용자는 독거노인일 수 있다. 여기서, 제1 디바이스 소유자(e.g. 복지시설의 관리사, 제2 디바이스 서비스 담당자)는 사용자(e.g. 독거노인)를 관리할 수 있다. 사용자 관리 서버(103)는 제1 디바이스(107)로부터 획득한 사용자 정보를 기반으로 사용자의 대화 데이터를 획득하여 저장한다. 즉, 사용자 관리 서버(103)는 사용자별로 대화 데이터를 획득하며, 사용자 관리 서버(103)에 등록된 복수의 사용자들을 관리한다. 그 후, 사용자 관리 서버(103)는 적어도 하나 이상의 대화 데이터에 대한 데이터 전처리를 수행하고, 대화 데이터를 텍스트 데이터로 변환한다. 여기서, 데이터 전처리는 품사 태깅 정보, 중의성 해소 정보, 개체명 인식 정보, 공동 참조 해결 정보 및 그 밖의 대화 데이터에서 고려될 수 있는 정보를 기반으로 수행된다. 또한, 데이터 전처리는 소리 세기 정보, 소리 톤 정보 및 감정 정보 중 적어도 어느 하나를 기반으로 수행된다.
그 후, 사용자 관리 서버(103)는 데이터 전처리에 기초하여 단어 정보 및 감정 관련 정보를 도출하고, 이에 기초하여 대화 테마 정보 및 감정 분류 정보를 생성한다. 여기서, 단어 정보는 제1 디바이스(107)로부터 획득한 사용자 정보가 반영되어 도출된다. 즉, 제1 디바이스(107)의 사용자 정보로 독거노인에 대한 정보가 반영되어 도출된다. 일 예로, 사용자 정보는 사용자 이름 정보, 사용자 언어 습관 정보, 사용자의 제2 디바이스 사용 정보 및 그 밖의 사용자 관련 정보가 포함된다. 보다 구체적인 일 예로, 사용자의 이름이나 사용자가 제2 디바이스에 부여한 이름 정보, 사용자의 말투 및 언어 습관 정보가 반영되어 단어 정보가 도출된다. 또한, 감정 관련 정보는 사용자의 음성 정보, 감정 정보 및 그 밖의 정보를 포함한다. 구체적인 일 예로, 사용자의 음성 정보를 기반으로 사용자의 평소 음성(또는 소리) 세기, 음성의 높낮이, 음성의 빠르기 및 그 밖의 정보를 통해 감정 관련 정보가 도출되지만 이는 하나의 일 예일 뿐, 이에 한정되지 않는다.
그 후, 사용자 관리 서버(103)는 사용자 정보와 단어 정보를 기반으로 복수 개의 대화 부 테마(subtheme) 정보를 생성하고, 복수 개의 대화 부 테마 정보를 통합하여 대화 테마 정보를 생성한다. 여기서, 부 테마는 사용자의 유의미한 특성 정보를 기반으로 대화 데이터에서 공통적인 속성들을 기반으로 도출된다. 그 후, 부 테마를 기반으로 분류된 범주화 결과에 대한 분석과 통합을 통해 대화 테마 정보가 생성된다. 사용자 관리 서버(103)는 대화 테마 정보를 생성한 후 감정 분류 정보를 생성한다. 감정 분류 정보는 감정 관련 정보를 기반으로 "강한 긍정, 긍정, 중립, 부정, 강한 부정"의 감정으로 분류되지만, 이는 하나의 일 예일 뿐 다른 분류도 가능할 수 있다. 그 후, 사용자 관리 서버(103)는 대화 테마 정보 및 감정 분류 정보를 기반으로 세분화 그리드 매트릭스를 생성하고, 각 세분화 그리드 매트릭스 대화 특성을 정의하여 범주화한다.
구체적인 일 예로, 하기 표 1 및 도 4a 내지 도 4c는 상술한 바에 기초하여 사용자 관리 서버(103)에 의해 생성되는 세분화 그리드 매트릭스 범주, 대화 테마, 감정 분류 및 부테마에 대한 예시일 수 있다. 일 예로, 대화 데이터에서 공통적인 특징을 기반으로 대화 상대(제2 디바이스)에 대한 복수 개의 부 테마들이 생성된다. 그 후, 부 테마들에 대한 공통 테마로 대화 상대(제2 디바이스)에 대한 대화 테마 정보가 생성되고, 이에 대응되는 감정 분류 정보가 생성된다. 그 후, 도 4a를 참조하면, 대화 테마 정보와 감정 분류 정보를 기반으로 세분화 그리드 매트릭스(401)가 생성되고, 생성된 세분화 그리드 매트릭스에 대한 범주화가 수행된다.
| 범주 | 대화 테마 | 감정 분류 | 부 테마 |
| RP(효돌-긍정) (844) |
효돌 (제2 디바이스) |
긍정 |
- 효돌 관점에 대한 존중 보여주기(561) - 효돌 감정에 관심 보여주기(211) - 효돌에게 미안함 느끼기(72) |
| SP(자신-긍정) (544) |
자신 |
긍정 |
- 건강한 컨디션으로 인한 기쁨 표현하기(296) - 하루 일과를 보낸 후 긍정적인 감정 표현하기(185) - 하루 일과 계획 공유와 긍정적 하루 다짐하기(63) |
또한, 도 4b 및 도 4c를 참조하면, 복수 개의 대화 데이터를 기반으로 생성되는 부 테마에 기초하여 다른 대화 테마 정보(ex, 타인, 자신)가 더 생성된다. 또한, 다른 대화 테마 정보 각각에 대응되는 감정 분류 정보가 생성되고, 이에 기초하여 세분화 그리드 매트릭스(403, 405)가 생성되고, 생성된 세분화 그리드 매트릭스에 대한 범주화가 수행된다. 일 예로, 도 4b에서 대화 테마는 타인이고, 감정 분류는 중립으로 이에 대한 세분화 그리드 매트릭스(403)가 생성된다. 또한, 도 4c에서 대화 테마는 자신이고, 감정 분류는 강한 부정으로 이에 대한 세분화 그리드 매트릭스(405)가 생성된다.
사용자 관리 서버(103)는 상술한 바를 통해 세분화 그리드 매트릭스를 생성하고, 각 세분화 그리드 매트릭스의 특성에 따라 범주화를 수행한다. 여기서, 도 5를 참조하면, 사용자 관리 서버(103)는 복수의 대화 데이터들을 기반으로 각각의 대화 테마와 감정 분류를 기반으로 세분화 그리드 매트릭스를 구축한다. 여기서, 제2 디바이스(101)에 의해 추가 대화 데이터가 수집되는 경우, 추가 대화 데이터에 대한 분석을 통해 대응되는 세분화 그리드 매트릭스에 매핑할 수 있다. 일 예로, 추가 대화 데이터가 세분화 그리드 매트릭스에 매핑될수록 대응되는 세분화 그리드 매트릭스의 점수가 높아진다. 즉, 생성되는 다수의 대화 데이터 각각이 각각의 세분화 그리드 매트릭스에 매핑되고, 대화 데이터가 많이 매핑된 세분화 그리드 매트릭스에 높은 점수가 부여되도록 한다. 이를 통해, 사용자의 대화 데이터 중 가장 많이 매핑되어 가장 높은 점수가 부여된 세분화 그리드 매트릭스를 통해 사용자 성향 정보를 도출한다. 또 다른 일 예로, 세분화 그리드 매트릭스 각각에 대한 점수 분포를 기반으로 사용자가 자신이나 대화 상대 또는 타인에게 어떤 성향을 갖는지 여부 등이 분석될 수 있으며, 점수 분포를 토대로 사용자 성향 정보가 도출된다.
또 다른 일 예로, 사용자 관리 서버(103)는 세분화 그리드 매트릭스 점수 분포 변화를 통해 사용자에게 발생하는 이슈 정보를 도출한다. 구체적인 일 예로, 최근 일정 기간 동안 자신-강한 긍정에 대응되는 세분화 그리드 매트릭스 점수가 우상향하는 경우, 사용자 관리 서버(103)는 사용자가 긍정적인 활동을 기반으로 생활하고 있음을 판단할 수 있다. 다만, 이는 하나의 일 예일 뿐, 이에 한정되는 것은 아니다.
또 다른 일 예로, 사용자 관리 서버(103)는 추가로 수집된 대화 데이터를 기반으로 스스로 학습을 수행하고, 세분화 그리드 매트릭스를 확장할 수 있다. 일 예로, 도 6을 참조하면, 도 5 대비 여행(607) 및 기타(609) 대화 테마가 추가될 수 있다. 다만, 이는 설명의 편의를 위한 하나의 일 예일 뿐, 이에 한정되는 것은 아니다.
도 6을 참조하면, 사용자 관리 서버(103)는 제2 디바이스(101)로부터 획득되는 대화 데이터를 구축된 세분화 그리드 매트릭스에 매핑하지만 매핑되지 않는 대화 데이터가 발생할 수 있다. 구체적인 일 예로, 여행(607) 테마와 관련된 대화 데이터가 지속적으로 생성되지만, 이에 대응되는 매핑이 존재하지 않을 수 있다. 따라서, 사용자 관리 서버(103)는 수집 데이터 중 반복적으로 언급되는 키워도 또는 테마를 기준으로 새로운 대화 테마를 생성하여 분류한다. 일 예로, 사용자 관리 서버(103)는 기 설정된 수 이상으로 언급되는 키워드 또는 테마가 존재하면 자동으로 새로운 대화 테마를 생성한다. 여기서, 사용자 관리 서버(103)는 새롭게 추가된 테마를 기반으로 세분화 그리드 매트릭스가 변화되면 기존 대화 데이터에 대한 재분석을 수행하고, 재배치를 수행한다. 구체적인 일 예로, 대화 데이터로 "여행" 키워드가 반복적으로 언급되어 여행에 대한 대화 테마가 추가되는 경우를 고려할 수 있다. 여기서, "여행"이라는 대화 테마가 생성되기 전 "나혼자 여행" , "여행 중 자기 자랑" , "여행 중 나의 상태"와 같은 부 테마들은 "여행"에 대한 대화 테마가 없으므로 자신에 대응되는 대화 테마에 매핑될 수 있다. 다만, 상술한 부 테마나 대화 데이터들은 "여행" 대화 테마에 더 매핑될 수 있으므로 기존 매핑 데이터를 재분석하여 새롭게 매핑을 수행한다. 다만, 이는 설명의 편의를 위한 하나의 일 예일 뿐, 이에 한정되지 않는다.
또한, 사용자 관리 서버(103)는 세분화 그리드 매트릭스에 분류 및 매핑된 대화 데이터를 사용자의 로그 데이터와 비교하여 교차 분석을 수행한다. 일 예로, 대화상대(제2 디바이스)-긍정에 대응되는 세분화 그리드 매트릭스에 대화 데이터 매핑이 증가하는 경우(즉, 세분화 그리드 매트릭스 점수가 높아지는 경우)에는 사용자와 제2 디바이스(101)의 스킨십(ex, 쓰다듬기 횟수)이 증가할 것이며, 이러한 사용자 로그 정보를 기반으로 새분화 그리드 매트릭스에 대한 데이터 검증이 수행된다. 즉, 대화 테마 및 감정 분류가 실제 사용자의 현재 상태를 반영하고 있는지 여부가 사용자 로그 데이터를 기반으로 분석되어 교차 검증된다.
또한, 일 예로, 사용자 관리 서버(103)는 복수의 사용자 각각에 대해서 세분화 그리드 매트릭스를 구축하고, 이를 통해 복수의 사용자 각각에 대한 성향 정보, 기분 정보 및 이슈 정보를 지속적으로 모니터링할 수 있다. 즉, 사용자 관리 서버(103)는 구축된 세분화 그리드 매트릭스를 기반으로 사용자 돌봄 정보를 생성한다. 일 예로, 사용자 돌봄 정보는 돌봄 관리자나 외부로 전달될 수 있으며, 이에 대해 사용자(독거노인)에 대한 관리가 수행된다.
또 다른 일 예로, 도 7은 추가 데이터를 활용하여 세분화 그리드 매트릭스를 생성하는 방법을 나타낸 도면이다. 사용자 관리 서버(103)는 제2 디바이스(101)를 통해 획득되는 대화 데이터를 기반으로 세분화 그리드 매트릭스를 구축하며, 이는 상술한 바와 같다. 여기서, 세분화 그리드 매트릭스는 사용자 대화 데이터만으로 구축되는데 한계가 존재할 수 있다. 일 예로, 세분화 그리드 매트릭스의 정확도를 높이기 위해서 추가 데이터가 더 활용될 수 있다. 도 7을 참조하면, 제2 디바이스(101)는 사용자(701)로부터 대화 데이터(703)를 획득한다. 여기서, 대화 데이터(703)는 상술한 도 3 내지 도 6 중 적어도 하나에서 제2 디바이스(101)를 통해 획득되는 대화 데이터를 지칭할 수 있으며, 도 7에서 대화 데이터(703)를 기준으로 관련 내용에 대해 서술한다. 또한, 제2 디바이스(101)는 다른 입력 모듈에 기초하여 추가 데이터를 더 획득한다. 일 예로, 제2 디바이스(101)는 카메라를 통해 영상 또는 이미지 데이터(705)나 센서를 통해 사용자의 센싱 데이터(707)를 더 획득할 수 있다. 또 다른 일 예로, 사용자 관리 서버(103)는 외부 서버나 다른 기관으로부터 사용자에 대한 정보로 외부 데이터(709)를 더 획득할 수 있으나, 이에 한정되지 않는다.
사용자 관리 서버(103)는 대화 데이터를 기반으로 세분화 그리드 매트릭스를 생성하지만 상술한 정보들이 더 반영될 수 있다. 일 예로, 사용자 관리 서버(103)는 높은 톤의 사용자 음성 정보를 기반으로 사용자의 감정 분류를 부정으로 판단할 수 있으나, 영상 데이터(705)를 통해 획득되는 사용자의 표정 정보나 외부 데이터(709)로 사용자의 기존 억양이나 음성 톤 정보를 반영하여 사용자의 감정 분류가 부정이 아닌 긍정인 형태로 분류할 수 있으며, 이를 통해 세분화 그리드 분류 정확도를 높일 수 있다.
또 다른 일 예로, 대화 데이터는 제2 디바이스(101)와 사용자 상호 간의 대화 흐름을 기반으로 생성되는 데이터이다. 일 예로, 도 8을 참조하면, 제2 디바이스(101)와 사용자(801) 상호 간의 대화가 수행되고, 이에 따라 대화 데이터가 생성된다. 보다 구체적으로, 대화 데이터는 사용자(801)가 제공하는 메시지(e.g. 제1 메시지, 제2 메시지??)와 각각의 메시지에 대응되는 피드백(e.g. 제1 피드백, 제2 피드백??)을 통해 생성되는 데이터이다. 즉, 사용자(801)가 메시지를 제공하면 이에 대응되는 피드백이 제2 디바이스(101)에서 생성되어 사용자(801)에게 제공되는 과정이 반복되어 대화 데이터가 생성된다. 상술한 바를 통해 생성된 대화 데이터가 생성된 후 생성된 대화 데이터는 제2 디바이스(101)에서 사용자 관리 서버(103)로 전달된다. 제2 디바이스(101)는 도 8에 기초하여 생성되는 대화 데이터를 적어도 하나 이상 생성하고, 적어도 하나 이상의 대화 데이터를 사용자 관리 서버(103)로 전달하며, 이는 상술한 도 3과 같다.
도 9는 본 발명에 따라 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법에 대한 순서도이다.
도 9를 참조하면, 사용자 관리 서버는 제1 디바이스로부터 사용자 정보를 획득하고, 제2 디바이스로부터 대화 데이터를 획득한다(S910) 그 후, 사용자 관리 서버는 적어도 하나 이상의 대화 데이터를 데이터 전처리를 통해 적어도 하나의 텍스트 데이터로 변환하고(S920), 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성한다.(S930) 여기서, 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하고(S940), 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 대화 데이터와 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증한다.(S950) 일 예로, 적어도 하나 이상의 대화 데이터에 대한 데이터 전처리를 통해 생성되는 텍스트 데이터는 단어 정보를 포함한다. 여기서, 제1 디바이스로부터 획득된 사용자 정보 및 단어 정보에 기초하여 복수 개의 대화 부 테마 정보가 생성되고, 복수 개의 대화 부 테마 정보 통합을 통해 대화 테마 정보가 생성되며, 이는 상술한 바와 같다.
또한, 적어도 하나 이상의 대화 데이터에 대한 데이터 전처리를 통해 감정 관련 정보가 생성된다. 여기서, 감정 관련 정보는 소리 세기 정보, 소리 톤 정보 및 감정 정보 중 적어도 어느 하나를 포함하고, 감정 분류 정보는 단어 정보 및 감정 관련 정보를 통해 생성된다. 또한, 일 예로, 제2 디바이스는 사용자 영상 데이터, 사용자 로그 데이터 및 사용자 외부 데이터 중 적어도 어느 하나를 더 획득한다. 또한, 감정 분류 정보는 단어 정보 및 감정 관련 정보와 함께 획득된 데이터를 더 이용하여 생성될 수 있으며, 이는 상술한 바와 같다.
또한, 복수 개의 세분화 그리드 매트릭스가 생성되는 경우, 대화 테마 정보가 먼저 결정된 후 결정된 대화 테마 정보에 대응되는 감정 분류 정보가 결정되어 복수 개의 세분화 그리드 매트릭스 각각이 결정될 수 있다. 또한, 사용자 관리 서버는 제2 디바이스를 통해 획득되는 추가 대화 데이터에 기초하여 복수 개의 세분화 그리드 매트릭스를 확장하고, 복수 개의 세분화 그리드 매트릭스가 확장되는 경우, 확장 전 세분화 그리드 매트릭스와 확장된 세분화 그리드 매트릭스를 모두 확인하여 재배치할 수 있으며, 이는 상술한 바와 같다.
또한, 제2 디바이스가 사용자로부터 적어도 하나 이상의 대화 데이터를 획득하는 경우, 제2 디바이스는 사용자로부터 메시지를 수신하고, 수신된 메시지에 기초하여 피드백 정보를 생성하여 사용자로 전달하는 절차를 수행할 수 있으며, 상술한 절차가 반복 수행되어 대화 데이터가 획득될 수 있으며, 이는 상술한 바와 같다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시형태에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 형태를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
200 : 장치
201 : 장치의 제어부
203 : 장치의 메모리
205 : 장치의 송수신부
201 : 장치의 제어부
203 : 장치의 메모리
205 : 장치의 송수신부
Claims (9)
- 제1 디바이스, 제2 디바이스 및 서버로 구성된 시스템에 있어서,
상기 제1 디바이스는 사용자 정보를 획득하여 상기 서버로 전달하고,
상기 제2 디바이스는 사용자로부터 대화 데이터를 획득하여 피드백 정보를 상기 사용자에게 전달하고,
상기 서버는,
상기 사용자에 의해 획득된 적어도 하나 이상의 상기 대화 데이터를 상기 제2 디바이스로부터 전달받고,
적어도 하나 이상의 상기 대화 데이터를 데이터 전처리를 통해 단어 정보를 포함하는 적어도 하나의 텍스트 데이터로 변환하고,
상기 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성하고,
상기 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 상기 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하고,
상기 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 상기 대화 데이터와 상기 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증하며,
상기 대화 테마 정보는,
상기 사용자 정보 및 상기 단어 정보에 기초하여 복수 개의 대화 부 테마 정보가 생성되고, 상기 복수 개의 대화 부 테마 정보 통합을 통하여 생성되며,
상기 감정 분류 정보는,
상기 단어 정보, 감정 관련 정보를 통해 생성되며,
상기 감정 관련 정보는,
적어도 하나 이상의 상기 대화 데이터에 대한 상기 데이터 전처리를 통해 생성되되, 상기 감정 관련 정보는 소리 세기 정보, 소리 톤 정보 및 감정 정보 중 적어도 어느 하나를 포함하며,
상기 복수 개의 세분화 그리드 매트릭스가 생성되는 경우, 상기 대화 테마 정보가 먼저 결정된 후 상기 결정된 대화 테마 정보에 대응되는 상기 감정 분류 정보가 결정되어 상기 복수 개의 세분화 그리드 매트릭스 각각이 결정되는, 시스템.
- 삭제
- 삭제
- 제1 항에 있어서,
상기 제2 디바이스는 사용자 영상 데이터, 사용자 로그 데이터 및 사용자 외부 데이터 중 적어도 어느 하나를 더 획득하고,
상기 감정 분류 정보는 상기 단어 정보 및 상기 감정 관련 정보와 함께 상기 획득된 데이터를 더 이용하여 생성되는, 시스템.
- 삭제
- 제1 항에 있어서,
상기 복수 개의 세분화 그리드 매트릭스 각각에 대한 각각의 참조 데이터가 생성되고,
상기 제2 디바이스는 상기 서버로부터 상기 복수 개의 세분화 그리드 매트릭스 및 상기 각각의 참조 데이터를 획득하고, 상기 사용자로부터 획득한 상기 로그 데이터를 상기 각각의 참조 데이터와 비교하여 상기 데이터 검증을 수행하는, 시스템.
- 제1 항에 있어서,
상기 서버는 상기 제2 디바이스를 통해 획득되는 추가 대화 데이터에 기초하여 상기 복수 개의 세분화 그리드 매트릭스를 확장하고,
상기 복수 개의 세분화 그리드 매트릭스가 확장되는 경우, 확장 전 세분화 그리드 매트릭스와 확장된 세분화 그리드 매트릭스를 모두 확인하여 재배치하는, 시스템.
- 제1 항에 있어서,
상기 제2 디바이스가 상기 사용자로부터 적어도 하나 이상의 상기 대화 데이터를 획득하는 경우,
상기 제2 디바이스는 상기 사용자로부터 메시지를 수신하고, 상기 수신된 메시지에 기초하여 피드백 정보를 생성하여 상기 사용자로 전달하는 절차를 수행하되,
상기 절차가 반복 수행되어 적어도 하나 이상의 상기 대화 데이터가 획득되는, 시스템.
- 사용자 관리 서버에서, 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는 방법에 있어서,
송수신부;
메모리; 및
상기 송수신부 및 상기 메모리를 제어하는 제어부를 포함하며,
상기 송수신부를 통하여, 제1 디바이스로부터 사용자 정보를 획득하고, 제2 디바이스를 통해 적어도 하나 이상의 대화 데이터를 획득하는 단계;
상기 제어부를 통하여, 데이터 전처리를 통해 적어도 하나 이상의 상기 대화 데이터를 단어 정보를 포함하는 적어도 하나 이상의 텍스트 데이터로 변환하는 단계;
상기 제어부를 통하여, 적어도 하나의 상기 텍스트 데이터를 통해 대화 테마 정보 및 감정 분류 정보를 획득하여 복수 개의 세분화 그리드 매트릭스를 생성하는 단계;
상기 제어부를 통하여, 상기 복수 개의 세분화 그리드 매트릭스 내에서 적어도 하나 이상의 상기 대화 데이터 각각을 대응되는 각각의 세분화 그리드 매트릭스에 매핑하는 단계; 및
상기 제어부를 통하여, 상기 복수 개의 세분화 그리드 매트릭스 각각에 매핑된 상기 대화 데이터와 상기 제2 디바이스로부터 획득된 로그 데이터의 교차 분석을 통해 데이터를 검증하는 단계를 포함하고,
상기 대화 테마 정보는,
상기 사용자 정보 및 상기 단어 정보에 기초하여 복수 개의 대화 부 테마 정보가 생성되고, 상기 복수 개의 대화 부 테마 정보 통합을 통하여 생성되며,
상기 감정 분류 정보는,
상기 단어 정보, 감정 관련 정보를 통해 생성되며,
상기 감정 관련 정보는,
적어도 하나 이상의 상기 대화 데이터에 대한 상기 데이터 전처리를 통해 생성되되, 상기 감정 관련 정보는 소리 세기 정보, 소리 톤 정보 및 감정 정보 중 적어도 어느 하나를 포함하며,
상기 복수 개의 세분화 그리드 매트릭스가 생성되는 경우, 상기 대화 테마 정보가 먼저 결정된 후 상기 결정된 대화 테마 정보에 대응되는 상기 감정 분류 정보가 결정되어 상기 복수 개의 세분화 그리드 매트릭스 각각이 결정되는, 사용자 관리 서버에서 수행하는 사용자 유형화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230099570A KR102613698B1 (ko) | 2023-07-31 | 2023-07-31 | 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230099570A KR102613698B1 (ko) | 2023-07-31 | 2023-07-31 | 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102613698B1 true KR102613698B1 (ko) | 2023-12-14 |
Family
ID=89166866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230099570A KR102613698B1 (ko) | 2023-07-31 | 2023-07-31 | 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102613698B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150145024A (ko) * | 2014-06-18 | 2015-12-29 | 한국전자통신연구원 | 화자적응 음성인식 시스템의 단말 및 서버와 그 운용 방법 |
| KR101610151B1 (ko) * | 2014-10-17 | 2016-04-08 | 현대자동차 주식회사 | 개인음향모델을 이용한 음성 인식장치 및 방법 |
| KR102440530B1 (ko) | 2020-12-17 | 2022-09-06 | (주)텔레필드 | 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법 |
| KR20230092675A (ko) * | 2021-12-17 | 2023-06-26 | 진수용 | 인공지능 기반의 언어 패턴 분석을 통한 커뮤니케이션 서비스 제공 장치 및 방법 |
| KR20230100132A (ko) * | 2021-12-28 | 2023-07-05 | 동서대학교 산학협력단 | 아동 감정사전 기반 음성대화서버 제어방법 |
-
2023
- 2023-07-31 KR KR1020230099570A patent/KR102613698B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150145024A (ko) * | 2014-06-18 | 2015-12-29 | 한국전자통신연구원 | 화자적응 음성인식 시스템의 단말 및 서버와 그 운용 방법 |
| KR101610151B1 (ko) * | 2014-10-17 | 2016-04-08 | 현대자동차 주식회사 | 개인음향모델을 이용한 음성 인식장치 및 방법 |
| KR102440530B1 (ko) | 2020-12-17 | 2022-09-06 | (주)텔레필드 | 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법 |
| KR20230092675A (ko) * | 2021-12-17 | 2023-06-26 | 진수용 | 인공지능 기반의 언어 패턴 분석을 통한 커뮤니케이션 서비스 제공 장치 및 방법 |
| KR20230100132A (ko) * | 2021-12-28 | 2023-07-05 | 동서대학교 산학협력단 | 아동 감정사전 기반 음성대화서버 제어방법 |
Non-Patent Citations (1)
| Title |
|---|
| Ian McGraw et al., Personalized Speech recognition on mobile devices, https://arxiv.org/abs/1603.03185 (2016.03) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6753707B2 (ja) | コミュニケーションを支援する人工知能システム | |
| US10515631B2 (en) | System and method for assessing the cognitive style of a person | |
| US9418390B2 (en) | Determining and communicating user's emotional state related to user's physiological and non-physiological data | |
| KR102185469B1 (ko) | 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법 | |
| KR102045741B1 (ko) | 반려동물 건강관리데이터 제공장치, 방법 및 프로그램 | |
| CN112703494A (zh) | 电子装置和控制该电子装置的方法 | |
| US11195618B2 (en) | Multi-level machine learning to detect a social media user's possible health issue | |
| CN109600699A (zh) | 用于听力装置服务请求的具有计算程序和服务器的系统 | |
| US20190371344A1 (en) | Apparatus and method for predicting/recognizing occurrence of personal concerned context | |
| KR102015097B1 (ko) | 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 | |
| Karbauskaitė et al. | Kriging predictor for facial emotion recognition using numerical proximities of human emotions | |
| TWI823055B (zh) | 電子資源推送方法及系統 | |
| CN116578731A (zh) | 多媒体信息处理方法、系统、计算机设备和存储介质 | |
| JP6831522B2 (ja) | コミュニケーションシステム | |
| WO2021134250A1 (zh) | 情绪管理方法、设备及计算机可读存储介质 | |
| KR102613698B1 (ko) | 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치 | |
| WO2018207619A1 (en) | Data collection apparatus and learning apparatus | |
| Zainab et al. | Emotion recognition based on EEG signals in response to bilingual music tracks. | |
| US20220015657A1 (en) | Processing eeg data with twin neural networks | |
| KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 | |
| Rincon et al. | Using emotions for the development of human-agent societies | |
| EP3270263A1 (en) | Information processing apparatus for presenting content, method for controlling the same, and control program | |
| US11759387B2 (en) | Voice-based control of sexual stimulation devices | |
| Sharma et al. | Gerontechnology—The study of alzheimer disease using cloud computing | |
| US20230081796A1 (en) | Managing audio content delivery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |