KR102193656B1 - 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 - Google Patents
상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102193656B1 KR102193656B1 KR1020200007622A KR20200007622A KR102193656B1 KR 102193656 B1 KR102193656 B1 KR 102193656B1 KR 1020200007622 A KR1020200007622 A KR 1020200007622A KR 20200007622 A KR20200007622 A KR 20200007622A KR 102193656 B1 KR102193656 B1 KR 102193656B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- event
- analysis
- text
- voice
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 56
- 238000009223 counseling Methods 0.000 claims description 86
- 238000013135 deep learning Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 18
- 230000014759 maintenance of location Effects 0.000 claims description 9
- 206010011469 Crying Diseases 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 201000010099 disease Diseases 0.000 abstract description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 11
- 238000004141 dimensional analysis Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 206010038583 Repetitive speech Diseases 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 240000000220 Panda oleosa Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000016686 tic disease Diseases 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Child & Adolescent Psychology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 상담자와 피상담자 사이의 상담 내용을 녹취하여 생성된 음성을 텍스트로 변환한 녹취록 정보를 생성하여 제공하되, 상기 녹취록 정보에 기반한 상담 내용의 분석을 통해 피상담자 분석을 지원하는 녹취 서비스 제공 시스템 및 방법에 관한 것이다. 본 발명은 상담시 발생된 음성을 인식하여 녹취록 정보를 생성하고, 해당 음성에 대한 분석을 통해 화자의 상태 변화가 발생한 당시의 음성에 대한 텍스트별로 화자 상태와 관련된 이벤트 관련 이벤트 정보를 상기 녹취록 정보에 추가할 수 있으며, 상기 녹취록 정보에 포함된 텍스트 정보와 이벤트 정보를 기초로 피상담자의 반복되는 발언 패턴이나 행동 패턴 등에 대한 분석을 통한 상담 분석 정보를 생성하여 상기 녹취록 정보에 부가하여 제공함으로써, 상기 녹취록 정보를 열람하는 사용자가 상기 녹취록 정보에 따른 텍스트 기반의 녹취록을 기초로 대화 내용의 분석을 통한 피상담자를 분석하면서 부가 정보로서 녹취록 정보에 부가된 상담 분석 정보를 기초로 피상담자의 특징적인 발언 패턴이나 행동 패턴을 기초로 피상담자에 대한 정확한 질환 분석이나 심리 분석 등과 같은 입체적인 분석을 용이하게 수행할 수 있도록 지원하여 녹취록을 통한 피상담자에 대한 상담자의 분석 정확도를 크게 향상시킬 수 있도록 지원하는 효과가 있다.
Description
본 발명은 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 상담자와 피상담자 사이의 상담 내용을 녹취하여 생성된 음성을 텍스트로 변환한 녹취록 정보를 생성하여 제공하되, 상기 녹취록 정보에 기반한 상담 내용의 분석을 통해 피상담자 분석을 지원하는 녹취 서비스 제공 시스템 및 방법에 관한 것이다.
현재 정신과 상담, 청소년 상담 등과 같은 다양한 상담 분야에서 상담자에게 상담을 의뢰하는 피상담자와 상담자 사이의 대화를 녹취하여, 이를 기초로 피상담자의 상황을 분석하고 치료에 이용하고 있다.
그러나, 녹취를 통해 생성되는 자료가 음성이므로, 음성 청취만으로 전체 상담 내용을 파악하고 분석하는데 어려움이 있어, 최근 이러한 음성을 텍스트로 변환하여 상담 내용을 시각적으로 용이하게 파악할 수 있는 녹취록을 생성하는 음성 인식 장치가 제공되고 있다.
이러한 녹취록은 상담 내용을 텍스트로 시각을 통해 일목요연하게 확인할 수 있어 상담 내용을 분석하는데 있어 음성보다 용이한 이점이 있다.
그러나, 일반적으로 상담 과정에서 발생하는 대화 내용이 상당하므로, 이러하 대화 내용을 기초로 피상담자를 분석하는데 상당한 시간이 소요될 뿐더러, 상담 분야의 특성 상 상담 과정에서 발생하는 음성 톤 변화나 감정 변화 등과 같은 화자의 상태 변화를 상담 내용과 함께 분석하는 것이 매우 중요하나 기존의 음성 인식 장치를 이용하여 생성한 녹취록에는 이러한 상태 변화가 반영되지 않아, 상담 내용을 기초로 피상담자를 정확하게 분석하는데 있어 단순 녹취록만으로는 어려움이 있다.
본 발명은 상담 과정에서 상담에 참여하는 화자별 음성에 대한 인식을 통해 텍스트 기반의 녹취록을 생성하되, 음성 분석을 통해 화자의 발언시 특징적인 음성 변화가 발생하거나 울음이나 고함 등과 같은 상황 발생시 이벤트 정보를 생성하고, 이러한 이벤트 정보를 녹취록에서 대응 위치에 반영되도록 하며, 이벤트 정보가 반영된 녹취록을 기초로 분석 대상인 피상담자의 대한 분석을 수행하여 피상담자의 행동 패턴이나 질환 등에 대한 분석 정보를 제공함으로써 상담과 더불어 피상담자의 분석에 대한 정확도를 높일 수 있도록 하는데 그 목적이 있다.
본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템은, 상담에 참여하는 복수의 참석자를 위한 하나 이상의 마이크를 구비하거나 하나 이상의 마이크 장치와 연결되는 사용자 단말에 구성되어, 상기 마이크 또는 마이크 장치로부터 수신되는 음성을 수신하여 음성 정보를 생성하고, 상기 음성 정보가 포함된 자료 정보를 생성하여 전송하는 어플리케이션부 및 상기 사용자 단말로부터 수신한 상기 자료 정보의 음성정보에 따른 음성을 인식하여 음성별로 텍스트 정보와 대응 시간 정보를 생성하고, 상기 음성별 텍스트 정보를 화자별로 구분한 녹취록 정보를 생성하며, 상기 음성 정보에서 미리 설정된 이벤트 발생을 검출하여 이벤트 정보를 생성하며, 상기 대응 시간 정보에 따른 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되어 식별된 특정 텍스트 정보와 매칭하여 상기 이벤트 정보를 상기 녹취록 정보에 추가하고, 상기 녹취록 정보에 포함된 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘에 적용하여, 상기 복수의 참석자 중 적어도 하나의 화자별로, 미리 설정된 기준치 이상 반복되는 발언 패턴 및 행동 패턴 중 적어도 하나에 대한 상담 분석 정보를 생성한 후 상기 녹취록 정보에 부가하는 녹취 서버를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 상기 상담 분석 정보가 부가된 녹취록 정보를 상기 사용자 단말에 전송하며, 상기 사용자 단말의 어플리케이션부는 상기 녹취록 정보 수신시 상기 녹취록 정보를 기초로 녹취록 관련 문서를 상기 사용자 단말의 표시부를 통해 표시하고, 상기 문서 상에 상기 상담 분석 정보를 표시하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 상기 상담 분석 정보에 포함되는 분석 정보로서, 상기 녹취록 정보의 이벤트 정보와 텍스트 정보를 기초로 상기 녹취록 정보에서 등장 횟수가 미리 설정된 기준치 이상인 특정 문구를 식별하여 상기 특정 문구와 등장 횟수를 포함하는 발언 패턴에 대한 제 1 분석 정보를 생성하거나 상기 녹취록 정보의 상기 이벤트 정보에 따른 음성 변화 및 이벤트 종류 중 적어도 하나와 상기 텍스트 정보를 기초로 미리 설정된 복수의 서로 다른 화자 상태 중 어느 하나에 대한 특정 화자의 특정 상태를 식별하고 상기 특정 화자에 대해 상기 특정 상태의 등장 횟수가 미리 설정된 기준치 이상인 경우 상기 특정 상태와 대응되는 복수의 텍스트 정보를 취합한 후 분석하여 상기 특정 상태를 유발하는 대화 패턴 및 행동 패턴에 대한 제 2 분석 정보를 생성하여 상기 녹취록 정보에 부가하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 상기 사용자 단말에 상기 녹취록 정보의 분석을 위한 분석 인터페이스를 제공하며, 상기 사용자 단말의 어플리케이션부로부터 상기 분석 인터페이스를 통한 사용자 입력에 따라 상기 녹취록 정보에서 설정된 사용자 설정 시간에 대한 분석 요청 정보를 수신하고, 상기 분석 요청 정보 수신시 상기 사용자 설정 시간에 속하는 하나 이상의 텍스트 정보 및 이벤트 정보를 기초로 상기 상담 분석 정보를 생성하여 상기 사용자 단말에 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 상기 발언 패턴 및 행동 패턴에 따른 미리 설정된 분석 항목별 분석 내용을 포함하는 상기 상담 분석 정보를 생성하고, 상기 사용자 단말로 전송한 상기 녹취록 정보에 대응되어 상기 사용자 단말로부터 상기 복수의 참석자 중 피상담자에 대한 상담 결과 정보를 수신하며, 상기 상담 분석 정보 및 상담 결과 정보와 이에 대응되는 피상담자에 대한 피상담자 정보를 기초로 녹취 분석 결과 정보를 생성하여 저장하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 복수의 서로 다른 상담 각각에 대해 상기 녹취 분석 결과 정보 생성시마다 상기 분석부에 미리 설정된 딥러닝(deep learning) 알고리즘에 학습시켜 상기 피상담자 정보와 상기 상담 분석 정보 및 상기 상담 결과 정보 사이의 상관 관계가 상기 딥러닝 알고리즘에 학습되도록 하고, 특정 녹취록 정보에 대응되는 특정 상담 분석 정보 및 특정 피상담자 정보를 상기 딥러닝 알고리즘에 적용하여, 상기 딥러닝 알고리즘을 통해 상기 특정 피상담자 정보에 따른 특정 피상담자에 대해 상기 특정 상담 분석 정보를 기초로 예측되는 상담 결과 정보에 대한 예측 정보를 생성하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 녹취 서버는 상기 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되는 특정 텍스트 정보를 식별하고 상기 특정 텍스트 정보를 구성하는 텍스트별로 텍스트를 구성하는 미리 설정된 하나 이상의 텍스트 속성 중 적어도 하나의 파라미터를 상기 이벤트 정보에 따라 가변하여 상기 녹취록 정보를 갱신하는 이벤트 적용 과정을 상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 수행하여 최종 녹취록 정보를 생성하여 제공하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 하나 이상의 텍스트 속성은 서체, 색상, 크기, 간격, 굵기 및 폭 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 사용자 단말과 통신망을 통해 통신하는 녹취 서버의 상담 내용 분석을 지원하는 녹취 서비스 제공 방법은, 사용자 단말로부터 상담 과정에서 발생한 음성에 따른 하나 이상의 음성 정보가 포함된 자료 정보를 수신하는 단계와, 상기 사용자 단말로부터 수신한 상기 자료 정보의 음성정보에 따른 음성을 인식하여 음성별로 텍스트 정보와 대응 시간 정보를 생성하고, 상기 음성별 텍스트 정보를 화자별로 구분한 녹취록 정보를 생성하는 단계와, 상기 음성 정보에서 미리 설정된 이벤트 발생을 검출하여 이벤트 정보를 생성하는 단계와, 상기 대응 시간 정보에 따른 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되어 식별된 특정 텍스트 정보와 매칭하여 상기 이벤트 정보를 상기 녹취록 정보에 추가하는 이벤트 추가 과정을 수행하는 단계 및 상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 상기 이벤트 추가 과정을 수행하고, 상기 녹취록 정보에 포함된 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘에 적용하여, 상기 복수의 참석자 중 적어도 하나의 화자별로, 미리 설정된 기준치 이상 반복되는 발언 패턴 및 행동 패턴 중 적어도 하나에 대한 상담 분석 정보를 생성한 후 상기 녹취록 정보에 부가하는 단계를 포함할 수 있다.
본 발명은 상담시 발생된 음성을 인식하여 녹취록 정보를 생성하고, 해당 음성에 대한 분석을 통해 화자의 상태 변화가 발생한 당시의 음성에 대한 텍스트별로 화자 상태와 관련된 이벤트 관련 이벤트 정보를 상기 녹취록 정보에 추가할 수 있으며, 상기 녹취록 정보에 포함된 텍스트 정보와 이벤트 정보를 기초로 피상담자의 반복되는 발언 패턴이나 행동 패턴 등에 대한 분석을 통한 상담 분석 정보를 생성하여 상기 녹취록 정보에 부가하여 제공함으로써, 상기 녹취록 정보를 열람하는 사용자가 상기 녹취록 정보에 따른 텍스트 기반의 녹취록을 기초로 대화 내용의 분석을 통한 피상담자를 분석하면서 부가 정보로서 녹취록 정보에 부가된 상담 분석 정보를 기초로 피상담자의 특징적인 발언 패턴이나 행동 패턴을 기초로 피상담자에 대한 정확한 질환 분석이나 심리 분석 등과 같은 입체적인 분석을 용이하게 수행할 수 있도록 지원하여 녹취록을 통한 피상담자에 대한 상담자의 분석 정확도를 크게 향상시킬 수 있도록 지원하는 효과가 있다.
또한, 본 발명은 현재 특정 피상담자에 대한 상담 분석 내용을 딥러닝 알고리즘을 기반으로 분석하여 특정 피상담자에 대한 현재 상담 진행 상황이 좋은 방향인지 나쁜 방향인지를 특정 피상담자와 유사한 사람들에 대한 상담을 진행했던 다수의 상담자들의 기존 의견을 기반으로 예측하여 제시할 수 있으며, 이를 통해 특정 피상담자를 상담하는 상담자가 이러한 예측을 기반으로 피상담자에 대한 올바른 상담 계획을 수립하면서 피상담자의 정확한 치료나 심리적 안정 등과 같은 상담의 성공 확률을 높일 수 있도록 지원할 수 있다.
도 1은 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 상세 구성도.
도 3은 본 발명의 실시예에 따른 녹취 서버의 상담 내용 분석을 지원하는 녹취 서비스 제공 방법에 대한 순서도.
도 4 및 도 5는 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 동작 예시도.
도 2는 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 상세 구성도.
도 3은 본 발명의 실시예에 따른 녹취 서버의 상담 내용 분석을 지원하는 녹취 서비스 제공 방법에 대한 순서도.
도 4 및 도 5는 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 동작 예시도.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템의 구성도로서, 도시된 바와 같이 사용자 단말(10)에 구성되는 어플리케이션부(11)와, 상기 사용자 단말(10)과 통신망을 통해 통신하는 녹취 서버(100)를 포함할 수 있다.
이때, 상기 사용자 단말(10)은 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), 태블릿 PC(Tablet PC), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.
또한, 상기 사용자 단말(10)은 외부 장치(일례로, 녹취 서버(100))와 상기 통신망을 통해 통신하기 위한 통신부, 사용자 입력을 수신하는 사용자 입력부, 각종 정보를 표시하는 표시부, 각종 정보를 저장하는 저장부 및 상기 사용자 단말(10)의 전반적인 제어 기능을 수행하는 제어부를 포함하여 구성될 수 있으며, 상기 어플리케이션부(11)는 상기 녹취 서버(100)와의 통신을 위한 상기 사용자 단말(10)의 저장부에 저장된 어플리케이션(application) 관련 데이터를 실행한 상태의 제어부로서 구성될 수 있다.
또한, 상기 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.
또한, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 사용자 단말(10)에는 하나 이상의 마이크(mic)가 구비되거나 상기 어플리케이션부(11)가 상기 통신부를 통해 하나 이상의 외부 마이크 장치와 통신할 수 있으며, 상기 어플리케이션부(11)는 상기 마이크 또는 마이크 장치로부터 상기 사용자 단말(10)에 수신된 음성을 수신하여 음성 정보를 생성할 수 있으며, 상기 음성 정보를 포함하는 자료 정보를 생성하여 상기 녹취 서버(100)에 전송할 수 있다.
상술한 구성을 토대로, 본 발명은 상담을 위해 참석한 복수의 참석자 사이의 대화에서 발생하는 음성을 기초로 음성 정보를 생성하여 전송하는 사용자 단말(10)로부터 상기 음성 정보를 수신한 상기 녹취 서버(100)에서 상기 음성 정보를 기초로 음성을 텍스트로 변환하고 상기 텍스트를 포함한 녹취록 정보를 생성할 수 있으며, 상기 음성 정보를 기초로 음성을 분석하여 미리 설정된 기준치 이상의 음성 변화가 발생하거나 미리 설정된 복수의 서로 다른 이벤트 종류 중 어느 하나에 대응되는 음성 패턴이 검출된 경우 미리 설정된 복수의 서로 다른 이벤트 종류 중 어느 하나에 대응되는 이벤트로서 검출하여 이벤트 정보를 생성하고, 해당 이벤트 정보를 녹취록 정보에서 대응되는 텍스트 정보와 매칭하여 녹취록 정보에 추가하여 녹취록 정보에 포함된 텍스트 정보와 이벤트 정보를 기초로 상담 당시의 발언 내용과 화자별 상태를 파악하고 이를 기반으로 화자에 대한 정확한 분석이 이루어지도록 지원하는데, 이를 이하 도면을 참고하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템을 구성하는 사용자 단말(10) 및 녹취 서버(100)의 상세 구성도 및 동작 예시도이며, 도 3은 상기 녹취 서버(100)의 본 발명의 실시예에 따른 상담 내용 분석을 지원하는 녹취 서비스 제공 방법에 대한 동작 순서도이다.
도시된 바와 같이, 상기 사용자 단말(10)에 구성된 어플리케이션부(11)는 상담에 참석하는 복수의 참석자를 위한 하나 이상의 마이크를 구비하거나 하나 이상의 마이크 장치와 연결되는 상기 사용자 단말(10)에 구성되고, 상기 어플리케이션부(11)는 상기 마이크 또는 마이크 장치로부터 수신되는 음성을 기초로 음성 정보를 생성하고, 상기 음성 정보가 포함된 자료 정보를 생성하여 상기 녹취 서버(100)에 전송할 수 있다.
이때, 상기 어플리케이션부(11)는 상기 사용자 단말(10)의 사용자 입력부를 통한 사용자 입력을 기초로 상기 상담에 참석하는 참석자별(또는 화자별) 참석자 정보(상담자 정보, 피상담자 정보(의뢰인 정보), 참석자의 음성 패턴 정보 등 포함), 상담 식별 정보 등을 포함하는 상담 정보를 생성할 수 있으며, 해당 상담 정보를 상기 자료 정보에 포함시켜 상기 녹취 서버(100)에 전송할 수 있다.
한편, 상기 녹취 서버(100)는 수신부(110), 텍스트 변환부(120), 이벤트 생성부(130), 녹취록 생성부(140), 녹취록 갱신부(150), 녹취록 관리부(160) 및 분석부(170)와 같은 복수의 구성부를 포함하여 구성될 수 있으며, 상기 복수의 구성부 중 어느 하나가 다른 구성부에 포함되어 구성될 수도 있다.
이때, 상기 수신부(110), 텍스트 변환부(120), 이벤트 생성부(130), 녹취록 생성부(140), 녹취록 갱신부(150), 녹취록 관리부(160) 및 분석부(170) 중 어느 하나의 구성부가 다른 모든 구성부를 제어하며 녹취 서버(100)의 전반적인 제어 기능을 수행하는 서버 제어부로서 구성될 수 있으며, 상기 서버 제어부는 상기 수신부(110), 텍스트 변환부(120), 이벤트 생성부(130), 녹취록 생성부(140), 녹취록 갱신부(150), 녹취록 관리부(160) 및 분석부(170) 중 적어도 하나를 포함하여 구성될 수 있다.
또한, 상기 서버 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.
상술한 녹취 서버(100)의 구성을 기초로 상기 녹취 서버(100)의 동작 구성을 설명한다.
우선, 상기 수신부(110)는 상기 사용자 단말(10)로부터 상기 자료 정보를 통신망을 통해 수신할 수 있으며, 이를 상기 텍스트 변환부(120) 및 이벤트 생성부(130)에 제공할 수 있다(S1).
또한, 상기 텍스트 변환부(120)는 상기 사용자 단말(10)로부터 수신한 상기 자료 정보에 포함되는 하나 이상의 음성정보를 기초로 음성을 인식하여 음성별로 음성 발생 시간에 대한 음성 시간 정보를 생성할 수 있고, 상기 음성별로 음성을 텍스트로 변환하여 텍스트 정보를 생성할 수 있으며, 상기 음성 시간 정보와 텍스트 정보를 상기 녹취록 생성부(140)에 제공할 수 있다.
즉, 상기 텍스트 변환부(120)는 텍스트 정보 생성시 상기 텍스트 정보에 대응되는 음성 발생 시간에 대한 대응 시간 정보인 음성 시간 정보를 생성할 수 있다.
이때, 상기 텍스트 변환부(120)는 특정 음성 발생 시간에 대응되는 텍스트 정보를 상기 특정 음성 발생 시간에 대응되는 음성 시간 정보와 상호 매칭하여 생성한 매칭 정보를 상기 녹취록 생성부(140)에 전송할 수 있다.
또한, 상기 텍스트 변환부(120)는 음성별로 음성 패턴에 따라 복수의 화자를 구분하여 식별할 수 있으며, 상기 음성별로 생성된 텍스트 정보에 상기 텍스트 변환부(120)에서 구분한 복수의 화자 중 상기 음성에 대해 식별된 어느 하나의 화자에 대한 화자 식별정보를 설정할 수 있다.
또한, 상기 텍스트 변환부(120)는 음성을 텍스트로 변환시 음성의 음성 패턴을 인식하고, 상기 인식된 음성 패턴을 상기 자료 정보에서 추출된 상담 정보에 따른 참석자별 참석자 정보와 비교하여, 상기 인식된 음성 패턴과 일치하는 참석자 정보에 포함된 참석자 식별 정보를 상기 음성을 텍스트로 변환하여 생성한 텍스트 정보에 포함시킬 수 있다.
또한, 상기 녹취록 생성부(140)는 상기 음성별로 수신된 음성 시간 정보와 텍스트 정보 및 매칭 정보를 기초로 상기 음성 시간정보 및 텍스트 정보가 상호 매칭되어 포함된 녹취록 정보를 생성할 수 있으며, 사용자 단말(10)의 어플리케이션부(11)에서 상기 녹취록 정보 열람시 음성 발생 시간 별로 음성 발생 시간과 매칭되는 텍스트 정보에 따른 텍스트가 순서대로 표시된 녹취록 문서가 상기 사용자 단말(10)의 표시부를 통해 표시되도록 상기 녹취록 정보를 생성할 수 있다(S2).
이때, 상기 녹취록 정보는 하나 이상의 텍스트 정보와 하나 이상의 음성 시간 정보를 포함할 수 있으며, 상기 녹취록 정보에 포함되는 하나 이상의 텍스트 정보와 하나 이상의 음성 시간 정보가 상기 매칭 정보에 따라 상호 매칭되어 상기 녹취록 정보에 포함될 수 있다.
또한, 상기 녹취록 생성부(140)는 상기 텍스트 정보에 포함된 화자 식별정보나 참석자 식별정보를 기초로 상기 음성별 텍스트 정보를 화자별로 구분한 녹취록 정보를 생성할 수 있다.
또한, 상기 이벤트 생성부(130)는 상기 수신부(110)로부터 상기 텍스트 변환부(120)와 동일하게 자료 정보를 수신할 수 있으며, 해당 자료 정보에 포함된 하나 이상의 음성 정보에 따른 음성별로 미리 설정된 음성 분석 알고리즘을 통해 음성 분석을 수행하고, 음성 분석 결과 미리 설정된 복수의 서로 다른 이벤트 중 적어도 하나의 이벤트 발생시마다(또는 이벤트 검출시마다) 이벤트 정보를 생성할 수 있다(S3).
일례로, 상기 이벤트 생성부(130)에는 음성 톤이 미리 설정된 기준치 이상 변화하는 톤 변화, 음량 크기가 미리 설정된 기준치 이상 변화하는 음량 변화, 음성 속도가 미리 설정된 기준치 이상 증가 또는 감소하는 속도 변화 등과 같은 다양한 이벤트 종류별 이벤트 발생 기준에 대한 설정정보가 미리 설정되고, 상기 이벤트 생성부(130)는 상기 자료 정보에 포함된 음성 정보에 대한 음성 분석을 수행하여 산출한 상기 음성 분석 결과를 상기 설정 정보와 비교하여 특정 이벤트 종류에 해당되는 특정 이벤트가 발생된 경우 상기 특정 이벤트 종류와 이벤트 발생 시간 등을 포함하는 해당 특정 이벤트 관련 이벤트 정보를 상기 특정 이벤트가 발생한 음성별로 생성할 수 있다.
이때, 상기 이벤트 생성부(130)는 상기 이벤트 정보가 상기 톤 변화, 음량 변화 및 크기 변화 중 적어도 하나에 대한 이벤트 종류를 포함하는 경우 해당 이벤트 종류별 변화량이나 이벤트 종류별 변화 패턴에 대한 정보를 상기 이벤트 정보에 더 포함시킬 수 있다.
또한, 상기 이벤트 생성부(130)는 상기 이벤트 정보에 따른 상기 톤 변화, 음량 변화 및 크기 변화 중 적어도 하나에 대한 변화량이나 변화 패턴을 기초로 상기 이벤트 정보의 이벤트 종류를 고음, 고함, 침묵, 웃음, 울음 등과 같은 화자 상태로 설정할 수도 있다.
또한, 상기 이벤트 생성부(130)는 상기 녹취록 정보에 포함되는 하나의 텍스트 정보에 대해 복수의 이벤트 정보를 생성할 수도 있으며, 상기 복수의 이벤트 정보를 상술한 바와 같이 상기 하나의 텍스트 정보에 적용할 수 있다.
또한, 상기 이벤트 생성부(130)는 상기 음성 분석을 통해 상담 과정에서 침묵, 고함, 울음 등과 같은 상담시 발생하는 다양한 상황 종류를 이벤트 종류로서 검출할 수 있으며, 해당 상황 종류에 대응되는 이벤트 종류가 검출된 경우 해당 이벤트 종류와 관련된 특정 이벤트가 유지된(지속된 또는 연속된) 시간인 이벤트 유지 시간을 측정하여 산출하고 해당 이벤트 유지 시간을 포함하는 이벤트 정보를 생성할 수 있다.
한편, 상기 사용자 단말(10)의 어플리케이션부(11)는 상담시 상기 사용자 단말(10)을 통한 사용자 입력이나 상기 사용자 단말(10)과 통신하는 외부 장치로부터 수신된 외부 입력을 상기 이벤트 관련 입력으로 수신할 수 있으며, 상기 이벤트 관련 입력을 기초로 이벤트 발생 정보를 생성할 수 있다.
또한, 상기 어플리케이션부(11)는 상기 이벤트 발생 정보가 생성되면 상기 이벤트 발생 정보를 상기 녹취 서버(100)에 전송되는 상기 자료 정보에 포함시킬 수 있다.
이에 따라, 상기 녹취 서버(100)의 이벤트 생성부(130) 및 분석부(170)는 상기 자료 정보에 포함된 이벤트 발생 정보를 상기 이벤트 정보로 식별할 수 있다.
이때, 상기 사용자 단말(10)의 어플리케이션부(11)에서 생성된 이벤트 발생 정보는 상술한 녹취록 갱신부(150)에서 미리 설정된 처리 방식으로 처리되기 위해 상기 녹취록 갱신부(150)에 미리 설정된 복수의 상황(일례로, 침묵, 고함, 울음, 눈물(음성으로 분석되지 않는 상황), 고개 숙임(음성으로 분석되지 않는 상황) 등)별 이벤트 종류 중 어느 하나와 관련된 이벤트 정보로 구성될 수 있다.
한편, 상기 녹취록 관리부(160)는 상기 녹취록 생성부(140)로부터 상기 녹취록 정보를 수신하고, 상기 이벤트 생성부(130)로부터 상기 녹취록 정보에 대응되는 하나 이상의 이벤트 정보를 수신할 수 있으며, 녹취록 정보에 대응되는 하나 이상의 이벤트 정보를 상기 녹취록 정보와 매칭하여 상기 녹취 서버(100)에 포함된 DB(101)에 저장할 수 있다.
한편, 상기 녹취 서버(100)의 분석부(170)는 상기 DB(101)에서 녹취록 정보와 해당 녹취록 정보에 매칭되어 저장된 하나 이상의 이벤트 정보를 식별하고, 상기 하나 이상의 이벤트 정보 각각에 대해 이벤트 정보에 따른 이벤트 발생시간과 녹취록 정보에 포함된 음성 시간 정보에 따른 음성 발생 시간을 기초로 이벤트 정보와 매칭되는 텍스트 정보를 녹취록 정보에서 식별할 수 있다.
또한, 상기 분석부(170)는 상기 녹취록 정보에서 특정 이벤트 정보에 대응되어 식별된 텍스트 정보와 매칭하여 상기 특정 이벤트 정보를 상기 녹취록 정보에 추가(삽입)하는 이벤트 추가 과정을 수행할 수 있다(S4).
이때, 상기 분석부(170)는 이벤트 정보를 상기 녹취록 정보에 추가할 때 상기 이벤트 정보에 대응되어 매칭되는 텍스트 정보와 매칭하여 상기 이벤트 정보에 대응되어 미리 설정된 표현을 상기 녹취록 정보에 추가할 수 있다.
일례로, 상기 분석부(170)는 상기 녹취록 정보에 따른 문서를 표시할 때 상기 특정 이벤트 정보에 따른 이벤트 종류가 특정 이벤트 정보와 매칭되는 특정 텍스트 정보에 따른 특정 텍스트와 인접하여 표시되도록 상기 이벤트 종류에 대응되는 텍스트를 상기 문서 상에 표시할 수 있다.
또한, 상기 분석부(170)는 상기 녹취록 정보에 대응되어 생성된 모든 이벤트 정보에 대해 상기 이벤트 추가 과정의 수행이 완료되면(S5), 상기 녹취록 정보에 포함된 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘(또는 패턴 분석 알고리즘)에 적용하여 상기 복수의 참석자 중 적어도 하나의 화자별로 미리 설정된 기준치 이상 반복되는 발언 패턴 및 행동 패턴 중 적어도 하나에 대한 상담 분석 정보를 생성한 후 상기 녹취록 정보에 부가할 수 있다(S6).
이때, 상기 분석부(170)는 상기 녹취록 정보 자체를 상기 분석 알고리즘에 적용하여 상담 분석 정보를 생성할 수도 있으며, 상기 녹취록 정보에 포함된 모든 이벤트 정보와 텍스트 정보를 상기 분석 알고리즘에 적용하여 상기 상담 분석 정보를 생성할 수 있다.
일례로, 상기 분석부(170)는 상기 상담 분석 정보에 포함되는 분석 정보로서 상기 녹취록 정보의 이벤트 정보와 텍스트 정보를 기초로 상기 녹취록 정보에서 등장 횟수가 미리 설정된 기준치 이상인 특정 문구를 식별하여 상기 특정 문구와 등장 횟수를 포함하는 발언 패턴에 대한 제 1 분석 정보를 생성할 수 있다.
또는, 상기 분석부(170)는 상기 상담 분석 정보에 포함되는 분석 정보로서 상기 녹취록 정보의 상기 이벤트 정보에 따른 음성 변화 및 이벤트 종류 중 적어도 하나와 상기 텍스트 정보를 기초로 감정 상태 및 행동 상태를 포함하는 미리 설정된 복수의 서로 다른 화자 상태 중 어느 하나에 대한 특정 화자의 특정 상태를 식별하고, 상기 특정 화자에 대해 상기 특정 상태의 등장 횟수(반복 횟수)가 미리 설정된 기준치 이상 발생하여 행동 패턴으로서 식별된 경우 상기 특정 상태와 대응되는 복수의 텍스트 정보를 취합한 후 분석하여 상기 특정 상태를 유발하는 대화 패턴 및 상기 행동 패턴에 대한 제 2 분석 정보를 생성할 수 있다.
이때, 상기 행동 패턴은 상기 행동 패턴을 유발하는 대화 패턴을 포함하는 개념일 수 있다.
또한, 상기 분석부(170)는 상기 제 1 분석 정보 및 제 2 분석 정보 중 적어도 하나를 포함하는 상담 분석 정보를 생성하여 상기 녹취록 정보에 부가할 수 있다.
또한, 상기 분석부(170)는 상기 상담 분석 정보가 부가된 녹취록 정보를 상기 사용자 단말(10)에 전송할 수 있다(S7).
이에 따라, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 녹취록 정보 수신시 상기 녹취록 정보를 기초로 녹취록 관련 문서를 상기 사용자 단말(10)의 표시부를 통해 표시하고, 상기 문서 상에 상기 상담 분석 정보를 표시할 수 있다.
상술한 구성에 대한 일례로, 도 4에 도시된 바와 같이, 상기 녹취 서버(100)의 분석부(170)는 상기 녹취록 정보에 추가된 상기 하나 이상의 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘에 적용하여 반복되는 특정 질환(일례로, 틱(tic) 장애, 특정 대화 패턴에서의 분노 표출(도 4의 행동패턴 1) 등)의 발생 여부와 상기 특정 질환이 발생한 텍스트를 상기 녹취록 정보에 포함된 상기 이벤트 정보 및 텍스트 정보를 기초로 식별할 수 있으며, 이를 통해 상기 특정 질환의 등장 횟수(반복 횟수)를 카운트할 수 있다.
또한, 상기 분석부(170)는 상기 특정 질환이 발생한 구간별 텍스트 정보를 상기 이벤트 발생 시간과 음성 발생 시간을 기초로 취합할 수 있으며, 취합된 복수의 텍스트 정보를 분석하여 대화 패턴을 산출하고, 상기 특정 질환의 등장 횟수 및 상기 대화 패턴에 대한 텍스트 및 상기 특정 질환 관련 행동 패턴 등이 포함된 분석 정보를 포함하는 상담 분석 정보를 생성할 수 있다.
즉, 상기 녹취 서버(100)는 대화 과정에서 화자의 감정 변화나 특정 행동을 유발하는 공통된 대화 패턴이나 문구를 녹취록 정보로부터 추출해 낼 수 있으며 이에 대한 상담 분석 정보를 생성할 수 있다.
한편, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 녹취 서버(100)로부터 상기 상담 분석 정보가 부가된 녹취록 정보 수신시 상기 녹취록 정보에 따른 녹취록 관련 문서를 상기 사용자 단말(10)의 표시부를 통해 표시할 수 있다.
이때, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 문서 상에서 미리 설정된 영역에 상기 부가 정보를 상기 녹취록 정보에 포함된 텍스트 정보와 함께 표시할 수 있다.
상술한 구성을 통해, 본 발명은 상담시 발생된 음성을 인식하여 녹취록 정보를 생성하고, 해당 음성에 대한 분석을 통해 화자의 상태 변화가 발생한 당시의 음성에 대한 텍스트별로 화자 상태와 관련된 이벤트 관련 이벤트 정보를 상기 녹취록 정보에 추가할 수 있으며, 상기 녹취록 정보에 포함된 텍스트 정보와 이벤트 정보를 기초로 피상담자의 반복되는 발언 패턴이나 행동 패턴 등에 대한 분석을 통한 상담 분석 정보를 생성하여 상기 녹취록 정보에 부가하여 제공함으로써, 상기 녹취록 정보를 열람하는 사용자가 상기 녹취록 정보에 따른 텍스트 기반의 녹취록을 기초로 대화 내용의 분석을 통한 피상담자를 분석하면서 부가 정보로서 녹취록 정보에 부가된 상담 분석 정보를 기초로 피상담자의 특징적인 발언 패턴이나 행동 패턴을 기초로 피상담자에 대한 정확한 질환 분석이나 심리 분석 등과 같은 입체적인 분석을 용이하게 수행할 수 있도록 지원하여 녹취록을 통한 피상담자에 대한 상담자의 분석 정확도를 크게 향상시킬 수 있도록 지원할 수 있다.
한편, 상술한 구성에서, 상기 녹취 서버(100)의 분석부(170)는 상기 사용자 단말(10)에 상기 녹취록 정보의 분석을 위한 분석 인터페이스를 제공할 수 있다.
또한, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 분석 인터페이스 관련 데이터를 수신하고, 상기 분석 인터페이스를 통한 사용자 입력을 기초로 상기 녹취록 정보에서 사용자 입력에 따라 설정된 사용자 설정 시간에 대한 분석 요청 정보를 전송할 수 있다.
이에 따라, 상기 분석부(170)는 상기 분석 요청 정보에 따른 사용자 설정 시간 내에 속하는 하나 이상의 텍스트 정보 및 이벤트 정보를 기초로 상기 상담 분석 정보를 생성할 수도 있다.
한편, 상기 녹취 서버(100)의 분석부(170)는 상기 발언 패턴 및 행동 패턴에 따른 미리 설정된 하나 이상의 분석 항목별 분석 내용을 포함하는 상담 분석 정보를 생성할 수 있다.
일례로, 상기 녹취 서버(100)의 분석부(170)는 상기 녹취록 정보를 기초로 분석된 상기 발언 패턴 및 행동 패턴 중 적어도 하나에 따라 반복되는 특정 문구별 발언 주기를 포함하는 발언 패턴을 산출하거나, 침묵 구간, 고음 구간(또는 고함 고간), 웃음 구간 및 눈물 구간 중 적어도 하나의 이벤트 구간별 반복 횟수과 반복된 이벤트 구간에 대응되는 이벤트 종류에 따른 행동 표출 패턴(이벤트 종류와 동일할 수 있음) 및 대화 패턴을 포함하는 행동 패턴을 산출하고, 이러한 발언 패턴 및 행동 패턴에 대한 상담 분석 정보를 산출할 수 있으며, 해당 상담 분석 정보를 미리 설정된 분석 항목에 따라 분류하고 분석 항목별 패턴 변화와 횟수 등을 그래픽으로 나타낸 그래픽 정보를 상기 상담 분석 정보로서 생성하거나 상기 상담 분석 정보에 포함시킬 수 있다.
또한, 상기 분석부(170)는 상기 분석 요청 정보에 대응되어 생성된 상기 상담 분석 정보를 상기 사용자 단말(10)에 제공할 수 있다.
한편, 상기 분석부(170)는 상기 사용자 단말(10)로 전송한 상기 녹취록 정보에 대응되어 상기 사용자 단말(10)로부터 상기 복수의 참석자 중 피상담자에 대한 상담 결과 정보를 수신할 수 있다.
이때, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 녹취록 정보에 대응되는 피상담자에 대해 미리 설정된 하나 이상의 기재 항목별로 상담자에 의한 분석 결과(분석 내용)를 포함하는 상담 결과 정보를 상기 사용자 단말(10)에 수신된 사용자 입력을 기초로 생성할 수 있으며, 이를 상기 녹취 서버(100)에 전송할 수 있다.
여기서, 상기 상담 결과 정보는 기재 항목별 분석 내용과 더불어 피상담자에 대한 피상담자 정보, 피상담자를 분석한 상담자의 상담자 정보, 복수의 서로 다른 컨텍스트(context) 분류 중 녹취록 정보에 대응되어 사용자(상담자)가 설정한 컨텍스트 분류 등을 포함할 수 있다.
또한, 상기 녹취 서버(100)의 분석부(170)는 상기 상담 분석 정보 및 상담 결과 정보와 이에 대응되는 피상담자에 대한 피상담자 정보를 기초로 녹취 분석 결과 정보를 생성할 수 있으며, 해당 녹취 분석 결과 정보를 DB(101)에 녹취록 정보와 매칭하여 저장할 수 있다.
즉, 상기 녹취 분석 결과 정보는 상담 분석 정보, 상담 결과 정보, 피상담자 정보 등을 포함할 수 있다.
이때, 상기 분석부(170)는 상기 상담 분석 정보에 대응되는 자료 정보로부터 상기 피상담자 정보를 추출하여 상기 녹취 분석 결과 정보에 포함시킬 수 있다.
또한, 상기 피상담자 정보는, 성명, 나이, 질환, 상담 기간, 상담 진행에 따른 상담자의 상태 변화 등과 같은 미리 설정된 피상담자 관련 하나 이상의 속성별 속성 정보를 포함할 수 있다.
한편, 상기 녹취 서버(100)의 분석부(170)는 복수의 서로 다른 상담 각각에 대해 상기 녹취 분석 결과 정보 생성시마다 상기 분석부(170)에 미리 설정된 딥러닝(deep learning) 알고리즘에 학습시켜 상기 피상담자 정보와 상기 상담 분석 정보 및 상기 상담 결과 정보 사이의 상관 관계가 상기 딥러닝 알고리즘에 학습되도록 할 수 있다.
일례로, 상기 분석부(170)는 상기 딥러닝 알고리즘에 대한 상술한 바와 같은 학습을 통해 피상담자가 속성별로 특정 속성값을 가지면서 상기 상담 분석 정보에 따른 분석 항목별로 특정한 값을 가질 때의 상기 상담 결과 정보에 따른(또는 상기 상담 결과 정보를 구성하는) 하나 이상의 기재 항목별로 클러스터링(clustering)된 결과값들 중 가장 많은 빈도를 나타내는 결과값이 상기 기재 항목별로 산출되도록 상기 상관 관계를 상기 딥러닝 알고리즘을 학습시킬 수 있다.
이때, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.
또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.
또한, 상기 분석부(170)는 상기 딥러닝 알고리즘의 학습 완료 이후 생성된 특정 녹취록 정보에 대응되는 특정 상담 분석 정보 및 특정 피상담자 정보를 상기 딥러닝 알고리즘에 적용하여, 상기 딥러닝 알고리즘을 통해 상기 특정 피상담자 정보에 따른 특정 피상담자에 대해 상기 특정 상담 분석 정보를 기초로 예측되는 상담 결과 정보에 대한 예측 정보를 생성할 수 있다.
즉, 상기 분석부(170)는 복수의 서로 다른 상담 각각에 대해 녹취 분석 결과 정보 생성시마다 상기 딥러닝 알고리즘에 학습시켜 복수의 서로 다른 녹취 분석 결과 정보를 상기 딥러닝 알고리즘에 학습시킬 수 있으며, 이를 통해 녹취 서버(100)에서 산출한 상담 분석 정보에 따른 분석 항목별 분석 내용과 서로 다른 사용자들(상담자들)이 자신의 피상담자에 대해 사용자 단말(10)을 통해 생성하는 상담 결과 정보에 따른 기재 항목별 분석 내용 사이의 상관 관계가 상기 딥러닝 알고리즘에 학습되도록 할 수 있다.
이를 통해, 상기 분석부(170)는 상기 딥러닝 알고리즘의 학습 완료 이후에 생성된 특정 상담 분석 정보와 상기 특정 상담 분석 정보에 대응되는 특정 피상담자 정보를 상기 딥러닝 알고리즘에 적용하여 상기 딥러닝 알고리즘을 통해 상기 특정 상담 분석 정보 및 특정 피상담자 정보에 따른 특정 피상담자의 발언 패턴 및 행동 패턴 등을 포함하는 특정 피상담자의 상태와 특정 피상담자와의 대화 분석 내용으로부터 다수의 전문 상담자들이 상담 결과 정보에 따른 기재 항목별로 전문 상담자들 사이의 가장 공통되는 의견(가장 많이 개진할 의견)일 것으로 예측되는 기재 항목별 예측 분석 내용에 대한 예측 정보를 상기 딥러닝 알고리즘으로부터 상기 특정 상담 분석 정보 및 특정 피상담 정보에 대응되어 산출할 수 있다.
즉, 상기 분석부(170)는 상기 특정 상담 분석 정보 및 특정 피상담자 정보를 상기 딥러닝 알고리즘에 적용하여 상기 특정 상담 분석 정보에 대응되는 특정 피상담자에 대해 상담 결과 정보를 구성하는 기재 항목별로, 다수의 상담자들이 상기 특정 상담 분석 정보를 기초로 분석했을 때 가장 선호하는(다수의 상담자들 사이에 의견이 가장 일치하는) 분석 결과가 포함된 예측 정보를 상기 딥러닝 알고리즘을 통해 생성할 수 있다.
또한, 상기 분석부(170)는 상기 예측 정보를 상기 녹취록 정보에 포함시켜 상기 사용자 단말(10)에 전송하거나 상기 녹취록 정보와 별도로 상기 사용자 단말(10)에 제공할 수 있으며, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 예측 정보에 따른 기재항목별 예측값을 상기 사용자 단말(10)의 표시부를 통해 표시하여 사용자가 상기 예측 정보를 확인 가능하도록 제공할 수 있다.
상술한 구성을 통해, 본 발명은 현재 특정 피상담자에 대한 상담 분석 내용을 딥러닝 알고리즘을 기반으로 분석하여 특정 피상담자에 대한 현재 상담 진행 상황이 좋은 방향인지 나쁜 방향인지를 특정 피상담자와 유사한 사람들에 대한 상담을 진행했던 다수의 상담자들의 기존 의견을 기반으로 예측하여 제시할 수 있으며, 이를 통해 특정 피상담자를 상담하는 상담자가 이러한 예측을 기반으로 피상담자에 대한 올바른 상담 계획을 수립하면서 피상담자의 정확한 치료나 심리적 안정 등과 같은 상담의 성공 확률을 높일 수 있도록 지원할 수 있다.
한편, 상술한 구성 이외에도, 본 발명은 자료 정보에 포함된 상기 음성 정보에 따른 음성을 분석하여 상담에서 발생하는 다양한 상담 상황 관련 이벤트가 상기 녹취록 정보에 포함된 텍스트를 통해 표출되도록 상기 녹취록 정보를 가변하여 제공함으로써, 녹취록 정보를 통해 화자의 감정 상태와 같은 상담 상황을 확인할 수 있도록 제공할 수 있는데, 이에 대한 구성을 상세히 설명한다.
상기 녹취 서버(100)의 상기 녹취록 갱신부(150)는 사용자 단말(10)로부터 녹취록 정보에 대한 이벤트 적용 요청 관련 요청 정보 수신시 상기 DB(101)에 녹취록 정보와 매칭되어 저장된 하나 이상의 상기 이벤트 정보를 상기 녹취록 정보에 적용할 수 있다.
일례로, 상기 녹취록 갱신부(150)는 상기 녹취록 정보에 포함된 음성 시간 정보에 따른 상기 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되는 특정 텍스트 정보를 식별할 수 있으며, 상기 특정 텍스트 정보를 구성하는 텍스트별로 텍스트를 구성하는 미리 설정된 하나 이상의 텍스트 속성 중 적어도 하나에 대해 텍스트에(또는 텍스트에 대해) 설정된 파라미터를 상기 이벤트 정보에 따라 가변하여 상기 텍스트의 형태를 가변함으로써 상기 녹취록 정보를 갱신하는 이벤트 적용 과정을 수행할 수 있다.
이때, 상기 하나 이상의 텍스트 속성은 텍스트를 구성하는 속성을 의미하며, 상기 텍스트 속성은 텍스트의 서체(또는 폰트 또는 글꼴), 텍스트의 색상, 텍스트의 크기, 텍스트간 간격, 텍스트의 굵기, 텍스트의 폭 등을 포함할 수 있다.
또한, 상기 녹취록 갱신부(150)는 상기 이벤트 적용 과정 중 상기 특정 텍스트 정보에 대응되는 상기 이벤트 정보에 따른 이벤트 종류, 음성의 톤 변화값, 음성의 속도 변화값 및 음성의 크기 변화값 중 적어도 하나를 미리 설정된 텍스트 변경을 위한 변경 알고리즘에 적용하여 제어 정보를 얻을 수 있으며, 이렇게 얻어진 제어 정보를 기초로 상기 특정 텍스트 정보에 대해 적어도 하나의 텍스트 속성별 파라미터를 변경할 수 있다.
이때, 상기 음성의 톤 변화값, 음성의 속도 변화값 및 음성의 크기 변화값 각각은 변화량이거나 변화 패턴일 수 있다.
상술한 구성의 일례를 도 5를 통해 설명하면, 상기 녹취록 갱신부(150)는 상기 녹취록 정보에서 제 1 이벤트 정보에 대응되어 식별된 제 1 텍스트 정보가 "가나다라마"이며, 상기 제 1 텍스트 정보에 대응되는 제 1 음성 발화시 상기 제 1 이벤트 정보에 따른 음성의 톤 변화가 발생한 경우 상기 제 1 이벤트 정보에 따른 톤 변화 패턴을 기초로 "가나"는 톤이 중간이어서 텍스트 크기를 중간 크기의 파라미터로 기존과 동일하게 유지하고, "다라"는 톤이 상승하여 텍스트 크기를 상기 중간 크기보다 큰 크기로 파라미터를 변경하고, "마"는 톤이 중간 크기보다 하강하여 상기 중간 크기보다 작은 크기로 파라미터를 변경할 수 있다.
이를 통해, 상기 녹취록 갱신부(150)는 상기 제 1 텍스트 정보에 따른 제 1 텍스트를 구성하는(제 1 텍스트에 포함되는) "가나"와 "다라"와 "마"의 텍스트 속성인 글자 크기를 변경하여 "가나다라마"의 글자 크기에 대한 변화 패턴을 상기 제 1 이벤트 정보에 따른 톤 변화 패턴과 유사한 패턴으로 변경할 수 있으며, 이를 통해 녹취록 정보에 포함된 텍스트에 이벤트를 적용하여 이벤트가 반영된 텍스트가 포함되도록 상기 녹취록 정보를 갱신할 수 있다.
또 다른 일례로, 상기 녹취록 갱신부(150)는 녹취록 정보에서 제 2 이벤트 정보에 대응되어 식별된 제 2 텍스트 정보에 따른 제 2 텍스트가 "바사아"이고 제 2 텍스트 정보에 대응되는 제 2 음성 발화시 제 2 이벤트 정보에 따른 음성의 속도 변화가 발생한 경우 상기 "바사아"의 자간 간격 및 폭(글자폭)에 대한 파라미터를 상기 제 2 이벤트 정보에 대응되어 산출된 상기 제어 정보를 기초로 변경하여 상기 녹취록 정보에서 상기 제 2 텍스트 정보에 따른 제 2 텍스트를 구성하는 글자들인 "바"와 "사"와 "아" 사이의 자간 간격을 좁히면서 "바"와 "사"와 "아" 각각의 글자 폭을 좁힐 수 있다.
이때, 상기 이벤트 생성부(130)는 제 1 텍스트 정보와 제 2 텍스트 정보가 연속되는 경우 상기 제 1 텍스트 정보에 대응되는 제 1 음성 정보의 음성 톤, 음성 크기 및 음성 속도 중 어느 하나의 이벤트 종류에 대한 특정값과 대비하여 제 2 텍스트 정보에 대응되는 제 2 음성 정보에 따른 음성이 상기 특정 값과 동일한 이벤트 종류에 대해 기준치 이상의 변화가 발생한 경우 상기 제 2 텍스트 정보에 대응되어 상기 제 2 이벤트 정보를 생성할 수 있으며, 상기 제 2 텍스트 정보에 대응되는 제 2 음성 정보에 따른 음성 내에서 음성 톤, 음성 크기 및 음성 속도 중 적어도 하나의 변화 발생시에도 상기 제 2 이벤트 정보를 생성할 수 있다.
이를 통해, 상기 녹취록 갱신부(150)는 "바사아" 발음시 음성에 속도 변화가 발생한 것을 알 수 있도록 상기 제 2 텍스트 정보의 텍스트별로 상기 음성 속도 변화에 대응되어 미리 설정된 하나 이상의 텍스트 속성별 파라미터를 상기 이벤트 정보에 따라 변경할 수 있다.
또한, 상기 녹취 서버(100)의 녹취록 갱신부(150)는 상기 음성 분석을 통해 생성된 특정 이벤트 관련 특정 이벤트 정보에 따른 이벤트 종류가 미리 설정된 처리 방식으로 처리되기 위해 미리 설정된 복수의 상황(일례로, 침묵, 고함, 울음, 눈물(음성으로 분석되지 않는 상황), 고개 숙임(음성으로 분석되지 않는 상황) 등)별 이벤트 종류 중 어느 하나인 경우 상기 특정 이벤트 정보에 따른 이벤트 발생 시간과 가장 근접하면서 상기 이벤트 발생 시간 이전인 음성 발생 시간에 대응되는 텍스트 정보(일례로, 제 1 텍스트 정보)와 매칭하여 상기 최종 녹취록 정보에 추가할 수 있다.
이를 통해, 상기 사용자 단말(10)의 상기 어플리케이션부(11)는 상기 최종 녹취록 정보를 기초로 최종 녹취록 관련 문서를 상기 사용자 단말(10)의 표시부를 통해 표시할 때 상기 문서에서 상기 특정 이벤트 정보에 따른 이벤트 종류와 이벤트 발생 시간(또는 이벤트 발생 순간)의 확인이 가능하도록 상기 특정 이벤트 정보에 따른 이벤트 관련 텍스트를 상기 제 1 텍스트 정보에 따른 제 1 텍스트와 매칭하여 상기 문서 상에 표시하거나 상기 제 1 텍스트에 연속되도록 상기 문서 상에 표시할 수 있다.
이때, 상기 사용자 단말(10)의 상기 어플리케이션부(11)는 상기 특정 이벤트 정보를 상기 문서 상에 표시할 때 상기 상기 특정 이벤트 정보에 따른 이벤트 유지 시간도 상기 이벤트 종류 및 이벤트 발생 시간과 함께 매칭하여 표시할 수 있다.
다시 말해, 상기 녹취록 갱신부(150)는 상담시 발생하는 화자의 상태를 확인할 수 있는 상기 상황 종류에 대한 텍스트가 상기 최종 녹취록 정보에 따른 문서 상에 삽입되도록 하여 상기 상황 종류에 대한 텍스트가 삽입된 문서를 통해 사용자가 상담 과정 중 화자의 특정 발언 과정에서 화자의 상태를 가시적으로 확인할 수 있어, 상담 당시의 분위기를 용이하게 파악할 수 있도록 지원함과 아울러 특정 발언 당시의 발언 의도를 정확하게 파악할 수 있도록 지원할 수 있다.
이에 대한 일례로 도 5에 도시된 바와 같이, 상기 어플리케이션부(11)는 상기 최종 녹취록 정보를 표시할 때 상기 최종 녹취록 정보에 포함된 상기 특정 이벤트 정보에 따른 이벤트 종류가 '침묵'인 경우 상기 '침묵'을 상기 제 1 텍스트 정보에 따른 제 1 텍스트인 '가나다라마'에 이어서 표시할 수 있다.
다시 말해, 상기 어플리케이션부(11)는 상기 최종 녹취록 정보에 따라 상기 최종 녹취록 정보에 포함된 복수의 텍스트 정보를 기초로 최종 녹취록 관련 문서를 상기 사용자 단말(10)에 표시할 수 있으며, 상기 문서에서 상기 특정 이벤트 정보에 따른 이벤트 종류인 '침묵'을 제 1 텍스트 정보에 따른 상기 문서에 포함된 제 1 텍스트와 상기 제 1 텍스트와 인접한 다른 텍스트인 제 2 텍스트 사이에 위치하도록 텍스트로서 상기 문서에 삽입하여 표시할 수 있다.
또한, 상기 어플리케이션부(11)는 상기 특정 이벤트 정보에 이벤트 유지 시간이 포함된 경우 상기 이벤트 유지 시간을 텍스트로서 상기 이벤트 종류인 '침묵'과 함께 같이 표시하여 '(침묵 5초)'와 같은 텍스트로 표시할 수 있다.
이때, 상기 어플리케이션부(11)는 상기 이벤트 종류를 텍스트로 직접 표시할 때 이벤트 종류에 대한 텍스트에 괄호를 추가하여 표시하도록 규칙이 미리 설정될 수 있다.
상술한 구성에서, 상기 어플리케이션부(11)는 특정 이벤트 정보에 따른 이벤트 종류에 대응되어 미리 설정된 이미지 존재시 해당 이미지로 상기 이벤트 관련 텍스트를 대체하여 상기 문서 상에 표시할 수 있다.
또는, 상기 녹취 서버(100)가 특정 이벤트 정보에 따른 이벤트 종류에 대응되는 미리 설정된 이미지 존재시 해당 이미지로 상기 사용자 단말(10)에 표시될 상기 이벤트 종류 관련 텍스트를 대체할 수 있으며, 이를 통해 상기 어플리케이션부(11)는 사용자 단말(10)을 통해 상기 특정 이벤트 정보를 표시할 때 상기 특정 이벤트 정보에 따른 이벤트 종류를 텍스트가 아닌 상기 이미지로 표시할 수 있다.
이때, 상기 이미지의 일례로서, 이모티콘이 적용될 수 있다.
상술한 바와 같이, 상기 녹취록 갱신부(150)는 녹취록 정보에 포함된 텍스트 정보별로 텍스트 정보에 대응되는 음성 분석을 통해 상기 텍스트 정보에 대응되는 음성의 발화 당시의 화자의 상태에 대한 이벤트 정보를 생성하고, 화자의 상태를 나타내는 이벤트 정보에 따라 텍스트를 구성하는 텍스트 속성 중 이벤트 정보에 대응되는 텍스트 속성별로 텍스트에 대해 설정된 파라미터를 상기 이벤트 정보에 따라 가변할 수 있으며, 상기 이벤트 정보에 따라 이벤트 정보에 대응되는 텍스트 속성별 파라미터가 가변된 텍스트를 통해 화자의 감정 상태 또는 감정 변화를 파악할 수 있도록 녹취록 정보를 갱신할 수 있다.
한편, 상술한 구성에서, 상기 녹취록 갱신부(150)는 상술한 실시예 이외에도 다양한 방식으로 상기 이벤트 정보를 상기 녹취록 정보에 포함된 텍스트 정보에 적용하여 상기 텍스트 정보에 따른 텍스트를 통해 상기 이벤트 정보에 따른 음성 변화를 확인할 수 있도록 상기 음성 변화에 대응되는 텍스트 속성별로 텍스트 정보에 포함된 텍스트 속성별 파라미터를 가변하여 상기 텍스트의 형태를 가변할 수 있다.
이때, 상기 텍스트 정보는 텍스트별로 적용되는(설정된) 텍스트 속성별 파라미터를 포함하고, 상기 녹취록 갱신부(150)는 상기 텍스트 정보에 포함된 텍스트별로 상기 텍스트 정보에 설정된 텍스트 속성별 파라미터 중 상기 이벤트 정보에 따라 가변대상인 하나 이상의 텍스트 속성을 선택하고, 상기 선택된 텍스트 속성별 파라미터를 상기 이벤트 정보에 따라 가변하여, 상기 텍스트 정보에 포함된 텍스트별로 서체(기울기 포함), 색상, 크기, 간격(자간 간격), 굵기 및 폭 중 적어도 하나를 상기 이벤트 정보에 대응되도록 가변할 수 있다.
한편, 상기 녹취록 갱신부(150)는 상기 이벤트 발생 정보에 대해 상기 이벤트 적용 과정을 수행할 수 있다.
즉, 상기 사용자 단말(10)의 어플리케이션부(11)는 음성으로 분석되지 않는 상황에 대한 이벤트 종류인 눈물이나 고개 숙임 등과 같은 특수한 이벤트 종류에 대한 이벤트 정보(이벤트 발생 정보)를 사용자 입력이나 외부 장치와의 통신을 통해 생성할 수 있으며, 상기 녹취록 갱신부(150)는 상기 최종 녹취록 정보에 상기 특수한 이벤트 종류에 대한 이벤트 관련 텍스트가 상기 문서 상에서 이벤트 발생 시점에 대응되는 문서상 위치에 추가되도록 할 수 있다.
이를 통해, 녹취 서버(100)는 특정 화자의 특정 발언시 특정 화자가 취했던 행동이나 감정을 최종 녹취록 정보를 기초로 표시되는 문서에서 확인할 수 있도록 최종 녹취록 정보를 생성할 수 있다.
또한, 상기 녹취 서버(100)의 녹취록 갱신부(150)는 상기 이벤트 발생 정보와 상기 이벤트 생성부(130)의 음성 분석을 통해 생성된 이벤트 정보인 이벤트 분석 정보가 상호 충돌할 때 상기 이벤트 분석 정보에 우선하여 상기 이벤트 발생 정보가 상기 녹취록 정보에 우선 적용되도록 할 수 있다.
또한, 상기 녹취록 갱신부(150)는 상기 이벤트 발생 정보와 이벤트 분석 정보 사이의 충돌 발생시 충돌 발생 정보를 생성하고, 이를 상기 충돌 발생 정보에 대응되는 텍스트 정보와 매칭하여 상기 녹취록 정보에 포함시켜 상기 녹취록 정보를 갱신할 수 있다.
상술한 바의 동작 구성을 통해, 상기 녹취록 갱신부(150)는 상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 상기 이벤트 적용 과정을 수행할 수 있으며, 상기 모든 이벤트 정보에 대응되어 상기 이벤트 적용 과정을 수행한 결과인 최종 녹취록 정보를 생성할 수 있다.
한편, 상기 녹취록 관리부(160)는 상기 녹취록 갱신부(150)에 의한 상기 녹취록 정보의 갱신 이전에 상기 DB(101)에 저장된 상기 이벤트 정보에 따른 갱신 이전 상태의 녹취록 정보를 백업(backup)하여 백업 녹취록 정보를 생성하여 상기 녹취록 정보와 매칭하여 저장할 수 있다.
즉, 상기 녹취록 관리부(160)는 상기 녹취록 생성부(140)의 녹취록 정보 생성시 상기 녹취록 정보를 백업하여 상기 백업 녹취록 정보를 생성한 후 상기 녹취록 정보와 함께 매칭하여 DB(101)에 저장할 수 있다.
이에 따라, 상기 녹취록 관리부(160)는 상기 녹취록 갱신부(150)와 연동하여, 상기 녹취록 정보를 기초로 상기 최종 녹취록 정보가 생성된 경우 상기 최종 녹취록 정보에 대응되는 백업 녹취록 정보와 매칭하여 상기 최종 녹취록 정보를 DB(101)에 저장할 수 있다.
또한, 상기 녹취록 관리부(160)는 상기 수신부(110)로부터 수신된 자료 정보를 상기 백업 녹취록 정보 및 최종 녹취록 정보와 상호 매칭하여 DB(101)에 저장할 수 있다.
또한, 상기 녹취 서버(100)의 녹취록 관리부(160)는 상기 사용자 단말(10)의 요청에 따라 상기 DB(101)에 저장된 상기 백업 녹취록 정보 및 최종 녹취록 정보 중 적어도 하나를 상기 사용자 단말(10)에 통신망을 통해 전송할 수 있다.
이때, 상기 녹취 서버(100)는 상기 백업 녹취록 정보 및 최종 녹취록 정보 중 적어도 하나를 상기 사용자 단말(10)에 전송할 때 매칭되는 상기 자료 정보를 함께 전송할 수 있다.
또한, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 녹취 서버(100)로부터 상기 최종 녹취록 정보를 수신하여 상기 사용자 단말(10)에 표시할 수 있다.
일례로, 상기 어플리케이션부(11)는 상기 최종 녹취록 정보를 기초로 최종 녹취록 정보에 포함된 텍스트 정보별로 음성 시간 정보에 따른 음성 발생 시간과 텍스트 정보에 따른 텍스트가 상호 매칭되어 표시된 녹취록 관련 문서를 생성한 후 해당 문서를 상기 사용자 단말(10)의 표시부를 통해 표시할 수 있다.
이때, 상기 어플리케이션부(11)는 최종 녹취록 정보에 포함된 텍스트 정보별로 텍스트 정보에 포함된 참석자 식별 정보를 기초로 상기 텍스트 정보에 대응되는 화자를 식별하고, 상기 텍스트 정보마다 대응되는 참석자 식별정보를 상기 텍스트 정보로부터 추출한 후 상기 텍스트 정보에 따른 텍스트와 매칭하여 문서상에 표시할 수 있다.
이를 통해, 상기 어플리케이션부(11)는 화자별 발언 내용 관련 텍스트에 대응되어 화자의 식별을 위한 식별 텍스트를 상기 문서 상에 표시하여, 화자와, 화자의 발언 내용 및 발언 순서를 문서 상에서 확인 가능하도록 표시할 수 있다.
또한, 상기 어플리케이션부(11)는 상기 최종 녹취록 정보에 포함된 상기 특정 텍스트 정보에 따른 특정 텍스트를 상기 특정 텍스트 정보에 포함된 텍스트 속성별 파라미터에 따라 상기 녹취록 정보에 따른 상기 특정 텍스트와 상이하게 표시할 수 있으며, 상기 특정 텍스트를 통해 화자의 음성 변화와 화자의 상태 등과 같은 상담 분위기를 사용자가 정확하게 파악할 수 있도록 지원할 수 있다.
또한, 상기 사용자 단말(10)의 어플리케이션부(11)는 상기 충돌 발생 정보가 포함된 최종 녹취록 정보를 상기 사용자 단말(10)에 표시할 때 상기 문서 상에서 상기 충돌 발생 정보에 대응되는 텍스트와 매칭하여 상기 충돌 발생 정보를 상기 문서 상에 텍스트로서 표시할 수 있다.
상술한 구성을 통해, 본 발명은 상담시 상담에 참여한 참석자의 음성을 텍스트로 변환하여 녹취록 정보를 생성하고, 참석자의 음성에 대한 분석을 통해 화자의 음성 변화에 따른 이벤트 발생시 해당 이벤트를 기초로 녹취록 정보에 포함된 텍스트를 구성하는 텍스트 속성 중 이벤트를 발생시킨 음성 속성과 대응되는 텍스트 속성의 파라미터를 음성 변화 정도에 따라 가변하여 음성 변화가 반영된 텍스트 정보와 대화가 아닌 침묵이나 고함 등과 같은 화자의 상태에 대한 이벤트 관련 텍스트 정보를 포함하는 최종 녹취록 정보를 생성 및 제공할 수 있어, 사용자가 해당 최종 녹취록 정보의 열람에 따라 표시된 문서에 포함되는 상담 내용에 대한 텍스트의 형태나 변화 패턴을 통해 발언시 감정 변화, 감정 상태 등과 같은 화자의 상태와 상담 분위기 등의 상담 당시 상황을 확인할 수 있도록 지원함과 아울러 텍스트를 통해 상담 내용과 상담 당시 상황에 따른 발언시마다의 감정선 변화를 입체적으로 확인할 수 있도록 지원하여 텍스트 기반의 녹취록을 통해 감정선 확인을 통한 상담 내용에 대한 정확한 분석이 이루어질 수 있도록 지원할 수 있다.
한편, 상술한 구성에서, 상기 사용자 단말(10)은 복수의 마이크가 구비되거나 복수의 마이크 장치로부터 음성을 수신할 수 있으며, 상기 어플리케이션부(11)는 상기 복수의 마이크 또는 마이크 장치로부터 음성을 수신하여 생성한 음성 정보를 상기 자료 정보에 포함시켜 전송할 수 있다.
이때, 상기 복수의 마이크는 복수의 화자별로 각각 배분될 수 있으며, 상기 복수의 마이크 각각은 복수의 화자 중 어느 특정 화자의 음성을 가장 크게 수신할 수 있다.
이에 따라, 복수의 화자 중 특정 화자가 발언할 때 다른 화자가 함께 발언하여 화자간 음성이 겹쳐 대화가 겹치는 경우가 발생할 수 있다.
이로 인해, 녹취 서버(100)에서 해당 음성을 텍스트로 변환할 때 대화가 겹치는 음성에 대한 텍스트 변환이 제대로 이루어지지 않는 문제가 발생할 수 있다.
이를 방지하기 위한 구성을 상세히 설명한다.
도시된 바와 같이, 상기 녹취 서버(100)의 텍스트 변환부(120)는 상기 자료 정보에 포함되는 음성 정보들 중 음성 발생 시간이 동일한 서로 다른 복수의 음성 정보 상호 간 음성 패턴이 상이한 경우 상기 음성 발생 시간이 동일한 서로 다른 복수의 음성 정보를 대화가 겹치는 보정 대상 음성 정보로 판단할 수 있다.
일례로, 제 1 화자와 인접 배치된 제 1 마이크로부터 얻어진 음성을 기반으로 생성된 제 1 음성 정보와, 제 2 화자와 인접 배치된 제 2 마이크로부터 얻어진 음성을 기반으로 생성된 제 2 음성 정보의 음성 발생 시간이 동일한 경우 상기 녹취 서버(100)의 텍스트 변환부(120)는 제 1 및 제 2 음성 정보가 동일 시간에 발생한 음성을 기반으로 생성된 음성 정보로 판단하고, 상기 제 1 및 제 2 음성 정보 상호간 음성 패턴이 상이한 경우 제 1 및 제 2 음성정보를 두 명의 화자가 동시에 발언하여 대화가 겹치는 상황에 대응되는 보정이 필요한 보정 대상 음성정보들인 것으로 판단할 수 있다.
또한, 상기 텍스트 변환부(120)는 상기 보정 대상 음성 정보인 복수의 음성 정보 중 어느 하나에서 음량이 가장 큰 수신음을 파악하여, 해당 파악된 수신음을 기초로 노이즈 캔슬링(noise canceling)을 위한 캔슬링 신호를 생성한 후 상기 보정 대상 음성 정보인 상기 복수의 음성 정보 중 나머지 음성 정보 각각에 적용하는 캔슬링 과정을 상기 보정 대상 음성 정보인 복수의 음성 정보마다 수행하여 상기 복수의 음성 정보 각각이 화자 한 명의 음성만을 포함하도록 보정할 수 있다.
일례로, 상기 텍스트 변환부(120)는 제 1 음성 정보에 제 1 화자의 수신음 크기가 가장 큰 경우 상기 제 1 화자의 수신음에 대한 위상 변화를 통해 제 2 음성 정보에서 음성 크기가 가장 큰 제 2 화자의 수신음을 제외한 다른 수신음을 캔슬링하기 위한 캔슬링 신호를 생성하고, 상기 캔슬링 신호를 상기 제 2 음성 정보에 따른 음성과 합성하여 상기 제 2 음성 정보에 따른 음성에서 제 2 화자의 수신음 이외의 나머지 수신음을 노이즈로서 제거할 수 있다.
상술한 구성을 통해, 본 발명은 상담 과정에서 복수의 화자간 대화가 겹치는 상황이 발생하더라도 복수의 마이크를 통해 수신된 복수의 음성 상호 간 노이즈 캔슬링을 통해 특정 화자의 발언이 크게 들리는 음성에서 다른 화자의 음성을 제거하여 대화가 겹치는 음성에 하나의 화자에 대한 음성만이 포함되도록 하고 이를 기초로 대화가 겹치는 순간의 음성에 대해서도 텍스트로 용이하게 변경하여 녹취록을 생성할 수 있어, 상담 내용을 정확하게 텍스트로 변환하여 녹취록에 대한 신뢰성을 높일 수 있다.
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 사용자 단말 11: 어플리케이션부
100: 녹취 서버 110: 수신부
120: 텍스트 변환부 130: 이벤트 생성부
140: 녹취록 생성부 150: 녹취록 갱신부
160: 녹취록 관리부 170: 분석부
100: 녹취 서버 110: 수신부
120: 텍스트 변환부 130: 이벤트 생성부
140: 녹취록 생성부 150: 녹취록 갱신부
160: 녹취록 관리부 170: 분석부
Claims (9)
- 상담에 참여하는 복수의 참석자를 위한 하나 이상의 마이크를 구비하거나 하나 이상의 마이크 장치와 연결되는 사용자 단말에 구성되어, 상기 마이크 또는 마이크 장치로부터 수신되는 음성을 수신하여 음성 정보를 생성하고, 상기 음성 정보가 포함된 자료 정보를 생성하여 전송하며, 음성으로 분석되지 않는 상황에 대한 이벤트 정보를 사용자 입력으로 생성하여 전송하는 어플리케이션부; 및
상기 사용자 단말로부터 수신한 상기 자료 정보의 음성정보에 따른 음성을 인식하여 음성별로 텍스트 정보와 대응 시간 정보를 생성하고, 상기 음성별 텍스트 정보를 화자별로 구분한 녹취록 정보를 생성하며, 상기 음성 정보에서 미리 설정된 이벤트 발생을 검출하여 이벤트 정보를 생성하며, 상기 대응 시간 정보에 따른 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되어 식별된 특정 텍스트 정보와 매칭하여 상기 이벤트 정보를 상기 녹취록 정보에 추가하고, 상기 녹취록 정보에 포함된 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘에 적용하여, 상기 복수의 참석자 중 적어도 하나의 화자별로, 미리 설정된 기준치 이상 반복되는 발언 패턴 및 행동 패턴 중 적어도 하나에 대한 상담 분석 정보를 생성한 후 상기 녹취록 정보에 부가하는 녹취 서버를 포함하되,
상기 녹취 서버는 상기 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되는 특정 텍스트 정보를 식별하고 상기 특정 텍스트 정보를 구성하는 텍스트별로 텍스트를 구성하는 미리 설정된 하나 이상의 텍스트 속성 중 적어도 하나의 파라미터를 상기 이벤트 정보에 따라 가변하여 상기 녹취록 정보를 갱신하는 이벤트 적용 과정을 상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 수행하여 녹취록 정보를 생성하여 제공하며,
상기 하나 이상의 텍스트 속성은 음성 톤의 변화에 따라 변화되는 크기, 음성의 속도에 따라 변화되는 글자 자간 간격이나 글자 폭 중 적어도 하나를 포함하고,
상기 녹취 서버는 수신된 음성 정보에 대한 음성 분석을 통해 상담 과정에서 침묵, 고함 또는 울음 중 적어도 하나를 포함하는 상황 종류를 이벤트 종류로서 검출하거나, 상기 음성 분석을 통해 분석되지 않는 눈물이나 고개 숙임 중 적어도 하나를 포함하는 상황에 대한 이벤트 정보를 상기 어플리케이션부를 통해 수신하면, 상기 상황에 따른 이벤트 종류와 관련된 특정 이벤트가 유지된 시간인 이벤트 유지 시간을 측정하여 산출하고 해당 이벤트 종류와 이벤트 유지 시간을 텍스트로서 이벤트 발생 시간에 맞추어 녹취록에 삽입하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 청구항 1에 있어서,
상기 녹취 서버는 상기 상담 분석 정보가 부가된 녹취록 정보를 상기 사용자 단말에 전송하며,
상기 사용자 단말의 어플리케이션부는 상기 녹취록 정보 수신시 상기 녹취록 정보를 기초로 녹취록 관련 문서를 상기 사용자 단말의 표시부를 통해 표시하고, 상기 문서 상에 상기 상담 분석 정보를 표시하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 청구항 1에 있어서,
상기 녹취 서버는 상기 상담 분석 정보에 포함되는 분석 정보로서, 상기 녹취록 정보의 이벤트 정보와 텍스트 정보를 기초로 상기 녹취록 정보에서 등장 횟수가 미리 설정된 기준치 이상인 특정 문구를 식별하여 상기 특정 문구와 등장 횟수를 포함하는 발언 패턴에 대한 제 1 분석 정보를 생성하거나 상기 녹취록 정보의 상기 이벤트 정보에 따른 음성 변화 및 이벤트 종류 중 적어도 하나와 상기 텍스트 정보를 기초로 미리 설정된 복수의 서로 다른 화자 상태 중 어느 하나에 대한 특정 화자의 특정 상태를 식별하고 상기 특정 화자에 대해 상기 특정 상태의 등장 횟수가 미리 설정된 기준치 이상인 경우 상기 특정 상태와 대응되는 복수의 텍스트 정보를 취합한 후 분석하여 상기 특정 상태를 유발하는 대화 패턴 및 행동 패턴에 대한 제 2 분석 정보를 생성하여 상기 녹취록 정보에 부가하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 청구항 1에 있어서,
상기 녹취 서버는 상기 사용자 단말에 상기 녹취록 정보의 분석을 위한 분석 인터페이스를 제공하며, 상기 사용자 단말의 어플리케이션부로부터 상기 분석 인터페이스를 통한 사용자 입력에 따라 상기 녹취록 정보에서 설정된 사용자 설정 시간에 대한 분석 요청 정보를 수신하고, 상기 분석 요청 정보 수신시 상기 사용자 설정 시간에 속하는 하나 이상의 텍스트 정보 및 이벤트 정보를 기초로 상기 상담 분석 정보를 생성하여 상기 사용자 단말에 전송하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 청구항 1에 있어서,
상기 녹취 서버는 상기 발언 패턴 및 행동 패턴에 따른 미리 설정된 분석 항목별 분석 내용을 포함하는 상기 상담 분석 정보를 생성하고, 상기 사용자 단말로 전송한 상기 녹취록 정보에 대응되어 상기 사용자 단말로부터 상기 복수의 참석자 중 피상담자에 대한 상담 결과 정보를 수신하며, 상기 상담 분석 정보 및 상담 결과 정보와 이에 대응되는 피상담자에 대한 피상담자 정보를 기초로 녹취 분석 결과 정보를 생성하여 저장하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 청구항 5에 있어서,
상기 녹취 서버는 복수의 서로 다른 상담 각각에 대해 상기 녹취 분석 결과 정보 생성시마다 미리 설정된 딥러닝(deep learning) 알고리즘에 학습시켜 상기 피상담자 정보와 상기 상담 분석 정보 및 상기 상담 결과 정보 사이의 상관 관계가 상기 딥러닝 알고리즘에 학습되도록 하고, 특정 녹취록 정보에 대응되는 특정 상담 분석 정보 및 특정 피상담자 정보를 상기 딥러닝 알고리즘에 적용하여, 상기 딥러닝 알고리즘을 통해 상기 특정 피상담자 정보에 따른 특정 피상담자에 대해 상기 특정 상담 분석 정보를 기초로 예측되는 상담 결과 정보에 대한 예측 정보를 생성하는 것을 특징으로 하는 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템.
- 삭제
- 삭제
- 사용자 단말과 통신망을 통해 통신하는 녹취 서버의 상담 내용 분석을 지원하는 녹취 서비스 제공 방법에 있어서,
사용자 단말로부터 상담 과정에서 발생한 음성에 따른 하나 이상의 음성 정보가 포함된 자료 정보를 수신하는 단계;
상기 사용자 단말로부터 수신한 상기 자료 정보의 음성정보에 따른 음성을 인식하여 음성별로 텍스트 정보와 대응 시간 정보를 생성하고, 상기 음성별 텍스트 정보를 화자별로 구분한 녹취록 정보를 생성하는 단계;
상기 음성 정보에서 미리 설정된 이벤트 발생을 검출하여 이벤트 정보를 생성하는 단계;
상기 대응 시간 정보에 따른 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되어 식별된 특정 텍스트 정보와 매칭하여 상기 이벤트 정보를 상기 녹취록 정보에 추가하는 이벤트 추가 과정을 수행하는 단계; 및
상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 상기 이벤트 추가 과정을 수행하고, 상기 녹취록 정보에 포함된 이벤트 정보와 텍스트 정보를 미리 설정된 분석 알고리즘에 적용하여, 복수의 참석자 중 적어도 하나의 화자별로, 미리 설정된 기준치 이상 반복되는 발언 패턴 및 행동 패턴 중 적어도 하나에 대한 상담 분석 정보를 생성한 후 상기 녹취록 정보에 부가하는 단계를 포함하되,
상기 음성 발생 시간과 상기 이벤트 정보에 따른 이벤트 발생 시간을 기초로 상기 녹취록 정보에서 상기 이벤트 정보에 대응되는 특정 텍스트 정보를 식별하고 상기 특정 텍스트 정보를 구성하는 텍스트별로 텍스트를 구성하는 미리 설정된 하나 이상의 텍스트 속성 중 적어도 하나의 파라미터를 상기 이벤트 정보에 따라 가변하여 상기 녹취록 정보를 갱신하는 이벤트 적용 과정을 상기 녹취록 정보에 대응되어 생성되는 모든 이벤트 정보별로 수행하는 단계를 더 포함하고,
상기 하나 이상의 텍스트 속성은 음성 톤의 변화에 따라 변화되는 크기, 음성의 속도에 따라 변화되는 글자 자간 간격이나 글자 폭 중 적어도 하나를 포함하며,
수신된 음성 정보에 대한 음성 분석을 통해 상담 과정에서 침묵, 고함 또는 울음 중 적어도 하나를 포함하는 상황 종류를 이벤트 종류로서 검출하거나, 상기 음성 분석을 통해 분석되지 않는 눈물이나 고개 숙임 중 적어도 하나를 포함하는 상황에 대한 이벤트 정보를 상기 사용자 단말을 통해 수신하면, 상기 상황에 따른 이벤트 종류와 관련된 특정 이벤트가 유지된 시간인 이벤트 유지 시간을 측정하여 산출하고 해당 이벤트 종류와 이벤트 유지 시간을 텍스트로서 이벤트 발생 시간에 맞추어 녹취록에 삽입하는 단계를 더 포함하는 상담 내용 분석을 지원하는 녹취 서비스 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200007622A KR102193656B1 (ko) | 2020-01-20 | 2020-01-20 | 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200007622A KR102193656B1 (ko) | 2020-01-20 | 2020-01-20 | 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102193656B1 true KR102193656B1 (ko) | 2020-12-21 |
Family
ID=74090586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200007622A KR102193656B1 (ko) | 2020-01-20 | 2020-01-20 | 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102193656B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220127471A (ko) * | 2021-03-11 | 2022-09-20 | 정선경 | 가상현실을 이용한 심리 상담 제공 장치, 방법 및 프로그램 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080012561A (ko) | 2006-08-04 | 2008-02-12 | 지덕구 | 상담 창구 녹취 시스템 및 방법 |
| KR20150065523A (ko) * | 2013-12-05 | 2015-06-15 | 포항공과대학교 산학협력단 | 상담 정보를 이용하여 상담 대화를 제공하는 방법 및 장치 |
| WO2018173252A1 (ja) * | 2017-03-24 | 2018-09-27 | ヤマハ株式会社 | 重要単語抽出装置、及び関連会議抽出システム |
| KR20190043254A (ko) * | 2017-10-18 | 2019-04-26 | 한국전자통신연구원 | 대화형 상담 장치 및 방법 |
| KR20190125153A (ko) * | 2018-04-27 | 2019-11-06 | 아토머스 주식회사 | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 |
| KR20190125154A (ko) * | 2018-04-27 | 2019-11-06 | 아토머스 주식회사 | 심리 상담 데이터를 기계 학습한 자동 대화 장치 및 그 방법 |
-
2020
- 2020-01-20 KR KR1020200007622A patent/KR102193656B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080012561A (ko) | 2006-08-04 | 2008-02-12 | 지덕구 | 상담 창구 녹취 시스템 및 방법 |
| KR20150065523A (ko) * | 2013-12-05 | 2015-06-15 | 포항공과대학교 산학협력단 | 상담 정보를 이용하여 상담 대화를 제공하는 방법 및 장치 |
| WO2018173252A1 (ja) * | 2017-03-24 | 2018-09-27 | ヤマハ株式会社 | 重要単語抽出装置、及び関連会議抽出システム |
| KR20190043254A (ko) * | 2017-10-18 | 2019-04-26 | 한국전자통신연구원 | 대화형 상담 장치 및 방법 |
| KR20190125153A (ko) * | 2018-04-27 | 2019-11-06 | 아토머스 주식회사 | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 |
| KR20190125154A (ko) * | 2018-04-27 | 2019-11-06 | 아토머스 주식회사 | 심리 상담 데이터를 기계 학습한 자동 대화 장치 및 그 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220127471A (ko) * | 2021-03-11 | 2022-09-20 | 정선경 | 가상현실을 이용한 심리 상담 제공 장치, 방법 및 프로그램 |
| KR102532908B1 (ko) * | 2021-03-11 | 2023-05-15 | 정선경 | 딥러닝 및 가상현실을 이용한 심리 상담 제공 장치, 방법 및 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6341092B2 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
| CN108305641B (zh) | 情感信息的确定方法和装置 | |
| US11688416B2 (en) | Method and system for speech emotion recognition | |
| US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
| WO2022005661A1 (en) | Detecting user identity in shared audio source contexts | |
| CN107818798A (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| WO2014069076A1 (ja) | 会話分析装置及び会話分析方法 | |
| WO2020253128A1 (zh) | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 | |
| US20180253280A1 (en) | Voice interaction apparatus, its processing method, and program | |
| CN104538043A (zh) | 一种通话中实时情感提示装置 | |
| CN103003876A (zh) | 修改经由声音通道的对话中的语音质量 | |
| US10755704B2 (en) | Information processing apparatus | |
| CN110826637A (zh) | 情绪识别方法、系统及计算机可读存储介质 | |
| CN111344717A (zh) | 交互行为预测方法、智能装置和计算机可读存储介质 | |
| KR102193656B1 (ko) | 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법 | |
| CN115148185A (zh) | 语音合成方法及装置、电子设备及存储介质 | |
| CN111192577A (zh) | 交流装置及交流装置的控制程序 | |
| CN112910761A (zh) | 即时通讯方法、装置、设备、存储介质以及程序产品 | |
| KR102226427B1 (ko) | 호칭 결정 장치, 이를 포함하는 대화 서비스 제공 시스템, 호칭 결정을 위한 단말 장치 및 호칭 결정 방법 | |
| CN116597858A (zh) | 语音口型匹配方法、装置、存储介质及电子设备 | |
| JP2018021953A (ja) | 音声対話装置および音声対話方法 | |
| KR20120044808A (ko) | 인스턴트 메신저 서비스 제공시스템 및 그 제공방법, 및 통신 단말기 및 그 통신방법 | |
| KR102193654B1 (ko) | 상담 상황을 반영한 녹취 서비스 제공 시스템 및 방법 | |
| KR102605178B1 (ko) | 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| KR20200082232A (ko) | 감성 분석 장치, 이를 포함하는 대화형 에이전트 시스템, 감성 분석을 수행하기 위한 단말 장치 및 감성 분석 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Publication of correction |