KR20230084441A - 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 - Google Patents
인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20230084441A KR20230084441A KR1020230070224A KR20230070224A KR20230084441A KR 20230084441 A KR20230084441 A KR 20230084441A KR 1020230070224 A KR1020230070224 A KR 1020230070224A KR 20230070224 A KR20230070224 A KR 20230070224A KR 20230084441 A KR20230084441 A KR 20230084441A
- Authority
- KR
- South Korea
- Prior art keywords
- text
- customer
- query
- counselor
- module
- Prior art date
Links
- 238000000275 quality assurance Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004590 computer program Methods 0.000 title claims description 18
- 238000013528 artificial neural network Methods 0.000 title description 7
- 230000014509 gene expression Effects 0.000 claims description 55
- 238000013136 deep learning model Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012805 post-processing Methods 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 18
- 238000009223 counseling Methods 0.000 description 18
- 101100505329 Coprinellus congregatus CGP1 gene Proteins 0.000 description 11
- 101100428737 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) VPS54 gene Proteins 0.000 description 11
- 238000012800 visualization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000510009 Varanus griseus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Technology Law (AREA)
Abstract
상담 품질 보증 서비스 서버의 동작 방법이 개시된다. 상기 동작 방법은 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하고, 상기 텍스트가 상기 상담사의 발화에 해당하는 상담사 발화 텍스트인지 상기 고객의 발화에 해당하는 고객 발화 텍스트인지를 판단하고, 상기 텍스트가 상기 상담사 발화 텍스트일 때 상기 상담사 발화 텍스트에 상기 고객에게 필수적으로 발화해야 하는 내용의 포함 유무와 상기 고객에게 발화하기에 부적절한 내용의 포함 유무를 판단하고, 상기 판단의 결과에 따라 상기 상담사 발화 텍스트에 해당하는 문장을 발화한 상기 상담사에 대한 품질 보증 분석 결과를 생성하여 상기 상담사에게 피드백한다.
Description
본 발명은 상담 서비스 품질 보증(consultation service quality assurance)방법에 관한 것으로, 특히 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행하는 컴퓨터 프로그램에 관한 것이다.
음성 인식(speech recognition)은 사람이 말하는 음성 언어를 컴퓨터 또는 컴퓨터 프로그램이 해석하여 상기 음성 언어의 내용을 문자 데이터로 전환하는 처리를 의미한다. 음성을 텍스트로 변환하는 기술을 STT(Speech-to-Text) 또는 음성 인식이라고 한다. STT 또는 음성 인식은 키보드를 사용하여 문자를 입력하는 대신에 음성을 이용하여 문자를 입력하는 방식으로 주목받고 있다.
본 발명이 이루고자 하는 기술적인 과제는 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하고, 인공 신경망을 이용하여 상기 텍스트에 포함된 문장에 상기 상담사가 상기 고객에게 필수적으로 발화(또는 말)해야 하는 내용이 포함되었는지와 상기 고객에게 발화하기에 부적절한 내용이 포함되었는지를 판단하여 상기 상담사가 상기 고객에게 발화한 문장에 대한 품질 보증 분석 결과를 상기 상담사에게 피드백할 뿐만 아니라, 상기 고객의 질의(question)에 적합한 답변(answer)을 상기 상담사에게 피드백할 수 있는 상담 서비스 품질 보증 방법과 그 장치, 및 상기 방법을 수행하는 컴퓨터 프로그램을 제공하는 것이다.
본 발명에 따른 상담 품질 보증 서비스 서버의 동작 방법은 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하는 단계와, 상기 텍스트가 상기 상담사의 발화에 해당하는 상담사 발화 텍스트인지 상기 고객의 발화에 해당하는 고객 발화 텍스트인지를 판단하는 단계와, 상기 텍스트가 상기 상담사 발화 텍스트일 때, 상기 상담사 발화 텍스트에 상기 고객에게 필수적으로 발화해야 하는 내용의 포함 유무와 상기 고객에게 발화하기에 부적절한 내용의 포함 유무를 판단하는 단계와, 상기 유무에 대한 판단의 결과에 따라 상기 상담사 발화 텍스트에 해당하는 문장을 발화한 상기 상담사에 대한 품질 보증을 위한 분석 결과를 생성하고 상기 분석 결과가 상기 상담사의 컴퓨팅 장치의 모니터에 표시되도록 상기 분석 결과를 상기 상담사의 컴퓨팅 장치로 실시간으로 피드백하는 단계를 포함한다.
본 발명에 따른 컴퓨터로 읽을 수 있는 매체에는 상기 상담 품질 보증 서비스 서버의 동작 방법을 실행하기 위해 컴퓨터 프로그램이 기록된다.
본 발명에 따른 상담 품질 보증 서비스 서버는 프로세서와, 상기 프로세서로 읽을 수 있는 컴퓨터 프로그램을 기록한 저장 매체를 포함하고, 상기 저장 매체는 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하는 단계와, 상기 텍스트가 상기 상담사의 발화에 해당하는 상담사 발화 텍스트인지 상기 고객의 발화에 해당하는 고객 발화 텍스트인지를 판단하는 단계와, 상기 텍스트가 상기 상담사 발화 텍스트일 때 상기 상담사 발화 텍스트에 상기 고객에게 필수적으로 발화해야 하는 내용의 포함 유무와 상기 고객에게 발화하기에 부적절한 내용의 포함 유무를 판단하는 단계와, 상기 유무에 대한 판단의 결과에 따라 상기 상담사 발화 텍스트에 해당하는 문장을 발화한 상기 상담사에 대한 품질 보증을 위한 분석 결과를 생성하고, 상기 분석 결과가 상기 상담사의 컴퓨팅 장치의 모니터에 표시되도록 상기 분석 결과를 상기 상담사의 컴퓨팅 장치로 실시간으로 피드백하는 단계를 실행하는 상기 컴퓨터 프로그램을 저장한다.
본 발명에 따라, 하드웨어와 결합되어 상담 품질 보증 서비스를 제공하기 위한 매체에 저장된 컴퓨터 프로그램은 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하는 단계와, 상기 텍스트가 상기 상담사의 발화에 해당하는 상담사 발화 텍스트인지 상기 고객의 발화에 해당하는 고객 발화 텍스트인지를 판단하는 단계와, 상기 텍스트가 상기 상담사 발화 텍스트일 때 상기 상담사 발화 텍스트에 상기 고객에게 필수적으로 발화해야 하는 내용의 포함 유무와 상기 고객에게 발화하기에 부적절한 내용의 포함 유무를 판단하는 단계와, 상기 유무에 대한 판단의 결과에 따라 상기 상담사 발화 텍스트에 해당하는 문장을 발화한 상기 상담사에 대한 품질 보증을 위한 분석 결과를 생성하고 상기 분석 결과가 상기 상담사의 컴퓨팅 장치의 모니터에 표시되도록 상기 분석 결과를 상기 상담사의 컴퓨팅 장치로 실시간으로 피드백하는 단계를 실행한다.
본 발명에 따라 ARS와 상담 품질 보증 서비스 서버를 이용한 상담 품질 보증 서비스 제공 방법은 상기 상담 품질 보증 서비스 서버가 고객과 상담사의 대화 내용을 녹취한 음성 파일을 상기 ARS로부터 수신하여 텍스트로 변환하는 단계와, 상기 상담 품질 보증 서비스 서버가 상기 텍스트가 상기 상담사의 발화에 해당하는 상담사 발화 텍스트인지 상기 고객의 발화에 해당하는 고객 발화 텍스트인지를 판단하는 단계와, 상기 상담 품질 보증 서비스 서버가 상기 텍스트가 상기 상담사 발화 텍스트일 때 상기 상담사 발화 텍스트에 상기 고객에게 필수적으로 발화해야 하는 내용의 포함 유무와 상기 고객에게 발화하기에 부적절한 내용의 포함 유무를 판단하는 단계와, 상기 상담 품질 보증 서비스 서버가 상기 유무에 대한 판단의 결과에 따라 상기 상담사 발화 텍스트에 해당하는 문장을 발화한 상기 상담사에 대한 품질 보증을 위한 분석 결과를 생성하고 상기 분석 결과가 상기 상담사의 컴퓨팅 장치의 모니터에 표시되도록 상기 분석 결과를 상기 상담사의 컴퓨팅 장치로 실시간으로 피드백하는 단계를 포함한다.
본 발명의 실시 예에 따른 상담 서비스 품질 보증 방법과 그 장치, 및 상기 방법을 수행하는 컴퓨터 프로그램은 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하고, 인공 신경망을 이용하여 상기 텍스트에 포함된 문장에 상기 상담사가 상기 고객에게 필수적으로 발화해야 하는 내용이 포함되었는지와 상기 고객에게 발화하기에 부적절한 내용이 포함되었는지를 판단하여 상기 상담사가 상기 고객에게 발화한 문장에 대한 품질 보증 분석 결과를 상기 상담사에게 피드백할 수 있는 효과뿐만 아니라, 상기 텍스트에 포함된 상기 고객의 질의가 비전형적인가를 판단하고, 판단 결과에 따라 품질 보증 서비스 서버 내부에 존재하는 답변 또는 외부 데이터베이스로부터 전송된 답변을 상기 상담사에게 피드백할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따라 텍스트를 분류하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 인공 신경망을 이용한 상담 서비스 품질 보증 방법을 수행하는 품질 보증 서비스 시스템의 블록도를 나타낸다.
도 3은 도 2에 도시된 컴퓨터 프로그램의 동작을 설명하기 위한 도면이다.
도 1은 본 발명의 실시 예에 따라 텍스트를 분류하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 인공 신경망을 이용한 상담 서비스 품질 보증 방법을 수행하는 품질 보증 서비스 시스템의 블록도를 나타낸다.
도 3은 도 2에 도시된 컴퓨터 프로그램의 동작을 설명하기 위한 도면이다.
도 1은 본 발명의 실시 예에 따라 텍스트를 분류하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 외부 장치와 인터페이싱(또는 통신) 기능을 수행하는 공통 컨트롤러(110)는 상품 또는 서비스 판매(예를 들면, 보험 상품 판매)에 관련된 음성 녹취 파일이 스크립트(script)로 변환된 텍스트 파일(이를 '텍스트'라고도 한다,)을 수신하고, 상기 텍스트 파일에 포함된 문장들 각각을 나누어 문장별로 프리 프로세서(122)로 전송한다.
핸들러의 기능을 수행하는 REST API 인터페이스(120)는 프리 프로세서(122)와 포스트 프로세서(124)를 포함한다.
프리 프로세서(122)는 텍스트 파일에 포함된 각각의 문장을 공통 컨트롤러 (110)로부터 수신한다. 프리 프로세서(122)는, 인공 신경망(130)의 입력값으로 사용하기 위해, 이미 학습된 워드 임베딩(word embedding)을 이용해 텍스트 파일에 포함된 각각의 문장을 구성하는 단어들을 벡터값으로 변환한다. 프리 프로세서 (122)는 각각의 문장을 단어 단위로 벡터화시키고, 단어별로 색인된 숫자를 결과값으로 출력한다.
TCR(topic classification recognition) 모델의 입력 벡터값의 차원(IVD)은 수학식 1에 따라 계산된다.
[수학식 1]
IVD=NP*MN*DS
여기서, NP는 한 번에 입력되는 문장의 개수이고, MN은 한 문장에 포함된 형태소의 최대 개수이고, DS는 한 형태소의 워드 임베딩의 차원의 크기이다.
프리 프로세서(122)에 의해 벡터화된 문장은 각 레이어(142, 144, 및 150)로 입력된다. TCR 제1 부적절 레이어1(142)는 각 문장에 포함된 부적절한 표현을 확인하는 모델이다. TCR 제1 부적절 레이어2(144)는 TCR 제1 부적절 레이어1(142)에 의해 부적절한 표현으로 출력된 값을 검증하는 모델이다.
TCR 섹션 레이어(150)는 상담사가 피상담자(또는 고객)에게 반드시 고지해야 하는 스크립트(또는 내용)를 확인하는 모델이다.
부적절한 표현은 다양하게 존재할 수 있으므로, 더욱 높은 정확도를 가진 모델을 구현하기 위해 TCR 섹션 레이어(150)와 달리 TCR 제1부적절 레이어(140)는 2개의 레이어들(142와 144)을 갖는다.
TCR 제1 부적절 레이어들(142와 144) 각각의 결과값이 동일할 때 TCR 제1 부적절 레이어들(142와 144) 중에서 적어도 하나는 해당 문장의 벡터값을 TCR 제2 부적절 레이어(160)로 전송한다.
TCR 제2 부적절 레이어(160)는 수신된 문장에 포함된 적절한 표현(positive)과 부적절한 표현(negative)만을 학습하고, 최종적으로 해당 문장이 적절한 표현을 포함하는 문장인지 또는 부적절한 표현을 포함하는 문장인지를 판단(또는 도출)한다,
NER(Named Entity Recognition; 170) 모델은 개체명 인식 모델로서 기계 학습(machine learning)을 기반으로 한 문장 안에 포함된 특정 단어가 어떤 카테고리를 갖는지를 분류한다. NER(170) 모델은 TCR 섹션 레이어(150)에 의해 분류된 문장을 단어별로 카테고리를 분류하여 추가적으로 검사한다.
각 상담 녹취록의 각 문장은 레이어들(140, 150, 및 160)을 모두 거치므로, 상기 각 문장은 고유한 키값을 갖는다.
포스트 프로세서(124)는 TCR 제2 부적절 레이어(160)의 출력과 NER 모델 (170)의 출력을 수신하고, 고유한 키값을 기반으로 각 상담 녹취록별로 부적절한 표현을 포함하는 문장이 있는지 여부와 상담사가 피상담자에게 필수적으로 제공해야하는 스크립트(또는 내용)의 누락 여부를 확인한다.
포스트 프로세서(124)를 통해 각 상담 녹취록은 최종적으로 정상, 보완, 또는 경고 등으로 분류된다.
도 1을 참조하여 설명된 판매 품질 보증 모델(sales quality assurance model)을 통해 예측된 결과들은 회사(예를 들며느 보험사)의 판매 품질 보증팀에 전달되어 수많은 상담 녹취록을 확인할 때에 참고 지표로 활용되어 같은 시간 대비 훨씬 많은 양의 상담 녹취록을 확인할 수 있도록 한다. 이를 통해 회사의 손실을 줄이거나, 판매 품질 보증팀의 자리를 대체하여 판매 품질 보증 시스템의 자동화에 사용될 수 있다.
도 2는 본 발명의 실시 예에 따른 인공 신경망을 이용한 상담 서비스 품질 보증 방법을 수행하는 품질 보증 서비스 시스템의 블록도를 나타낸다.
품질 보증 서비스 시스템(200)은 고객(이를 '피상담자'라고도 한다. 210)의 전화기(215), 상담사(또는 상담자; 220)의 전화기(221), 상담사(220)의 컴퓨팅 장치(223), ARS(Automatic Response System; 230), 및 품질 보증 서비스 서버(240)를 포함한다. 각 전화기(215와 221)는 유선 전화기 또는 무선 전화기(예를 들면, 스마트폰 포함)일 수 있다. ARS(230)는 고객(210)과 상담사(220)의 대화 내용을 녹취하여 녹취된 음성 파일(SF)를 생성하는 녹취 장치를 통칭한다.
품질 보증 서비스 시스템(200)은 판매(또는 상담사) 품질 보증 서비스 시스템, 인공 지능 기반 분석 시스템, 콜 센터(예를 들면, 인바운드 콜 센터(inbound call center) 및/또는 아웃바운드 콜 센터(outbound call center)를 포함) 또는 컨택 센터(contact center)라고 할 수 있다.
품질 보증 서비스 시스템(200)은 품질 보증 서비스 서버(240)에 의해 액세스 가능한 매체 또는 데이터 저장 장치(예를 들면, 데이터베이스; 250)를 더 포함한다.
전화기들(215와 221)을 이용하여 고객(210)과 상담사(220)가 주고받은 상담 내용(즉, 전화 통화 내용)은 ARS(230)에 의해 자동으로 녹취되고, 녹취된 음성 파일(SF)은 ARS 장치(230)와 품질 보증 서비스 서버(240)에 의해 액세스 가능한 데이터 저장 장치(예를 들면, 데이터베이스; 235)에 저장된다.
실시 예들에 따라, 녹취된 음성 파일(SF)은 자동으로 또는 실시간으로 통신망을 통해 품질 보증 서비스 서버(240)로 전송(또는 스트리밍)될 수 있다.
품질 보증 서비스 서버(240)는 프로세서(241), 메모리(243), 및 인터페이스 (248)를 포함한다.
*프로세서(241)는 상담사의 상담 품질 보증과 추천 답변을 제공하는 컴퓨터 프로그램을 실행할 수 있다. 컴퓨터 프로그램은 하드웨어(예를 들면, 품질 보증 서비스 서버(240) 또는 프로세서(241))와 결합되어 상담 품질 보증과 추천 답변을 제공하기 위해 매체(예를 들면, 메모리(243))에 저장되고, 상기 하드웨어는 본 명세서에서 설명되는 상기 컴퓨터 프로그램에 의해 실행되는 단계들을 수행할 수 있다.
컴퓨터 프로그램은 하드웨어(예를 들면, 240 또는 241)로 하여금 본 명세서에서 설명되는 도 3에 도시되고 설명되는 각 모듈에 의해 수행(또는 실행)되는 각 단계를 수행하기 위한 명령들(또는 프로그램 코드들)을 포함한다. 본 명세서에서 설명되는 각 모듈(310 내지 380)은 명령들(또는 프로그램 코드들)의 기능적 집합 및/또는 구조적 집합을 의미한다.
송수신 장치의 기능을 수행하는 인터페이스(245)는 ARS 장치(230)와 품질 보증 서비스 서버(240)가 정보를 주거나 받는데 필요한 제1인터페이스, 품질 보증 서비스 서버(240)와 상담사(220)의 컴퓨팅 장치(223)가 정보를 주거나 받는데 필요한 제2인터페이스, 및 품질 보증 서비스 서버(240)와 데이터베이스(250)가 정보를 주거나 받는데 필요한 제3인터페이스를 총칭한다.
상담사(220)의 컴퓨팅 장치(223)는 품질 보증 서비스 서버(240)로부터 전송된 정보(예를 들면, 도 3의 QAR, EAA, 및/또는 ANS에 해당하는 정보)를 수신하여 디스플레이하는 표시 장치(예를 들면, 모니터(225))를 포함한다. 컴퓨팅 장치(223)는 PC 또는 모바일 장치를 포함하고, 상기 모바일 장치는 랩탑 컴퓨터, 모바일 인터넷 장치(mobile internet device(MID)), 또는 EDA(enterprise digital assistant) 등을 포함한다.
도 3은 도 2에 도시된 컴퓨터 프로그램의 동작을 설명하기 위한 도면이다.
도 1의 공통 컨트롤러(110)은 도 3의 인터페이스(245)에 대응되고, 도 1의 프리 프로세서(122)는 모듈들(310, 320, 및 330)의 기능을 수행하고, 도 1의 포스트 프로세서(124)는 도 3의 후처리 모듈(340)의 기능을 수행한다.
도 1의 도면 번호(130)은 도 3의 필수 키워드 인식 모듈(332)과 부적절 표현 인식 모듈(334)을 좀더 구체적으로 표현한 부분이고, 도 3의 필수 키워드 인식 모듈(332)은 도 1의 구성들(150과 170)의 기능들을 수행할 수 있고, 도 3의 부적절 표현 인식 모듈(334)은 도 1의 구성들(140과 160)의 기능들을 수행할 수 있다.
도 1의 각 TCR(Topic Classification Recognize; 142, 144, 162, 164, 및 166)은 입력되는 텍스트가 어떤 타입의 텍스트인지 구분하는 딥러닝 모델이다.
부적절 표현 인식 모듈(334)에 대응되는 구성들(140과 160)은 입력되는 텍스트에 포함된 문장에 포함된 표현이 어떤 부적절한 표현인지를 인지(또는 판단)하기 위해 두 단계로 필터링하는 과정을 거친다. 각 구성(140과 160)은 복수개의 TCR 모델들을 포함한다.
필수 키워드 인식 모듈(332)에 대응되는 구성들(150과 170)은 입력되는 텍스트 내에 포함된 문장에 어떤 필수 키워드들이 있는지를 판단(또는 인지)하기 위한 구성들이다.
입력되는 텍스트에 포함된 필수 고지 사항을 분류하기 위한 TCR 섹션 레이어 (150)는 입력되는 텍스트가 전체 필수 고지 사항들 중에 어떤 부분인지를 분류하는 TCR 모델이고, 필수 키워드 인식을 위한 NER 모델(170)은 TCR 섹션 레이어(150)로부터 출력된 텍스트에 포함되어 있을만한 필수 키워드(들)의 유무와 그 위치를 판단(또는 인식)하는 NER 모델이다.
도 2와 도 3을 참조하면, STT(speech-to-text) 모듈(310)은 ARS(230)로부터 전송(예를 들면, 실시간으로 전송)된 고객(210)과 상담사(220) 사이의 대화 내용이 녹취된 음성 파일(SF)을 수신하여 텍스트들(TF)로 변환한다.
STT 모듈(310)은 음성들 각각에 텍스트들 각각을 매칭시킨 다량의 음성-텍스트 셋(set)을 스스로 학습하고, 학습의 결과에 기초하여 음성 파일(SF)에 포함된 문장들 각각을 텍스트들(TF) 각각으로 변환하는 STT 딥러닝 모델을 사용한다. 여기서, 모델(model)은 알고리즘 또는 상기 알고리즘을 구현한 소프트웨어를 의미할 수 있다.
상품(또는 서비스) 상담(또는 판매)을 위한 음성 파일(SF)이 인터페이스 (245)를 통해 STT 모듈(310)로 입력되면, STT 모듈(310)은 음성 파일(SF)에 해당하는 텍스트들(TF)을 생성하여 화자 분리 모듈(320)로 출력한다.
화자(話者) 분리 모듈(320)은 고객(210)의 발화(이를 '말'이라고도 한다.)와 상담사(220)의 발화가 서로 섞여있는 텍스트들(TF)로부터 고객(210)의 발화에 해당하는 텍스트와 상담사(220)의 발화에 해당하는 텍스트를 분리해 낸다.
화자 분리 모듈(320)은 고객의 발화에 해당하는 텍스트와 상담사의 발화에 해당하는 텍스트 각각에 미리 태깅(tagging)되어 있는 상담 로그 데이터를 딥러닝 모델로 학습한다.
화자 분리 모듈(320)은 딥러닝 모델로 이미 학습된 상담 로그 데이터(예를 들면, 보험 상품 판매 상담 로그 데이터, 등)에 기초하여 텍스트들(TF) 각각을 고객(210)의 발화에 해당하는 텍스트와 상담사(220)의 발화에 해당하는 텍스트로 분류한다. 하나의 텍스트는 하나의 문장을 포함한다고 가정한다.
화자 분리 모듈(320)은 텍스트들(TF) 중에서 상담사(220)의 발화에 해당하는 텍스트로 분류된 상담사 발화 텍스트들(CGP)을 주제 분류 모듈(330)으로 전송하고, 텍스트들(TF) 중에서 고객(210)의 발화에 해당하는 텍스트로 분류된 고객 발화 텍스트들(CQP)를 질의 요소 추출 모듈(350)과 메타 벡터 추출 모듈(370)로 전송한다.
주제 분류 모듈(330)은 상담사 발화 텍스트들(CGP) 각각을 필수 고지 사항 텍스트(CGP1) 또는 부적절 표현 텍스트(CGP2)로 분류하는 인공 지능 모듈이다.
예를 들면, 필수 고지 사항은 불완전 판매(misselling)를 방지하기 위해 보험이나 펀드와 같은 금융 상품 또는 서비스 구매를 권유하는 상담사(또는 판매자)가 구매자인 고객에게 제공하는(또는 제공해야 할) 구매에 있어서 필요하고도 충분한 정보(또는 내용)를 의미한다.
불완전 판매는 금융 상품 모집인(예를 들면, 상담사)이 상품의 위험성과 손실 가능성 등을 소비자(예를 들면, 고객)에게 제대로 알리지 않고 판매하는 것을 뜻한다. 즉, 금융회사 상담사는 투자자인 고객에게 금융 상품을 판매할 때 금융 상품의 기본 구조, 자금 운용 방식, 및 원금 손실 여부 등 주요 내용(예를 들면, 필수 고지 사항)에 대해 상기 고객이 이해할 수 있도록 설명해야 할 의무가 있다. 이러한 의무를 위반한 판매가 불완전 판매이다.
필수 고지 사항 텍스트(CGP1)는 상담사(220)가 고객(210)에게 필수적으로 발화해야 하는 필수 고지 사항(들)을 포함하는 텍스트이고, 부적절 표현 텍스트 (CGP2)는 상담사(220)가 고객(210)에게 발화하기에 부적절한 표현(예를 들면, 세일즈 발화 등)을 포함하는 텍스트이다.
주제 분류 모듈(330)은, 미리 학습된 상담 텍스트들에 포함된 문장들 또는 표현들을 이용하여, 상담사 발화 텍스트들(CGP) 각각을 필수 고지 사항 텍스트 (CGP1)와 부적절 표현 텍스트(CGP2) 중 어느 하나로 분류하고, 필수 고지 사항 텍스트(CGP1)를 키워드 인식 모듈(332)로 전송하고, 부적절 표현 텍스트(CGP2)를 부적절 표현 인식 모듈(334)로 전송한다.
실시 예들에 따라, 주제 분류 모듈(330)은 상담사 발화 텍스트들(CGP) 각각을 문장 분리(sentence splitter) 딥러닝 모델을 이용하여 필수 고지 사항 텍스트 (CGP1) 또는 부적절 표현 텍스트(CGP2)로 분류한다.
실시 예들에 따라, 주제 분류 모듈(330)은, 기존의 상담 텍스트들(또는 상담 텍스트들에 포함된 문장들)을 학습한 분류 딥러닝 모델(classify deep learning model)을 통해, 분류 대상 텍스트가 상기 기존의 상담 텍스트들 중에서 어느 텍스트와 일치하는지를 예측하고, 예측의 결과를 출력할 수 있다.
NER(Named-Entity Recognition) 인공 지능 모델을 활용하는 필수 키 워드 인식 모듈(332)은 주제 분류 모듈(330)로부터 전송된 필수 고지 사항 텍스트(CGP1) 내에 상담사(220)가 필수 고지 사항들 중에서 필수적으로 발화해야 하는 단어 또는 키워드(또는 키워드들)가 존재하는지를 판단한다.
필수 키 워드 인식 모듈(332)은 주제 분류 모듈(330)로부터 전송된 필수 고지 사항 텍스트(CGP1) 내에 필수 키워드(entity)가 몇개 있는지 그리고 상기 필수 키워드가 문장 내에서 어느 위치에 있는지를 학습하는 NER 딥러닝 모델을 이용한다. 필수 키 워드 인식 모듈(332)은, NER 딥러닝 모델을 이용하여, 필수 고지 사항 텍스트(CGP1) 내에 필수 키워드가 몇개 존재하는지와 상기 필수 키워드의 위치를 판단하고, 판단의 결과를 후처리 모듈(340)로 출력한다.
부적절 표현 인식 모듈(334)은 주제 분류 모듈(330)로부터 전송된 부적절 표현 텍스트(CGP2)를 수신하고, 부적절 표현 텍스트(CGP2) 내에 부적절한 표현이 있는지를 판단하고, 판단의 결과를 후처리 모듈(340)로 출력한다.
부적절 표현 인식 모듈(334)은 부적절한 표현들을 포함하는 텍스트들을 분류 딥러닝 모델을 이용하여 학습한다. 부적절 표현 인식 모듈(334)은 부적절 표현 텍스트(CGP2) 내에 부적절한 표현(또는 표현들)이 존재하는지를 분류 딥러닝 모델을 활용하여 예측하고, 예측의 결과를 후처리 모듈(340)로 출력한다.
후처리 모듈(340)은 필수 키워드 인식 모듈(332)의 판단 결과와 부적절 표현 인식 모듈(334)의 판단 결과를 수신하고, 수신된 결과들을 이용하여 상담사 발화 텍스트들(CGP) 각각이 필수 고지 사항 텍스트(CGP1)인지 또는 부적절 표현 텍스트 (CGP2)인지, 필수 고지 사항 텍스트(CGP1)에 필수 키워드가 몇개 포함되어 있고 상기 필수 키워드의 위치가 문장 내에서 어디인지, 및/또는 부적절 표현 텍스트 (CGP2)에 부적절한 표현이 있는지를 판단한다.
실시 예들에 따라, 후처리 모듈(340)은, 필수 키워드 인식 모듈(332)의 판단 결과를 이용하여, 실시간 상담 도중에 상담사(220)가 고객(210)에게 필수적으로 고지해야하는 내용을 모두 발화했는지를 확인할 수 있다.
후처리 모듈(340)은, 필수 키워드 인식 모듈(332)의 판단 결과를 이용하여, 필수 고지 사항 텍스트(CGP1) 내에 고객(210)에게 필수적으로 발화해야 하는 키워드가 있는 경우 실시간 상담 도중에 상담사(220)가 고객(210)에게 모든 필수 키워드까지 발화했는지를 확인할 수 있다.
후처리 모듈(340)은, 부적절 표현 인식 모듈(334)의 판단 결과를 이용하여, 실시간 상담 도중에 상담사(220)가 고객(210)에게 부적절한 표현을 했는지를 판단하고, 상담사(220)가 고객(210)에게 부적절한 표현을 발화한 경우 이에 대한 조치를 수행할 수 있다.
후처리 모듈(340)은 고객(210)에게 발화하는 상담사(220)가 고객(210)에게 발화하지 못한(또는 누락한) 문장이 있는지, 고객(210)에게 계약에 필요한 필수 고지 사항을 발화했는지, 고객(210)에게 상기 계약에 필요한 필수 키워드까지 발화했는지, 및/또는 상담사(220)가 고객(210)에게 부적절한 표현을 했는지를 판단하고, 판단 결과(QAR)를 상담사 QC 시각화 모듈(245-1)로 출력한다. 후처리 모듈(340)은 문장별로 상담사(220)의 발화에 대한 품질 보증을 위한 분석 결과(QAR)를 생성하고 출력한다.
상담사 QC(Quality Control) 시각화 모듈(245-1)은, 후처리 모듈(340)로부터 출력된 발화에 대한 품질 보증을 위한 분석 결과(QAR)에 따라, 상담사(220)가 누락한 문장의 유무, 누락된 필수 고지 사항의 유무, 누락된 키워드의 유무, 및/또는 부적절한 표현의 유무를 실시간으로 상담사(220)에게 피드백(즉, 분석 결과(QAR)를 모니터(225)로 전송)할 수 있다. 상담사(220)에게 피드백되는 내용은 컴퓨팅 장치(223)의 모니터(225)에 표시된다.
고객(210)의 발화(또는 질의)의 의도를 파악하기 위해, 질의 요소 추출 모듈 (350)은 고객 발화 텍스트들(CQP) 각각에 포함된 하나 또는 둘 이상의 질의 요소들 (예를 들면, 단어, 의도, 및/또는 감정 등)을 추출한다.
예를 들면, 질의 요소 추출 모듈(350)은 고객 발화 텍스트들(CQP) 각각에 NER(named entity recognition) 딥러닝 모델, SAR(speech act recognition) 딥러닝 모델, 및/또는 TER(text emotion recognition) 딥러닝 모델을 적용하여 고객 발화 텍스트들(CQP) 각각에 대한 하나 또는 둘 이상의 질의 요소들을 추출한다.
NER 딥러닝 모델은 고객(210)의 질의에 해당하는 문장에 포함된 단어(또는 단어들)를 추출하는 딥러닝 모델의 일 예이고, SAR 딥러닝 모델은 고객(210)의 질의에 해당하는 문장으로부터 고객(210)의 질의 의도를 추출하는 딥러닝 모델의 일 예이고, TER 딥러닝 모델은 질의하는 고객(210)의 감정을 추출하는 딥러닝 모델의 일 예이다.
질의 요소 추출 모듈(350)의 동작과 동시에 또는 병렬적으로 메타 벡터 추출 모듈(370)은 각각의 고객 발화 텍스트(CQP)에 NER 딥러닝 모델, SAR 딥러닝 모델, 및/또는 TER 딥러닝 모델을 적용하여 각각의 고객 발화 텍스트(CQP)에 해당하는 고객 발화 메타 벡터값(MV1)을 생성하여 이를 메타 벡터 유사도 비교 모듈(380)로 출력한다.
메타 벡터 추출 모듈(370)은 데이터베이스(250)로부터 질의-답변 쌍들(QnA)을 수신하고, 질의-답변 쌍들(QnA)에서 포함된 질의들 각각에 NER 딥러닝 모델, SAR 딥러닝 모델, 및/또는 TER 딥러닝 모델을 적용하여 상기 질의들 각각에 해당하는 질의 메타 벡터 값들(MV2) 각각을 생성하고, 질의 메타 벡터 값들(MV2)과 질의-답변 쌍들(QnA)을 메타 벡터 유사도 비교 모듈(380)로 출력한다.
적합 답변 탐색 모듈(360)은 질의 요소 추출 모듈(350)에 의해 추출된 하나 또는 둘 이상의 질의 요소들(QE)을 기반으로 고객(210)의 질의에 답변을 해야하는 상담사(350)에게 제공될 적합한 답변을 탐색(또는 추출)한다. 적합 답변 탐색 모듈 (360)은 추출된 질의 요소들(QE)에 해당하는 답변들을 포함(또는 이용)할 수 있다고 가정한다.
적합 답변 탐색 모듈(360)은 질의 요소 추출 모듈(350)에 의해 추출된 질의 요소들(entities; QE)의 질의 유형을 분류하고, 미리 구축된 질의-답변 쌍들 중에서 상기 질의 유형에 해당하는 질의-답변 쌍을 탐색하고, 탐색된 질의-답변 쌍에 포함된 답변(EAA)을 상담사 추천 답변 시각화 모듈(245-2)로 출력한다.
적합 답변 탐색 모듈(360)에 의해 상담사(220)에게 제공할 적합한 답변(EAA)이 탐색되면, 적합 답변 탐색 모듈(360)은 탐색된 답변(EAA)을 상담사 추천 답변 시각화 모듈(245-2)로 출력한다.
예를 들면, 고객(210)의 질의가 전형적인(normal) 경우 적합 답변 탐색 모듈 (360)은 데이터베이스(250)로부터 전송된 질의-응답 쌍(QnA)을 참조하지 않고 스스로 상기 질의에 해당하는 답변(EAA)을 상담사(220)에게 제공할 수 있다.
그러나, 적합 답변 탐색 모듈(360)에 의해 상담사(220)에게 제공할 적합한 답변이 탐색되지 않으면(예를 들면, 고객(210)의 질의가 비전형적(abnormal)이라 적합 답변 탐색 모듈(360)이 데이터베이스(250)에 저장된 질의-응답 쌍(QnA)을 참조하지 않고는 스스로 상기 질의에 해당하는 답변을 상담사(220)에게 제공할 수 없을 때), 적합 답변 탐색 모듈(360)은 탐색(또는 추출) 실패 메시지(FLR)를 메타 벡터 유사도 비교 모듈(380)로 출력하다. 탐색 실패 메시지(FLR)는 고객의 질의가 비전형적임을 나타낸다.
메타 벡터 유사도 비교 모듈(380)은 고객 발화 메타 벡터 값(MV1), 질의 메타 벡터 값들(MV2), 및 질의-답변 쌍들(QnA)을 수신하고, 탐색 실패 메시지(FLR)가 수신될 때에만 질의 메타 벡터 값들(MV2) 각각과 고객 발화 메타 벡터 값(MV1)을 비교하여 질의 메타 벡터 값들(MV2) 중에서 고객 발화 메타 벡터 값(MV1)과 가장 유사한 값을 갖는 질의를 선택하고, 선택된 질의와 쌍을 이루는 답변(ANS)을 유사 질문 답변으로서 상담사 추천 답변 시각화 모듈(245-2)로 출력한다.
예를 들면, 데이터베이스(250)로부터 출력된 질의-답변 쌍들(QnA)의 개수가 100개일 때, 메타 벡터 추출 모듈(370)은 100개의 질의들 각각에 NER 딥러닝 모델, SAR 딥러닝 모델, 및 TER 딥러닝 모델을 적용하여 100개의 질의 메타 벡터 값들 (MV2)을 생성한다.
예를 들면, 1번부터 100번까지의 질의-답변 쌍들(QnA) 중에서 50번째 질의-응답 쌍에 대한 질의 메타 벡터 값이 고객 발화 메타 벡터 값(MV1)과 가장 유사한 값을 가질 때, 메타 벡터 유사도 비교 모듈(380)은 상기 50번째 질의-응답 쌍에 포함된 응답(ANS)을 추천 답변으로서 상담사 추천 답변 시각화 모듈(245-2)로 출력한다.
메타 벡터 유사도 비교 모듈(380)은 탐색 실패 메시지(FLR)가 수신되지 않을 때는 고객 발화 텍스트에 대한 고객 발화 메타 벡터 값(MV1), 질의 메타 벡터 값들(MV2), 및 질의-답변 쌍들(QnA)을 버린다. 이때, 적합 답변 탐색 모듈(360)은 탐색된 답변(EAA)을 상담사 추천 답변 시각화 모듈(245-2)로 출력한다.
상담사 추천 답변 시각화 모듈(245-2)은 적합 답변 탐색 모듈(360)로부터 출력된 탐색된 답변(EAA) 또는 메타 벡터 유사도 비교 모듈(380)로부터 출력된 유사 질문 답변(ANS)을 수신하여 모니터(225)를 통해 상담사(220)에게 피드백한다.
따라서, 상담사(220)는 고객(210)의 질의에 대해 컴퓨터 프로그램(300)이 제공한 답변(EAA 또는 ANS)을 UI 또는 UX 화면 구성을 통해 고객(210)과의 상담 도중에 실시간으로 피드백받을 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
200: 품질 보증 서비스 시스템
210: 고객 또는 피상담자
215: 고객 전화기 220: 상당사
221: 상담사 전화기 223: 상담사 컴퓨팅 장치
230: ARS(Automatic Response System; 230) 240: 품질 보증 서비스 서버
241: 프로세서 243: 메모리
245: 인터페이스 300: 컴퓨터 프로그램
310: STT 모듈 320: 화자 분리 모듈
330: 주제 분리 모듈 332: 필수 키워드 인식 모듈
334: 부적절 표현 인식 모듈 340: 후처리 모듈
350: 질의 요소 추출 모듈 360: 적합 답변 탐색 모듈
370: 메타 벡터 추출 모듈
380: 메타 벡터 유사도 비교 모듈
215: 고객 전화기 220: 상당사
221: 상담사 전화기 223: 상담사 컴퓨팅 장치
230: ARS(Automatic Response System; 230) 240: 품질 보증 서비스 서버
241: 프로세서 243: 메모리
245: 인터페이스 300: 컴퓨터 프로그램
310: STT 모듈 320: 화자 분리 모듈
330: 주제 분리 모듈 332: 필수 키워드 인식 모듈
334: 부적절 표현 인식 모듈 340: 후처리 모듈
350: 질의 요소 추출 모듈 360: 적합 답변 탐색 모듈
370: 메타 벡터 추출 모듈
380: 메타 벡터 유사도 비교 모듈
Claims (13)
- 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하는 STT 모듈;
상기 텍스트에서, 상기 고객의 발화에 해당하는 고객 발화 텍스트를 추출하는 화자 분리 모듈;
상기 고객 발화 텍스트를 수신하여, 질의 요소들을 추출하는 질의 요소 추출 모듈;
상기 고객 발화 텍스트를 수신하여 상기 고객 발화 텍스트에 대응하는 고객 발화 메타 벡터값을 추출하고, 데이터베이스로부터 질의-답변 쌍들을 수신하여 상기 질의-답변 쌍들에 대응하는 질의 메타 벡터 값들을 추출하는 메타 벡터 추출 모듈;
상기 추출된 질의 요소를 수신하여 상기 질의 요소들의 질의 유형을 분류하고 상기 질의 유형에 대응하는 제1 답변 여부를 탐색하고, 상기 제1 답변이 불가능하다고 판단할 경우, 실패 메시지를 메타 벡터 유사도 비교 모듈로 전달하는 적합 답변 탐색 모듈; 및
상기 실패 메시지 수신에 반응하여, 상기 고객 발화 메타 벡터값, 상기 질의 메타 벡터 값들 및 상기 질의-답변 쌍들을 수신하고, 상기 질의 메타 벡터 값들을 상기 고객 발화 메타 벡터값과 비교하여 최종 질의를 결정하고, 상기 질의-답변 쌍들에 기초하여 상기 최종 질의에 대응하는 제2 답변을 결정하는 상기 메타 벡터 유사도 비교 모듈
을 포함하고,
상기 메타 벡터 유사도 비교 모듈은
NER(Named Entity Recognition) 딥러닝 모델, SAR(Speech Act Recognition) 딥러닝 모델 및 TER(Text Emotion Recognition) 딥러닝 모델 중 적어도 하나를 포함하고, 상기 실패 메시지가 수신되지 않을 경우, 상기 고객 발화 메타 벡터값, 상기 질의 메타 벡터 값들 및 상기 질의-답변 쌍들의 수신을 거부하는, 상담 품질 보증 서비스 서버.
- 제1항에 있어서,
상기 화자 분리 모듈은
상기 텍스트에서, 상기 상담사의 발화에 해당하는 상담사 발화 텍스트를 추출하고,
문장 분리(sentence splitter) 딥러닝 모델을 이용하여 상기 상담사 발화 텍스트를 필수 고지 사항 텍스트 또는 부적절 표현 텍스트로 분류하는 주제 분류 모듈
을 더 포함하는, 상담 품질 보증 서비스 서버.
- 제2항에 있어서,
상기 필수 고지 사항 텍스트를 수신하여, NER 딥러닝 모델을 이용하여 상기 필수 고지 사항 텍스트 내에 존재하는 필수 키워드의 수와 위치에 대한 정보를 추출하는 키워드 인식 모듈
을 더 포함하는, 상담 품질 보증 서비스 서버.
- 제3항에 있어서,
상기 부적절 표현 텍스트를 수신하여, 분류 딥러닝 모델을 이용하여 상기 부적절 표현 텍스트 내에 존재하는 부적절한 표현들의 존재 여부를 예측하는 부적절 표현 인식 모듈
을 더 포함하는, 상담 품질 보증 서비스 서버.
- 제4항에 있어서,
상기 키워드 인식 모듈로부터 수신한 상기 필수 키워드의 수와 위치에 대한 정보와 상기 부적절 표현 인식 모듈로부터 수신한 상기 부적절한 표현들의 존재 여부를 수신하여, 판단 결과를 출력하는 후처리 모듈
을 더 포함하는, 상담 품질 보증 서비스 서버.
- 제4항에 있어서,
상기 부적절 표현 인식 모듈은 복수의 TCR 모델들을 포함하고,
상기 TCR 모델들 각각의 입력 벡터값의 차원은 한 번에 입력되는 문장의 개수, 한 문장에 포함된 형태소의 최대 개수 및 한 형태소의 워드 임베딩의 차원의 크기에 기초하여 결정되는, 상담 품질 보증 서비스 서버.
- 고객과 상담사의 대화 내용을 녹취한 음성 파일을 텍스트로 변환하는 단계;
상기 텍스트에서, 상기 고객의 발화에 해당하는 고객 발화 텍스트를 추출하는 단계;
상기 고객 발화 텍스트를 질의 요소 추출 모듈에 입력하여, 상기 고객 발화 텍스트로부터 질의 요소들을 추출하는 단계;
상기 고객 발화 텍스트를 메타 벡터 추출 모듈에 입력하여, 상기 고객 발화 텍스트에 대응하는 고객 발화 메타 벡터값을 추출하는 단계;
데이터베이스로부터 질의-답변 쌍들을 수신하는 단계;
상기 질의-답변 쌍들을 상기 메타 벡터 추출 모듈에 입력하여, 상기 질의-답변 쌍들에 대응하는 질의 메타 벡터 값들을 추출하는 단계;
상기 추출된 질의 요소를 적합 답변 탐색 모듈에 입력하여, 상기 질의 요소들의 질의 유형을 분류하고, 상기 질의 유형에 대응하는 제1 답변 여부를 탐색하는 단계;
상기 적합 답변 탐색 모듈에서, 상기 제1 답변이 불가능하다고 판단할 경우, 실패 메시지를 메타 벡터 유사도 비교 모듈로 전달하는 단계;
상기 메타 벡터 유사도 비교 모듈은 상기 실패 메시지 수신에 반응하여, 상기 고객 발화 메타 벡터값, 상기 질의 메타 벡터 값들 및 상기 질의-답변 쌍들을 수신하는 단계;
상기 메타 벡터 유사도 비교 모듈은 상기 질의 메타 벡터 값들을 상기 고객 발화 메타 벡터값과 비교하여 최종 질의를 결정하고, 상기 질의-답변 쌍들에 기초하여 상기 최종 질의에 대응하는 제2 답변을 결정하는 단계; 및
상기 제2 답변을 상기 상담사의 컴퓨팅 장치로 제공하는 단계
를 포함하는 상담 품질 보증 서비스 서버의 동작 방법.
- 제7항에 있어서,
상기 텍스트에서, 상기 상담사의 발화에 해당하는 상담사 발화 텍스트를 추출하는 단계; 및
문장 분리(sentence splitter) 딥러닝 모델을 이용하여 상기 상담사 발화 텍스트를 필수 고지 사항 텍스트 또는 부적절 표현 텍스트로 분류하는 단계
를 더 포함하는, 상담 품질 보증 서비스 서버의 동작 방법.
- 제8항에 있어서,
상기 필수 고지 사항 텍스트를 수신하여, NER 딥러닝 모델을 이용하여 상기 필수 고지 사항 텍스트 내에 존재하는 필수 키워드의 수와 위치에 대한 정보를 추출하는 단계
를 더 포함하는, 상담 품질 보증 서비스 서버의 동작 방법.
- 제9항에 있어서,
부적절 표현 인식 모듈에서 상기 부적절 표현 텍스트를 수신하여, 분류 딥러닝 모델을 이용하여 상기 부적절 표현 텍스트 내에 존재하는 부적절한 표현들의 존재 여부를 예측하는 단계
를 더 포함하는, 상담 품질 보증 서비스 서버의 동작 방법.
- 제10항에 있어서,
상기 필수 키워드의 수와 위치에 대한 정보와 상기 부적절 표현 인식 모듈로부터 수신한 상기 부적절한 표현들의 존재 여부를 수신하여, 판단 결과를 출력하는 단계
를 더 포함하는, 상담 품질 보증 서비스 서버의 동작 방법.
- 제10항에 있어서,
상기 부적절 표현 인식 모듈은 복수의 TCR 모델들을 포함하고,
상기 TCR 모델들 각각의 입력 벡터값의 차원은 한 번에 입력되는 문장의 개수, 한 문장에 포함된 형태소의 최대 개수 및 한 형태소의 워드 임베딩의 차원의 크기에 기초하여 결정되는, 상담 품질 보증 서비스 서버의 동작 방법.
- 하드웨어와 결합되어 제7항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190049212 | 2019-04-26 | ||
| KR1020190049212 | 2019-04-26 | ||
| KR1020200050431A KR20200125526A (ko) | 2019-04-26 | 2020-04-26 | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200050431A Division KR20200125526A (ko) | 2019-04-26 | 2020-04-26 | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230084441A true KR20230084441A (ko) | 2023-06-13 |
Family
ID=72940931
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200050431A KR20200125526A (ko) | 2019-04-26 | 2020-04-26 | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 |
| KR1020230070224A KR20230084441A (ko) | 2019-04-26 | 2023-05-31 | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200050431A KR20200125526A (ko) | 2019-04-26 | 2020-04-26 | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR20200125526A (ko) |
| WO (1) | WO2020218659A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102424848B1 (ko) * | 2021-10-07 | 2022-07-25 | 주식회사 두유비 | 인공지능을 기반으로 우수 상담사의 상담 패턴 모델을 활용하는 전자 장치의 실시간 상담 품질 평가 방법, 및 시스템 |
| KR102503260B1 (ko) * | 2022-03-31 | 2023-02-23 | 유대건 | 고객상담 및 사후관리를 인공지능 기반으로 분석하여 고객별 병원의 대응을 개선하는 병원고객관리시스템 |
| KR102537168B1 (ko) * | 2022-04-28 | 2023-05-26 | 주식회사 애자일소다 | 불완전판매 모니터링 장치 및 방법 |
| KR20230163649A (ko) * | 2022-05-24 | 2023-12-01 | 옵스나우 주식회사 | 실시간 음성 상담 지원을 위한 지능형 답변 추천 시스템 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101662383B1 (ko) | 2013-07-16 | 2016-10-10 | 삼성생명보험주식회사 | 보험상품 판매 정보 제공 방법 및 장치 |
| KR20190024324A (ko) | 2017-08-31 | 2019-03-08 | 이수연 | 딥러닝을 이용한 보험 상품 제공 방법 |
| KR101970899B1 (ko) | 2017-11-27 | 2019-04-24 | 주식회사 머니브레인 | 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7191133B1 (en) * | 2001-02-15 | 2007-03-13 | West Corporation | Script compliance using speech recognition |
| KR20150138918A (ko) * | 2014-05-30 | 2015-12-11 | 주식회사 루키스 | 상담 품질 측정을 위한 콜센터 시스템 및 상담 품질 측정 방법 |
| KR101778679B1 (ko) * | 2015-10-02 | 2017-09-14 | 네이버 주식회사 | 딥러닝을 이용하여 텍스트 단어 및 기호 시퀀스를 값으로 하는 복수 개의 인자들로 표현된 데이터를 자동으로 분류하는 방법 및 시스템 |
| KR102055899B1 (ko) * | 2017-09-28 | 2019-12-16 | 한국과학기술원 | 맥락을 이용하여 문서를 검색하는 시스템 및 방법 |
| KR101949427B1 (ko) * | 2018-06-28 | 2019-02-18 | 주식회사 부뜰정보시스템 | 상담내용 자동평가 시스템 및 그 방법 |
-
2019
- 2019-04-29 WO PCT/KR2019/005156 patent/WO2020218659A1/ko active Application Filing
-
2020
- 2020-04-26 KR KR1020200050431A patent/KR20200125526A/ko active Application Filing
-
2023
- 2023-05-31 KR KR1020230070224A patent/KR20230084441A/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101662383B1 (ko) | 2013-07-16 | 2016-10-10 | 삼성생명보험주식회사 | 보험상품 판매 정보 제공 방법 및 장치 |
| KR20190024324A (ko) | 2017-08-31 | 2019-03-08 | 이수연 | 딥러닝을 이용한 보험 상품 제공 방법 |
| KR101970899B1 (ko) | 2017-11-27 | 2019-04-24 | 주식회사 머니브레인 | 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200125526A (ko) | 2020-11-04 |
| WO2020218659A1 (ko) | 2020-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112804400B (zh) | 客服呼叫语音质检方法、装置、电子设备及存储介质 | |
| US10824814B2 (en) | Generalized phrases in automatic speech recognition systems | |
| KR20230084441A (ko) | 인공 신경망을 이용한 상담 서비스 품질 보증 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램 | |
| US9910845B2 (en) | Call flow and discourse analysis | |
| CN110197672B (zh) | 一种语音通话质量检测方法、服务器、存储介质 | |
| US10311377B2 (en) | Categorization of user interactions into predefined hierarchical categories | |
| US8145562B2 (en) | Apparatus and method for fraud prevention | |
| CN105874530B (zh) | 预测自动语音识别系统中的短语识别质量 | |
| US8145482B2 (en) | Enhancing analysis of test key phrases from acoustic sources with key phrase training models | |
| US9477752B1 (en) | Ontology administration and application to enhance communication data analytics | |
| US9483582B2 (en) | Identification and verification of factual assertions in natural language | |
| US10841424B1 (en) | Call monitoring and feedback reporting using machine learning | |
| CA3151051A1 (en) | Method for conversion and classification of data based on context | |
| US11657402B2 (en) | Dynamic claims submission system | |
| US11647116B2 (en) | Automated agent behavior recommendations for call quality improvement | |
| US10339534B2 (en) | Segregation of chat sessions based on user query | |
| CN112233680A (zh) | 说话人角色识别方法、装置、电子设备及存储介质 | |
| Pallotta et al. | Interaction mining: the new frontier of customer interaction analytics | |
| CN114841128A (zh) | 基于人工智能的业务交互方法、装置、设备、介质及产品 | |
| CN113657773A (zh) | 话术质检方法、装置、电子设备及存储介质 | |
| KR20220126884A (ko) | 금융상품 에이전트용 서버 및 그것의 동작 방법 | |
| CN110209776B (zh) | 操作虚拟助理的方法及系统 | |
| CN113094471A (zh) | 交互数据处理方法和装置 | |
| US11947872B1 (en) | Natural language processing platform for automated event analysis, translation, and transcription verification | |
| US11989514B2 (en) | Identifying high effort statements for call center summaries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |