KR20190127134A - 텍스트 기반 상담 품질 관리 시스템 및 방법 - Google Patents
텍스트 기반 상담 품질 관리 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190127134A KR20190127134A KR1020180051327A KR20180051327A KR20190127134A KR 20190127134 A KR20190127134 A KR 20190127134A KR 1020180051327 A KR1020180051327 A KR 1020180051327A KR 20180051327 A KR20180051327 A KR 20180051327A KR 20190127134 A KR20190127134 A KR 20190127134A
- Authority
- KR
- South Korea
- Prior art keywords
- counseling
- information
- text
- consultation
- script
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000003326 Quality management system Methods 0.000 title claims description 13
- 238000013515 script Methods 0.000 claims abstract description 87
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000009223 counseling Methods 0.000 claims description 274
- 238000007726 management method Methods 0.000 claims description 37
- 230000007704 transition Effects 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G06F17/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
Abstract
본 발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 시스템은 STT 시스템, 채팅상담 시스템 또는 챗봇상담 시스템 중 적어도 하나로부터 상담 텍스트 및 상담 정보를 수신하는 시스템 연동부; 및 상기 상담 텍스트로부터 상담 특징 정보를 추출하고, 상기 상담 특징 정보를 이용하여 상담 균질도 점수를 생성하는 텍스트 패턴 분석부; 상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트의 일치율 정보를 이용하여 상담 이행 점수를 생성하는 텍스트 이행 분석부; 및 상기 상담 균질도 점수 및 상기 상담 이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리하는 서비스 처리부를 포함한다.
Description
본 발명의 실시예들은 텍스트 기반 상담 품질 관리 시스템 및 방법에 관한 것이다.
최근 들어 오프라인 상거래 대신 온라인 상거래가 급증하면서 콜 센터의 중요성이 부각되고 있다. 이에 따라, 콜 센터에 걸려오는 상담 콜이 점점 증가하고 있다.
예컨대, 상담원 1명당 하루 평균 최대 80여건의 상담을 처리하고 있는 실정인데, 상담원이 100명이면 해당 콜 센터는 하루에 8,000건, 한 달이면 16만 건의 상담 콜을 처리하게 된다.
이처럼 많은 상담 콜이 발생하면서 상담원 및 상담 서비스에 대한 품질 관리가 어려워지고 있다. 이에, 기존 콜 센터에서는 서비스, 상품, 프로세스, 시스템의 변화와 함께 상담 유형 정보를 오랜 기간 동안 생성, 수정, 삭제 과정을 반복하여 관리하고 있다.
또한, 상담원은 상담 중 또는 상담 직후에 고객과 상담한 내용의 상담 유형을 수기로 작성하여 본인이 상담한 상담 유형 정보를 저장하며, 상담 스크립트를 개발하는 관리자는 저장된 콜의 상담 유형 정보를 주기적으로 분석하여 필요한 상담 스크립트를 작성 또는 업데이트하고 상담원에게 배포한다. 이에 따라 상담원들은 고객과의 상담 시 업데이트된 상담 스크립트를 참고하고 있다.
그런데, 상담원이 직접 작성하는 상담 유형 정보는 상담원의 주관적인 판단이 개입되기 때문에, 콜 센터 운영의 필수적인 중요한 정보임에도 불구하고 얼마나 정확하고 활용되고 있는지 알 수가 없다. 따라서, 상담 유형에 따른 콜 분류, 통계 분석, 또는 상담품질 평가 시 정확하게 이루어질 수 없다는 문제점이 있다.
또한 최근에는 콜 센터에서 인공지능(AI)을 활용한 상담 서비스를 제공하고 있다. 그러나, 콜 센터에서 상담은 매우 복잡하고 정형화되어 있지 않아 AI 기반 상담 시스템의 상담 모델링에 필요한 정보가 부족해서 해당 상담 시스템의 신뢰도가 40~50%(고객 문의에 대한 적절한 답변의 비율)로 매우 낮은 실정이다.
관련 선행기술문헌으로는 대한한국 공개특허공보 제10-2005-0041485호(발명의 명칭: 콜센터 시스템에서의 상담원 성과 평가 방법, 공개일자: 2005.05.04)가 있다.
본 발명의 일 실시예는 STT(Speech to Text) 시스템, 채팅상담 시스템 및 챗봇상담 시스템 등의 연동 시스템으로부터 제공되는 상담 텍스트를 기반으로 한 분석을 통해 상담 품질을 개선하여 상담 서비스의 신뢰성을 향상시킬 수 있는 텍스트 기반 상담 품질 관리 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 시스템은 STT 시스템, 채팅상담 시스템 또는 챗봇상담 시스템 중 적어도 하나로부터 상담 텍스트 및 상담 정보를 수신하는 시스템 연동부; 및 상기 상담 텍스트로부터 상담 특징 정보를 추출하고, 상기 상담 특징 정보를 이용하여 상담 균질도 점수를 생성하는 텍스트 패턴 분석부; 상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트의 일치율 정보를 이용하여 상담 이행 점수를 생성하는 텍스트 이행 분석부; 및 상기 상담 균질도 점수 및 상기 상담 이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리하는 서비스 처리부를 포함한다.
상기 텍스트 패턴 분석부는 상기 STT 시스템, 상기 채팅상담 시스템 또는 상기 챗봇상담 시스템 중 적어도 하나와 연동하여 상기 상담 정보로부터 상담 특징 정보를 추출하고, 기 저장된 분류 배점표를 참조하여 상기 상담 특징 정보에 대응되는 배점을 기초로 상기 상담 균질도 점수를 생성할 수 있다.
상기 상담 균질도 점수는 상기 상담 특징 정보별 표준정규분포율에 기반하여 생성될 수 있다.
상기 분류 배점표는 상기 상담 특징 정보별 표준정규분포율에 따라 배점이 상이하게 구성되고, 상기 배점은 상기 상담 특징 정보별 표준정규분포의 중앙에 비해 좌우 사이드로 갈수록 상대적으로 낮게 선정될 수 있다.
상기 텍스트 이행 분석부는 상기 상담 텍스트에 대하여 상기 상담 스크립트를 기준으로 일치율 정보를 생성하고, 상기 일치율 정보를 기반으로 상기 상담 텍스트의 상담 유형 정보를 생성하며, 상기 상담 유형 정보와 매핑되는 상담 스크립트를 호출하여 해당 상담 스크립트와 텍스트 분석 정보를 비교하고, 상기 비교의 결과에 따라 상담원의 상담 스크립트 이행 여부를 분석하여 상기 상담 이행 점수를 생성할 수 있다.
상기 텍스트 이행 분석부는 상기 텍스트 분석 정보를 상기 상담 스크립트와 비교하기 전에, 상기 텍스트 분석 정보에서 상기 스크립트 이행 여부의 산정 대상으로 생성하고, 상기 생성된 산정 대상과 관련된 텍스트와 상기 상담 스크립트의 매뉴얼을 비교하며, 상기 비교의 결과 상기 산정 대상과 관련된 텍스트와 상기 상담 스크립트의 라인이 일치하면, 상기 산정 대상이 해당 스크립트를 이행한 것으로 판단하고, 정상적으로 이행 완료했음을 나타내는 정보를 포함시켜 스크립트 이행 정보를 생성할 수 있다.
상기 상담 특징 정보는 상담사의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간의 평균 정보)을 포함하는 상담사의 특징 정보, 및 고객의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간의 평균 정보)을 포함하는 고객 특징 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 방법은 상담 품질 관리 서버의 시스템 연동부가 STT 시스템, 채팅상담 시스템 또는 챗봇상담 시스템 중 적어도 하나로부터 상담 텍스트 및 상담 정보를 수신하는 단계; 상기 상담 품질 관리 서버의 텍스트 패턴 분석부가 상기 상담 텍스트로부터 상담 특징 정보를 추출하고, 상기 상담 특징 정보를 이용하여 상담 균질도 점수를 생성하는 단계; 상기 상담 품질 관리 서버의 텍스트 이행 분석부가 상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트의 일치율 정보를 이용하여 상담 이행 점수를 생성하는 단계; 및 상기 상담 품질 관리 서버의 서비스 처리부가 상기 상담 균질도 점수 및 상기 상담 이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, STT, 채팅 상담, 챗봇 상담 텍스트의 상담 균질도 정보, 상담유형정보, 상담 컨텐츠 이행정보를 생성하여 사용자의 수기 평가 대상 상담을 자동으로 분류 처리함으로써 상담 품질을 개선하여 상담 서비스의 신뢰성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 시스템의 네트워크 구성을 도시한 도면이다.
도 2는 도 1의 상담 품질 관리 서버의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 상담 시간에 따른 표준정규분포율을 나타낸 그래프 함수를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 상담균질도 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 상담이행 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 6은 스크립트 관리(스크립트 등록, 수정)에 관한 사용자 화면의 예시도이다.
도 7는 수기 평가 대상 상담에 관한 사용자 화면의 예시도이다.
도 2는 도 1의 상담 품질 관리 서버의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 상담 시간에 따른 표준정규분포율을 나타낸 그래프 함수를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 상담균질도 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 상담이행 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 6은 스크립트 관리(스크립트 등록, 수정)에 관한 사용자 화면의 예시도이다.
도 7는 수기 평가 대상 상담에 관한 사용자 화면의 예시도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 시스템의 네트워크 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 텍스트 기반 상담 품질 관리 시스템(100)은 상담 센터에서 고객과 상담원 간 발생하는 상담 텍스트를 기반으로 한 분석을 통해 상담 품질을 개선하여 상담 서비스의 신뢰성을 향상시킬 수 있다.
이를 위해, 본 발명의 실시예에 따른 텍스트 기반 상담 품질 관리 시스템(100)은 기본적으로 KMS(Knowledge Management System) 서버(120), 상담 품질 관리 서버(110)를 포함할 수 있다.
상기 KMS 서버(120)는 예측이 어려운 고객의 다양하고 복잡한 요구에 신속하게 대응하고 업무의 효율성을 향상시키기 위한 시스템으로, 기업의 상품이나 서비스 관련 정보는 물론 업무 노하우 등 유/무형으로 존재하는 지식 정보를 체계적으로 통합 관리할 수 있다. 상기 KMS 서버(120)는 상기 상담 품질 관리 서버(110)에 구축될 수 있다.
상기 KMS 서버(120)는 상담 업무에 대한 지식 정보를 통합 관리하며, 특히 상담 품질 관리자(160) 또는 KMS 담당자의 요청에 의해 상담용 매뉴얼(대본)로 사용되는 상담 스크립트를 등록하고 이의 업데이트를 관리할 수 있다. 이러한 구성에 의해 상기 상담 서버는 상기 KMS 서버(120)와 연동하여 상담 시 필요한 지식 정보를 참조하여 활용할 수 있다.
상기 상담 품질 관리 서버(110)는 텍스트 상담의 결과인 상담 특징 정보를 생성하고 이를 기반으로 상담균질도 점수를 자동으로 생성하고 사용자(상담 품질 관리자, 160)가 등록한 상담 컨텐츠와 상담 텍스트의 일치율 정보를 생성하고 이를 기반으로 상담유형정보와 상담이행 점수를 자동으로 생성하여 사용자의 수기 평가 대상에 해당하는 상담을 자동으로 분류 처리할 수 있다. 이러한 기능을 수행하는 상담 품질 관리 서버(110)에 대해 도 2를 참조하여 구체적으로 설명한다.
도 2는 도 1의 상담 품질 관리 서버(110)의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 1 및 도 2를 참조하면, 상기 상담 품질 관리 서버(110)는 시스템 연동부(210), 텍스트 패턴 분석부(220), 텍스트 이행 분석부(230), 서비스 처리부(240), 및 데이터베이스(DB) 서버(250)를 포함할 수 있다.
상기 시스템 연동부(210)의 수신부는 상담사 정보, 상담 정보를 연동 시스템(STT 시스템(131), 채팅상담 시스템(140), 챗봇상담 시스템(150) 등)으로부터 수신하여 상기 DB 서버(250)에 저장할 수 있다. 여기서, 상담사 정보는 상담사의 이름, 사번, 내선번호, 소속 팀과 조직, 업무 정보 등을 포함할 수 있다. 상기 상담 정보는 해당 정보를 전송한 연동 시스템(STT 시스템, 채팅상담 시스템, 챗봇상담 시스템) 정보, 상담 구분 정보, 상담사 구분 정보, 상담 유형 정보, 상담 시작/종료 시간 등을 포함할 수 있다.
상기 시스템 연동부(210)의 파일관리부는 상기 연동 시스템으로부터 상담 텍스트 파일을 수신하여 임시저장 후 상기 텍스트 패턴 분석부(220), 텍스트 이행 분석부(230)의 분석 프로세스가 종료되면 해당 파일을 삭제 할 수 있다. 여기서, 상기 상담 텍스트에는 고객과 상담사의 텍스트의 구분 정보가 포함될 수 있다.
상기 시스템 연동부(210)의 전송부는 상기 DB 서버(250)에 저장되어 있는 사용자가 등록한 음성상담 스크립트, 채팅상담 스크립트, 챗봇상담 스크립트 정보를 KMS, 채팅상담 시스템 및 챗봇상담 시스템에 각각 주기적으로 전송할 수 있다. 상기 KMS(120), 채팅상담 시스템(140) 및 상기 챗봇상담 시스템(150)은 상기 전송받은 상담 스크립트 정보를 저장 관리하며, 상담사가 상담 할 때 또는 시스템이 자동으로 채팅 답변 시 상기 전송 받은 상담 스크립트 정보를 조회 정보로 사용할 수 있다. 또는, 빅데이터, AI 시스템에서 해당 정보를 조회하는 경우 관련 시스템에 상기 상담 스크립트 정보를 전송할 수 있다.
상기 DB 서버(250)는 상담유형정보, 상담사의 답변과 질문, 고객의 답변과 질문을 상담 스크립트 DB 테이블에 등록할 수 있다. 참고로, 상기 상담 스크립트 DB 테이블은 도면에는 도시되지 않았지만 상기 DB 서버(250)에 구비될 수 있다.
상기 텍스트 패턴 분석부(220)는 상기 상담 텍스트의 특징 정보를 추출하고 해당 특징 정보는 상기 DB 서버(250)에 저장될 수 있다. 상기 텍스트 패턴 분석부(220)는 기 저장된 분류 배점표를 참조하여 상기 상담 특징 정보에 대응되는 배점을 상기 상담균질도 점수로서 생성할 수 있다.
여기서, 상기 상담균질도 점수는 상기 상담 특징 정보별 표준정규분포율에 기반하여 생성될 수 있다. 상기 상담 특징 정보는 텍스트 상담파일을 분석해서 측정될 수 있는 상담사의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간의 평균 정보)을 포함하는 상담사의 특징 정보, 및 고객의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간의 평균 정보)을 포함하는 고객의 특징 정보를 포함할 수 있다. 상기 표준정규분포율은 상기 상담 특징 정보의 평균, 표준편차를 누적하여 생성될 수 있다.
상기 분류 배점표는 상기 상담 특징 정보별 표준정규분포율에 따라 배점이 상이하게 구성될 수 있다. 즉, 도 3에 도시된 바와 같이, 상기 배점은 상기 상담 특징 정보별 표준정규분포의 중앙(a)에 비해 좌우 사이드(b, c)로 갈수록 상대적으로 낮게 선정될 수 있다. 참고로, 도 3은 상담 시간에 따른 표준정규분포율을 나타낸 그래프 함수로서, 평균을 중심으로 좌우 대칭되는 함수이며, 좌우 마이너스(-), 플러스(+) 방향으로 좌우 일정 구간으로 구분된 것을 보여주고 있다. 여기서, 좌우 대칭이라는 것은 평균을 중심으로 표준편차 범위 안에 양쪽 옆으로 전체 데이터에 대한 정보가 50%씩 속해 있다는 것을 의미한다.
도 3과 같이 상담 시간에 따른 표준정규분포율에서, 중앙의 시간 구간(a)은 보편적인 평균 상담 시간을 갖는 상담 콜로서 대다수의 상담 건수가 분포하고, 좌우 사이드에 해당하는 시간 구간(b, c)은 평균 상담 시간보다 긴 또는 짧은 상담 시간을 갖는 상담 콜로서 중앙의 시간 구간(a)에 분포된 상담 건수보다 상대적으로 소수의 건수가 분포한다. (+) 방향의 구간(b)은 평균 상담 시간보다 긴 상담 시간이고, (-) 방향의 구간(c)은 평균 상담 시간보다 짧은 상담 시간이다.
상기 텍스트 패턴 분석부(220)는 상기 DB 서버(250)에 저장된 상담 특징 정보, 상담 정보, 및 카테고리/가중치 정보를 이용하여 상담균질도 기초 정보를 생성하고, 상기 생성된 상담균질도 기초 정보를 상기 DB 서버(250)에 저장할 수 있다. 이때, 상기 텍스트 패턴 분석부(220)는 상담 정보를 주기적으로 조회해서 카테고리 2depth의 설정된 상담시간 등급별 상담시간 구간 정보를 업데이트하여 상기 상담균질도 기초 정보를 생성할 수 있으며, 상담 정보, 상담 특징 정보를 주기적으로 조회해서 카테고리 2depth에 설정된 상담특징별 표준편차, 평균정보를 업데이트하여 상기 상담균질도 기초 정보를 생성할 수 있다.
여기서, 상기 카데고리 정보의 1depth는 관리자(시스템 사용자)가 등록한 상담유형 그룹정보 또는 상담사의 업무 그룹 정보를 포함하고, 상기 카데고리 정보의 2depth는 관리자(시스템 사용자)가 등록한 카데고리 1depth 하위 상담 시간의 표준정규분포 등급 개수(2~10개 중 짝수로 선택 등록)를 포함할 수 있다. 그리고, 상기 가중치 정보는 관리자(시스템 사용자)가 등록한 카테고리 2depth 하위 상담정보, 상담특징별 가중치 정보를 포함할 수 있다.
상기 텍스트 패턴 분석부(220)는 상기 상담균질도 기초 정보, 상기 상담 특징 정보, 상기 상담 정보를 이용하여 상담균질도 점수를 생성할 수 있다. 구체적으로, 상기 텍스트 패턴 분석부(220)는 상기 DB 서버(250)에 저장된 상담 정보를 실시간 조회해서 해당 상담의 카테고리 정보를 구분하고, 해당 카테고리의 상담 정보, 상담 특징별 누적 표준편차, 평균을 조회해서 해당 상담 특징 정보별로 표준정규분포에 기반하여 발생할 확률 정보를 상담균질도 점수로서 생성할 수 있다. 아울러, 상기 텍스트 패턴 분석부(220)는 해당 카테고리의 상담균질도 생성 가중치 정보를 조회하고 가중치가 적용된 최종 1개의 상담균질도 점수를 생성할 수 있다.
상기 텍스트 이행 분석부(230)는 상기 상담 텍스트에 대하여 상기 상담 스크립트를 기준으로 일치율 정보를 생성하고, 상기 일치율 정보를 기반으로 상기 상담 텍스트의 상담 유형 정보를 생성할 수 있다.
한편, 상기 텍스트 이행 분석부(230)는 상기 상담 스크립트의 신뢰도가 미리 설정된 기준치 범위에 해당되는지 여부에 따라 상기 상담 유형 정보를 생성할 수 있다. 이때, 상기 텍스트 이행 분석부(230)는 상기 상담 스크립트의 신뢰도가 존재하지 않거나 미리 설정된 기준치를 벗어나는 경우 상기 상담 유형 정보를 생성하지 않을 수 있다.
예를 들어, 상기 텍스트 이행 분석부(230)는 상담 중 업무 파트에 해당하는 상담 스크립트가 없는 경우 상기 상담 유형 정보를 생성하지 않을 수 있다. 또한, 민원, 불만 토로 등 상담유형으로 정의할 수 없는 예외 상담인 경우, 상기 텍스트 이행 분석부(230)는 상담원 또는 고객이 상담 스크립트를 현저히 준수하지 않아 규정할 수 없는 것으로 간주하여 상기 상담 유형 정보를 생성하지 않을 수 있다.
상기 텍스트 이행 분석부(230)는 상기 상담 유형 정보와 매핑되는 상담 스크립트를 호출하여 해당 상담 스크립트와 상기 상담 텍스트에 대한 텍스트 분석 정보를 비교하고, 상기 비교 결과에 따라 상담원의 상담 스크립트 이행 여부를 분석할 수 있다. 이에 따라, 상기 텍스트 패턴 분석부(220)는 상기 상담 스크립트 이행 여부의 분석 결과에 기초하여 상기 상담이행 점수를 생성할 수 있다.
예를 들어, 상기 텍스트 이행 분석부(230)는 상기 상담 스크립트의 전체 라인 수 대비 몇 개의 라인이 일치하는지를 스크립트 이행 정보로 생성할 수 있다.
이때, 상기 텍스트 이행 분석부(230)는 상기 상담 스크립트와 비교하기 전에, 상기 텍스트 분석 정보로부터 상기 스크립트 이행 여부의 산정 대상을 생성하고, 상기 생성된 대상과 상기 상담 스크립트의 매뉴얼을 비교할 수 있다.
예컨대, 상기 텍스트 이행 분석부(230)는 상기 텍스트 분석 정보에서 상담원의 텍스트만을 스크립트 이행 여부의 산정 대상으로 생성하고, 상기 생성된 상담원 텍스트와 상기 상담 스크립트의 매뉴얼을 비교할 수 있다. 상기 비교 결과 상담원의 텍스트와 상기 상담 스크립트의 라인이 일치하면, 상담원이 해당 스크립트를 이행한 것으로 판단하고, 정상적으로 이행 완료했음을 나타내는 정보(예: '이행 yes' 등의 메시지)를 포함시켜 상기 스크립트 이행 정보를 생성할 수 있다.
참고로, 상기 텍스트 분석 정보는 고객 및 상담원의 상담 텍스트가 모두 포함되어 제공될 수 있다. 그러나 이에 한정하는 것은 아니며 서로 분리된 상태로 즉, 고객의 텍스트, 상담원의 텍스트로 구분되어 제공될 수 있으며, 또 달리 고객 및 상담원의 텍스트가 모두 포함된 텍스트 분석 정보로부터 상담원의 텍스트만이 추출되어 제공될 수도 있다.
상기 텍스트 이행 분석부(230)는 주기적으로 상기 DB 서버(250)에 저장된 라인별 일치율 정보를 조회해서 누적평균 정보를 생성하고, 신규 텍스트 파일의 일치율 정보가 저장되는 시점에 해당 라인의 일치율이 누적평균 정보 대비 몇 %인지를 분석하여 그 분석 결과를 토대로 상담 이행 정보를 생성하여 상기 DB 서버(250)에 저장할 수 있다.
상기 서비스 처리부(240)는 상기 상담균질도 점수, 및 상담이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리할 수 있다. 이를 위해, 상기 서비스 처리부(240)는 상기 상담균질도 점수, 및 상담이행 점수가 미리 설정된 임계치를 벗어나는지 여부를 판단할 수 있다. 상기 판단 결과 상기 상담균질도 점수, 및 상담이행 점수가 상기 임계치를 벗어나는 경우, 상기 서비스 처리부(240)는 상기 상담 텍스트를 수기 평가 대상으로 분류 처리할 수 있다. 이에 따라, 상기 상담 품질 관리자(160)는 상기 상담 텍스트를 수기 평가하고 평가 결과 정보를 등록할 수 있다.
상기 서비스 처리부(240)는 상기 텍스트 패턴 분석부(220)에 의해 생성된 상담균질도 점수에 기초하여 상담원의 상담 품질을 평가할 수 있다. 또는, 상기 서비스 처리부(240)는 상기 스크립트 이행 정보에 기초하여 산출된 상담이행 점수에 의거하여 상담원의 상담 품질을 평가할 수 있다. 여기서, 상기 텍스트 패턴 분석부(220)는 시스템 운영 정책정보 DB(미도시)에 미리 설정된 평가 관련 기준값을 조회하여 평가 관련 기준값을 토대로 상기 상담균질도 점수를 산출할 수 있다.
한편, 상기 서비스 처리부(240)는 상담 균질도 생성을 위한 균질도 기준 정보를 사용자로부터 입력받아 등록할 수 있다. 여기서, 상기 균질도 기준 정보는 콜 그룹정보(업무그룹 정보 또는 상담유형 그룹 정보), 콜 그룹 정보 하위 상담시간 구간 수(표준정규분포율에 기반한 상담시간 구간 정보), 콜 특징 정보 대상 가중치 정보(상담정보, 콜 특징 정보로 저장된 복수개의 데이터를 대상으로 1개의 표준정규분포율 생성을 위한 가중치 정보)를 포함할 수 있다.
상기 서비스 처리부(240)는 상기 DB 서버(250)에 저장된 상담 이행 정보 및 빈출어 정보를 이용하여 스크립트 정보(음성, 채팅, 챗봇)를 관리할 수 있다.
음성 스크립트 정보와 관련하여, 사용자는 음성상담의 스크립트 정보를 입력할 수 있다. STT 음성분석엔진(132)이 연동돼서 텍스트 분석 결과가 있는 경우 상담 이행 정보와 빈출어 정보가 음성 스크립트 정보 수정(업데이트 등록) 기초 자료로 사용자 화면에 출력될 수 있다.
채팅 스크립트 정보와 관련해서는, 사용자는 음성 스크립트 정보를 수정해서 채팅 스크립트 정보를 입력할 수 있다. 채팅 스크립트는 음성 스크립트 정보를 기초로 입력할 수 있다. 음성 상담과 달리 채팅 상담은 상담사의 업무, 전산 접근 권한에 제한이 있을 수 있기 때문이다. 채팅상담 시스템이 연동돼서 텍스트 분석 결과가 있는 경우 상담 이행 정보와 빈출어 정보가 채팅 스크립트 정보 수정(업데이트 등록) 기초 자료로 사용자 화면에 출력될 수 있다. 채팅 상담의 상담 이행 정보와 빈출어 정보를 기초로 채팅 상담 스크립트를 수정(업데이트 등록) 할 수 있다.
챗봇 스크립트 정보와 관련하여, 사용자는 채팅 스크립트 정보를 수정해서 챗봇 스크립트 정보를 입력할 수 있다. 챗봇 상담 스크립트는 채팅 스크립트 정보를 기초로 입력할 수 있다. 챗봇 상담은 상담사가 수행하는 채팅과 달리 제공되는 정보, 관련 시스템 접근 권한에 제한이 있을 수 있기 때문이다. 챗봇상담 시스템(150)이 연동되어서 텍스트 분석 결과가 있는 경우 상담 이행 정보와 빈출어 정보가 챗봇 스크립트 정보 수정(업데이트 등록) 기초 자료로 사용자 화면에 출력될 수 있다. 챗봇 상담의 상담 이행 정보와 빈출어 정보를 기초로 챗봇 스크립트를 수정(업데이트 등록) 할 수 있다.
참고로, 도 4는 스크립트 관리(스크립트 등록, 수정)에 관한 사용자 화면의 예시도이다.
상기 서비스 처리부(240)는 상기 DB 서버(250)에 저장된 모니터링 결과 정보를 토대로 모니터링 결과를 관리할 수 있다. 사용자가 등록하는 모니터링 결과 정보는 콜 특이사례 유형 코드, 상담사 평가 점수 정보, 상담사 스크립트 이행률 정보 등을 포함할 수 있다. 상기 서비스 처리부(240)에 의해서는 신뢰도 정보가 상기 모니터링 결과로서 관리될 수 있다. 즉, 상기 서비스 처리부(240)는 주기적으로 등록된 사용자의 스크립트 이행률 정보를 조회하고 해당 콜을 대상으로 사용자가 청취 후 등록한 결과 정보와 상담 텍스트 (이행률) 정보의 일치율을 라인 단위별 신뢰도 정보로 생성하여 상기 DB 서버(250)에 저장할 수 있다.
참고로, 도 5는 자동으로 분류된 상담을 사용자가 확인, 결과(상담사 스크립트 이행률)를 등록 관리하는 화면의 예시도이다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 4는 본 발명의 일 실시예에 따른 상담균질도 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 텍스트 기반 상담 품질 관리 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
도 1 및 도 4를 참조하면, 단계(410)에서 상기 상담 품질 관리 서버(110)는 STT 시스템(131), 채팅 상담 시스템(140) 및/또는 챗봇 상담 시스템(150)으로부터 상담 텍스트 및 상담 정보를 수신할 수 있다.
다음으로, 단계(420)에서 상기 상담 품질 관리 서버(110)는 상기 상담 정보를 이용하여 상담 특징 정보를 생성하고 상기 DB 서버(250)에 저장할 수 있다.
다음으로, 단계(430)에서 상기 상담 품질 관리 서버(110)는 누적 평균/표준편차, 배점표를 조회하고, 상담 균질도 점수를 생성하며, 상기 조회 및 생성 결과 값을 상기 DB 서버(250)에 저장할 수 있다.
한편, 상기 단계(420) 이후에 단계(440)가 수행될 수 있다. 즉, 상기 단계(440)에서 상기 상담 품질 관리 서버(110)는 주기적으로 상담 특징 정보를 조회하고 누적 평균/표준편차를 생성하며, 상기 조회 및 생성의 결과 값을 상기 DB 서버(250)에 저장할 수 있다.
도 5는 본 발명의 일 실시예에 따라 상담이행 정보를 생성하는 과정을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 5를 참조하면, 단계(510)에서 상기 상담 품질 관리 서버(110)는 상담 유형 코드를 상담 스크립트와 매핑하여 등록할 수 있다.
다음으로, 단계(520)에서 상기 상담 품질 관리 서버(110)는 STT 시스템(131), 채팅 상담 시스템(140) 및/또는 챗봇 상담 시스템(150)으로부터 상담 텍스트 및 상담 정보를 수신할 수 있다.
다음으로, 단계(530)에서 상기 상담 품질 관리 서버(110)는 상기 상담 정보의 상담 유형 정보 유무를 확인할 수 있다.
상기 확인 결과 상담 유형 정보가 없는 경우(540의 "무" 방향), 단계(550)에서 상기 상담 품질 관리 서버(110)는 상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트 간의 일치율이 생성 기준 조건에 부합되는 경우 상담 유형 정보를 생성할 수 있다.
반면, 상기 확인 결과 상담 유형 정보가 있는 경우(540의 "유" 방향), 단계(560)에서 상기 상담 품질 관리 서버(110)는 상기 상담 텍스트와 상기 상담 스크립트의 일치율 정보를 생성하고 상기 DB 서버(250)에 저장할 수 있다.
다음으로, 단계(570)에서 상기 상담 품질 관리 서버(110)는 누적 평균/표준편발명의 일 실시예에 따른 텍스트 기반 상담 품질 관리 방법을 설명하기 위해 도시상기 조회 및 생성의 결과 값을 상기 DB 서버(250)에 저장할 수 있다.
한편, 상기 단계(560) 이후에 단계(580)가 수행될 수 있다. 즉, 상기 단계(580)에서 상기 상담 품질 관리 서버(110)는 주기적으로 상기 일치율 정보를 조회하고 라인별 누적 평균/표준편차를 생성하며, 상기 조회 및 생성의 결과 값을 상기 DB 서버(250)에 저장할 수 있다.
여기서 설명하는 텍스트 기반 상담 품질 관리 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 상담 품질 관리 서버
120: KMS 서버
130: 음성 상담 시스템
131: STT 시스템
140: 채팅상담 시스템
150: 챗봇상담 시스템
160: 상담 품질 관리자
210: 시스템 연동부
220: 텍스트 패턴 분석부
230: 데이터 이행 분석부
240: 서비스 처리부
250: DB 서버
120: KMS 서버
130: 음성 상담 시스템
131: STT 시스템
140: 채팅상담 시스템
150: 챗봇상담 시스템
160: 상담 품질 관리자
210: 시스템 연동부
220: 텍스트 패턴 분석부
230: 데이터 이행 분석부
240: 서비스 처리부
250: DB 서버
Claims (8)
- STT 시스템, 채팅상담 시스템 또는 챗봇상담 시스템 중 적어도 하나로부터 상담 텍스트 및 상담 정보를 수신하는 시스템 연동부; 및
상기 상담 텍스트로부터 상담 특징 정보를 추출하고, 상기 상담 특징 정보를 이용하여 상담 균질도 점수를 생성하는 텍스트 패턴 분석부;
상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트의 일치율 정보를 이용하여 상담 이행 점수를 생성하는 텍스트 이행 분석부; 및
상기 상담 균질도 점수 및 상기 상담 이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리하는 서비스 처리부
를 포함하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제1항에 있어서,
상기 텍스트 패턴 분석부는
상기 STT 시스템, 상기 채팅상담 시스템 또는 상기 챗봇상담 시스템 중 적어도 하나와 연동하여 상기 상담 정보로부터 상담 특징 정보를 추출하고, 기 저장된 분류 배점표를 참조하여 상기 상담 특징 정보에 대응되는 배점을 기초로 상기 상담 균질도 점수를 생성하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제1항에 있어서,
상기 상담 균질도 점수는
상기 상담 특징 정보별 표준정규분포율에 기반하여 생성되는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제3항에 있어서,
상기 분류 배점표는
상기 상담 특징 정보별 표준정규분포율에 따라 배점이 상이하게 구성되고, 상기 배점은 상기 상담 특징 정보별 표준정규분포의 중앙에 비해 좌우 사이드로 갈수록 상대적으로 낮게 선정되는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제1항에 있어서,
상기 텍스트 이행 분석부는
상기 상담 텍스트에 대하여 상기 상담 스크립트를 기준으로 일치율 정보를 생성하고, 상기 일치율 정보를 기반으로 상기 상담 텍스트의 상담 유형 정보를 생성하며, 상기 상담 유형 정보와 매핑되는 상담 스크립트를 호출하여 해당 상담 스크립트와 텍스트 분석 정보를 비교하고, 상기 비교의 결과에 따라 상담원의 상담 스크립트 이행 여부를 분석하여 상기 상담 이행 점수를 생성하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제5항에 있어서,
상기 텍스트 이행 분석부는
상기 텍스트 분석 정보를 상기 상담 스크립트와 비교하기 전에, 상기 텍스트 분석 정보에서 상기 스크립트 이행 여부의 산정 대상으로 생성하고, 상기 생성된 산정 대상과 관련된 텍스트와 상기 상담 스크립트의 매뉴얼을 비교하며, 상기 비교의 결과 상기 산정 대상과 관련된 텍스트와 상기 상담 스크립트의 라인이 일치하면, 상기 산정 대상이 해당 스크립트를 이행한 것으로 판단하고, 정상적으로 이행 완료했음을 나타내는 정보를 포함시켜 스크립트 이행 정보를 생성하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 제1항에 있어서,
상기 상담 특징 정보는
상담사의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(고객 톡 이후 상담사 톡 발생에 소요된 시간의 평균 정보)을 포함하는 상담사의 특징 정보, 및 고객의 톡 건수, 톡 전체 길이와 톡 길이의 변화량, 톡 평균 길이, 전체 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간 정보의 합)과 대기 시간의 변화량, 평균 대기 시간(상담사 톡 이후 고객 톡 발생에 소요된 시간의 평균 정보)을 포함하는 고객 특징 정보를 포함하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 시스템.
- 상담 품질 관리 서버의 시스템 연동부가 STT 시스템, 채팅상담 시스템 또는 챗봇상담 시스템 중 적어도 하나로부터 상담 텍스트 및 상담 정보를 수신하는 단계;
상기 상담 품질 관리 서버의 텍스트 패턴 분석부가 상기 상담 텍스트로부터 상담 특징 정보를 추출하고, 상기 상담 특징 정보를 이용하여 상담 균질도 점수를 생성하는 단계;
상기 상담 품질 관리 서버의 텍스트 이행 분석부가 상기 상담 텍스트와 상기 상담 정보에 포함된 상담 스크립트의 일치율 정보를 이용하여 상담 이행 점수를 생성하는 단계; 및
상기 상담 품질 관리 서버의 서비스 처리부가 상기 상담 균질도 점수 및 상기 상담 이행 점수에 기초하여 상기 상담 텍스트를 수기 평가 대상으로 분류 처리하는 단계
를 포함하는 것을 특징으로 하는 텍스트 기반 상담 품질 관리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180051327A KR102129817B1 (ko) | 2018-05-03 | 2018-05-03 | 텍스트 기반 상담 품질 관리 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180051327A KR102129817B1 (ko) | 2018-05-03 | 2018-05-03 | 텍스트 기반 상담 품질 관리 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190127134A true KR20190127134A (ko) | 2019-11-13 |
| KR102129817B1 KR102129817B1 (ko) | 2020-07-03 |
Family
ID=68534834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180051327A KR102129817B1 (ko) | 2018-05-03 | 2018-05-03 | 텍스트 기반 상담 품질 관리 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102129817B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102252267B1 (ko) * | 2020-11-20 | 2021-05-14 | 최진석 | 반려동물의 훈육을 가이드하는 챗봇 시스템, 방법, 및 컴퓨터 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716748B1 (ko) * | 2015-11-30 | 2017-03-15 | (주)복스유니버스 | 콜 센터 상담품질관리를 위한 콜 분류 시스템 및 방법 |
| KR101735421B1 (ko) * | 2016-02-29 | 2017-05-16 | (주)복스유니버스 | 음성 분석 기반 상담품질 평가 시스템, 이의 방법 |
| KR101824242B1 (ko) * | 2017-07-11 | 2018-01-31 | 농협은행(주) | 상담품질 전수평가 장치 |
-
2018
- 2018-05-03 KR KR1020180051327A patent/KR102129817B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716748B1 (ko) * | 2015-11-30 | 2017-03-15 | (주)복스유니버스 | 콜 센터 상담품질관리를 위한 콜 분류 시스템 및 방법 |
| KR101735421B1 (ko) * | 2016-02-29 | 2017-05-16 | (주)복스유니버스 | 음성 분석 기반 상담품질 평가 시스템, 이의 방법 |
| KR101824242B1 (ko) * | 2017-07-11 | 2018-01-31 | 농협은행(주) | 상담품질 전수평가 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102252267B1 (ko) * | 2020-11-20 | 2021-05-14 | 최진석 | 반려동물의 훈육을 가이드하는 챗봇 시스템, 방법, 및 컴퓨터 프로그램 |
| KR102362058B1 (ko) * | 2020-11-20 | 2022-02-14 | 주식회사 펫투피플 | 반려동물의 행동 별로 훈련된 복수의 인공지능 모델을 이용하는 챗봇 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102129817B1 (ko) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10554817B1 (en) | Automation of contact workflow and automated service agents in contact center system | |
| US9621725B2 (en) | Method and apparatus for analyzing leakage from chat to voice | |
| TW201944306A (zh) | 確定高風險用戶的方法及裝置 | |
| US11570214B2 (en) | Crowdsourced innovation laboratory and process implementation system | |
| US20180046956A1 (en) | Warning About Steps That Lead to an Unsuccessful Execution of a Business Process | |
| WO2021159834A1 (zh) | 异常信息处理节点分析方法、装置、介质及电子设备 | |
| CN111124917B (zh) | 公共测试用例的管控方法、装置、设备及存储介质 | |
| WO2020155508A1 (zh) | 可疑用户筛选方法、装置、计算机设备及存储介质 | |
| US11716422B1 (en) | Call center load balancing and routing management | |
| CN109002465B (zh) | 用于具有智能众包选项的对话输入设备的方法和系统 | |
| US10498897B1 (en) | Systems and methods for simulating multiple call center balancing | |
| US20230208882A1 (en) | Policy - aware vulnerability mapping and attack planning | |
| US11729317B1 (en) | Systems and methods for electronic request routing and distribution | |
| KR102307380B1 (ko) | 자연어 처리 기반 콜센터 지원 시스템 및 방법 | |
| CN110322143B (zh) | 模型实体化管理方法、装置、设备及计算机存储介质 | |
| KR102129817B1 (ko) | 텍스트 기반 상담 품질 관리 시스템 및 방법 | |
| CN112445787A (zh) | 一种基于实时业务的数据稽核方法和系统 | |
| CN111784516A (zh) | 业务路径的确定方法、装置和电子设备 | |
| CN113918577B (zh) | 数据表识别方法、装置、电子设备及存储介质 | |
| WO2022135472A1 (zh) | 数据登记与可信流通系统、方法、电子设备及存储介质 | |
| JP2018013819A (ja) | ビジネスマッチング支援システムおよびビジネスマッチング支援方法 | |
| US20060041668A1 (en) | Method and system to automatically define resources forming an it service | |
| US20090076864A1 (en) | System and method for rules-based serialized service transaction processing | |
| CN104079627B (zh) | 发送展示信息的方法和装置 | |
| US20180089234A1 (en) | Providing action corrections using a dual model system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |