KR102642948B1 - 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 - Google Patents
클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 Download PDFInfo
- Publication number
- KR102642948B1 KR102642948B1 KR1020230077742A KR20230077742A KR102642948B1 KR 102642948 B1 KR102642948 B1 KR 102642948B1 KR 1020230077742 A KR1020230077742 A KR 1020230077742A KR 20230077742 A KR20230077742 A KR 20230077742A KR 102642948 B1 KR102642948 B1 KR 102642948B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- inquiry
- response
- module
- target
- Prior art date
Links
- 230000004044 response Effects 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013145 classification model Methods 0.000 claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims description 85
- 238000007726 management method Methods 0.000 claims description 77
- 238000003058 natural language processing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 53
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
Abstract
본 발명의 일 실시예에 따른 문의 관리 시스템은, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈; 상기 과거 문의정보와 상기 과거 응답정보를 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈; 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈;을 포함하고, 상기 미리 정해진 학습방법은, 상기 과거 문의정보와 상기 과거 응답정보를 함께 학습하는 방법일 수 있다.
Description
본 발명은 인공지능을 이용하여 문의를 분류하고, 문의에 대한 응답을 배정, 운영, 관리하는 클라우드 기반의 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼에 대한 것이다.
정보통신 기술의 발달로 온라인을 통해서 기업의 제품 및 서비스의 판매가 활발하게 이루어지고 있으며, 이에 따라 기업을 상징하는 홈페이지의 사용자 이용도 급증하고 있는 추세이다. 기업의 홈페이지에는 기업 자체의 설명 뿐만 아니라, 제품이나 서비스 설명도 함께 개시하고 있어, 사용자는 제품 혹은 서비스를 구매하기 전에 기업의 홈페이지를 방문하여, 다양한 정보를 취득하고 있는 실정이다.
더욱이 사용자는 기업의 홈페이지를 통하여 온라인 문의를 하여, 온라인 상으로 상담을 받아, 제품 혹은 서비스에 대한 문제 혹은 궁금한 점에 대해서 해소할 수 있어, 기업 홈페이지가 더욱 활성화되고 있다. 다만, 기존에는 사용자가 문의글을 남기기 위해서는 문의에 대한 카테고리를 직접 지정해야 했다. 여기서, 사용자는 분류되는 카테고리에 대한 지식이 부족하기에, 적절한 카테고리를 지정하지 못하고 있다. 이로 인해 적절한 상담원에게 업무가 배정되지 못해, 효율적인 상담원의 응답이 이루어지지 않은 문제가 발생되고 있다. 이와 다르게, 전문적인 지식을 가진 소수 인력이 사용자의 문의를 직접 분류할 수도 있지만, 이는 별도의 인력이 투입되는 것이므로, 기업 측에서의 자원 효율성이 나빠지는 문제가 발생된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 인공지능을 이용하여 자동적으로 사용자의 문의를 분류하는 모델을 학습하고 이를 이용해, 적절한 상담원에게 문의를 배정하는 클라우드 기반의 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼을 제공하고자 한다.
본 발명의 일 실시예에 따른 문의 관리 시스템은, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈; 상기 과거 문의정보와 상기 과거 응답정보를 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈; 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈;을 포함하고, 상기 미리 정해진 학습방법은, 상기 과거 문의정보와 상기 과거 응답정보를 함께 학습하는 방법일 수 있다.
또한, 상기 미리 정해진 학습방법은, 미리 학습된 자연어 처리 모델을 파인 튜닝하여, 미리 정해진 카테고리 중 하나에 분류하는 분류모델을 산출하는 방법일 수 있다.
또한, 상기 미리 정해진 학습방법은, 상기 과거 문의정보를 자연어 처리한 값과 상기 과거 응답정보를 자연어 처리한 값을 평균 낸 손실값을 재학습하는 방법일 수 있다.
또한, 상기 미리 정해진 학습방법은, 상기 과거 문의정보와 상기 과거 응답정보의 유사한 정도도 함께 학습하는 방법일 수 있다.
본 발명의 일 실시예에 따른 문의 관리 방법은, 문의 관리 시스템에 의해 구현되며, 임의의 제품 혹은 서비스에 대한 사용자의 문의를 관리하는 문의 관리 방법에 있어서, 수집모듈에 의해, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보가 수집되는 단계; 학습모듈에 의해, 상기 과거 문의정보와 상기 과거응답정보를 함께 이용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델이 학습되는 단계; 및 분류모듈에 의해, 상기 분류모델이 이용되어 분류가 필요한 문의인 대상 문의정보가 미리 정해진 카테고리로 분류되는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼은, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈, 상기 과거 문의정보와 상기 과거 응답정보를 함께 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈을 포함하는 문의 관리 시스템; 및 상기 분류모듈에 의해 미리 정해진 카테고리 중 하나의 카테고리로 분류된 상기 대상 문의정보를 카테고리에 대응되는 상담원에게 분배하는 응답 관리 시스템;을 포함할 수 있다.
또한, 상기 응답 관리 시스템은, 미리 정해진 카테고리별로 상담원을 분배하여 관리하며, 상기 대상 문의정보의 카테고리와 대응되는 카테고리의 상담 업무에 배정된 상담원에게 상기 대상 문의정보를 배정하는 인력모듈 및 상기 대상 문의정보에 대한 상담원의 대응을 기초로 미리 정해진 평가방법으로 상담원의 업무 역량을 평가하는 평가모듈을 포함할 수 있다.
또한, 상기 미리 정해진 평가방법은, 상기 대상 문의정보에 대한 상담원의 응답인 대상 응답정보와 상기 대상 문의정보가 상기 분류모델에 의해 동일한 카테고리로 분류되는지 여부를 기초로 평가하는 방법일 수 있다.
또한, 상기 미리 정해진 평가방법은, 상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내인지 여부를 기초로 평가하는 방법일 수 있다.
또한, 상기 평가모듈은, 평가를 기반으로 상담원을, 문의의 분류와 문의에 대한 응답을 정상적으로 수행하는 집단인 제1 집단, 문의의 분류는 비 정상적으로 수행하나 문의에 대한 응답을 정상적으로 수행하는 집단인 제2 집단 및 문의의 분류는 정상적으로 수행하나 문의에 대한 응답은 비 정상적으로 수행하는 집단인 제3 집단으로 분류하고, 상기 인력모듈은, 미리 정해진 조건이 만족되는 경우, 사용자의 문의에 대해서 상기 제2 집단의 상담원과 상기 제3 집단의 상담원이 상보적으로 업무를 수행할 수 있도록, 상기 대상 문의정보를 배정할 수 있다.
본 발명의 일 실시예에 따른 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼은 사용자는 도메인 지식이 없어도 문의를 남길 수 있어, 사용자 편의성을 극대화할 수 있다.
또한, 문의가 적합한 카테고리로 정확하게 자동적으로 분류되어, 업무 정확도를 극대화할 수 있다.
또한, 기업의 자원 효율성을 극대화할 수 있다.
또한, 문의응답 프로세스의 품질을 극대화할 수 있다.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 관계도
도 2는 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 구성도
도 3은 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 문의 관리 시스템이 분류모델을 학습하는 과정에 대해서 설명한 도면
도 4및 도 5는 본 발명의 일 실시예에 따른 문의 관리 시스템이 산출하는 분류 모델의 성능을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 문의응답 통합 플랫폼의 응답 관리 시스템의 구현 과정을 설명하기 위한 도면
도 2는 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 구성도
도 3은 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 문의 관리 시스템이 분류모델을 학습하는 과정에 대해서 설명한 도면
도 4및 도 5는 본 발명의 일 실시예에 따른 문의 관리 시스템이 산출하는 분류 모델의 성능을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 문의응답 통합 플랫폼의 응답 관리 시스템의 구현 과정을 설명하기 위한 도면
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 관계도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼(100)은, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈(111), 상기 과거 문의정보와 상기 과거 응답정보를 함께 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈(112) 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈(113)을 포함하는 문의 관리 시스템(110) 및 상기 분류모듈(113)에 의해 미리 정해진 카테고리 중 하나의 카테고리로 분류된 상기 대상 문의정보를 카테고리에 대응되는 상담원에게 분배하는 응답 관리 시스템(120)을 포함할 수 있다.
또한, 문의 관리 시스템(110)과 응답 관리 시스템(120)에 연동되어, 사용자 혹은 상담원에게 필요한 인터페이스를 산출하여 송신하고, 사용자 혹은 상담원으로부터 필요한 정보를 수신하는 인터페이스모듈(130)을 더 포함할 수 있다.
문의응답 통합 관리 플랫폼은 클라우드 서비스 기반으로 사용자, 상담원 관리자들에게 제공될 수 있다.
문의 관리 시스템(110), 응답 관리 시스템(120) 및/또는 인터페이스모듈(130)은 유/무선 네트워크로 연결될 수 있다.
이를 통해, 문의 관리 시스템(110), 응답 관리 시스템(120) 및/또는 인터페이스모듈(130)은 서로 데이터들을 송수신하여 교환할 수 있다.
본 발명에서의 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것이다.
인터페이스모듈(130)은 사용자의 컴퓨팅 장치, 관리자의 컴퓨팅 장치 및/또는 상담원의 컴퓨팅 장치와 유/무선으로 네트워크 연결될 수 있다.
이를 통해, 인터페이스모듈(130)은 사용자의 컴퓨팅 장치, 관리자의 컴퓨팅 장치 및/또는 상담원의 컴퓨팅 장치와 필요한 정보를 송수신할 수 있다.
사용자는 궁금하거나 발생된 문제를 해결하기 위해 문의정보를 남겨 문의에 대한 응답을 요청하는 자를 의미할 수 있다.
문의는 궁금한 것을 해결하기 위한 질문에 대한 것을 의미할 수 있다.
문의정보는 사용자의 문의에 대해서 다른 사람이 인식할 수 있는 형태로 표시된 것을 의미할 수 있다.
문의정보는 텍스트 형태의 글, 이미지, 소리 등의 형태로 이루어질 수 있다.
관리자는 문의응답 통합 관리 플랫폼을 관리 하는 자를 의미할 수 있다.
또는, 관리자는 문의응답 통합 관리 플랫폼에서 제공하는 서비스를 제공받기 위해서, 해당 서비스를 정기 구독 또는 구매한 자를 의미할 수 있다.
일례로, 관리자는 기업의 시설관리 담당자, 대표자, 오너 등일 수 있다.
다만, 이에 한정하지 않고, 관리자의 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
상담원은 기업에게 고용된 사람으로서, 컴퓨팅 장치를 통해 문의정보를 배정받고, 문의정보에 대한 응답을 작성하는 사람을 의미할 수 있다.
본 발명에서 언급하는 컴퓨팅 장치는 정보 처리 연산을 처리할 수 있는 장치를 의미할 수 있다.
일례로, 컴퓨팅 장치는 데스크탑 컴퓨터, 노트북, 스마트폰, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 휴대용 단말기 등이 포함되는 이동 단말기 및/또는 스마트 TV 등이 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 구성도이고, 도 3은 본 발명의 일 실시예에 따른 문의응답 통합 관리 플랫폼의 문의 관리 시스템이 분류모델을 학습하는 과정에 대해서 설명한 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 문의 관리 시스템(110)은, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈(111), 상기 과거 문의정보와 상기 과거 응답정보를 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈(112) 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈(113)을 포함할 수 있다.
또한, 상기 문의 관리 시스템(110)은 미리 정해진 선별방법으로 빈번하게 발생되는 문의를 선별하여 빈번문의(FAQ)로 지정하는 선별모듈(114) 및 문의 관리 방법이 구현되는데 필요한 정보들이 저장되어 있는 문의 저장모듈(115)을 더 포함할 수 있다.
수집모듈(111)은 과거 문의정보와 과거 응답정보를 수집할 수 있다.
수집모듈(111)은 과거 문의정보와 과거 응답정보를 문의 저장모듈(115)로부터 전달받거나, 외부 컴퓨팅 장치로부터 전달받을 수 있다.
과거에 이미 사용자에 의해 문의된 것에 대한 정보를 과거 문의정보라고 정의할 수 있다.
또한, 상기 과거 문의정보에 대해서 상담원이 응답한 것에 대한 정보를 과거 응답정보라고 정의할 수 있다.
학습모듈(112)은 미리 정해진 학습방법을 통해 분류모델을 학습하여 산출할 수 있다.
미리 정해진 학습방법은 상기 과거 문의정보와 상기 과거 응답정보를 함께 학습하는 방법일 수 있다.
미리 정해진 학습방법은 미리 학습된 자연어 처리 모델을 파인 튜닝하여, 미리 정해진 카테고리 중 하나에 분류하는 분류모델을 산출하는 방법일 수 있다.
일례로, 미리 학습된 자연어 처리 모델은 BERT 모델일 수 있다. 다만, 이에 한정하지 않고, 미리 학습된 자연어 처리 모델의 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
학습모듈(112)은 과거 문의정보 및 과거 응답정보를 기초로 머신러닝 및/또는 기계학습으로 분류모델을 산출할 수 있다.
머신러닝 및/또는 기계학습의 사용되는 알고리즘은 공지된 기술과 중복되는 한도에서 자세한 설명은 생략될 수 있다.
학습모듈(112)은 미리 정해진 학습방법으로 미리 학습된 자연어 처리 모델을 파인 튜닝하여, 카테고리 중 하나로 라벨링된 과거 문의정보와 카테고리 중 하나로 라벨링된 과거 응답정보를 통해 딥러닝시켜 분류모델을 생성할 수 있다.
또한, 학습모듈(112)은 과거 문의정보가 임베딩된 벡터값(문의분류정보)과 라벨링에 의해 분류되어야 하는 벡터값의 차이를 기반으로 손실값(문의 손실값)을 산출할 수 있으며, 상기 학습모듈(112)은 상기 손실값(loss)을 상기 분류모델의 재학습에 활용할 수 있다.
마찬가지로, 상기 학습모듈(112)은 과거 응답정보가 임베딩된 벡터값(응답분류정보)과 라벨링에 의해 분류되어야 하는 벡터값의 차이를 기반으로 손실값(응답 손실값)을 산출할 수 있으며, 상기 학습모듈(112)은 상기 손실값(loss)을 상기 분류모델의 재학습에 활용할 수 있다.
미리 정해진 학습방법은 상기 과거 문의정보와 상기 과거 응답정보의 유사한 정도도 함께 학습하는 방법일 수 있다.
일례로, 분류모델은 과거 문의정보의 임베딩한 값과 과거 응답정보의 임베딩 값의 코사인 유사도를 산출하여, 과거 문의정보와 과거 응답정보의 유사한 정도를 산출할 수 있다.
········· (식 1-1)
코사인 유사도는 식 1-1로 산출될 수 있다.
여기서, Q는 과거 문의정보가 임베딩되어 변환된 벡터값을 의미할 수 있으며, A는 과거 응답정보가 임베딩되어 변환된 벡터값을 의미할 수 있다.
또한, 는 Q의 크기를 의미할 수 있으며, 는 A의 크기를 의미할 수 있다.
두 정보의 유사한 정도가 높을수록, 벡터의 방향이 차이가 없을 수록, '1'에 가까울 수 있다.
두 정보의 유사한 정도가 낮을수록, 벡터의 방향이 차이가 날 수록, '-1'에 가까울 수 있다.
분류모델은 과거 문의정보와 과거 응답정보의 유사한 정도를 상기 분류모델의 재학습에 활용할 수 있다.
이를 통해, 분류모델의 파라미터 간의 가중치 등이 미세 조정되어, 분류모델의 카테고리 분류 성능이 획기적으로 개선될 수 있다.
분류모델은 문의정보를 임베딩을 하여, 문의정보가 어느 카테고리에 해당되는지 결정할 수 있다.
일례로, 카테고리의 대분류는 서비스, 직원, 가격, 해결책, 훈련, 기술적 이슈, 기타로서 구분될 수 있다.
일례로, 대분류 서비스에 대한 중분류는 연산, 컨테이너, 스토리지, 네트워크, 데이터베이스, 보안, AI 서비스, 어플리케이션, 빅데이터, 블록체인, 마이그레이션 등으로 구분될 수 있다.
다만, 이에 한정하는 것은 아니고, 카테고리의 구체적인 분류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
문의와 질문을 함께 학습시키는 것과 동시에 문의와 질문의 방향성(유사도)을 함께 학습시킴으로써, 카테고리의 분류 성능을 획기적으로 상승시킬 수 있다.
미리 정해진 학습방법은 상기 과거 문의정보를 자연어 처리한 값과 상기 과거 응답정보를 자연어 처리한 값을 평균 낸 손실값을 재학습하는 방법일 수 있다.
분류모듈(113)은 학습모델이 학습한 분류모델을 기초로, 인터페이스모듈(130)이 전달받은 사용자의 문의의 대상 문의 정보를 임의의 카테고리로 분류할 수 있다.
분류모델은 분류모델을 제외한 문의응답 통합 관리 플랫폼이 동작되는 것에 따라 실시간적으로 재 학습될 수 있으며, 재 학습되어 업데이트된 분류모델은 분류모듈(113)로 전달될 수 있다.
선별모듈(114)은 문의 저장모듈(115)에 저장되어 있는 과거 문의정보와 과거 응답정보를 기초로 빈번하게 문의되는 빈번 문의정보를 산출할 수 있다.
선별모듈(114)은 분류모델에 의해 동일한 카테고리로 분류되고, 코사인유사도 값이 소정 값 이하인 문의정보에 대해서 동일한 문의정보로 구분할 수 있으며, 동일한 문의정보의 횟수가 소정 기준 이상인 문의정보에 대해서 빈번 문의정보로 선별할 수 있다.
여기서, 소정 기준은 100번일 수 있다. 다만, 이에 한정하지 않고, 소정 기준의 구체적인 수치는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
또한, 이와 다르게 선별모듈(114)은 동일한 카테고리로 분류된 과거 문의정보와 과거 응답정보에 대해서 비지도 학습을 하여 클러스터링하여 군집화할 수 있다.
일례로, K-MEANS 클러스터링 알고리즘을 활용할 수 있으나, 이에 본 발명을 한정하는 것은 아니고 클러스터링의 구체적인 알고리즘은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
선별모듈(114)은 동일한 군집으로 분류된 과거 문의정보는 동일한 문의정보로 파악할 수 있으며, 상술한 것과 같이 동일한 문의정보가 소정 기준 이상인 문의정보에 대해서 빈번 문의정보로 선별할 수 있다.
일례로, 선별모듈(114)은 하나의 군집의 중앙 위치와 가장 가까운 문의정보를 빈번 문의정보로 선별할 수 있다.
일례로, 선별모듈(114)은 빈번 문의정보와 대응되는 응답정보를 빈번 응답정보로 선별할 수 있다.
분류모듈(113)은 빈번 문의정보를 선별하기 위해서, 과거 문의정보를 분류모델을 통해 카테고리 별로 구분할 수 있다.
선별모듈(114)은 빈번 문의정보를 카테고리별로 구분하여 문의 저장모듈(115)에 저장할 수 있다.
인터페이스모듈(130)은 문의 저장모듈(115)에 저장된 빈번 문의정보가 미리 정해진 카테고리 별로 구분되어 사용자 컴퓨팅 장치에 표시되도록 인터페이스르 산출하여 사용자 컴퓨팅 장치에 제공할 수 있다.
문의 저장모듈(115)은 문의 관리 방법이 구현되는데 필요한 정보들이 저장되어 있을 수 있다.
일례로, 문의 저장모듈(115)은 (과거) 문의정보 및 (과거) 문의정보에 대한 (과거) 응답정보가 서로 대응되어 저장되어 있을 수 있다.
또한, 문의 저장모듈(115)에 빈번 문의정보와 상기 빈번 문의정보에 대응되는 빈번 응답정보가 저장되어 있을 수 있다.
일례로, 문의 저장모듈(115)은 내장 메모리 및/또는 외장 메모리로 이루어질 수 있다.
일례로, 내장 메모리는 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다
일례로, 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 응답 관리 시스템(120)은 미리 정해진 카테고리별로 상담원을 분배하여 관리하며, 상기 대상 문의정보의 카테고리와 대응되는 카테고리의 상담 업무에 배정된 상담원에게 상기 대상 문의정보를 배정하는 인력모듈(121) 및 상기 대상 문의정보에 대한 상담원의 대응을 기초로 미리 정해진 평가방법으로 상담원의 업무 역량을 평가하는 평가모듈(122)을 포함할 수 있다.
또한, 상기 응답 관리 시스템(120)은 상담원의 업무 역량에 맞춰 필요한 교육 커리큘럼을 산출하고 추천하는 교육모듈(123) 및 응답 관리 방법이 구현되는데 필요한 정보를 저장하고 있는 응답 저장모듈(124)을 더 포함할 수 있다.
인력모듈(121)은 문의 관리 시스템(110)으로부터 전달받은 대상 문의정보를 대상 문의정보와 동일한 카테고리에 대해서 업무 분장을 받은 상담원에게 대상 문의정보의 응답 업무를 할당할 수 있다.
인력모듈(121)은 카테고리별/능력별로 상담원들을 구분하여 관리할 수 있다.
이를 위해, 평가모듈(122)의 상담원의 평가 내역을 인력모듈(121)이 수신할 수 있다.
인력모듈(121)은 대상 문의정보에 대해서 상담원이 응답업무를 할 수 있도록, 인터페이스모듈(130)과 함께 연동하여 상담원에 업무 지시와 가이드를 제공할 수 있다.
인력모듈(121)은 상담원에게 할당된 응답업무의 수를 분석하여, 상대적으로 업무량이 적은 상담원에게 업무를 할당할 수 있다.
인력모듈(121)은 상담원의 능력에 따라서 업무를 배정할 수 있다.
인력모듈(121)은 미리 정해진 조건이 만족되는 경우, 사용자의 문의에 대해서 상기 제2 집단의 상담원과 상기 제3 집단의 상담원이 상보적으로 업무를 수행할 수 있도록, 상기 대상 문의정보를 배정할 수 있다.
미리 정해진 조건은 제2집단으로 분류된 상담원의 숫자와 제3 집단으로 분류된 상담원의 숫자가 미리 정해진 차이 미만일 조건일 수 있다.
일례로, 동일한 카테고리로 분류된 상담원들 중에서 제2집단으로 분류된 상담원의 숫자와 제3 집단으로 분류된 상담원의 숫자가 미리 정해진 차이 미만일 경우, 인력모듈(121)은 제3 집단으로 분류된 상담원에게는 대상 문의정보에 대한 분류 업무를 할당하고, 제2 집단으로 분류된 상담원에게는 대상 문의정보에 대한 응답을 작성하여 대상 문의정보를 생성하는 업무를 할당할 수 있다.
이를 통해, 상담원의 교육 과정에서 응답 서비스의 품질을 유지시킬 수 있다.
여기서, 미리 정해진 차이는 2명일 수 있으나, 이에 본 발명이 한정되는 것은 아니고, 미리 정해진 차이의 구체적인 숫자는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
동일한 카테고리로 분류된 상담원들 중에서 제2 집단으로 분류된 상담원의 숫자와 제3 집단으로 분류된 상담원의 숫자가 미리 정해진 차이를 초과하고, 동일한 카테고리로 분류된 제3 집단의 상담원의 숫자가 동일한 카테고리로 분류된 제2 집단의 상담원의 숫자보다 더 많은 경우, 제3 집단으로 분류된 상담원과 제2 집단으로 분류된 상담원을 대응하고 부족한 상담원을 동일한 카테고리로 분류되며 제1 집단으로 구분된 상담원들로부터 보충할 수 있다.
즉, 상술한 조건의 경우, 인력모듈(121)은 제3 집단으로 분류된 상담원에게는 대상 문의정보에 대한 분류 업무를 할당하면서 동시에 동일한 카테고리로 분류된 제2 집단의 상담원과 동일한 카테고리로 분류된 제1 집단의 상담원에게 대상 문의정보에 대한 응답을 작성하여 대상 응답정보를 생성하는 업무를 할당할 수 있다.
일례로, 서비스-스토리지 카테고리에 상담원이 30명이 배치되었으며, 서비스-스토리지 카테고리에 제1 집단이 9명, 제2 집단이 9명, 제3 집단이 12명으로 구분되는 경우를 가정하면, 제3 집단의 12명은 대상 문의정보를 카테고리 분류하는 업무를 수행하고,제2 집단의 9명과 제1 집단의 3명은 대상 문의정보에 대한 응답을 생성하는 업무를 수행할 수 있다.
동일한 카테고리로 분류된 상담원들 중에서 제2 집단으로 분류된 상담원의 숫자와 제3 집단으로 분류된 상담원의 숫자가 미리 정해진 차이를 초과하고, 동일한 카테고리로 분류되고 제2 집단의 상담원 숫자가 동일한 카테고리로 분류된 제3 집단의 상담원의 숫자보다 더 많을 경우, 제2 집단으로 분류된 상담원과 제3 집단으로 분류된 상담원을 대응하고 부족한 상담원을 다른 카테고리로 분류되며 제1 집단으로 구분된 상담원들로부터 보충할 수 있다.
즉, 상술한 조건의 경우, 인력모듈(121)은 제2 집단으로 분류된 상담원에게 대상 문의 정보에 대한 응답을 작성하여 대상 응답정보를 생성하는 업무를 할당하면서, 동일한 카테고리로 분류되는 제3 집단의 상담원과 다른 카테고리로 분류되는 제1 집단의 상담원에게 대상 문의정보에 대한 분류 업무를 할당할 수 있다.
이는, 카테고리 분류 업무 능력의 경우, 카테고리 고유 업무에 구속되지 않기 때문일 수 있다.
일례로, 서비스-스토리지 카테고리에 상담원이 30명 배치되었고, 서비스-빅데이터 카테고리에 상담원이 30명 배치되는 상황을 가정할 수 있다. 여기서, 서비스-스토리지 카테고리에 제1 집단이 9명, 제2 집단이 12명, 제3 집단이9명으로 구성될 수 있고, 서비스-빅데이터 카테고리에 제1 집단이 20명, 제2 집단이 5명, 제3 집단이 5명으로 구성되는 상황을 가정할 수 있다.
여기서, 인력모듈(121)은 서비스-스토리지 카테고리의 제3 집단 9명과 서비스-빅데이터 카테고리의 제1 집단의 3명에게 대상 문의정보에 대한 카테고리 분류 업무를 할당하고, 서비스-스토리지 카테고리의 제2 집단의 12명에게 대상 문의정보에 대한 응답을 작성하는 업무를 할당할 수 있다.
여기서, 다른 카테고리의 선정 방식은 다른 집단에 비해서 제1 집단의 비중이 가장 큰 카테고리를 선정하는 방식일 수 있다.
상담원이 카테고리를 분류하는 업무는, 응답 관리 시스템(120)으로부터 할당받은 대상 문의정보가 자신이 담당한 업무(카테고리)에 해당되는지 여부를 승인하는 업무일 수 있다.
즉, 상담원에게 대상 문의정보 응답 업무가 할당되면, 상담원의 컴퓨팅 장치에 대상 문의정보가 표시되고, 수락 여부를 묻는 UI가 표시될 있다.
상담원은 컴퓨팅 장치를 통해 수락 여부에 대해서 답변함으로써, 대상 문의정보의 분류 업무를 수행하는 것일 수 있다.
또한, 하나의 대상 문의정보를 분류하고 응답하는 업무를 상담원을 다르게 분할하게 하는 경우, 두 명의 상담원이 짝을 지어서 상보적으로 업무를 수행할 수 있도록, 인력모듈(121)은 업무의 스케줄링을 수행할 수 있다.
평가모듈(122)은 미리 정해진 평가방법으로 상담원의 업무 역량을 평가할 수 있다.
평가모듈(122)은 상담원을 문의정보를 적절한 카테고리로 분류하는지에 대한 능력인 제1 능력과 문의정보에 대해서 적절한 응답하는지에 대한 능력인 제2 능력에 대해서 평가할 수 있다.
미리 정해진 평가방법은 상기 대상 문의정보에 대한 상담원의 응답인 대상 응답정보와 상기 대상 문의정보가 상기 분류모델에 의해 동일한 카테고리로 분류되는지 여부를 기초로 평가하는 방법일 수 있다. (제1 평가조건)
구체적인 일례로, 상기 대상 문의정보와 상기 대상 응답정보가 동일한 카테고리로 분류되는 경우, 상담원은 대상 문의정보에 대해서 적절하게 분류하였다고 평가모듈(122)은 평가할 수 있으며, 상담원의 제1 능력에 대한 점수에 감점이 이루어지지 않을 수 있다.
또한, 상기 대상 문의정보와 상기 대상 응답정보가 동일한 카테고리로 분류되지 않는 경우, 상담원은 대상 문의정보에 대해서 적절하게 분류하지 못하였다고 평가모듈(122)은 평가할 수 있으며, 상담원의 제1 능력에 대한 점수에 감점이 이루어질 수 있다.
평가모듈(122)은 대상 문의정보의 카테고리 분류 및 대상 응답정보의 카테고리 분류를 위해서 분류모듈(113)에 필요한 정보를 송수신하고, 분석모듈은 대상 문의정보와 대상응답정보의 카테고리를 각각 분류할 수 있다.
이를 위해서, 학습모델은 문의정보 뿐만 아니라 응답정보에 대해서도 독립적으로 카테고리를 분류할 수 있도록 분석모델을 학습할 수 있다.
상기 대상 문의정보에 대한 상담원의 응답인 대상 응답정보와 상기 대상 문의정보가 상기 분류모델에 의해 동일한 카테고리로 분류된다면 제1 평가조건이 만족될 수 있다.
미리 정해진 평가방법은 상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내인지 여부를 기초로 평가하는 방법일 수 있다.
일례로, 소정 범위는 0.7 내지 1일 수 있다.
다만, 이에 한정하지 않고, 소정 범위의 구체적인 수치는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
구체적인 일례로, 상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내일 경우, 상담원은 대상 문의정보에 대해서 적절하게 응답했다고 평가모듈(122)은 평가할 수 있으며, 상담원의 제2 능력에 대한 점수의 감점 이루어지지 않을 수 있다.
또한, 상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내가 아닐 경우, 상담원은 대상 문의정보에 대해서 적절하게 응답하지 못했다고 평가모듈(122)은 평가할 수 있으며, 상담원의 제2 능력에 대한 점수의 감점이 이루어질 수 있다.
평가모듈(122)은 미리 정해진 평가방법에 기반하여 상담원의 제1 능력 및 제2능력에 대해서 평가할 수 있다.
평가모듈(122)은 대상 문의정보와 대상 응답정보의 유사도를 분석하기 위해서 분류모듈(113)에 필요한 정보를 송수신하고, 분석모듈은 대상 문의정보와 대상 응답정보의 유사도를 산출할 수 있다.
상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내라면 제2 평가조건이 만족될 수 있다.
평가모듈(122)은 상담원 마다 업무역량 수치(제1 능력 및 제2 능력)를 저장하여 관리할 수 있다.
평가모듈(122)은 상담원을 평가하여 제1 능력 및/또는 제2 능력에 대한 점수를 감점하여, 상담원의 업무 역량을 관리할 수 있다.
또한, 감점된 내역은 소정 기간이 지나면 소멸되어, 과거에 감점되었으나 소정 기간 동안 감점되지 않은 상담원은 감점 내역이 소멸되어 업무역량 수치가 다시 정상화될 수 있다.
일례로, 모든 상담원은 제1 능력 100점, 제2 능력 100점부터 시작할 수 있으며, 감점 사항이 발생될 때마다 5점씩 감점될 수 있다.
능력 값이 소정 값 이하일 경우, 해당 상담원은 소정값 이하의 능력값을 가지는 업무에 대해서 비 정상적으로 수행한다고 평가모듈(122)은 판단할 수 있다.
일례로, 소정값은 80점일 수 있으나, 이에 본 발명이 한정되는 것은 아니고, 소정값의 구체적인 값은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
평가모듈(122)은 평가를 기반으로 상담원을, 문의의 분류와 문의에 대한 응답을 정상적으로 수행하는 집단인 제1 집단, 문의의 분류는 비 정상적으로 수행하나 문의에 대한 응답을 정상적으로 수행하는 집단인 제2 집단 및 문의의 분류는 정상적으로 수행하나 문의에 대한 응답은 비 정상적으로 수행하는 집단인 제3 집단으로 분류할 수 있다.
일례로, A 상담원의 제1 능력 90점, 제2 능력이 90점일 경우, A 상담원은 제1 집단으로 분류되고, A 상담원은 제1 능력에 대한 업무와 제2 능력에 대한 업무를 정상적으로 수행할 수 있다고 평가될 수 있다.
일례로, B 상담원의 제1 능력이 65점이고, 제2 능력이 90점일 경우, B 상담원은 제2 집단으로 분류되고, B 상담원은 제1 능력에 대한 업무는 정상적으로 수행할 수 없지만, 제2 능력에 대한 업무는 정상적으로 수행할 수 있다고 평가될 수 있다.
일례로, C 상담원의 제1 능력이 90점이고, 제2 능력이 70점일 경우, C상담원은 제3 집단으로 분류되고, C 상담원은 제1 능력에 대한 업무는 정상적으로 수행할 수 있지만, 제2 능력에 대한 업무는 정상적으로 수행할 수 없다고 평가될 수 있다.
교육모듈(123)은 상담원의 업무 능력에 따라 맞춤형 교육을 제공할 수 있다.
일례로, 제2 집단의 상담원에게는 카테고리에 속하는 전문지식에 대한 강의를 필수적으로 수강하도록 교육모듈(123)이 상담원에게 요청하고 강제할 수 있다.
일례로, 제3 집단의 상담원에게는 기업의 서비스 및/또는 제품의 전체적인 설명과 흐름을 파악할 수 있는 강의를 필수적으로 수강하도록 교육모듈(123)이 상담원에게 요청하고 강제할 수 있다.
이를 위해, 교육모듈(123)은 인력모듈(121)로부터 상담원들의 역량 평가 내역을 수신받을 수 있다.
응답 저장모듈(124)은 응답 관리 방법이 구현되는데 필요한 정보들이 저장되어 있을 수 있다.
일례로, 응답 저장모듈(124)은 상담원들의 신상정보, 상담원의 카테고리 분류 내역, 상담원의 평가 내역 등이 저장되어 있을 수 있다.
일례로, 응답 저장모듈(124)은 내장 메모리 및/또는 외장 메모리로 이루어질 수 있다.
일례로, 내장 메모리는 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다
일례로, 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다.
이하, 문의 관리 방법에 대해서 자세하게 서술하도록 한다.
본 발명의 일 실시예에 따른 문의 관리 방법은, 문의 관리 시스템(110)에 의해 구현되며, 임의의 제품 혹은 서비스에 대한 사용자의 문의를 관리하는 문의 관리 방법에 있어서, 수집모듈(111)에 의해, 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보가 수집되는 단계, 학습모듈(112)에 의해, 상기 과거 문의정보와 상기 과거응답정보를 함께 이용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델이 학습되는 단계 및 분류모듈(113)에 의해, 상기 분류모델이 이용되어 분류가 필요한 문의인 대상 문의정보가 미리 정해진 카테고리로 분류되는 단계를 포함할 수 있다.
분류모델 학습과정에서, 과거 문의정보의 임베딩 결과값과 과거 응답정보의 임베딩 결과값의 평균으로 어느 카테고리에 해당되는지 분류하게 되며, 이러한 분류의 손실값은 다시 분류모델의 학습에 활용될 수 있다.
또한, 과거 문의정보의 임베딩 결과값과 과거 응답정보의 임베딩 결과값의 코사인 유사도를 손실값으로 하여 다시 분류모델의 학습에 활용될 수 있다.
이러한 분류모델 학습과정을 통해서 분류모델의 카테고리 분류 성능을 비약적으로 상승될 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 문의 관리 시스템이 산출하는 분류 모델의 성능을 설명하기 위한 도면이다.
구체적으로 도 4(a)는 학습이 진행됨에 따라 분류모델과 비교모델의 검증 데이터셋에 대한 정확도(Accuracy) 추이를 도시한 그래프이고, 도 4(b)는 학습이 진행됨에 따라 분류모델과 비교모델의 검증 데이터 셋에 대한 유사도(Similarity) 추이를 도시한 도면이다.
도 4 및 도 5를 참조하면, 본 발명의 성능을 검증하기 위해서 위해 네 가지 방식으로 AI 모델을 훈련시켰다.
첫 번째는 과거 문의정보만으로 질의 카테고리를 분류하는 과제(BERT(Q)), 두 번째는 과거 응답정보만으로 진행하는 과제(BERT(A)), 세 번째는 과거 문의정보와 과거 응답정보를 모두 사용하는 과제(BERT(QA))일 수 있다.
마지막으로, 네 번째는 과거 문의정보와 과거 응답정보를 모두 사용하고 대조 학습을 사용(과거 문의정보와 과거 응답정보의 유사도)하여 질의 범주를 예측하는 과제(BERT(QA)+Sim(QA))일 수 있다.
도 4를 살펴보면, 네 번째 과제인 BERT(QA)+Sim(QA)은 훈련이 진행됨에 따라 검증 세트에서 문의와 응답 간의 유사성을 꾸준히 증가시키면서 다른 방법보다 높은 정확도를 보여주고 있다.
또한, 도 5를 살펴보면, BERT(QA)+Sim(QA)인 본 발명이 가장 높은 정확도와 유사성을 보였다.
도 6은 본 발명의 일 실시예에 따른 문의응답 통합 플랫폼의 응답 관리 시스템의 구현 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 응답 관리 방법은 사용자가 문의응답 통합 관리 플랫폼에 문의정보를 등록함으로서 시작될 수 있다.
인터페이스모듈(130)을 통해 등록된 대상 문의정보를 분류모듈(113)이 카테고리를 분류할 수 있다.
분류모듈(113)이 분류한 카테고리에 대한 정보와 대상 문의정보는 인력모듈(121)로 전달되며, 인력모듈(121)은 대상 문의정보와 동일한 카테고리에 배정된 상담원 중에서 업무 할당 비중이 낮은 상담원에게 업무를 배정할 수 있다.
처음으로 업무가 배정되면 인터페이스모듈(130)은 제1 상담원 컴퓨팅 장치에 대상 문의정보를 표시하고, 대상 문의정보의 업무 배정을 수락할지 말지에 대해서 답할 것을 요청할 수 있다.
제1 상담원은 대상 문의정보가 처음으로 할당된 상담원으로 정의할 수 있다.
제1 상담원은 업무 배정에 동의여부를 표현함으로써, 대상 문의정보가 자신이 담당하는 카테고리 업무에 해당되는지 여부를 판단하고 분류하는 업무를 수행할 수 있다.
만일, 제1 상담원이 업무 배정에 동의하는 경우, 인터페이스모듈(130)은 제1 상담원이 대상 문의정보에 대한 응답을 작성할 수 있는 인터페이스를 제1 상담원 컴퓨팅 장치에 제공할 수 있다.
제1 상담원은 자신의 컴퓨팅 장치를 통해 대상 응답정보를 작성하고 인터페이스모듈(130)에 업로드할 수 있다.
평가모듈(122)은 제1 상담원이 작성한 대상 응답정보와 대상 문의정보를 활용하여 제1 평가조건이 만족하는지 여부와 제2 평가조건이 만족하는지 여부를 판단할 수 있다.
만일, 제1 평가조건과 제2 평가조건이 모두 만족되는 경우, 평가모듈(122)은 대상 문의정보와 이에 대응하는 대상 응답정보를 응답 저장모듈(124)에 저장하고, 인터페이스모듈(130)은 대상 문의정보와 이에 대응하는 대상 응답정보가 홈페이지에 표시되도록 할 수 있다.
만일, 제1 상담원이 작성한 대상 응답정보와 대상 문의정보에 대해서 제1 평가조건 및 제2 평가조건 중 적어도 하나의 조건이 만족되지 않는 경우, 평가모듈(122)은 제1 상담원의 능력 점수를 감점할 수 있다.
일례로, 제1 평가조건이 만족되지 않는 경우, 평가모듈(122)은 제1 상담원의 제1 능력에 대한 점수를 감점할 수 있다.
일례로, 제2 평가조건이 만족되지 않을 경우, 평가모듈(122)은 제1 상담원의 제2 능력에 대한 점수를 감점할 수 있다.
제1 평가조건 및 제2 평가조건 중 적어도 하나의 조건이 만족되지 않는 경우, 수동모드로서 대상 문의정보와 대상 응답정보가 처리될 수 있다.
일례로, 대상 문의정보와 동일한 카테고리에 업무가 할당된 제1 집단이 대상 문의정보와 대상 응답정보를 검수하여, 대상 문의정보와 대상 응답정보의 응답 저장모듈(124) 저장 여부 및 홈페이지 게시 여부(업로드 여부)를 결정할 수 있다.
상술한 것과 다르게, 제1 상담원이 업무 배정에 동의하지 않는 경우, 인터페이스모듈(130)은 제1 상담원과 동일한 카테고리의 업무를 하지만 제1 상담원과 다른 제2 상담원에게 업무 배정을 수락할지 말지에 대해서 답할 것을 요청할 수 있다.
제2 상담원은 업무 배정에 동의여부를 표현함으로써, 대상 문의정보가 자신이 담당하는 카테고리 업무에 해당되는지 여부를 판단하고 분류하는 업무를 수행할 수 있다.
만일, 제2 상담원이 업무 배정에 동의하는 경우, 인터페이스모듈(130)은 제2 상담원이 대상 문의정보에 대한 응답을 작성할 수 있는 인터페이스를 제2 상담원 컴퓨팅 장치에 제공할 수 있다.
제2 상담원은 자신의 컴퓨팅 장치를 통해 대상 응답정보를 작성하고 인터페이스모듈(130)에 업로드할 수 있다.
평가모듈(122)은 제2 상담원이 작성한 대상 응답정보와 대상 문의정보를 활용하여 제1 평가조건이 만족하는지 여부와 제2 평가조건이 만족하는지 여부를 판단할 수 있다.
만일, 제2 상담원이 작성한 대상 응답정보와 대상 문의정보에 대해서, 제1 평가조건과 제2 평가조건이 모두 만족되는 경우, 평가모듈(122)은 대상 문의정보와 이에 대응하는 대상 응답정보를 응답 저장모듈(124)에 저장하고, 인터페이스모듈(130)은 대상 문의정보와 이에 대응하는 대상 응답정보가 홈페이지에 표시되도록 할 수 있다.
만일, 제1 상담원이 작성한 대상 응답정보와 대상 문의정보에 대해서 제1 평가조건 및 제2 평가조건 중 적어도 하나의 조건이 만족되지 않는 경우, 평가모듈(122)은 제1 상담원 또는 제2 상담원의 능력 점수를 감점할 수 있다.
일례로, 제1 평가조건이 만족되는 경우, 평가모듈(122)은 제1 상담원의 제1 능력에 대한 점수를 감점할 수 있다.
일례로, 제1 평가조건이 만족되지 않는 경우, 평가모듈(122)은 제2 상담원의 제1 능력에 대한 점수를 감점할 수 있다.
일례로, 제2 평가조건이 만족되지 않을 경우, 평가모듈(122)은 제2 상담원의 제2 능력에 대한 점수를 감점할 수 있다.
제1 평가조건 및 제2 평가조건 중 적어도 하나의 조건이 만족되지 않는 경우, 수동모드로서 대상 문의정보와 대상 응답정보가 처리될 수 있다. 수동모드에 대한 자세한 설명은 상술한 내용과 중복되는 한도에서 생략될 수 있다.
상술한 바와 다르게, 제2 상담원이 업무 배정에 동의하지 않는 경우, 분류모델의 카테고리 분류가 잘못된 상황으로서, 인력모듈(121)은 대상 문의정보가 카테고리 분류가 잘못되었다는 정보를 학습모델에 전달하고, 이러한 피드백이 반영되어 학습모델은 분류모델을 재 학습할 수 있다.
만일, 두 명의 상담원이 문의 분류와 문의 응답을 수행한다면, 업무를 수행하는 상담원으로 상술한 과정을 대체할 수 있다.
일례로, 제3 집단의 상담원이 대상 문의정보를 분류하고 제2 집단의 상담원이 대상 응답정보를 산출하는 상황을 가정할 수 있다. 이러한 경우, 제3 집단의 상담원에게 대상 문의정보의 분배를 승낙할 것인지의 답을 인터페이스모듈(130)이 요청할 수 있다.
이 때, 제3 집단의 상담원이 업무 배정을 승낙할 경우, 제2 집단의 상담원에게 대상 문의정보가 전달되고, 인터페이스모듈(130)은 제2 집단의 상담원이 대상 응답정보를 생성할 수 있는 인터페이스를 제공할 수 있다.
제2 집단의 상담원이 작성한 대상 응답정보와 대상 문의정보를 기초로 평가모듈(122)은 제1 평가조건과 제2 평가조건이 만족되는지 여를 판단할 수 있다.
만일, 제1 평가조건이 만족되지 않는 경우, 카테고리 분류 업무를 진행한 제3 집단의 상담원의 제1 능력에 대한 점수가 감점될 수 있다.
또한, 제2 평가조건이 만족되지 않는 경우, 대상 응답정보를 생성한 제2 집단의 상담원의 제2 능력에 대한 점수가 감점될 수 있다.
제3 집단의 상담원이 업무 배정을 승낙하지 않는 경우는, 상술한 내용의 중복 및 응용되어 설명될 수 있는 한도에서 자세한 설명이 생략될 수 있다.
응답 관리 시스템(120)은 상담원의 적절하게 평가하고, 상담원의 능력에 따라서 맞춤형 교육을 제공하고, 업무를 상보적으로 할당함으로써, 문의에 대한 응답 프로세스의 효율성을 극대화할 수 있다.
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위해, 본 발명의 기술적 사상과 관련성이 없거나 떨어지는 구성에 대해서는 간략하게 표현하거나 생략하였다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100 : 문의응답 통합 관리 플랫폼 110 : 문의 관리 시스템
120 : 응답 관리 시스템
120 : 응답 관리 시스템
Claims (10)
- 과거에 문의되었던 정보인 과거 문의정보와 상기 과거 문의정보에 대응되는 응답에 대한 정보인 과거 응답정보를 수집하는 수집모듈, 상기 과거 문의정보와 상기 과거 응답정보를 함께 활용하여 미리 정해진 학습방법으로 문의를 분류하는 분류모델을 학습하는 학습모듈 및 상기 분류모델을 이용하여 분류가 필요한 문의인 대상 문의정보를 미리 정해진 카테고리로 분류하는 분류모듈을 포함하는 문의 관리 시스템; 및
상기 분류모듈에 의해 미리 정해진 카테고리 중 하나의 카테고리로 분류된 상기 대상 문의정보를 카테고리에 대응되는 상담원에게 분배하는 응답 관리 시스템;을 포함하고,
상기 응답 관리 시스템은,
미리 정해진 카테고리별로 상담원을 분배하여 관리하며, 상기 대상 문의정보의 카테고리와 대응되는 카테고리의 상담 업무에 배정된 상담원에게 상기 대상 문의정보를 배정하는 인력모듈 및 상기 대상 문의정보에 대한 상담원의 대응을 기초로 미리 정해진 평가방법으로 상담원의 업무 역량을 평가하는 평가모듈을 포함하고,
상기 평가모듈은,
평가를 기반으로 상담원을, 문의의 분류와 문의에 대한 응답을 정상적으로 수행하는 집단인 제1 집단, 문의의 분류는 비 정상적으로 수행하나 문의에 대한 응답을 정상적으로 수행하는 집단인 제2 집단 및 문의의 분류는 정상적으로 수행하나 문의에 대한 응답은 비 정상적으로 수행하는 집단인 제3 집단으로 분류하고,
상기 인력모듈은,
미리 정해진 조건이 만족되는 경우, 사용자의 문의에 대해서 상기 제2 집단의 상담원과 상기 제3 집단의 상담원이 상보적으로 업무를 수행할 수 있도록, 상기 대상 문의정보를 배정하는,
문의응답 통합 관리 플랫폼.
- 제1항에 있어서,
상기 미리 정해진 학습방법은,
상기 과거 문의정보와 상기 과거 응답정보를 함께 학습하는 방법인,
문의응답 통합 관리 플랫폼.
- 제2항에 있어서,
상기 미리 정해진 학습방법은,
미리 학습된 자연어 처리 모델을 파인 튜닝하여, 미리 정해진 카테고리 중 하나에 분류하는 분류모델을 산출하는 방법인,
문의응답 통합 관리 플랫폼.
- 제3항에 있어서,
상기 미리 정해진 학습방법은,
상기 과거 문의정보를 자연어 처리한 값과 상기 과거 응답정보를 자연어 처리한 값을 평균 낸 손실값을 재학습하는 방법인,
문의응답 통합 관리 플랫폼.
- 제4항에 있어서,
상기 미리 정해진 학습방법은,
상기 과거 문의정보와 상기 과거 응답정보의 유사한 정도도 함께 학습하는 방법인,
문의응답 통합 관리 플랫폼.
- 제1항에 있어서,
상기 미리 정해진 평가방법은,
상기 대상 문의정보에 대한 상담원의 응답인 대상 응답정보와 상기 대상 문의정보가 상기 분류모델에 의해 동일한 카테고리로 분류되는지 여부를 기초로 평가하는 방법인,
문의응답 통합 관리 플랫폼.
- 제6항에 있어서,
상기 미리 정해진 평가방법은,
상기 대상 문의정보와 상기 대상 응답정보의 유사도가 소정 범위 이내인지 여부를 기초로 평가하는 방법인,
문의응답 통합 관리 플랫폼.
- 미리 정해진 카테고리 중 하나의 카테고리로 분류된 대상 문의정보를 카테고리에 대응되는 상담원에게 분배하는, 응답 관리 시스템에 있어서,
미리 정해진 카테고리별로 상담원을 분배하여 관리하며, 상기 대상 문의정보의 카테고리와 대응되는 카테고리의 상담 업무에 배정된 상담원에게 상기 대상 문의정보를 배정하는 인력모듈; 및
상기 대상 문의정보에 대한 상담원의 대응을 기초로 미리 정해진 평가방법으로 상담원의 업무 역량을 평가하는 평가모듈;을 포함하고,
상기 평가모듈은,
평가를 기반으로 상담원을, 문의의 분류와 문의에 대한 응답을 정상적으로 수행하는 집단인 제1 집단, 문의의 분류는 비 정상적으로 수행하나 문의에 대한 응답을 정상적으로 수행하는 집단인 제2 집단 및 문의의 분류는 정상적으로 수행하나 문의에 대한 응답은 비 정상적으로 수행하는 집단인 제3 집단으로 분류하고,
상기 인력모듈은,
미리 정해진 조건이 만족되는 경우, 사용자의 문의에 대해서 상기 제2 집단의 상담원과 상기 제3 집단의 상담원이 상보적으로 업무를 수행할 수 있도록, 상기 대상 문의정보를 배정하는,
응답 관리 시스템.
- 제8항에 있어서,
상기 응답 관리 시스템은,
상담원의 업무 역량에 맞춰 필요한 교육 커리큘럼을 산출하고 추천하는 교육모듈 및 응답 관리 방법이 구현되는데 필요한 정보를 저장하고 있는 응답 저장모듈을 더 포함하고,
상기 교육모듈은,
상기 인력모듈로부터 상담원들의 역량 평가 내역을 수신받는 것을 특징으로 하는,
응답 관리 시스템.
- 제9항에 있어서,
상기 평가모듈은,
상담원이 작성한 대상 응답정보와 대상 문의정보에 대해서, 제1 평가조건과 제2 평가조건이 모두 만족되는 경우, 평가모듈은 대상 문의정보와 이에 대응하는 대상 응답정보를 응답 저장모듈에 저장하고, 제1 평가조건 및 제2 평가조건 중 적어도 하나의 조건이 만족되지 않는 경우, 수동모드로서 대상 문의정보와 대상 응답정보가 처리되는 것을 특징으로 하는,
응답 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230077742A KR102642948B1 (ko) | 2023-06-16 | 2023-06-16 | 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230077742A KR102642948B1 (ko) | 2023-06-16 | 2023-06-16 | 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102642948B1 true KR102642948B1 (ko) | 2024-03-04 |
Family
ID=90297633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230077742A KR102642948B1 (ko) | 2023-06-16 | 2023-06-16 | 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102642948B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824242B1 (ko) * | 2017-07-11 | 2018-01-31 | 농협은행(주) | 상담품질 전수평가 장치 |
| KR20200143989A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 오니온파이브 | 고객 문의에 대한 유형 분류에 기초한 담당자 배정 시스템 및 방법 |
| KR20200143991A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 오니온파이브 | 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법 |
| KR20220118123A (ko) * | 2021-02-18 | 2022-08-25 | 현대자동차주식회사 | 질의응답 시스템 및 그 제어 방법 |
-
2023
- 2023-06-16 KR KR1020230077742A patent/KR102642948B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824242B1 (ko) * | 2017-07-11 | 2018-01-31 | 농협은행(주) | 상담품질 전수평가 장치 |
| KR20200143989A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 오니온파이브 | 고객 문의에 대한 유형 분류에 기초한 담당자 배정 시스템 및 방법 |
| KR20200143991A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 오니온파이브 | 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법 |
| KR20220118123A (ko) * | 2021-02-18 | 2022-08-25 | 현대자동차주식회사 | 질의응답 시스템 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3069936C (en) | System and method for identifying and providing personalized self-help content with artificial intelligence in a customer self-help system | |
| Xu et al. | Unleashing the power of edge-cloud generative ai in mobile networks: A survey of aigc services | |
| US10692006B1 (en) | Crowdsourced chatbot answers | |
| CN112085205A (zh) | 用于自动训练机器学习模型的方法和系统 | |
| Chang et al. | Estimating trust value: A social network perspective | |
| US20140143329A1 (en) | Discovering signature of electronic social networks | |
| WO2022252363A1 (zh) | 数据处理方法、计算机设备以及可读存储介质 | |
| KR102063183B1 (ko) | 학습 콘텐츠 추천 장치 및 방법 | |
| CN110377587B (zh) | 基于机器学习的迁移数据确定方法、装置、设备及介质 | |
| US20170140474A1 (en) | System and method for a micro-transaction based, crowd-sourced expert system that provides economic incentivized real-time human expert answers to questions, automated question categorization, parsing, and parallel routing of questions to experts, guaranteed response time and expert answers | |
| US10691827B2 (en) | Cognitive systems for allocating medical data access permissions using historical correlations | |
| US20170255997A1 (en) | Social Investing Software Platform | |
| US20230196208A1 (en) | Automated Model Generation Platform for Recursive Model Building | |
| KR102281161B1 (ko) | 자기소개서를 기반으로 면접 질문을 생성하는 서버 및 방법 | |
| US10997540B2 (en) | System and method for matching resource capacity with client resource needs | |
| Alemeye et al. | Cloud readiness assessment framework and recommendation system | |
| CN113706211A (zh) | 基于神经网络的广告点击率预测方法及系统 | |
| CN114330476A (zh) | 用于媒体内容识别的模型训练方法及媒体内容识别方法 | |
| KR102642948B1 (ko) | 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼 | |
| WO2018132860A2 (en) | System and method for determining rank | |
| CN115631008B (zh) | 商品推荐方法、装置、设备及介质 | |
| US20150193708A1 (en) | Perspective analyzer | |
| CN113239879A (zh) | 联邦模型训练、证件检测方法、装置、设备及介质 | |
| KR102583159B1 (ko) | 인공지능을 이용한 자동 스왓 분석툴 생성 모듈 및 이를 포함하는 스왓 분석 시스템 | |
| US20230110030A1 (en) | Job feed parser and configurator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |