KR102338618B1 - 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법 - Google Patents

휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법 Download PDF

Info

Publication number
KR102338618B1
KR102338618B1 KR1020170094260A KR20170094260A KR102338618B1 KR 102338618 B1 KR102338618 B1 KR 102338618B1 KR 1020170094260 A KR1020170094260 A KR 1020170094260A KR 20170094260 A KR20170094260 A KR 20170094260A KR 102338618 B1 KR102338618 B1 KR 102338618B1
Authority
KR
South Korea
Prior art keywords
conversation
unattended
abnormal situation
human agent
message
Prior art date
Application number
KR1020170094260A
Other languages
English (en)
Other versions
KR20190011570A (ko
Inventor
김진운
나봉원
박병재
강슬기
이진수
임금식
안주희
박영민
변진수
김창필
김지훈
이준원
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170094260A priority Critical patent/KR102338618B1/ko
Priority to US16/044,732 priority patent/US10776580B2/en
Publication of KR20190011570A publication Critical patent/KR20190011570A/ko
Application granted granted Critical
Publication of KR102338618B1 publication Critical patent/KR102338618B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30Transportation; Communications
    • G06Q50/50
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0638Interactive procedures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Abstract

본 발명의 일 실시예에 따른 무인 대화 서비스 제공 방법은, 대화를 구성하는 텍스트 메시지 데이터를 사용자 단말과 송수신 하는 단계와, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계와, 상기 비정상 상황이 발생된 것으로 판정된 경우 휴먼 에이전트(Human Agent) 관리 장치에 상기 대화에 대한 정보를 포함한 보조 요청을 송신하는 단계와, 상기 보조 요청에 대한 응답인 대화 진전 가이드 정보를, 상기 휴먼 에이전트 관리 장치로부터 수신하되, 상기 대화 진전 가이드 정보는, 상기 휴먼 에이전트 관리 장치에 연결되고, 상기 휴먼 에이전트 관리 장치에 의하여 상기 보조 요청에 대한 처리 태스크를 할당 받은 휴먼 에이전트 단말에 입력된 휴먼 에이전트의 입력 데이터를 이용하여 구성된 것인 단계와, 상기 대화 진전 가이드 정보를 이용하여 상기 대화를 계속 진행하는 단계를 포함한다.

Description

휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법{Method for providing chatting service with chatbot assisted by human agents}
본 발명은 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법에 관한 것이다. 보다 자세하게는, 사용자와 챗봇(chatbot) 사이의 무인 대화 서비스를 제공함에 있어서, 챗봇의 불완전성을 휴먼 에이전트가 보조해주는 방식의 무인 대화 서비스를 제공하는 방법에 관한 것이다.
메신저 상에서 소프트웨어와 대화할 수 있는 기술이 제공되고 있다. 이러한 기술에 따르면, 사용자가 메신저 상에서 상기 소프트웨어와 대화를 이어갈 수 있다. 상기 소프트웨어는 흔히 챗봇 또는 채팅봇 등으로 불린다. 챗봇은 정해진 응답 규칙에 따라 사용자 질문에 응답할 수 있도록 구현 될 수 있다. 챗봇의 대화 능력을 증대시키기 위하여 인공지능 기술이 결합될 수 있다.
시간이 흐름에 따라 챗봇의 대화 능력이 지속적으로 발전하겠지만, 아직 그 대화 능력은 사람의 대화 능력에 미치지 못한다. 따라서, 챗봇의 불완전성을 적절하게 보완해 줄 수 있는 무인 대화 서비스, 즉 챗봇 서비스의 제공이 요구된다.
미국등록특허 제8,484,042호
본 발명이 해결하고자 하는 기술적 과제는, 사용자와 챗봇 사이의 대화 분석을 통해 비정상 상황이 감지된 경우, 휴먼 에이전트의 대화 진전 가이드 입력을 통해 상기 대화를 진전시키는 무인 대화 서비스 제공 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자와 챗봇 사이의 대화 분석을 통해 비정상 상황이 감지된 경우, 휴먼 에이전트의 확인을 우선적으로 거친 후, 유인 상담원과의 채팅 대화 서비스로 전환하는 무인 대화 서비스 제공 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 무인 대화 서비스 제공 방법은, 대화를 구성하는 텍스트 메시지 데이터를 사용자 단말과 송수신 하는 단계와, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계와, 상기 비정상 상황이 발생된 것으로 판정된 경우 휴먼 에이전트(Human Agent) 관리 장치에 상기 대화에 대한 정보를 포함한 보조 요청을 송신하는 단계와, 상기 보조 요청에 대한 응답인 대화 진전 가이드 정보를, 상기 휴먼 에이전트 관리 장치로부터 수신하되, 상기 대화 진전 가이드 정보는, 상기 휴먼 에이전트 관리 장치에 연결되고, 상기 휴먼 에이전트 관리 장치에 의하여 상기 보조 요청에 대한 처리 태스크를 할당 받은 휴먼 에이전트 단말에 입력된 휴먼 에이전트의 입력 데이터를 이용하여 구성된 것인 단계와, 상기 대화 진전 가이드 정보를 이용하여 상기 대화를 계속 진행하는 단계를 포함한다.
상기 비정상 상황의 발생 여부를 판정하는 단계는, 상기 사용자 단말로부터 수신되어 상기 대화를 구성하는 텍스트에서 부정적 표현을 감지하는 단계와 상기 부정적 표현의 감지 횟수 및 빈도 중 적어도 하나를 이용하여 상기 비정상 상황의 발생 여부를 판정하는 단계를 포함하거나, 상기 사용자 단말로부터 수신되어 상기 대화를 구성하는 텍스트에서 상담원을 호출하는 표현을 감지하면 상기 비정상 상황이 발생한 것으로 판정하는 단계를 포함할 수 있다.
상기 비정상 상황의 발생 여부를 판정하는 단계는 상기 대화의 대화 모델에 따를 때, 상기 사용자 단말로부터 수신된 최근 메시지의 의도 식별이 불가능한 경우, 상기 비정상 상황이 발생된 것으로 판정하는 단계를 포함할 수도 있다. 이 때, 상기 보조 요청은, 상기 대화의 대화 모델에 따른 상기 최근 메시지의 후보 의도를 복수 개 포함할 수 있다. 또한, 상기 대화 진전 가이드 정보는 상기 복수개의 후보 의도들 중 하나를 실제 의도로서 지정하는 정보를 포함할 수 있다. 또한 상기 대화를 계속 진행하는 단계는, 상기 대화의 대화 모델에 상기 실제 의도를 적용하여 상기 최근 메시지에 대한 응답 메시지를 생성하는 단계를 포함할 수 있다. 이 때, 상기 보조 요청에 대한 응답인 대화 진전 가이드 정보를 상기 휴먼 에이전트 관리 장치로부터 수신하되 상기 대화 진전 가이드 정보는 상기 휴먼 에이전트 관리 장치에 연결되고 상기 휴먼 에이전트 관리 장치에 의하여 상기 보조 요청에 대한 처리 태스크를 할당 받은 휴먼 에이전트 단말에 입력된 휴먼 에이전트의 입력 데이터를 이용하여 구성된 것인 단계는, 상기 최근 메시지 및 상기 실제 의도의 매칭(matching)을 지도 학습(supervised learning)의 트레이닝 데이터에 포함시키는 단계와, 상기 트레이닝 데이터를 이용하여 상기 사용자 단말로부터 수신 된 메시지의 의도를 식별하는 모델을 업데이트 하는 단계를 포함할 수 있다.
일 실시예에서, 상기 비정상 상황의 발생 여부를 판정하는 단계는, 상기 사용자 단말로부터 수신된 최근 메시지가 현재 서비스 중인 채팅봇에서 지원 되지 않는 대화 도메인에 속하는 경우, 상기 비정상 상황이 발생된 것으로 판정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 대화를 계속 진행하는 단계는, 대화를 구성하는 데이터를 사용자 단말과 송수신 하는 단계와, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계와, 상기 비정상 상황이 다시 발생된 것으로 판정된 경우, 상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 상담원 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 메시지 송수신 모드로 전환하는 단계를 포함할 수 있다. 이 때, 상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 상담원 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 메시지 송수신 모드로 전환하는 단계는, 상기 상담원 단말에 입력된 상담원 입력 메시지의 말투를 무인 대화 서비스에서 채택된 캐릭터의 말투로 자동 변환하여 상기 사용자 단말에 송신하는 단계를 포함할 수 있다. 또한, 상기 휴먼 에이전트 단말은, 상기 비정상 상황의 타입에 따라 상기 상담원 전환 명령의 입력이 선택적으로 가능하도록 한 사용자 인터페이스를 제공하는 것일 수 있다.
일 실시예에서, 상기 대화를 계속 진행하는 단계는, 대화를 구성하는 데이터를 사용자 단말과 송수신 하는 단계와, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계와, 상기 비정상 상황이 다시 발생된 것으로 판정된 경우, 상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 음성 통화 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 음성 통화 모드로 전환하는 단계를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 무인 대화 서비스 시스템의 제1 구성도이다.
도 2는 본 발명의 일 실시예에 따른 무인 대화 서비스 시스템의 제2 구성도이다.
도 3은 본 발명의 일 실시예에 따른 무인 대화 서비스 장치의 제1 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 무인 대화 서비스 장치의 제2 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따른 무인 대화 서비스 제공 방법의 제1 순서도이다.
도 6 내지 도 7c는 본 발명의 몇몇 실시예들에서, 대화가 비정상 상황인 것으로 판단된 경우에 수행되는 동작을 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 무인 대화 서비스 제공 방법의 제2 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.
도 1 내지 도 2를 참조하여 본 발명의 몇몇 실시예들에 따른 무인 대화 서비스 제공 시스템의 구성 및 동작을 설명한다.
도 1은 상기 무인 대화 서비스 제공 시스템의 제1 실시예에 따른 구성을 나타낸다. 도 1에 도시된 바와 같이, 본 실시예에 따른 무인 대화 서비스 제공 시스템은 무인 대화 서비스 장치(100) 및 휴먼 에이전트 관리 장치(200)를 포함한다. 다른 실시예에서, 무인 대화 서비스 제공 시스템은 무인 대화 서비스 장치(100) 및 휴먼 에이전트 관리 장치(200)뿐만 아니라 상담원 관리 장치(300)를 더 포함할 수도 있다.
무인 대화 서비스 장치(100)는 사용자 단말(10a, 10b, 10c)과 인터넷 등의 네트워크를 통하여 연결된다. 무인 대화 서비스 장치(100)는 사용자 단말(10a, 10b, 10c)에 챗팅봇과의 메신저 대화 서비스를 제공한다. 무인 대화 서비스 장치(100)는 사용자 단말(10a, 10b, 10c)을 통하여 입력 된 사용자 메시지와 무인 대화 서비스 장치(100)에 의하여 상기 사용자 메시지에 대한 응답으로서 생성된 챗팅봇 메시지로 구성된 대화(dialog)를 관리한다. 상기 대화의 관리를 위하여 무인 대화 서비스 장치(100)는 하나 이상의 대화 모델(dialog model)을 저장할 수 있다.
무인 대화 서비스 장치(100)는 상기 대화를 분석하여 상기 대화가 '비정상 상황'에 처해있는지 여부를 판정한다. 무인 대화 서비스 장치(100)는 상기 대화가 비정상 상황에 처해 있는 것으로 판정한 경우, 휴먼 에이전트 관리 장치(200)에 상기 대화에 대한 정보를 포함한 보조 요청을 송신한다. 상기 보조 요청에는 상기 대화의 이력 정보가 포함될 수 있다. 상기 이력 정보는 사용자의 메시지 및 채팅봇의 메시지를 시간 순으로 배열한 것일 수 있다. '비정상 상황'은 채팅봇이 더 이상 대화를 진전시키는 것이 불가능하거나 적절하지 않은 상황을 가리킨다. '비정상 상황'의 의미에 대하여는 추후 몇몇 구체적인 예시와 함께 보다 자세히 설명한다.
휴먼 에이전트 관리 장치(200)는 복수의 휴먼 에이전트 단말(20a, 20b, 20c, 20d)과 네트워크를 통하여 연결된다. 복수의 휴먼 에이전트 단말(20a, 20b, 20c, 20d)은 휴먼 에이전트에 의하여 사용되는 단말 장치이다. 휴먼 에이전트 관리 장치(200)는 상기 보조 요청에 대한 처리 태스크를 복수의 휴먼 에이전트 단말 중 하나에 할당한다.
상기 휴먼 에이전트에게 요구되는 능력은 평균적인 성인이 가진 언어 이해 능력 정도면 족하다. 휴먼 에이전트는 사용자의 요청에 대한 대응과 관련된 전문적인 교육을 받은 상담원들과는 구별된다.
휴먼 에이전트는 상기 비정상 상황이 발생된 경우, 사용자와 무인 대화 서비스 장치(100) 간의 대화가 진전되도록 보조한다. 예를 들어, 사용자가 무인 대화 서비스 장치(100)와의 대화에 불만을 표시하는 메시지를 입력하는 경우 대화를 진전시키기 위한 가이드 정보를 입력하거나, 무인 대화 서비스 장치가 대화를 진전시키기 위한 정확한 판단을 내릴 수 없는 경우 상기 무인 대화 서비스 장치에 의하여 제시된 후보 답안들 중 하나를 선택하거나, 사용자가 무인 대화 서비스 장치(100)와의 대화에서 상담원을 호출하는 메시지를 입력한 경우 상담원과의 대화 모드로 전환할 상황인지 여부를 결정한다.
휴먼 에이전트 단말은 휴먼 에이전트 관리 장치(200)와 로컬 네트워크를 통하여 연결된 것(20a, 20b)이거나, 인터넷 등 오픈 네트워크를 통하여 연결된 것(20c, 20d)일 수 있다. 즉, 휴먼 에이전트는 콜 센터 사무실 등 기 지정된 공간 내부에서 무인 대화 서비스 보조 업무를 담당하는 사람이거나, 기 지정되지 않은 공간에서 자유롭게 무인 대화 서비스 보조 업무를 담당하는 사람일 수 있다.
상기 보조 요청에 대한 처리 태스크를 휴먼 에이전트 관리 장치(200)로부터 할당 받은 휴먼 에이전트 단말(20a, 20b, 20c, 20d)은 상기 보조 요청에 대한 정보를 표시하고, 휴먼 에이전트로부터 대화 진전 가이드 정보를 입력 받기 위한 휴먼 에이전트 사용자 인터페이스를 디스플레이 한다. 상기 보조 요청에는 대화의 이력 정보가 포함될 수 있는 점은 이미 언급한 바 있다. 즉, 상기 휴먼 에이전트 사용자 인터페이스는 사용자와 채팅봇 사이에 주고 받은 메시지를 시간 순으로 표시하는 표시 영역 및, 사용자와 채팅봇 사이의 대화를 진전 시키기 위한 가이드 정보를 입력 받기 위한 입력 영역을 포함할 수 있다.
휴먼 에이전트가 상기 대화 진전 가이드 정보로서 제공해야 하는 정보는 상기 비정상 상황의 타입에 따라 다를 것이다. 이하, 휴먼 에이전트 관리 장치(200)가 상기 대화를 비정상 상황에 처해 있는 것으로 판정하는 다양한 실시예들에 대하여 설명한다.
비정상 상황의 제1 타입
사용자 메시지에서 부정적 표현이 감지되는 경우, 무인 대화 서비스 장치(100)는 상기 대화가 비정상 상황에 처해 있는 것으로 판정할 수 있다. 이 때, 휴먼 에이전트는 휴먼 에이전트 단말에 표시된 휴먼 에이전트 사용자 인터페이스를 통하여 대화의 이력 정보를 확인하고, 표현의 심각도에 따라 상담원 전환 명령을 입력하거나(도 7b 또는 도 7c 참조), 그대로 무인 대화가 진행되도록 하는 명령을 입력하거나(도 7a 참조), 기 정의된 몇 개의 예시 대응 문구 중 하나가 답변 메시지로 사용되도록 하는 명령을 입력할 수 있다.
일 실시예에서 상기 부정적 표현은 기 지정된 금칙어를 가리킨다. 상기 금칙어는, 욕설, 음란한 문구 및 무인 대화 서비스 제공 사업자에 의하여 지정된 하나 이상의 커스텀(custom) 금칙어 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 상기 부정적 표현은 부정적 감정을 가리키는 표현이다. 부정적 감정을 가리키는 표현인지 여부는 널리 알려진 기술인 감정 분석(sentiment analysis)을 활용할 수 있다. 즉, 새롭게 입력된 사용자 메시지에 대하여 감정 분석을 수행한 결과 값이 기준에 미달하는 경우(즉, 기준 대비 부정적 감정으로 분석되는 경우), 상기 대화가 비정상 상황에 처해 있는 것으로 판정될 수 있다. 감정 분석에 대하여는 아래의 문헌을 참조한다.
- 웹 문서 'https://en.wikipedia.org/wiki/Sentiment_analysis'
- Liu, Bing (2010). "Sentiment Analysis and Subjectivity". In Indurkhya, N.; Damerau, F. J. Handbook of Natural Language Processing (Second ed.)
비정상 상황의 제2 타입
상기 새롭게 입력된 사용자 메시지에서 상담원을 호출하는 표현이 감지되면, 무인 대화 서비스 장치(100)는 상기 대화가 비정상 상황에 처해 있는 것으로 판정할 수 있다. 이 때, 휴먼 에이전트가 사용자의 상담원 호출 이유를 파악할 수 있도록, 무인 대화 서비스 장치(100)는, 상기 보조 요청에 포함되는 대화의 이력 정보에, 상기 상담원을 호출하는 표현을 기준으로 기 지정된 개수의 이전 메시지를 포함시킬 수 있다. 휴먼 에이전트는 휴먼 에이전트 단말에 표시된 휴먼 에이전트 사용자 인터페이스를 통하여 대화의 이력 정보를 확인하고, 상담원 전환 명령을 입력하거나, 그대로 무인 대화가 진행되도록 하는 명령을 입력할 수 있다.
비정상 상황의 제3 타입
한편, 무인 대화 서비스 장치(100)는 서로 다른 대화 도메인(domain)을 지원하는 복수의 채팅봇을 서비스할 수 있다. 예를 들어, 무인 대화 서비스 장치(100)는 일상 대화 채팅봇, 특정 서비스에 대한 상담 채팅봇, 질의 응답 채팅봇 등을 운영할 수 있다. 상기 일상 대화 채팅봇은 일상 대화 도메인 내에서의 대화를 지원하며, 일상 대화 모델에 따른 대화를 진행하는 것일 수 있다. 상기 일상 대화 모델은 룰 기반의 답변 생성, 예제 기반의 답변 생성 등의 기능을 지원할 수 있다. 상기 특정 서비스에 대한 상담 채팅봇은 상기 특정 서비스와 관련된 도메인 내에서의 대화를 지원하며, 상태 전이(state transition) 기반의 시나리오 기반 모델에 따른 대화를 지원할 수 있다. 상기 질의 응답 채팅봇은 기 지정된 데이터베이스, 또는 검색 엔진을 통하여 질의에 대한 응답 메시지를 생성한다. 상기 질의 응답 채팅봇은 그 의도가 질문인 자연어 메시지를 처리 대상으로 한다.
현재 서비스 중인 채팅봇에서 지원 되지 않는 대화 도메인에 속하는 사용자 메시지가 입력 된 경우, 무인 대화 서비스 장치(100)는 상기 대화가 비정상 상황에 처해 있는 것으로 판정할 수 있다. 예를 들어, 자동차 보험 갱신 서비스에 대한 제1 상담 채팅봇과의 무인 대화 중, 사용자가 신용 카드 업무에 대한 문의 메시지를 입력하는 경우, 상기 제1 상담 채팅봇은 상기 문의 메시지에 대한 적절한 대응을 하기 어려울 가능성이 크다. 상기 제1 상담 채팅봇은 자동차 보험 갱신 서비스와 관련된 엔티티(entity)들로 구성된 제1 용어 사전을 통하여 사용자 메시지의 자연어 이해 프로세스를 수행하는데, 신용 카드 업무에 대한 상기 문의 메시지는 상기 제1 용어 사전에 포함되지 않은 엔티티를 포함할 가능성이 높기 때문이다. 상기 엔티티는 대화 도메인에서 빈번하게 활용되거나, 특정 정보를 제공하는 기호, 단어 또는 표현을 가리킨다. 예를 들어, 자동차 보험 갱신 서비스가 대화 도메인인 경우, 그 용어 사전에 포함될 수 있는 엔티티로서 '마일리지 특약', '부부한정 특약', '대인 배상', '대물 배상' 등이 고려 될 수 있을 것이다.
현재 서비스 중인 채팅봇에서 지원 되지 않는 대화 도메인에 속하는 사용자 메시지가 입력 된 경우, 채팅봇의 교체가 요구된다. 이 때, 무인 대화 서비스 장치(100)는 휴먼 에이전트 단말(20a, 20b, 20c, 20d)을 통해 새로운 채팅봇을 지정 받을 수 있다. 무인 대화 서비스 장치(100)는, 휴먼 에이전트가 참조할 수 있도록 대화 이력을 포함한 보조 요청을 휴먼 에이전트 관리 장치(200)에 송신하는 점은 이미 설명한 바 있다. 무인 대화 서비스 장치(100)는 상기 보조 요청에 후보 채팅봇 목록을 더 포함할 수 있다. 이 경우, 휴먼 에이전트는 대화 이력을 확인하고, 화면에 제시된 후보 채팅봇 중 적절한 것으로 판단되는 하나의 채팅봇을 선택할 수 있을 것이다.
일 실시예에서 상기 후보 채팅봇 목록은 무인 대화 서비스 장치(100)가 서비스하는 전체 채팅봇의 목록일 수 있다. 다른 실시예에서 상기 후보 채팅봇 목록은 신규 사용자 메시지에 포함된 기호, 단어 또는 표현이 용어 사전에 엔티티로서 등록된 채팅봇 만을 포함할 수도 있다.
비정상 상황의 제4 타입
새롭게 입력된 사용자 메시지에 대하여 형태소 분석(tokenizing), 자연어 처리(Natural Language Processing) 및 자연어 이해(Natural Language Understanding)를 수행하고, 그 결과를 현재 대화에 적용되는 대화 모델에 적용했음에도 불구하고 상기 새롭게 입력된 사용자 메시지의 사용자 의도를 식별하기 어려운 경우, 무인 대화 서비스 장치(100)는 상기 대화가 비정상 상황에 처해 있는 것으로 판정할 수 있다. 이 때, 상기 보조 요청은 상기 대화의 대화 모델에 따른 상기 최근 메시지의 후보 의도를 복수 개 포함한다.
도 6을 참조하여 자세히 설명한다. 사용자가 '핸드폰이 맛이 갔는데 어디로 가야 해요'라고 자연어 형태의 메시지를 입력한 경우, 무인 대화 서비스 장치(100)는 상기 메시지에 대하여 형태소 분석, 자연어 처리, 자연어 이해 등의 프로세스를 수행한다. 그 후, 무인 대화 서비스 장치(100)는 현재 진행 중인 대화의 대화 모델에 기반하여 상기 메시지에 담긴 사용자의 의도를 식별한다.
그런데, 도 6에 도시된 바와 같이 사용자 메시지의 의도가 하나만 추출되는 것이 아니라, 복수 개의 후보 의도가 추출되는 경우가 발생될 수 있다. 도 6에 도시된 메시지에 대하여는, '핸드폰/수리접수', '핸드폰/일반문의', 및 '핸드폰/센터안내'라는 3개의 후보 의도가 추출된 상태이다. 물론, 도 6에 도시된 것과 같이, 무인 대화 서비스 장치(100)가 각각의 후보 의도에 부여된 신뢰도 스코어를 이용하여 가장 높은 신뢰도를 가진 후보 의도를 자체적으로 선택할 수도 있을 것이다. 하지만, 사용자 의도 추출과 관련된 신뢰도 스코어가 정확하지 않을 수 있으므로, 무인 대화 서비스 장치(100)는 대화 이력(특히 신규의 사용자 메시지) 및 추출된 복수의 사용자 의도를 포함한 보조 요청을 휴먼 에이전트 관리 장치(200)에 송신할 수 있다.
휴먼 에이전트 관리 장치(200)는 상기 보조 요청에 포함된 데이터 중 적어도 일부를 휴먼 에이전트 단말에 송신한다. 그 결과, 휴먼 에이전트 단말(20a, 20b, 20c, 20d)은 도 6에 도시된 것과 같은 휴먼 에이전트 사용자 인터페이스를 디스플레이 할 수 있다.
휴먼 에이전트가 상기 휴먼 에이전트 사용자 인터페이스를 통해 메시지에 담긴 사용자의 의도를 선택하고, 선택된 사용자 의도를 가리키는 정보가 대화 진전 가이드 정보로서 무인 대화 서비스 장치(100)에 제공 된다. 그 결과, 무인 대화 서비스 장치(100)는 휴먼 에이전트에 의하여 지정된 사용자 의도를 현재 진행 중인 대화 모델에 대입함으로써, 대화를 계속 진전 시킬 수 있다.
지금까지, 무인 대화 서비스 장치(100)가 대화를 구성하는 텍스트 메시지 데이터를 사용자 단말과 송수신 하는 도중, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하게 되는 다양한 상황에 대하여 검토하였다. 한편, 휴먼 에이전트는 휴먼 에이전트 단말(20a, 20b, 20c, 20d)에 디스플레이 되는 휴먼 에이전트 사용자 인터페이스를 통하여, 사용자 단말(10a, 10b, 10c)의 사용자가 채팅봇이 아닌 실제 상담원과 채팅을 진행하도록 하는 명령을 입력할 수 있다. 휴먼 에이전트는, 사용자가 더 이상 채팅봇과의 채팅을 진행할 수 없는 것으로 보이는 경우, 상담원과 채팅을 진행하도록 하는 명령을 입력할 수 있다. 이 때, 휴먼 에이전트 관리 장치(200)는 그 대화와 관련된 세션 정보 및 대화 이력 등의 정보를 상담원 관리 장치(300)에 송신한다. 이 때, 무인 대화 서비스 장치(100)는 더 이상 사용자 메시지의 분석 및 그 응답 메시지의 생성 프로세스를 수행하지 않는다. 그 대신, 무인 대화 서비스 장치(100)는 사용자 메시지를 상담원 관리 장치(300)에 전달하고, 상담원 관리 장치(300)를 통해 전달된 상담원 단말(30a, 30b, 30c, 30d)에 입력된 메시지를 사용자 단말(10a, 10b, 10c)에 전달하는 바이패스(by-pass) 모드로 동작한다.
도 2는 상기 무인 대화 서비스 제공 시스템의 제2 실시예에 따른 구성을 나타낸다. 도 2에 도시된 바와 같이, 본 실시예에 따른 무인 대화 서비스 제공 시스템은 서비스 관리 장치(600) 및 무인 대화 서비스 장치(100)를 포함한다.
도 2에 도시된 무인 대화 서비스 제공 시스템의 무인 대화 서비스 장치(100)는 사용자 단말(10a, 10b, 10c)과 채팅봇 사이의 대화를 분석하고, 비정상 상황이 발생한 것으로 판정하면, 보조 요청을 생성하는 점에서 도 1의 무인 대화 서비스 장치와 그 동작이 유사하다.
도 1의 휴먼 에이전트 관리 장치(200)는 서비스 관리 장치(600)의 세션 관리자(630) 내부에 휴먼 에이전트 관리 모듈(631)로서 구현되고, 도 1의 상담원 관리 장치(300)는 서비스 관리 장치(600)의 세션 관리자(630) 내부에 휴먼 상담원 관리 모듈(632)로서 구현된다. 즉, 본 명세서의 휴먼 에이전트 관리 장치는 도 1에 도시된 것과 같이 독립적인 장치(200)의 형태로 구성될 수도 있고, 도 2에 도시된 것과 같이 세션 관리자(630)의 내부 소프트웨어 모듈(631)의 형태로 구성될 수도 있다. 또한, 본 명세서의 상담원 관리 장치 역시 도 1에 도시된 것과 같이 독립적인 장치(300)의 형태로 구성될 수도 있고, 도 2에 도시된 것과 같이 세션 관리자(630)의 내부 소프트웨어 모듈(632)의 형태로 구성될 수도 있다.
사용자가 사용자 단말(10a, 10b, 10c)에 입력한 채팅 메시지는 네트워크를 통해 채팅 서버(400)에 송신된다. 채팅 서버(400)는 서비스 관리 장치(600)의 채팅 에이전트(610)에 상기 채팅 메시지를 전달한다. 채팅 에이전트(610)는 세션 관리자(630)와 외부 장치 사이의 어댑터(adaptor) 역할을 하는 소프트웨어 인터페이스 모듈이다.
세션 관리자(630)는 채팅 에이전트(610)로부터 전달 된 상기 채팅 메시지에 대한 세션이 설립 되어 있지 않으면, 상기 채팅 메시지로부터 시작될 대화를 위한 신규 세션을 설립하고, 상기 채팅 메시지를 상기 신규 세션에 대한 정보와 함께 무인 대화 서비스 장치(100)에 전달한다. 무인 대화 서비스 장치(100)는 상기 채팅 메시지에 대한 응답 메시지를 생성하고, 상기 채팅 메시지를 포함하는 대화에 상기 신규 세션에 대한 정보를 매칭한다. 무인 대화 서비스 장치(100)는 상기 응답 메시지를 상기 신규 세션에 대한 정보와 함께 세션 관리자(630)에 제공한다. 상기 응답 메시지는, 그 후 채팅 에이전트(610), 채팅 서버(400)를 거쳐 사용자 단말(10a, 10b, 10c)에 송신된다.
무인 대화 서비스 장치(100)는 상기 대화에 포함되는 채팅 메시지가 축적됨에 따라, 상기 대화의 대화 도메인에 매칭 되는 채팅봇을 대화 담당으로서 할당하고, 대화 패턴에 적합한 대화 모델을 결정함으로써, 무인 대화 서비스를 제공할 수 있다. 세션 관리자(630)는 상기 신규 세션에 대한 정보를 채팅 서버(400)에도 제공한다. 그럼으로써, 채팅 서버(400)는 상기 대화에 매칭 되는 서비스 관리 장치(600) 상의 세션 정보를 관리하게 된다.
상기 채팅 메시지가 대화를 시작하기 위한 최초의 메시지가 아니라면, 채팅 서버(400)는 상기 대화에 매칭 되는 서비스 관리 장치(600) 상의 세션 정보와 상기 채팅 메시지를 함께 서비스 관리 장치(600)의 채팅 에이전트(610)에 제공한다.
서비스 관리 장치(600)는 기존의 기간계 콜 센터 시스템과 무인 대화 서비스 장치(100)가 연계 되어 서비스를 제공할 수 있도록 하는 하이브리드 아키텍처를 가진다. 이러한 하이브리드 아키텍처를 구현하기 위하여, 전용 하드웨어(dedicated hardware) 상에서 동작하는 레거시 인터페이스(620), 콜 에이전트(640) 및 채팅 에이전트(610)가 제공된다.
무인 대화 서비스 장치(100)는 채팅봇과의 무인 대화 모드에서 비정상 상황이 발생된 경우 세션 관리자(630)의 휴먼 에이전트 관리 모듈(631)에 보조 요청을 제공하고, 상기 보조 요청에 대한 응답으로 상기 보조 요청에 대한 응답인 대화 진전 가이드 정보를 휴먼 에이전트 관리 모듈(631)로부터 제공 받아, 사용자와 채팅봇 사이의 대화를 진전시킨다. '비정상 상황'에 대한 예시 등에 대한 자세한 설명은 도 1을 참조하여 설명된 실시예를 참조한다.
휴먼 에이전트는 휴먼 에이전트 단말(20e, 20f, 20g, 20h)에 표시된 휴먼 에이전트 인터페이스를 통하여 상담원과 채팅을 진행하도록 하는 명령을 입력할 수 있다(도 7b 참조). 이 때, 휴먼 에이전트 관리 모듈(631)은 휴먼 에이전트 단말(20e, 20f, 20g, 20h)로부터 상기 상담원과 채팅을 진행하도록 하는 명령의 입력 신호가 수신되면, 그 대화에 대한 세션 정보를 상담원 관리 모듈(632)에 제공한다. 상담원 관리 모듈(632)은 레거시 인터페이스(620)를 통해 상기 대화에 대한 세션 정보를 기간계 작업 분배 장치(500)에 전달한다. 기간계 작업 분배 장치(500)는 기간계 작업 분배 장치(500)에 연결된 상담원 단말(30g, 30h) 중 하나에 상기 대화에 대한 대응 태스크를 할당한다. 상기 태스크는 상기 대화에 대한 세션 정보를 포함한다.
상담원 단말(30g, 30h)은 상기 세션 정보를 포함한 채팅 연결 요청을 채팅 서버(400)에 송신한다. 채팅 서버(400) 역시 서비스 관리 장치(600)와 마찬가지로 각 대화 별 서비스 관리 장치(600) 상 세션 정보를 관리하고 있으므로, 상기 채팅 연결 요청의 수신에 응답하여, 상기 대화의 당사자를 채팅봇에서 상담원 단말(30g, 30h)으로 교체할 수 있다.
휴먼 에이전트는 휴먼 에이전트 단말(20e, 20f, 20g, 20h)에 표시된 휴먼 에이전트 인터페이스를 통하여 상담원과 전화 상담을 진행하도록 하는 명령을 입력할 수 있다(도 7c 참조). 이 때, 휴먼 에이전트 관리 모듈(631)은 휴먼 에이전트 단말(20e, 20f, 20g, 20h)로부터 상기 상담원과 전화 상담을 진행하도록 하는 명령의 입력 신호가 수신되면, 그 대화에 대한 세션 정보를 상담원 관리 모듈(632)에 제공한다. 상담원 관리 모듈(632)은 콜 에이전트(640)를 통해 사용자 단말(10a, 10b, 10c)과의 전화 연결 정보를 교환기(700)에 전달한다. 교환기(700)는 상기 전화 연결 정보를 이용하여 사용자 단말(10a, 10b, 10c)과의 전화 통화 호를 설립한 후, 호의 설립이 성공된 경우 교환기(700)에 연결된 상담원 단말(30e, 30f) 중 하나에 전화 상담 태스크를 할당한다. 일 실시예에서, 교환기(700)는 상기 대화의 이력 정보를 상담원 관리 모듈(632)로부터 콜 에이전트(640)를 통하여 수신 받아 상담원 단말(30e, 30f)에 제공한다.
이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 무인 대화 서비스 장치의 구성 및 동작을 설명한다. 본 실시예에 따른 무인 대화 서비스 장치(100)는 사용자 단말에 의하여 생성된 사용자의 텍스트 메시지 데이터에 대한 수신 처리를 담당하는 발화 데이터 입력부(110), 발화 데이터 입력부(110)로부터 텍스트 메시지를 제공 받아, 형태소 분석, 자연어 처리 및 자연어 이해 등을 수행하는 자연어 처리부(120), 자연어 처리부(120)의 처리 결과를 제공 받아 상기 텍스트 메시지가 포함된 대화의 대화 모델에 따른 진행을 관리하는 대화 관리부(150) 및 대화 관리부(150)의 제어에 따라 상기 텍스트 메시지에 대한 답변을 자연어 형식으로 생성하는 자연어 생성부(160)를 포함한다.
본 실시예에 따른 무인 대화 서비스 장치(100)는 사용자 의도 추출부(130) 및 비정상 상황 판정부(140)를 더 포함한다.
사용자 의도 추출부(130)는 자연어 처리부(120)의 처리 결과 및 대화 관리부(150)의 대화 모델 정보를 제공 받아 사용자의 텍스트 메시지에 따른 사용자의 발화 의도를 추출한다.
비정상 상황 판정부(140)는 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정한다. 비정상 상황 판정부(140)는 사용자 의도 추출부(130)의 사용자 의도 추출 결과뿐만 아니라, 자연어 처리부(120)의 처리 결과 및 대화 관리부(150)의 대화 모델 정보까지 제공 받아 비정상 상황이 발생했는지 여부를 판정할 수 있다. 비정상 상황의 다양한 타입에 따른 비정상 상황 판정부(140)의 동작에 대하여는 도 1을 참조하여 설명한 부분이 참조 될 수 있다.
비정상 상황 판정부(140)는 비정상 상황이 발생한 것으로 판정하면 외부 장치에 대화의 진전을 위한 보조 요청을 송신할 수 있다. 상기 외부 장치는 예를 들어 휴먼 에이전트 관리 장치일 수 있다.
사용자 의도 추출부(130)가 신규 메시지에 대한 사용자의 의도를 하나로 명확하게 식별하지 못하여 비정상 상황이 발생한 것으로 판정된 경우, 상기 보조 요청에 대한 응답으로서, 사용자 의도 추출부(130)가 휴먼 에이전트에 의하여 지정된 상기 신규 메시지에 대한 사용자의 의도를 포함하는 대화 진전 가이드 정보를 제공 받아, 대화 관리부(150)에 상기 신규 메시지에 대한 정확한 사용자 의도를 제공할 수 있다.
도 1을 참조하여 설명한 바와 같이, 사용자의 의도를 하나로 명확하게 식별하지 못하는 것 이외에도 다양한 타입의 비정상 상황이 존재하고, 특정 타입의 비정상 상황에서 휴먼 에이전트가 비정상 상황이 아니어서 그대로 무인 대화 서비스를 진행해도 되는 것으로 지정한 경우에는, 도 3에 도시된 바와 달리 대화 진전 가이드 정보가 대화 관리부(150)에 제공되고, 대화 관리부(150)는 대화 모델에 따른 대화 진행을 그대로 진행할 수도 있다.
이하, 도 4를 참조하여 본 발명의 일 실시예에 따른 무인 대화 서비스 장치의 구성 및 동작을 설명한다. 본 실시예에 따른 무인 대화 서비스 장치(100)는 음성 메시지 입력 및 음성 메시지 출력 기능이 추가된 점을 제외하고는 도 3을 참조하여 설명 된 무인 대화 서비스 장치(100)와 기능이 동일하다. 즉, 사용자 단말로부터 송신된 사용자의 보이스 메시지 데이터가 STT(Speech-To-Text) 처리부(170)에 제공되어, 텍스트 메시지 데이터로 변환된 후 발화 데이터 입력부(110)로 제공되고, 자연어 생성부(160)에 의하여 생성된 응답 텍스트 메시지는 TTS(Text-To-Speech) 처리부(180)에 제공 되어 보이스 메시지로 변환된다.
본 실시예에 따른 무인 대화 서비스 장치(100)는 음성으로 채팅봇과 대화하는 서비스를 제공해 주되, 대화 도중 비정상 상황이 발생된 것으로 판정된 경우, 휴먼 에이전트의 보조를 받아 대화를 계속 진전시킬 수 있는 효과가 있다. 무인 대화 서비스 장치(100)는, 인터넷에 연결된 스피커로서 마이크를 구비한 것인 사용자 단말과 연결될 수 있다.
이하, 본 발명의 일 실시예에 따른 무인 대화 서비스 제공 방법을 도 5를 참조하여 설명한다. 본 실시예에 따른 무인 대화 서비스 제공 방법은 컴퓨팅 장치에 의하여 수행 될 수 있다.
이하, 이해의 편의를 돕기 위해 상기 컴퓨팅 장치가 도 1 내지 도 4를 참조하여 설명한 무인 대화 서비스 장치(100)인 것으로 가정하고 본 실시예에 따른 무인 대화 서비스 제공 방법의 각 동작을 설명한다.
먼저, 대화를 구성하는 텍스트 메시지 데이터가 사용자 단말과 송수신 되는 방식으로, 사용자와 채팅봇 사이의 무인 대화가 진행된다(S100). 그리고, 상기 무인 대화의 내용이 분석 된다(S102). 상기 분석 결과 비정상 상황이 발생되지 않은 것으로 판정된 경우(S104), 발화 문장에 대한 응답 문장이 제공 된다(S110). 상기 분석 결과 비정상 상황이 발생된 경우(S104), 보조 요청이 휴먼 에이전트 관리 장치에 송신된다(S106). 상기 보조 요청에 대한 응답으로서, 휴먼 에이전트 관리 장치로부터 대화 진전 가이드 정보가 수신된다(S108). 다음으로 대화 진전 가이드 정보를 이용하여 대화 분석 결과를 보정한다(S109).
대화 진전 가이드 정보를 이용하여 대화 분석 결과를 보정하는 것은, 비정상 상황의 타입에 따라 서로 다른 행위를 의미할 수 있다. 예를 들어, 비정상 상황의 타입이 사용자 의도 불분명 타입인 경우, 상기 분석 결과를 보정하는 것은, 휴먼 에이전트에 의하여 판단된 사용자 의도로, 신규 메시지의 사용자 의도를 보정하는 것을 가리킬 수 있다. 또한, 비정상 상황의 타입이 부정적 표현의 발견 타입인 경우, 상기 분석 결과를 보정하는 것은, 휴먼 에이전트에 의하여 판단된 결과 그대로 무인 대화 서비스를 진행해도 되는 것으로 판단된 경우(대화 진전 가이드 정보에 그대로 진행하는 것을 가리키는 값이 포함 된 경우), 비정상 상황이 발생하지 않은 것으로 상황 플래그를 변경하는 것을 가리킬 수 있다.
분석 결과를 보정한 결과(S109), 비정상 상황 발생 여부를 다시 판단했을 때 비정상 상황이 발생하지 않은 것으로 판정될 것이다. 따라서, 발화 문장에 대한 응답 문장이 제공(S110)됨으로써 대화가 계속 진전되게 된다.
본 발명의 몇몇 실시예들에서, 대화가 분석된 결과로 비정상 상황이 발생된 것으로 판정 되었을 때, 휴먼 에이전트의 보조를 받기 위하여 휴먼 에이전트 관리 장치 및 휴먼 에이전트 단말의 몇몇 동작들이 수행 되는 점을 이미 설명한 바 있다. 이 때, 사용자는 휴먼 에이전트의 보조를 받기 위하여 어떠한 조작도 수행하지 않는다. 따라서, 사용자는 휴먼 에이전트의 보조가 있었다는 사실도 알지 못할 것이다.
이하, 본 발명의 몇몇 실시예들에서, 대화가 비정상 상황인 것으로 판단된 경우에 수행되는 동작을 도 6 내지 도 7c를 참조하여 정리한다.
이미 수 차례 언급한 바와 같이, 비정상 상황 발생의 한 타입은 신규 메시지에 대한 사용자 의도 파악이 잘 되지 않는 경우이다. 도 6에 도시된 상황은 이러한 상황을 가리킨다. 휴먼 에이전트는 고객 질문에 대하여 그 의도를 후보 4개 중 하나로 결정하여 무인 대화 서비스 장치에 제공함으로써, 채팅봇이 당사자와의 대화를 계속 진행하도록 돕는다.
일 실시예에서, 휴먼 에이전트의 최근 메시지에 대한 사용자 의도 제시를 이용하여 머신 러닝(machine learning)을 진행함으로써, 메시지에 대한 사용자 의도 파악 능력을 향상시킬 수 있다. 상기 머신 러닝은 상기 최근 메시지 및 상기 실제 의도의 매칭을 트레이닝 데이터에 포함시키고, 상기 트레이닝 데이터가 기준치 이상 쌓이면, 상기 트레이닝 데이터를 이용하여 상기 사용자 단말로부터 수신 된 메시지의 의도를 식별하는 모델을 업데이트 하는 것을 포함한다. 이 때, 각각의 메시지에 대하여 그 메시지에 담긴 화자의 의도가 태깅 되는 점에서, 상기 머신 러닝은 지도 학습(supervised learning)이다.
일 실시예에서, 화자의 의도를 식별하는 모델이 인공 신경망(artificial neural network) 형태로 구성된 경우, 무인 대화 서비스 장치가 메시지에 대한 사용자 의도로 판정한 것이 휴먼 에이전트에 의하여 제시된 것과 다르다면, 상기 사용자 의도로 판정한 것은 오류(error)로 보고 오류 역전파(back-propagation)를 통하여 메시지의 의도를 식별하는 모델을 업데이트할 수도 있다.
비정상 상황 발생의 다른 타입은 대화에서 부정적 표현이 감지되는 경우이다. 이 경우, 휴먼 에이전트는 경미한 사안이어서 도 7a와 같이 무인 상담을 지속해도 괜찮은 것으로 선택할 수도 있고, 대화 유지가 쉽지 않은 사안이어서 도 7b와 같이 유인 상담(채팅)으로 전환해야 하는 것으로 선택할 수도 있으며, 채팅을 통한 대화 유지가 불가능한 사안이어서 도 7c와 같이 유인 상담(전화)로 전환해야 하는 것으로 선택할 수도 있다. 즉, 본 실시예에 따른 무인 대화 서비스 제공 방법은 휴먼 에이전트의 판단을 선행적으로 거친 후, 유인 상담으로 전환할 수 있다. 이와 관련하여, 도 8을 참조하여 설명한다.
먼저, 대화를 구성하는 텍스트 메시지 데이터가 사용자 단말과 송수신 되는 방식으로, 사용자와 채팅봇 사이의 무인 대화가 진행된다(S100). 그리고, 상기 무인 대화의 내용이 분석 된다(S102). 상기 분석 결과 비정상 상황이 발생되지 않은 것으로 판정된 경우(S104), 발화 문장에 대한 응답 문장이 제공 된다(S110). 상기 분석 결과 비정상 상황이 발생된 경우(S104), 보조 요청이 휴먼 에이전트 관리 장치에 송신된다(S106).
휴먼 에이전트 관리 장치로부터 유인 상담으로 전환 한다는 것을 가리키는 데이터가 포함된 대화 진전 가이드 정보가 수신되면(S112), 상담원 단말과 사용자 단말 사이의 메시지 송수신 또는 음성 통화가 이뤄질 수 있도록, 대화 이력 정보 또는 대화의 세션 정보가 상기 상담원 단말에 전달 되고, 결과적으로 무인 대화 서비스는 상담원과의 채팅 또는 통화를 통한 대화 서비스로 전환된다(S114). 이와 관련된 구체적 동작은 도 2를 참조한 실시예 설명을 참조한다. 일 실시예에서, 사용자가 유인 상담으로 전환 된 것을 최대한 눈치 채지 못하도록, 무인 대화 서비스 제공 장치가 상담원 단말에 입력된 상담원 입력 메시지의 말투를 무인 대화 서비스에서 채택된 캐릭터의 말투로 자동 변환하여 상기 사용자 단말에 송신할 수도 있다.
채팅봇에 의한 무인 상담에서 상담원에 의한 유인 상담으로의 전환은 비용 및 처리 용량 차원에서의 퇴보를 가져오므로 최대한 자제되어야 한다. 따라서, 휴먼 에이전트가 유인 상담 전환 명령을 내릴 수 있는 상황은 특정 요건을 만족하는 경우로 제한 될 수 있다.
예를 들어, 이미 휴먼 에이전트에 의한 보조를 통해 비정상 상황이 극복된 적이 한번 이상 있는 대화에 한하여 상기 유인 상담 전환 명령을 내리기 위한 버튼이 휴먼 에이전트 사용자 인터페이스에 제공 될 수 있다.
또한, 예를 들어, 특정 타입의 비정상 상황이 발생된 경우에 한하여 상기 유인 상담 전환 명령을 내리기 위한 버튼이 휴먼 에이전트 사용자 인터페이스에 제공 될 수 있다. 상기 특정 타입의 비정상 상황은, 부정적 표현이 감지된 타입, 상담원이 호출된 타입 중 어느 하나일 수 있다.
지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.
상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 무인 대화 서비스 장치가, 대화를 구성하는 텍스트 메시지 데이터를 사용자 단말과의 사이에 송수신 하는 동작을 포함하는, 무인 대화 서비스를 제공하는 단계;
    상기 무인 대화 서비스 장치가, 상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계;
    상기 무인 대화 서비스 장치가, 상기 비정상 상황이 발생된 것으로 판정된 경우 휴먼 에이전트(Human Agent) 관리 장치에 보조 요청을 송신하는 단계 - 상기 보조 요청은 상기 대화에 대한 정보를 포함함 - ;
    상기 무인 대화 서비스 장치가, 상기 휴먼 에이전트 관리 장치로부터 대화 진전 가이드 정보를 수신하는 단계; 및
    상기 무인 대화 서비스 장치가, 상기 대화를 진전하기 위하여 상기 수신된 대화 진전 가이드 정보를 이용하여 상기 무인 대화 서비스의 제공을 계속하는 단계를 포함하되,
    상기 대화 진전 가이드 정보는, 상기 전송된 보조 요청에 응답하여 휴먼 에이전트 단말 상에서 휴먼 에이전트가 상기 보조 요청에 포함된 상기 대화에 대한 정보에 기초하여, 복수의 후보 선택지들 중 하나의 선택지를 지정함으로써 생성된 것이고,
    상기 대화 진전 가이드 정보는, 수신된 메시지에 대한 응답 메시지를 생성하기 위해 상기 무인 대화 서비스 장치에 의해 선택되어야 하는, 상기 복수의 후보 선택지들 중 어느 하나의 선택지에 관한 정보를 포함하고,
    상기 무인 대화 서비스의 제공을 계속하는 단계는,
    상기 복수의 선택지 후보들 중 상기 지정된 하나의 선택지를 반영하여, 상기 사용자 단말로부터 수신된 메시지에 대한 응답 메시지를 생성하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  2. 제1 항에 있어서,
    상기 비정상 상황의 발생 여부를 판정하는 단계는,
    상기 사용자 단말로부터 수신되어 상기 대화를 구성하는 텍스트에서 부정적 표현을 감지하는 단계; 및
    상기 부정적 표현의 감지 횟수 및 빈도 중 적어도 하나를 이용하여 상기 비정상 상황의 발생 여부를 판정하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  3. 제1 항에 있어서,
    상기 비정상 상황의 발생 여부를 판정하는 단계는,
    상기 사용자 단말로부터 수신되어 상기 대화를 구성하는 텍스트에서 상담원을 호출하는 표현을 감지하면 상기 비정상 상황이 발생한 것으로 판정하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  4. 제1 항에 있어서,
    상기 비정상 상황의 발생 여부를 판정하는 단계는,
    상기 대화의 대화 모델에 따를 때, 상기 사용자 단말로부터 수신된 최근 메시지의 의도 식별이 불가능한 경우, 상기 비정상 상황이 발생된 것으로 판정하는 단계를 포함하고,
    상기 보조 요청은, 상기 대화의 대화 모델에 따른 상기 최근 메시지의 후보 의도를 복수 개 포함하고,
    상기 대화 진전 가이드 정보는 상기 복수 개의 후보 의도들 중 하나를 실제 의도로서 지정하는 정보를 포함하며,
    상기 무인 대화 서비스의 제공을 계속하는 단계는,
    상기 대화의 대화 모델에, 상기 실제 의도를 적용하여 상기 최근 메시지에 대한 응답 메시지를 생성하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  5. 제4 항에 있어서,
    상기 대화 진전 가이드 정보를 수신하는 단계는,
    상기 최근 메시지 및 상기 실제 의도의 매칭을 지도 학습(supervised learning)의 트레이닝 데이터에 포함시키는 단계; 및
    상기 트레이닝 데이터를 이용하여 상기 사용자 단말로부터 수신된 메시지의 의도를 식별하는 모델을 업데이트 하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  6. 제1 항에 있어서,
    상기 비정상 상황의 발생 여부를 판정하는 단계는,
    상기 사용자 단말로부터 수신된 최근 메시지가 현재 서비스 중인 채팅봇에서 지원 되지 않는 대화 도메인에 속하는 경우, 상기 비정상 상황이 발생된 것으로 판정하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  7. 제1 항에 있어서,
    상기 무인 대화 서비스의 제공을 계속하는 단계는,
    대화를 구성하는 데이터를 사용자 단말과 송수신 하는 단계;
    상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계; 및
    상기 비정상 상황이 다시 발생된 것으로 판정된 경우, 상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 상담원 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 메시지 송수신 모드로 전환하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  8. 제7 항에 있어서,
    상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 상담원 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 메시지 송수신 모드로 전환하는 단계는,
    상기 상담원 단말에 입력된 상담원 입력 메시지의 말투를 무인 대화 서비스에서 채택된 캐릭터의 말투로 자동 변환하여 상기 사용자 단말에 송신하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
  9. 제7 항에 있어서,
    상기 휴먼 에이전트 단말은, 상기 비정상 상황의 타입에 따라 상기 상담원 전환 명령의 입력이 선택적으로 가능하도록 한 사용자 인터페이스를 제공하는 것인,
    무인 대화 서비스 제공 방법.
  10. 제1 항에 있어서,
    상기 무인 대화 서비스의 제공을 계속하는 단계는,
    대화를 구성하는 데이터를 사용자 단말과 송수신 하는 단계;
    상기 대화를 분석하여 비정상 상황의 발생 여부를 판정하는 단계; 및
    상기 비정상 상황이 다시 발생된 것으로 판정된 경우, 상기 휴먼 에이전트 단말을 통한 휴먼 에이전트의 음성 통화 전환 명령 입력에 의하여, 상담원 단말과 상기 사용자 단말 사이의 음성 통화 모드로 전환하는 단계를 포함하는,
    무인 대화 서비스 제공 방법.
KR1020170094260A 2017-07-25 2017-07-25 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법 KR102338618B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170094260A KR102338618B1 (ko) 2017-07-25 2017-07-25 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법
US16/044,732 US10776580B2 (en) 2017-07-25 2018-07-25 Method for providing dialogue service with chatbot assisted by human agents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170094260A KR102338618B1 (ko) 2017-07-25 2017-07-25 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법

Publications (2)

Publication Number Publication Date
KR20190011570A KR20190011570A (ko) 2019-02-07
KR102338618B1 true KR102338618B1 (ko) 2021-12-10

Family

ID=65038873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170094260A KR102338618B1 (ko) 2017-07-25 2017-07-25 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법

Country Status (2)

Country Link
US (1) US10776580B2 (ko)
KR (1) KR102338618B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977208B (zh) * 2019-03-22 2021-04-09 北京中科汇联科技股份有限公司 一种融合faq和任务及主动引导的对话系统
US10750019B1 (en) * 2019-03-29 2020-08-18 Genesys Telecommunications Laboratories, Inc. System and method for assisting agents via artificial intelligence
CN110096578A (zh) * 2019-04-08 2019-08-06 厦门快商通信息咨询有限公司 一种智能客服的刷量用户识别方法、装置及服务器
CN110265021A (zh) * 2019-07-22 2019-09-20 深圳前海微众银行股份有限公司 个性化语音交互方法、机器人终端、装置及可读存储介质
US11227583B2 (en) 2019-11-05 2022-01-18 International Business Machines Corporation Artificial intelligence voice response system having variable modes for interaction with user
KR102317120B1 (ko) * 2020-04-01 2021-10-22 주식회사 컴홈 서비스 플랫폼에서 인공지능 처리를 위한 머시닝 시스템
CN111540358B (zh) * 2020-04-26 2023-05-26 云知声智能科技股份有限公司 人机交互方法、装置、设备和存储介质
CN111246027B (zh) 2020-04-28 2021-02-12 南京硅基智能科技有限公司 一种实现人机协同的语音通讯系统及方法
US11146512B1 (en) * 2020-05-12 2021-10-12 ZenDesk, Inc. Handing off customer-support conversations between a human agent and a bot without requiring code changes
CN111787169B (zh) * 2020-07-13 2021-06-15 南京硅基智能科技有限公司 一种用于移动式人机协作呼叫机器人的三方通话终端
CN114430378B (zh) * 2020-10-15 2023-08-18 中国移动通信集团浙江有限公司 聊天机器人的异常检测方法、装置、计算设备及存储介质
KR102444814B1 (ko) * 2020-11-30 2022-09-16 연세대학교 산학협력단 비윤리 상황에서 사용자 특성정보 기반 챗봇 대응 제어 방법 및 그를 위한 장치
KR102560244B1 (ko) * 2020-12-18 2023-07-27 주식회사 이콜트리 프로세스 자동화 시스템 및 방법
CN112966088B (zh) * 2021-03-19 2022-06-03 北京三快在线科技有限公司 未知意图的识别方法、装置、设备及存储介质
KR102518448B1 (ko) * 2021-05-14 2023-04-06 (주)와이즈에이아이 인공지능 챗봇 기반 자동 콜 응대 서비스 시스템
US11881216B2 (en) 2021-06-08 2024-01-23 Bank Of America Corporation System and method for conversation agent selection based on processing contextual data from speech
US11889022B2 (en) 2021-12-22 2024-01-30 Kore.Ai, Inc. Systems and methods for handling customer conversations at a contact center
US11936812B2 (en) 2021-12-22 2024-03-19 Kore.Ai, Inc. Systems and methods for handling customer conversations at a contact center
US11893356B1 (en) * 2022-11-14 2024-02-06 Bank Of America Corporation Chatbot co-pilot
KR102587501B1 (ko) * 2023-02-20 2023-10-11 (주)와이즈에이아이 인공지능 챗봇을 활용한 콜 자동 응대 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085368A (ja) * 2004-09-15 2006-03-30 Oki Electric Ind Co Ltd 電子コミュニケーション装置,コンピュータプログラム,および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566272A (en) * 1993-10-27 1996-10-15 Lucent Technologies Inc. Automatic speech recognition (ASR) processing using confidence measures
US6996531B2 (en) * 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
NZ543885A (en) 2003-05-05 2009-09-25 Interactions Corp Apparatus and method for processing service interactions
US20050080628A1 (en) * 2003-10-10 2005-04-14 Metaphor Solutions, Inc. System, method, and programming language for developing and running dialogs between a user and a virtual agent
KR101508429B1 (ko) * 2013-08-22 2015-04-07 주식회사 엘지씨엔에스 사용자 단말에 에이전트 서비스를 제공하는 방법 및 시스템
KR101719196B1 (ko) * 2014-06-09 2017-03-23 삼성생명보험주식회사 고객 상담 의도를 예측하여 대응하기 위한 장치 및 컴퓨터-판독가능 매체
KR20160010190A (ko) * 2014-07-18 2016-01-27 정선호 문자 자동 응답 서비스 제공 방법
KR20160061007A (ko) * 2014-11-21 2016-05-31 주식회사 메디플러스솔루션 환자와 건강정보를 공유하는 시스템 및 방법
US10200382B2 (en) * 2015-11-05 2019-02-05 Radware, Ltd. System and method for detecting abnormal traffic behavior using infinite decaying clusters
KR20170059241A (ko) * 2015-11-20 2017-05-30 쿠팡 주식회사 고객 서비스 상담원 관리 시스템 및 고객 서비스 상담원 관리 방법
US20180114527A1 (en) * 2016-10-25 2018-04-26 IPsoft Incorporated Methods and systems for virtual agents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085368A (ja) * 2004-09-15 2006-03-30 Oki Electric Ind Co Ltd 電子コミュニケーション装置,コンピュータプログラム,および記録媒体

Also Published As

Publication number Publication date
US10776580B2 (en) 2020-09-15
KR20190011570A (ko) 2019-02-07
US20190034414A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
KR102338618B1 (ko) 휴먼 에이전트에 의하여 보조 되는 무인 대화 서비스 제공 방법
KR102348904B1 (ko) 유인 상담원에 의하여 보조 되는 무인 대화 서비스 제공 방법
US11588760B2 (en) Initialization of automated workflows
US9742912B2 (en) Method and apparatus for predicting intent in IVR using natural language queries
CN110138982B (zh) 基于人工智能的服务实现
US10091355B2 (en) Virtual voice response agent individually configured for a user
CA2576605C (en) Natural language classification within an automated response system
JP2017037588A (ja) 情報処理装置及び情報処理プログラム
WO2021108163A1 (en) Multi-modal conversational agent platform
US10193843B2 (en) Computing system with conversation modeling mechanism and method of operation thereof
US10950223B2 (en) System and method for analyzing partial utterances
KR20190117840A (ko) 대화 이해 ai 시스템에 의한 고객 상담의 제공 중에 사람 상담 직원으로 하여금 해당 고객을 위한 이후 상담을 진행하도록 전환하는 방법 및 컴퓨터 판독가능 기록 매체
KR20200092499A (ko) 대화형 인공지능 기술을 이용한 상담 지원 방법 및 그 장치
JP4000828B2 (ja) 情報システム、電子機器、プログラム
CN111858874A (zh) 对话服务处理方法、装置、设备及计算机可读存储介质
CN113630309B (zh) 机器人会话系统、方法、装置、计算机设备和存储介质
CN110765242A (zh) 一种客服信息的提供方法,装置及系统
JP2018159729A (ja) 対話システム構築支援装置、方法、及びプログラム
CN111309990B (zh) 一种语句应答方法及装置
WO2022270603A1 (en) A system and method for delivering domain or use-case switch suggestion for an ongoing conversation
US11947872B1 (en) Natural language processing platform for automated event analysis, translation, and transcription verification
JP2002297646A (ja) サービスシステム、方法及びプログラム
Hunt et al. Artificial Intelligence for Customer Experience and Care
CN116610785A (zh) 坐席话术的推荐方法、装置、设备和介质
KR20240035125A (ko) 대화 상태 교정 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant