KR102560298B1 - 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법 - Google Patents

챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR102560298B1
KR102560298B1 KR1020200036351A KR20200036351A KR102560298B1 KR 102560298 B1 KR102560298 B1 KR 102560298B1 KR 1020200036351 A KR1020200036351 A KR 1020200036351A KR 20200036351 A KR20200036351 A KR 20200036351A KR 102560298 B1 KR102560298 B1 KR 102560298B1
Authority
KR
South Korea
Prior art keywords
natural language
language processing
model
information
management system
Prior art date
Application number
KR1020200036351A
Other languages
English (en)
Other versions
KR20210119772A (ko
Inventor
최은선
맹보연
Original Assignee
한전케이디엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한전케이디엔 주식회사 filed Critical 한전케이디엔 주식회사
Priority to KR1020200036351A priority Critical patent/KR102560298B1/ko
Publication of KR20210119772A publication Critical patent/KR20210119772A/ko
Application granted granted Critical
Publication of KR102560298B1 publication Critical patent/KR102560298B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

본 발명의 자연어 처리 관리 시스템 및 그 방법은 챗봇과 연계 없이 단독적으로 자연어 처리를 위한 데이터 셋을 업-로드(up-load)하여 사용함으로써, 챗봇 관리 시스템에 종속적이지 않게 구현이 가능한 장점이 있다. 또한 본 발명은 챗봇에 입력된 대화목록을 기반으로 모델 타입 및 유형별로 학습을 수행함으로써, 자연어 처리의 정확도를 높이고 활용도를 높일 수 있는 장점이 있다. 또한 본 발명은 자연어 처리 기능을 챗봇 관리 시스템과 분리하여 구현함으로써, 전문화된 시스템 구현이 가능하고 계속적으로 발전하는 자연어 처리 기술을 유연하게 적용할 수 있는 장점이 있다.

Description

챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법{NATURAL LANGUAGE PROCESSING MANAGEMENT SYSTEM AND METHOD FOR CHAT-BOT SERVICE}
본 발명은 챗봇(chat-bot) 서비스에 관한 것으로서, 보다 상세하게는, 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법에 관한 것이다.
최근 스마트폰을 통한 메신저의 사용 환경이 확대되고, 인공지능이 발전함에 따라, 고객들과 기업들을 메시징 서비스로 연결하고 정해진 응답 규칙을 바탕으로 대화 할 수 있도록 하는 챗봇(chat-bot) 시스템이 각광받고 있다. 특히, 고객지원 서비스의 품질을 향상시키기 위해, 챗봇을 도입해 고객 응대에 필요한 인력을 줄임과 동시에 24시간 빠르게 응답처리 하고자 하는 회사들이 상당히 많이 생기고 있다. 예를 들어, AT&T는 CS에 전화를 하면 봇이 응대하도록 하고 있다. 상기 챗봇(chat-bot)은 채터 로봇(chatter robot)을 의미하며, 대화를 하는 로봇의 약칭이다.
한편, 사람의 언어는 풍부하고 복잡하며, 복잡한 문법 및 문맥 의미를 갖는 많은 어휘를 포함하고 있으나 하드웨어 또는 소프트웨어 어플리케이션은 일반적으로 특정 형식 또는 규칙에 따라 데이터를 입력할 것을 요구한다. 따라서, 사람과 상호작용하기 위한 거의 모든 소프트웨어 어플리케이션에서 자연어 처리가 필요하다. 이러한 자연어 처리 과정은 자연어를 토큰(token)으로 분리하고 소프트웨어 어플리케이션에 의해 제공되는 하나 이상의 동작에 매핑하며 각각의 소프트웨어 어플리케이션이 일련의 고유한 동작들을 가지도록 설정된다. 이러한 자연어 처리는 음성 인식 엔진, 검색 엔진, 문장 인식 엔진 등에 이용되고 있으며, 상기 챗봇이 사람들과 대화를 하는 데에 있어서 필수적으로 필요한 요소이다.
이러한 자연어 처리 기술은 인공지능 기술의 발달과 더불어 계속적으로 발전하고 있으며, 새로운 기술을 유연하게 적용할 필요가 있다.
그런데, 기존 챗봇 관리 시스템에 자연어 처리 관리 부분을 포함시킬 경우, 자연어 처리 기술이 해당 챗봇 관리 시스템에 종속적일 수 있으며, 하드웨어 자원의 활용도가 떨어지는 문제가 있다. 이로 인해, 계속적으로 발전하는 자연어 처리 기술을 유연하게 적용하기가 어려운 단점이 있다.
또한, 챗봇에 입력된 대화 목록을 단순 통계 및 이력조회에만 활용함으로써, 대화목록에 대한 활용도가 떨어지는 단점이 있었다.
한국 공개특허 번호 10-2019-0066988 호(공개일: 2019.06.14, 명칭: AIML 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법)
따라서 본 발명은 챗봇과 연계 없이 단독적으로 자연어 처리를 위한 데이터 셋을 업-로드(up-load)하여 사용함으로써, 챗봇 관리 시스템에 종속적이지 않은 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법을 제공하고자 한다.
또한 본 발명은 챗봇에 입력된 대화목록을 기반으로 모델 타입 및 유형별로 학습을 수행함으로써, 자연어 처리의 정확도를 높이고 활용도를 높일 수 있는 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법을 제공하고자 한다.
또한 본 발명은 자연어 처리 기능을 챗봇 관리 시스템과 분리하여 구현함으로써, 전문화된 시스템 구현이 가능하고 계속적으로 발전하는 자연어 처리 기술을 유연하게 적용할 수 있는 자연어 처리 관리 시스템 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 챗봇 서비스를 위한 자연어 처리 관리 방법은 챗봇을 관리하는 챗봇 관리 시스템으로부터, 자연어 처리 대상인 데이터 셋 및 상기 데이터 셋에 대하여 챗봇 서비스를 제공할 챗봇 식별정보를 포함하는 자연어 처리 요청 메시지를 수신하고, 상기 데이터 셋을 저장하는 수신단계; 상기 데이터 셋에 대한 자연어 처리를 위해 선택된 모델타입 정보를 입력받아 등록하는 등록단계; 상기 등록된 모델타입 정보에 의거하여 자연어 처리를 위한 학습을 실시하는 학습단계; 상기 학습결과에 기초하여 자연어 처리 모델을 생성한 후 상기 학습결과 및 학습내역을 저장하는 저장단계; 미리 설정된 정확도 측정 정보에 기초하여 상기 생성된 자연어 처리 모델의 정확도를 측정하는 정확도 측정단계; 및 상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 상기 챗봇 관리 시스템으로 전송하는 전송단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 등록단계는 다수의 인공지능 모델타입들 중 상기 자연어 처리에 적용할 모델타입 선택정보를 입력받는 모델타입 입력단계; 및 상기 선택된 모델 타입별로 선택 가능한 모델속성 정보들 중 선택된 모델속성 정보를 입력받는 모델속성 입력단계를 포함할 수 있다.
바람직하게는, 상기 등록단계는 상기 측정된 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 못하는 경우, 기 선택된 모델타입에 대한 모델속성 정보를 다시 입력받아 재등록하는 재등록 단계를 더 포함할 수 있다.
바람직하게는, 상기 학습단계는 상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고, 전처리가 필요한 모델타입의 경우 전처리를 수행한 후 상기 모델타입에 적용하는 전처리 단계를 더 포함할 수 있다.
바람직하게는, 상기 저장단계는 상기 데이터 셋 별로 대응된 다수의 자연어 처리 모델들을 저장하되, 상기 다수의 자연어 처리 모델들 각각에 대한 저장위치, 연결정보 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보를 포함하는 학습 결과 및 학습내역을 저장할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 챗봇 서비스를 위한 자연어 처리 관리 시스템은 챗봇을 관리하는 챗봇 관리 시스템과의 통신 인터페이스를 제공하는 통신 인터페이스부; 자연어 처리 관리를 위한 자연어 처리 관리자와의 인터페이스를 제공하는 사용자 인터페이스부; 상기 통신 인터페이스부를 통해 자연어 처리 요청 메시지를 전달받고, 상기 사용자 인터페이스부를 통해 상기 자연어 처리를 위해 선택된 모델타입 정보를 입력받아 학습을 실시한 후 상기 학습결과에 기초하여 자연어 처리 모델을 생성하는 제어부; 및 상기 자연어 처리를 위해 필요한 정보 및 상기 자연어 처리 과정에서 생성되는 데이터들을 저장하는 저장부를 포함하되; 상기 제어부는 미리 설정된 정확도 측정 정보에 기초하여 상기 생성된 자연어 처리 모델의 정확도를 측정하고, 상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 상기 챗봇 관리 시스템으로 전송하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 다수의 인공지능 모델타입들 중 상기 자연어 처리에 적용할 모델타입 선택정보 및 상기 선택된 모델타입별로 선택 가능한 모델속성 정보들 중 선택된 모델속성 정보를 입력받아 상기 저장부에 등록하고, 상기 등록된 정보에 의거하여 대응된 학습을 실시할 수 있다.
바람직하게는, 상기 제어부는 상기 측정된 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 못하는 경우, 기 선택된 모델타입에 대한 모델 속성 정보를 다시 입력받아 상기 저장부에 재등록하고, 상기 재등록된 정보에 의거하여 대응된 학습을 실시할 수 있다.
바람직하게는, 상기 제어부는 상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고, 전처리가 필요한 모델타입의 경우 전처리를 수행한 후 상기 모델타입에 적용한 후 그 정보에 의거하여 대응된 학습을 실시할 수 있다.
바람직하게는, 상기 저장부는 상기 하나의 데이터 셋별로 대응된 다수의 자연어 처리 모델들을 저장하되, 상기 다수의 자연어 처리 모델들 각각에 대한 저장위치, 연결정보 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보를 포함하는 학습 결과 및 학습내역을 저장할 수 있다.
본 발명의 자연어 처리 관리 시스템 및 그 방법은 챗봇과 연계 없이 단독적으로 자연어 처리를 위한 데이터 셋을 업-로드(up-load)하여 사용함으로써, 챗봇 관리 시스템에 종속적이지 않게 구현이 가능한 장점이 있다. 또한 본 발명은 챗봇에 입력된 대화목록을 기반으로 모델 타입 및 유형별로 학습을 수행함으로써, 자연어 처리의 정확도를 높이고 활용도를 높일 수 있는 장점이 있다. 또한 본 발명은 자연어 처리 기능을 챗봇 관리 시스템과 분리하여 구현함으로써, 전문화된 시스템 구현이 가능하고 계속적으로 발전하는 자연어 처리 기술을 유연하게 적용할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 챗봇 서비스를 위한 자연어 처리 관리 방법에 대한 처리 절차도이다.
도 2는 본 발명의 실시예에 따른 챗봇 관리 시스템에 대한 개략적인 블록도이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 챗봇 관리 시스템에 저장된 데이터베이스들에 대한 구조의 예를 도시한 도면들이다.
도 4는 본 발명의 실시예에 따른 자연어 처리 관리 시스템에 대한 개략적인 블록도이다.
도 5a 내지 도 5e는 본 발명의 실시예에 따른 자연어 처리 관리 시스템에 저장된 데이터베이스들에 대한 구조의 예를 도시한 도면들이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 챗봇 서비스를 위한 자연어 처리 관리 방법에 대한 처리 절차도로서, 챗봇 관리 시스템(100)의 요청에 응답하여 자연어 처리 관리 시스템(200)이 자연어 처리를 수행하되, 그 처리 과정이 독립적으로 수행되는 예를 도시하고 있다. 이 때, 챗봇 관리 시스템(100)은 챗봇 도메인에 대한 이해도가 높은 챗봇 관리자에 의해 관리되는 시스템이고, 자연어 처리 관리 시스템(200)은 인공지능 자연어 처리 모델에 대한 지식이 있는 자연어 처리 관리자에 의해 관리되는 시스템이다.
도 1을 참조하면, 본 발명의 실시예에 따른 챗봇 서비스를 위한 자연어 처리 방법은 다음과 같다.
단계 S105에서는, 챗봇 관리 시스템(100)이 자연어 처리 관리 시스템(200)에게 자연어 처리를 요청한다. 이 때, 챗봇 관리 시스템(100)은 자연어 처리 대상인 데이터 셋(data set) 및 상기 데이터 셋에 대하여 챗봇 서비스를 제공할 챗봇 식별정보(챗봇 ID)를 포함하는 자연어 처리 요청 메시지를 전송한다. 이 때, 상기 데이터 셋은 자연어 처리 관리 시스템(200)에서 학습할 문서로서, 텍스트 형식의 문서일 수 있다. 예를 들어, 단계 S105에서는, 챗봇 관리 시스템(100)이 위키백과 문서를 지식백과 관련 서비스를 제공하는 챗봇 ID와 함께 전송할 수 있다.
또한, 챗봇 관리 시스템(100)은 상기 자연어 처리 요청 메시지를 전송하기 전에, 자연어 처리 관리 시스템(200)과의 통신이 가능한 지의 여부를 확인하는 단계를 더 포함할 수 있다. 예를 들어, 챗봇 관리 시스템(100)은 자연어 처리 관리 시스템(200)에게 통신이 가능한 지 여부를 확인하기 위한 메시지를 전송하고, 자연어 처리 관리 시스템(200)으로부터 응답 메시지를 수신한 후 상기 자연어 처리 요청 메시지를 전송할 수 있다. 이를 위해, 자연어 처리 관리 시스템(200)은 챗봇 관리 시스템(100)과의 통신상태 및 통신이력 정보를 저장하기 위한 통신 모듈을 포함하여 구성될 수 있다.
단계 S110에서는, 자연어 처리 관리 시스템(200)이 상기 데이터 셋을 수신하고, 이를 저장한다.
단계 S115 내지 S130에서는, 자연어 처리 관리 시스템(200)이 상기 데이터 셋에 대한 자연어 처리를 위해 선택된 모델타입 정보를 입력받아 등록한다. 이 때, 상기 모델타입은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), BERT(Bidirectional Encoder Representations from Transformers), XLnet(eXtra-Long Network) 등이 있으며, 각각의 기능이 서로 다르다. 예를 들어, CNN 타입은 주로 이미지 분류 시 이용되지만, 단어 삽입(word embedding) 처리 후 생성된 단어 벡터들에 컨벌루션 레이어(convolution layer)를 적용함으로써 텍스트를 분류하기 위해 사용될 수 있고, RNN 타입은 대표적인 시퀀스 모델로 은닉층에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층의 다음 계산의 입력으로 보내는 특징을 가지며, 비교적 짧은 시퀀스에 대해서만 효과를 보이는 단점이 있다. 한편, XLnet 타입은 단어의 순서를 섞은 후 섞은 순서대로 단어를 예측하는 학습방법으로 더 다양한 단어들의 관계를 볼 수 있기 때문에 기존 모델들 보다 좀 더 넓은 범위의 문맥을 볼 수 있는 특징이 있고, XLnet에서 학습을 위해서는 전처리 학습(예컨대, Tockenize, sentencepiece 등)을 거쳐야 한다.
자연어 처리 관리 시스템(200)은, 단계 S115 및 단계 S120에서, 상기 모델타입들 중 자연어 처리 관리자가 선택한 선택정보를 입력받아 저장하고, 단계 S125 및 단계 S130에서, 상기 선택된 모델타입에 대하여 선택 가능한 모델속성 정보들(예컨대, 모델의 구조, 파라미터 값 등) 중 자연어 처리 관리자가 선택한 모델속성 정보를 입력받아 저장한다.
단계 S135 내지 단계 S145에서는, 자연어 처리 관리 시스템(200)이 상기 등록된 모델타입 정보에 의거하여 자연어 처리를 위한 학습을 실시한다. 즉, 자연어 관리 처리 시스템(200)은, 상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고(단계 S135), 전처리 학습이 필요한 모델타입의 경우 전처리 학습을 수행하는 과정(단계 S140)을 더 포함한다. 예를 들어, 자연어 관리 처리 시스템(200)은 상기 등록된 모델타입이 XLnet 타입인 경우, 자연어 처리 관리 시스템(200)은 상기 학습과정(단계 S145) 수행 전에 전처리 학습(예컨대, Tockenize, sentencepiece 등)을 거쳐야 한다.
단계 S150에서는, 상기 학습결과에 기초하여 자연어 처리 모델을 생성한 후 상기 학습결과 및 학습내역을 저장한다. 이 때, 자연어 처리 관리 시스템(200)은 상기 하나의 데이터 셋 별로 대응된 다수의 자연어 처리 모델들을 저장하되, 상기 다수의 자연어 처리 모델들 각각에 대한 저장위치(예컨대, 관리 시스템의 URL 등), 연결정보(예컨대, 관리 시스템의 IP, PORT 정보 등) 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보(ID)를 포함하는 학습 결과 및 학습내역을 저장할 수 있다.
단계 S155에서는, 상기 생성된 자연어 처리 모델의 정확도를 측정한다. 이를 위해, 자연어 처리 관리 시스템(200)은 미리 설정된 정확도 측정 정보를 저장하고, 상기 정확도 측정 정보에 기초하여 상기 자연어 처리 모델의 정확도를 측정할 수 있다. 예를 들어, 자연어 처리 관리 시스템(200)은 정확도 측정을 위해 자연어 처리 관리자가 입력한 테스트 문장을 미리 저장하고, 그 문장에 의거하여 상기 생성된 자연어 처리 모델의 정확도를 측정할 수 있다.
단계 S160 및 단계 S165에서는, 상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 챗봇 관리 시스템(100)으로 전송한다. 이를 위해, 자연어 처리 관리 시스템(200)은 자연어 처리 관리자가 선택한 정확도 수준(예컨대, 90%, 85% 등)을 미리 저장하고, 상기 정확도 수준에 의거하여 상기 자연어 처리 모델의 전송 조건 만족 여부를 판단할 수 있다. 예를 들어, 자연어 처리 관리자가 정확도 80%를 선택한 경우, 자연어 처리 관리 시스템(200)은 상기 단계 S155에서 측정된 정확도가 80% 이상인 경우에만 상기 자연어 처리 모델을 챗봇 관리 시스템(100)으로 전송하도록 제어할 수 있다.
한편, 단계 S160의 확인 결과, 상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하지 않는 경우, 즉, 상기 자연어 처리 모델에 대하여 측정된 정확도가, 상기 자연어 처리 관리자가 선택한 정확도 수준 이하인 경우, 자연어 처리 관리 시스템(200)은 기 선택된 모델타입에 대한 모델속성 정보를 다시 입력받아 재등록한다. 이를 위해, 자연어 처리 관리 시스템(200)은 단계 S170에서 모델속성 변경 요청 여부를 결정하고, 그 결과에 의거하여 다음 처리를 결정한다. 예를 들어, 단계 S170에서 모델속성 변경이 요청된 경우, 즉, 기 등록된 모델 속성이 아닌 새로운 모델 속성을 설정하고자 하는 경우, 자연어 처리 관리 시스템(200)은, 단계 S175에서, 모델 속성을 변경한 후, 학습과정(S145) 이후의 단계들을 반복 수행한다. 한편, 단계 S170에서 모델 속성 변경이 요청되지 않은 경우, 즉, 새로운 모델 속성을 설정하지 않고, 기 등록된 모델 속성에 의거한 재학습을 하고자 하는 경우, 자연어 처리 관리 시스템(200)은, 단계 S125에서 모델 속성 선택 정보를 입력받고 그 이후의 단계들을 반복 수행한다.
이와 같이, 본 발명의 자연어 처리 관리 시스템(200)은 자연어 처리 모델을 생성하기 위한 모델타입 정보의 선택, 학습 및 정확도 측정 등의 일련의 처리들을 챗봇 관리 시스템(100)에 의존적이지 않게 독립적으로 수행할 수 있다. 이로 인해, 본 발명은 자연어 처리의 정확도를 높이고 시스템 활용도를 높일 수 있는 장점이 있다. 또한, 본 발명은 AI 기술 등 계속적으로 발전하는 자연어 처리 기술을 유연하게 적용할 수 있는 장점이 있다.
도 2는 본 발명의 실시예에 따른 챗봇 관리 시스템에 대한 개략적인 블록도로서, 도 1에 예시된 자연어 처리 관리 방법을 구현하기 위한 챗봇 관리 시스템(100)의 구성예를 도시하고 있다. 도 1 및 도 2를 참조하면, 별도로 구성된 자연어 처리 관리 시스템(200)으로부터 특정 데이터 셋에 대한 자연어 처리 결과를 전달받아 챗봇 서비스를 제어하는, 챗봇 관리 시스템(100)은 자연어 처리 모델 관리부(110)와, 연계시스템 정보 관리부(120)와, 챗봇 모니터링 부(130)와, 제어부(140)와, 통신 인터페이스부(150)와, 사용자 인터페이스부(160)를 포함한다.
자연어 처리 모델 관리 DB(110)는 자연어 처리 관리 시스템(200)으로부터 수신된 자연어 처리 모델을 저장하고, 연계 시스템 정보 관리 DB(120)는 자연어 처리를 위해 연계된 시스템(즉, 자연어 처리 관리 시스템(200))에 대한 정보를 저장한다.
챗봇 모니터링 부(130)는 챗봇과의 대화 내역을 모니터링한다.
제어부(140)는 미리 설정된 제어 알고리즘 또는 사용자 인터페이스부(160)를 통해 입력된 제어 명령에 의거하여 챗봇 관리 시스템(100)을 제어한다. 즉, 제어부(140)는 챗봇 모니터링부(130), 통신 인터페이스부(160), 자연어 처리 모델 관리 DB(110), 및 연계 시스템 정보 관리 DB(120) 각각의 동작을 제어한다. 특히, 제어부(140)는 자연어 처리가 필요한 데이터에 대하여 자연어 처리 관리 시스템(200)에게 자연어 처리를 요청하되, 해당 데이터에 대한 챗봇 서비스를 제공할 챗봇의 ID, 데이터 셋의 범위, 기간 및 챗봇 정보를 포함하는 자연어 처리 요청 메시지를 생성한 후 통신 인터페이스부(160)를 통해, 이를 자연어 처리 관리 시스템(200)에게 전송하고, 그 결과로 생성된 자연어 처리 모델을 수신한다. 이 때, 상기 기간은 데이터 셋의 기간을 의미한다. 예를 들어, 위키백과 덤프 사이트에 접속하면 업데이트 날짜별로 디렉토리와 덤프파일이 존재하는데, 같은 범위의 데이터라 할지라도 업데이트 날짜에 따라 새로운 내용이 추가되거나, 변경된 내용이 있을 수 있다. 따라서, 상기 자연어 처리 요청 메시지에 상기 기간 정보를 포함시키는 것이 바람직하다. 또한, 제어부(140)는 자연어 처리 관리 시스템(200)과의 데이터 통신을 위해 JSON 형태의 데이터 포맷을 사용할 수 있다. 즉, 제어부(140)는 상기 자연어 처리 요청 메시지를 JSON 형태의 데이터 포맷으로 작성할 수 있다. 상기 JSON 형태의 데이터 포맷은 경량화된 데이터 포맷으로서, 서버와 클라이언트 간에 데이터를 주고받을 때 주로 사용될 수 있다. 또한, 제어부(140)는 자연어 처리 모델 관리 DB(110), 연계 시스템 정보 관리 DB(120)에 저장되는 데이터들의 등록, 수정, 삭제를 제어한다.
통신 인터페이스부(150)는 챗봇 관리 시스템(100)과 통신망 사이의 인터페이스를 제공한다. 특히, 통신 인터페이스부(150)는 챗봇 관리 시스템(100)과 자연어 처리 관리 시스템(200)과의 통신 인터페이스를 제공하며, 자연어 처리 관리 시스템(200)과 통신을 위해, 제어부(140)의 제어를 받아 자연어 처리 관리 시스템(200)의 통신 상태를 확인하는 과정을 수행할 수 있다.
사용자 인터페이스부(160)는 챗봇 관리자와의 인터페이스를 제공한다. 특히, 사용자 인터페이스부(160)는 챗봇 관리자의 자연어 처리 요청 및 상기 자연어 처리를 위한 데이터 셋 정보의 선택을 위한 상기 챗봇 관리자의 입력정보를 입력받아 제어부(140)로 전달한다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 챗봇 관리 시스템에 저장된 데이터베이스들에 대한 구조의 예를 도시한 도면들로서, 도 3a는 자연어 처리 모델 관리 DB(110)에 대한 구조의 예를 도시하고, 도 3b는 연계 시스템 정보 관리 DB(120)에 대한 구조의 예를 도시한다.
도 1, 도 2 및 도 3a를 참조하면, 자연어 처리 모델 관리 DB(110)는 자연어 처리 관리 시스템(200)으로부터 수신한 자연어 처리 모델을 저장/관리한다. 이를 위해, 자연어 처리 모델 관리 DB(110)는 자연어처리모델_식별정보(ID)(111)/챗봇_식별정보(ID)(112)/자연어처리모델_속성(113)/가중치값(114)/자연어처리모델(115)필드를 포함할 수 있다.
도 1, 도 2 및 도 3b를 참조하면, 연계 시스템 정보 관리 DB(120)는 자연어 처리를 위해 연계된 시스템(즉, 자연어 처리 관리 시스템(200))에 대한 정보를 저장/관리한다. 이를 위해, 연계 시스템 정보 관리 DB(120)는 데이터_송신_URL(121)/데이터_수신_URL(122)/연계시스템_IP(123)/연계시스템_PORT(124) 필드를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 자연어 처리 관리 시스템에 대한 개략적인 블록도이다. 도 1 및 도 4를 참조하면, 자연어 처리 관리 시스템(200)은 저장부(210), 통신 인터페이스부(220), 제어부(230), 통신상태 관리부(240) 및 사용자 인터페이스부(250)를 포함한다.
저장부(210)는 자연어 처리를 위해 필요한 정보 및 상기 자연어 처리 과정에서 생성되는 데이터들을 저장한다. 저장부(210)는 자연어 처리 대상인 데이터 셋(data set) 별로 대응된 다수의 자연어 처리 모델들을 저장하되, 자연어 처리 모델들 각각에 대한 저장위치(예컨대, 관리 시스템의 URL 등), 연결정보(예컨대, 관리 시스템의 IP, PORT 정보 등) 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보(ID)를 포함하는 학습 결과 및 학습내역을 저장할 수 있다. 이를 위해, 저장부(210)는 연계 시스템 정보 관리 DB(211), 데이터셋 관리 DB(212), 모델타입 관리 DB(213), 모델 속성 관리 DB(214), 자연어 처리 모델 관리 DB(215)를 포함할 수 있다.
통신 인터페이스부(220)는 자연어 처리 관리 시스템(200)과 통신망 사이의 인터페이스를 제공한다. 특히, 통신 인터페이스부(220)는 도 2에 예시된 챗봇 관리 시스템(100)과의 통신 인터페이스를 제공한다.
제어부(230)는 미리 설정된 제어 알고리즘 또는 사용자 인터페이스부(250)를 통해 입력된 제어 명령에 의거하여 자연어 처리 관리 시스템(200)을 제어한다. 즉, 제어부(230)는 저장부(210), 통신 인터페이스부(220) 및 통신상태 관리부(240) 각각의 동작을 제어한다. 특히, 제어부(230)는 통신 인터페이스부(220)를 통해 자연어 처리 요청 메시지를 전달받고, 사용자 인터페이스부(250)를 통해 자연어 처리를 위해 선택된 모델타입 정보를 입력받은 후 그 정보들에 의거하여 학습을 실시한다. 그리고, 제어부(230)는 상기 학습결과에 기초하여 자연어 처리 모델을 생성한다.
이를 위해, 제어부(230)는 통신 인터페이스부(220)를 통해 수신된 정보(예컨대, 자연어 처리 요청 메시지 등) 및 사용자 인터페이스부(250)를 통해 입력된 자연어 처리 관리자의 선택정보(예컨대, 모델 타입, 모델 속성 정보 등)를 저장부(210)에 저장하고, 저장부(210)에 저장된 정보들을 참조할 수 있다. 즉, 제어부(230)는 다수의 인공지능 모델타입들(예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), BERT(Bidirectional Encoder Representations from Transformers), XLnet(eXtra-Long Network) 등) 중 자연어 처리 관리자가 선택한 선택정보를 사용자 인터페이스부(250)를 통해 입력받고, 상기 선택된 모델타입에 대하여 선택 가능한 모델 속성 정보들(예컨대, 모델의 구조, 파라미터 값 등) 중 자연어 처리 관리자가 선택한 모델 속성 정보를 입력받아 저장부(210)에 저장한다.
그리고, 저장부(210)에 저장된 정보에 의거하여 대응된 학습을 실시한다. 이 때, 제어부(230)는 상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고, 전처리 학습이 필요한 모델타입의 경우 해당 전처리 학습을 수행한 후 그 결과를 상기 모델타입에 적용한 후 대응된 학습을 실시할 수 있다. 예를 들어, 상기 등록된 모델타입이 XLnet 타입인 경우, 제어부(230)는 대응된 전처리 학습(예컨대, Tockenize, sentencepiece 등)을 수행한 후, 선택된 모델타입 정보에 의거한 학습을 실시한다.
또한, 제어부(230)는 미리 설정된 정확도 측정 정보에 기초하여 상기 생성된 자연어 처리 모델의 정확도를 측정하고, 상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 상기 챗봇 관리 시스템(100)에게 전송할 수 있다. 이를 위해, 제어부(230)는 자연어 처리 관리자가 선택한 정확도 수준(예컨대, 90%, 85% 등)을 미리 저장하고, 상기 정확도 수준에 의거하여 상기 자연어 처리 모델의 전송 조건 만족 여부를 판단할 수 있다. 예를 들어, 자연어 처리 관리자가 정확도 80%를 선택한 경우, 제어부(230)는 정확도가 80% 이상인 경우에만 상기 자연어 처리 모델을 챗봇 관리 시스템(100)으로 전송하도록 제어할 수 있다. 한편, 제어부(230)는 상기 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 못하는 경우, 즉, 상기 정확도가 자연어 처리 관리자가 선택한 정확도 수준 이하인 경우, 기 선택된 모델타입에 대한 모델속성 정보를 다시 입력받아 저장부(210)에 재등록하고, 상기 재등록된 정보에 의거하여 대응된 학습을 실시할 수 있다. 이 때, 제어부(230)는 기 저장된 모델 속성 정보를 불러와서 사용하거나, 새로운 모델 속성 정보를 생성하여 사용할 수 있다.
통신상태 관리부(240)는 챗봇 관리 시스템(100)과의 통신 상태 및 통신 이력 정보를 저장하고, 챗봇 관리 시스템(100)으로부터 통신이 가능한 지의 여부를 확인하기 위한 요청이 전달되면, 상기 저장된 정보에 의거하여 통신 가능 여부를 전달한다.
사용자 인터페이스부(250)는 자연어 처리 관리를 위한 자연어 처리 관리자와의 인터페이스를 제공한다. 특히, 사용자 인터페이스부(250)는 자연어 처리를 위한 모델 타입 또는 모델 속성에 대한 자연어 처리 관리자의 선택정보를 입력받아 제어부(230)로 전달한다.
도 5a 내지 도 5e는 본 발명의 실시예에 따른 자연어 처리 관리 시스템에 저장된 데이터베이스들에 대한 구조의 예를 도시한 도면들로서, 도 5a는 연계 시스템 정보 관리 DB(211)에 대한 구조의 예를 도시하고, 도 5b는 데이터셋 관리 DB(212)에 대한 구조의 예를 도시하고, 도 5c는 모델타입 관리 DB(213)에 대한 구조의 예를 도시하고, 도 5d는 모델 속성 관리 DB(214)에 대한 구조의 예를 도시하고, 도 5e는 자연어 처리 모델 관리 DB(215)에 대한 구조의 예를 도시한다. 도 5a를 참조하면, 연계 시스템 정보 관리 DB(211)는 자연어 처리를 위해 연계된 시스템(즉, 챗봇 관리 시스템(100))에 대한 정보를 저장한다. 이를 위해, 연계 시스템 정보 관리 DB(211)는 챗봇_관리_시스템의_URL(211-1)/챗봇_관리_시스템의_IP(211-2)/챗봇_관리_시스템의_PORT(211-3)/챗봇_ID_목록(211-4) 필드를 포함할 수 있다. 이 때, 챗봇 ID 목록(211-4) 필드에는 해당 챗봇 관리 시스템에 의해 관리되는 챗봇 ID들의 목록이 저장될 수 있다.
도 1, 도 4 및 도 5b를 참조하면, 데이터셋 관리 DB(212)는 자연어 처리를 위해 챗봇 관리 시스템(100)으로부터 전달된 데이터 셋을 저장한다. 이를 위해, 데이터셋 관리 DB(212)는 데이터_셋_ID(212-1)/챗봇_ID(212-2)/데이터_셋_저장위치(212-3) 필드를 포함할 수 있다. 이 때, 데이터_셋_저장위치(212-3) 필드에는 데이터 셋이 저장된 디렉토리 정보가 저장될 수 있다.
도 4 및 도 5c를 참조하면, 모델타입 관리 DB(213)는 자연어 처리를 위해 선택 가능한 모델타입 정보가 저장된다. 이를 위해, 모델타입 관리 DB(213)는 모델타입_ID(213-1)/모델_저장위치(213-2) 필드를 포함할 수 있다. 이 때, 모델타입 ID(213-1) 필드에는, 선택 가능한 모델 타입들(예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), BERT(Bidirectional Encoder Representations from Transformers), XLnet(eXtra-Long Network) 등) 각각을 식별하기 위한 식별정보가 저장될 수 있다.
도 4 및 도 5d를 참조하면, 모델 속성 관리 DB(214)는 모델 타입별로 선택된 모델속성정보들을 매칭시켜 저장하되, JSON 형태로 저장할 수 있다. 이를 위해, 모델속성_ID(214-1)/모델타입_ID(214-2)/데이터_셋_ID(214-3)/데이터_셋_저장경로(214-47) 필드를 포함할 수 있다.
도 4 및 도 5e를 참조하면, 자연어 처리 모델 관리 DB(215)는 자연어 처리 관리 시스템(200)에서 생성된 자연어 처리 모델을 저장/관리한다. 이를 위해, 자연어 처리 모델 관리 DB(215)는 자연어_처리_모델 ID(215-1)/모델속성_ID(215-2) 필드를 포함할 수 있다.
이상에서는 본 발명의 실시예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시예로부터 본 발명이 속하는 기술분야에서 통상의지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.

Claims (10)

  1. 자연어 처리를 독립적으로 수행하기 위해 자연어 처리 모델에 대한 지식이 있는 자연어 처리 관리자에 의해 관리되는 자연어 처리 관리 시스템이, 챗봇을 관리하는 챗봇 관리 시스템으로부터 자연어 처리 요청 메시지를 수신하여 저장하되, 상기 자연어 처리 요청 메시지는 자연어 처리 대상인 텍스트 형식의 데이터 셋 및 상기 데이터 셋에 대하여 챗봇 서비스를 제공할 챗봇 식별정보를 포함하는 수신단계;
    상기 데이터 셋에 대한 자연어 처리를 위해 상기 자연어 처리 관리자가 선택한 모델타입 정보를 저장하되, 상기 모델타입 정보는 다수의 인공지능 모델타입들 중 상기 자연어 처리 관리자가 선택한 모델타입, 및 상기 선택된 모델 타입별로 선택 가능한 모델 속성정보들 중 상기 자연어 처리 관리자가 선택한 모델 속성정보를 포함하는 등록단계;
    상기 등록된 모델타입 정보에 의거하여 자연어 처리를 위한 학습을 실시하는 학습단계;
    상기 학습단계의 학습결과에 기초하여 자연어 처리 모델을 생성한 후 상기 학습결과 및 학습내역을 저장하는 저장단계;
    미리 설정된 정확도 측정 정보에 기초하여 상기 생성된 자연어 처리 모델의 정확도를 측정하되, 상기 정확도 측정을 위해 미리 저장된 테스트 문장에 의거하여 상기 자연어 처리 모델의 정확도를 측정하는 정확도 측정단계;
    상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 상기 챗봇 관리 시스템으로 전송하는 전송단계; 및
    상기 측정된 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 않는 경우 기 선택된 모델타입에 대한 모델속성 정보를 다시 입력받아 상기 모델타입 정보를 재등록한 후, 상기 재등록된 정보에 의거하여, 상기 학습단계, 상기 저장단계, 상기 정확도 측정단계, 및 상기 전송단계를 반복하는 반복단계를 포함하는 것을 특징으로 하는 자연어 처리 관리 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 학습단계는
    상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고,
    전처리가 필요한 모델타입의 경우 전처리를 수행한 후 상기 모델타입에 적용하는 전처리 단계를 더 포함하는 것을 특징으로 하는 자연어 처리 관리 방법.
  5. 제1항에 있어서, 상기 저장단계는
    상기 데이터 셋 별로 대응된 다수의 자연어 처리 모델들을 저장하되,
    상기 다수의 자연어 처리 모델들 각각에 대한 저장위치, 연결정보 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보를 포함하는 학습 결과 및 학습내역을 저장하는 것을 특징으로 하는 자연어 처리 관리 방법.
  6. 자연어 처리를 독립적으로 수행하기 위해 자연어 처리 모델에 대한 지식이 있는 자연어 처리 관리자에 의해 관리되는 자연어 처리 관리 시스템이, 챗봇을 관리하는 챗봇 관리 시스템과의 통신 인터페이스를 제공하되, 상기 챗봇 관리 시스템으로부터 자연어 처리 요청 메시지를 수신하되, 자연어 처리 대상인 텍스트 형식의 데이터 셋 및 상기 데이터 셋에 대하여 챗봇 서비스를 제공할 챗봇 식별정보를 포함하는 자연어 처리 요청 메시지를 수신하는 통신 인터페이스부;
    상기 자연어 처리 관리자와의 인터페이스를 제공하되, 상기 데이터 셋에 대한 자연어 처리를 위해 상기 자연어 처리 관리자가 선택한 모델타입 정보를 입력받는 사용자 인터페이스부;
    상기 사용자 인터페이스부를 통해 입력된 모델타입 정보에 의거하여 자연어 처리를 위한 학습을 실시한 후 상기 학습의 결과에 기초하여 자연어 처리 모델을 생성하는 제어부; 및
    상기 자연어 처리를 위해 필요한 정보 및 상기 자연어 처리 과정에서 생성되는 데이터들을 저장하는 저장부를 포함하되;
    상기 제어부는
    미리 설정된 정확도 측정 정보에 기초하여 상기 생성된 자연어 처리 모델의 정확도를 측정하되, 상기 정확도 측정을 위해 미리 저장된 테스트 문장에 의거하여 상기 자연어 처리 모델의 정확도를 측정하고,
    상기 측정된 정확도가 미리 설정된 자연어 처리 모델 전송 조건을 만족하는 경우 상기 자연어 처리 모델을 상기 챗봇 관리 시스템으로 전송하고,
    상기 측정된 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 않는 경우 상기 모델타입 정보를 다시 입력받아 재등록한 후, 상기 재등록된 정보에 의거하여 상기 학습, 정확도 측정, 및 전송 과정을 반복 수행하는 것을 특징으로 하는 자연어 처리 관리 시스템.
  7. 제6항에 있어서, 상기 제어부는
    다수의 인공지능 모델타입들 중 상기 자연어 처리에 적용할 모델타입 선택정보 및 상기 선택된 모델타입별로 선택 가능한 모델속성 정보들 중 선택된 모델속성 정보를 입력받아 상기 저장부에 등록하고,
    상기 등록된 정보에 의거하여 대응된 학습을 실시하는 것을 특징으로 하는 자연어 처리 관리 시스템.
  8. 제7항에 있어서, 상기 제어부는
    상기 측정된 정확도가 상기 자연어 처리 모델 전송 조건을 만족하지 못하는 경우, 기 선택된 모델타입에 대한 모델속성 정보를 다시 입력받아 상기 저장부에 재등록하고,
    상기 재등록된 정보에 의거하여 대응된 학습을 실시하는 것을 특징으로 하는 자연어 처리 관리 시스템.
  9. 제8항에 있어서, 상기 제어부는
    상기 등록된 모델타입 정보에 의거하여, 전처리 여부를 결정하고,
    전처리가 필요한 모델타입의 경우 전처리를 수행한 후 상기 모델타입에 적용한 후 그 정보에 의거하여 대응된 학습을 실시하는 것을 특징으로 하는 자연어 처리 관리 시스템.
  10. 제6항에 있어서, 상기 저장부는
    상기 데이터 셋별로 대응된 다수의 자연어 처리 모델들을 저장하되,
    상기 다수의 자연어 처리 모델들 각각에 대한 저장위치, 연결정보 및 해당 자연어 처리 모델을 수행할 챗봇 식별정보를 포함하는 학습 결과 및 학습내역을 저장하는 것을 특징으로 하는 자연어 처리 관리 시스템.
KR1020200036351A 2020-03-25 2020-03-25 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법 KR102560298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200036351A KR102560298B1 (ko) 2020-03-25 2020-03-25 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200036351A KR102560298B1 (ko) 2020-03-25 2020-03-25 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210119772A KR20210119772A (ko) 2021-10-06
KR102560298B1 true KR102560298B1 (ko) 2023-07-26

Family

ID=78077431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200036351A KR102560298B1 (ko) 2020-03-25 2020-03-25 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102560298B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147371A1 (en) * 2017-11-13 2019-05-16 Accenture Global Solutions Limited Training, validating, and monitoring artificial intelligence and machine learning models

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831802B2 (en) * 2016-04-11 2020-11-10 Facebook, Inc. Techniques to respond to user requests using natural-language machine learning based on example conversations
KR102146031B1 (ko) * 2017-11-23 2020-08-28 주식회사 케이티 멀티 도메인 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법
KR102169868B1 (ko) * 2017-11-27 2020-10-26 한국전자통신연구원 채팅로봇 시스템 및 서비스방법
KR102517843B1 (ko) 2017-12-06 2023-04-03 주식회사 케이티 Aiml 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법
KR102086815B1 (ko) * 2018-01-12 2020-03-09 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147371A1 (en) * 2017-11-13 2019-05-16 Accenture Global Solutions Limited Training, validating, and monitoring artificial intelligence and machine learning models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Inoue and Une. "Security Analysis of Machine Learning Systems for the Financial Sector." IMES Discussion Paper No. 2019-E-5. (2019).

Also Published As

Publication number Publication date
KR20210119772A (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
US20230252241A1 (en) Multi-turn dialogue response generation with persona modeling
EP3711000B1 (en) Regularized neural network architecture search
US20190251963A1 (en) Voice awakening method and device
US20190205759A1 (en) Method and apparatus for compressing neural network
CN106095988A (zh) 自动问答方法及装置
CN110852695A (zh) 任务审批方法、装置、服务器及存储介质
US20220294748A1 (en) Conversational bot interaction with utterance ranking
US11982999B2 (en) Defect detection task processing method, device, apparatus and storage medium
US11531948B2 (en) Artificial intelligence based system and method for dynamic goal planning
WO2019182793A1 (en) Controlling devices based on sequence prediction
US20130159237A1 (en) Method for rule-based context acquisition
US20230043260A1 (en) Persisting an AI-supported conversation across multiple channels
KR20220064833A (ko) 아이템 임베딩 장치 및 방법
CN109857540A (zh) 服务器的管理方法、装置、终端及计算机可读存储介质
CN107231398A (zh) 信息交互方法及装置
KR102560298B1 (ko) 챗봇 서비스를 위한 자연어 처리 관리 시스템 및 그 방법
KR20210131720A (ko) 인공지능 모델을 관리하는 방법 및 시스템
CN110442636A (zh) 一种数据的读写方法、装置及数据读写设备
US20220358572A1 (en) Device and method to provide data associated with shopping mall web page
US11977361B2 (en) Interactive field device interface for monitoring and controlling an industrial process by industrial automation system
CA3202398A1 (en) Enterprise server and method with universal bypass mechanism for automatically testing real-time computer security services
CN113868396A (zh) 基于知识图谱的任务类智能对话构建方法及系统
CN113609275B (zh) 信息处理方法、装置、设备及存储介质
CN116957047B (zh) 一种采样网络更新方法、装置、设备和介质
KR102420860B1 (ko) 연구 개발을 지원하는 리소스를 매칭하는 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant