KR20220160358A - 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램 - Google Patents

상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220160358A
KR20220160358A KR1020210068492A KR20210068492A KR20220160358A KR 20220160358 A KR20220160358 A KR 20220160358A KR 1020210068492 A KR1020210068492 A KR 1020210068492A KR 20210068492 A KR20210068492 A KR 20210068492A KR 20220160358 A KR20220160358 A KR 20220160358A
Authority
KR
South Korea
Prior art keywords
sentence
learning
counseling
dialogue
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210068492A
Other languages
English (en)
Inventor
고준석
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210068492A priority Critical patent/KR20220160358A/ko
Publication of KR20220160358A publication Critical patent/KR20220160358A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

상담문에 대한 요약문을 생성하는 서버는 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하는 토큰부, 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키는 학습부, 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 학습기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하는 문장 추출부 및 제 1 문장 및 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 결정하는 요약문 결정부를 포함할 수 있다.

Description

상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR GENERATING SUMMARY FOR COMSULTATION DOCUMENT}
본 발명은 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
기존의 문서 요약 방법은 문서에 대한 특정 패턴의 규칙을 구축하고, 구축된 규칙에 기초하여 규칙 기반의 문서요약모델을 학습시키고, 학습된 규칙 기반의 문서요약모델을 이용하여 문서를 요약하여 요약 정보를 제공하였다.
상담 문서는 일반적인 문서와 다른 패턴의 규칙을 가지고 있기 때문에 상담 문서를 기존의 규칙 기반의 문서요약모델에 입력하게 될 경우, 상담 문서의 요약을 생성하는 것이 어렵다.
규칙 기반의 문서요약모델에 입력되는 문서들의 패턴과 해당 문서에서 사용되는 단어들은 매번 달라지기 때문에 문서별로 특정 패턴의 규칙을 매번 구축하는 것은 많은 시간의 소요와 자원 낭비를 불러오게 된다.
한편, 기존의 학습기반의 추출요약방법은 상담문 내에 있는 각 대화 문장에 포함된 단어들에 대하여 단어 임베딩을 수행한 후, 각 대화 문장에 대한 단어 임베딩을 이용하여 상담문에 대한 요약을 수행한다.
이러한 기존의 학습기반의 추출요약방법은 각 단어들의 위치를 고려하지 않은 단어 임베딩을 이용하고 있으며, 기설정된 길이에 따라 상담문을 분할하고, 분할된 상담문의 길이를 일치시키기 위해 패딩과 같이 의미없는 값으로 채운 후, 이를 통해 요약문을 생성하기 때문에 유의미한 데이터를 놓치거나 상담문을 분류할 때 영향을 미친다. 한편, 입력된 상담문의 길이에 따라 모델의 성능(또는 학습)에 영향을 미치고, 상담문의 길이가 길어지면 경사 소실(vanishing gradient) 문제가 발생한다.
한국공개특허공보 제2021-0009007호 (2021.01.26. 공개)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하고, 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키고자 한다. 또한, 본 발명은 학습된 학습기반의 문서요약모델 및 규칙기반의 학습기반의 문서요약모델을 이용하여 실제 상담문의 요약문을 생성하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 상담문에 대한 요약문을 생성하는 서버는 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하는 토큰부; 상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키는 학습부; 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하는 문장 추출부; 및 상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 요약문 결정부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 상담문 요약 생성 서버에 의해 수행되는 상담문에 대한 요약문을 생성하는 방법은 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하는 단계; 상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키는 단계; 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하는 단계; 및 상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 단계를 포함할 수 있다.
본 발명의 제 3 측면에 따른 상담문에 대한 요약문을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하고, 상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키고, 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하고, 상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 명령어들의 시퀀스를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하고, 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키고자 한다. 또한, 본 발명은 학습된 학습기반의 문서요약모델 및 규칙기반의 학습기반의 문서요약모델을 이용하여 실제 상담문의 요약문을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 상담문 요약 생성 서버의 블록도이다.
도 2a 내지 2d는 본 발명의 일 실시예에 따른, 학습기반의 문서요약모델을 학습시키는 방법을 설명하기 위한 도면이다.
도 3a 내지 3d는 본 발명의 일 실시예에 따른, 규칙기반의 문서요약모델 및 학습기반의 문서요약 모델을 이용하여 상담문의 요약을 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른, 상담문에 대한 요약문을 생성하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 상담문 요약 생성 서버(10)의 블록도이다.
도 1을 참조하면, 상담문 요약 생성 서버(10)는 토큰부(100), 학습부(110), 문장 추출부(120), 요약문 결정부(130) 및 가중치 설정부(140)를 포함할 수 있다. 다만, 도 1에 도시된 상담문 요약 생성 서버(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
이하에서는 도 2a 내지 도 3d을 함께 참조하여 도 1을 설명하기로 한다.
본 발명의 학습기반의 문서요약모델은 선행학습 및 전이학습 순으로 학습이 진행된다.
학습부(110)는 학습용 상담문에 포함된 복수의 대화 문장 각각에 대한 임베딩을 수행하기 위해 학습기반의 문서요약모델을 선행학습할 수 있다. 여기서, 학습기반의 문서요약모델은 예를 들면, word2vec 모델, BERT(Bidirectional Encoder Representation of Transformer) 모델 등으로 구성된 베이직 모델을 포함할 수 있다.
예를 들어, 학습부(110)는 학습기반의 문서요약모델이 복수의 대화 문장 각각을 벡터값으로 변환하도록 학습기반의 문서요약모델을 학습시킬 수 있다.
예를 들어, 베이직 모델의 인코더는 상담문(예컨대, 안녕하세요. 상담원 누구입니다 | 네 요금을 변경하려고 하는데요 | 질문자가 본인이신가요 | 네 | ..)을 입력받고, 입력된 상담문을 [문장수*128*768]으로 출력하도록 학습되고, 베이직모델의 디코더는 [문장수*128*768]을 상담문으로 출력하도록 학습될 수 있다.
한편, 기존의 선행학습의 결과는 [배치(batch) 사이즈 *문장수*128*768]이고, 배치 사이즈는 사용자에 의해 픽스되었다. 도 2a를 참조하면, 기존의 선행학습은 하나의 배치 사이즈에 복수개의 상담문을 한꺼번에 배치하여 학습을 진행하기 때문에 각 상담문 내 대화 문장들의 특성을 반영한 학습이 어려웠고, 최적화된 학습이 어려웠다.
하지만, 본 발명은 도 2b와 같이, 하나의 배치 사이즈 내 하나의 상담문을 배치하고, 해당 상담문에 포함된 복수의 대화 문장 각각을 하나의 데이터로 사용함으로써 각 대화 문장의 특성을 반영한 선행학습을 수행할 수 있다.
선행학습을 통해 출력된 [문장수*128*768]에 해당하는 임베딩 값은 전이학습을 위해 튜닝된 베이직 모델의 입력값이 된다.
토큰부(100)는 학습용 상담문에 포함된 복수의 대화 문장의 개수에 기초하여 학습기반의 문서요약모델의 학습에 필요한 데이터에 대한 배치(batch) 사이즈를 결정할 수 있다.
본 발명은 상담문에 포함된 복수의 대화 문장의 개수에 따라 배치 사이즈를 결정하기 때문에, 추후 입력될 상담문의 길이가 학습기반의 문서요약모델의 성능에 영향을 주지 않는다.
토큰부(100)는 학습용 상담문에 포함된 복수의 대화 문장의 개수에 따라 결정된 배치 사이즈에 기초하여 기설정된 토큰의 개수를 결정할 수 있다.
예를 들어, 도 2b를 참조하면, 배치 사이즈는 각 상담문에 포함된 대화 문장의 개수에 기초하여 유동적일 수 있다. 배치 사이즈는 학습기반의 문서요약모델의 학습을 진행할 때 몇 개의 대화 문장을 동시에 확인할지를 나타내는 단위일 수 있다.
예를 들어, 도 2c를 참조하면, 기설정된 토큰은 각 대화 문장의 시작을 의미하는 토큰(예컨대, CLS 토큰)을 포함할 수 있다. 각 대화 문장별 첫번째 임베딩 값은 기설정된 토큰에 대응하는 값이다.
각 대화 문장을 대표하는 기설정된 토큰을 대화 문장의 개수만큼 확보함에 따라 학습기반의 문서요약모델의 학습에 사용할 수 잇는 데이터가 풍부해질 수 있다.
토큰부(100)는 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여할 수 있다.
토큰부(100)는 학습용 상담문에 포함된 복수의 대화 문장 간의 상관 관계에 기초하여 대화 문장마다 시퀀스 라벨링 정보가 포함된 기설정된 토큰을 부여할 수 있다.
학습부(110)는 토큰이 부여된 대화 문장의 특정점에 기초하여 학습기반의 문서요약모델을 학습시킬 수 있다.
한편, 기존의 전이학습은 딥러닝 레이어(예컨대, FCC(Fully connected layer), RNN, CNN 등)를 쌓아서 학습하는 형태이다. 하지만, 이러한 딥러닝 레이어 구조는 문단의 정보 및 문장 간의 관계를 적절히 학습하기엔 부적절하다. 또한, 입력 문장을 동일 길이로 조절(예를 들어, 긴 문장의 경우 문장을 분할하고, 짧은 문장의 경우 문장 뒤에 패딩을 추가)한 후에 전이학습을 하기 때문에 필요한 정보를 놓치는 경우가 많았다.
하지만, 본 발명의 전이학습은 도 2c와 같은 튜닝된 베이직모델이 포함된 학습기반의 문서요약모델을 통해 이루어진다. 학습기반의 문서요약모델은 상담문의 각 대화 문장을 임베딩으로 표현하기 위한 전이학습 모델을 포함할 수 있다. 이 때, 전이학습 모델의 입력은 상담문과 상담문에 대한 의도정보이다.
학습기반의 문서요약모델은 선행학습에서 학습이 완료된 베이직 모델의 인코더를 이용하여 구축될 수 있다.
본 발명의 전이학습은 상담문을 화자 기준으로 나눈 복수의 대화 문장이 RoBERTa 모델을 거치게 되면, [1*768+분류 라벨 개수]를 출력하고, 이를 BiLSTM에 입력으로 넣는다. BiLSTM의 출력은 dense layer를 거치게 되고, 그 결과는 [분류 라벨 개수]이다.
본 발명의 전이학습은 도 2c와 같이 순차적으로 다음 레이어를 거치게 되고, 각 대화문장별로 전이학습이 진행된다.
구체적으로 설명하면, 학습기반의 문서요약모델을 구성하는 self_attention 레이어는 CLS 토큰을 제외한 [127*768]의 대화 문장들을 입력받고, 학습기반의 문서요약모델은 self_attention 레이어를 통해 입력된 각 대화 문장에 대한 의도를 나타내는 단어를 추출하여 학습할 수 있다.
self_attention 레이어는 각 대화 문장에 대한 의도를 나타내는 단어에 기초하여 각 대화 문장에 대한 중요도를 산출하고, 산출된 중요도에 기초하여 학습을 수행할 수 있다.
self_attention 레이어는 [127*768]에 해당하는 임베딩값을 출력할 수 있다. 이 때, 임베딩값은 각 대화 문장의 분류 결과가 반영된 값이다.
학습기반의 문서요약모델을 구성하는 RNN layer는 self_attention 레이어의 출력값을 입력값으로 입력받고, 1*768를 출력값으로 출력한다.
RNN 레이어는 대화 문장 내 단어들 간의 순서를 고려하기 위해 RNN 학습을 수행하는 레이어이다. 여기서, RNN 레이어의 초기 상태(initial_state)는 베이직 모델의 인코더에서 얻은 CLS 토큰으로 설정되어 있다. CLS 토큰은 선행학습을 통해서 각 대화 문장의 특성을 대표하는 값입니다. RNN 학습이 수행될 때, 각 대화 문장을 대표하는 CLS 토큰에 대응하는 임베딩값이 RNN 레이어의 입력값으로 입력될 수 있다.
학습기반의 문서요약모델을 구성하는 NER 레이어는 각 상담 주제에 따른 의도별로 자주 등장하는 단어(예컨대, 명사 형태의 단어)를 추출한다. 추출된 단어를 이용하여 단어 사전을 생성하고, 각 대화 문장별로 단어 사전에 존재하는 단어들을 임베딩으로 표현할 수 있다.
NER 레이어는 각 대화 문장별로 단어 사전에 존재하는 단어가 3회 이상 등장하면, 3회 이상 등장한 단어에 대한 의도를 1로 표시한다. 이 때, 3회 이상 등장한 단어에 대응하는 임베딩 차원수는 '1*의도분류수'로 정의될 수 있다.
이와 같은 과정들을 거치면 한 대화 문장은 [1*768+의도분류수] 차원을 갖게 된다. 이를 통해 해당 대화 문장이 가지고 있는 단어에 따라 의도에 대한 가중치를 추가하여 학습할 수 있다.
각 대화 문장별로 위와 같은 과정을 거쳐서 [대화 문장의 수*768+의도분류수]를 생성될 수 있다.
RNN 레이어의 출력값 및 NER 레이어의 출력값에 기초하여 각 대화 문장의 단어들 간의 순서를 이용하여 잘 표현된 단어에 대한 대표 임베딩을 획득하고, NER 레이어를 통해 의도별 대화 문장에서 자주 등장한 단어를 추출하기 때문에 대화 문장이 어떠한 의도를 갖고 있는 정보인지를 확인할 수 있다.
학습기반의 문서요약모델을 구성하는 BiLSTM(Forward LSTM + Backward LSTM) 레이어는 NER 레이어의 출력값인 각 대화 문장별 [대화 문장의 수*768+의도분류수]를 입력받고, Forward LSTM과 Backward LSTM 레이어 각각은 [1*768]를 출력할 수 있다.
BiLSTM 레이어를 이용하면 각 대화 문장 간의 순서 정보를 고려하여 학습을 수행할 수 있다.
이와 같은 과정을 통해 각 대화 문장의 순서를 고려하여 분류결과를 유추할 수 있다. 대화 문장 간의 순서 정보는 상담문의 의도를 도출하는데 중요하고, BiLSTM 레이어를 통해 이전 대화 문장 또는 이후 대화 문장 간의 순서에 따라 학습하면 상담문의 의도를 분류할 때 유리할 수 있다.
학습기반의 문서요약모델을 구성하는 dense 레이어는 BiLSTM의 결과물인 [1*1536] 을 입력으로 받아 출력값에 해당하는 [1*의도분류수]를 출력한다. 여기서, 출력값은 각 대화 문장의 의도를 반영한 의도 분류에 대한 확률값(도 2d 참조)이다.
이후, 상담문에 포함된 복수의 대화 문장별 의도 확률값 중 기설정된 임계치 이상인 의도 확률값을 갖는 대화 문장을 이용하여 요약문이 생성될 수 있다.
한편, 기존의 전이학습은 배치 사이즈에 맞게 복수의 상담문을 학습해야 하기 때문에 특정 길이에 맞게 분할하거나 패딩 작업(짧은 상담문을 긴 사담문의 길이에 맞추기 위해 쓰레기값을 채우는 작업)을 해야한다. 이럴 경우, 필요한 정보가 삭제될 수 있고, 의미없는 정보가 포함되기 때문에 전이학습이 제대로 되지 못하는 경우가 발생하게 된다.
하지만, 본 발명은 배치 사이즈를 동적으로 조절할 수 있다. 즉, 본 발명의 전이 학습은 배치 사이즈를 상담문에 포함된 복수의 대화 문장의 길이로 동적으로 설정한 후 전이 학습을 수행한다. 이러한 본 발명의 전이학습은 상담문 내에 있는 대화 문장들의 중요한 정보들을 모두 이용하여 학습할 수 있고, 각 대화 문장들 간의 상관 관계를 더욱 잘 파악할 수 있다.
가중치 설정부(140)는 학습기반의 문서요약모델을 구성하는 self_attention 레이어를 통해 상담문의 의도를 결정하는 단어의 위치에 가중치를 부여할 수 있다.
학습부(110)는 상담문의 의도를 나타내는 단어가 포함된 대화 문장에 가중치가 설정되면, 가중치가 반영된 대화 문장을 이용하여 학습기반의 문서요약모델을 학습시킬 수 있다.
가중치 설정부(140)는 학습기반의 문서요약모델을 구성하는 NER 레이어를 통해 의도별로 기설정된 단어가 포함된 각 대화 문장에 추가 가중치를 부여할 수 있다.
학습부(110)는 시퀀스 라벨링 기법이 적용된 LSTM을 이용한 각 대화 문장 간의 상관 관계에 기초하여 학습기반의 문서요약모델을 학습시킬 수 있다. 이 때, 학습부(110)는 LSTM을 통해 상담문에서의 각 대화 문장의 위치를 고려하여 각 대화 문장에 대한 의도 확률값을 산출하도록 학습기반의 문서요약모델을 학습시킬 수 있다.
이를 통해, 본 발명은 상담문에 포함된 복수의 대화 문장을 의도별로 정교하게 분류할 수 있고, 종래와 같이 상담문의 길이를 제한받지 않기 때문에 새롭게 입력되는 상담문에 대하여 효율적으로 상담 의도를 분류할 수 있다.
한편, 문장 추출부(120)는 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출할 수 있다.
문장 추출부(120)는 기구축된 상담 주제별 규칙 패턴에 기초하여 실제 상담문에 포함된 복수의 대화 문장으로부터 규칙 패턴과 일치하는 문장을 제 1 문장으로서 추출할 수 있다. 도 3a는 기구축된 상담 주제별 규칙 패턴을 통해 규칙 패턴과 일치하는 문장을 추출한 도면이다.
문장 추출부(120)는 학습기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출할 수 있다.
도 3b를 참조하면, 학습기반의 문서요약모델은 입력된 실제 상담문에 포함된 복수의 대화 문장을 문장 단위로 분할하고, 분할된 각 대화 문장의 위치에 기초하여 각 대화 문장별로 상담문을 대표할 요약 확률값을 계산할 수 있다. 각 대화 문장은 대화 문장 간의 순서에 따라 서로 영향을 미친다. 즉, 타임 시퀀스에 따라 이전 대화 문장이 다음 대화 문장의 요약문일 확률에 영향을 줄 수 있다.
문장 추출부(120)는 학습기반의 문서요약모델을 이용하여 실제 상담문에 포함된 복수의 대화 문장마다 실제 상담문에 대한 요약 확률값을 계산할 수 있다.
토큰부(100)는 실제 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여할 수 있다. 여기서, 각 대화 문장마다 부여된 기설정된 토큰은 복수의 대화 문장의 시간 순서에 대응하는 시퀀스 라벨링 정보를 포함할 수 있다.
문장 추출부(120)는 실제 상담문에 포함된 각 대화 문장 각각에 부여된 기설정된 토큰을 추출하고, 추출된 기설정된 토큰의 시퀀스 라벨링 정보에 기초하여 각 복수의 대화 문장마다 실제 상담문에 대한 요약 확률값을 계산할 수 있다.
문장 추출부(120)는 실제 상담문에 포함된 복수의 대화 문장 중 실제 상담문에 대한 요약 확률값이 기설정된 임계치를 초과하는 대화 문장을 제 2 문장으로서 추출할 수 있다.
가중치 설정부(140)는 실제 상담문에 포함된 복수의 대화 문장 중 요약문을 결정하는 단어가 포함된 대화 문장에 가중치를 설정할 수 있다.
문장 추출부(120)는 실제 상담문 내 복수의 대화 문장 각각에 대한 문장 위치 정보에 더 기초하여 복수의 대화 문장별 상담문에 대한 요약 확률값을 계산할 수 있다.
문장 추출부(120)는 대화 문장별로 가중치가 상이하게 반영된 대화 문장 각각에 대한 요약 확률값을 계산할 수 있다.
요약문 결정부(130)는 규칙기반의 문서요약모델을 통해 추출된 제 1 문장 및 학습기반의 문서요약모델을 통해 추출된 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 결정할 수 있다.
요약문 결정부(130)는 기설정된 요약문 결정 규칙에 기초하여 규칙기반의 문서요약모델을 통해 추출된 제 1 문장 및 학습기반의 문서요약모델을 통해 추출된 제 2 문장 중 하나를 선택하여 실제 상담문에 대한 요약문을 생성할 수 있다.
예를 들어, 도 3c 및 도 3d를 함께 참조하면, 규칙기반의 문서요약모델(20)을 통해 제 1 문장이 추출되고, 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장의 요약 확률값이 기설정된 임계치를 초과하는 경우, 요약문 결정부(130)는 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 생성할 수 있다.
규칙기반의 문서요약모델(20)을 통해 제 1 문장이 추출되고, 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장의 요약 확률값이 기설정된 임계치 미만인 경우, 요약문 결정부(130)는 규칙기반의 문서요약모델(20)을 통해 추출된 제 1 문장에 기초하여 실제 상담문에 대한 요약문을 생성할 수 있다.
규칙기반의 문서요약모델(20)을 통해 제 1 문장이 추출되지 않고, 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장의 요약 확률값이 기설정된 임계치를 초과하는 경우, 요약문 결정부(130)는 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 생성할 수 있다.
규칙기반의 문서요약모델(20)을 통해 제 1 문장이 추출되지 않고, 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장의 요약 확률값이 기설정된 임계치 미만인 경우, 요약문 결정부(130)는 학습기반의 문서요약모델(22)을 통해 추출된 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 생성할 수 있다.
한편, 당업자라면, 토큰부(100), 학습부(110), 문장 추출부(120), 요약문 결정부(130) 및 가중치 설정부(140) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 4는 본 발명의 일 실시예에 따른, 상담문에 대한 요약문을 생성하는 방법을 나타낸 흐름도이다.
도 4를 참조하면, 단계 S401에서 상담문 요약 생성 서버(10)는 학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여할 수 있다.
단계 S403에서 상담문 요약 생성 서버(10)는 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습할 수 있다.
단계 S405에서 상담문 요약 생성 서버(10)는 규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 학습기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출할 수 있다.
단계 S407에서 상담문 요약 생성 서버(10)는 제 1 문장 및 제 2 문장에 기초하여 실제 상담문에 대한 요약문을 결정할 수 있다.
상술한 설명에서, 단계 S601 내지 S607은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 상담문 요약 생성 서버
100: 토큰부
110: 학습부
120: 문장 추출부
130: 요약문 결정부
140: 가중치 설정부

Claims (17)

  1. 상담문에 대한 요약문을 생성하는 서버에 있어서,
    학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하는 토큰부;
    상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키는 학습부;
    규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하는 문장 추출부; 및
    상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 요약문 결정부
    를 포함하는 것인, 서버.
  2. 제 1 항에 있어서,
    상기 문장 추출부는
    기구축된 상담 주제별 규칙 패턴에 기초하여 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 상기 규칙 패턴과 일치하는 문장을 상기 제 1 문장으로서 추출하는 것인, 서버.
  3. 제 1 항에 있어서,
    상기 문장 추출부는
    상기 실제 상담문에 포함된 복수의 대화 문장마다 상기 실제 상담문에 대한 요약 확률값을 계산하는 것인, 서버.
  4. 제 3 항에 있어서,
    상기 문장 추출부는
    상기 실제 상담문에 포함된 복수의 대화 문장 중 상기 실제 상담문에 대한 요약 확률값이 기설정된 임계치를 초과하는 대화 문장을 상기 제 2 문장으로서 추출하는 것인, 서버.
  5. 제 1 항에 있어서,
    상기 토큰부는 상기 학습용 상담문에 포함된 복수의 대화 문장 간의 상관 관계에 기초하여 대화 문장마다 시퀀스 라벨링 정보가 포함된 기설정된 토큰을 부여하는 것인, 서버.
  6. 제 5 항에 있어서,
    상기 토큰부는
    상기 학습용 상담문에 포함된 복수의 대화 문장의 개수에 기초하여 상기 학습기반의 문서요약모델의 학습에 필요한 데이터에 대한 배치(batch) 사이즈를 결정하고,
    상기 결정된 배치 사이즈에 기초하여 상기 기설정된 토큰의 개수를 결정하는 것인, 서버.
  7. 제 4 항에 있어서,
    상기 실제 상담문에 포함된 복수의 대화 문장 중 요약문을 결정하는 단어가 포함된 대화 문장에 가중치를 설정하는 가중치 설정부를 더 포함하는 것인, 서버.
  8. 제 7 항에 있어서,
    상기 문장 추출부는
    상기 실제 상담문 내 복수의 대화 문장 각각에 대한 문장 위치 정보를 더 고려하여 상기 복수의 대화 문장별 상담문에 대한 요약 확률값을 계산하는 것인, 서버.
  9. 상담문 요약 생성 서버에 의해 수행되는 상담문에 대한 요약문을 생성하는 방법에 있어서,
    학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하는 단계;
    상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키는 단계;
    규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고, 상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하는 단계; 및
    상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 단계
    를 포함하는 것인, 상담문 요약 생성 방법.
  10. 제 9 항에 있어서,
    상기 제 1 문장을 추출하는 단계는
    기구축된 상담 주제별 규칙 패턴에 기초하여 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 상기 규칙 패턴과 일치하는 문장을 상기 제 1 문장으로서 추출하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  11. 제 9 항에 있어서,
    상기 제 2 문장을 추출하는 단계는
    상기 실제 상담문에 포함된 복수의 대화 문장마다 상기 실제 상담문에 대한 요약 확률값을 계산하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  12. 제 11 항에 있어서,
    상기 제 2 문장을 추출하는 단계는
    상기 실제 상담문에 포함된 복수의 대화 문장 중 상기 실제 상담문에 대한 요약 확률값이 기설정된 임계치를 초과하는 대화 문장을 상기 제 2 문장으로서 추출하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  13. 제 9 항에 있어서,
    상기 기설정된 토큰을 부여하는 단계는
    상기 학습용 상담문에 포함된 복수의 대화 문장 간의 상관 관계에 기초하여 대화 문장마다 시퀀스 라벨링 정보가 포함된 기설정된 토큰을 부여하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  14. 제 13 항에 있어서,
    상기 기설정된 토큰을 부여하는 단계는
    상기 학습용 상담문에 포함된 복수의 대화 문장의 개수에 기초하여 상기 학습기반의 문서요약모델의 학습에 필요한 데이터에 대한 배치(batch) 사이즈를 결정하는 단계 및
    상기 결정된 배치 사이즈에 기초하여 상기 기설정된 토큰의 개수를 결정하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  15. 제 12 항에 있어서,
    상기 실제 상담문에 포함된 복수의 대화 문장 중 요약문을 결정하는 단어가 포함된 대화 문장에 가중치를 설정하는 단계를 더 포함하는 것인, 상담문 요약 생성 방법.
  16. 제 15 항에 있어서,
    상기 제 2 문장을 추출하는 단계는
    상기 실제 상담문 내 복수의 대화 문장 각각에 대한 문장 위치 정보를 더 고려하여 상기 복수의 대화 문장별 상담문에 대한 요약 확률값을 계산하는 단계를 포함하는 것인, 상담문 요약 생성 방법.
  17. 상담문에 대한 요약문을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    학습용 상담문에 포함된 복수의 대화 문장마다 기설정된 토큰을 부여하고,
    상기 토큰이 부여된 대화 문장의 특징점에 기초하여 학습기반의 문서요약모델을 학습시키고,
    규칙기반의 문서요약모델을 통해 실제 상담문에 포함된 복수의 대화 문장으로부터 제 1 문장을 추출하고,
    상기 학습기반의 문서요약모델을 통해 상기 실제 상담문에 포함된 복수의 대화 문장으로부터 제 2 문장을 추출하고,
    상기 제 1 문장 및 상기 제 2 문장에 기초하여 상기 실제 상담문에 대한 요약문을 결정하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020210068492A 2021-05-27 2021-05-27 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램 Pending KR20220160358A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210068492A KR20220160358A (ko) 2021-05-27 2021-05-27 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068492A KR20220160358A (ko) 2021-05-27 2021-05-27 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20220160358A true KR20220160358A (ko) 2022-12-06

Family

ID=84406908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068492A Pending KR20220160358A (ko) 2021-05-27 2021-05-27 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20220160358A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102719219B1 (ko) * 2023-07-11 2024-10-18 럽디(주) 머신러닝을 수행하여 다중 문단 데이터를 동시에 분석하는 전자장치 및 방법
KR102763215B1 (ko) 2024-04-04 2025-02-07 주식회사 리턴제로 도메인 관련 학습 데이터셋 생성을 수행하는 전자 장치 및 방법
KR102832529B1 (ko) * 2024-04-25 2025-07-11 주식회사 린커머스 대화 로그를 이용하여 데이터베이스를 갱신하는 인공지능 인터페이스 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210009007A (ko) 2019-07-16 2021-01-26 주식회사 케이티 상담 내용을 요약하는 서버, 방법 및 상담 내용의 요약을 요청하는 상담원 단말

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210009007A (ko) 2019-07-16 2021-01-26 주식회사 케이티 상담 내용을 요약하는 서버, 방법 및 상담 내용의 요약을 요청하는 상담원 단말

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102719219B1 (ko) * 2023-07-11 2024-10-18 럽디(주) 머신러닝을 수행하여 다중 문단 데이터를 동시에 분석하는 전자장치 및 방법
KR102763215B1 (ko) 2024-04-04 2025-02-07 주식회사 리턴제로 도메인 관련 학습 데이터셋 생성을 수행하는 전자 장치 및 방법
KR102832529B1 (ko) * 2024-04-25 2025-07-11 주식회사 린커머스 대화 로그를 이용하여 데이터베이스를 갱신하는 인공지능 인터페이스 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
JP7108675B2 (ja) 意味マッチング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11106714B2 (en) Summary generating apparatus, summary generating method and computer program
US11386271B2 (en) Mathematical processing method, apparatus and device for text problem, and storage medium
US10515155B2 (en) Conversational agent
US11645314B2 (en) Interactive information retrieval using knowledge graphs
JP6951712B2 (ja) 対話装置、対話システム、対話方法、およびプログラム
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN108959388B (zh) 信息生成方法及装置
KR20220160358A (ko) 상담문에 대한 요약문을 생성하는 서버, 방법 및 컴퓨터 프로그램
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
EP4285270A1 (en) Auditing citations in a textual document
EP3525107A1 (en) Conversational agent
CN113591493A (zh) 翻译模型的训练方法及翻译模型的装置
CN111125323B (zh) 一种聊天语料标注方法、装置、电子设备及存储介质
WO2025096127A1 (en) Reducing latency by processing parts of a language model query in parallel
KR20230069780A (ko) 멀티 모달 대화를 위한 언어 모델 학습 방법 및 장치
WO2025050842A1 (zh) 机器学习任务模板生成方法、训练方法、微调方法及设备
CN113343692B (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
Keshav et al. Multimodal approach for code-mixed speech sentiment classification
CN110516125A (zh) 识别异常字符串的方法、装置、设备及可读存储介质
KR102624074B1 (ko) 비디오 표현 학습 장치 및 방법
CN119513237A (zh) 提示词生成方法、基于提示词的对话方法及相关装置
CN112765330A (zh) 文本数据处理方法、装置、电子设备和存储介质
WO2023154351A2 (en) Apparatus and method for automated video record generation

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000