KR102465160B1 - 의미적 표현에 기반한 텍스트 생성 방법 및 장치 - Google Patents

의미적 표현에 기반한 텍스트 생성 방법 및 장치 Download PDF

Info

Publication number
KR102465160B1
KR102465160B1 KR1020210008782A KR20210008782A KR102465160B1 KR 102465160 B1 KR102465160 B1 KR 102465160B1 KR 1020210008782 A KR1020210008782 A KR 1020210008782A KR 20210008782 A KR20210008782 A KR 20210008782A KR 102465160 B1 KR102465160 B1 KR 102465160B1
Authority
KR
South Korea
Prior art keywords
word
text
predicted
semantic expression
target
Prior art date
Application number
KR1020210008782A
Other languages
English (en)
Other versions
KR20210095578A (ko
Inventor
한 장
동링 시아오
유쿤 리
유 선
하오 티안
후아 우
하이펑 왕
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210095578A publication Critical patent/KR20210095578A/ko
Application granted granted Critical
Publication of KR102465160B1 publication Critical patent/KR102465160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

본 출원은 의미적 표현에 기반한 텍스트 생성 방법 및 장치를 개시하고, NLP 분야에 관한 것이다. 텍스트 생성 방법은, 입력 텍스트를 획득하고; 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하며; i번째 예측 대상 단어의 벡터 표현을 획득하며, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘울 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것이며; i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다. 상기 방법은 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어의 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 벡터 표현에 미치는 영향이 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다. 상기 방법은 사전 트레이닝 및 미세 조정에 균일하게 적용될 수 있다.

Description

의미적 표현에 기반한 텍스트 생성 방법 및 장치{METHOD AND DEVICE FOR GENERATING TEXT BASED ON SEMANTIC REPRESENTATION}
본 출원은 컴퓨터 기술분야에 관한 것으로, 구체적으로는 자연어 처리(Natural Language Processing, NLP) 기술분야에 관한 것이고, 특히 의미적 표현에 기반한 텍스트 생성 방법 및 장치에 관한 것이다.
자연어 처리 분야에서, 기존의 생성 작업은 일반적으로 예측된 이전 단어를 사용하여 다음 단어를 예측하고, 예컨대 t1을 사용하여 다음 단어 t2를 예측하고, 예측된 t2를 이용하여 다음 단어 t3을 예측한다. 그러나, 디코딩에서 t1에 에러가 발생하고 잘못 디코딩된 t1에 따라 t2를 예측하면, 에러가 더 전파되며 즉 노출 편차를 초래하여, 디코딩 정확도가 낮다.
본 출원은 관련 기술의 기존의 예측 방법에 존재하는 노출 편차, 디코딩 정확도가 낮은 문제점을 해결하기 위한 의미적 표현에 기반한 텍스트 생성 방법 및 장치를 제공한다.
본 출원의 일 양태의 실시예는 의미적 표현에 기반한 텍스트 생성 방법을 제공하며, 당해 방법은,
소스 텍스트를 포함하는 입력 텍스트를 획득하는 단계;
타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하는 단계 - i는 양의 정수임- ;
상기 i번째 예측 대상 단어의 벡터 표현을 획득하은 단계 - 상기 i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 상기 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것임- ; 및
상기 i번째 예측 대상 단어의 벡터 표현에 따라, 상기 i번째 예측 단어를 생성하여 상기 타겟 텍스트를 획득하는 단계; 를 포함한다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법은, 소스 텍스트를 포함하는 입력 텍스트를 획득하고; 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하고, i는 양의 정수이며; i번째 예측 대상 단어의 벡터 표현을 획득하고, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것이고; i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다. 이로써, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다.
본 출원의 다른 일 양태의 실시예는 의미적 표현에 기반한 텍스트 생성 장치를 제공하고, 당해 장치는,
소스 텍스트를 포함하는 입력 텍스트를 획득하기 위한 제1 획득 모듈;
타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하기 위한 제2 획득 모듈 - i는 양의 정수임- ;
상기 i번째 예측 대상 단어의 벡터 표현을 획득하기 위한 제3 획득 모듈 - 상기 i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 상기 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것임 - ; 및
상기 i번째 예측 대상 단어의 벡터 표현에 따라, 상기 i번째 예측 단어를 생성하여 타겟 텍스트를 획득하기 위한 생성 모듈; 을 포함한다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 장치는, 소스 텍스트를 포함하는 입력 텍스트를 획득하고; 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하고, i는 양의 정수이며; i번째 예측 대상 단어의 벡터 표현을 획득하고, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것이고; i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다. 이로써, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다.
본 출원의 또 다른 일 양태의 실시예는 전자기기를 제공하고, 당해 전자기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결된 메모리; 를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상기 일 양태의 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 한다.
본 출원의 또 다른 일 양태의 실시예는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 상기 일 양태의 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 한다.
본 출원의 또 다른 일 양태의 실시예는 비일시적 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 상기 컴퓨터가 상기 일 양태의 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 한다.
상기 발명의 실시예는 다음과 같은 유리한 효과를 갖는다. 상기 방법은 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작기에, 기존의 예측 방법에 존재하는 노출 편차, 디코딩 정확도가 낮은 문제점을 극복하여, 노출 편차를 어느 정도 완화시키며 디코딩 정확도를 향상시키는 기술적 효과를 달성한다.
상기 선택적 방식이 갖는 기타 효과는 하기에서 구체적인 실시예와 결부하여 설명한다.
도면은 본 해결수단을 더 잘 이해하기 위한 것으로 본 출원을 한정하는 것이 아니다.
도 1은 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 방법의 개략적인 흐름도이다.
도 2는 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 과정의 개략도이다.
도 3은 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 실시예의 개략도이다.
도 4는 본 출원의 실시예에 의해 제공되는 또 다른 의미적 표현에 기반한 텍스트 생성 방법의 개략적인 흐름도이다.
도 5는 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 장치의 개략적인 구조도이다.
도 6은 본 출원의 실시예에 의해 제공되는 또 다른 의미적 표현에 기반한 텍스트 생성 장치의 개략적인 구조도이다.
도 7은 본 출원의 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법의 전자기기의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예를 설명하고, 이해를 돕기 위해 본 발명의 실시예의 각종 세부사항을 포함하지만 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는 본 발명의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 실시예들에 대한 다양한 변경 및 수정이 이루어질 수 있다는 것을 이해할 것이다. 또한, 공지된 기능 및 구조에 대한 설명은 명확성과 간결성을 위해 다음의 설명에서 생략된다.
이하 첨부된 도면을 참조하여 본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법 및 장치를 설명한다.
본 출원의 실시예는, 기존의 예측 방법에 존재하는 노출 편차, 예측 정확도가 낮은 문제점에 대하여, 의미적 표현에 기반한 텍스트 생성 방법을 제공한다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법은, 플레이스 홀더를 인입하여 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하기 때문에, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어에 대응하는 벡터 표현에 미치는 영향이 작으므로, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다.
도 1은 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 방법의 개략적인 흐름도이다.
본 출원의 실시예에 의해 제안되는 의미적 표현에 기반한 텍스트 생성 방법은, 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 장치에 의해 실행될 수 있고, 상기 장치는 전자기기에 설치되어, 플레이스 홀더를 인입하여, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 현재 예측 대상 단어를 예측할 수 있다.
도 1에 도시된 바와 같이, 당해 의미적 표현에 기반한 텍스트 생성 방법은 하기와 같은 단계를 포함한다.
단계(101)에서, 소스 텍스트를 포함하는 입력 텍스트를 획득한다.
본 실시예에서, 소스 텍스트는 예측에 사용되는 텍스트를 지칭한다. 입력 텍스트를 획득한 후, 이에 포함된 소스 텍스트를 벡터로 변환시켜 소스 텍스트에 대응하는 벡터 표현을 획득한다.
단계(102)에서, 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득한다.
타겟 텍스트는 소스 텍스트에 대응하고, 예측을 통해 획득된 텍스트이다. 본 실시예에서, 각 예측 대상 단어에 대해 플레이스 홀더를 인입하고, 플레이스 홀더는 마커(marker)로 간주될 수 있다.
단계(103)에서, i번째 예측 대상 단어의 벡터 표현을 획득하며, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된 것이다.
본 실시예에서, i번째 예측 대상 단어에 대응하는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 i번째 예측 단어를 모델의 자기 주의 유닛에 입력하고, 이때 플레이스 홀더가 인식되며, 자기 주의 메커니즘을 사용하여 소스 텍스트 및 첫번째 내지 i번째 예측 단어를 계산하여, i번째 예측 대상 단어에 대응하는 벡터 표현을 획득한다. 계산은 가중치 합계일 수 있고, 가중치는 미리 설정된 것일 수 있다.
다시 말해서, 본 실시예에서, 플레이스 홀더를 인입하고, 자기 주의 메커니즘을 사용하여 소스 텍스트 및 예측된 단어를 계산하여, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득한다.
자기 주의 메커니즘을 사용하여 계산할 경우, 소스 텍스트 및 첫번째 내지 i번째 예측 단어에 각각 대응하는 벡터가 사용된다.
단계(104)에서, i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다.
i번째 예측 대상 단어의 벡터 표현을 획득한 후, 당해 벡터 표현을 디코딩하여 i번째 예측 단어를 획득할 수 있고, 즉 i번째 예측 대상 단어의 예측을 완성할 수 있다. 본 실시예에서, 예측하여 회득된 첫번째 예측 단어 내지 i번째 예측 단어에 따라 타겟 텍스트를 생성할 수 있다. 물론, 만약 i번째 예측 단어 뒤에 예측 단어가 더 있으면, 모든 예측 단어에 따라 타겟 텍스트를 생성한다.
본 출원에서 플레이스 홀더를 사용하여, 소스 텍스트 및 앞부분의 정보에 따라 현재 예측 대상 단어를 예측하고, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 다음 예측 대상 단어의 예측 결과에 직접적인 영향을 미치지 않는다. 예측 대상 단어의 이전 예측된 단어에 따라 직접 예측하는 종래기술과 비교하면, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킬 수 있다.
본 실시예에서, 첫번째 예측 단어는 소스 텍스트에 따라 예측하여 획득된다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법은, 소스 텍스트를 포함하는 입력 텍스트를 획득하고; 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하며, i는 양의 정수이며; i번째 예측 대상 단어의 벡터 표현을 획득하며, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여, 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여획득된 것이고; i번째 예측 대상 단어의 벡터 표현에 따라 i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다. 이로써, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하기 때문에, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다.
상기 실시예를 더 잘 설명하기 위하여, 이하 도 2를 참조하여 설명한다. 도 2는 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 예측 과정의 개략도이다.
도 2에 도시된 바와 같이, 소스 텍스트에 대응하는 위치 코드가 1~n이고, 즉 n개의 단어가 있다고 가정하면, 첫번째 예측 대상 단어의 벡터 표현은 소스 텍스트에 따라 획득된 것이고, 즉 소스 텍스트에 따라 예측하여 첫번째 예측 단어 (t1)을 생성한다. 다음, 자기 주의 메커니즘을 사용하여 2번째 예측 대상 단어에 대응하는 플레이스 홀더([A]), 소스 텍스트 및 첫번째 예측 단어(t1)를 계산하여 두번째 예측 대상 단어의 벡터 표현을 획득하고, 두번째 예측 대상 단어의 벡터 표현에 따라 두번째 예측 단어(t2)를 생성한다. 다음, 자기 주의 메커니즘을 사용하여 세번째 예측 대상 단어에 대응하는 플레이스 홀더, 소스 텍스트, 첫번째 예측 단어(t1) 및 두번째 예측 단어(t2)를 계산하여, 세번째 예측 대상 단어의 벡터 표현을 획득한다. 세번째 예측 대상 단어를 예측할 경우, 획득된 세번째 예측 대상 단어의 벡터 표현에 따라 세번째 예측 단어(t3)를 생성한다.
도 3은 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 예측 실시예의 개략도이다. 도 3에서, 소스 텍스트는 "
Figure 112021008311910-pat00001
"(한국어로 "일기예보에 따르면"이라는 뜻임)이고, 소스 텍스트에 따라 타겟 텍스트의 첫번째 단어가 "明"으로 예측되며, 다음 자기 주의 메커니즘을 사용하여, 두번째 예측 대상 단어에 대응하는 플레이스 홀더, 소스 텍스트 "
Figure 112021008311910-pat00002
" 및 예측된 첫번째 단어 "明"을 계산하여, 두번째 예측 대상 단어의 벡터 표현을 획득하며, 다음 두번째 예측 대상 단어의 벡터 표현에 따라 두번째 단어가 "天"으로 예측된다.
다음, 자기 주의 메커니즘을 사용하여, 소스 텍스트 "
Figure 112021008311910-pat00003
", 예측된 첫번째 단어 "明" 및 두번째 예측 단어 "天"을 계산하여, 세번째 예측 대상 단어의 벡터 표현을 획득하고, 당해 벡터 표현에 따라 세번째 예측 단어 "
Figure 112021008311910-pat00004
"를 생성한다. 상기 방법에 따라, 네번째 예측 단어 "
Figure 112021008311910-pat00005
", 다섯번째 예측 단어 "好"를 획득한다. 따라서, 타겟 텍스트 "
Figure 112021008311910-pat00006
"（한국어로 "내일 날씨가 좋다"는 뜻임））를 획득한다.
상기 실시예에 기초하여, 본 출원의 일 실시예에서, 타겟 텍스트를 예측하는 과정에서, 또한 예측된 단어를 교체할 수 있다.
구체적으로, 첫번째 내지 (i-1)번째 예측 단어를 교체할 수 있다. 교체할 경우, 일정한 확률로 첫번째 내지 (i-1)번째 예측 단어를 무작위로 교체할 수 있다. 이로써, 일정한 비율로 예측된 단어를 노이즈로 교체하여 강화 트레이닝을 수행하여, 모델로 하여금 앞부분의 잘못된 단어를 감지하는 능력을 구비하도록 할 수 있다.
구체적으로 교체할 경우, 의미 단어 목록에 따라 첫번째 내지 (i-1)번째 예측 단어를 교체할 수 있다. 더 구체적으로, 무작위로 교체할 수 있거나, 의미 단어 목록에서 이전 예측 단어와의 동시 발생 확률이 높은 단어를 사용하여 교체할 수 있다.
구체적으로, 첫번째 내지 (i-1)번째 예측 단어에서 교체할 단어를 결정하고, 다음 교체할 단어의 이전 예측 단어를 결정하고, 다음 의미 단어 목록에서 이전 예측 단어와의 동시 발생 확률이 미리 설정된 확률보다 높은 단어를 선택하여, 교체할 단어를 교체한다.
일정한 확률로 첫번째 내지 네번째 예측 단어를 교체하고 예를 들면 세번째 예측 단어를 선택하여 교체한다고 가정하면, 의미 단어 목록에서 두번째 예측 단어와의 동시 발생 확률이 70%보다 높은 단어를 사용하여, 세번째 예측 단어를 교체할 수 있다.
본 실시예에서, 예측 과정에서 예측된 단어를 교체할 수 있다.
예측된 단어에 대한 상기 교체는 단지 모델 트레이닝 시 수행되고, 디코딩 시 교체를 수행하지 않는다.
본 출원의 실시예에서, 첫번째 내지 (i-1)번째 예측 단어를 교체하여 노이즈를 인입하고, 이로써 앞부분의 단어를 노이즈로 교체하여 강화 트레이닝을 수행하여, 인식 모델로 하여금 앞부분의 잘못된 단어를 감지하는 능력을 구비하도록 한다.
일반적으로 보유한 데이터 세트가 충분히 크지 않고, 우수한 모델을 사용하기를 원하기 때문에, 과대 적합이 발생하기 쉽다. 현재, 주로 먼저 다량의 비 지도 텍스트를 사용하여 자가지도 작업 생성 학습, 즉 사전 트레이닝을 수행한다. 다음, 사전 트레이닝을 통해 획득된 모델의 파라미터를 자체 데이터 세트에 작용시켜, 지도 학습을 수행하여, 파라미터를 자체 데이터 세트에 적용시켜 자체에 필요한 모델을 획득하고, 즉 미세 조정을 수행한다.
모델의 정확도를 향상시키기 위하여, 본 출원의 일 실시예에서, 상기 텍스트 생성 방법을 사전 트레이닝 및 미세 조정에 균일하게 적용할 수 있다. 구체적으로, 상기 텍스트 생성 방법에 따라 획득된 사전 트레이닝 모델의 파라미터를 미세 조정 시의 모델의 초기화 파라미터로 사용하고, 상기 텍스트 생성 방법에 따라 지도 학습을 수행하여 자체에 필요한 모델을 획득한다.
물론 상기 텍스트 생성 방법은 또한 사전 트레이닝 또는 미세 조정 과정에 사용될 수 있다.
본 출원의 실시예에서, 상기 의미적 표현에 기반한 텍스트 생성 방법을 사전 트레이닝 및 미세 조정에 균일하게 적용함으로써, 노출 편차를 크게 제거하고 모델의 정확도를 향상시킬 수 있다.
또한, 실제 응용에서, 트레이닝 및 디코딩 시 의존하는 앞부분이 불일치한 문제, 즉 노출 편차가 존재한다. 상기 실시예에 따른 텍스트 생성 방법은 트레이닝 과정 및 모델에 따라 예측하는 디코딩에 동시에 적용할 수 있으므로, 상기 방법을 트레이닝 및 디코딩에 균일하게 적용시켜 노출 편차를 크게 제거할 수 있다.
상기 실시예에 기초하여, 본 출원의 일 실시예에서, 타겟 텍스트는 대응되는 라벨을 구비할 수 있고, 상기 텍스트 생성 방법은 지도 모델 트레이닝에 적용될 수 있다. 이하 도 4를 참조하여 설명한다. 도 4는 본 출원의 실시예에 의해 제공되는 또 다른 의미적 표현에 기반한 텍스트 생성 방법의 개략적인 흐름도이다.
도 4에 도시된 바와 같이, 당해 의미적 표현에 기반한 텍스트 생성 방법은 다음과 같은 단계를 더 포함한다.
단계(201)에서, 모델을 통해 타겟 텍스트를 획득한다.
본 실시예에서, 입력 텍스트는 소스 텍스트 및 타겟 텍스트에 대응하는 라벨을 포함하고, 입력 텍스트는 인식 모델을 트레이닝시키기 위한 트레이닝 샘플이다. 다량의 입력 텍스트를 획득할 수 있고, 각 입력 텍스트는 소스 텍스트 및 타겟 텍스트에 대응하는 라벨을 포함한다. 소스 텍스트는 예측에 사용되고, 타겟 텍스트는 소스 텍스트에 따라 예측하여 획득된 텍스트이고, 타겟 텍스트의 라벨은 미리 지정된 텍스트일 수 있다.
모델 트레이닝 시, 상기 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법을 사용하여 예측 단어를 생성하며, 타겟 텍스트를 획득한다. 모델의 초기 파라미터는 네트워크 정의에 지정된 방식으로 초기화하여 획득되거나, 사전 트레이닝을 통해 획득된 모델 파라미터일 수 있다.
상기 예측 단어를 생성할 때, 소스 텍스트 및 예측된 단어에 따라 예측하기 때문에, 종래 기술에 비해, 트레이닝 과정에서 예측된 이전 단어에 따라 다음 단어를 직접 예측하지 않으므로, 예측된 이전 단어에 에러가 존재하여도, 현재 예측 대상 단어의 벡터 표현에 미치는 영향은 작음으로써 예측의 정확성을 향상시킨다.
단계(202)에서, 타겟 텍스트 및 타겟 텍스트에 대응하는 라벨에 따라 모델을 트레이닝시킨다.
타겟 텍스트를 획득한 후, 타겟 텍스트 및 타겟 텍스트에 대응하는 라벨에 따라 손실을 계산하고, 손실이 요구를 만족하지 않을 경우, 모델 파라미터를 조정하여 요구를 만족할 때까지 계속하여 트레이닝시키고, 트레이닝을 중지하여 트레이닝된 모델을 획득한다.
본 출원의 실시예의 트레이닝 방법은 지도 트레이닝을 직접 수행하는데 적용될 수 있고, 미세 조정에 적용될 수 있다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법은, 타겟 텍스트는 대응되는 라벨을 구비하고, 모델을 통해 타겟 텍스트를 획득하며; 타겟 텍스트 및 타겟 텍스트에 대응하는 라벨에 따라 모델을 트레이닝시킨다. 이로써, 트레이닝 과정에서, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킴으로써, 인식 모델의 정확도를 향상시킨다.
상기 실시예를 실현하기 위하여, 본 출원의 실시예는 의미적 표현에 기반한 텍스트 생성 장치를 더 제공한다. 도 5는 본 출원의 실시예에 의해 제공되는 의미적 표현에 기반한 텍스트 생성 장치의 개략적인 구조도이다.
도 5에 도시된 바와 같이, 당해 의미적 표현에 기반한 텍스트 생성 장치(300)는 제1 획득 모듈(310), 제2 획득 모듈(320), 제3 획득 모듈(330) 및 생성 모듈(340)을 포함한다.
제1 획득 모듈(310)은 소스 텍스트를 포함하는 입력 텍스트를 획득한다.
제2 획득 모듈(320)은 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하고, i는 양의 정수이다.
제3 획득 모듈(330)은 i번째 예측 대상 단어의 벡터 표현을 획득하며, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여 획득된다.
생성 모듈(340)은 i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다.
본 출원의 실시예의 하나의 가능한 실시형태에서, 당해 장치는, 첫번째 내지 (i-1)번째 예측 단어를 교체하기 위한 교체 모듈을 더 포함할 수 있다.
본 출원의 실시예의 하나의 가능한 실시형태에서, 상기 교체 모듈은 구체적으로, 의미 단어 목록에 따라 첫번째 내지 (i-1)번째 예측 단어를 교체한다.
본 출원의 실시예의 하나의 가능한 실시형태에서, 상기 교체 모듈은 구체적으로, 첫번째 내지 (i-1)번째 예측 단어에서 교체할 단어를 결정하고, 교체할 단어의 이전 예측 단어와의 동시 발생 확률이 미리 설정된 확률보다 높은 단어를 사용하여 교체할 단어를 교체한다.
본 출원의 실시예의 하나의 가능한 실시형태에서, 상기 장치는 사전 트레이닝 및 미세 조정에 적용된다.
도 6은 본 출원의 실시예에 의해 제공되는 또 다른 의미적 표현에 기반한 텍스트 생성 장치의 개략적인 구조도이다.
본 출원의 실시예의 하나의 가능한 실시형태에서, 도 6에 도시된 바와 같이, 상기 타겟 텍스트는 대응되는 라벨을 구비하고, 당해 장치는, 모델을 통해 타겟 텍스트를 획득하기 위한 제4 획득 모듈(350); 및 타겟 텍스트 및 타겟 텍스트에 대응하는 라벨에 따라 모델을 트레이닝시키기 위한 트레이닝 모듈(360)을 더 포함할 수 있다.
상기 의미적 표현에 기반한 텍스트 생성 방법의 실시예의 해석 설명은, 당해 실시예의 의미적 표현에 기반한 텍스트 생성 장치에도 적용되므로, 여기서 더 반복하지 않는다.
본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 장치는, 소스 텍스트를 포함하는 입력 텍스트를 획득하고; 타겟 텍스트 중 i번째 예측 대상 단어의 플레이스 홀더를 획득하고, i는 양의 정수이며; i번째 예측 대상 단어의 벡터 표현을 획득하고, i번째 예측 대상 단어의 벡터 표현은, 자기 주의 메커니즘을 사용하여 대응되는 플레이스 홀더, 소스 텍스트 및 첫번째 내지 (i-1)번째 예측 단어를 계산하여획득된 것이고; i번째 예측 대상 단어의 벡터 표현에 따라, i번째 예측 단어를 생성하여 타겟 텍스트를 획득한다. 이로써, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어에 대응하는 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향은 작으며, 노출 편차를 어느 정도 완화시키고 디코딩 정확도를 향상시킨다.
본 출원의 실시예에 따르면, 본 출원은 전자기기 및 판독 가능 저장매체를 더 제공한다.
본 출원의 실시예에 따르면, 본 출원은 비일시적 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 상기 컴퓨터가본 출원의 실시예에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 한다.
도 7에 도시된 것은 본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법의 전자기기의 블록도이다. 전자기기는 랩탑 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 여러 가지 형식의 디지털 컴퓨터를 가리킨다. 전자기기는 개인 디지털 프로세싱, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 여러 가지 형식의 모바일 장치를 더 나타낼 수 있다. 본 명세서에 도시된 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것이며, 본 명세서에서 설명 및/또는 요구한 본 출원의 실현을 한정하기 위한 것이 아니다.
도 7에 도시된 바와 같이, 당해 전자기기는, 하나 또는 복수의 프로세서(401), 메모리(402), 및 각 부품을 연결하기 위한, 고속 인테페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 서로 연결되고, 공통 메인 보드에 장착되거나 또는 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 수행되는 명령을 처리할 수 있으며, 당해 명령은 메모리에 저장되거나 또는 메모리 상에 저장되어 외부 입력/출력 장치(예를 들어 인터페이스에 커플링된 디스플레이 기기)에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 기타 실시형태에서 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로 복수의 전자기기를 연결할 수 있고, 각 기기는 일부 필요한 조작(예를 들면 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템으로 함)을 제공할 수 있다. 도 7에서는 하나의 프로세서(401)를 예로 한다.
메모리(402)는 본 출원에서 제공하는 비일시적 컴퓨터 판독 가능 저장매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 적어도 하나의 프로세서가 본 출원에서 제공하는 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 할 수 있다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체에는 컴퓨터 명령이 저장되어 있고, 당해 컴퓨터 명령은 컴퓨터가 본 출원에서 제공하는 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 한다.
메모리(402)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들면 본 출원의 실시예의 의미적 표현에 기반한 텍스트 생성 방법에 대응하는 프로그램 명령/모듈(예를 들면, 도 5에 도시된 제1 획득 모듈(310), 제2 획득 모듈(320), 제3 획득 모듈(330), 생성 모듈(340))을 저장하는데 사용될 수 있다. 프로세서(401)는 메모리(402)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 작동시킴으로써, 서버의 여러 가지 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법 실시예에서의 의미적 표현에 기반한 텍스트 생성 방법을 실현한다.
메모리(402)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있고, 프로그램 저장영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 의미적 표현에 기반한 예측에 따른 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리, 예를 들면 적어도 하나의 자기 디스크 메모리, 플래시 메모리 또는 기타 비일시적 솔리드 스테이트 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(402)는 선택적으로 프로세서(401)에 대해 원격으로 설치되는 메모리를 포함하고, 이러한 원격 메모리는 네트워크를 통해 의미적 표현에 기반한 텍스트 생성 방법의 전자기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.
의미적 표현에 기반한 텍스트 생성 방법의 전자기기는 입력 장치(403) 및 출력 장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력 장치(403) 및 출력 장치(404)는 버스 또는 기타 방식을 통해 연결될 수 있고, 도 7에서는 버스를 통해 연결되는 것을 예로 한다.
입력 장치(403)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 의미적 표현에 기반한 텍스트 생성 방법에 따른 전자기기의 사용자 설정 및 기능 제어와 관련되는 키 신호 입력을 생성할 수 있고, 예를 들어, 터치 스크린, 키보드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(404)는 디스플레이 기기, 보조 조명 장치(예를 들면, LED)와 촉각 피드백 장치(예를 들면, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명하는 시스템과 기술의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 이러한 여러 가지 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며, 당해 프로그래밍 가능 프로세서는 전용 또는 일반 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에서 데이터와 명령을 수신할 수 있고, 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 한다)은 프로그래밍 가능 프로세서의 기계 명령을 포함하고, 고급 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 용어 “기계 판독 가능 매체”와 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 로직 장치(PLD))를 가리키고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 신호를 가리킨다.
사용자와의 대화를 제공하기 위해, 여기서 설명된 시스템 및 기술를 컴퓨터 상에서 구현할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 대화에 사용될 수 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(음향 입력, 음성 입력 또는 촉각 입력을 포함)에 의해 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템과 기술을 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터이며, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 대화할 수 있다), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합를 포함하는 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)를 통해 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망 (LAN), 광역 통신망 (WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통신 네트워크를 통해 서로 대화한다. 대응하는 컴퓨터에서 운행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계를 생성한다.
본 출원의 기술적 해결수단에 따르면, 플레이스 홀더를 인입하고, 소스 텍스트와 현재 예측된 단어를 융합시켜, 현재 예측 대상 단어의 벡터 표현을 획득하며, 당해 벡터 표현에 따라 현재 예측 대상 단어를 예측하므로, 디코딩 시 예측된 이전 단어에 에러가 있더라도, 현재 예측 대상 단어의 플레이스 홀더에 대응하는 벡터 표현에 미치는 영향이 작기에, 노출 편차를 어느 정도 완화시키며 디코딩 정확도를 향상시킨다. 당해 방법은 사전 트레이닝 및 미세 조정에 균일하게 적용될 수 있어 모델의 정확성을 향상시킬 수 있다.
본 명세서의 설명에서, 용어 "제1", "제2"는 단지 설명의 목적으로만 사용되고 상대적 중요성을 나타내거나 암시하거나 또는 나타내는 기술 특징의 개수를 암시적으로 나타내는 것으로 이해되어서는 아니된다. 이로써, "제1", "제2"로 한정되는 특징은 적어도 하나의 당해 특징을 명시적 또는 암시적으로 포함할 수 있다. 본 출원의 설명에서, 달리 정의되지 않는 한, "복수"는 2개, 3개와 같이 적어도 2개를 의미한다.
이상 본 출원의 실시예를 도시하고 설명하였으나, 상기 실시예는 예시적인 것으로 본 출원에 대한 제한으로 이해되어서는 아니되고, 본 분야의 통상의 지식을 가진 자는 본 출원의 범위 내에서 상기 실시예에 대하여 변화, 수정, 교체 및 변형을 진행할 수 있다.

Claims (15)

  1. 의미적 표현에 기반한 텍스트 생성 장치에 의해 실행되며,
    소스 텍스트를 포함하는 입력 텍스트를 획득하는 단계;
    소스 텍스트에 따라 예측하여 첫번째 예측 대상 단어의 벡터 표현을 획득하여, 첫번째 예측 단어를 생성하는 단계;
    타겟 텍스트 중 i번째 예측 대상 단어에 대응되는 플레이스 홀더를 획득하는 단계 - i는 1보다 큰 양의 정수임- ;
    자기 주의 메커니즘을 사용하여 상기 i번째 예측 대상 단어에 대응되는 플레이스 홀더, 상기 소스 텍스트 및 예측한 첫번째 내지 (i-1)번째 예측 단어를 계산하여 상기 i번째 예측 대상 단어의 벡터 표현을 획득하는 단계; 및
    i번째 예측 대상 단어의 벡터 표현에 따라, 상기 i번째 예측 단어를 생성하여 상기 타겟 텍스트를 획득하는 단계; 를 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  2. 제1항에 있어서,
    상기 첫번째 내지 (i-1)번째 예측 단어를 교체하는 단계를 더 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  3. 제2항에 있어서,
    상기 첫번째 내지 (i-1)번째 예측 단어를 교체하는 단계는,
    의미 단어 목록에 따라 상기 첫번째 내지 (i-1)번째 예측 단어를 교체하는 단계를 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  4. 제3항에 있어서,
    상기 의미 단어 목록에 따라 상기 첫번째 내지 (i-1)번째 예측 단어를 교체하는 단계는,
    상기 첫번째 내지 (i-1)번째 예측 단어에서 교체할 단어를 결정하는 단계; 및
    상기 의미 단어 목록에서 상기 교체할 단어의 이전 예측 단어와의 동시 발생 확률이 미리 설정된 확률보다 높은 단어를 사용하여, 상기 교체할 단어를 교체하는 단계; 를 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  5. 제1항에 있어서,
    상기 방법은 사전 트레이닝 및 미세 조정에 적용되는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  6. 제1항에 있어서,
    상기 타겟 텍스트는 대응되는 라벨을 구비하고,
    상기 방법은,
    모델을 통해 상기 타겟 텍스트를 획득하는 단계; 및
    상기 타겟 텍스트 및 상기 타겟 텍스트에 대응하는 라벨에 따라, 상기 모델을 트레이닝시키는 단계; 를 더 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 방법.
  7. 소스 텍스트를 포함하는 입력 텍스트를 획득하기 위한 제1 획득 모듈;
    타겟 텍스트 중 i번째 예측 대상 단어에 대응되는 플레이스 홀더를 획득하기 위한 제2 획득 모듈 - i는 1보다 큰 양의 정수임- ;
    소스 텍스트에 따라 예측하여 첫번째 예측 대상 단어의 벡터 표현을 획득하여, 첫번째 예측 단어를 생성하고, 자기 주의 메커니즘을 사용하여 상기 i번째 예측 대상 단어에 대응되는 플레이스 홀더, 상기 소스 텍스트 및 예측한 첫번째 내지 (i-1)번째 예측 단어를 계산하여 상기 i번째 예측 대상 단어의 벡터 표현을 획득하는 제3 획득 모듈; 및
    상기 i번째 예측 대상 단어의 벡터 표현에 따라, 상기 i번째 예측 단어를 생성하여 상기 타겟 텍스트를 획득하기 위한 생성 모듈; 을 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  8. 제7항에 있어서,
    상기 첫번째 내지 (i-1)번째 예측 단어를 교체하기 위한 교체 모듈을 더 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  9. 제8항에 있어서,
    상기 교체 모듈은 구체적으로,
    의미 단어 목록에 따라 상기 첫번째 내지 (i-1)번째 예측 단어를 교체하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  10. 제9항에 있어서,
    상기 교체 모듈은 구체적으로,
    상기 첫번째 내지 (i-1)번째 예측 단어에서 교체할 단어를 결정하며;
    상기 교체할 단어의 이전 예측 단어와의 동시 발생 확률이 미리 설정된 확률보다 높은 단어를 사용하여, 상기 교체할 단어를 교체하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 장치는 사전 트레이닝 및 미세 조정에 적용되는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  12. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 타겟 텍스트는 대응되는 라벨을 구비하며,
    상기 장치는,
    모델을 통해 상기 타겟 텍스트를 획득하기 위한 제4 획득 모듈; 및
    상기 타겟 텍스트 및 상기 타겟 텍스트에 대응하는 라벨에 따라, 상기 모델을 트레이닝시키기 위한 트레이닝 모듈; 을 더 포함하는
    것을 특징으로 하는 의미적 표현에 기반한 텍스트 생성 장치.
  13. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 가능하게 연결된 메모리; 를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 하는
    것을 특징으로 하는 전자기기.
  14. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 하는
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체.
  15. 비일시적 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 의미적 표현에 기반한 텍스트 생성 방법을 수행하도록 하는
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
KR1020210008782A 2020-01-23 2021-01-21 의미적 표현에 기반한 텍스트 생성 방법 및 장치 KR102465160B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010076485.8 2020-01-23
CN202010076485.8A CN111310449B (zh) 2020-01-23 2020-01-23 基于语义表示的文本生成方法和装置

Publications (2)

Publication Number Publication Date
KR20210095578A KR20210095578A (ko) 2021-08-02
KR102465160B1 true KR102465160B1 (ko) 2022-11-09

Family

ID=71150811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008782A KR102465160B1 (ko) 2020-01-23 2021-01-21 의미적 표현에 기반한 텍스트 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US11461549B2 (ko)
EP (1) EP3855339A1 (ko)
JP (1) JP7201654B2 (ko)
KR (1) KR102465160B1 (ko)
CN (1) CN111310449B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254593A (zh) * 2020-09-23 2022-03-29 中移动信息技术有限公司 问题语句的处理方法、装置、设备及计算机存储介质
CN113536772A (zh) * 2021-07-15 2021-10-22 浙江诺诺网络科技有限公司 一种文本处理方法、装置、设备及存储介质
CN113626564B (zh) * 2021-10-09 2021-12-17 腾讯科技（深圳）有限公司 一种概念标签生成方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270100A1 (en) 2016-03-18 2017-09-21 International Business Machines Corporation External Word Embedding Neural Network Language Models
CN108894524A (zh) 2018-07-11 2018-11-27 许林峰 一种机械式墙壁清洗设备
CN109871529A (zh) 2017-12-04 2019-06-11 三星电子株式会社 语言处理方法和设备
CN110457718A (zh) 2019-08-21 2019-11-15 腾讯科技（深圳）有限公司 一种文本生成方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3534277B1 (en) * 2006-02-17 2021-10-06 Google LLC Encoding and adaptive, scalable accessing of distributed models
US9760560B2 (en) * 2015-03-19 2017-09-12 Nuance Communications, Inc. Correction of previous words and other user text input errors
JP6709997B2 (ja) * 2016-09-23 2020-06-17 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳システム、および評価サーバ
US10108610B1 (en) * 2016-09-23 2018-10-23 Amazon Technologies, Inc. Incremental and preemptive machine translation
US20190147355A1 (en) * 2017-11-14 2019-05-16 International Business Machines Corporation Self-critical sequence training of multimodal systems
US11600194B2 (en) * 2018-05-18 2023-03-07 Salesforce.Com, Inc. Multitask learning as question answering
CN108984524A (zh) 2018-07-05 2018-12-11 北京理工大学 一种基于变分神经网络主题模型的标题生成方法
US11295088B2 (en) * 2019-11-20 2022-04-05 Apple Inc. Sanitizing word predictions
US11640506B2 (en) * 2020-04-29 2023-05-02 Runtime Collective Limited Entity disambiguation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270100A1 (en) 2016-03-18 2017-09-21 International Business Machines Corporation External Word Embedding Neural Network Language Models
CN109871529A (zh) 2017-12-04 2019-06-11 三星电子株式会社 语言处理方法和设备
CN108894524A (zh) 2018-07-11 2018-11-27 许林峰 一种机械式墙壁清洗设备
CN110457718A (zh) 2019-08-21 2019-11-15 腾讯科技（深圳）有限公司 一种文本生成方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XingWu 외 1명, 'Conditional BERT Contextual Augmentation', 2018.12., pp.1-9. 1부.*

Also Published As

Publication number Publication date
US20210232765A1 (en) 2021-07-29
EP3855339A1 (en) 2021-07-28
JP7201654B2 (ja) 2023-01-10
JP2021117985A (ja) 2021-08-10
KR20210095578A (ko) 2021-08-02
CN111310449A (zh) 2020-06-19
CN111310449B (zh) 2021-01-26
US11461549B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
KR102465160B1 (ko) 의미적 표현에 기반한 텍스트 생성 방법 및 장치
EP3916611A1 (en) Method, apparatus, computer program, and storage medium for training text generation model
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US11403468B2 (en) Method and apparatus for generating vector representation of text, and related computer device
JP2021197137A (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US11417314B2 (en) Speech synthesis method, speech synthesis device, and electronic apparatus
KR20210040851A (ko) 텍스트 인식 처리 방법, 장치, 전자 기기 및 저장매체
JP7079311B2 (ja) 機械読解モデルのトレーニング方法、装置、電子機器及び記憶媒体
EP3940581A1 (en) Method and apparatus for training multilingual semantic representation model, device and storage medium
JP7133002B2 (ja) 句読点予測方法および装置
KR102472708B1 (ko) 감정 분석 모델을 사전 트레이닝하는 방법, 장치 및 전자 기기
US11200382B2 (en) Prosodic pause prediction method, prosodic pause prediction device and electronic device
KR20210154705A (ko) 시맨틱 매칭 방법, 장치, 기기 및 저장 매체
KR20210092151A (ko) 텍스트 엔티티의 시맨틱 설명 처리 방법, 장치 및 기기
JP7044839B2 (ja) エンドツーエンドモデルのトレーニング方法および装置
CN111709252A (zh) 基于预训练的语义模型的模型改进方法及装置
US20230115984A1 (en) Method and apparatus for training model, method and apparatus for generating molecules
KR102517927B1 (ko) 언어 생성 방법, 장치 및 전자 기기
KR20210058765A (ko) 음성　인식　방법, 장치, 전자기기 및 저장 매체
US20220138435A1 (en) Method and apparatus for generating a text, and storage medium
CN115630630A (zh) 语言模型处理方法、业务处理方法、装置、设备及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right