KR102621869B1 - 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법 - Google Patents

한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법 Download PDF

Info

Publication number
KR102621869B1
KR102621869B1 KR1020230053598A KR20230053598A KR102621869B1 KR 102621869 B1 KR102621869 B1 KR 102621869B1 KR 1020230053598 A KR1020230053598 A KR 1020230053598A KR 20230053598 A KR20230053598 A KR 20230053598A KR 102621869 B1 KR102621869 B1 KR 102621869B1
Authority
KR
South Korea
Prior art keywords
document
dataset
subject
entity
level
Prior art date
Application number
KR1020230053598A
Other languages
English (en)
Inventor
임희석
손수현
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020230053598A priority Critical patent/KR102621869B1/ko
Application granted granted Critical
Publication of KR102621869B1 publication Critical patent/KR102621869B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Machine Translation (AREA)

Abstract

한국어 문서-수준 관계 추출을 위한 데이터셋 생성 장치 및 방법과 생성된 데이터셋을 이용하여 한국어 문서-수준 관계 추출 모델을 생성하는 장치 및 방법이 개시된다. 상기 데이터셋 생성 방법은 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는 한국어 문서-수준 관계 추출(Korean Document-Level Relation Extraction)을 위한 데이터셋 생성 방법으로써, 문서를 획득하는 단계, 문서에 포함된 복수의 문장들 중 적어도 하나의 문장에 문서의 제목(title)을 주어로써 삽입하는 단계, 주어가 삽입된 문서 내의 개체명을 인식하는 단계, 문장-수준 관계 추출(Sentence-Level Relation Extraction)을 수행하는 단계, 및 문서-수준 관계 추출을 수행하는 단계를 포함한다.

Description

한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법{DEVICE AND METHOD FOR CONSTRUCTING DATASET IN KOREAN DOCUMENT-LEVEL RELATION EXTRACTION}
본 발명은 한국어에서 문서-수준 관계 추출 데이터셋을 구축하는 방법과 추구된 데이터셋을 이용한 한국어 문서-수준 관계 추출 언어 모델 생성 방법에 관한 것이다.
관계 추출(Relation Extraction, RE)은 텍스트에서 구조화된 트리플 구조를 추출할 수 있다는 특성 때문에 지식베이스를 구축하는데 기본이 되는 기술이다. 기존의 관계 추출 연구는 문장 단위의 예측을 중심으로 진행되었다. 즉, 관계 추출 언어 모델은 한 문장 내에 존재하는 두 엔티티 간의 관계를 예측하는 방식으로 학습되었다. 하지만 실제 문서에서는 엔티티들이 여러 문장에 흩어져 있기 때문에 이러한 언어 모델이 한 문서 내에서 여러 문장에 걸쳐 존재하는 엔티티들간의 관계를 예측하는데는 한계가 존재한다.
따라서 문서에서 엔티티들 간의 관계를 추출하는 문서-수준 관계 추출(document-level relation extraction)에 관한 연구가 진행되었다. 하지만 대부분의 연구들이 DocRED와 같은 영어 데이터셋을 중심으로 진행되었고 한국어의 경우, 문서-수준 관계 추출(document-level relation extraction) 데이터셋이 존재하지 않기 때문에 관련 연구가 존재하지 않는다.
한국어의 경우, 굴절어인 영어와 달리 교착어에 속하기 때문에 단순히 영어 문서-수준 RE 데이터셋을 번역하여 사용하기엔 한계가 존재한다. 예를 들어 "사과는 집에 있다"라는 문장에서 "사과는"은 단어 "사과"와 조사 "는"이 결합된 형태이다. 여기서 단어 "사과"는 주격조사 "는"과 결합되었기 때문에 문장에서 주어의 역할을 한다. 반면에 "나는 집에 있는 사과를 좋아한다"라는 문장에서 단어 "사과"는 목적격 조사인 "를"과 결합되었기 때문에 목적어의 역할을 한다. 즉 한국어에서 단어는 결합되는 조사에 따라 역할이 달라지기 때문에 이러한 특성을 고려한 데이터셋 구축이 중요하다.
또한, 구축된 한국어 문서-수준 RE 데이터셋을 사용하여 한국어 특징을 고려하는 한국어 문서-수준 RE 언어 모델 구축이 필요하다.
대한민국 공개특허 제2019-0038258호 (2019.04.08. 공개) 대한민국 공개특허 제2023-0044914호 (2023.04.04. 공개) 대한민국 공개특허 제2020-0114919호 (2020.10.07. 공개) 대한민국 공개특허 제2022-0083414호 (2022.06.20. 공개)
본 발명이 이루고자 하는 기술적인 과제는 한국어 문서-수준 관계 추출 데이터셋 구축 방법 및 장치와 구축된 데이터셋을 이용한 관계 추출 모델 생성 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 데이터셋 생성 방법은 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는 한국어 문서-수준 관계 추출(Korean Document-Level Relation Extraction)을 위한 데이터셋 생성 방법으로써, 문서를 획득하는 단계, 문서에 포함된 복수의 문장들 중 적어도 하나의 문장에 문서의 제목(title)을 주어로써 삽입하는 단계, 주어가 삽입된 문서 내의 개체명을 인식하는 단계, 문장-수준 관계 추출(Sentence-Level Relation Extraction)을 수행하는 단계, 및 문서-수준 관계 추출을 수행하는 단계를 포함한다.
본 발명의 실시예들에 의할 경우, 한국어 문서-수준 관계 추출 데이터셋을 구축할 수 있다.
또한, 구축된 데이터셋을 이용하여 한국어의 특성을 반영한 문서-수준 관계 추출 언어 모델을 생성할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 한국어 문서-수준 관계 추출 데이터셋의 일 예를 도시한다.
도 2는 데이터셋 구축 과정을 설명하기 위한 예시 도면이다.
도 3은 제안하는 한국어 문서-수준 관계 추출 모델의 전체 아케텍처를 도시한다.
도 4는 본 발명의 일 실시예에 따른 데이터셋 생성 방법을 설명하기 위한 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세히 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명에서는, 한국어 백과사전 문서들(Korean encyclopedia documents)로부터 한국어 문서-수준 관계 추출 데이터셋을 구축(또는 생성)하는 장치 및 방법을 제안한다.
도 1은 구축된 한국어 문서-수준 관계 추출 데이터셋의 일 예를 도시한다. 도 1에서, 관계에 포함된 개체명(named entity)은 파랑이나 녹색으로 표시되어 있고, 다른 개체명은 밑줄로 표시되어 있다. 관계 트리플(한독당, org:founded, 김구)은 단일 문장으로부터 추출된 인트라-센텐스(intra-sentence) 관계이고, 관계 트리플(조소앙, org:members, 민족혁명당)은 복수의 문장들로부터 추출된 인터-센텐스(inter-sentence) 관계이다.
도 1에 도시된 바와 같이, 구축된 한국어 문서-수준 관계 추출 데이터셋은 문서와 관계 트리플(relational triples)로 구성된다. 관계 트리플은 헤드(head), 관계(relation), 및 테일(tail)을 의미할 수 있다. 데이터셋 구축에 따라, 개체명-유형(named entity-types)과 관계 클래스(relation classes)를 분석할 수 있다. 또한, 본 발명에서는 개체명-유형 정보를 채용하는, 한국어의 특성을 반영하는, 한국어 문서-수준 관계 추출 모델(Korean document-level RE model)을 제안한다. 조사에 따라 단어의 역할이 달라지기 때문에, 조사로부터 엔티티를 구분함으로써 모델이 엔티티의 의미(entity's semantics)에 집중하도록 하기 위해서, 본 발명에서는 엔티티를 둘러싸는 스페셜 토큰(special tokens)을 도입한다.
이하에서는, 한국어 문서-수준 관계 추출 데이터셋에 대해 상세히 설명한다.
우선, 데이터셋 구축 방법에 대해 설명한다. 관계 추출 데이터셋의 구축을 위한 로데이터(raw data)는 다양한 주제들에 대한 정제된 문서들을 포함하는 임의의 백과사전 문서들일 수 있다. 문서-수준 관계 추출 데이터셋을 구축하기 위해서, 1) 개체명 주석(named entity annotation), 2) 문장-수준 관계 주석(sentence-level relation annotation), 및 3) 문서-수준 관계 구축의 과정을 수행할 수 있다.
Data Construction
개체명 주석(Named Entity Annotation, NEA). 도 2의 제1 단계(first phase)에 도시된 바와 같이, 각 문서에 대하여 개체명에 대한 주석이 생성된다. 대부분의 백과사전의 경우, 대부분의 문장들은 문서의 제목(document's title)인 주어(subject)를 포함하지 않는다. 따라서, 첫째로, 사전학습된(pre-trained) (의존) 구문 분석기(dependency parser, (의존) 구문 분석 모델 등으로 명명될 수도 있음)를 이용함으로써, 주어가 누락된(또는 생략된) 문장들을 판단할 수 있다. (의존) 구문 분석기의 일 예로 Heo et al.의 논문(Hoon Heo, Hyunwoong Ko, Soohwan Kim, Gunsoo Han, Jiwoo Park, and Kyubyong Park. 2021. Pororo: Platform of neural models for natural language processing. https://github.com/kakaobrain/pororo.) 등이 참조될 수 있다. 다만, 본 발명의 권리범위가 (의존) 구문 분석기의 종률에 제한되는 것은 아니다. 상술한 백과사전 문서들은 소정의 크롤링 동작을 통해 수집되거나, USB 메모리 장치와 같은 저장 장치로부터 소정의 입출력 인터페이스를 통하여 수신되어 저장부에 미리 저장될 수 있다.
주어가 누락된 문장에 대하여, 문서의 타이틀(제목)이 주어로써 삽입될 수 있다. 이 경우, 문서의 타이틀은 주격 조사가 (후단부에) 결합된 형태로 문장에 삽입될 수 있다. 주어 삽입 과정(pseudo-subject insertion process)은 문장의 구조를 명확하게 하고, 개체명 인식(Named Entity Recognition, NER) 모델을 명화화된 문장으로부터 각 엔티티의 위치와 타입을 예측할 수 있다. 예시적인 NER 모델은 ELECTRA(Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. 2019. Electra: Pre-training text encoders as discriminators rather than generators. In International Conference on Learning Representations.) 구조에 기반하고 한국어 문서로 사전학습된 모델을 의미할 수 있다. (사전에) 정의된 엔티티 유형(defined entity types)에 더하여, 본 발명에서는, 개체명 유형 "TITLE(제목)"을 추가(생성)하고, 제목과 동일한 엔티티(즉, 개체명 유형)로 할당할 수 있다.
문장-수준 관계 주석(Sentence-level Relation Annotation, SRA). 문서 내에서 개체명 주석 이후에, 두 엔티티들 사이의 관계를 할당한다. 사전학습된 문장-수준 관계 추출 모델을 이용할 수 있다. 예시적인 문장-수준 관계 추출 모델은 Hur et al.의 논문(Yuna Hur, Suhyune Son, Midan Shim, Jungwoo Lim, and Heuiseok Lim. 2021. K-epic: Entity-perceived context representation in korean relation extraction. Applied Sciences, 11(23):11472.)이 참조될 수 있다. 그러나, 본 발명의 권리범위가 문장-수준 관계 추출 모델의 종류에 제한되는 것은 아니다. SRA를 통해 추출된 문장 내의 관계에 대한 주석이 생성될 수 있다. 모델은 KLUE-BERT(Sungjoon Park, Sungdong Kim, Jihyung Moon, Won Ik Cho, Kyunghyun Cho, Jiyoon Han, Jangwon Park, Chisung Song, Junseong Kim, Yongsook Song, et al. 2021b. Klue: Korean language understanding evaluation. In Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021). Advances in Neural Information Processing Systems.)에 기초하고 BERT-Ko-RE 데이터셋(Sangha Nam, Minho Lee, Donghwan Kim, Kijong Han, Kuntae Kim, Sooji Yoon, Eun-kyung Kim, and Key-Sun Choi. 2020. Effective crowdsourcing of multiple tasks for comprehensive knowledge extraction. In Proceedings of the 12th Language Resources and Evaluation Conference, pages 212-219.)으로 학습된 것일 수 있다.
문서-수준 RE 구축(Document-level RE Construction). 도 2의 제2 단계에 도시된 바와 같이, 문장-수준의 관계에 대한 주석이 생성되었다. 문장-수준의 관계를 위해, 삽입된 주어가 제거될 수 있다. 이때, 제거된 엔티티(제거된 주어)의 관계는 문서 내에 존재하는 주어 엔티티(즉, 제목(타이틀)을 의미할 수 있음)에 재할당(re-assigning)될 수 있다.
모델(Model)
본 발명에서는, 구축된 데이터셋에 기초한 한국어 문서-수준 관계 추출 모델을 제안한다. 제안하는 문서-수준 관계 추출 모델은 개체명 유형 정보(named entity-type information)과 한국어 특성을 고려하여 생성될 수 있다.
도 3은 본 발명에서 제안하는 한국어 문서-수준 관계 추출 모델의 전체 아키텍처를 도시한다. 제안하는 모델은 입력 문서(input document)를 재구성(reconstruct)하고 3가지의 서브 태스크를 수행한다. 서브 태스크는 상호참조 해결(Coreference Resolution, CR), 개체명 예측(Named Entity Prediction, NEP), 및 관계 추출(Relation Extraction, RE)을 포함한다. 재구성된 문서 D′는 사전학습된 언어 모델(pre-trained language model, PLM)에 입력되고, 문서 임베딩 H를 획득할 수 있다. m은 H로부터의 멘션 임베딩들(mention embeddings)을 나타낸다. 또한, v는 NEP를 위한 엔티티 멘션 임베딩을, V는 RE 예측에서의 양선형 동작(bilinear operation)을 위한 엔티티 임베딩을 나타낸다. 은 손실(loss)을 나타낸다.
도 3에 도시된 바와 같이, 제안하는 모델은 문서와 두 엔티티들(헤드와 테일)이 주어졌을 때, 관계를 예측하는 것을 목표로 한다. 우선, 한국어의 특성을 반영하기 위하여, 문서를 재구성한다. 그런 다음, 모델은, 문서 내에서 흩어진(scattered) 동일한 엔티티를 나타내는, 엔티티 멘션의 임베딩들을 추출한다. 추출된 엔티티 멘션 임베딩들로, 모델은 상호참조 해결(CR) 태스크, 개체명 예측(NEP) 태스크, 및 관계 추출(RE) 태스크에 대해, 멀티-태스킹 방식(multi-tasking manner)으로, 학습을 진행한다.
입력 문서 재구성(Input Document Reconstruction)
구축된 데이터셋에서, 문서 D는 문장들 S={s1,s2,…,sn}로 구성되고 엔티티들의 집합 E={e1,e2,…,e|E|}를 갖는다. 주어진 문서들과 엔티티들로, 입력 문서를 재구성(재구축)할 수 있다. 모든 엔티티 멘션의 시작과 끝에 스페셜 토큰(special token, *)을 마크(mark)할 수 있고, 이는 모델이 조사와 엔티티를 인식하고 이해하도록 한다. 다음으로, [CLS] 토큰이 문서의 시작에 삽입되고 [SEP] 토큰이 모든 문장 si∈S의 끝에 끝에 위치하게 된다. 재구성된 문서 D′는 사전학습된 언어 모델에 입력되고, 문서 임베딩 을 획득할 수 있다. T와 dim은 각각 D′ 내의 토큰의 개수와 임베딩들의 차원을 나타낸다. 문서 임베딩 H로부터, H 내의 모든 엔티티의 시작 스페셜 토큰(start special token)의 임베딩들을 추출함으로써, k-번째 엔티티 ek의 멘션 임베딩 을 정의할 수 있다.
상호참조 해결(Coreference Resolution, CR)
제안하는 모델은, 멀티플 문장들 내의 먼-거리 멘션들 사이의 상호작용을 캡쳐하기 위하여, 상호참조 해결(CR)을 수행한다. 모든 엔티티 멘션 임베딩들 ZE={M1∪M2∪…∪|E|}로부터 모든 가능한 쌍-조합들(pair-combinations)의 집합 을 수학식 1과 같이 정의한다.
[수학식 1]
두 개의 멘션 임베딩들이 동일한 엔티티를 나타내는지 여부에 대한 확률 PCR을 수학식 2와 같이 획득한다.
[수학식 2]
수학식 2에서, C는 내의 엔티티 멘션 임베딩 쌍을, 는 병합 연산 또는 병합 동작(concatenation operation)을 의미한다. 은 이진 분류(binary classification)을 위한 가중치 행렬(weight matrix)을 의미하고, 은 CR의 바이어스(bias)이다.
대부분의 멘션 쌍들은, 엔티티들은 엔티티당 적은 수의 멘션들을 갖기 때문에, 상호참조되지(co-referenced) 않는 것으로 간주된다. 클래스 불균형(class imbalance)으로 인하여, 포컬 로스(focal loss, Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollar. 2017. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980-2988.)가 적용될 수 있다. 상호참조 해결을 위한 손실 함수는 수학식 3과 같다.
[수학식 3]
수학식 3에서, 은, 멘션 쌍이 동일한 엔티티이면 1, 그렇지 않으면 0의 값을 갖는다. 은 내의 0과 1의 비율을 반전시킴으로써 획득된 클래스 가중치 벡터(class weight vector)이고, 이에 관하여는 Lin et al.의 논문(Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollar. 2017. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980-2988.)이 참조될 수 있다. 은 하이퍼파라미터(hyperparameter)이다.
개체명 예측(Named Entity Prediction, NEP)
모델이 개체명-유형 정보(named entity-type information)로 헤드(head)와 테일(tail)을 이해하도록 하기 위하여, 개체명 예측(NEP) 태스크를 수행한다. 헤드(head) 임베딩과 테일(tail) 임베딩을 획득하기 위하여, 수학식 4와 같이, logsumexp 풀링(pooling)으로 엔티티의 모든 멘션 임베딩들을 통합한다.
[수학식 4]
두 개의 엔티티들, 헤드, 및 테일이 주어지기 때문에, 모델은, 대응하는 엔티티 멘션 임베딩들 v(head) 및 v(tail)로, 각 개체명-유형의 확률 PNEP를 수학식 5와 같이 계산할 수 있다.
[수학식 5]
수학식 5에서, 이고, 는 개체명-유형 집합의 개수를 나타낸다. 는 NEP 태스크의 바이어스(bias)이다.
NEP 손실 은 수학식 6과 같이 크로스-엔트로피 손실을 통해 계산된다.
[수학식 6]
수학식 6에서, 와 각각은 헤드와 테일의 실측(ground-truth) 개체명-유형이다.
관계 추출(Relation Extraction)
관계 추출 태스크를 위하여, 수학식 7과 같이 멘션 임베딩들 사이의 상호작용을 모델링한다.
[수학식 7]
바닐라 쌍선형 분류기(vanilla bininear classifier)를 이용할 때 파라미터의 개수를 감소시키기 위하여, 그룹 쌍선형 분류기(group bininear classifier, Heliang Zheng, Jianlong Fu, Zheng-Jun Zha, and Jiebo Luo. 2019. Learning deep bilinear transformation for fine-grained image representation. Advances in Neural Information Processing Systems, 32., Yun Tang, Jing Huang, Guangtao Wang, Xiaodong He, and Bowen Zhou. 2020. Orthogonal relation transforms with graph context modeling for knowledge graph embedding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 2713-2722.)가 이용될 수 있다. 따라서, 엔티티 임베딩들을 블록 사이즈(block size) α로, 수학식 8과 같이, 분할할 수 있다.
[수학식 8]
이후에, 수학식 9에 나타난 바와 같이, 그룹 쌍선형 연산을 적용할 수 있다.
[수학식 9]
수학식 9에서, 는 연산의 가중치 행렬을, α는 하이퍼파라미터이다. 는 RE 태스크의 바이어스이다.
추가적으로, 예측 과정에서 두 엔티티들 사이에 존재할 수 있는 멀티플 관계를 고려하기 위하여, 적응형 임계 손실(Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. 2021. Document-level relation extraction with adaptive thresholding and localized context pooling. In Proceedings of the AAAI conference on artificial intelligence, volume 35, pages 14612-14620.)이 적용될 수 있다. 적응형 임계 손실은, 학습가능한 임계 클래스(learnable threshold class) 로, 엔티티-종속 임계값(entity-dependent threshold value)을 획득하기 위하여 이용된다. 이는 추론 단계(inference stage)에서 평가 점수(evaluation scores)를 최대화하도록 조정된다(tuned). 이에 따라 임계 이상의 예측된 관계들을 반환하고, 그렇지 않으면 관계가 없는 것으로 결정한다.
손실 함수 에 대하여, 아래와 같은 학습을 위해 이진 크로스 엔트로피 손실을 적용할 수 있고, 관계 라벨들(relation labels)을 와 로 분할할 수 있다. 여기서, 는 헤드와 테일 사이에 존재하는 긍정 관계 클래스(positive relation classes)를, 는 두 엔티티들 사이에 존재하지 않는 부정 관계 클래스(negative relation classes)를 나타낸다. r′은 각 관계 클래스 와 내에서의 관계를 나타낸다.
최종 학습 목적(Final Training Objective)
결국, 수학식 11과 같이, 태스크-특이적 가중치들(tast-specific weights) , , 및 을 통합하여 최종 손실(final loss) 을 획득할 수 있다.
[수학식 11]
도 4는 본 발명의 일 실시예에 따른 한국어 문서-수준 관계 추출을 위한 데이터셋 생성 방법을 설명하기 위한 흐름도이다. 데이터셋 생성 방법을 설명함에 있어 앞선 기재와 중복되는 내용에 관한여는 그 구체적인 기재를 생략하기로 한다.
데이터셋 생성 방법은 적어도 프로세서(processor) 및/또는 메모리(memory)를 포함하는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 데이터셋 생성 방법에 포함된 단계들 중 적어도 일부는 컴퓨팅 장치의 프로세서의 동작으로 이해될 수도 있다. 컴퓨팅 장치는 PC(Personal Computer), 서버(server), 랩탑 컴퓨터, 태블릿 PC, 스마트폰, 모바일폰, HMD(Head Mounted Device) 등을 포함할 수 있다. 컴퓨팅 장치는 데이터셋 생성 장치로 명명될 수 있다.
우선, 문서들이 획득된다(S110). 문서들 중 적어도 일부는 한국어 문서일 수 일 수 있다. 또한, 문서들 중 적어도 일부는 백과사전 문서로써, 문서의 제목(주제)와 제목을 설명하기 위한 적어도 하나의 문장을 포함할 수 있다.
문서에 포함된 적어도 하나의 문장에, 문서의 제목(title)이 주어로써 삽입될 수 있다(S120). 물론, 문서의 제목이 삽입되기 전에, 소정의 구문 분석기를 이용한, 문장에 주어가 존재하는지 여부를 판단하는 동작이 우선하여 실행될 수 있다. 따라서, 문서의 제목을 삽입하는 동작은, 주어를 포함하지 않는 문장만을 대상으로 수행될 수 있다. 이때, 삽입된 주어에 대한 개체명-유형은 새롭게(또는 추가적으로) 정의된 "제목(TITLE)"으로 (미리) 결정될 수 있다. 또한, 문서의 제목은 주격 조사가 후단에 부가된 형태로 문장 내에 삽입될 수 있다.
다음으로, 개체명 인식 동작이 수행된다(S130). 소정의 개체명 인식 모델을 이용하여 수행될 수 있으며, 인식된 개체명에 대한 개체명-유형에 대한 주석이 생성될 수 있다.
개체명 인식 및 개체명-유형 주석 생성이 완료된 문서에 대하여, 문장-수준의 관계 추출 동작이 수행된다(S140). 소정의 문장-수준 관계 추출 모델을 이용하여 수행될 수 있으며, 추출된 엔티티 간의 관계에 대한 주석이 생성될 수 있다.
다음으로, 문서-수준의 관계 추출 동작이 수행된다(S150). 문서-수준의 관계 추출을 위해, 문서 내에 삽입된 주어(즉, 문서의 제목)가 삭제되고, 삭제된 주어와 관련된 관계는 삽인된 문서가 삭제된 문서 내에 존재하는 엔티티(삭제된 주어와 동일한 엔티티로써, 예시적으로는 제목이 해당될 수 있음)에 재할당된다. 이와 같은 과정을 통하여, 문서(주어로써 제목이 삽입되기 전의 문서를 의미할 수 있음), 적어도 하나의 엔티티 쌍(헤드와 테일을 포함함), 및 엔티티 쌍들 각각에 대한 관계를 포함하는 데이터셋이 생성될 수 있다.
추가적으로, 생성된 데이터셋을 이용하여 소정의 모델을 학습시킴으로써, 한국어 문서-수준 관계 추출 모델을 생성할 수 있다(S160). 이 경우, 데이터셋 생성 방법은 관계 추출 모델 생성 방법으로 명명될 수 있고, 컴퓨팅 장치는 관계 추출 모델 생성 장치로 명명될 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 집합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPA(Field Programmable array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(Operation System, OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(Signal Wave)에 영구적으로, 또는 일시적으로 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

  1. 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는 한국어 문서-수준 관계 추출(Korean Document-Level Relation Extraction)을 위한 데이터셋 생성 방법에 있어서,
    문서를 획득하는 단계;
    문서에 포함된 복수의 문장들 중 적어도 하나의 문장에 문서의 제목(title)을 주어로써 삽입하는 단계;
    주어가 삽입된 문서 내의 개체명을 인식하는 단계;
    문장-수준 관계 추출(Sentence-Level Relation Extraction)을 수행하는 단계; 및
    문서-수준 관계 추출을 수행하는 단계를 포함하고,
    상기 주어로써 삽입하는 단계는, 상기 복수의 문장들 각각에 주어가 생략되어 있는지 여부를 판단하는 단계; 및 상기 복수의 문장들 중에서 주어가 생략된 문장에만 주어를 삽입하는 단계를 포함하고,
    상기 문서-수준 관계 추출을 수행하는 단계는, 삽입된 주어를 삭제하는 단계; 및 삭제된 주어와 연관된 관계를 문서 내에 존재하고 삭제된 주어와 동일한 엔티티와의 관계로 재할당하는 단계를 포함하는,
    데이터셋 생성 방법.
  2. 제1항에 있어서,
    상기 문서는 상기 문서의 제목에 해당하는 주제에 대한 설명인 상기 복수의 문장들을 포함하는 백과사전 문서인,
    데이터셋 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 개체명을 인식하는 단계는 사전학습된 개체명 인식 모델을 이용하여 수행되고, 인식된 개체명-유형에 대한 주석을 생성하는,
    데이터셋 생성 방법.
  5. 제4항에 있어서,
    상기 주어가 생략되어 있는지 여부를 판단하는 단계는 사전학습된 의존 구문 분석기(dependency parser)를 이용하여 수행되는,
    데이터셋 생성 방법.
  6. 삭제
  7. 제1항에 있어서,
    획득된 문서, 적어도 하나의 엔티티 쌍, 및 상기 적어도 하나의 엔티티 쌍 각각에 대한 관계를 포함하는 상기 데이터셋을 생성하는 단계를 더 포함하는,
    데이터셋 생성 방법.
  8. 제7항에 있어서,
    상기 데이터셋을 이용하여 사전학습된 언어 모델(Pre-trained Language Model, PLM)을 학습시킴으로써 문서-단위 관계 추출 모델을 생성하는 단계를 더 포함하는,
    데이터셋 생성 방법.
KR1020230053598A 2023-04-24 2023-04-24 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법 KR102621869B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230053598A KR102621869B1 (ko) 2023-04-24 2023-04-24 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230053598A KR102621869B1 (ko) 2023-04-24 2023-04-24 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102621869B1 true KR102621869B1 (ko) 2024-01-05

Family

ID=89541095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230053598A KR102621869B1 (ko) 2023-04-24 2023-04-24 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102621869B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042562A (ko) * 2010-10-25 2012-05-03 한국전자통신연구원 온라인 사전을 이용한 개체명 사전 구축 방법 및 이를 실행하는 장치
KR20190038258A (ko) 2017-09-28 2019-04-08 한국과학기술원 구조 정보 선행 학습을 통한 딥러닝 관계 추출 시스템 및 이를 이용한 딥러닝 관계 추출 성능 향상 방법
KR101983477B1 (ko) * 2017-11-28 2019-05-29 한국과학기술원 단락 기반 핵심 개체 식별을 이용한 한국어 주어의 생략 성분 복원 방법 및 시스템
KR20190064910A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 언어모델에 기반한 한국어 생략 성분 복원 방법
KR20200114919A (ko) 2019-03-27 2020-10-07 한국과학기술원 문단내 순차적 정보를 사용하는 강화학습 기반의 관계추출 방법 및 장치
KR20220083414A (ko) 2020-12-11 2022-06-20 건국대학교 산학협력단 문서 수준 관계 추출 방법 및 장치
KR20230044914A (ko) 2021-09-27 2023-04-04 고려대학교 산학협력단 엔터티의 위치 정보를 활용한 한국어 관계 추출 모델 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042562A (ko) * 2010-10-25 2012-05-03 한국전자통신연구원 온라인 사전을 이용한 개체명 사전 구축 방법 및 이를 실행하는 장치
KR20190038258A (ko) 2017-09-28 2019-04-08 한국과학기술원 구조 정보 선행 학습을 통한 딥러닝 관계 추출 시스템 및 이를 이용한 딥러닝 관계 추출 성능 향상 방법
KR101983477B1 (ko) * 2017-11-28 2019-05-29 한국과학기술원 단락 기반 핵심 개체 식별을 이용한 한국어 주어의 생략 성분 복원 방법 및 시스템
KR20190064910A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 언어모델에 기반한 한국어 생략 성분 복원 방법
KR20200114919A (ko) 2019-03-27 2020-10-07 한국과학기술원 문단내 순차적 정보를 사용하는 강화학습 기반의 관계추출 방법 및 장치
KR20220083414A (ko) 2020-12-11 2022-06-20 건국대학교 산학협력단 문서 수준 관계 추출 방법 및 장치
KR20230044914A (ko) 2021-09-27 2023-04-04 고려대학교 산학협력단 엔터티의 위치 정보를 활용한 한국어 관계 추출 모델 및 방법

Similar Documents

Publication Publication Date Title
CN110390103B (zh) 基于双编码器的短文本自动摘要方法及系统
JP7112536B2 (ja) テキストにおける実体注目点のマイニング方法および装置、電子機器、コンピュータ読取可能な記憶媒体並びにコンピュータプログラム
CN112131366B (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
WO2020199904A1 (zh) 视频描述信息的生成方法、视频处理方法、相应的装置
US10585989B1 (en) Machine-learning based detection and classification of personally identifiable information
JP2019008778A (ja) 画像の領域のキャプション付加
CN111914097A (zh) 基于注意力机制和多层级特征融合的实体抽取方法与装置
JP2022177242A (ja) テキスト認識モデルの訓練方法、テキスト認識方法及び装置
Viji et al. A hybrid approach of Weighted Fine-Tuned BERT extraction with deep Siamese Bi–LSTM model for semantic text similarity identification
CN114676234A (zh) 一种模型训练方法及相关设备
CN115221846A (zh) 一种数据处理方法及相关设备
Zhang et al. A multi-feature fusion model for Chinese relation extraction with entity sense
Xian et al. Self-guiding multimodal LSTM—when we do not have a perfect training dataset for image captioning
Kejriwal et al. SAVIZ: Interactive exploration and visualization of situation labeling classifiers over crisis social media data
CN116432019A (zh) 一种数据处理方法及相关设备
CN112434166A (zh) 基于时效性的文本分类方法、装置、设备及存储介质
CN110633456B (zh) 语种识别方法、装置、服务器及存储介质
CN111597816A (zh) 一种自注意力命名实体识别方法、装置、设备及存储介质
CN116050425A (zh) 建立预训练语言模型的方法、文本预测方法及装置
Yonglan et al. [Retracted] English‐Chinese Machine Translation Model Based on Bidirectional Neural Network with Attention Mechanism
US11379534B2 (en) Document feature repository management
KR102621869B1 (ko) 한국어 문서-수준 관계 추출 데이터셋 구축 장치 및 방법
Luo et al. A survey of transformer and GNN for aspect-based sentiment analysis
Chen et al. Video captioning via sentence augmentation and spatio-temporal attention

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant