KR101724398B1 - 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법 - Google Patents

지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법 Download PDF

Info

Publication number
KR101724398B1
KR101724398B1 KR1020160002116A KR20160002116A KR101724398B1 KR 101724398 B1 KR101724398 B1 KR 101724398B1 KR 1020160002116 A KR1020160002116 A KR 1020160002116A KR 20160002116 A KR20160002116 A KR 20160002116A KR 101724398 B1 KR101724398 B1 KR 101724398B1
Authority
KR
South Korea
Prior art keywords
wikipedia
sentence
extracting
entity
tagging
Prior art date
Application number
KR1020160002116A
Other languages
English (en)
Inventor
서정연
강상우
박영민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020160002116A priority Critical patent/KR101724398B1/ko
Application granted granted Critical
Publication of KR101724398B1 publication Critical patent/KR101724398B1/ko

Links

Images

Classifications

    • G06F17/278—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D5/00—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper
    • B65D5/42—Details of containers or of foldable or erectable container blanks
    • B65D5/64—Lids
    • B65D5/66—Hinged lids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D5/00—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper
    • B65D5/001—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper stackable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D5/00—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper
    • B65D5/02—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper by folding or erecting a single blank to form a tubular body with or without subsequent folding operations, or the addition of separate elements, to close the ends of the body
    • B65D5/0254—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper by folding or erecting a single blank to form a tubular body with or without subsequent folding operations, or the addition of separate elements, to close the ends of the body with end closures formed by inward folding of flaps and securing them by means of a tongue integral with one of the flaps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D5/00—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper
    • B65D5/42—Details of containers or of foldable or erectable container blanks
    • B65D5/4204—Inspection openings or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D5/00—Rigid or semi-rigid containers of polygonal cross-section, e.g. boxes, cartons or trays, formed by folding or erecting one or more blanks made of paper
    • B65D5/42—Details of containers or of foldable or erectable container blanks
    • B65D5/44—Integral, inserted or attached portions forming internal or external fittings
    • B65D5/441—Reinforcements
    • B65D5/443—Integral reinforcements, e.g. folds, flaps
    • G06F17/2735—
    • G06F17/2845—

Abstract

본 발명은 지식베이스를 이용하여 개체명 인식을 위한 코퍼스 생성 시스템 및 방법에 관한 것으로, 위키피디아(Wikipedia)를 이용하여 개체명 컨셉 사전을 구축하는 단계와, 상기 위키피디아의 문장을 추출하고, 상기 추출된 문장을 상기 개체명 컨셉 사전의 개체 타입과 비교하여 일치하는 문장에 대해서 태깅하는 단계와, 프리베이스(Freebase) 관계들 중 상기 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 단계와, 상기 추출된 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 상기 수집된 문장을 상기 프리베이스에서 정의한 상기 개체 타입으로 태깅하는 단계 및 상기 위키피디아를 이용하여 태깅한 문장과 상기 프리베이스를 이용하여 태깅한 문장을 통합하여 개체명 인식 코퍼스를 생성하는 단계를 포함하고, 상기 일치하는 문장에 대해서 태깅하는 단계는, 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출한다.

Description

지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법{A GENERATION SYSTEM AND METHOD OF A CORPUS FOR NAMED-ENTITY RECOGNITION USING KNOWLEDGE BASES}
본 발명은 지식베이스를 이용하여 개체명 인식을 위한 코퍼스 생성 시스템 및 방법에 관한 것으로, 더욱 상세하게는 공개된 지식베이스를 이용하여 추출한 개체를 자동으로 태깅하는 지식베이스를 이용한 개체명 인식 코퍼스를 자동으로 생성하는 시스템 및 방법에 관한 것이다.
개체명(Named Entity)은 인명, 기관명, 지명 등과 같이 고유명사나 일반적인 사전에 등록되지 않은 단어를 의미한다. 이는 정보 추출(Information Extraction)의 응용분야에서 사용되고 있으며 1990년대 정보추출 연구 학술대회인 MUC-6(Sixth Message Understanding Conference)에서 유래되었다.
MUC의 주목적은 텍스트에서 보안 목적의 정보를 추출하는 것이었으나 이 과정을 위해 개체명 인식(Named Entity Recognition)이 필수적임을 인지하게 되었으며, 현재 정보 추출 분야의 중요 연구 과제 중 하나로 활발히 연구가 진행 중이다.
정보 추출은 비정형적인 문장으로부터 유용한 정보를 추출하는 자연어 처리(Natural Language Processing) 및 텍스트 마이닝(Text Mining) 분야의 주요 연구 분야 중 하나이고, 개체명 인식은 미리 정의된 개체 종류별로 텍스트의 요소를 분류하는 과정을 의미한다.
이는 문서 내에 존재하는 다양한 개체명의 분류를 인식하는 작업 자체만으로도 의미가 있으며 관계 추출 및 대용어 참조 해소와 같은 상위 작업을 위해서 중요한 역할을 한다.
기존의 개체명 인식에 대한 연구는 다양한 기계학습 기법을 이용하여 진행되어 왔다. 지도 학습법(Supervised Learning)은 특징 기반의 기법, 커널 기반 기법 등으로 사람이 태깅(Tagging, 표지 부착) 작업을 직접 수행하는 과정이 필요하다.
최근에는 지도 학습을 위한 수작업에 소비되는 비용을 최소화하기 위한 준지도 학습(Semi-Supervised Learning) 기법에 대한 연구가 활발히 진행되고 있다.
일반적인 준지도 학습 기법은 태깅된 소량의 초기 데이터를 사용하여 태깅되지 않은 다량의 학습 코퍼스를 추출해내는 방법이다. 하지만, 이러한 준지도 학습 방법은 여전히 초기 데이터에 표지를 수작업으로 부착해야 하는 번거로움이 따르며, 양질의 초기 데이터를 선택하기 위한 추가적인 작업이 불가피하다.
대한민국 등록특허 제10-0750886호 (2007년 08월 14일)
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로, 위키피디아로부터 태깅한 문장을 이용하여 개체명을 인식함으로써, 정확한 성능 보장이 가능한 개체명 인식 코퍼스 생성 시스템 및 방법을 제공하는 것에 그 목적이 있다.
또한, 본 발명은, 프리베이스로부터 태깅한 문장을 이용하여 개체명을 인식함으로써, 다양한 문장 형태 추출이 가능한 개체명 인식 코퍼스 생성 시스템 및 방법을 제공하는 것에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명은 위키피디아(Wikipedia)를 이용하여 개체명 컨셉 사전을 구축하는 단계와, 상기 위키피디아의 문장을 추출하고, 상기 추출된 문장을 상기 개체명 컨셉 사전의 개체 타입과 비교하여 일치하는 문장에 대해서 태깅하는 단계와, 프리베이스(Freebase) 관계들 중 상기 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 단계와, 상기 추출된 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 상기 수집된 문장을 상기 프리베이스에서 정의한 상기 개체 타입으로 태깅하는 단계 및 상기 위키피디아를 이용하여 태깅한 문장과 상기 프리베이스를 이용하여 태깅한 문장을 통합하여 개체명 인식 코퍼스를 생성하는 단계를 포함하고, 상기 일치하는 문장에 대해서 태깅하는 단계는 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 개체명 컨셉 사전을 구축하는 단계는 상기 위키피디아 각각 페이지의 특징을 표현하는 키워드로 구성된 분류 정보를 이용하여 구축하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 일치하는 문장에 대해서 태깅하는 단계는 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 일치하는 문장에 대해서 태깅하는 단계는 상기 위키피디아에 대한 XML 형태의 파일에 wikipedia2text(Extracting Text from Wikipedia)를 이용하여 텍스트 이외의 정보를 제거하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 일치하는 문장에 대해서 태깅하는 단계는 WikiXMLSAXParser(Wikipedia XML SAX Parser)를 이용하여 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 개체 타입은 인명(Person, PER), 기관명(Organization, ORG), 지명(Location, LOC)을 포함하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 있어서, 상기 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 단계는 상기 프리베이스의 검색엔진(Freebase Easy)의 쿼리(Query)에 상기 개체 타입을 입력하고, 검색된 관계들의 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 것을 특징으로 한다.
또한 본 발명은 위키피디아(Wikipedia)를 이용하여 개체명 컨셉 사전을 구축하는 사전부와, 상기 위키피디아의 문장을 추출하는 제 1 추출부와, 상기 제 1 추출부에서 추출한 문장을 상기 사전부의 개체명 컨셉 사전과 비교하여 일치하는 문장에 대해서 태깅하는 제 1 태깅부와, 프리베이스(Freebase) 관계들 중 상기 개체 타입별 인스턴스 보유량에 따라 기설정된 순위까지 관계만을 추출하는 제 2 추출부와, 제 2 추출부에서 추출된 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 상기 수집된 문장을 상기 프리베이스에서 정의한 상기 개체 타입으로 태깅하는 제 2 태깅부 및 상기 제 1 태깅부 및 상기 제 2 태깅부에서 태깅한 각각의 문장을 통합하여 개체명 인식 코퍼스를 생성하는 생성부를 포함하고, 상기 제 1 추출부는 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 있어서, 상기 사전부는 상기 위키피디아 각각 페이지의 특징을 표현하는 키워드로 구성된 분류 정보를 이용하여 상기 개체명 컨셉 사전을 구축하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 있어서, 상기 제 1 추출부는 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 있어서, 상기 제 1 추출부는 상기 위키피디아에 대한 XML 형태의 파일에 wikipedia2text(Extracting Text from Wikipedia)를 이용하여 텍스트 이외의 정보를 제거하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 있어서, 상기 제 1 추출부는 WikiXMLSAXParser(Wikipedia XML SAX Parser)를 이용하여 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 있어서, 상기 제 2 추출부는 상기 프리베이스의 검색엔진(Freebase Easy)의 쿼리(Query)에 상기 개체 타입을 입력하고, 검색된 관계들의 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 것을 특징으로 한다.
본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법에 의하면, 위키피디아로부터 태깅한 문장을 이용하여 개체명을 인식함으로써, 정확한 성능을 보장할 수 있다.
또한, 본 발명에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법에 의하면, 프리베이스로부터 태깅한 문장을 이용하여 개체명을 인식함으로써, 다양한 문장 형태 추출이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템을 나타내는 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 개체 타입별 개체명을 나타내는 도면이다.
본 발명은 다양한 변형 및 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
먼저 본 발명의 설명에 앞서 본 발명과 관련된 기술적 사항에 대해서 설명하겠다.
개체명 태깅은 사람의 수작업을 통한 태깅이나 소량의 태깅된 데이터로부터 태깅되지 않은 데이터를 자동 태깅시키는 부트스트래핑 태깅 방법 또는 지식베이스를 이용한 태깅 방법을 이용한다.
이러한 태깅 방법으로부터 태그가 부착된 학습 코퍼스를 얻은 후 특징을 추출하고 이를 분류기를 통해 학습시켜 개체명 인식 모델을 생성한다. 생성된 개체명 인식 모델에 새로운 데이터가 입력되면 모델은 개체명 태그가 부착된 결과를 내놓게 된다.
본 발명은 이러한 개체명 태깅을 위해 사전에 구축된 지식베이스의 정보들을 참조해 훈련 데이터 셋에 대한 정답을 반자동으로 태깅하여 학습을 진행하는 방법과 지식베이스를 이용하여 사전을 구축하는 방법을 통합하여 개체명 인식 코퍼스를 자동으로 생성한다.
이하, 본 발명의 바람직한 실시 예에 대해서 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템을 나타내는 구성도이다. 도 1을 참조하면, 개체명 인식 코퍼스 생성 시스템(100)은 사전부(110), 제 1 추출부(120), 제 1 태깅부(130), 제 2 추출부(140), 제 2 태깅부(150), 생성부(160)를 포함하여 구성된다.
먼저, 개체명 인식 코퍼스 생성 시스템(100)은 지식베이스를 이용하여 개체명 인식 코퍼스를 생성한다. 여기서 사용되는 지식베이스는 위키피디아(Wikipedia)와 프리베이스(freebase)를 사용한다.
위키피다아는 누구나 자유롭게 글을 쓸 수 있는 사용자 참여의 온라인 백과사전으로 집단 지성을 이용한 백과사전이다. 다음으로 프리베이스는 오픈형 온라인 백과사전으로, 위키피디아, NNDB(Notable Names DataBase)를 비롯한 다양한 자원으로부터 수집한 데이터를 정리한 지식베이스이다.
이러한 지식베이스를 이용하는 개체명 인식 코퍼스 생성 시스템(100)의 사전부(110)는 위키피디아를 이용하여 개체명 컨셉 사전을 구축하고, 제 1 추출부(120)는 위키피디아의 모든 문장들을 추출한다. 여기서 컨셉 사전을 구축하고 문장을 추출하는 방법에 대해서는 후술하겠다.
제 1 태깅부(130)는 제 1 추출부(120)에서 추출한 위키피디아의 문장을 사전부(110)에서 구축한 개체명 컨셉 사전의 개체 타입과 비교하여 일치하는 문장에 대해서 태깅한다.
다음으로 제 2 추출부(140)는 프리베이스에 저장된 관계들 중 개체 타입별 인스턴스 보유량에 따라 기설정된 순위까지 관계만을 추출한다. 즉, 프리베이스에 저장된 다수의 관계들 중 개체 타입별로 인스턴스 보유량에 따라 기설정된 N 번째 순위까지 관계만을 추출한다.
제 2 태깅부(150)는 제 2 추출부(140)에서 추출한 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 수집된 문장을 프리베이스에서 정의한 개체 타입으로 태깅한다.
마지막으로 생성부(160)는 제 1 태깅부(130) 및 제 2 태깅부(150)에서 태깅한 각각의 문장을 통합하여 개체명 인식 코퍼스를 생성한다.
즉, 생성부(160)는 제 1 태깅부(130)에서 위키피디아를 이용하여 태깅한 문장과 제 2 태깅부(150)에서 프리베이스를 이용하여 태깅한 문장을 통합하여 개체명 인식 코퍼스를 생성한다.
이상으로, 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템에 대해서 설명하였다. 다음으로 도 2를 참조하여 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법에 대해서 설명하겠다.
도 2는 본 발명의 바람직한 실시 예에 따른 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법을 나타내는 순서도이다.
도 2를 참조하면, 개체명 인식 코퍼스 생성 시스템은 위키피디아를 이용하여 개체명 컨셉 사전을 구축한다(S10). 여기서 개체명 컨셉 사전은 위키피디아 각 페이지 엔트리 하단에 포함된 분류 정보를 이용하여 구축하며, 분류 정보에는 각 페이지의 특징을 표현하는 키워드를 포함하고 있다.
다음으로 개체명 컨셉 사전 구축 후 위키피디아의 문장을 추출한다(S20). 여기서 개체명 인식 코퍼스 생성 시스템은 Extracting Text from Wikipedia (wikipedia2text)를 이용하여 위키피디아의 문장을 추출한다.
XML 형태의 위키피디아 파일의 페이지에는 텍스트 이외의 그림, 표 등의 정보가 포함되어 있다. 따라서 wikipedia2text를 이용하여 설정된 페이지로부터 텍스트 이외의 정보를 제거한 데이터를 추출한다.
추출 후에는 WikiXMLSAXParser를 이용하여 텍스트를 문장 단위로 분할함으로써, 위키피디아의 문장을 추출할 수 있다.
위키피디아의 문장 추출 후 개체명 인식 코퍼스 생성 시스템은 추출된 위키피디아 문장을 구축된 개체명 컨셉 사전의 개체 타입과 비교하여 일치하는 문장에 대해서 태깅한다(S30).
여기서 개체 타입은 도 3과 같이 개체 타입별 개체명을 이용하여 분류할 수 있으며, 위키피디아 문장과 개체명 컨셉 사전을 비교하여 인명(PER), 기관명(ORG), 지명(LOC)이 일치하는 경우 태깅한다.
다음으로는 프리베이스에 저장된 관계들 중 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출한다(S40). 프리베이스는 다양한 자원으로부터 수집한 데이터를 정리한 지식베이스로, 각 엔트리는 어떤 두 개체와 그 사이의 관계를 표시하고 있다.
예를 들어 'Petrus Bertius, Place of birth, Beberan' 엔트리에서 두 개체 'Petrus Bertius'와 'Beberan'은 'Place of birth'의 관계를 갖는다는 의미이고, 각 개체는 Person/Person 타입으로 표시된다.
현재 프리베이스는 인명, 기관명, 지명뿐만 아니라 영화명, 음악명 등 다양한 개체들 간의 관계가 수집되는 중이며 2015년 6월 기준으로 약 29억개의 개체로 구성되어 있다.
여기서 프리베이스는 인명, 기관명, 지명의 개체를 포함하고 있는 관계들 중 각 개체 타입별로 인스턴스 보유량 순서에 따라 기설정된 상위 N개 순위까지의 관계만을 추출한다.
상위 N개 순위까지의 관계를 추출하기 위해서는 프리베이스의 검색엔진(Freebase Easy)을 사용하며, 프리베이스의 검색엔진의 쿼리(Query)에 개체 타입을 입력하고, 입력한 개체 타입이 포함된 관계들을 결과로 얻을 수 있다.
예를 들어 프리베이스의 검색엔진에 쿼리를 인명으로 입력하면 인명 타입을 포함하고 있는 관계를 인스턴스가 많은 순으로 정렬해서 보여준다. 인명의 경우 Gender 관계 1,976,747개, Date of birth 관계 1,274,974개, Profession 관계 999,587개 Place of birth 관계 885,071개, Country of nationality 관계 775,486개의 인스턴스를 보유하고 있으므로 인명 타입을 포함한 상위 5개의 관계임을 확인할 수 있다.
다음으로 프리베이스에 저장된 관계에서 기설정된 순위까지의 관계 추출 후 개체명 인식 코퍼스 생성 시스템은 추출된 관계 내 인스턴스가 포함되어 있는 문장을 웹(Web)으로부터 수집하고(S50), 수집된 문장을 프리베이스에서 정의한 개체 타입으로 태깅한다(S60).
예를 들어 웹에서 'Microsoft is loacted in Redmond WA...' 이라는 문장이 추출되었고 추출된 관계 중 /Microsoft%ORG/-locate-/Redmond WA%LOC/ 관계가 포함되어 있다면 'Microsoft'와 'Redmond WA'는 'locate' 관계를 가질 확률이 높으므로 각각 기관명과 지명으로 태깅한다.
마지막으로, 개체명 인식 코퍼스 생성 시스템은 위키피디아를 이용하여 태깅한 문장과 프리베이스를 이용하여 태깅한 문장을 통합하여 개체명 인식 코퍼스를 생성한다(S70).
즉, 개체명 인식 코퍼스 생성 시스템은 개체명 컨셉 사전과 위키피디아에서 추출된 문장 비교를 통해 태깅한 문장과, 웹으로부터 수집하여 프리베이스에서 정의한 개체 타입으로 태깅한 문장을 서로 통합 내지 병합하여 개체명 인식 코퍼스를 생성한다.
개체명 컨셉 사전과 비교를 통해 위키
피디아를 이용하여 태깅한 문장과 프리베이스를 이용하여 태깅한 문장들에 대해서 통합 내지 병합하여 개체명 인식 코퍼스를 생성한다.
여기서 두 개의 자동 태깅 방법을 비교하면, 위키피디아 기반의 방법은 편집자들이 직접 태깅을 하였으므로 비교적 정확한 성능을 보장하는 반면, 대부분 정형화된 문장들로 이루어져 있어 다양한 문장 형태를 추출하기 어렵다.
또한, 프리베이스 기반의 방법의 경우 상대적으로 오류가 발생할 확률은 높지만 다양한 형태의 문장 수집이 가능하다.
따라서, 두 방법을 통합하여 개체명 인식 코퍼스를 생성하므로 상호 보완적으로 정확한 성능에 다양한 문장 형태 추출을 통한 개체명 인식이 가능하다.
명세서에 기재된 본 발명의 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해해야 한다. 따라서 본 발명은 상술한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
100: 개체명 인식 코퍼스 시스템
110: 사전부
120: 제 1 추출부
130: 제 1 태깅부
140: 제 2 추출부
150: 제 2 태깅부
160: 생성부

Claims (14)

  1. 위키피디아(Wikipedia)를 이용하여 개체명 컨셉 사전을 구축하는 단계;
    상기 위키피디아의 문장을 추출하고, 상기 추출된 문장을 상기 개체명 컨셉 사전의 개체 타입과 비교하여 일치하는 문장에 대해서 태깅하는 단계;
    프리베이스(Freebase)에 저장된 관계들 중 상기 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 단계;
    상기 추출된 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 상기 수집된 문장을 상기 프리베이스에서 정의한 상기 개체 타입으로 태깅하는 단계; 및
    상기 위키피디아를 이용하여 태깅한 문장과 상기 프리베이스를 이용하여 태깅한 문장을 통합하여 개체명 인식 코퍼스를 생성하는 단계;를 포함하고,
    상기 일치하는 문장에 대해서 태깅하는 단계는,
    상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  2. 제 1 항에 있어서,
    상기 개체명 컨셉 사전을 구축하는 단계는,
    상기 위키피디아 각각 페이지의 특징을 표현하는 키워드로 구성된 분류 정보를 이용하여 구축하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 일치하는 문장에 대해서 태깅하는 단계는,
    상기 위키피디아에 대한 XML 형태의 파일에 wikipedia2text(Extracting Text from Wikipedia)를 이용하여 텍스트 이외의 정보를 제거하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  5. 제 1 항에 있어서,
    상기 일치하는 문장에 대해서 태깅하는 단계는,
    WikiXMLSAXParser(Wikipedia XML SAX Parser)를 이용하여 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  6. 제 1 항에 있어서,
    상기 개체 타입은,
    인명(Person, PER), 기관명(Organization, ORG), 지명(Location, LOC)을 포함하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  7. 제 1 항에 있어서,
    상기 개체 타입별 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 단계는,
    상기 프리베이스의 검색엔진(Freebase Easy)의 쿼리(Query)에 상기 개체 타입을 입력하고, 검색된 관계들의 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 방법.
  8. 삭제
  9. 위키피디아(Wikipedia)를 이용하여 개체명 컨셉 사전을 구축하는 사전부;
    상기 위키피디아의 문장을 추출하는 제 1 추출부;
    상기 제 1 추출부에서 추출한 문장을 상기 사전부의 개체명 컨셉 사전과 비교하여 일치하는 문장에 대해서 태깅하는 제 1 태깅부;
    프리베이스(Freebase)에 저장된 관계들 중 개체 타입별 인스턴스 보유량에 따라 기설정된 순위까지 관계만을 추출하는 제 2 추출부;
    제 2 추출부에서 추출된 관계 내 인스턴스를 포함하는 문장을 웹으로부터 수집하고, 상기 수집된 문장을 상기 프리베이스에서 정의한 상기 개체 타입으로 태깅하는 제 2 태깅부; 및
    상기 제 1 태깅부 및 상기 제 2 태깅부에서 태깅한 각각의 문장을 통합하여 개체명 인식 코퍼스를 생성하는 생성부;를 포함하고,
    상기 제 1 추출부는 상기 위키피디아의 모든 문장을 추출 시 상기 위키피디아에 대한 XML 형태의 파일에서 텍스트 이외의 정보를 제거하고, 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하여 추출하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템.
  10. 제 9 항에 있어서,
    상기 사전부는,
    상기 위키피디아 각각 페이지의 특징을 표현하는 키워드로 구성된 분류 정보를 이용하여 상기 개체명 컨셉 사전을 구축하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 제 1 추출부는,
    상기 위키피디아에 대한 XML 형태의 파일에 wikipedia2text(Extracting Text from Wikipedia)를 이용하여 텍스트 이외의 정보를 제거하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템.
  13. 제 9 항에 있어서,
    상기 제 1 추출부는,
    WikiXMLSAXParser(Wikipedia XML SAX Parser)를 이용하여 상기 텍스트만 남은 XML 형태의 파일을 문장 단위로 분할하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템.
  14. 제 9 항에 있어서,
    상기 제 2 추출부는,
    상기 프리베이스의 검색엔진(Freebase Easy)의 쿼리(Query)에 상기 개체 타입을 입력하고, 검색된 관계들의 인스턴스 보유량 순서에 따라 기설정된 순위까지 관계만을 추출하는 것을 특징으로 하는 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템.
KR1020160002116A 2016-01-07 2016-01-07 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법 KR101724398B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160002116A KR101724398B1 (ko) 2016-01-07 2016-01-07 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160002116A KR101724398B1 (ko) 2016-01-07 2016-01-07 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101724398B1 true KR101724398B1 (ko) 2017-04-18

Family

ID=58703891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160002116A KR101724398B1 (ko) 2016-01-07 2016-01-07 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101724398B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200050620A (ko) * 2018-11-02 2020-05-12 한국전자통신연구원 온라인 백과 사전 기반 신규 개체명 및 신규 개체명의 이형태 사전 구축 장치 및 방법
CN112182204A (zh) * 2020-08-19 2021-01-05 广东汇银贸易有限公司 构建中文命名实体标注的语料库的方法、装置
CN112270180A (zh) * 2020-11-03 2021-01-26 北京阳光云视科技有限公司 一种实体识别训练数据bio自动标注系统及方法
CN112784605A (zh) * 2021-02-09 2021-05-11 柳州智视科技有限公司 一种基于句子的实体名识别的方法
CN113378570A (zh) * 2021-06-01 2021-09-10 车智互联（北京）科技有限公司 一种实体识别模型的生成方法、计算设备及可读存储介质
CN113761837A (zh) * 2021-05-20 2021-12-07 腾讯科技（深圳）有限公司 实体关系类型确定方法、装置和设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055363B1 (ko) * 2010-10-07 2011-08-08 한국과학기술정보연구원 다중 자원 기반 검색정보 제공 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055363B1 (ko) * 2010-10-07 2011-08-08 한국과학기술정보연구원 다중 자원 기반 검색정보 제공 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200050620A (ko) * 2018-11-02 2020-05-12 한국전자통신연구원 온라인 백과 사전 기반 신규 개체명 및 신규 개체명의 이형태 사전 구축 장치 및 방법
KR102479043B1 (ko) 2018-11-02 2022-12-20 한국전자통신연구원 온라인 백과 사전 기반 신규 개체명 및 신규 개체명의 이형태 사전 구축 장치 및 방법
CN112182204A (zh) * 2020-08-19 2021-01-05 广东汇银贸易有限公司 构建中文命名实体标注的语料库的方法、装置
CN112270180A (zh) * 2020-11-03 2021-01-26 北京阳光云视科技有限公司 一种实体识别训练数据bio自动标注系统及方法
CN112784605A (zh) * 2021-02-09 2021-05-11 柳州智视科技有限公司 一种基于句子的实体名识别的方法
CN113761837A (zh) * 2021-05-20 2021-12-07 腾讯科技（深圳）有限公司 实体关系类型确定方法、装置和设备及存储介质
CN113378570A (zh) * 2021-06-01 2021-09-10 车智互联（北京）科技有限公司 一种实体识别模型的生成方法、计算设备及可读存储介质
CN113378570B (zh) * 2021-06-01 2023-12-12 车智互联（北京）科技有限公司 一种实体识别模型的生成方法、计算设备及可读存储介质

Similar Documents

Publication Publication Date Title
KR101724398B1 (ko) 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법
CN110399457B (zh) 一种智能问答方法和系统
US10146862B2 (en) Context-based metadata generation and automatic annotation of electronic media in a computer network
WO2018076774A1 (en) Information extraction method and apparatus
CN110609983B (zh) 一种政策文件结构化分解方法
CN112231494B (zh) 信息抽取方法、装置、电子设备及存储介质
JP2020191075A (ja) Ｗｅｂ ＡＰＩおよび関連エンドポイントの推薦
CN108399157B (zh) 实体与属性关系的动态抽取方法、服务器及可读存储介质
CN110298039B (zh) 事件地的识别方法、系统、设备及计算机可读存储介质
US11227183B1 (en) Section segmentation based information retrieval with entity expansion
CN108763192B (zh) 用于文本处理的实体关系抽取方法及装置
CN110795932B (zh) 基于地质本体的地质报告文本信息提取方法
CN110889275A (zh) 一种基于深度语义理解的信息抽取方法
CN114861677A (zh) 信息抽取方法、装置、电子设备以及存储介质
Yan et al. Chemical name extraction based on automatic training data generation and rich feature set
CN114579695A (zh) 一种事件抽取方法、装置、设备及存储介质
CN113032371A (zh) 数据库语法分析方法、装置和计算机设备
Luthfi et al. Building an Indonesian named entity recognizer using Wikipedia and DBPedia
CN114238735B (zh) 一种互联网数据智能采集方法
CN112685549B (zh) 融入篇章语义的涉案新闻要素实体识别方法及系统
CN114842982A (zh) 一种面向医疗信息系统的知识表达方法、装置及系统
CN109597879B (zh) 一种基于“引文关系”数据的业务行为关系抽取方法及装置
CN110555196B (zh) 用于自动生成文章的方法、装置、设备和存储介质
Orellana et al. Evaluating named entities recognition (NER) tools vs algorithms adapted to the extraction of locations
US20230061773A1 (en) Automated systems and methods for generating technical questions from technical documents

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 4

R401 Registration of restoration