KR20210147368A

KR20210147368A - 개체명 인식을 위한 학습 데이터 생성 방법 및 장치

Info

Publication number: KR20210147368A
Application number: KR1020200064494A
Authority: KR
Inventors: 김신우; 홍유진
Original assignee: 삼성에스디에스 주식회사
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2021-12-07

Abstract

개체명 인식을 위한 학습 데이터 생성 방법 및 장치가 개시된다. 일 실시예에 따른 학습 데이터 생성 방법은, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 상기 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출하는 단계; 상기 개체명 정의 사전에서 추출된 학습 텍스트 및 상기 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여 상기 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정하는 단계; 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형 사전 및 상기 결정된 지식 베이스 개체명에 기초하여, 상기 하나 이상의 레이블링 후보 개체명 중 상기 하나 이상의 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별하는 단계; 및 상기 레이블링 대상 개체명이 식별된 경우, 상기 레이블링 대상 텍스트에 포함된 상기 레이블링 대상 개체명에 상기 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하는 단계를 포함한다.

Description

개체명 인식을 위한 학습 데이터 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING TRAINING DATA FOR NAMED ENTITY RECOGNITION}

개시되는 실시예들은 개체명 인식 기술과 관련된다.

개체명 인식은 입력 텍스트에서 특정 개체 유형에 해당하는 단어를 인식하는 기술이다. 현재 개체명 인식은 크게 개체 유형에 대한 사전을 만들어 사전 기반으로 매칭하는 방법, 정규식을 이용해 패턴 기반으로 매칭하는 방법, 특정 유형에 대해 기계학습 등으로 학습된 모델을 이용한 방법 등으로 나눌 수 있다. 이때, 사전 및 정규식 기반 방법의 경우 특정 개체 유형에 한정되어 있어 자유도가 떨어지고, 여러 가지 개체 유형에 대응하기 힘들다는 단점이 존재한다. 학습 모델 기반 개체명 인식의 경우, 정답 개체 유형이 태깅되어 있는 학습데이터가 있으면 모델 학습을 통해 여러 가지 패턴을 학습한 개체명 인식기를 만들 수 있지만, 정확도가 높은 모델을 만들기 위해서는 다량의 라벨링된 학습데이터가 학습 데이터가 필요하다는 문제점이 있다.

대한민국 등록특허공보 제10-1897060호 (2018.09.12. 공고)

개시되는 실시예들은 개체명 인식을 위한 학습 데이터 생성 방법 및 장치를 제공하기 위한 것이다.

일 실시예에 따른 학습 데이터 생성 방법은, 레이블링(labeling) 대상 텍스트를 입력받고, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결(link)되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 상기 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출하는 단계; 상기 개체명 정의 사전에서 추출된 학습 텍스트 및 상기 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여 상기 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정하는 단계; 하나 이상의 학습 대상 개체 유형(entity type) 각각에 대한 개체 유형 사전 및 상기 결정된 지식 베이스 개체명에 기초하여, 상기 하나 이상의 레이블링 후보 개체명 중 상기 하나 이상의 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별하는 단계; 및 상기 레이블링 대상 개체명이 식별된 경우, 상기 레이블링 대상 텍스트에 포함된 상기 레이블링 대상 개체명에 상기 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하는 단계를 포함한다.

상기 연결 정보는, 상기 개체명 정의 사전에서 상기 복수의 연결 개체명 각각의 연결 비율, 복수의 개체명 쌍(entity pair) 및 상기 복수의 연결 개체명 쌍 각각의 연결 빈도를 포함하고, 상기 복수의 개체명 쌍은 각각, 상기 복수의 연결 개체명 중 하나의 연결 개체명 및 상기 하나의 연결 개체명과 연결되는 지식 베이스 개체명을 포함할 수 있다.

상기 추출하는 단계는, 상기 레이블링 대상 텍스트에서 각각 상기 복수의 연결 개체명 중 하나와 일치하는 하나 이상의 개체명을 식별하는 단계; 상기 연결 정보에 기초하여, 상기 식별된 하나 이상의 개체명 각각의 연결 비율 및 상기 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명을 결정하는 단계; 및 상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 단계를 포함할 수 있다.

상기 레이블링 후보 개체명으로 추출하는 단계는, 상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 각각에 대한 스코어를 산출하는 단계; 및 상기 산출된 스코어에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 단계를 포함할 수 있다.

상기 개체명 연결 모델은, 상기 추출된 학습 텍스트에 포함된 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터에 기초하여 학습되며, 상기 하나 이상의 후보 지식 베이스 개체명은 상기 연결 정보에 기초하여 결정될 수 있다.

상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는 상기 개체명 정의 사전에서 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 문서에 포함된 텍스트 및 상기 추출된 학습 텍스트에 기초한 제1 특성 값 및 상기 복수의 연결 개체명 쌍 중 상기 학습 대상 연결 개체명을 포함하는 하나 이상의 연결 개체명 쌍 각각의 연결 빈도에 기초한 제2 특성 값 중 적어도 하나를 포함할 수 있다.

상기 개체명 연결 모델은, 랭킹 SVM(ranking Support Vector Machine) 알고리즘을 이용하여 학습된 모델일 수 있다.

상기 개체명 연결 모델은, 상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터를 기초로 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하되, 상기 하나 이상의 후보 지식 베이스 개체명 중 정답 지식 베이스 개체명에 대한 스코어를 다른 후보 지식 베이스 개체명에 대한 스코어보다 높은 값으로 생성하도록 학습될 수 있다.

상기 결정하는 단계는, 상기 연결 정보에 기초하여, 상기 하나 이상의 레이블링 후보 각각에 대한 하나 이상의 후보 지식 베이스 개체명을 결정하는 단계; 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터를 생성하는 단계; 상기 개체명 연결 모델을 이용하여 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터로부터 상기 결정된 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하는 단계; 및 상기 산출된 스코어에 기초하여 상기 하나 이상의 레이블링 후보 각각에 대한 지식 베이스 개체명을 생성하는 단계를 포함할 수 있다.

상기 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형 사전은, 상기 하나 이상의 학습 대상 개체 유형 각각에 속하는 하나 이상의 지식 베이스 개체명에 대한 정보를 포함할 수 있다.

일 실시예에 따른 학습 데이터 생성 장치는, 레이블링(labeling) 대상 텍스트를 입력받고, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결(link)되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 상기 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출하는 개체명 추출부; 상기 개체명 정의 사전에서 추출된 학습 텍스트 및 상기 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여 상기 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정하는 지식 베이스 개체명 결정부; 및 하나 이상의 학습 대상 개체 유형(entity type) 각각에 대한 개체 유형 사전 및 상기 결정된 지식 베이스 개체명에 기초하여, 상기 하나 이상의 레이블링 후보 개체명 중 상기 하나 이상의 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별하고, 상기 레이블링 대상 개체명이 식별된 경우, 상기 레이블링 대상 텍스트에 포함된 상기 레이블링 대상 개체명에 상기 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하는 레이블링부를 포함한다.

상기 개체명 추출부는, 상기 레이블링 대상 텍스트에서 각각 상기 복수의 연결 개체명 중 하나와 일치하는 하나 이상의 개체명을 식별하고, 상기 연결 정보에 기초하여, 상기 식별된 하나 이상의 개체명 각각의 연결 비율 및 상기 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명을 결정하고, 상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출할 수 있다.

상기 개체명 추출부는, 상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 각각에 대한 스코어를 산출하고, 상기 산출된 스코어에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출할 수 있다.

상기 개체명 연결 모델은, 상기 추출된 학습 텍스트에 포함된 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터에 기초하여 학습되며, 상기 하나 이상의 후보 지식 베이스 개체명은, 상기 연결 정보에 기초하여 결정될 수 있다.

상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는, 상기 개체명 정의 사전에서 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 문서에 포함된 텍스트 및 상기 추출된 학습 텍스트에 기초한 제1 특성 값 및 상기 복수의 연결 개체명 쌍 중 상기 학습 대상 연결 개체명을 포함하는 하나 이상의 연결 개체명 쌍 각각의 연결 빈도에 기초한 제2 특성 값 중 적어도 하나를 포함할 수 있다.

상기 개체명 연결 모델은, 상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터를 기초로 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하되, 상기 하나 이상의 후보 지식 베이스 개체명 중 정답 지식 베이스 개체명에 대한 스코어를 다른 후보 지식 베이스 개체명에 대한 스코어보다 높은 값으로 생성하도록 학습될 수 있다

상기 지식 베이스 개체명 결정부는, 상기 연결 정보에 기초하여, 상기 하나 이상의 레이블링 후보 각각에 대한 하나 이상의 후보 지식 베이스 개체명을 결정하고, 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터를 생성하고, 상기 개체명 연결 모델을 이용하여 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터로부터 상기 결정된 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하고, 상기 생성된 스코어에 기초하여 상기 하나 이상의 레이블링 후보 각각에 대한 지식 베이스 개체명을 결정할 수 있다.

개시되는 실시예들에 따르면, 특정한 데이터에 국한되지 않고, 새로운 개체 유형을 확장 가능케 하는 개체명 인식 학습데이터를 자동으로 생성 가능하며, 개체명 연결 모델을 이용하여 신뢰성 있는 개체명 인식 학습데이터를 생성할 수 있다.

도 1은 일 실시예에 따른 학습 데이터 생성 장치의 구성도
도 2는 연결 개체명 사전에 포함된 연결 정보의 일 예를 나타낸 예시도
도 3는 연결 개체명 사전에 포함된 연결 정보의 다른 예를 나타낸 예시도
도 4는 일 실시예에 따른 학습 대상 연결 개체명 및 후보 지식 베이스 개체명을 설명하기 위한 도면
도 5는 일 실시예에 따른 개체 유형 사전의 일 예를 나타낸 예시도
도 6은 일 실시예에 따른 학습 데이터 생성 과정을 예시하여 설명하기 위한 도면
도 7은 일 실시예에 따른 학습 데이터 생성 방법의 순서도
도 8은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 일 실시예에 따른 학습 데이터 생성 장치의 구성도이다.

도 1을 참조하면, 일 실시예에 따른 학습 데이터 생성 장치(100)는 개체명(named entity) 추출부(110), 지식 베이스 개체명 결정부(120) 및 레이블링(labeling)부(130)를 포함한다.

학습 데이터 생성 장치(100)는 개체명 인식 모델의 학습을 위한 학습 데이터를 생성하기 위한 것이다. 구체적으로, 학습 데이터 생성 장치(100)는 레이블링되지 않은 레이블링 대상 텍스트를 입력 받아, 학습 대상 개체 유형이 레이블링된 텍스트를 생성하며, 생성된 레이블링된 텍스트는 개체명 인식 모델의 학습을 위한 학습 데이터로 이용될 수 있다.

개체명 추출부(110)는 레이블링 대상 텍스트를 입력받고, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출한다.

일 실시예에 따르면, 지식 베이스 개체명(knowledge base named entity)은 예를 들어, 위키데이터(Wikidata), YAGO(Yet Another Great Ontology), Freebase, DBpedia, WordNet, Cyc, BabelNet 등과 같은 지식 베이스에 포함된 개체명을 의미할 수 있다. 예를 들어, 지식 베이스에서 지식은 <주어(subject) 개체명-서술어(predicate)-목적어(object) 개체명>과 같은 트리플(triple) 형태로 표현되며, 지식 베이스 개체명은 이러한 트리플에서 주어 또는 목적어로 포함된 개체명을 의미할 수 있다.

일 실시예에 따르면, 개체명 정의 사전은 지식 베이스에 포함된 각 지식 베이스 개체명에 대한 문서가 등재되어 있는 온라인 백과사전일 수 있다. 이때, 지식 베이스 개체명에 대한 문서는 지식 베이스 개체명을 정의하거나 설명하기 위한 텍스트를 포함하는 문서를 의미할 수 있다.

일 실시예에 따르면, 연결 개체명은 개체명 정의 사전에서 하나 이상의 지식 베이스 개체명과 연결(link)되는 개체명을 의미할 수 있다. 구체적으로, 연결 개체명은 개체명 정의 사전에 등재된 각 지식 베이스 개체명에 대한 문서에 포함된 텍스트에서 예를 들어, 하이퍼링크(hyperlink)를 통해 특정한 지식 베이스 개체명에 대한 문서로 연결되는 개체명을 의미할 수 있다.

예를 들어, 개체명 정의 사전에 등재된 문서들 중 지식 베이스 개체명인 '서울특별시'에 대한 문서에 '서울특별시는 대한민국의 수도이자 최대 도시다.'라는 문장이 존재하고, 해당 문장에서 '수도'가 하이퍼링크를 통해 특정한 지식 베이스 개체명에 대한 문서로 연결되는 경우, '수도'는 연결 개체명에 해당한다.

한편, 일 실시예에 따르면, 복수의 연결 개체명 각각에 대한 연결 정보는 복수의 개체명 쌍(pair), 복수의 개체명 쌍 각각의 연결 빈도 및 복수의 연결 개체명 각각의 연결 비율을 포함할 수 있다.

이때, 복수의 개체명 쌍은 각각 복수의 연결 개체명 중 하나의 연결 개체명 및 개체명 정의 사전에서 해당 하나의 연결 개체명과 연결되는 하나 이상의 지식 베이스 개체명 중 하나의 지식 베이스 개체명을 포함할 수 있다.

또한, 복수의 개체명 쌍 각각의 연결 빈도는 개체명 정의 사전에서 각 개체명 쌍이 연결된 횟수를 나타낼 수 있다.

구체적으로, 도 2는 연결 개체명 사전에 포함된 연결 정보의 일 예를 나타낸 예시도이다.

도 2를 참조하면, 연결 개체명 사전에 포함된 연결 정보는 복수의 개체명 쌍과 각 개체명 쌍의 연결 빈도를 포함하는 테이블(200)을 포함할 수 있다. 구체적으로, 도시된 테이블(200)에서 각 행은 개체명 쌍을 구성하는 연결 개체명과 지식 베이스 개체명 및 개체명 쌍의 연결 빈도를 포함할 수 있다.

구체적으로, 도 2에 도시된 테이블(200)에서 연결 개체명 '수도'는 지식 베이스 개체명인 '수도', '수도_(시설)' 및 '수도_(지리)' 각각과 개체명 쌍을 구성하며, 개체명 쌍 '수도'-'수도'는 개체명 정의 사전에서 8269회 연결되며, 개체명 쌍 '수도'-'수도_(시설)'은 개체명 정의 사전에서 843회 연결되며, 개체명 쌍 '수도'-'수도_(지리)'는 개체명 정의 사전에서 704회 연결된다.

한편, 복수의 연결 개체명 각각의 연결 비율은 개체명 정의 사전에서 각 연결 개체명과 동일한 개체명이 지식 베이스 개체명으로 연결된 비율을 나타낸다. 예를 들어, 연결 개체명 e의 연결 비율은 아래의 수학식 1을 이용하여 산출될 수 있다.

[수학식 1]

이때, PL(e)는 연결 개체명 e의 연결 비율, F(e)는 개체명 정의 사전에서 연결 개체명 e와 동일한 개체명의 총 출현 횟수, L(e)는 연결 개체명 e를 포함하는 하나 이상의 개체명 쌍의 연결 빈도 합을 나타낸다.

구체적으로, 개체명 정의 사전에서 연결 개체명 '수도'의 총 출현 횟수가 153375이고, '수도'를 포함하는 개체명 쌍 및 개체명 쌍의 연결 빈도가 도 2에 도시된 예와 같은 경우, '수도'의 연결 비율은 0.064(즉,

)이다.

구체적으로, 도 3는 연결 개체명 사전에 포함된 연결 정보의 다른 예를 나타낸 예시도이다.

도 3을 참조하면, 연결 개체명 사전에 포함된 연결 정보는 복수의 연결 개체명과 각 연결 개체명에 대한 연결 비율을 포함하는 테이블(300)을 포함할 수 있다. 이때, 각 연결 개체명에 대한 연결 비율은 예를 들어, 상술한 수학식 1에 기초하여 산출될 수 있다.

한편, 일 실시예에 따르면, 개체명 추출부(110)는 레이블링 대상 텍스트에서 연결 개체명 사전에 포함된 연결 개체명과 일치하는 하나 이상의 개체명을 식별할 수 있다. 구체적으로, 일 실시예에 따르면, 개체명 추출부(110)는 레이블링 대상 텍스트를 형태소 단위로 토큰화(tokenization)한 후, 토큰 단위의 n-그램(n-gram)을 생성할 수 있다. 또한, 개체명 추출부(110)는 연결 개체명 사전에서 생성된 n-그램과 일치하는 개체명을 식별할 수 있다.

이후, 개체명 추출부(110)는 연결 개체명 사전에 기초하여, 식별된 하나 이상의 개체명 각각의 연결 비율 및 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명을 결정할 수 있다. 또한, 개체명 추출부(110)는 결정된 연결 비율 및 지식 베이스 개체명에 기초하여, 레이블링 대상 텍스트에서 식별된 하나 이상의 개체명 중 하나 이상을 레이블링 후보 개체명으로 추출할 수 있다.

구체적으로, 개체명 추출부(110)는 레이블링 대상 텍스트에서 식별된 하나 이상의 개체명 각각에 대한 연결 비율 및 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명에 기초하여, 식별된 하나 이상의 개체명 각각에 대한 스코어를 산출하고 산출된 스코어에 기초하여 레이블링 후보 개체명을 추출할 수 있다.

이때, 각 개체명에 대한 스코어는 예를 들어, 아래의 수학식 2를 이용하여 산출될 수 있다.

[수학식 2]

이때, Score(e)는 레이블링 대상 텍스트에서 식별된 개체명 e에 대한 스코어, T(e)는 개체명 e를 구성하는 n그램의 개수, PL(e)는 개체명 e의 연결 비율, |C(e)|는 개체명 e와 연결되는 지식 베이스 개체명의 개수를 나타낸다.

한편, 일 실시예에 따르면, 개체명 추출부(110)는 추출되는 레이블링 후보 개체명들이 레이블링 대상 텍스트 내에서 서로 겹치지 않고, 레이블링 후보 개체명들에 대한 스코어의 합이 최대가 되도록 하나 이상의 레이블링 후보 개체명을 추출할 수 있다.

예를 들어, 레이블링 대상 텍스트 내에 '서울 시립공원'이 포함되어 있고, '서울', '공원', '시립공원', '서울 시립공원'이 각각 연결 개체명인 것으로 가정하자. 이 경우, '서울'과 '서울 시립공원'은 '서울'이 중복되며, '공원', '시립공원' 및 '서울 시립공원'은 '공원'이 중복된다. 따라서, 개체명 추출부(110)는 '서울'과 '시립공원', '서울'과 '공원' 또는 '서울 시립공원'을 레이블링 후보 개체명으로 추출할 수 있다.

이때, 개체명 추출부(110)는 예를 들어, 아래의 수학식 3과 같은 수식을 이용한 동적 계획법(dynamic programming)을 이용하여 하나 이상의 레이블링 후보 개체명을 추출할 수 있다.

[수학식 3]

수학식 3에서, dp(i,j)는 레이블링 대상 텍스트의 j번째 문자 이내에서 0~i번째 개체명을 겹치지 않게 추출하여 얻을 수 있는 스코어 합의 최대 값을 의미하며, start[i]는 레이블링 대상 텍스트 내에서 i번째 개체명의 시작 문자 위치, score[i]는 i번째 개체명에 대한 스코어를 나타낸다.

지식 베이스 개체명 결정부(120)는 개체명 정의 사전에서 추출된 학습 텍스트 및 연결 개체명 사전에 포함된 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여, 레이블링 대상 텍스트에서 추출된 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정한다.

일 실시예에 따르면, 학습 텍스트는 개체명 정의 사전에 등재된 각 지식 베이스 개체명에 대한 문서에서 추출된 텍스트일 수 있다. 예를 들어, 학습 텍스트는 지식 베이스 개체명에 대한 문서에 포함된 텍스트 중 지식 베이스 개체명을 정의하거나 지식 베이스 개체명과 관련된 설명을 포함하는 텍스트 및 하나 이상의 연결 개체명을 포함하는 텍스트 중 적어도 하나일 수 있다.

한편, 일 실시예에 따르면, 개체명 연결 모델은 학습 텍스트에 포함된 하나 이상의 연결 개체명(이하, '학습 대상 연결 개체명')에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터에 기초하여 학습될 수 있다. 이때, 각 학습 대상 연결 개체명에 대한 후보 지식 베이스 개체명은 연결 개체명 사전에 기초하여 결정될 수 있다.

도 4는 일 실시예에 따른 학습 대상 연결 개체명 및 후보 지식 베이스 개체명을 설명하기 위한 도면이다.

구체적으로, 도 4에서 지식 베이스 개체명인 '서울특별시'에 대한 문서에서 추출된 학습 텍스트(410)에서 밑줄이 표시된 연결 개체명 '수도'가 학습 대상 연결 개체명인 것으로 가정하자. 이 경우, '수도'에 대한 후보 지식 개체명은 연결 개체명 사전에 포함된 개체명 쌍에 기초하여 결정될 수 있다.

구체적으로, 연결 개체명 사전에 포함된 개체명 쌍이 도 2에 도시된 예와 같은 경우, 도 4에 도시된 테이블(420)과 같이 '수도'에 대한 후보 지식 베이스 개체명은 연결 개체명 '수도'가 포함된 각 개체명 쌍에 포함된 지식 베이스 개체명인 '수도', '수도_(시설)' 및 '수도_(지리)'를 포함할 수 있다.

한편, 일 실시예에 따르면, 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는 학습 대상 연결 개체명을 포함하는 학습 텍스트와 각 후보 지식 베이스 개체명에 대한 문서에서 추출된 학습 텍스트에 기초한 제1 특성 값을 포함할 수 있다.

구체적으로, 제1 특성 값은 예를 들어, 학습 대상 연결 개체명을 포함하는 학습 텍스트와 후보 지식 베이스 개체명에 대한 문서에서 추출된 학습 텍스트 사이의 유사도일 수 있다. 보다 구체적인 예로, 제1 특성 값은 학습 대상 연결 개체명을 포함하는 학습 텍스트에 대한 TF-IDF(Term Frequency-Inverse Document Frequency)와 후보 지식 베이스 개체명에 대한 문서에서 추출된 학습 텍스트에 대한 TF-IDF 사이의 코사인 유사도(cosine similarity)일 수 있으나, 유사도 측정 방식은 반드시 특정한 실시예에 한정되는 것은 아니다.

한편, 일 실시예에 따르면, 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는 연결 개체명 사전에 포함된 복수의 연결 개체명 쌍 중 학습 대상 연결 개체명을 포함하는 하나 이상의 개체명 쌍 각각의 연결 빈도에 기초한 제2 특성 값을 포함할 수 있다.

예를 들어, 하나 이상의 후보 지식 베이스 개체명 중 특정 후보 지식 베이스 개체명에 대한 제2 특성 값은 개체명 정의 사전에서 학습 대상 연결 개체명이 하나 이상의 후보 지식 베이스 개체명 중 해당 특정 후보 지식 베이스 개체명으로 연결될 확률 값일 수 있다. 보다 구체적인 예로, 도 4에 도시된 예에서, 연결 개체명 '수도'와 각 후보 지식 베이스 개체명 '수도', '수도_(시설)' 및 '수도_(지리)' 사이의 연결 빈도가 도 2에 도시된 예와 같은 경우, 후보 지식 베이스 개체명 '수도_(시설)'에 대한 제2 특성 값은 연결 개체명 '수도'를 포함하는 개체명 쌍들의 연결 빈도 합과 연결 개체명 '수도'와 지식 베이스 개체명 '수도_(시설)'을 포함하는 개체명 쌍의 연결 빈도 사이의 비율(즉,

)일 수 있다.

한편, 일 실시예에 따르면, 개체명 연결 모델은 랭킹 SVM(ranking Support Vector Machine) 알고리즘을 이용하여 학습된 모델일 수 있다. 구체적으로, 개체명 연결 모델은 각 후보 지식 베이스 개체명에 대한 특성 벡터를 기초로 각 후보 지식 베이스 개체명에 대한 스코어를 생성하되 각 후보 지식 베이스 개체명 중 정답 지식 베이스 개체명에 대한 스코어를 다른 후보 지식 베이스 개체명에 대한 스코어보다 높은 값으로 생성하도록 학습될 수 있다.

이를 위해, 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 중 학습 대상 연결 개체명을 포함하는 학습 텍스트에서 해당 학습 대상 연결 개체명이 실제 연결된 지식 베이스 개체명을 개체명 연결 모델의 학습을 위한 정답 지식 베이스 개체명으로 이용될 수 있으며, 나머지 후보 지식 베이스 개체명은 개체명 연결 모델의 학습을 위한 오답 지식 베이스 개체명으로 이용될 수 있다. 예를 들어, 도 4에 도시된 학습 텍스트(410)에서 학습 대상 연결 개체명인 '수도'가 하이퍼링크를 통해 후보 지식 베이스 개체명 중 '수도'에 대한 문서로 연결되는 경우, 후보 지식 베이스 개체명 중 '수도'는 정답 지식 베이스 개체명으로 이용될 수 있으며, '수도_(시설)' 및 '수도_(지리)'는 오답 지식 베이스 개체명으로 이용될 수 있다.

한편, 일 실시예에 따르면, 지식 베이스 개체명 결정부(120)는 연결 개체명 사전에 기초하여, 레이블링 대상 텍스트에서 추출된 하나 이상의 레이블링 후보 개체명 각각에 대한 하나 이상의 후보 지식 베이스 개체명을 결정할 수 있다. 또한, 지식 베이스 개체명 결정부(120)는 각 레이블링 후보 개체명에 대해 결정된 하나 이상의 후보 지식 베이스 개체명 각각에 대한 특성 벡터를 생성하고, 개체명 연결 모델을 이용하여 각 후보 지식 베이스 개체명에 대한 특성 벡터로부터 각 후보 지식 베이스 개체명에 대한 스코어를 산출할 수 있다.

이후, 지식 베이스 개체명 결정부(120)는 산출된 스코어에 기초하여 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정할 수 있다. 구체적으로, 지식 베이스 개체명 결정부(120)는 개체명 연결 모델에 의해 생성된 스코어가 가장 높은 후보 지식 베이스 개체명을 레이블링 후보 개체명에 대한 지식 베이스 개체명으로 결정할 수 있다.

레이블링부(130)는 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형(entity type) 사전 및 하나 이상의 레이블링 후보 개체명 각각에 대해 결정된 지식 베이스 개체명에 기초하여 하나 이상의 레이블링 후보 개체명 중 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별한다. 이때, 학습 대상 개체 유형에 속하는 레이블링 대상 개체명이 식별된 경우, 레이블링부(130)는 레이블링 대상 텍스에 포함된 각 레이블링 대상 개체명에 각 레이블링 대상 개체명이 속하는 개체 유형을 라벨링한다.

한편, 일 실시예에 따르면, 학습 대상 개체 유형에 대한 개체 유형 사전은 학습 대상 개체 유형에 속하는 하나 이상의 지식 베이스 개체명에 대한 정보를 포함할 수 있다.

구체적으로, 도 5는 일 실시예에 따른 개체 유형 사전의 일 예를 나타낸 예시도이다.

도 5에 도시된 예와 같이, 개체 유형 사전(500)은 개체 유형 'City'에 속하는 지식 베이스 개체명들로 구성된 트리 형태의 구조로 표현될 수 있다. 이때, 일 실시예에 따르면, 학습 대상 개체 유형 'City'와 최상위 지식 베이스 개체명 'City'는 사용자에 의해 설정될 수 있다. 이 경우, 개체 유형 사전(500)은 지식 베이스에서 최상위 지식 베이스 개체명 'City'의 하위 분류(subclass)에 해당하는 지식 베이스 개체명을 재귀적으로 탐색한 후, 탐색된 지식 베이스 개체명과 인스턴스(instance) 관계를 가지는 모든 지식 베이스 개체명을 탐색하여 탐색된 모든 지식 베이스 개체명을 개체 유형 사전(500)에 등록함으로써 생성될 수 있다.

도 6은 일 실시예에 따른 학습 데이터 생성 과정을 예시하여 설명하기 위한 도면이다.

도 6을 참조하면, 우선, 학습 데이터 생성 장치(100)는 레이블링 대상 텍스트(610)에서 연결 개체명 사전에 포함된 연결 개체명과 동일한 개체명인 '부산시', '아르헨티나', '페루', '인천공항', 서울', '부산', 'KTX', '남구', '부산의료원'을 레이블링 후보 개체명으로 추출할 수 있다.

이후, 학습 데이터 생성 장치(100)는 개체명 연결 모델을 이용하여 추출된 각 레이블링 후보 개체명에 대한 지식 베이스 개체명을 결정할 수 있다. 구체적으로, 도 6에 도시된 텍스트 620에서 각 레이블링 후보 개체명 및 각 레이블링 후보 개체명에 대해 결정된 지식 베이스 개체명이 [개체명|지식베이스 개체명]의 형태로 표현되어 있다.

한편, 학습 대상 개체 유형이 'City'이고, 'City'에 대한 개체 유형 사전에 지식 베이스 개체명 '부산광역시' 및 '서울특별시'가 포함되어 있는 경우, 학습 데이터 생성 장치(100)는 지식 베이스 개체명이 결정된 각 레이블링 후보 개체명 중 '부산시' 및 '서울' 및 '부산'을 학습 대상 개체 유형 'City'에 속하는 레이블링 대상 개체명으로 식별할 수 있다. 이후, 학습 데이터 생성 장치(100)는 레이블링 대상 개체명 '서울' 및 '부산'에 학습 대상 개체 유형 'City'가 레이블링된 텍스트(630)를 개체명 인식을 위한 학습 데이터로서 생성할 수 있다.

도 7은 일 실시예에 따른 학습 데이터 생성 방법의 순서도이다.

도 7에 도시된 방법은 학습 데이터 생성 장치(100)에 의해 수행될 수 있다.

도 7을 참조하면, 우선, 학습 데이터 생성 장치(100)는 레이블링 대상 텍스트를 입력받는다(710).

이후, 학습 데이터 생성 장치(100)는 입력된 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출한다(720).

이후, 학습 데이터 생성 장치(100)는 추출된 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정한다(730).

이후, 학습 데이터 생성 장치(100)는 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형 사전 및 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명에 기초하여, 하나 이상의 레리블링 후보 개체명 중 하나 이상의 레이블링 대상 개체명을 식별한다(740).

이후, 학습 데이터 생성 장치(100)는 레이블링 대상 텍스트에 포함된 각 레이블링 대상 개체명에 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하여 학습 데이터를 생성한다(750).

한편, 도 7에 도시된 순서도에서 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

도 8은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.

도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 학습 데이터 생성 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 학습 데이터 생성 장치
110: 개체명 추출부
120: 지식 베이스 개체명 결정부
130: 레이블링부

Claims

레이블링(labeling) 대상 텍스트를 입력받고, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결(link)되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 상기 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출하는 단계;
상기 개체명 정의 사전에서 추출된 학습 텍스트 및 상기 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여 상기 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정하는 단계;
하나 이상의 학습 대상 개체 유형(entity type) 각각에 대한 개체 유형 사전 및 상기 결정된 지식 베이스 개체명에 기초하여, 상기 하나 이상의 레이블링 후보 개체명 중 상기 하나 이상의 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별하는 단계; 및
상기 레이블링 대상 개체명이 식별된 경우, 상기 레이블링 대상 텍스트에 포함된 상기 레이블링 대상 개체명에 상기 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하는 단계를 포함하는 학습 데이터 생성 방법.
청구항 1에 있어서,
상기 연결 정보는, 상기 개체명 정의 사전에서 상기 복수의 연결 개체명 각각의 연결 비율, 복수의 개체명 쌍(entity pair) 및 상기 복수의 연결 개체명 쌍 각각의 연결 빈도를 포함하고,
상기 복수의 개체명 쌍은 각각, 상기 복수의 연결 개체명 중 하나의 연결 개체명 및 상기 하나의 연결 개체명과 연결되는 지식 베이스 개체명을 포함하는 학습 데이터 생성 방법.
청구항 2에 있어서,
상기 추출하는 단계는, 상기 레이블링 대상 텍스트에서 각각 상기 복수의 연결 개체명 중 하나와 일치하는 하나 이상의 개체명을 식별하는 단계;
상기 연결 정보에 기초하여, 상기 식별된 하나 이상의 개체명 각각의 연결 비율 및 상기 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명을 결정하는 단계; 및
상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 단계를 포함하는 학습 데이터 생성 방법.
청구항 3에 있어서,
상기 레이블링 후보 개체명으로 추출하는 단계는,
상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 각각에 대한 스코어를 산출하는 단계; 및
상기 산출된 스코어에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 단계를 포함하는 학습 데이터 생성 방법.
청구항 2에 있어서,
상기 개체명 연결 모델은, 상기 추출된 학습 텍스트에 포함된 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터에 기초하여 학습되며,
상기 하나 이상의 후보 지식 베이스 개체명은, 상기 연결 정보에 기초하여 결정되는 학습 데이터 생성 방법.
청구항 5에 있어서,
상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는 상기 개체명 정의 사전에서 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 문서에 포함된 텍스트 및 상기 추출된 학습 텍스트에 기초한 제1 특성 값 및 상기 복수의 연결 개체명 쌍 중 상기 학습 대상 연결 개체명을 포함하는 하나 이상의 연결 개체명 쌍 각각의 연결 빈도에 기초한 제2 특성 값 중 적어도 하나를 포함하는 학습 데이터 생성 방법.
청구항 5에 있어서,
상기 개체명 연결 모델은, 랭킹 SVM(ranking Support Vector Machine) 알고리즘을 이용하여 학습된 모델인 학습 데이터 생성 방법.
청구항 5에 있어서,
상기 개체명 연결 모델은, 상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터를 기초로 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하되, 상기 하나 이상의 후보 지식 베이스 개체명 중 정답 지식 베이스 개체명에 대한 스코어를 다른 후보 지식 베이스 개체명에 대한 스코어보다 높은 값으로 생성하도록 학습되는 학습 데이터 생성 방법.
청구항 8에 있어서,
상기 결정하는 단계는, 상기 연결 정보에 기초하여, 상기 하나 이상의 레이블링 후보 각각에 대한 하나 이상의 후보 지식 베이스 개체명을 결정하는 단계;
상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터를 생성하는 단계;
상기 개체명 연결 모델을 이용하여 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터로부터 상기 결정된 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하는 단계; 및
상기 생성된 스코어에 기초하여 상기 하나 이상의 레이블링 후보 각각에 대한 지식 베이스 개체명을 생성하는 단계를 포함하는 학습 데이터 생성 방법.
청구항 5에 있어서,
상기 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형 사전은, 상기 하나 이상의 학습 대상 개체 유형 각각에 속하는 하나 이상의 지식 베이스 개체명에 대한 정보를 포함하는 학습 데이터 생성 방법.
레이블링(labeling) 대상 텍스트를 입력받고, 개체명 정의 사전 내에서 하나 이상의 지식 베이스 개체명과 연결(link)되는 복수의 연결 개체명 각각에 대한 연결 정보를 포함하는 연결 개체명 사전에 기초하여, 상기 레이블링 대상 텍스트에서 하나 이상의 레이블링 후보 개체명을 추출하는 개체명 추출부;
상기 개체명 정의 사전에서 추출된 학습 텍스트 및 상기 연결 정보에 기초하여 학습된 개체명 연결 모델을 이용하여 상기 하나 이상의 레이블링 후보 개체명 각각에 대한 지식 베이스 개체명을 결정하는 지식 베이스 개체명 결정부; 및
하나 이상의 학습 대상 개체 유형(entity type) 각각에 대한 개체 유형 사전 및 상기 결정된 지식 베이스 개체명에 기초하여, 상기 하나 이상의 레이블링 후보 개체명 중 상기 하나 이상의 학습 대상 개체 유형에 속하는 레이블링 대상 개체명을 식별하고, 상기 레이블링 대상 개체명이 식별된 경우, 상기 레이블링 대상 텍스트에 포함된 상기 레이블링 대상 개체명에 상기 레이블링 대상 개체명이 속하는 학습 대상 개체 유형을 라벨링하는 레이블링부를 포함하는 학습 데이터 생성 장치.
청구항 11에 있어서,
상기 연결 정보는, 상기 개체명 정의 사전에서 상기 복수의 연결 개체명 각각의 연결 비율, 복수의 개체명 쌍(entity pair) 및 상기 복수의 연결 개체명 쌍 각각의 연결 빈도를 포함하고,
상기 복수의 개체명 쌍은 각각, 상기 복수의 연결 개체명 중 하나의 연결 개체명 및 상기 하나의 연결 개체명과 연결되는 지식 베이스 개체명을 포함하는 학습 데이터 생성 장치.
청구항 12에 있어서,
상기 개체명 추출부는, 상기 레이블링 대상 텍스트에서 각각 상기 복수의 연결 개체명 중 하나와 일치하는 하나 이상의 개체명을 식별하고,
상기 연결 정보에 기초하여, 상기 식별된 하나 이상의 개체명 각각의 연결 비율 및 상기 식별된 하나 이상의 개체명 각각과 연결되는 하나 이상의 지식 베이스 개체명을 결정하고,
상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 학습 데이터 생성 장치.
청구항 13에 있어서,
상기 개체명 추출부는,
상기 결정된 연결 비율 및 상기 결정된 하나 이상의 지식 베이스 개체명에 기초하여 상기 식별된 하나 이상의 개체명 각각에 대한 스코어를 산출하고,
상기 산출된 스코어에 기초하여 상기 식별된 하나 이상의 개체명 중 적어도 하나를 상기 레이블링 후보 개체명으로 추출하는 학습 데이터 생성 장치.
청구항 12에 있어서,
상기 개체명 연결 모델은, 상기 추출된 학습 텍스트에 포함된 학습 대상 연결 개체명에 대한 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터에 기초하여 학습되며,
상기 하나 이상의 후보 지식 베이스 개체명은, 상기 연결 정보에 기초하여 결정되는 학습 데이터 생성 장치.
청구항 15에 있어서,
상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터는, 상기 개체명 정의 사전에서 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 문서에 포함된 텍스트 및 상기 추출된 학습 텍스트에 기초한 제1 특성 값 및 상기 복수의 연결 개체명 쌍 중 상기 학습 대상 연결 개체명을 포함하는 하나 이상의 연결 개체명 쌍 각각의 연결 빈도에 기초한 제2 특성 값 중 적어도 하나를 포함하는 학습 데이터 생성 장치.
청구항 15에 있어서,
상기 개체명 연결 모델은, 랭킹 SVM(ranking Support Vector Machine) 알고리즘을 이용하여 학습된 모델인 학습 데이터 생성 장치.
청구항 15에 있어서,
상기 개체명 연결 모델은, 상기 하나 이상의 후보 지식 베이스 개체명 각각의 특성 벡터를 기초로 상기 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하되, 상기 하나 이상의 후보 지식 베이스 개체명 중 정답 지식 베이스 개체명에 대한 스코어를 다른 후보 지식 베이스 개체명에 대한 스코어보다 높은 값으로 생성하도록 학습되는 학습 데이터 생성 장치.
청구항 18에 있어서,
상기 지식 베이스 개체명 결정부는, 상기 연결 정보에 기초하여, 상기 하나 이상의 레이블링 후보 각각에 대한 하나 이상의 후보 지식 베이스 개체명을 결정하고,
상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터를 생성하고,
상기 개체명 연결 모델을 이용하여 상기 결정된 하나 이상의 후보 지식 지식 베이스 개체명 각각의 특성 벡터로부터 상기 결정된 하나 이상의 후보 지식 베이스 개체명 각각에 대한 스코어를 생성하고,
상기 생성된 스코어에 기초하여 상기 하나 이상의 레이블링 후보 각각에 대한 지식 베이스 개체명을 결정하는 학습 데이터 생성 장치.
청구항 15에 있어서,
상기 하나 이상의 학습 대상 개체 유형 각각에 대한 개체 유형 사전은, 상기 하나 이상의 학습 대상 개체 유형 각각에 속하는 하나 이상의 지식 베이스 개체명에 대한 정보를 포함하는 학습 데이터 생성 장치.