KR101836996B1 - 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법 - Google Patents

러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101836996B1
KR101836996B1 KR1020160149597A KR20160149597A KR101836996B1 KR 101836996 B1 KR101836996 B1 KR 101836996B1 KR 1020160149597 A KR1020160149597 A KR 1020160149597A KR 20160149597 A KR20160149597 A KR 20160149597A KR 101836996 B1 KR101836996 B1 KR 101836996B1
Authority
KR
South Korea
Prior art keywords
corpus
morpheme
tagging
error
phrases
Prior art date
Application number
KR1020160149597A
Other languages
English (en)
Inventor
차정원
박태호
신창욱
박다솔
박성재
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR1020160149597A priority Critical patent/KR101836996B1/ko
Priority to US16/345,959 priority patent/US11074406B2/en
Priority to PCT/KR2017/006916 priority patent/WO2018088664A1/ko
Application granted granted Critical
Publication of KR101836996B1 publication Critical patent/KR101836996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F17/2755—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis

Abstract

본 발명은 자연어 처리를 위한 인식 및 분류기 생성을 위해 학습에 필요한 코퍼스(corpus, 말뭉치, 학습데이터)에 포함되는 오류를 검출하여 정량화할 수 있도록 하고 수정할 수 있도록 하는 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 검출 장치 및 그 방법에 관한 것이다.
상기 형태소 태깅 코퍼스 오류 검출 장치는 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론을 적용한 커널을 이용하여 자질을 생성하는 자질생성부(120); 및 상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 자질통계부(130);을 포함하여 구성된다.

Description

러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법{APPARATUS AND THE METHOD FOR AUTOMATIC DETECTING ERROR OF ANNOTATED CORPUS USING ROUGH SET}
본 발명은 자연어처리를 위한 코퍼스의 형태소 품사 오류 검출에 관한 것으로서, 더욱 상세하게는, 자연어 처리를 위한 인식 및 분류기 생성을 위해 학습에 필요한 코퍼스(corpus, 말뭉치, 학습데이터)에 포함되는 오류를 자동으로 검출하여 정량화할 수 있도록 하고 수정할 수 있도록 하는 러프 셋(Rough Set)을 이용한 형태소 품사 태깅 코퍼스 오류 검출 장치 및 그 방법에 관한 것이다.
최근, 컴퓨터와 모바일 기기가 각 개인에게까지 널리 보급되고, 또한, 기계학습을 이용한 문제해결이 점점 더 많은 분야로 확대됨에 따라, 입력된 코퍼스에서 문맥이나 구문의 오류를 분석하고 수정하는 방법에 대하여 여러 가지 연구가 활발히 진행되고 있다.
이러한 입력된 코퍼스에서 문맥이나 구문의 오류를 분석하고 수정하는 방법에 관한 종래기술의 예로, 한국 등록특허공보 제10-1500617호는, 사용자가 입력한 한국어 문장에서 나타나는 여러 맞춤법 문법 오류 중에서 사전(事典) 검색을 통해 해결할 수 없는 문맥 철자오류(context-sensitive spelling error)를 검색하고, 이를 교정할 대치어를 제시하는 것에 의해 한국어 문서 교정 과정에서 가장 난도가 높은 문맥 철자오류를 교정함으로써, 한국어 문서 교정기의 성능을 높일 수 있도록 구성되는 한국어 어휘 의미망을 이용한 문맥 철자오류 교정 장치 및 방법을 개시한다.
또한, 한국 등록특허공보 제10-1491581호는, 철자오류 보정사전을 트라이(TRIE) 형태로 구성하는 것에 의해 메모리 사용량과 탐색 시간을 최소화하고, 등록되어 있는 문자열이 나타나면 문맥통계를 이용하여 해당 문자열을 보정 문자열로 교체할 것인지를 효율적으로 판단하는 것에 의해 작은 용량의 메모리와 단순 연산만을 이용하면서도 높은 철자오류 보정효과를 얻을 수 있도록 구성됨으로써, 휴대 단말기에서 입력된 문장의 철자 오류를 자동으로 인식하여 보정할 수 있는 철자 오류 보정 시스템 및 방법을 개시한다.
또한, 한국 등록특허공보 제10-1431339호에 따르면, 구문을 구성하는 각 단어가 코퍼스 내에서 출현할 출현확률을 구하고, 구문이 코퍼스 내에서 출현할 추정확률(Pe), 예상 출현빈도확률(Po) 및 실제 출현확률(Pa)을 구하여, 구문의 오류 여부를 판단하도록 구성됨으로써, 빈도수가 낮은 특수한 표현이나 반복적인 실수가 많이 행해지는 표현에 대해서도 오류검출을 정확히 할 수 있도록 구성되는 확률적 구문오류 검출방법 및 장치를 개시한다.
또한, 한국 등록특허공보 제10-1358614호에 따르면, 말뭉치를 분석하여 부분어절의 기분석 사전을 구축하는 것에 의해 간단하게 PWD(Partial Word morpheme madd Dictionary)와 형태소 위치 적합성을 구축하는 학습데이터 구축기 및 학습데이터 구축기에 의해 구축된 사전에 대하여 어절 전체를 둘 이상으로 나눈 뒤 검색하여 분석하는 형태소 분석기를 포함하여, 어절을 분석하는 속도 및 재현율을 높이고 태깅(Tagging)에서의 정확도를 높일 수 있도록 구성되는 말뭉치 기반의 한국어 형태소 분석장치 및 그 분석방법을 개시한다.
그러나 상술한 종래기술들의 경우 자연어 처리에 있어서, 문맥이나 구문 오류에 대한 검색 및 수정을 수행하는 기술만을 제공할 뿐, 자연어 처리의 기본이 되는 학습데이터로서의 코퍼스(corpus, 말뭉치)에 대한 오류를 검출하는 방법은 개시하지 못하고 있다.
또한, 종래 지도학습(supervised learning)을 대체하는 비지도학습(unsupervised learning)이나, 반지도학습(semi-supervised learning)에 대한 성공적인 연구결과에도 불구하고, 정보부착 코퍼스를 가공하여 활용할 수 있는 분야가 점점 증가하고 있음으로 인해 학습을 위한 정보부착 코퍼스의 중요성은 줄어들지 않고 있다.
상술한 바와 같은 코퍼스의 중요성의 증가에도 불구하고, 상기 대량의 코퍼스는 다수의 사람들의 수작업에 의해 제작되므로, 일관성 있는 코퍼스를 제작하기가 매우 어렵게 되고, 이에 따라, 제작된 코퍼스 오류 검정 또한 수작업으로 진행하게 되므로 시간과 비용이 크게 발생하는 문제점이 있었다.
따라서 자연어처리를 위한 코퍼스에 포함되는 오류를 검출하여 정량화하는 것에 의해 오류를 자동으로 수정할 수 있도록 하는 기술이 요구된다.
한국 등록특허공보 제10-1500617호 (2015.03.03.) 한국 등록특허공보 제10-1491581호 (2015.02.03.) 한국 등록특허공보 제10-1431339호 (2014.08.11.) 한국 등록특허공보 제10-1358614호 (2014.01.27.)
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 자연어처리에서 인식 및 분류기 모델의 생성을 위해 다수의 사람에 의해 생성된 대용량의 코퍼스의 무결점을 보장할 수 있도록 하기 위하여, 자연어 처리를 위해 수작업으로 제작된 코퍼스의 오류를 자동으로 검출하고 정량화하며 수정할 수 있도록 하는 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 검출 장치는,
입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론이 적용된 커널을 이용하여 자질을 생성하는 자질생성부(120); 및
상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 자질통계부(130);을 포함하여 구성될 수 있다.
상기 커널은,
입력된 코퍼스에서 분석 대상 어절에 대하여,
분석 대상 어절의 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 자질을 생성하도록 구성될 수 있다.
상기 형태소 품사 태킹 코퍼스 오류 검출 장치는,
상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 수정하는 코퍼스수정부(140);를 더 포함하여 구성될 수 있다.
상기 형태소 품사 태킹 코퍼스 오류 검출 장치는,
품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환하는 코퍼스분석부(110);를 더 포함하여 구성될 수 있다.
상기 코퍼스분석부(110)는,
상기 입력된 코퍼스에 포함된 어절들 중 형태소와 수작업에 의한 형태소 입력 값을 하나의 어절라인으로 순차적으로 형성하여 출력하도록 구성될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 검출 방법은,
코퍼스분석부(110)와 자질생성부(120), 자질통계부(130) 및 코퍼스수정부(140)를 포함하는 형태소 품사 태깅 코퍼스 오류 검출 장치에 의한 형태소 품사 태킹 코퍼스 오류 검출 방법에 있어서,
상기 자질생성부(120)가 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론이 적용되 커널을 이용하여 자질을 생성하는 자질생성과정(S120); 및
상기 자질통계부(130)가 상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 자질통계처리과정(S130);을 포함하여 구성될 수 있다.
상기 커널은,
입력된 코퍼스에서 분석 대상 어절에 대하여,
분석 대상 어절의 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 자질을 생성하도록 구성될 수 있다.
상기 형태소 품사 태킹 코퍼스 오류 검출 방법은,
상기 코퍼스수정부(140)가 상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 수정하는 코퍼스수정과정(S140);을 더 포함하여 이루어 질 수 있다.
상기 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 검출 방법은,
상기 코퍼스분석부(110)가 품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환한 후 상기 자질생성성부(120)로 출력하는 코퍼스분석과정(S100);을 더 포함할 수 있다.
상기 코퍼스분석과정(S100)은,
상기 코퍼스분석부(110)가, 상기 입력된 코퍼스에 포함된 어절들 중 형태소와 수작업에 의한 형태소 입력 값을 하나의 어절라인으로 순차적으로 형성하여 출력하는 코퍼스변환과정을 더 포함할 수 있다.
상술한 구성을 가지는 본 발명은, 자연어처리 수행을 위해 다수의 작업자에 의해 수작업으로 형성된 코퍼스에 대하여 러프 셋을 개념을 이용하여 자동으로 어절들에 대한 자질을 생성한 후, 동일 어절에 대하여 빈도수가 높은 자질을 맞는 자질로 하여 오류를 검출하고 수정할 수 있도록 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따르는 형태소 품사 태깅 코퍼스 오류 검출 장치(100)의 구성도.
도 2는 자질생성부(120)에 포함되는 러프 셋(Rough Set) 알고리즘이 적용된 커널의 예를 나타내는 도면.
도 3은 상기 형태소 품사 태깅 코퍼스 오류 검출 장기(100)가 소프트웨어로 구현된 후 컴퓨터에 설치되어 형성되는 품사 태깅 코퍼스 오류 검출 서버(1)의 기능 블록 구성도.
도 4는 본 발명의 형태소 품사 태깅 코퍼스 오류 검출 방법의 처리과정을 나타내는 순서도.
도 5는 오류 검사 대상 코퍼스의 예를 나타내는 도면.
도 6은 입력된 코퍼스가 오류 검사 분석을 위하여 변환된 분석 대상 데이터의 예를 나타내는 도면.
도 7은 상기 자질생성부(120)에 의해 생성된 자질을 포함하는 분석된 코퍼스의 예를 나타내는 도면.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 실시예에 따르는 형태소 품사 태깅 코퍼스 오류 검출 장치(100)(이하, '코퍼스 오류 검출 장치(100)'라 함)의 구성도이다.
도 1과 같이 상기 코퍼스 오류 검출 장치(100)는 코퍼스분석부(110), 자질생성부(120), 자질통계부(130) 및 코퍼스수정부(140)를 포함하여 구성될 수 있다.
상기 코퍼스분석부(110)는 품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환하도록 구성될 수 있다. 또한, 상기 코퍼스분석부(110)는 상기 입력된 코퍼스에 포함된 어절들 중 형태소와 수작업에 의한 형태소 입력 값을 하나의 어절라인으로 순차적으로 형성하여 출력하도록 구성될 수 있다.
상기 자질생성부(120)는 코퍼스의 어절을 분석한 후 자질을 생성할 수 있도록 하기 위한 러프 셋(Rough Set) 이론이 적용된 커널을 구비하여 상기 코퍼스분석부(110)에서 변환되어 입력된 코퍼스에 포함된 어절들에 대하여 자질을 생성하도록 구성될 수 있다.
도 2는 자질생성부(120)에 포함되는 러프 셋(Rough Set) 이론이 적용된 커널의 예를 나타내는 도면이다.
도 2와 같이, 상기 커널은, 입력된 코퍼스에서 분석 대상 어절에 대하여, 분석 대상 어절의 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 자질을 생성하도록 구성되는 것에 의해 어절별로 자질을 생성할 수 있도록 한다.
다시, 도 1을 참조하면, 상기 자질통계부(130)는 상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하도록 구성될 수 있다.
상기 코퍼스수정부(140)는, 상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 수정하도록 구성된다. 이 경우, 상기 코퍼스의 형태소 품사 태깅은 수작업으로 진행하게 되므로, 가장 빈도수가 높은 자질이 정확한 자질로 평가되며, 빈도수가 낮을수록 오류 가능성이 높아지게 된다.
상술한 구성의 상기 코퍼스 오류 검출 장치(100)는 다수의 작업자에 의해 수작업으로 제작된 코퍼스를 입력받아서 코퍼스 오류를 검출하고 수정하여 출력하는 하드웨어 장치로 구성되거나, 컴퓨터로 읽혀져 수행되는 코드들을 기록한 기록매체의 형태로 제작될 수 있다.
도 3은 상기 형태소 품사 태깅 코퍼스 오류 검출 장기(100)가 소프트웨어로 구현된 후 컴퓨터에 설치되어 형성되는 품사 태깅 코퍼스 오류 검출 서버(1)의 기능 블록 구성도이다.
도 3과 같이, 상기 품사 태깅 코퍼스 오류 검출 서버(1)는 중앙처리장치로서의 제어부(10), 제어부(10)에 의해 실행되는 운영프로그램과 소프트웨어로 구현된 본 발명의 코퍼스 오류 검출장치(100)가 설치되는 저장부(60), 데이터의 입력 및 사용자 제어 명령을 입력할 수 있도록 구성되는 입력부(30), 내부 동작 과정을 표시하는 표시부(40) 및 외부와의 통신이 필요한 경우 외부와의 통신을 수행할 수 있도록 하는 통신부(50)를 포함하여 구성될 수 있다.
이와 달리, 상기 코퍼스 오류 검출 장치(100)는 FPGA 등이 적용되는 하드웨어 장치로 구현되어 제어부(10)의 일부로서 구성될 수도 있다.
도 4는 본 발명의 형태소 품사 태깅 코퍼스 오류 검출 방법(이하, '코퍼스 오류 검출 방법'이라 함)의 처리과정을 나타내는 순서도이다.
도 4와 같이, 상기 코퍼스 오류 검출 방법은, 코퍼스분석부(110)와 자질생성부(120), 자질통계부(130) 및 코퍼스수정부(140)를 포함하는 형태소 품사 태깅 코퍼스 오류 검출 장치에 의한 형태소 품사 태킹 코퍼스 오류 검출 방법에 있어서, 코퍼스분석과정(S100), 자질생성과정(S120), 자질통계처리과정(S130) 및 코퍼스수정과정(S140)을 포함하여 이루어진다.
상기 코퍼스분석과정(S110)은 품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환하는 처리과정을 수행한다.
도 5는 오류 검사 대상 코퍼스의 예를 나타내는 도면이다.
도 5와 같이, 입력되는 코퍼스는 어절 '그것은'에 대하여 다수의 작업자에 의해 수행된 형태소/(품사 태깅 코드)로 구성되는 '그것/NP+은/JX'로 되는 자질을 포함하여 구성된다. 상술한 코퍼스에서 본 발명은 '그것/NP+은/JX'의 자질에 오류가 포함되었는지를 검출하고 이를 수정하는 처리과정을 수행한다.
이러한 코퍼스 오류의 검출 또는 수정을 용이하게 하기 위하여, 상기 코퍼스분석과정(S110)에서 상기 코퍼스분석부(110)는 자질에 대하여 '형태소'와 '형태소/품사 태킹 코드'를 가지는 어절들의 라인으로 코퍼스를 변환하는 분석 데이터변환과정을 수행할 수 있다.
도 6은 입력된 코퍼스가 오류 검사 분석을 위하여 변환된 분석 대상 데이터의 예를 나타내는 도면이다.
도 6과 같이, 코퍼스분석과정(S110)의 분석 데이터변환과정에 의해 입력된 코퍼스들이 '그것(형태소) 그것(형태소)/NP(품사 태깅 코드)'를 가지는 어절 라인과 '은(형태소) 은(형태소)/JX(품사 태깅 코드)'를 가지는 어절 라인들을 가지도록 변환된 것을 확인할 수 있다.
다시 도 4을 참조하면, 상기 자질생성과정(S120)에서 상기 자질생성부(120)가 상기 코퍼스분석부(110)에서 변환되어 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론을 적용한 내부의 커널을 이용하여 분석 대상으로 변환된 코퍼스의 어절들에 대하여 각각 자질을 생성한다.
즉, 상기 자질생성부(120)는 변환된 코퍼스의 어절에 대하여. 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 추출하여 자질을 생성한다.
도 7은 상기 자질생성부(120)에 의해 생성된 자질을 포함하는 분석된 코퍼스의 예를 나타내는 도면이다.
도 7을 예로 들어 설명하면, '그것 그것/NP'의 어절에 대하여는 이전의 형태소와 이전의 품사가 없으므로 'X X'로 표시하고, 현재의 형태소는 자신이므로 '그것'을 표시하며, 다음 어절의 형태소는 다음 어절의 '은'을 표시하고, 다음의 어절의 품사는 은의 품사 'JX'를 추출한 후 표시하여, '그것 그것/NP'에 대하여 'X X 그것 은 JX'의 자질을 형성한다.
두 번째 어절인 '은 은/JX'에 대하여도, 같은 절차를 반복 수행하여 '그것 NP 은 사과 NNG'의 자질을 생성한다.
이러한 처리과정은 분석을 위해 변환된 코퍼스의 모든 어절들에 대하여 수행된다.
다시 도 4를 참조하면, 상기 자질통계처리과정(S130)에서, 상기 자질통계부(130)는 도 7과 같이 생성된 어절들에 대한 자질에 대하여 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 서로 다른 자질들의 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성한다. 일예로, 상기 자질통계처리과정(S130)은 '그것'. '은'. '사과다' 등의 어절들에 대한 서로 다른 자질들을 분류하고 각각 카운트한 후 각각의 서로 다른 자질들에 대하여 빈도수를 산출한다.
상기 코퍼스수정과정(S140)은 상기 코퍼스수정부(140)가 상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 맞는 자질로 판단하여 이외의 자질들을 해당 자질로 수정하는 처리과정을 수행한다.
이와 같은 처리과정에 의해 수작업으로 생성된 코퍼스의 오류를 자동으로 검출하고 수정할 수 있게 된다.
<실시예>
본 발명의 효율성을 검증하기 위하여, 다수의 연구자들이 손으로 작성한 품사부착 말뭉치인 코퍼스를 대상으로 실험하였다. 다수의 사람들에 의해서 생성된 코퍼스는 다양한 이유로 일관성에 문제가 발생한다. 이것은 지침이 부족해서 발생할 수도 있고 숙련도의 차이에 의해서 발생할 수도 있다. 언어정보 부착 코퍼스에서 일관성 오류(contradictionary)에 집중한다. 언어정보 부착 코퍼스에서 일관성 오류가 분류 오류보다 상대적으로 많고, 분류 오류는 말뭉치 내에서 오류와 정답을 비교할 수 없기 때문에 검출하기 어렵다.
우선 실험 데이터로서 생성된 코퍼스의 말뭉치와 수작업으로 수정한 정답에 대한 오류율이 표 1에 표시되어 있다.
<표 1>은 초기 코퍼스에서 측정한 오류 수와 오류
Figure 112016110026393-pat00001
본 발명의 실시예의 경우 13,093 어절, 80.323 어절, 6,003 어절을 가지는 1, 2, 3 번의 코퍼스에 대하여 수작업으로 오류를 검출한 정답 코퍼스에 대한 오류율을 산출한 자료를 이용하였다.
상술한 입력 코퍼스를 이용하여 본원 발명의 자질생성부(120)가 커널을 이용하여 자질들을 생성한 후 생성된 자질들을 자질통계처리부(130)가 처리한 결과가 표 2에 표시된다.
<표 2> 실험 대상 코퍼스에 대한 코퍼스 오류 검출 장치(100)에 의한 코퍼스 오류 검출 결과 표
Figure 112016110026393-pat00002
표 2와 같이, 본 발명을 적용한 코퍼스 오류 검출 결과 초기의 코퍼스의 오류의 예측 값과 실제 코퍼스에 존재하는 오류를 비교하였을 때, 1번 코퍼스(1번 말뭉치)는 0.88%, 2번 코퍼스(2번 말뭉치)는 0.33%, 3번 코퍼스(3번 말뭉치)는 1.37% 차이가 발생하였다. 따라서 정답 코퍼스를 사용한 오류율과 거의 차이가 나지 않는 것을 알 수 있다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 코퍼스 오류 검출 장치

Claims (10)

  1. 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론을 적용한 커널을 이용하여 자질을 생성하는 자질생성부(120); 및
    상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 자질통계부(130);을 포함하여 구성되는 형태소 태깅 코퍼스 오류 검출 장치.
  2. 청구항 1에 있어서, 상기 커널은,
    입력된 코퍼스에서 분석 대상 어절에 대하여,
    분석 대상 어절의 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 자질을 생성하도록 구성되는 형태소 태깅 코퍼스 오류 검출 장치.
  3. 청구항 1에 있어서,
    상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 수정하는 코퍼스수정부(140);를 더 포함하여 구성되는 형태소 태깅 코퍼스 오류 검출 장치.
  4. 청구항 1에 있어서,
    품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환하는 코퍼스분석부(110);를 더 포함하여 구성되는 형태소 태깅 코퍼스 오류 검출 장치.
  5. 청구항 4에 있어서, 상기 코퍼스분석부(110)는,
    상기 입력된 코퍼스에 포함된 어절들 중 형태소와 수작업에 의한 형태소 입력 값을 하나의 어절라인으로 순차적으로 형성하여 출력하도록 구성되는 형태소 태깅 코퍼스 오류 검출 장치.
  6. 코퍼스분석부(110), 자질생성부(120), 자질통계부(130) 및 코퍼스수정부(140)를 포함하는 형태소 품사 태깅 코퍼스 오류 검출 장치에 의한 형태소 품사 태킹 코퍼스 오류 검출 방법에 있어서,
    상기 자질생성부(120)가 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론을 적용한 커널을 이용하여 자질을 생성하는 자질생성과정(S120); 및
    상기 자질통계부(130)가 상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절들에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 자질통계처리과정(S130);을 포함하여 구성되는 형태소 태깅 코퍼스 오류 검출 방법.
  7. 청구항 6에 있어서, 상기 커널은,
    입력된 코퍼스에서 분석 대상 어절에 대하여,
    분석 대상 어절의 이전 어절의 형태소, 이전 어절의 품사, 현재 어절의 형태소, 다음 어절의 형태소, 다음 어절의 품사의 순으로 자질을 생성하도록 구성되는 형태소 태깅 코퍼스 오류 검출 방법.
  8. 청구항 6에 있어서,
    상기 코퍼스수정부(140)가 상기 자질통계부(130)에서 생성된 어절별 자질의 통계자료를 이용하여, 동일한 어절에 대하여 가장 빈도수가 높은 자질로 생성된 자질을 수정하는 코퍼스수정과정(S140);을 더 포함하여 이루어지는 형태소 태깅 코퍼스 오류 검출 방법.
  9. 청구항 6에 있어서,
    상기 코퍼스분석부(110)가 품사 태깅이 수행된 학습데이터로서의 코퍼스를 입력 받아서 분석을 위한 데이터로 변환한 후 상기 자질생성부(120)로 출력하는 코퍼스분석과정(S100);을 더 포함하는 형태소 태깅 코퍼스 오류 검출 방법.
  10. 청구항 9에 있어서, 상기 코퍼스분석과정(S100)은,
    상기 코퍼스분석부(110)가, 상기 입력된 코퍼스에 포함된 어절들 중 형태소와 수작업에 의한 형태소 입력 값을 하나의 어절라인으로 순차적으로 형성하여 출력하는 코퍼스변환과정을 더 포함하는 형태소 태깅 코퍼스 오류 검출 방법.
KR1020160149597A 2016-11-10 2016-11-10 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법 KR101836996B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160149597A KR101836996B1 (ko) 2016-11-10 2016-11-10 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
US16/345,959 US11074406B2 (en) 2016-11-10 2017-06-29 Device for automatically detecting morpheme part of speech tagging corpus error by using rough sets, and method therefor
PCT/KR2017/006916 WO2018088664A1 (ko) 2016-11-10 2017-06-29 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160149597A KR101836996B1 (ko) 2016-11-10 2016-11-10 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101836996B1 true KR101836996B1 (ko) 2018-04-19

Family

ID=62087635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160149597A KR101836996B1 (ko) 2016-11-10 2016-11-10 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11074406B2 (ko)
KR (1) KR101836996B1 (ko)
WO (1) WO2018088664A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030289B1 (ko) 2018-11-02 2019-11-08 창원대학교 산학협력단 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183543A1 (en) * 2018-03-23 2019-09-26 John Rankin System and method for identifying a speaker's community of origin from a sound sample
WO2020014354A1 (en) 2018-07-10 2020-01-16 John Rankin System and method for indexing sound fragments containing speech
CN110297914A (zh) * 2019-06-14 2019-10-01 中译语通科技股份有限公司 语料标注方法和装置
WO2021183421A2 (en) 2020-03-09 2021-09-16 John Rankin Systems and methods for morpheme reflective engagement response

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091961A (ja) 2000-09-14 2002-03-29 Communication Research Laboratory コーパス誤りの検出・修正システム，コーパス誤りの検出・修正処理方法およびそのプログラム記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100496873B1 (ko) * 2003-10-24 2005-06-22 한국전자통신연구원 대표 형태소 어휘 문맥에 기반한 통계적 태깅 오류 정정장치 및 그 방법
KR101491581B1 (ko) 2008-04-07 2015-02-24 삼성전자주식회사 철자 오류 보정 시스템 및 방법
KR20120045906A (ko) 2010-11-01 2012-05-09 한국전자통신연구원 코퍼스 오류 교정 장치 및 그 방법
KR101358614B1 (ko) 2011-12-26 2014-02-04 울산대학교 산학협력단 말뭉치 기반의 한국어 형태소 분석장치 및 그 분석방법
KR101431339B1 (ko) 2012-11-26 2014-08-18 서울대학교산학협력단 확률적 구문 오류 검출 방법 및 장치
KR101500617B1 (ko) 2013-08-07 2015-03-10 부산대학교 산학협력단 한국어 어휘 의미망을 이용한 문맥 철자오류 교정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091961A (ja) 2000-09-14 2002-03-29 Communication Research Laboratory コーパス誤りの検出・修正システム，コーパス誤りの検出・修正処理方法およびそのプログラム記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Elhadi.M et al., Part of Speech (POS) Tag Sets Reduction and Analysis Using Rough Set Techniques, Lecture notes in computer science v.5908. pp.223-230, 2009.
정영준 외, 러프셋 이론을 이용한 신경망의 구조 최적화, 한국지능시스템학회 학술발표 논문집 8(1), pp.49-52 (1998.06)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030289B1 (ko) 2018-11-02 2019-11-08 창원대학교 산학협력단 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법

Also Published As

Publication number Publication date
US11074406B2 (en) 2021-07-27
WO2018088664A1 (ko) 2018-05-17
US20200065369A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
KR101836996B1 (ko) 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
KR101813683B1 (ko) 커널 ｒｄｒ을 이용한 태깅 말뭉치 오류 자동수정방법
CN107688803B (zh) 字符识别中识别结果的校验方法和装置
KR102348845B1 (ko) 실시간 오류 후보 생성을 이용한 문맥의존 철자오류 교정 장치 및 방법
CN110930993A (zh) 特定领域语言模型生成方法及语音数据标注系统
JP2015187684A (ja) Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
CN113590810B (zh) 摘要生成模型训练方法、摘要生成方法、装置及电子设备
US20210081612A1 (en) Relationship estimation model learning device, method, and program
KR20160034678A (ko) 문법 오류 수정 장치 및 이를 이용한 문법 오류 수정 방법
CN110781673B (zh) 文档验收方法、装置、计算机设备及存储介质
CN105378706A (zh) 实体提取反馈
US10650195B2 (en) Translated-clause generating method, translated-clause generating apparatus, and recording medium
JP2016224483A (ja) モデル学習装置、方法、及びプログラム
CN112447172A (zh) 一种语音识别文本的质量提升方法和装置
KR102251554B1 (ko) 지문의 난이도 조정을 통하여 교육용 외국어 지문을 생성하는 방법
KR101374900B1 (ko) 문법 오류 정정 시스템 및 이를 이용한 문법 오류 정정 방법
CN112818693A (zh) 一种电子元器件型号词的自动提取方法及系统
CN113822052A (zh) 一种文本错误检测方法、装置、电子设备及存储介质
Li et al. Chinese spelling check based on neural machine translation
CN108304366B (zh) 一种上位词检测方法及设备
KR102562692B1 (ko) 문장 구두점 제공 시스템 및 방법
CN111310457B (zh) 词语搭配不当识别方法、装置、电子设备和存储介质
CN114970502A (zh) 一种应用于数字政府的文本纠错方法
CN112000767A (zh) 一种基于文本的信息抽取方法和电子设备
CN108304362B (zh) 一种从句检测方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant