KR20200084945A - Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof - Google Patents

Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof Download PDF

Info

Publication number
KR20200084945A
KR20200084945A KR1020180169481A KR20180169481A KR20200084945A KR 20200084945 A KR20200084945 A KR 20200084945A KR 1020180169481 A KR1020180169481 A KR 1020180169481A KR 20180169481 A KR20180169481 A KR 20180169481A KR 20200084945 A KR20200084945 A KR 20200084945A
Authority
KR
South Korea
Prior art keywords
morpheme analysis
grapheme
unit
search
improving
Prior art date
Application number
KR1020180169481A
Other languages
Korean (ko)
Inventor
이용호
송민표
노정빈
신연순
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180169481A priority Critical patent/KR20200084945A/en
Publication of KR20200084945A publication Critical patent/KR20200084945A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

Disclosed are a morpheme analysis apparatus with high accuracy for improving the quality of search in Korean natural language processing and an operating method thereof. In overcoming the limitation of not being able to accurately process morpheme analysis for words which do not exist in the existing corpus dictionary, the accuracy of morpheme analysis can be supported to be improved by separating grapheme unit morphemes and using an average value of vectors.

Description

한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치 및 그 동작 방법{MORPHEME ANALYSIS APPARATUS WITH HIGH ACCURACY TO IMPROVE QUALITY OF SEARCH IN KOREAN NATURAL LANGUAGE PROCESSING AND OPERATING METHOD THEREOF}A high-precision morpheme analysis device and its operation method to improve the quality of search in Korean natural language processing.

한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치 및 그 동작 방법에 대한 것이다.A high-precision morphological analysis device and its operation method for improving the quality of search in Korean natural language processing.

대한민국 등록특허공보 제10-1702055호(2017년 01월 25일, 등록)에 "딥-러닝 기반 형태소 분석 장치와 형태소 분석 애플리케이션의 작동 방법"이 소개되어 있다.Republic of Korea Patent Registration No. 10-1702055 (January 25, 2017, registration) "deep-learning-based morpheme analysis device and morpheme analysis application operation method" is introduced.

입력 어절로부터 복수의 형태소 후보열들을 생성하는 형태소 후보열 생성 모듈; 형태소 사전을 이용하여 상기 복수의 형태소 후보열들 각각에 포함된 복수의 순차적인 형태소 후보들 각각을 인식하는 형태소 분석 모듈; 인식된 상기 복수의 순차적인 형태소 후보들의 연결 확률을 DNN(Deep Neural Network)을 이용하여 계산하는 연결 확률 계산 모듈; 및 계산된 연결 확률에 기초하여, 상기 복수의 형태소 후보열들 각각의 생성 확률을 계산하고, 계산된 생성 확률이 가장 높은 형태소 후보열을 상기 입력 어절에 대한 형태소 열로 결정하는 형태소 열 결정 모듈을 포함하고, 상기 형태소 분석 모듈은, 코드 할당 규칙을 이용하여 상기 복수의 순차적인 형태소 후보들 각각에 상응하는 각 제1코드를 할당하는 코드 할당 모듈; 할당된 상기 각 제1코드를 이용하여, 상기 형태소 사전에 등록된 복수의 형태소들 중에서 상기 복수의 순차적인 형태소 후보들 각각에 매칭되는 각 형태소를 검색하는 사전 검색 모듈; 검색 결과에 기초하여, 상기 복수의 순차적인 형태소 후보들 각각을 인식하는 형태소 인식 모듈; 및 인식된 복수의 순차적인 형태소 후보들 중 첫 번째 형태소 후보의 품사를 지시하는 제2코드를 상기 첫 번째 형태소 후보에 할당하는 품사 할당 모듈을 포함한다.A morpheme candidate sequence generation module that generates a plurality of morpheme candidate sequences from an input word; A morpheme analysis module for recognizing each of a plurality of sequential morpheme candidates included in each of the plurality of morpheme candidate columns using a morpheme dictionary; A connection probability calculation module for calculating a connection probability of the recognized sequential morpheme candidates using a deep neural network (DNN); And a morpheme column determination module that calculates a generation probability of each of the plurality of morpheme candidate sequences based on the calculated connection probability, and determines a morpheme candidate sequence having the highest calculated probability as a morpheme sequence for the input word. The morpheme analysis module may include: a code allocation module that allocates each first code corresponding to each of the plurality of sequential morpheme candidates using a code allocation rule; A dictionary search module for searching each morpheme matching each of the plurality of sequential morpheme candidates among a plurality of morphemes registered in the morpheme dictionary using the assigned first code; A morpheme recognition module that recognizes each of the plurality of sequential morpheme candidates based on a search result; And a part-of-speech assignment module that allocates a second code indicating the part of speech of the first morpheme candidate among the recognized sequential morpheme candidates to the first morpheme candidate.

그러나, 상기 딥-러닝 기반 형태소 분석 장치와 형태소 분석 애플리케이션의 작동 방법은 자소 단위로 데이터를 이용하는 구성을 개시하고 있지 않아 기존 말뭉치 사전에 존재하지 않는 단어들에 대하여 형태소 분석을 정확하게 처리할 수 없는 한계점이 있다.However, since the deep-learning-based morpheme analysis apparatus and the method of operating the morpheme analysis application do not disclose a configuration using data in a grapheme unit, there are limitations in which morpheme analysis cannot be accurately processed for words that do not exist in the existing corpus dictionary. There is this.

대한민국 등록특허공보 제10-0481598호(2005년 03월 29일, 등록)에 "복합 형태소 분석 장치 및 방법"이 소개되어 있다.Republic of Korea Patent Registration No. 10-0481598 (registered on March 29, 2005), "composite morpheme analysis device and method" is introduced.

한국어 문장의 어절 단위 형태소 분석을 사전에 수행하여 상기 어절 단위 형태소 분석 결과를 저장한 기분석 사전 데이터베이스를 이용하는 한국어 문장의 복합 형태소를 분석하는 방법에 있어서, 문장을 입력받아 정규화하고 상기 기분석 사전 데이터베이스를 이용하여 어절 내 분석 적용여부를 결정하는 전처리 단계와, 상기 전처리 단계에서 어절 내 분석의 적용이 결정된 경우에 어절 내 결합 규칙과 분석 알고리즘을 이용하여 어절 내 형태소 분석을 수행하는 단계와, 띄어쓰기 정보를 사용하여 어절 외 형태소 분석을 수행하는 단계와, 문맥 태깅 데이터와 어휘 태깅 데이터를 사용하여 형태소 태깅을 수행하는 단계를 포함한다.In the method of analyzing a complex morpheme of a Korean sentence using a dictionary analysis dictionary database storing the result of the grammatical unit morpheme analysis in advance by performing a word unit morpheme analysis of a Korean sentence, the sentence is input and normalized and the dictionary analysis dictionary database A pre-processing step for determining whether to apply the analysis in the word using the word, and performing the morpheme analysis in the word using the combining rule and the analysis algorithm in the word when the application of the analysis in the word is determined in the pre-processing step, and spacing information And performing morpheme analysis outside the word using morphemes, and performing morpheme tagging using contextual tagging data and vocabulary tagging data.

그러나, 상기 복합 형태소 분석 장치 및 방법은 자소 단위로 분리한 단어의 N-gram과 단어벡터를 결합하는 구성을 개시하고 있지 않아 기존 말뭉치 사전에 존재하지 않는 단어들에 대하여 형태소 분석을 정확하게 처리할 수 없는 단점이 있다.However, the complex morpheme analysis apparatus and method do not disclose the configuration of combining N-grams and word vectors of words separated into units, so that morpheme analysis can be accurately processed for words that do not exist in the existing corpus dictionary. There are no shortcomings.

이에 따라, 자소 단위 형태소 분리 및 벡터들의 평균값을 이용해 형태소 분석의 정확도를 높일 수 있도록 하는 형태소 분석 장치 및 그 동작 방법이 제안된다.Accordingly, a morphological analysis apparatus and a method of operating the morpheme analysis device capable of increasing the accuracy of morphological analysis using the morpheme separation and the average value of vectors are proposed.

본 발명은 기존 말뭉치 사전에 존재하지 않는 단어들에 대하여 형태소 분석을 정확하게 처리할 수 없었던 한계점을 극복하는데 있어 자소 단위 형태소 분리 및 벡터들의 평균값을 이용해 형태소 분석의 정확도를 높일 수 있도록 지원하고자 한다.The present invention is to overcome the limitation that could not accurately process the morpheme analysis for words that do not exist in the existing corpus dictionary, and is intended to support to increase the accuracy of the morpheme analysis by using the morpheme separation and average values of vectors.

본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치는 형태소 분석에서 자소 단위로 자소들을 분리하는 자소 분리부, CNN(Convolution Neural Network)을 이용하여 상기 자소 분리부에서 분리된 상기 자소들을 학습시키는 자소 학습부 및 상기 자소 학습부에 의해 학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시키는 형태소 분석 향상부를 포함한다.The high-precision morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention uses the grapheme separating unit, a convolution neural network (CNN), that separates grapheme into grapheme units in morpheme analysis. And a morpheme analysis enhancement unit for improving the efficiency of the morpheme analysis based on the morpheme learning unit for learning the elements separated from the separation unit and the morphemes learned by the grapheme learning unit.

이때, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치는 상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산하는 벡터 평균 연산부를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the high-accuracy morpheme analysis apparatus for improving the quality of search in the Hangul natural language processing, after performing the morpheme analysis, after separating words that are not in the corpus dictionary into the grapheme unit , A vector averaging unit that converts the separated elements into vectors to calculate the average of the vectors may be further included.

특히, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치는 상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리하는 시계열 데이터 처리부를 더 포함할 수 있다.Particularly, according to an embodiment of the present invention, a high-accuracy morphological analysis device for improving the quality of search in the Hangul natural language processing combines N-grams and word embeddings of words separated by the phonetic units. A time series data processing unit that processes time series data in the morpheme analysis may be further included.

또한, 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 형태소 분석에서 자소 단위로 자소들을 분리하는 단계, CNN(Convolution Neural Network)을 이용하여 분리된 상기 자소들을 학습시키는 단계 및 학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시키는 단계를 포함한다.In addition, an operation method of a high-precision morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention uses a step of separating elements into units of morphemes in morpheme analysis, using Convolution Neural Network (CNN). And improving the efficiency of the morpheme analysis based on the learned elements.

이때, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the operation method of the high-precision morpheme analysis apparatus for improving the quality of search in the Hangul natural language processing, when performing the morpheme analysis, the words that are not in the corpus dictionary in the grapheme unit After separation, the method may further include calculating the average of the vectors by converting the separated elements into vectors.

특히, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리하는 단계를 더 포함할 수 있다.Particularly, according to an embodiment of the present invention, an operation method of a highly accurate morpheme analysis device for improving the quality of search in the Korean natural language processing is N-gram and word embedding of words separated into units. The combination may further include processing time series data in the morpheme analysis.

본 발명은 기존 말뭉치 사전에 존재하지 않는 단어들에 대하여 형태소 분석을 정확하게 처리할 수 없었던 한계점을 극복하는데 있어 자소 단위 형태소 분리 및 벡터들의 평균값을 이용해 형태소 분석의 정확도를 높일 수 있도록 지원할 수 있다.The present invention can support to improve the accuracy of the morpheme analysis by using the morpheme separation and the average value of the vectors in order to overcome the limitations in which the morpheme analysis cannot be accurately processed for words that do not exist in the existing corpus dictionary.

도 1은 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법을 도시한 순서도이다.1 is a diagram showing the structure of a highly accurate morphological analysis device for improving the quality of search in Korean natural language processing according to an embodiment of the present invention.
2 is a flowchart illustrating an operation method of a highly accurate morpheme analysis apparatus for improving the quality of search in Korean language processing according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It should be understood that these descriptions are not intended to limit the invention to specific embodiments, and include all modifications, equivalents, or substitutes included in the spirit and scope of the invention. In describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, have common knowledge in the technical field to which the present invention pertains. It has the same meaning as commonly understood by people who have it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.In this document, when it is said that a part "includes" a component, this means that other components may be further included rather than excluding other components, unless specifically stated to the contrary. In addition, in various embodiments of the present invention, each component, functional blocks, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic Circuits, integrated circuits, ASIC (Application Specific Integrated Circuit) may be implemented with various known devices or mechanical elements, each of which may be implemented separately or may be implemented by integrating two or more into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the steps of the blocks or flow charts of the accompanying block diagrams are computer program instructions that are mounted on a processor or memory of data processing equipment such as a general purpose computer, a special purpose computer, a portable notebook computer, and a network computer to perform designated functions. It can be interpreted as meaning. Since these computer program instructions can be stored in a memory provided in the computer device or in a computer readable memory, the functions described in the blocks of the block diagrams or steps of the flowchart are produced as an article containing the instruction means for performing them. It may be. In addition, each block or step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that, in some alternative embodiments, the functions mentioned in blocks or steps may be executed out of order. For example, two blocks or steps shown in succession may be performed substantially simultaneously, or may be performed in reverse order, and in some cases, some blocks or steps may be omitted.

도 1은 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 구조를 도시한 도면이다.1 is a diagram showing the structure of a highly accurate morpheme analysis apparatus for improving the quality of search in Korean language processing according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치(110)는 자소 분리부(111), 자소 학습부(112), 형태소 분석 향상부(113)를 포함한다.Referring to FIG. 1, the high-precision morpheme analysis apparatus 110 for improving the quality of search in Korean natural language processing according to the present invention includes a grapheme separation unit 111, a grapheme learning unit 112, and a morpheme analysis enhancement unit 113 ).

자소 분리부(111)는 형태소 분석에서 자소 단위로 자소들을 분리한다.The grapheme separation unit 111 separates grapheme units into grapheme units in morpheme analysis.

자소 학습부(112)는 CNN(Convolution Neural Network)을 이용하여 자소 분리부(111)에서 분리된 상기 자소들을 학습시킨다.The grapheme learning unit 112 trains the graphemes separated from the grapheme separation unit 111 using a convolution neural network (CNN).

여기서, CNN(Convolution Neural Network) 기법 외에 LSTM(Long Short-Term Memory) 기법이 이용될 수도 있다.Here, a Long Short-Term Memory (LSTM) technique may be used in addition to the Convolution Neural Network (CNN) technique.

형태소 분석 향상부(113)는 자소 학습부(112)에 의해 학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시킨다.The morpheme analysis enhancement unit 113 improves the efficiency of the morpheme analysis based on the elements learned by the morpheme learning unit 112.

또한, 본 발명의 일실시예에 따르면, 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치(110)는 벡터 평균 연산부(114)를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the morphological analysis device 110 with high accuracy for improving the quality of search in Korean natural language processing may further include a vector averaging unit 114.

벡터 평균 연산부(114)는 상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산한다.When performing the morpheme analysis, the vector averaging unit 114 separates words that are not in the corpus dictionary into the grapheme unit, converts the separated graphemes into vectors, and calculates the average of the vectors.

여기서, 말뭉치 사전에 존재하지 않는 단어뿐만 아니라 오타들도 포함될 수 있으며, 상기 연산된 벡터들의 평균을 이용하여 기존의 단어와 유사한 벡터를 구할 수 있다.Here, as well as words that do not exist in the corpus dictionary, typos may be included, and a vector similar to the existing word may be obtained by using the average of the calculated vectors.

또한, 본 발명의 일실시예에 따르면, 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치(110)는 시계열 데이터 처리부(115)를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the high-precision morpheme analysis device 110 for improving the quality of search in Hangul natural language processing may further include a time series data processing unit 115.

시계열 데이터 처리부(115)는 상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리한다.The time series data processing unit 115 combines N-grams and word embeddings of words separated by the grapheme unit to process time series data in the morpheme analysis.

도 2는 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법을 도시한 순서도이다.2 is a flowchart illustrating an operation method of a highly accurate morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention.

단계(S210)에서는 형태소 분석에서 자소 단위로 자소들을 분리한다.In step S210, in the morpheme analysis, the elements are separated in units of elements.

단계(S220)에서는 CNN(Convolution Neural Network)을 이용하여 분리된 상기 자소들을 학습시킨다.In step S220, the separated elements are trained using a convolution neural network (CNN).

단계(S230)에서는 학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시킨다.In step S230, the efficiency of the morpheme analysis is improved based on the learned elements.

이때, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the operation method of the high-precision morpheme analysis apparatus for improving the quality of search in the Hangul natural language processing, when performing the morpheme analysis, the words that are not in the corpus dictionary in the grapheme unit After separation, the method may further include calculating the average of the vectors by converting the separated elements into vectors.

이때, 본 발명의 일실시예에 따르면, 상기 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the operation method of the high-precision morpheme analysis apparatus for improving the quality of search in the Hangul natural language processing is N-gram and word embedding of words separated into units. The combination may further include processing time series data in the morpheme analysis.

이상, 도 2를 참조하여 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 도 1을 이용하여 설명한 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, with reference to FIG. 2, an operation method of a highly accurate morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention has been described. Here, the operation method of the high-precision morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention is high-accuracy morpheme for improving the quality of search in Korean natural language processing described with reference to FIG. Since it may correspond to the configuration of the operation of the analysis device 110, a detailed description thereof will be omitted.

본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.An operation method of a high-precision morpheme analysis apparatus for improving the quality of search in Korean language processing according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through combination with a computer.

또한, 본 발명의 일실시예에 따른 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operation method of the high-precision morpheme analysis apparatus for improving the quality of search in Korean natural language processing according to an embodiment of the present invention is implemented in the form of program instructions that can be performed through various computer means to a computer-readable medium Can be recorded. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes made by a compiler.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific matters such as specific components, etc., and by limited embodiments and drawings, which are provided to help the overall understanding of the present invention, but the present invention is not limited to the above embodiments , Anyone having ordinary knowledge in the field to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, and all claims that are equivalent or equivalent to the scope of the claims as well as the claims described below will be included in the scope of the spirit of the invention. .

110: 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치
111: 자소 분리부 112: 자소 학습부
113: 형태소 분석 향상부 114: 벡터 평균 연산부
115: 시계열 데이터 처리부110: High-accuracy morpheme analysis device for improving search quality in Hangul natural language processing
111: grapheme separation section 112: grapheme learning section
113: morpheme analysis enhancement unit 114: vector average operation unit
115: time series data processing unit

Claims (8)

형태소 분석에서 자소 단위로 자소들을 분리하는 자소 분리부;
CNN(Convolution Neural Network)을 이용하여 상기 자소 분리부에서 분리된 상기 자소들을 학습시키는 자소 학습부; 및
상기 자소 학습부에 의해 학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시키는 형태소 분석 향상부
를 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치.A grapheme separating unit separating grapheme units by grapheme in morpheme analysis;
A grapheme learning unit for learning the grapheme separated from the grapheme separation unit using a convolution neural network (CNN); And
A morpheme analysis enhancement unit that improves the efficiency of the morpheme analysis based on the elements learned by the grapheme learning unit
A morpheme analysis device with high accuracy for improving the quality of search in Korean language processing, including 제1항에 있어서,
상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산하는 벡터 평균 연산부
를 더 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치.According to claim 1,
When performing the morpheme analysis, the vector averaging unit calculates the average of the vectors by separating words that are not in the corpus dictionary into the grapheme unit and converting the separated graphemes into vectors.
A high-precision morpheme analysis device for improving the quality of search in Korean language processing further comprising a. 제2항에 있어서,
상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리하는 시계열 데이터 처리부
를 더 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치.According to claim 2,
Time-series data processing unit that processes time series data in the morpheme analysis by combining N-gram and word embedding of words separated by the phoneme unit
A high-precision morpheme analysis device for improving the quality of search in Korean language processing further comprising a. 형태소 분석에서 자소 단위로 자소들을 분리하는 단계;
CNN(Convolution Neural Network)을 이용하여 분리된 상기 자소들을 학습시키는 단계; 및
학습된 자소들을 기초로 상기 형태소 분석의 효율을 향상시키는 단계
를 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법.Separating graphemes into grapheme units in morpheme analysis;
Learning the separated elements using a convolution neural network (CNN); And
Improving the efficiency of the morpheme analysis based on the learned elements
Method of operating a high-accuracy morpheme analysis device for improving the quality of search in Korean language processing including a. 제4항에 있어서,
상기 형태소 분석을 수행할 때, 말뭉치 사전에 없는 단어를 상기 자소 단위로 분리한 후, 분리된 자소들을 벡터들로 변환하여 상기 벡터들의 평균을 연산하는 단계
를 더 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법.According to claim 4,
When performing the morpheme analysis, separating words that are not in the corpus dictionary into the grapheme unit, and then converting the separated graphemes into vectors to calculate the average of the vectors
Method of operating a high-precision morpheme analysis apparatus for improving the quality of search in Korean language processing further comprising a. 제5항에 있어서,
상기 자소 단위로 분리한 단어의 N-gram과 단어 임베딩(Word Embedding)을 결합하여 상기 형태소 분석에서의 시계열 데이터(Time Series Data)를 처리하는 단계
를 더 포함하는 한글 자연어 처리에서 검색의 품질을 향상시키기 위한 정확도 높은 형태소 분석 장치의 동작 방법.The method of claim 5,
Processing time series data in the morpheme analysis by combining word embedding and N-grams of words separated by the grapheme unit
Method of operating a high-precision morpheme analysis apparatus for improving the quality of search in Korean language processing further comprising a. 제4항 내지 제6항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a computer program for executing the method of any one of claims 4 to 6 through coupling with a computer. 제4항 내지 제6항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium for executing the method of any one of claims 4 to 6 through combination with a computer.
KR1020180169481A 2018-12-26 2018-12-26 Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof KR20200084945A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180169481A KR20200084945A (en) 2018-12-26 2018-12-26 Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169481A KR20200084945A (en) 2018-12-26 2018-12-26 Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof

Publications (1)

Publication Number Publication Date
KR20200084945A true KR20200084945A (en) 2020-07-14

Family

ID=71526630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169481A KR20200084945A (en) 2018-12-26 2018-12-26 Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof

Country Status (1)

Country Link
KR (1) KR20200084945A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405831B1 (en) * 2021-01-26 2022-06-08 주식회사 댈류 Computer-readable Recording Media recorded with Search Engine Program providing Correction of Search Result
KR20220107684A (en) * 2021-01-26 2022-08-02 주식회사 댈류 Computer-readable Recording Media recorded with Search Engine Program providing Prompt Response

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405831B1 (en) * 2021-01-26 2022-06-08 주식회사 댈류 Computer-readable Recording Media recorded with Search Engine Program providing Correction of Search Result
KR20220107684A (en) * 2021-01-26 2022-08-02 주식회사 댈류 Computer-readable Recording Media recorded with Search Engine Program providing Prompt Response

Similar Documents

Publication Publication Date Title
US9449599B2 (en) Systems and methods for adaptive proper name entity recognition and understanding
US8868431B2 (en) Recognition dictionary creation device and voice recognition device
US9582489B2 (en) Orthographic error correction using phonetic transcription
US10319373B2 (en) Information processing device, information processing method, computer program product, and recognition system
JP6251958B2 (en) Utterance analysis device, voice dialogue control device, method, and program
JP5599662B2 (en) System and method for converting kanji into native language pronunciation sequence using statistical methods
CN107729313B (en) Deep neural network-based polyphone pronunciation distinguishing method and device
JP4930379B2 (en) Similar sentence search method, similar sentence search system, and similar sentence search program
CN113380223B (en) Method, device, system and storage medium for disambiguating polyphone
CN111611349A (en) Voice query method and device, computer equipment and storage medium
JP6599219B2 (en) Reading imparting device, reading imparting method, and program
JP6301664B2 (en) Conversion device, pattern recognition system, conversion method and program
JP2018077440A (en) Voice recognition device, voice recognition method and program
KR20200084945A (en) Morpheme analysis apparatus with high accuracy to improve quality of search in korean natural language processing and operating method thereof
EP3005152B1 (en) Systems and methods for adaptive proper name entity recognition and understanding
KR101483947B1 (en) Apparatus for discriminative training acoustic model considering error of phonemes in keyword and computer recordable medium storing the method thereof
JP5436307B2 (en) Similar document search device
KR102299269B1 (en) Method and apparatus for building voice database by aligning voice and script
US11080488B2 (en) Information processing apparatus, output control method, and computer-readable recording medium
KR101869016B1 (en) Method and apparatus for extracting character
JP5669707B2 (en) Similar document search device
JP6640618B2 (en) Language processing apparatus, method, and program
Rivera Automatic detection of code-switching in Arabic dialects
US20230143110A1 (en) System and metohd of performing data training on morpheme processing rules
KR102500106B1 (en) Apparatus and Method for construction of Acronym Dictionary