KR102049517B1 - 제한된 신경망을 이용한 선형 시간 복잡도를 갖는 한국어 형태소 분석 방법 및 이를 기록한 기록매체 - Google Patents

Abstract

본 발명의 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 기반으로 하는 한국어 형태소 분석 시스템에서의 한국어 형태소 분석 방법에서, 한국어로 된 문장에 대해 어텐션 메커니즘(attention mechanism)을 적용하여, 입력열이 세로열에 위치하고 출력열이 가로열에 위치하며, 대각선 방향으로 어텐션 웨이트(attention weight)가 표시된 정보 집중도가 미리 저장되어 있다고 할 때, 문장이 입력되면, 입력된 문장에 대한 정보 집중도에서 어텐션 웨이트가 가장 큰 위치인 집중 위치를 1 증가한 위치로 이동시키기 위한 스텝 액션을 출력열에 추가하는 단계, 신경망을 이용하여, 상기 입력된 문장에 대한 정보 집중도에서 입력열의 첫 단어부터 집중 위치를 중심으로 소정 크기를 갖는 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하는 단계 및 상기 입력된 문장의 마지막 단어까지 연산이 수행되면 연산을 종료하는 단계를 포함한다. 본 발명에 의하면, 상대적으로 긴 문장의 형태소 분석에 있어서도 연산 시간을 줄이고 빠른 처리 속도를 구현한다는 효과가 있다.

Description

제한된 신경망을 이용한 선형 시간 복잡도를 갖는 한국어 형태소 분석 방법 및 이를 기록한 기록매체{Korean morphological analysis having linear time complexity, using limited neural network, and recording medium thereof}

본 발명은 한국어 형태소 분석에 관한 것으로서, 더욱 상세하게는 제한된 신경망을 이용한 한국어 형태소 분석 기술에 관한 것이다.

형태소는 언어학에서 의미를 갖는 최소의 단위이다. 한국어 형태소 분석은 한국어로 된 문장을 형태소 단위로 나누는 형태소 분리, 분리된 형태소의 원형을 찾는 원형 복원, 해당 형태소의 품사 정보를 지칭하는 품사 부탁 등의 모든 작업을 말한다.

한국어 형태소 분석은 한국어 자연어 처리 중 하나로서, 형태소 분리, 품사 태깅, 원형 복원 등의 여러 단계를 거쳐 분석을 하게 되어 난이도가 높은 작업에 속한다.

최근 딥 러닝의 모델 중 하나인 시퀀스 투 시퀀스(sequence-to-sequence) 모델의 등장으로 기계번역 문제를 열 생성 문제로 바꾸어, 복잡한 작업 없이 엔드 투 엔드(End-to-end) 방식으로 해결하는 연구들이 진행되고 있다. 이는 기계번역 이외의 출력열을 생성하는 자연어처리의 문제들에 대해서도 시퀀스 투 시퀀스(sequence-to sequence) 모델을 적용할 수 있으며 이를 이용한 다양한 시도들이 있다.

시퀀스 투 시퀀스 모델은 연속적인 입력을 받는 서로 다른 RNN(Recurrent Neural Network)을 사용하여 입력열을 인코딩하여 출력열을 디코딩하는 모델로서, 형태소 분석이 될 한국어 문장을 입력으로 하여 형태소 분석이 된 문장을 출력하는 엔드 투 엔드 방식의 한국어 형태소 분석이 가능하다.

그러나, 이러한 시퀀스 투 시퀀스 모델은 입력열의 정보를 고정된 길이로 인코딩 하는 문제점이 있어서, 모델은 높은 성능을 내기 위해 어텐션 메커니즘(attention mechanism), 카핑 메커니즘(copying mechanism) 등을 사용하는데, 이러한 기술들은 출력 단어를 생성할때 마다 입력열 전체에 대한 매트릭스(matrix) 연산을 수행하게 됨으로써, 시퀀스 투 시퀀스(sequence-to-sequence) 모델에서 입력열의 길이 n에 대해O(n²)의 시간복잡도를 갖게 되므로, 상대적으로 긴 문장의 형태소 분석을 시도하는 경우, 연산 처리 시간이 모래 걸린다는 문제점이 있다.

대한민국 공개특허 10-2015-0029304

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 시퀀스 투 시퀀스 모델을 이용한 엔드 투 엔드 방식의 한국어 형태소 분석 모델에서 어텐션 메터니즘과 카핑 메커니즘 기술의 연산 범위에 제약을 두어, 입력 길이 n에 대해 선형 시간복잡도 O(n)을 갖는 형태소 분석 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 기반으로 하는 한국어 형태소 분석 시스템에서의 한국어 형태소 분석 방법에서, 한국어로 된 문장에 대해 어텐션 메커니즘(attention mechanism)을 적용하여, 입력열이 세로열에 위치하고 출력열이 가로열에 위치하며, 대각선 방향으로 어텐션 웨이트(attention weight)가 표시된 정보 집중도가 미리 저장되어 있다고 할 때, 문장이 입력되면, 입력된 문장에 대한 정보 집중도에서 어텐션 웨이트가 가장 큰 위치인 집중 위치를 1 증가한 위치로 이동시키기 위한 스텝 액션을 출력열에 추가하는 단계, 신경망을 이용하여, 상기 입력된 문장에 대한 정보 집중도에서 입력열의 첫 단어부터 집중 위치를 중심으로 소정 크기를 갖는 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하는 단계 및 상기 입력된 문장의 마지막 단어까지 연산이 수행되면 연산을 종료하는 단계를 포함한다.

상기 스텝 액션을 출력열에 추가하는 단계에서, 상기 입력된 문장에 대한 정보 집중도에서 어느 출력 단어와 이전 출력 단어 사이에 집중 위치가 증가한 경우, 해당 단어 사이에 스텝 액션을 추가할 수 있다.

상기 스텝 액션을 출력열에 추가하는 단계에서, 상기 입력된 문장에 대한 정보 집중도에서 어느 출력 단어와 이전 출력 단어 사이에 집중 위치가 증가한 경우, 증가한 칸에 해당하는 개수만큼 해당 단어 사이에 스텝 액션을 추가할 수 있다.

상기 형태소 분석 연산을 수행하는 단계에서, 상기 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하되, 출력열이 스텝 액션이면 집중 위치를 1증가시켜서 윈도우의 위치를 이동시키고, 그 외에는 윈도우의 위치를 유지할 수 있다.

상기 신경망은 어텐션 메커니즘 또는 카핑 메커니즘(copying mechanism)일 수 있다.

본 발명에 의하면, 시퀀스 투 시퀀스 모델을 이용한 엔드 투 엔드 방식의 한국어 형태소 분석 모델에서, 어텐션 메터니즘과 카핑 메커니즘 기술 등의 연산 범위에 제약을 두어, 입력 길이 n에 대해 선형의 시간복잡도 O(n)을 갖도록 함으로써, 상대적으로 긴 문장의 형태소 분석에 있어서도 연산 시간을 줄이고 빠른 처리 속도를 구현한다는 효과가 있다. 특히, 본 발명은 GPU를 사용할 수 없는 환경에서도 빠른 처리속도를 보일 수 있을 것으로 기대된다.

도 1은 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 나타낸 개념도이다.
도 2는 시퀀스 투 시퀀스 모델에서 어텐션 메커니즘과 카핑 메커니즘이 적용된 것을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 한국어 형태소 분석 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 시퀀스 투 시퀀스 모델을 이용한 엔드 투 엔드 방식의 한국어 형태소 분석예이다.
도 5는 본 발명의 일 실시예에 따른 디코딩 시간에 입력열에서 집중 위치를 스텝 액션(step action)을 이용하여 이동시키는 아키텍처의 예이다.
도 6은 본 발명의 일 실시예에 따른 로컬 어텐션 메커니즘(Local attention mechanism)이 적용된 한국어 형태소 분석 모델의 실시예이다.
도 7은 본 발명의 일 실시예에 따른 제한된 어텐션 메커니즘이 적용된 한국어 형태소 분석 모델의 정보 집중도를 예시한 도면이다.
도 8은 모델 별 형태소 분석 성능을 나타낸 도표이다.
도 9는 모델 별 입출력 길이 및 걸린 시간을 나타낸 도표이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 나타낸 개념도이다.

도 1을 참조하면, 시퀀스 투 시퀀스 모델은 딥 러닝(deep learning) 모델의 하나로서, 인코더(10) 및 디코더(20)에서 RNN(Recurrent Neural Network)을 사용하여 입력열의 길이를 다른 출력열로 변환하는 모델이며, 단일 신경만 구조만을 사용하는 엔드 투 엔드(end-to-end) 방식의 모델이다.

도 2는 시퀀스 투 시퀀스 모델에서 어텐션 메커니즘과 카핑 메커니즘이 적용된 것을 나타낸 개념도이다. 도 2에서 시퀀스 투 시퀀스 모델에서 어텐션 메커니즘(attention mechanism)과 카핑 메커니즘(copying mechanism)이 적용되는 방식을 보여준다.

본 발명은 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 기반으로 하는 한국어 형태소 분석 시스템에서의 한국어 형태소 분석 방법에 대한 것이다.

본 발명에서 한국어 형태소 분석 방법을 수행하는 주체는 한국어 형태소 분석 방법을 수행하는 인코더 및 디코더를 포함하는 제반 시스템이라고 할 수 있으며, 또는 한국어 형태소 분석 방법을 수행하는 시스템 또는 장치를 전반적으로 제어하는 제어부나 프로세서(processor)일 수 있다. 즉, 본 발명의 한국어 형태소 분석 방법은 일종의 소프트웨어인 알고리즘으로 구성될 수 있으며, 소프트웨어는 한국어 형태소 분석을 수행하는 시스템, 장치의 제어부 또는 프로세서(processor)에서 실행될 수 있다.

본 발명의 한국어 형태소 분석 방법은, 한국어로 된 문장에 대해 어텐션 메커니즘(attention mechanism)을 적용하여, 입력열이 세로열에 위치하고 출력열이 가로열에 위치하며, 대각선 방향으로 어텐션 웨이트(attention weight)가 표시된 정보 집중도가 미리 저장되어 있음을 전제로 한다.

도 3은 본 발명의 일 실시예에 따른 한국어 형태소 분석 방법을 보여주는 흐름도이다.

도 3을 참조하면, 본 발명의 한국어 형태소 분석 방법은, 문장이 입력되면(S310), 입력된 문장에 대한 정보 집중도에서 어텐션 웨이트가 가장 큰 위치인 집중 위치를 1 증가한 위치로 이동시키기 위한 스텝(step) 액션(action)을 출력열에 추가한다(S320).

그리고, 신경망을 이용하여, 입력된 문장에 대한 정보 집중도에서 입력열의 첫 단어부터 집중 위치를 중심으로 소정 크기를 갖는 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행한다(S330). 본 발명에서 신경망은 어텐션 메커니즘(attention mechanism) 또는 카핑 메커니즘(copying mechanism)일 수 있다.

그리고, 입력된 문장의 마지막 단어까지 연산이 수행되면 형태소 분석 연산을 종료한다(S340).

본 발명의 일 실시예에서 스텝 액션을 출력열에 추가하는 단계(S320)에서, 입력된 문장에 대한 정보 집중도에서 어느 출력 단어와 이전 출력 단어 사이에 집중 위치가 증가한 경우, 해당 단어 사이에 스텝 액션을 추가한다. 이때, 증가한 칸에 해당하는 개수만큼 해당 단어 사이에 스텝 액션을 추가할 수 있다.

본 발명의 일 실시예에서 형태소 분석 연산을 수행하는 단계(S330)에서, 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하되, 출력열이 스텝 액션이면 집중 위치를 1증가시켜서 윈도우의 위치를 이동시키고, 그 외에는 윈도우의 위치를 유지한다.

도 4는 본 발명의 일 실시예에 따른 시퀀스 투 시퀀스 모델을 이용한 엔드 투 엔드 방식의 한국어 형태소 분석예이다.

도 4를 참조하면, 입력 문장은 '오늘 경기에서도 정말 잘했다'이고, 모델에 입력되는 입력열과, 모델에서 출력되는 출력열과, 형태소 분석 결과 문자열이 도시되어 있다.

도 5는 본 발명의 일 실시예에 따른 디코딩 시간에 입력열에서 집중 위치를 스텝 액션(step action)을 이용하여 이동시키는 아키텍처의 예이다.

도 5를 참조하면, 본 발명에서는 먼저 시퀀스 투 시퀀스 모델의 출력열에 ‘<step>' 이라는 액션을 추가하고, 이 '<step>' 액션은 출력단어 생성시 입력열에서 집중하는 위치를 움직이는 액션으로서, 그 외의 단어 생성시에는 위치를 움직이지 않는다. 이때 집중하는 위치가 한쪽 방향으로만 움직인다고 가정하여 '<step>' 액션을 생성시 해당 출력 단어를 생성할 때의 집중하는 위치를 1 증가시키게 된다.

도 6은 본 발명의 일 실시예에 따른 로컬 어텐션 메커니즘(Local attention mechanism)이 적용된 한국어 형태소 분석 모델의 실시예이다.

도 6에서 입력열에서 어텐션 메커니즘(attention mechanism)과 카핑 메커니즘(copying mechanism)을 집중할 위치(p)를 기준으로 지정된 윈도우 크기(d)만큼의 범위만을 계산한다. 이에 대한 상세한 수식은 다음과 같다.

도 6에서 보는 바와 같이, 기존의 어텐션 메커니즘과 달리 컨텍스트 벡터(context vector)()를 구할 때, 입력열의 1부터 T까지의 범위가 아닌 p_n-d부터 p_n+d까지의 범위만을 계산하게 된다. 이는 카핑 메커니즘에도 동일하게 사용된다. 이때 디코딩 시간 n에서의 입력열에서 집중할 위치(p_n)는 이전 디코딩 시간의 출력단어가 '<step>'인 경우에 이전시간의 위치에서 1을 증가시키고, 아닌 경우에는 그대로 사용하게 된다.

도 7은 본 발명의 일 실시예에 따른 제한된 어텐션 메커니즘이 적용된 한국어 형태소 분석 모델의 정보 집중도를 예시한 도면이다.

도 7에서 (a)는 입력 문장인 '두 아이를 유치원에'에 대한 어텐션 메커니즘이 적용되어 어텐션 웨이트가 표시된 정보 집중도이고, (b)는 정보 집중도에서 출력열에 스텝 액션을 추가하는 과정을 도시한 것이다.

도 7 (a)에서 입력 문장의 입력 단어에 대해 각 출력 단어가 생성 될 때, 입력 단어 전체에서 어떤 단어를 얼마나 집중할 것인지에 대한 확률을 나타낸다. 여기서, 어느 출력 단어 생성시 확률이 가장 큰 위치인 집중 위치와, 이전 출력 단어의 집중 이치를 비교하여, 집중 위치가 증가할 경우, 해당 출력 단어 사이에 스텝 액션을 추가한다.

예를 들어, 도 7 (a)에서 출력 단어 '두'와 '아'를 비교하면 집중 위치가 2칸만큼 증가한 것을 알 수 있다. 따라서, 도 7 (b)에서 출력열의 '두'와 '아' 사이에 두 개의 스텝 액션이 추가된 것을 확인할 수 있다. 이런 식으로 본 발명에서는 스텝 액션을 추가하게 된다.

본 발명에서 제안한 모델의 성능을 평가하기 위한 실험과 그 결과를 설명하면 다음과 같다.

본 실험에서 세중 품사 태깅 코퍼스를 사용하였으며, 88,225 문장을 학습데이터로 사용하고, 9,185 문장을 사용하였으며, 평가데이터 중 1,000문장을 개발데이터로 사용하였다. 모델의 hidden layer의 차원은 1,000, word embedding의 차원은 모두 200, beam-size는 10으로 지정하였으며, 로컬 어텐션 메커니즘을 위한 윈도우 크기(window-size)는 2로 고정하였다.

도 8은 모델 별 형태소 분석 성능을 나타낸 도표이다.

도 8에서 Global 모델은 글로벌 어텐션 메커니즘(global attention mechanism)을 나타내고, Local 모델은 본 발명에서 제안한 액션(action) 기반 로컬 어텐션 메커니즘이 적용된 모델이다. Small은 hidden layer의 차원을 100, word embedding의 차원을 50까지 줄인 모델이며, KD는 Sequence-Level Knowledge Distillation을 적용한 모델이다.

실험 결과 로컬 모델의 성능이 하락하여 한국어 형태소 분석 시, 윈도우 크기 2만큼의 컨텍스트 정보 이외의 정보가 필요하다는 것을 확인할 수 있었으나, 본 발명에서 제안한 로컬 모델이 어텐션 메커니즘과 카핑 메커니즘을 유지한 채 시간복잡도 O(n)의 한국어 형태소 분석을 시도하여, 성능저하를 최소화 한 것을 볼 수 있다.

본 발명에서 제안하는 액션 기반 로컬 어텐션 메커니즘(local attention mechanism)이 적용된 모델의 처리속도 측정을 위해, 평가데이터에서 10문장을 임의로 추출하여 beam-size 10의 처리속도를 CPU의 단일 스레드 환경에서 측정하였으며, 그 결과는 도 9와 같다.

도 9는 모델 별 입출력 길이 및 걸린 시간을 나타낸 도표이다.

도 9를 참조하면, 출력된 10문장의 평균 길이가 글로벌 모델은 115.6음절이고, 로컬 모델은 188.8음절이다. 이는 로컬 모델의 경우 출력열에 '<step>' 액션이 추가되어 생긴 차이이며, 글로벌 모델과 로컬 모델의 문장당 소요 시간 차이는 5배가량 차이가 난다. 그리고, 이를 생성단어(음절)당으로 바꾸면 로컬 모델이 글로벌 모델에 비해 순수하게 8배가량 빠른 것을 확인할 수 있다.

한편, 본 발명의 실시예에 따른 한국어 형태소 분석 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 포함된다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

10 인코더 20 디코더

Claims (7)

1. 시퀀스 투 시퀀스(sequence-to-sequence) 모델을 기반으로 하는 한국어 형태소 분석 시스템에서의 한국어 형태소 분석 방법에서,
   한국어로 된 문장에 대해 어텐션 메커니즘(attention mechanism)을 적용하여, 입력열이 세로열에 위치하고 출력열이 가로열에 위치하며, 대각선 방향으로 어텐션 웨이트(attention weight)가 표시된 정보 집중도가 미리 저장되어 있다고 할 때,
   문장이 입력되면, 입력된 문장에 대한 정보 집중도에서 어텐션 웨이트가 가장 큰 위치인 집중 위치를 1 증가한 위치로 이동시키기 위한 스텝 액션을 출력열에 추가하는 단계;
   신경망을 이용하여, 상기 입력된 문장에 대한 정보 집중도에서 입력열의 첫 단어부터 집중 위치를 중심으로 소정 크기를 갖는 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하는 단계; 및
   상기 입력된 문장의 마지막 단어까지 연산이 수행되면 연산을 종료하는 단계를 포함하며,
   상기 스텝 액션을 출력열에 추가하는 단계에서,
   상기 입력된 문장에 대한 정보 집중도에서 어느 출력 단어와 이전 출력 단어 사이에 집중 위치가 증가한 경우, 해당 단어 사이에 스텝 액션을 추가하는 것을 특징으로 하는 한국어 형태소 분석 방법.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 스텝 액션을 출력열에 추가하는 단계에서,
   상기 입력된 문장에 대한 정보 집중도에서 어느 출력 단어와 이전 출력 단어 사이에 집중 위치가 증가한 경우, 증가한 칸에 해당하는 개수만큼 해당 단어 사이에 스텝 액션을 추가하는 것을 특징으로 하는 한국어 형태소 분석 방법.
   
4. 청구항 1에 있어서,
   상기 형태소 분석 연산을 수행하는 단계에서,
   상기 윈도우만큼의 범위에 대해서만 형태소 분석 연산을 수행하되, 출력열이 스텝 액션이면 집중 위치를 1증가시켜서 윈도우의 위치를 이동시키고, 그 외에는 윈도우의 위치를 유지하는 것을 특징으로 하는 한국어 형태소 분석 방법.
   
5. 청구항 1에 있어서,
   상기 신경망은 어텐션 메커니즘인 것임을 특징으로 하는 한국어 형태소 분석 방법.
   
6. 청구항 1에 있어서,
   상기 신경망은 카핑 메커니즘(copying mechanism)인 것임을 특징으로 하는 한국어 형태소 분석 방법.
   
7. 청구항 1, 청구항 3 내지 청구항 6 중 어느 한 청구항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
   

Images