KR101414171B1 - 전자 문서 모델링 방법 및 그 전자 장치 - Google Patents

전자 문서 모델링 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR101414171B1
KR101414171B1 KR1020130167584A KR20130167584A KR101414171B1 KR 101414171 B1 KR101414171 B1 KR 101414171B1 KR 1020130167584 A KR1020130167584 A KR 1020130167584A KR 20130167584 A KR20130167584 A KR 20130167584A KR 101414171 B1 KR101414171 B1 KR 101414171B1
Authority
KR
South Korea
Prior art keywords
frame
semantic
similarity
similarity value
semantic frame
Prior art date
Application number
KR1020130167584A
Other languages
English (en)
Inventor
김형설
런샹
왕츠
손이저우
Original Assignee
주식회사 메쉬코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메쉬코리아 filed Critical 주식회사 메쉬코리아
Priority to KR1020130167584A priority Critical patent/KR101414171B1/ko
Application granted granted Critical
Publication of KR101414171B1 publication Critical patent/KR101414171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전자 문서를 모델링하기 위한 방법 및 장치가 제공된다. 전자 장치가 전자 문서를 모델링(modeling)하는 방법은, 전자 문서로부터 제 1 시멘틱 프레임(semantic frame) 및 제 2 시멘틱 프레임(semantic frame)을 획득하는 프레임 획득 단계 및 제 1 시멘틱 프레임과 제 2 시멘틱 프레임에 포함된 인자들(arguments)간의 유사도를 나타내는 내용 유사도 값(Content Similarity Value)을 결정하고, 제 1 시멘틱 프레임 주변의 기 설정된 수의 프레임들과 제 2 시멘틱 프레임 주변의 기 설정된 수의 프레임들 간의 유사도를 나타내는 컨텍스트 유사도 값(Context Similarity value)을 결정하며, 내용 유사도 값 및 컨텍스트 유사도 값에 기초하여, 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임 간의 프레임 유사도 값(Frame Similarity Value)을 결정하는 유사도 결정 단계를 포함한다.

Description

전자 문서 모델링 방법 및 그 전자 장치{Method for Modeling Electronic Document and Electronic Apparatus thereof}
본 발명은 전자 문서 모델링 방법 및 그 장치에 관한 것으로서, 보다 상세하게는, 전자 장치가 자연어를 포함하는 전자 문서를 이해하고 표현하기 위하여 문서를 분석하고 모델링하는 방법 및 장치에 관한 것이다.
전자 기기의 보급과 통신의 발달에 따라 방대한 양의 전자 문서를 전자 장치를 통해 이용할 수 있게 되었다. 방대한 양의 전자 문서를 사용자가 이용하기 위하여, 전자 기기는 문서의 주제를 파악하거나, 전자 문서를 클러스터링(clustering)하거나, 한 전자 문서와 유사한 다른 전자 문서를 검색하는 것과 같은 정보 검색(Information Retrieval)을 수행할 필요가 있다. 또한, 정보 검색을 전자 장치가 수행하기 위해서는 전자 문서에 포함된 정보를 전자 장치가 이해하고 표현하기 위해서는 전자 문서를 전자 장치가 이해할 수 있도록 모델링할 필요가 있다.
종래 시스템에서는 전자 장치가 자연어를 포함하는 전자 문서를 이해하고 모델링하기 위하여 전자 문서에 포함된 단어들이 전자 문서에서 언급되는 횟수를 카운팅하고, 동일한 단어가 많은 횟수로 언급된 문서일수록 각 문서의 유사도가 높은 것으로 판단하였다.
그러나, 이와 같이 각 문서를 모델링하는 경우, 단어가 사용된 문장의 의미나 전후 문맥상의 의미가 반영될 수 없으므로 정확한 모델링이 이루어지지 않는 문제가 있었다.
등록특허공보 제10-0717998호 및 공개특허공보 제10-2010-0084403호를 참조하면 관련된 기술들이 개시되어 있다.
본 발명의 일 실시 예는 자연어 처리를 이용하여 보다 정확도가 높은 정보 검색을 수행하기 위한 전자 문서 모델링 방법 및 전자 문서 모델링을 수행하는 전자 장치를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 전자 장치가 전자 문서를 모델링(modeling)하는 방법은, 전자 문서로부터 제 1 시멘틱 프레임(semantic frame) 및 제 2 시멘틱 프레임(semantic frame)을 획득하는 프레임 획득 단계 및 제 1 시멘틱 프레임과 제 2 시멘틱 프레임에 포함된 인자들(arguments)간의 유사도를 나타내는 내용 유사도 값(Content Similarity Value)을 결정하고, 제 1 시멘틱 프레임 주변의 기 설정된 수의 프레임들과 제 2 시멘틱 프레임 주변의 기 설정된 수의 프레임들 간의 유사도를 나타내는 컨텍스트 유사도 값(Context Similarity value)을 결정하며, 내용 유사도 값 및 컨텍스트 유사도 값에 기초하여, 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임 간의 프레임 유사도 값(Frame Similarity Value)을 결정하는 유사도 결정 단계를 포함할 수 있다.
또한, 다른 실시 예에 따르면, 프레임 획득 단계는 의미역 결정 도구(semantic role labeling tool)를 이용하여 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임을 획득하는 단계 및 동사 논항구조(verb-argument structure)에 따라 구분되는 세 개의 인자(argument)를 포함하는 시멘틱 트리플릿(semantic triplet)으로 구성되도록 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임을 재구성하는 단계를 포함할 수 있다.
또한, 또 다른 실시 예에 따르면, 유사도 결정 단계는 내용 유사도 값을 전자 문서에 포함된 단어들에 대한 유사도를 나타내는 단어 유사도 값(Word Similarity Value)에 기초하여 업데이트하고, 컨텍스트 유사도 값을 프레임 유사도 값에 기초하여 업데이트하고, 업데이트된 내용 유사도 값 및 업데이트된 컨텍스트 유사도 값에 기초하여 프레임 유사도 값을 업데이트하며, 업데이트된 프레임 유사도 값에 기초하여 단어 유사도 값을 업데이트하는 단계를 포함할 수 있다.
또한, 또 다른 실시 예에 따르면, 유사도 결정 단계는 프레임 유사도 값을 업데이트하는 단계를 기 설정된 횟수만큼 반복하는 것을 특징으로 할 수 있다.
일 실시 예에 따른 전자 장치는, 전자 문서로부터 제 1 시멘틱 프레임(semantic frame) 및 제 2 시멘틱 프레임(semantic frame)을 획득하는 프레임 획득부 및 제 1 시멘틱 프레임과 제 2 시멘틱 프레임에 포함된 인자들(arguments) 간의 유사도를 나타내는 내용 유사도 값을 결정하고, 제 1 시멘틱 프레임 주변의 기 설정된 수의 프레임들과 제 2 시멘틱 프레임 주변의 기 설정된 수의 프레임들 간의 유사도를 나타내는 컨텍스트 유사도 값을 결정하며, 내용 유사도 값 및 컨텍스트 유사도 값에 기초하여, 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임 간의 프레임 유사도 값을 결정하는 유사도 결정부를 포함할 수 있다.
또한, 다른 실시 예에 따르면, 프레임 획득부는 의미역 결정 도구(semantic role labeling tool)를 이용하여 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임을 획득하고, 동사 논항구조(verb-argument structure)에 따라 구분되는 세 개의 인자(argument)를 포함하는 시멘틱 트리플릿(semantic triplet)으로 구성되도록 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임을 재구성할 수 있다.
또한, 또 다른 실시 예에 따르면, 유사도 결정부는 내용 유사도 값을 시멘틱 프레임에 포함되는 단어들에 대한 유사도를 나타내는 단어 유사도 값에 기초하여 업데이트하고, 컨텍스트 유사도 값을 프레임 유사도 값에 기초하여 업데이트하고, 업데이트된 내용 유사도 값 및 업데이트된 컨텍스트 유사도 값에 기초하여 프레임 유사도 값을 업데이트하며, 업데이트된 프레임 유사도 값에 기초하여 단어 유사도 값을 업데이트하는 것을 특징으로 할 수 있다.
또한, 또 다른 실시 예에 따르면, 유사도 결정부는 프레임 유사도 값을 기 설정된 횟수만큼 반복적으로 업데이트하는 것을 특징으로 할 수 있다.
일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는, 상기 기술된 방법을 실행하기 위한 프로그램이 기록된 것일 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 문서에 포함된 자연어의 의미를 파악하여 전자 문서를 모델링함으로써 보다 정확도가 높은 정보 검색을 수행할 수 있다.
도 1은 일 실시 예에 따라 전자 문서를 표현하는 프로세스를 도시한 개념도이다.
도 2는 일 실시 예에 따른 전자 장치의 구조를 간단히 도시한 구조도이다.
도 3은 일 실시 예에 따라 전자 문서를 모델링하는 프로세스를 도시한 순서도이다.
도 4는 일 실시 예에 따라 문서로부터 프레임을 추출하는 프로세스를 도시한 개념도이다.
도 5는 일 실시 예에 따른 시멘틱 텍스트 정보 네트워크(Semantic Text Information Network)에 대한 메타 스키마(Meta-Schema)를 도시한 개념도이다.
도 6은 일 실시 예에 따라 개선된 프레임 유사도 행렬을 획득하는 프로세스를 도시한 개념도이다.
도 7은 일 실시 예에 따른 프레임 유사도 행렬을 도시한 개념도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 단수의 표현은 다른 기재사항이 없는 이상 복수의 표현을 포함한다. 또한, 본 명세서에서 사용되는 장치의 구성요소는 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드 코드(embedded code) 및 애플리케이션 소프트웨어일 수 있다. 또한, 하드웨어는, 예를 들어, 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스 또는 그 조합일 수 있다.
명세서 전체에서, 전자 문서란 컴퓨터 등 정보처리능력을 가진 장치에 의하여 전자적인 형태로 작성되어 송수신되거나 저장될 수 있는 문서 형식의 자료를 의미한다.
명세서 전체에서, 시맨틱 프레임(Semantic Frame)이란, 문장 내에서 이벤트(event), 관계(relation) 또는 주체(entity) 및 관계자(participants)의 유형을 기술하는 동사 논항구조(verb-argument structure)를 의미한다.
명세서 전체에서, 유사도 값은 두 시멘틱 프레임 또는 두 단어 간의 유사한 정도를 수치로 표현하는 정보를 의미한다. 또한, 유사도 값이 행렬에 포함된다는 것은 유사도 값이 행렬의 성분임을 의미한다.
첨부된 도면은 본 발명의 실시 예에 설명하기 위하여 개략적으로 도시될 수 있으며, 치수는 설명의 편의를 위하여 과장될 수 있다. 이와 유사하게, 도면의 상당 부분은 임의로 표현될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따라 전자 문서를 표현하는 프로세스를 도시한 개념도이다.
일 실시 예에 따른 전자 장치는 동일 주제의 문서 집합(corpus)(100)이 주어진 경우, 문서 집합(100)에 포함된 텍스트로부터 시멘틱 프레임(Semantic Frame)을 추출할 수 있다. 일 실시 예에 따르면, 전자 장치는 의미역 결정(Semantic Role Labeling)을 이용하여 시멘틱 프레임을 추출할 수 있다.
또한, 일 실시 예에 따르면, 전자 장치는 추출된 시멘틱 프레임이 시멘틱 트리플릿(Semantic Triplet)으로 구성되도록 시멘틱 프레임의 인자(argument)를 재구성할 수 있다. 본 명세서에서, 시멘틱 트리플릿은 주어, 동사 및 목적어와 같이 동사 논항구조에 따라 구분되는 세 개의 인자로 구성되는 프레임을 의미한다.
또한, 전자 장치는 추출된 시멘틱 프레임에 기초하여 시멘틱 텍스트 정보 네트워크(Semantic Text Information Network)(110)를 구축할 수 있다. 본 명세서에서, 시멘틱 정보 네트워크(110)는 T(트리플릿들) 및 W(단어들) 두 형태의 객체 집합을 포함하는 그래프를 의미한다. 일 실시 예에 따른 시멘틱 정보 네트워크(110)의 구조는 도 5에서 보다 상세히 설명될 수 있다.
또한, 전자 장치는 시멘틱 텍스트 정보 네트워크(110)에 기초하여 유사도에 대한 정보를 획득할 수 있다. 여기서, 일 실시 예에 따르면 전자 장치는 프레임 유사도 행렬을 획득할 수 있다. 프레임 유사도 행렬은 프레임들 간의 유사한 정도를 나타내는 프레임 유사도 값을 포함한다. 전자 장치는 획득된 유사도에 대한 정초에 기초하여 시멘틱 프레임 또는 시멘틱 트리플릿을 클러스터(cluster)들(120)로 분류할 수 있다.
또한, 전자 장치는 클러스터들에 기초하여 문서들을 변환하고, 변환된 결과에 따라 문서를 표현(Document Representation)할 수 있다. 전자 장치는 이와 같이 모델링된 결과에 기초하여 유사한 전자 문서들을 검색할 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 구조를 간단히 도시한 구조도이다. 도 2는 일 실시 예를 설명하기 위한 도면이다. 본 발명에 따른 전자 장치는 도 2에 도시된 구성요소보다 많거나 적은 구성요소를 포함할 수 있으며, 도 2에 도시된 구성요소는 유사한 기능을 수행하는 다른 구성요소로 대체될 수 있다. 또한, 도 2에 도시된 구성요소는 하나의 구성요소로 구현되거나 보다 여러 개의 구성요소로 구현될 수도 있다.
전자 장치는 프로세서를 포함하며 데이터 처리가 가능한 장치를 의미한다. 예를 들어, 전자 장치는 데스크톱, 노트북(notebook) PC, 태블릿 PC, 스마트폰 및 PDA(Personal Digital Assistant)와 같은 형태의 장치로 구현될 수 있다. 일 실시 예에 따른 전자 장치는 프레임 획득부(210), 프레임 유사도 행렬 결정부(220) 및 유사도 결정부(230)를 포함할 수 있다.
프레임 획득부(210)는 전자 문서로부터 시멘틱 프레임을 획득할 수 있다. 일 실시 예에 따르면, 프레임 획득부(210)는 의미역 결정 도구(Semantic Role Labeling Tool)을 이용하여 시멘틱 프레임을 획득할 수 있다. 또한, 프레임 획득부(210)는 시멘틱 프레임이 동사 논항구조에 따라 구분되는 세 개의 인자로 구성된 시멘틱 트리플릿의 형태를 가지도록 시멘틱 프레임을 재구성할 수 있다.
프레임 유사도 행렬 결정부(220)는 시멘틱 프레임에 대한 내용 유사도 행렬(Content Similarity Matrix)를 결정할 수 있다. 여기서, 내용 유사도 행렬은 프레임에 포함된 내용에 기초하여 결정되는 두 시멘틱 프레임 간의 유사도 값에 대한 정보를 포함하는 행렬을 의미한다. 또한, 프레임 유사도 행렬 결정부(220)는 시멘틱 프레임 주변의 프레임들에 대한 컨텍스트 유사도 행렬(Context Similarity Matrix)을 결정할 수 있다. 여기서, 컨텍스트 유사도 행렬은 시멘틱 프레임 전후에 위치하는 시멘틱 프레임들 간의 유사도에 기초하여 결정되는 두 시멘틱 프레임 간의 유사도 값에 대한 정보를 포함하는 행렬을 의미한다. 또한, 프레임 유사도 행렬 결정부(220)는 두 프레임 간의 유사도 값에 대한 정보를 포함하는 프레임 유사도 행렬을 결정할 수 있다. 일 실시 예에 따르면, 프레임 유사도 행렬은 내용 유사도 행렬 및 컨텍스트 유사도 행렬에 기초하여 결정될 수 있다.
유사도 결정부(230)는 프레임 유사도 행렬에 기초하여 프레임 간의 프레임 유사도를 결정할 수 있다. 일 실시 예에 따르면, 프레임 유사도 행렬은 도 7에 도시된 바와 같은 형태를 가질 수 있다. 도 7에 도시된 바에 따르면, 유사도 결정부(230)는 프레임 ti와 프레임 tj간의 프레임 유사도가 0.8인 것으로 결정할 수 있다. 일 실시 예에 따르면, 유사도 결정부(230)는 프레임 유사도 행렬 결정부(220)를 포함하도록 구성될 수 있다.
도 3은 일 실시 예에 따라 전자 문서를 모델링하는 프로세스를 도시한 순서도이다.
먼저, 프레임 획득부는 전자 문서에 대한 문서 집합으로부터 시멘틱 프레임을 획득할 수 있다(S310). 프레임 획득부는 의미역 결정(Semantic Role Labeling; SRL)에 기초하여 전자 문서에 포함된 각 텍스트에 대해 의미역 태그(SRL tag)를 설정함으로써 전자 문서로부터 시멘틱 프레임을 획득할 수 있다.
일 실시 예에 따르면, 프레임 획득부는 도 4에 도시된 바와 같이 문서 집합에 포함된 문서(410)로부터 프레임(420)을 추출할 수 있다. 도 4는 일 실시 예에 따라 문서로부터 프레임을 추출하는 프로세스를 도시한 개념도이다. 프레임 획득부는 문서(410)에 포함된 텍스트에 대하여 A0, V, A1, A2, AM-TMP, AM-LOC 등과 같은 SRL 태그를 설정하고, 각 텍스트 간의 관계에 기초하여 프레임들(420-1, 420-2, 420-3)을 설정할 수 있다. 여기서, A0는 문장의 주어가 되는 텍스트를 의미한다. 또한, V는 문장의 동사가 되는 텍스트를 의미한다. A2는 다른 기타 인자(argument)들을 의미한다. A1은 문장의 목적어가 되는 텍스트를 의미한다. AM-TMP는 시간적 수식어를 의미하며, AM-LOC는 위치적 수식어를 의미한다.
또한, 일 실시 예에 따르면, 프레임 획득부는 시멘틱 프레임(420)의 인자(argument)들을 기 설정된 규칙에 따라 재구성하여 시멘틱 프레임들(420-1, 420-2, 420-3) 시멘틱 트리플릿(430)으로 재구성할 수 있다. 도 4에 도시된 바와 같이, 시멘틱 트리플릿들(430-1, 430-2, 430-3) 각각은 주어, 동사 및 목적어 각각에 상응하는 텍스트들의 묶음으로 구성될 수 있다. 도 4에서 S는 주어를 의미하며, V는 동사를 의미하고, O는 목적어를 의미한다.
또한, 일 실시 예에 따르면, 프레임 획득부는 도 5에 도시된 바와 같은 시멘틱 텍스트 정보 네트워크를 구출할 수 있다. 도 5는 일 실시 예에 따른 시멘틱 텍스트 정보 네트워크(Semantic Text Information Network)에 대한 메타 스키마(Meta-Schema)를 도시한 개념도이다. 도 5를 참조하면, 프레임 획득부는 문서(500)로부터 Ti-3, Ti-2, Ti-1, Ti, Ti+1, Ti+2 및 Ti+3과 같은 시멘틱 프레임들을 획득할 수 있다. 각 시멘틱 프레임들은 S:major, S:offshore, S:earthquake와 같은 주어, V:trigger와 같은 동사 및 O:small, O:tsnami와 같은 목적어를 포함하는 트리플릿으로 구성될 수 있다. 또한, 각 시멘틱 프레임들의 컨텐트로 S:major, S:offshore, S:earthquake, V:trigger, O:small, O:tsnami와 같은 인자(argument)들이 설정될 수 있다. 또한, 각 시멘틱 프레임에 대하여 기 설정된 윈도우 크기에 따라 시멘틱 프레임에 인접한 다른 시멘틱 프레임들이 시멘틱 프레임에 대한 컨텍스트(context)로 설정될 수 있다. 예를 들어, 도 5에서와 같이 윈도우 크기가 2인 경우, 시멘틱 프레임 Ti에 대한 컨텍스트는 시멘틱 프레임들 Ti-2, Ti-1, Ti+1, Ti+2가 될 수 있다.
도 2의 프레임 유사도 행렬 결정부(220)는 S310단계에서 획득된 시멘틱 프레임에 대한 프레임 유사도 행렬을 결정할 수 있다(S320). 프레임 유사도 행렬은 두 프레임 간의 유사도 값에 대한 정보를 포함하는 행렬을 의미한다. 프레임 유사도 행렬 결정부(220)는 시멘틱 프레임으로부터 윈도우 크기 이내에 포함된 프레임들 간의 유사도 값인 컨텍스트 유사도 값을 포함하는 컨텍스트 유사도 행렬을 결정할 수 있다. 또한, 프레임 유사도 행렬 결정부(220)는 시멘틱 프레임 에 포함된 인자들간의 유사도 값인 내용 유사도 값을 포함하는 내용 유사도 행렬을 결정할 수 있다. 또한, 프레임 유사도 행렬 결정부(220)는 내용 유사도 행렬 및 컨텍스트 유사도 행렬에 기초하여 시멘틱 프레임 간의 유사도 값인 프레임 유사도 값을 포함하는 프레임 유사도 행렬을 결정할 수 있다.
일 실시 예에 따른 프레임 유사도 행렬은 도 6에 도시된 프로세스에 기초하여 획득될 수 있다. 도 6은 일 실시 예에 따라 개선된 프레임 유사도 행렬을 획득하는 프로세스를 도시한 개념도이다.
도 6에서 sT (k)는 프레임 유사도 행렬을 의미한다. sTT (k)는 컨텍스트 유사도 행렬을 의미한다. sTW (k)는 컨텐트 유사도 행렬을 의미한다. sW (k)는 단어 유사도 행렬을 의미한다. 단어 유사도 행렬은 문서 또는 시멘틱 프레임들에 포함된 단어들 간의 유사도 행렬을 의미한다. 예를 들어, 단어 유사도 행렬의 ‘치킨’이라는 단어에 상응하는 행과 ‘통닭’이라는 단어에 상응하는 열에 문서에 포함된 ‘치킨’이라는 단어와 ‘통닭’이라는 단어의 유사도에 대한 정보가 포함될 수 있다. S310 단계에서 획득된 시멘틱 프레임들-또는 시멘틱 트리플릿들-의 수가
Figure 112013120769137-pat00001
이고, 문서 집합에 포함된 고유한 단어들(unique words)의 수가
Figure 112013120769137-pat00002
라고 할 때, 프레임 유사도 행렬, 컨텐트 유사도 행렬 및 컨텍스트 유사도 행렬은 크기가
Figure 112013120769137-pat00003
인 행렬이고, 단어 유사도 행렬은 크기가
Figure 112013120769137-pat00004
인 행렬으로 정의될 수 있다.
도 6을 참조하면, 먼저 각 유사도 행렬의 초기값인 sT (0), sTT (0), sTW (0), 및 sW (0)는 단위행렬으로 결정될 수 있다. 일 실시 예에 따르면, 프레임 유사도 행렬 결정부는 프레임 유사도 행렬, 컨텍스트 유사도 행렬, 컨텐트 유사도 행렬 및 단어 유사도 행렬을 k회 업데이트할 수 있다.
프레임 유사도 행렬에 포함된 프레임 Ti 및 Tj에 대한 유사도 값은 sT (k)(ti, tj)로 나타내어 질 수 있다. 프레임 유사도 행렬에 포함된 프레임 유사도 값 sT (k)(ti, tj)는 수학식 1에 기초하여 업데이트될 수 있다.
Figure 112013120769137-pat00005
Figure 112013120769137-pat00006
는 트레이드 오프 파라미터(trade-off parameter)로서 기 설정된 상수 값일 수 있다. 또한, C는 댐핑 계수(damping factor)로서, 일반적으로 기 설정된 0 이상 1 이하의 상수 값일 수 있다. 수학식 1을 참고하면, 프레임 유사도 행렬에 포함된 프레임 유사도 값은 내용 유사도 행렬 및 컨텍스트 유사도 행렬에 포함된 값에 기초하여 결정될 수 있다.
또한, k회 업데이트된 내용 유사도 행렬에 포함된 내용 유사도 값 sTW (k)(ti, tj)는 수학식 2에 기초하여 업데이트될 수 있다.
Figure 112013120769137-pat00007
Figure 112013120769137-pat00008
는 시멘틱 프레임-또는 시멘틱 트리플릿-ti 내에서의 단어 a의 출현 빈도를 의미한다.
Figure 112013120769137-pat00009
는 시멘틱 프레임-또는 시멘틱 트리플릿-서 내에서의 단어 b의 출현 빈도를 의미한다. NTW(ti)는 시멘틱 프레임 ti에 포함된 단어들의 집합을 의미한다. sW (k-1)(a,b)는 k회 업데이트 되기 이전의 단어 a 및 단어 b에 대한 단어 유사도 값을 의미한다. FTW(ti)는 시멘틱 트리플릿 ti 내에서의 전체 단어 수를 의미한다.
수학식 2를 행렬 형태(matrix form)으로 다시 쓰면 아래 수학식 3과 같다.
Figure 112013120769137-pat00010
행렬 D는 크기가
Figure 112013120769137-pat00011
인 행렬으로 정의될 수 있다. 행렬의 성분 D(i,j)는 fti , wj/FTW(ti)로 정의될 수 있다. SW (k-1)은 k-1회 업데이트된 단어 유사도 행렬을 의미한다.
수학식 2 및 수학식 3을 참고하면, 내용 유사도 행렬은 단어 유사도 행렬에 기초하여 업데이트될 수 있다.
또한, k회 업데이트된 컨텍스트 유사도 행렬에 포함된 컨텍스트 유사도 값 sTT (k)(ti, tj) 는 아래 수학식 4에 기초하여 업데이트될 수 있다.
Figure 112013120769137-pat00012
수학식 4에서, NTT(ti)는 시멘틱 프레임-또는 시멘틱 트리플릿-으로부터 윈도우 크기 이내에 존재하는 시멘틱 프레임-또는 시멘틱 트리플릿-을 의미한다. 또한,
Figure 112013120769137-pat00013
는 시멘틱 프레임-또는 시멘틱 트리플릿-으로부터 윈도우 크기 이내에 존재하는 시멘틱 프레임-또는 시멘틱 트리플릿-들 간의 조합의 수의 역수를 의미한다. 예를 들어, 제 1 전자 문서에 시멘틱 프레임 ti-1, ti, ti+1이 포함되어 있고, 제 2 전자 문서에 시멘틱 프레임 tj-1, tj, tj+1이 포함되어 있으며, 윈도우 크기가 1인 경우, 시멘틱 프레임으로부터 윈도우 크기 이내에 존재하는 시멘틱 프레임들 간의 조합은 (ti-1, tj-1), (ti-1, tj+1), (ti+1, tj-1), (ti+1, tj+1)이므로, 조합의 수는 4이다. 이 경우
Figure 112013120769137-pat00014
는 1/4가 된다.
단어 유사도 행렬은 문서 집합에 포함된 단어들 간의 유사도 값을 포함한다. 단어들 간의 유사도는 다른 단어라 하더라도 연관성이 있는 경우 유사도가 높은 것으로 볼 수 있다. 예를 들어, ‘일본’과 ‘방사능’의 경우, 서로 다른 의미의 단어이나 동일한 주제의 문서에서 많은 횟수로 함께 사용되는 경우, 두 단어의 유사도는 높은 것으로 볼 수 있다. 단어 유사도 행렬은 아래 수학식 5에 기초하여 업데이트될 수 있다.
Figure 112013120769137-pat00015
Figure 112013120769137-pat00016
는 두 행렬이 얼마나 일관성이 있는지 산출하기 위한 행렬 프로베니우스 놈(matrix Frobenius norm)이다. 목적 함수
Figure 112013120769137-pat00017
는 내용 유사도 행렬 DSWDT와 프레임 유사도 행렬 sT (k)간의 차이를 산출한다..
유사도 값의 범위가 0 이상이고 1 이하가 되도록 하기 위하여, 단어 유사도 행렬에 포함된 단어 유사도 값은 아래 수학식 6에 기초하여 결정될 수 있다.
Figure 112013120769137-pat00018
프레임 유사도 행렬 결정부는 상기 기술된 바와 같이 내용 유사도 행렬, 컨텍스트 유사도 행렬, 프레임 유사도 행렬 및 단어 유사도 행렬을 기 설정된 횟수만큼 반복적으로 업데이트할 수 있다. 각 유사도 행렬을 반복적으로 업데이트할수록 프레임 유사도를 보다 정확하게 판단할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

  1. 전자 장치가 전자 문서를 모델링(modeling)하는 방법에 있어서,
    상기 전자 문서로부터 의미역 결정 도구(semantic role labeling tool)를 이용하여 제 1 시멘틱 프레임(semantic frame) 및 제 2 시멘틱 프레임(semantic frame)을 획득하는 프레임 획득 단계;
    동사 논항 구조(verb-argument structure)에 따라 구분되는 세 개의 인자(argument)를 포함하는 시멘틱 트리플릿(semantic triplet)으로 구성되도록 상기 제 1 시멘틱 프레임 및 제 2 시멘틱 프레임을 재구성하는 단계; 및
    상기 제 1 시멘틱 프레임과 상기 제 2 시멘틱 프레임에 포함된 인자들(arguments)간의 유사도를 나타내는 내용 유사도 값(Content Similarity Value)을 결정하고,
    상기 제 1 시멘틱 프레임 주변의 기 설정된 수의 프레임들과 상기 제 2 시멘틱 프레임 주변의 기 설정된 수의 프레임들 간의 유사도를 나타내는 컨텍스트 유사도 값(Context Similarity value)을 결정하며,
    상기 내용 유사도 값 및 상기 컨텍스트 유사도 값에 기초하여, 상기 제 1 시멘틱 프레임 및 상기 제 2 시멘틱 프레임 간의 프레임 유사도 값(Frame Similarity Value)을 결정하는 유사도 결정 단계를 포함하는, 전자 문서 모델링 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 유사도 결정 단계는,
    상기 내용 유사도 값을 상기 전자 문서에 포함된 단어들에 대한 유사도를 나타내는 단어 유사도 값(Word Similarity Value)에 기초하여 업데이트하고,
    상기 컨텍스트 유사도 값을 상기 프레임 유사도 값에 기초하여 업데이트하고,
    상기 업데이트된 내용 유사도 값 및 상기 업데이트된 컨텍스트 유사도 값에 기초하여 상기 프레임 유사도 값을 업데이트하며,
    상기 업데이트된 프레임 유사도 값에 기초하여 상기 단어 유사도 값을 업데이트하는 단계를 포함하는 것을 특징으로 하는, 전자 문서 모델링 방법.
  4. 제 3 항에 있어서,
    상기 유사도 결정 단계는,
    상기 프레임 유사도 값을 업데이트하는 단계를 기 설정된 횟수만큼 반복하는 것을 특징으로 하는, 전자 문서 모델링 방법.
  5. 전자 장치에 있어서,
    전자 문서로부터 의미역 결정 도구(semantic role labeling tool)를 이용하여 제 1 시멘틱 프레임(semantic frame) 및 제 2 시멘틱 프레임(semantic frame)을 획득하고, 동사 논항구조(verb-argument structure)에 따라 구분되는 세 개의 인자(argument)를 포함하는 시멘틱 트리플릿(sementic triplet)으로 상기 제 1 시멘틱 프레임 및 상기 제 2 시멘틱 프레임을 구성하는 프레임 획득부; 및
    상기 제 1 시멘틱 프레임과 상기 제 2 시멘틱 프레임에 포함된 인자들(arguments) 간의 유사도를 나타내는 내용 유사도 값을 결정하고, 상기 제 1 시멘틱 프레임 주변의 기 설정된 수의 프레임들과 상기 제 2 시멘틱 프레임 주변의 기 설정된 수의 프레임들 간의 유사도를 나타내는 컨텍스트 유사도 값을 결정하며, 상기 내용 유사도 값 및 상기 컨텍스트 유사도 값에 기초하여, 상기 제 1 시멘틱 프레임 및 상기 제 2 시멘틱 프레임 간의 프레임 유사도 값을 결정하는 유사도 결정부를 포함하는, 전자 장치.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 유사도 결정부는,
    상기 내용 유사도 값을 시멘틱 프레임에 포함되는 단어들에 대한 유사도를 나타내는 단어 유사도 값에 기초하여 업데이트하고,
    상기 컨텍스트 유사도 값을 상기 프레임 유사도 값에 기초하여 업데이트하고,
    상기 업데이트된 내용 유사도 값 및 상기 업데이트된 컨텍스트 유사도 값에 기초하여 상기 프레임 유사도 값을 업데이트하며,
    상기 업데이트된 프레임 유사도 값에 기초하여 상기 단어 유사도 값을 업데이트하는 것을 특징으로 하는, 전자 장치.
  8. 제 7 항에 있어서,
    상기 유사도 결정부는,
    상기 프레임 유사도 값을 기 설정된 횟수만큼 반복적으로 업데이트하는 것을 특징으로 하는, 전자 장치.
  9. 제 1 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020130167584A 2013-12-30 2013-12-30 전자 문서 모델링 방법 및 그 전자 장치 KR101414171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130167584A KR101414171B1 (ko) 2013-12-30 2013-12-30 전자 문서 모델링 방법 및 그 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167584A KR101414171B1 (ko) 2013-12-30 2013-12-30 전자 문서 모델링 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR101414171B1 true KR101414171B1 (ko) 2014-07-04

Family

ID=51740902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167584A KR101414171B1 (ko) 2013-12-30 2013-12-30 전자 문서 모델링 방법 및 그 전자 장치

Country Status (1)

Country Link
KR (1) KR101414171B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656741B1 (ko) * 2015-04-23 2016-09-12 고려대학교 산학협력단 프레임 기반 의견스팸 판단장치, 프레임 기반 의견스팸 판단방법, 프레임 기반으로 의견스팸을 판단하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능 기록매체
KR101663673B1 (ko) * 2015-06-16 2016-10-14 한림대학교 산학협력단 2스텝 분석 절차를 사용한srl 기반의 문장 분석 방법 및 장치
KR20200109914A (ko) * 2019-03-15 2020-09-23 에스케이텔레콤 주식회사 자연어 처리 시스템, 그 학습 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록매체
US11404050B2 (en) 2019-05-16 2022-08-02 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717998B1 (ko) * 2005-12-26 2007-05-15 고려대학교 산학협력단 문서의 표절 검사 방법
KR20100084403A (ko) * 2009-01-16 2010-07-26 울산대학교 산학협력단 문서의 유사도 결정 방법 및 이를 이용한 단말 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717998B1 (ko) * 2005-12-26 2007-05-15 고려대학교 산학협력단 문서의 표절 검사 방법
KR20100084403A (ko) * 2009-01-16 2010-07-26 울산대학교 산학협력단 문서의 유사도 결정 방법 및 이를 이용한 단말 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656741B1 (ko) * 2015-04-23 2016-09-12 고려대학교 산학협력단 프레임 기반 의견스팸 판단장치, 프레임 기반 의견스팸 판단방법, 프레임 기반으로 의견스팸을 판단하기 위한 컴퓨터 프로그램 및 컴퓨터 판독가능 기록매체
KR101663673B1 (ko) * 2015-06-16 2016-10-14 한림대학교 산학협력단 2스텝 분석 절차를 사용한srl 기반의 문장 분석 방법 및 장치
KR20200109914A (ko) * 2019-03-15 2020-09-23 에스케이텔레콤 주식회사 자연어 처리 시스템, 그 학습 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록매체
KR102264899B1 (ko) 2019-03-15 2021-06-11 에스케이텔레콤 주식회사 자연어 처리 시스템, 그 학습 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록매체
US11404050B2 (en) 2019-05-16 2022-08-02 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Similar Documents

Publication Publication Date Title
CN107239666B (zh) 一种对医疗影像数据进行脱敏处理的方法及系统
US10650192B2 (en) Method and device for recognizing domain named entity
CN109241286B (zh) 用于生成文本的方法和装置
CN110874531A (zh) 一种话题分析方法、装置和存储介质
KR101414171B1 (ko) 전자 문서 모델링 방법 및 그 전자 장치
WO2014126657A1 (en) Latent semantic analysis for application in a question answer system
CN111190594B (zh) Vue组件的文档生成方法及装置
US10691769B2 (en) Methods and apparatus for removing a duplicated web page
DE102014117413A1 (de) Aufzeichnung von Kontext zur Durchführung von Suchvorgängen
JP2020191075A (ja) Ｗｅｂ ＡＰＩおよび関連エンドポイントの推薦
CN109472021A (zh) 基于深度学习的医学文献中关键句筛选方法及装置
CN111488742B (zh) 用于翻译的方法和装置
US10171311B2 (en) Generating synthetic data
CN111143551A (zh) 文本预处理方法、分类方法、装置及设备
CN110046637A (zh) 一种合同段落标注模型的训练方法、装置及设备
CN112199951A (zh) 一种事件信息生成的方法及装置
CN105117489B (zh) 一种数据库管理方法、装置及电子设备
CN112784009A (zh) 一种主题词挖掘方法、装置、电子设备及存储介质
CN111199157A (zh) 一种文本数据处理方法及其装置
CN112328830A (zh) 一种基于深度学习的信息定位方法及相关设备
JP6867963B2 (ja) 要約評価装置、方法、プログラム、及び記憶媒体
CN116646041B (zh) 基于大模型提升临床试验受试者匹配精度的方法和系统
CN116484878B (zh) 电力异质数据的语义关联方法、装置、设备及存储介质
CN113743432A (zh) 一种图像实体信息获取方法、设备、电子设备和存储介质
CN111259669B (zh) 信息标注方法、信息处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 6