KR101071700B1 - 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 - Google Patents
온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 Download PDFInfo
- Publication number
- KR101071700B1 KR101071700B1 KR1020090106076A KR20090106076A KR101071700B1 KR 101071700 B1 KR101071700 B1 KR 101071700B1 KR 1020090106076 A KR1020090106076 A KR 1020090106076A KR 20090106076 A KR20090106076 A KR 20090106076A KR 101071700 B1 KR101071700 B1 KR 101071700B1
- Authority
- KR
- South Korea
- Prior art keywords
- document
- keyword
- keywords
- extracted
- extended
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치가 개시된다. 상기 문서의 주제어 및 관련어 측정 방법은, 문서로부터 복수 개의 키워드 및 상기 각 키워드의 상기 문서 내에서의 빈도수를 추출하는 단계, 상기 추출된 키워드 간의 온톨로지 isA 계층구조 내에서의 경로상에 존재하는 온톨로지 용어 중 상기 추출된 키워드에 해당하지 않는 용어들을 추출하여 상기 문서로부터 추출된 키워드를 확장하는 단계, 상기 확장된 키워드 간의 온톨로지 isA 계층구조 내에서의 거리를 각 셀의 값으로 하는 매트릭스 또는 삼각 행렬을 생성하는 단계, 및 상기 매트릭스 또는 삼각 행렬을 이용하여 평균 거리가 짧은 순서로 하나 이상의 확장된 키워드를 상기 문서의 주제어로 선정하는 단계를 포함한다.
Description
본 발명의 실시예들은 문서의 주제어 및 관련어 추출 기술과 관련된다.
온톨로지(Ontology)란 사람들이 사물에 대해 생각하는 바를 추상화하고 공유한 모델로, 정형화되어 있고 개념의 타입이나 사용상의 제약 조건들이 명시적으로 정의된 기술을 말한다. 특히, 전산학과 정보 과학에서 특정 영역을 표현하는 데이터 모델로서, 특정한 영역(Domain)에 속하는 개념과, 개념 사이의 관계를 기술하는 정형(Formal) 어휘의 집합으로 정의된다.
한편, 최근 인터넷 등의 발달로 인하여 온라인을 중심으로 문서의 수가 급격히 늘어나고 있다. 따라서 원하는 정보를 얻기 위해서는 이러한 수 많은 문서들 중 필요로 하는 정보를 포함하는 문서를 쉽게 검색 및 추출하는 방법이 필요하게 되었으며, 특히 상술한 온톨로지를 이용하여 문서의 주제어 및 관련어를 알아내고 이를 이용하여 문서를 분류하고 정보 추천 등에 활용하기 위한 방법들이 필요하게 되었다.
본 발명의 실시예들은 온톨로지 isA 계층구조를 이용하여 문서 내의 키워드로부터 문서의 주제어 및 관련어를 계산함으로써 문서의 중심 주제를 정확하게 파악하고 이에 따라 문서의 분류 및 검색을 용이하게 수행할 수 있도록 하는 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 문서 주제 및 관련어 측정 방법은, 문서 주제 및 관련어 측정 장치에서, 문서로부터 복수 개의 키워드 및 상기 각 키워드의 상기 문서 내에서의 빈도수를 추출하는 단계; 상기 문서 주제 및 관련어 측정 장치에서, 상기 추출된 키워드 간의 온톨로지 isA 계층구조 내에서의 경로상에 존재하는 온톨로지 용어 중 상기 추출된 키워드에 해당하지 않는 용어들을 추출하고, 상기 추출된 용어들의 빈도수를 설정하는 단계; 상기 문서 주제 및 관련어 측정 장치에서, 상기 문서로부터 추출된 키워드 및 상기 경로에서 추출된 용어들을 결합하여 상기 문서로부터 추출된 키워드를 확장하는 단계; 상기 문서 주제 및 관련어 측정 장치에서, 상기 확장된 키워드 간의 온톨로지 isA 계층구조 내에서의 거리를 각 셀의 값으로 하는 매트릭스 또는 삼각 행렬을 생성하는 단계; 상기 문서 주제 및 관련어 측정 장치에서, 상기 매트릭스 또는 삼각 행렬을 이용하여 상기 각각의 확장된 키워드 별로 상기 확장된 키워드 집합에 속한 다른 확장된 키워드와의 상기 온톨로지 isA 계층구조상의 평균 거리를 계산하는 단계; 및 상기 문 서 주제 및 관련어 측정 장치에서, 상기 계산된 평균 거리가 짧은 순서로 하나 이상의 확장된 키워드를 상기 문서의 주제어로 선정하는 단계;를 포함한다.
또한 상기 과제를 해결하기 위한 본 발명의 실시예에 따른 문서 주제 및 관련어 측정 장치는, 키워드들간의 온톨로지 isA 계층구조가 저장된 데이터베이스; 문서로부터 복수 개의 키워드 및 상기 각 키워드의 상기 문서 내에서의 빈도수를 추출하는 키워드 추출부; 상기 키워드 추출부에서 추출된 키워드 간의 온톨로지 isA 계층구조 내에서의 경로상에 존재하는 온톨로지 용어 중 상기 추출된 키워드에 해당하지 않는 용어들을 추출하고, 상기 추출된 용어들을 상기 문서로부터 추출된 키워드에 결합하여 상기 문서로부터 추출된 키워드를 확장하는 키워드 확장부; 상기 확장된 키워드 간의 온톨로지 isA 계층구조 내에서의 거리를 각 셀의 값으로 하는 매트릭스 또는 삼각 행렬을 생성하고, 상기 매트릭스 또는 삼각 행렬을 이용하여 상기 각각의 확장된 키워드 별로 상기 확장된 키워드 집합에 속한 다른 확장된 키워드와의 상기 온톨로지 isA 계층구조상의 평균 거리를 계산하는 평균 거리 계산부; 상기 계산된 평균 거리가 짧은 순서로 하나 이상의 확장된 키워드를 상기 문서의 주제어로 선정하는 주제어 추출부; 및 상기 온톨로지 isA 계층구조상에서 상기 선정된 주제어와의 거리가 일정 값 이하인 용어 중 상기 문서로부터 추출된 키워드에 포함되지 않는 용어를 상기 문서의 관련어로 선정하는 관련어 추출부;를 포함한다.
전술한 것 외의 다른 측면, 특징 및 이점은 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들은 온톨로지 isA 계층구조를 이용하여 문서의 주제어 및 관련어를 용이하게 파악함으로써 문서들을 주제별로 빠르고 정확하게 분류하고 검색할 수 있는 방법을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
본 발명을 설명하기에 앞서, 본 발명의 실시예에 따른 온톨로지 isA 계층구조에 대해 간단히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 온톨로지 isA 계층구조(100)의 일례를 나타 낸 도면이다. 본 발명의 실시예에서는 온톨로지를 트리 또는 그래프 형태의 계층 구조로 구성하고, 상기 트리 또는 그래프의 노드들 사이의 간선(edge)의 수로서 노드 간의 거리(의미상의 거리)를 표현한다. 예를 들어, 도 1에 도시된 온톨로지 isA 계층구조 (100)에서 「동물」과 「무척추동물」간의 거리는 1, 「무척추동물」과 「척추동물」간의 거리는 2이며, 「사람」과 「새우」와의 거리는 6이 된다.
문서의 주제어 선정
도 2는 본 발명의 일 실시예에 따른 문서의 주제어 및 관련어 측정 방법(200)을 나타낸 순서도이다.
먼저, 주제어 및 관련어를 측정하고자 하는 문서로부터 키워드 및 각 키워드의 빈도를 추출한다(202). 상기 키워드는, 예를 들어 상기 문서를 구성하는 텍스트를 형태소 분석함으로써 추출될 수 있다. 또한 추출된 키워드 중 색인어로서의 가치가 없는 불용어(stop word)는 제거한다. 상기 온톨로지 isA 계층구조는 본 단계에서 추출된 키워드를 노드로 포함한다. 본 단계에서 추출된 키워드들을 키워드 집합 A로, 상기 키워드 집합 A의 개수를 n1개로 하기로 한다.
또한 각 키워드가 나타나는 문헌 수를 추출할 수도 있다. 이로부터 각 키워드의 역문헌 빈도(IDF, Inverse Document Frequency)를 계산할 수 있다. 역문헌 빈도는, 일례로 전체 문서의 수를 해당 키워드가 나타난 문서 수로 나눈 값의 로 그(log) 값을 구한 것으로, 적은 수의 문서에 나타난 키워드가 많은 수의 문서에 나타난 키워드보다 높은 값을 갖도록 하며. 키워드의 희소성을 나타낸다. 그리고 이를 키워드의 가중치로 이용하여 상기 추출된 키워드 빈도를 변환하는 다양한 방법들이 존재한다. 본 발명에서는 추출된 키워드 빈도를 그대로 사용하거나 또는 추출된 키워드 빈도를 다양한 방식으로 변환하여 사용하는 경우 모두에 대하여 키워드의 빈도라고 칭하기로 한다. 따라서 키워드의 빈도는 추출된 키워드의 빈도일수도 있고 이를 변환한 값일 수도 있다.
다음으로, 온톨로지 isA 계층구조상에서 상기 추출된 키워드들간의 경로(path)를 모두 구한다(204). 예를 들어, 상기 202 단계에서 추출된 키워드가 각각 「사람」, 「사자」, 「토끼」, 「동물」인 경우, 도 1에 도시된 온톨로지 isA 계층구조(100)에서 상기 키워드들간을 연결하는 경로들을 모두 구하면 다음과 같다.
사람 - 포유류 - 사자
사람 - 포유류 - 토끼
사람 - 포유류 - 척추동물 - 동물
사자 - 포유류 - 토끼
사자 - 포유류 - 척추동물 - 동물
토끼 - 포유류 - 척추동물 - 동물
이와 같이 경로들이 구해지면, 다음으로 상기 경로상에 존재하는 온톨로지 용어들 중 상기 202 단계에서 추출된 키워드가 아닌 용어들을 모두 추출한다(206). 이들을 키워드 집합 B로, 상기 키워드 집합 키워드의 개수를 n2개로 하기로 한다. 상기 예에서 경로상의 온톨로지 용어들 중 상기 202 단계에서 추출된 키워드가 아닌 용어들은 「포유류」, 「척추동물」의 2개이므로 이들이 상기 키워드 집합 B를 구성한다.
상기 키워드 집합 B는 상기 문서에 포함된 키워드가 아니므로, 상기 키워드 집합 B의 키워드들의 빈도수는 0이 된다. 즉, 상기 키워드 집합 B에 속한 키워드는 문서로부터 추출된 키워드는 아니나, 주제어 선정에 사용되며 이후의 관련어 선정 단계에서 관련어로 선택될 수 있다.
다음으로, 상기 202 단계에서 추출된 키워드(키워드 집합 A) 및 206 단계에서 추출된 온톨로지 용어들(키워드 집합 B)을 합하여 확장된 키워드 집합 K를 생성한다(208). 상기 확장된 키워드 집합 K(이하에서는 키워드 집합 K로 칭함)의 개수를 n이라 하면, 상기 K와 n은 다음과 같이 정해진다.
- K = A∪B
- n = n1 + n2
즉, 상기 키워드 집합 K는 문서로부터 추출된 키워드들을 온톨로지 isA 계층 구조를 이용하여 확장한 키워드의 집합에 해당한다.
이와 같이 확장된 키워드 집합 K가 구성되면, 다음으로 상기 키워드 집합 K를 이용하여 n*n 매트릭스(M; 이때 n은 확장된 키워드의 개수) 또는 상위 삼각 행렬(T)을 생성한다(210). 상기 n*n 매트릭스 또는 상위 삼각 행렬에서, 각 행 및 열은 상기 키워드 집합 K를, 각 셀은 해당 행 및 열에 해당하는 키워드들의 온톨로지 isA 계층구조상의 거리를 나타낸다.
예를 들어, 상기 208 단계에서 생성된 키워드 집합 K 및 빈도가 다음의 표 1과 같은 경우, 도 1에 도시된 온톨로지 isA 계층구조를 이용하여 매트릭스(M)를 구성하면 표 2와 같다.
| 키워드 집합 | 일련번호 | 키워드 | 빈도 |
| A | 1 | 사람 | 2 |
| A | 2 | 사자 | 3 |
| A | 3 | 토끼 | 1 |
| A | 4 | 동물 | 2 |
| B | 5 | 포유류 | 0 |
| B | 6 | 척추동물 | 0 |
| M | 1 | 2 | 3 | 4 | 5 | 6 |
| 1 | 0 | 2 | 2 | 3 | 1 | 2 |
| 2 | 2 | 0 | 2 | 3 | 1 | 2 |
| 3 | 2 | 2 | 0 | 3 | 1 | 2 |
| 4 | 3 | 3 | 3 | 0 | 2 | 1 |
| 5 | 1 | 1 | 1 | 2 | 0 | 1 |
| 6 | 2 | 2 | 2 | 1 | 1 | 0 |
또한, 상기 도 1의 키워드 집합 K를 이용하여 상위 삼각 행렬(T)을 구성하면 다음의 표 3과 같다.
| T | 1 | 2 | 3 | 4 | 5 | 6 |
| 1 | 0 | 2 | 2 | 3 | 1 | 2 |
| 2 | 0 | 2 | 3 | 1 | 2 | |
| 3 | 0 | 3 | 1 | 2 | ||
| 4 | 0 | 2 | 1 | |||
| 5 | 0 | 1 | ||||
| 6 | 0 |
다음으로, 상기 매트릭스(M) 또는 상위 삼각 행렬(T)을 이용하여 각 키워드 별로 추출된 키워드 간의 온톨로지 isA 계층구조상의 평균거리를 계산한다(212).
예를 들어, 상기 매트릭스(M)를 이용하여 각 키워드 별 평균거리를 계산할 경우에는 다음의 수학식 1을 이용한다.
상기 수학식에서, L은 키워드의 일련번호, F(i)는 일련번호가 i인 키워드의 빈도, M(i, j)는 상기 매트릭스(M)의 행 i 열 j 인 (i, j) 셀의 값이다.
만약 각 키워드 별 빈도를 고려하지 않을 경우, F(i) 값은 모두 1로 설정할 수 있다. 또는, 키워드 집합 A에 속한 키워드의 경우 F(i) 값을 1로, 키워드 집합 B에 속하는 키워드의 경우 F(i) 값을 0으로 할 수도 있다.
상기 상위 삼각 행렬(T)를 이용하여 각 키워드 별 평균거리를 계산할 경우에는 다음의 수학식 2를 이용한다.
상기 수학식에서, L은 키워드의 일련번호, F(i)는 일련번호가 i인 키워드의 빈도, T(i, j)는 상기 상위 삼각 행렬(T)의 행 i 열 j 인 (i, j) 셀의 값이다.
이 때에도 만약 각 키워드 별 빈도를 고려하지 않을 경우, F(i) 값을 모두 1로 설정할 수 있다. 또는 키워드 집합 A에 속한 키워드의 경우 F(i) 값을 1로, 키워드 집합 B에 속하는 키워드의 경우 F(i) 값을 0으로 할 수도 있다.
마지막으로, 상기 계산된 평균거리가 짧은 순서로 소정 개수의 키워드를 상기 문서의 주제어로 선정하게 된다(214). 상기 주제어는 하나가 될 수도 있고 복수 개가 될 수도 있으며, 이는 상기 문서 및 키워드의 특성 등에 따라 적절하게 설정할 수 있다.
상기 수학식 1 및 2에 따라 표 1에 기재된 각 키워드의 평균거리를 계산하면 다음과 같다.
사람: (0*2+2*3+2*1+3*2+1*0+2*0)/8 = 1.75
사자: (2*2+0*3+2*1+3*2+1*0+2*0)/8 = 1.5
토끼: (2*2+2*3+0*1+3*2+1*0+2*0)/8 = 2.0
동물: (3*2+3*3+3*1+0*2+2*0+1*0)/8 = 2.25
포유류: (1*2+1*3+1*1+2*2+0*0+1*0)/8 = 1.25
척추동물: (2*2+2*3+2*1+1*2+1*0+0*0)/8 = 1.75
즉, 상기 키워드들 중 평균 거리가 가장 짧은 키워드는 「포유류」, 그 다음은 「사자」이므로, 주제어를 하나만 설정할 경우의 상기 문서의 주제어는 「포유류」가 되며, 2개 설정할 경우에는 「포유류」및 「사자」가 된다. 이와 같이 본 발명의 실시예에 따를 경우, 「포유류」와 같이 문서 내에 나타나지 않는 키워드도 주제어로 선정될 수 있다.
만약 상기 수학식에서 빈도를 고려하지 않을 경우의 각 키워드 별 평균거리는 다음과 같다.
사람: (0+2+2+3+1+2)/6 = 1.67
사자: (2+0+2+3+1+2)/6 = 1.67
토끼: (2+2+0+3+1+2)/6 = 1.67
동물: (3+3+3+0+2+1)/6 = 2.0
포유류: (1+1+1+2+0+1)/6 = 1.0
척추동물: (2+2+2+1+1+0)/6 = 1.33
즉, 이 경우에는 「포유류」, 「척추동물」의 순으로 평균거리가 짧으므로, 「포유류」또는 「포유류」, 「척추동물」을 상기 문서의 주제어로 선정할 수 있다.
응집도 및 편차도 계산
상기와 같이 문서의 각 키워드 별 평균거리가 계산되고 이에 따라 주제어가 선정되면, 다음으로 상기 추출된 키워드들의 응집도를 계산할 수 있다. 응집도란 문서 내의 키워드들이 주제어와 얼마나 밀접하게 관련되어 있는지를 판단하기 위한 척도로 사용될 수 있다.
상기 응집도는 다음의 수학식 3에 의하여 계산된다. 계산된 응집도는 0에서 1 사이의 값을 가지며, 1에 가까울수록 응집도가 높다.
예를 들어, 표 2에 도시된 매트릭스(M)에서 주제어를 「포유류」라 할 경우, 상기 주제어와 상기 키워드 집합 K의 각 키워드들간의 평균거리는 빈도를 고려하지 않을 경우 (1+1+1+2+0+1)/6 = 1이 된다. 여기서 평균거리를 계산할 때 주제어도 키워드로 포함시켰으나, 주제어는 키워드에서 제외하고 계산할 수도 있다. 또한 도 1에 도시된 온톨로지 isA 계층구조에서의 최대거리는 「사람」과 「새우」 사이의 거리로서 6이므로, 상기 응집도는
1 - 1/6 = 0.83
이 된다.
한편 빈도를 고려하게 되면, 상기 주제어와 상기 키워드 집합 K의 각 키워드들간의 평균거리는 (1*2+1*3+1*1+2*2+0*0+1*0)/8 = 1.25가 된다. 따라서 상기 응집도는
1 - 1.25/6 = 0.79
가 된다
주제어로부터 각 키워드까지의 평균거리의 표준편차를 이용하여 주제어로부터 각 키워드들간의 거리의 편차도를 계산할 수도 있다. 이를 수학식으로 나타내면 다음과 같다.
상기 수학식에서 편차도는 0에서 1사이의 값을 가지며, 1에 가까울수록 편차도가 높다.즉, 편차도가 1에 가까울수록 주제어로부터 각 키워드까지의 거리가 균등해진다.
관련어 추출
상기와 같이 주제어가 정해지면 온톨로지 isA 계층구조를 이용하여 주제어의 관련어를 구할 수 있다. 상기 관련어는 상기 온톨로지 isA 계층구조에서 상기 주제어와의 거리가 일정 값 이하인 용어로서, 상기 문서의 키워드에 포함되지 않은 용어를 의미한다.
상기 관련어는, 예를 들어 상기 주제어로부터 상기 키워드 집합 K의 각 키워드까지의 일정 거리(예를 들어, 평균 거리 또는 거리 d 등)보다 짧은 거리상에 존재하는 용어들을 온톨로지 isA 계층구조에서 추출함으로써(이때, 상기 용어 중 상기 문서로부터 추출된 키워드들은 제외한다) 얻어질 수 있다. 이때, 상기 중심어와 추출된 관련어간의 온톨로지 isA 계층구조상의 거리가 가까운 순서로 상기 관련어에 랭킹을 부여할 수 있다.
상기 예에서, 주제어가 「포유류」인 경우, 상기 주제어와 키워드 집합 K에 속한 키워드들간의 평균거리는 전술한 바와 같이 1.25이다(빈도를 고려했을 경우). 상기 온톨로지 isA 계층구조에서 상기 평균거리보다 짧은 거리상에 존재하는(즉, 거리가 1인) 용어들은 「사람」, 「사자」, 「토끼」, 「척추동물」의 4개이며, 이중 「사람」, 「사자」, 「토끼」는 문서에서 추출된 키워드이므로, 이 중 관련어는 「척추동물」이 된다. 또는, 평균거리 대신에 「평균거리 * w(조정계수)」, 또는 사전에 설정된 거리 d(0보다 큰 정수) 등을 사용하고, 추출된 관련어들에 대하여 거리에 따라 랭킹을 부여할 수도 있다.
심화도 계산
한편, 상기와 같이 주제어를 알면 해당 문서의 심화도를 알 수 있다. 상기 심화도는 다음의 수학식 5에 의하여 정해진다. 상기 심화도 또한 0과 1 사이의 값을 가지며 1에 가까울수록 심화도가 높다.
온톨로지 isA 계층구조에서의 임의의 노드 U 에 대하여, 뿌리부터 상기 노드 U 에 도달할 때까지의 경로의 길이, 즉 경로상의 노드의 개수를 U의 레벨(level) 또는 깊이(depth)라 한다. 예를 들어, 도 1에 도시된 온톨로지 isA 계층구조에서 「동물」 의 레벨은 1이 되며, 루트 노드의 자식 노드인 「척추동물」과 「무척추동물」의 레벨은 2, 「참새」의 레벨은 4가 된다.
이에 따라 상기 온톨로지 isA 계층구조를 이용하여 주제어의 레벨 및 상기 온톨로지 isA 계층구조의 최대 레벨을 추출하면 상기 주제어의 심화도를 계산할 수 있다. 전술한 예에서, 주제어를 「포유류」라 할 경우, 「포유류」의 레벨은 3이며, 도 1에 도시된 온톨로지 isA 계층구조의 최대 레벨은 4이므로, 상기 문서의 심화도는 3/4 = 0.75가 된다.
전술한 실시예에서는 온톨로지 isA 계층구조에서 간선 간의 거리를 일률적으로 1로 가정하였지만, 실시예에 따라 간선 간의 거리가 각각 다르게 정해지는 경우가 있다. 예를 들어, 도 3과 같은 온톨로지 isA 계층구조의 경우 노드 B와 D 간의 거리는 0.5로, A와 C 간의 거리는 2.0으로 정의되어 있다.
이와 같이 간선마다 각각 거리가 다른 경우에는 루트 노드에서부터 주제어 까지의 경로상에 존재하는 각 노드들 간의 거리를 합하고, 상기 온톨로지 isA 계층구조에서의 루트 노드에서부터 리프 노드까지의 거리의 합 중 최대값으로 나눔으로써 심화도를 계산할 수 있다.
또한 상기 온톨로지 isA 계층구조는 반드시 트리 형태로만 구성되는 것은 아니며, 그래프의 형태를 가질 수도 있다. 그래프의 경우 특정 노드의 부모 노드가 한 개가 아닌 복수 개 존재할 수 있다는 점에서 트리와 상이하다. 이에 따라 그래프의 경우 임의의 두 노드 사이의 경로가 두 개 이상 존재할 수 있다. 이와 같이 그래프 형태로 온톨로지 isA 계층구조가 형성된 경우에도 본 발명의 실시예에 따라 동일한 방법으로 문서의 주제어 및 관련어를 추출할 수 있다. 다만, 이 경우 그래프 내의 임의의 두 노드의 경로 중 어떤 경로를 따르더라도 두 노드 사이의 거리가 동일하도록 그래프가 구성되어야 함은 자명하다. 물론, 특별한 경우로 두 노드 사이의 두 개 이상의 경로들의 거리가 서로 다른 경우가 존재한다면 하나를 선택하여 사용할 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메 모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 문서 주제 및 관련어 측정 장치(400)를 나타낸 도면이다.
본 발명의 일 실시예에 따른 문서 주제 및 관련어 측정 장치(400)는 전술한 문서의 주제 및 관련어 측정 방법(200)을 수행하기 위한 장치로서, 도시된 바와 같이 온톨로지 데이터베이스(402), 키워드 추출부(404), 키워드 확장부(406), 평균 거리 계산부(408), 주제어 추출부(410) 및 관련어 추출부(412)를 포함하여 구성된다.
온톨로지 데이터베이스(402)는 온톨로지 isA 계층구조가 저장된 데이터베이스이다.
키워드 추출부(404)는, 주제를 측정하고자 하는 문서로부터 키워드 및 각 키워드의 빈도를 추출하여 키워드 집합 A를 구성한다. 상기 키워드는 예를 들어 상기 문서를 구성하는 텍스트를 형태소 분석함으로써 추출될 수 있으며, 이때 키워드로서의 가치가 없는 불용어(stop word)는 제외한다.
키워드 확장부(406)는, 키워드 추출부(404)에서 추출된 키워드들간의 상기 온톨로지 isA 계층구조 내에서의 경로를 모두 구하고, 상기 경로 내의 온톨로지 용 어 중 키워드 추출부(404)에서 추출된 키워드가 아닌 용어들을 모두 추출하여 키워드 집합 B를 구성한다. 전술한 바와 같이, 상기 키워드 집합 B의 빈도수는 0으로 설정된다.
평균 거리 계산부(408)는 키워드 추출부(404)에서 추출된 키워드 집합 A 및 키워드 확장부(406)에서 추출된 키워드 집합 B를 합한 확장된 키워드 집합 K를 이용하여 n*n 매트릭스(M; 이때 n은 추출된 키워드의 개수) 또는 상위 삼각 행렬(T)을 생성하고, 상기 매트릭스(M) 또는 상위 삼각 행렬(T)을 이용하여 키워드 집합 K의 각 키워드 별로 키워드 간의 온톨로지 isA 계층구조상의 평균거리를 계산한다. 이때, 상기 n*n 매트릭스 또는 상위 삼각 행렬의 각 행 및 열은 상기 추출된 키워드를, 각 셀은 해당 행 및 열에 해당하는 키워드들의 온톨로지 isA 계층구조상의 거리를 나타냄은 전술한 바와 같다.
주제어 추출부(410)는 계산된 상기 키워드들의 온톨로지 isA 계층구조상의 평균거리를 서로 비교하고, 평균거리가 짧은 순서로 소정 개수의 키워드를 상기 문서의 주제어로서 추출하게 된다.
또한 관련어 추출부(412)는 주제어 추출부(410)로부터 추출된 주제어와의 거리가 일정 값보다 짧은 온톨로지 용어들을 상기 온톨로지 isA 계층구조에서 추출하여 상기 문서에 대한 관련어 집합을 구한다.
한편, 본 발명의 일 실시예에 따른 문서 주제 측정 장치(400)는 필요에 따라 상기 주제어와 상기 온톨로지 isA 계층관계를 이용하여 상기 추출된 키워드들의 응집도를 계산하는 응집도 계산부(미도시), 상기 온톨로지 isA 계층관계를 이용하여 상기 추출된 키워드들의 편차도를 계산하는 편차도 계산부(미도시) 및 상기 주제어와 상기 온톨로지 isA 계층관계를 이용하여 상기 문서의 심화도를 계산하는 심화도 계산부(미도시)를 더 포함할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 실시예에 따른 온톨로지 isA 계층구조의 일례를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 문서의 주제어 및 관련어 측정 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따라 노드 간의 거리가 각기 다르게 설정된 온톨로지 isA 계층구조의 일례를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 문서 주제어 및 관련어 측정 장치를 나타낸 도면이다.
Claims (16)
- 문서 주제 및 관련어 측정 장치에서, 문서로부터 복수 개의 키워드 및 상기 각 키워드의 상기 문서 내에서의 빈도수를 추출하는 단계;상기 문서 주제 및 관련어 측정 장치에서, 상기 추출된 키워드 간의 온톨로지 isA 계층구조 내에서의 경로상에 존재하는 온톨로지 용어 중 상기 추출된 키워드에 해당하지 않는 용어들을 추출하는 단계;상기 문서 주제 및 관련어 측정 장치에서, 상기 문서로부터 추출된 키워드 및 상기 경로에서 추출된 용어들을 포함하는 확장된 키워드 집합을 생성하는 단계;상기 문서 주제 및 관련어 측정 장치에서, 상기 확장된 키워드 집합에 포함되는 확장된 키워드 간의 온톨로지 isA 계층구조 내에서의 거리를 각 셀의 값으로 하는 매트릭스 또는 삼각 행렬을 생성하는 단계;상기 문서 주제 및 관련어 측정 장치에서, 상기 매트릭스 또는 삼각 행렬을 이용하여 상기 각각의 확장된 키워드 별로 상기 확장된 키워드 집합에 속한 다른 확장된 키워드와의 상기 온톨로지 isA 계층구조상의 평균 거리를 계산하는 단계; 및상기 문서 주제 및 관련어 측정 장치에서, 상기 계산된 평균 거리가 짧은 순서로 하나 이상의 확장된 키워드를 상기 문서의 주제어로 선정하는 단계;를 포함하는 문서 주제 및 관련어 측정 방법.
- 제1항에 있어서,상기 온톨로지 isA 계층구조에서의 확장된 키워드 간의 거리는, 상기 온톨로지 isA 계층구조에서 상기 두 확장된 키워드를 연결하는 간선(edge)의 개수 또는 상기 두 확장된 키워드를 연결하는 경로상에 존재하는 각 간선의 거리의 합인, 문서 주제 및 관련어 측정 방법.
- 제1항에 있어서,상기 매트릭스 또는 상기 삼각 행렬의 각 행 및 각 열은 상기 확장된 키워드집합에 속한 확장된 키워드이며, 상기 매트릭스 또는 상기 삼각 행렬의 각 셀은 해당 행 및 열에 해당하는 확장된 키워드 간의 온톨로지 isA 계층구조상의 거리인, 문서 주제 및 관련어 측정 방법.
- 제3항에 있어서,상기 평균 거리 계산 단계에서 상기 매트릭스를 이용하여 각각의 확장된 키워드 별 평균거리를 계산할 경우, 다음의 수학식
(이때, n은 확장된 키워드의 개수, L은 상기 확장된 키워드의 일련번호로서 1≤L≤n, M(i, j)는 매트릭스의 i행 j열, F(i)는 i번째 키워드의 빈도수)을 이용하여 평균 거리를 계산하는, 문서 주제 및 관련어 측정 방법. - 제4항에 있어서,상기 평균 거리 계산에서 각각의 확장된 키워드의 빈도수를 고려하지 않을 경우, 상기 수학식에서 F(i) 값은 모두 1로 설정되거나, 또는 상기 문서로부터 추출된 키워드의 F(i) 값은 1로 설정되고 상기 온톨로지 isA 계층구조로부터 추출된 용어의 F(i) 값은 0으로 설정되는, 문서 주제 및 관련어 측정 방법.
- 제3항에 있어서,상기 평균 거리 계산 단계에서 상기 삼각 행렬을 이용하여 각각의 확장된 키워드 별 평균거리를 계산할 경우, 다음의 수학식
(이때, n은 확장된 키워드의 개수, L은 상기 키워드의 일련번호로서 1≤L≤n, T(i, j)는 삼각 행렬의 i행 j열, F(i)는 i번째 키워드의 빈도수)을 이용하여 평균 거리를 계산하는, 문서 주제 및 관련어 측정 방법. - 제6항에 있어서,상기 평균 거리 계산에서 각각의 확장된 키워드의 빈도수를 고려하지 않을 경우, 상기 수학식에서 F(i) 값은 모두 1로 설정되거나, 또는 상기 문서로부터 추 출된 키워드의 F(i) 값은 1로 설정되고 상기 온톨로지 isA 계층구조로부터 추출된 용어의 F(i) 값은 0으로 설정되는, 문서 주제 및 관련어 측정 방법.
- 제1항에 있어서,상기 주제어 선정 단계의 수행 이후, 상기 주제어를 이용하여 상기 확장된 키워드의 응집도를 계산하는 단계를 더 포함하는, 문서 주제 및 관련어 측정 방법.
- 제8항에 있어서,상기 응집도는, 다음의 수학식
에 의하여 계산되는, 문서 주제 및 관련어 측정 방법. - 제1항에 있어서,상기 주제어 선정 단계의 수행 이후, 상기 주제어를 이용하여 상기 확장된 키워드의 편차도를 계산하는 단계를 더 포함하는, 문서 주제 및 관련어 측정 방법.
- 제10항에 있어서,상기 편차도는, 다음의 수학식
에 의하여 계산되는, 문서 주제 및 관련어 측정 방법. - 제1항에 있어서,상기 주제어 선정 단계의 수행 이후,상기 온톨로지 isA 계층구조상에서 상기 선정된 주제어와의 거리가 일정 값 이하인 용어 중 상기 문서로부터 추출된 키워드에 포함되지 않는 용어를 상기 문서의 관련어로 선정하는 단계를 더 포함하는, 문서 주제 및 관련어 측정 방법.
- 제1항에 있어서,상기 주제어 선정 단계의 수행 이후, 상기 주제어를 이용하여 상기 문서의 심화도를 계산하는 단계를 더 포함하는, 문서 주제 및 관련어 측정 방법.
- 제13항에 있어서,상기 심화도는, 다음의 수학식
에 의하여 계산되는, 문서 주제 및 관련어 측정 방법. - 제1항 내지 제14항 중 어느 한 항에 기재된 방법을 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 키워드들간의 온톨로지 isA 계층구조가 저장된 데이터베이스;문서로부터 복수 개의 키워드 및 상기 각 키워드의 상기 문서 내에서의 빈도수를 추출하는 키워드 추출부;상기 키워드 추출부에서 추출된 키워드 간의 온톨로지 isA 계층구조 내에서의 경로상에 존재하는 온톨로지 용어 중 상기 추출된 키워드에 해당하지 않는 용어들을 추출하고, 상기 문서로부터 추출된 키워드 및 상기 경로에서 추출된 용어들을 포함하는 확장된 키워드 집합을 생성하는 키워드 확장부;상기 확장된 키워드 집합에 포함되는 확장된 키워드 간의 온톨로지 isA 계층구조 내에서의 거리를 각 셀의 값으로 하는 매트릭스 또는 삼각 행렬을 생성하고, 상기 매트릭스 또는 삼각 행렬을 이용하여 상기 각각의 확장된 키워드 별로 상기 확장된 키워드 집합에 속한 다른 확장된 키워드와의 상기 온톨로지 isA 계층구조상의 평균 거리를 계산하는 평균 거리 계산부;상기 계산된 평균 거리가 짧은 순서로 하나 이상의 확장된 키워드를 상기 문서의 주제어로 선정하는 주제어 추출부; 및상기 온톨로지 isA 계층구조상에서 상기 선정된 주제어와의 거리가 일정 값 이하인 용어 중 상기 문서로부터 추출된 키워드에 포함되지 않는 용어를 상기 문서의 관련어로 선정하는 관련어 추출부;를 포함하는 문서 주제 및 관련어 측정 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090106076A KR101071700B1 (ko) | 2009-11-04 | 2009-11-04 | 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090106076A KR101071700B1 (ko) | 2009-11-04 | 2009-11-04 | 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110049178A KR20110049178A (ko) | 2011-05-12 |
| KR101071700B1 true KR101071700B1 (ko) | 2011-10-11 |
Family
ID=44360354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090106076A KR101071700B1 (ko) | 2009-11-04 | 2009-11-04 | 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101071700B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101353521B1 (ko) | 2012-05-10 | 2014-01-23 | 경북대학교 산학협력단 | 키워드 추출 방법 및 시스템, 그리고 대화 보조 장치 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102398521B1 (ko) * | 2020-01-10 | 2022-05-16 | 김광년 | 대출서비스 중개시스템 및 방법 |
| CN111814770B (zh) * | 2020-09-04 | 2021-01-15 | 中山大学深圳研究院 | 一种新闻视频的内容关键词提取方法、终端设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003167894A (ja) | 2001-11-30 | 2003-06-13 | Mitsubishi Space Software Kk | 関連語自動抽出方法、関連語自動抽出装置、複数重要語抽出プログラムおよび重要語上下階層関係抽出プログラム |
| JP2009093650A (ja) | 2007-10-05 | 2009-04-30 | Fujitsu Ltd | 文書の段落分析によるその文書のタグの選択 |
-
2009
- 2009-11-04 KR KR1020090106076A patent/KR101071700B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003167894A (ja) | 2001-11-30 | 2003-06-13 | Mitsubishi Space Software Kk | 関連語自動抽出方法、関連語自動抽出装置、複数重要語抽出プログラムおよび重要語上下階層関係抽出プログラム |
| JP2009093650A (ja) | 2007-10-05 | 2009-04-30 | Fujitsu Ltd | 文書の段落分析によるその文書のタグの選択 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101353521B1 (ko) | 2012-05-10 | 2014-01-23 | 경북대학교 산학협력단 | 키워드 추출 방법 및 시스템, 그리고 대화 보조 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110049178A (ko) | 2011-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105389349B (zh) | 词典更新方法及装置 | |
| US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
| US8539000B2 (en) | Method and system for information modeling and applications thereof | |
| Xiong et al. | Towards better text understanding and retrieval through kernel entity salience modeling | |
| KR101646754B1 (ko) | 모바일 시멘틱 검색 장치 및 그 방법 | |
| US20140052688A1 (en) | System and Method for Matching Data Using Probabilistic Modeling Techniques | |
| KR102106203B1 (ko) | 소셜 네트워크 시스템 기반의 질의 응답 서비스 제공을 위한 전문가 추천 방법 및 전문가 추천 시스템 | |
| KR102059743B1 (ko) | 딥러닝 기반의 지식 구조 생성 방법을 활용한 의료 문헌 구절 검색 방법 및 시스템 | |
| CN103577452A (zh) | 用于丰富网站内容的方法和装置、网站服务器 | |
| CN103488782B (zh) | 一种利用歌词识别音乐情感的方法 | |
| US20160203105A1 (en) | Information processing device, information processing method, and information processing program | |
| CN109471889A (zh) | 报表加速方法、系统、计算机设备和存储介质 | |
| JP2019082931A (ja) | 検索装置、類似度算出方法、およびプログラム | |
| KR101071700B1 (ko) | 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치 | |
| Thijs | Using neural-network based paragraph embeddings for the calculation of within and between document similarities | |
| KR101058895B1 (ko) | 온톨로지를 이용한 문서의 주제 측정 방법 및 장치 | |
| JP6091448B2 (ja) | トピックモデリング装置、トピックモデリング方法、トピックモデリングプログラム | |
| US20130297622A1 (en) | Measuring informative content of words in documents in a document collection relative to a probability function including a concavity control parameter | |
| TWI493479B (zh) | 一種知識本體增補方法與其系統 | |
| Singh et al. | Graph based computational model for computing semantic similarity | |
| JP5292336B2 (ja) | 検索システムユーザの分野ごとにおける知識量推定装置、知識量推定方法および知識量推定プログラム | |
| KR101108600B1 (ko) | 온톨로지를 이용한 문서간 유사도 측정 방법 및 장치 | |
| JP3925418B2 (ja) | トピック境界決定装置及びプログラム | |
| CN110413989B (zh) | 一种基于领域语义关系图的文本领域确定方法与系统 | |
| KR101363335B1 (ko) | 문서 분류모델 생성장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141002 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151002 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20171010 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20181016 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20191008 Year of fee payment: 9 |