KR101064256B1 - Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques - Google Patents
Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques Download PDFInfo
- Publication number
- KR101064256B1 KR101064256B1 KR1020090118944A KR20090118944A KR101064256B1 KR 101064256 B1 KR101064256 B1 KR 101064256B1 KR 1020090118944 A KR1020090118944 A KR 1020090118944A KR 20090118944 A KR20090118944 A KR 20090118944A KR 101064256 B1 KR101064256 B1 KR 101064256B1
- Authority
- KR
- South Korea
- Prior art keywords
- document
- database
- category
- maximum
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스, 분류대상 문서가 입력되면 상기 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하여 상기 분류대상 문서의 범주를 결정한 후 상기 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 최대 개념강도로 결정하는 최대 개념강도 결정부, 및 상기 최대 개념강도 결정부에서 결정된 상기 분류대상 문서의 최대 개념강도를 상기 분산형 데이터베이스에 대하여 각각 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택하는 데이터베이스 선택부를 포함한다. According to the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a classification system of a document and a term attribute, and when a document to be classified is input, a feature is extracted from the document to be classified and the extracted feature and A maximum conceptual strength determiner that determines a category of the document to be classified by calculating weight values for each feature using similarity of categories, and then determines a maximum value for calculating a weight value for each document category for the document category as the maximum conceptual strength; and And a database selection unit for selecting a distributed database similar to the characteristics of the classified document by applying the maximum conceptual strength of the classified document determined by the maximum conceptual strength determiner to the distributed database.
자동분류, 최대 개념강도 인지기법(MCR: Maximal Concept-Strength Recognition Method), 분산형 데이터베이스, 자질, 범주, 분산 도메인 Automatic Classification, Maximal Concept-Strength Recognition Method (MCR), Distributed Database, Qualities, Categories, Distributed Domains
Description
본 발명은 자질별 가중치값을 이용하여 다수의 분산형 데이터베이스 환경에서 신규로 입력된 문서에 대하여 최적의 데이터베이스를 선택해 자동 분류(자동범주 부여)하는 성능을 극대화하기 위한 최대 개념강도 인지기법을 이용한 최적의 도메인 선택장치 및 그 방법에 관한 것이다. The present invention is optimized using the maximum conceptual strength recognition technique for maximizing the performance of automatically classifying (automatically assigning) an optimal database for newly inputted documents in a plurality of distributed database environments by using weight values for each feature. An apparatus for selecting a domain and a method thereof are provided.
다양한 학술정보 데이터베이스를 구축하고 서비스하는 경우, 서비스 고도화를 위해 자주 언급되는 것이 개별 문서의 자동분류화와 통합 분류 체계의 적용에 대한 것이다. In the case of constructing and servicing various academic information databases, one of the most frequently mentioned references for service advancement is the automatic classification of individual documents and the application of integrated classification schemes.
그러나, 개별 문서의 자동분류 문제는 대용량의 데이터베이스 환경 하에서 학습모델을 대용량 기반으로 처리해야 하기 때문에 많은 연구에서 제안된 최적의 알고리즘을 실제 서비스에 적용하기 어려운 문제점이 있다. However, the problem of automatic classification of individual documents is that it is difficult to apply the optimal algorithm proposed in many studies to the actual service because the learning model must be processed based on the large capacity in a large database environment.
통합정보 서비스의 경우 통합서비스의 표준 주제분류에 맞도록 여러 자원을 자동분류해야 하며, 이때 이기종 데이터베이스 간의 자동분류 성능이 현저히 떨어 지기 때문에 실효성이 떨어지는 문제가 있다. In the case of integrated information services, it is necessary to automatically classify various resources to meet the standard subject classification of integrated services. At this time, the effectiveness of automatic classification between heterogeneous databases is significantly reduced.
예를 들어, 논문과 특허, 또는 논문과 연구보고서의 경우 분류와 용어속성을 갖는 정보소스가 상이하고, 유사한 영역으로 생각되는 학술논문정보 내에서도 사용되는 용어개념이 상이하여 분류학습 모델을 일반화하기 어려운 문제가 있다. For example, it is difficult to generalize the classification learning model because the information sources with classifications and term attributes are different in papers and patents or papers and research reports. there is a problem.
따라서, 다양한 분야와 속성을 가진 정보자원이 구축된 분산형 데이터베이스 환경으로 새로운 자원(문서)이 입수되어 자동으로 해당되는 데이터베이스 및 문서의 범주를 할당해야 하는 자동분류 환경 구축이 요구된다. Therefore, it is necessary to build an automatic classification environment in which new resources (documents) are acquired into a distributed database environment in which information resources having various fields and attributes are constructed and automatically allocate corresponding categories of databases and documents.
본 발명은 입력된 분류대상 문서로부터 추출된 자질값을 이용해 여러 데이터베이스로부터 연산한 벡터정보를 선형 결합하여 최대 가중치값을 산출하여 분류대상 문서가 최적으로 분류되는 분산형 데이터베이스를 선택하고, 동시에 상기 데이터베이스에서 해당되는 문서의 범주를 부여하는 최대 개념강도 인지기법을 이용한 최적의 도메인 선택장치 및 그 방법을 제공한다.The present invention calculates the maximum weight value by linearly combining vector information computed from various databases using the feature values extracted from the input classification target document, and selects a distributed database in which the classification target document is optimally classified. In this paper, we provide an optimal domain selection device and its method using the maximum concept strength recognition technique that assigns the category of documents.
본 발명의 한 특징에 따르면, 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스, 분류대상 문서가 입력되면 상기 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하여 상기 분류대상 문서의 범주를 결정한 후 상기 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 최대 개 념강도로 결정하는 최대 개념강도 결정부, 및 상기 최대 개념강도 결정부에서 결정된 상기 분류대상 문서의 최대 개념강도를 상기 분산형 데이터베이스에 대하여 각각 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택하는 데이터베이스 선택부를 포함한다.According to an aspect of the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a classification system of a document and a term attribute, and when a document to be classified is input, a feature is extracted from the document to be classified. After determining the category of the document to be classified by calculating the weight value for each feature using the similarity between the extracted feature and the category, the maximum value for calculating the weight value for each feature for the document category is determined as the maximum concept strength. A concept strength determiner and a database selector for selecting a distributed database similar to the characteristics of the classified document by applying the maximum conceptual strength of the classified document determined by the maximum conceptual strength determiner to the distributed database, respectively. do.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치에 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 상기 데이터베이스 선택부에서 선택한 결과값을 누적하여 상기 분류대상 문서 전체가 의미적으로 가장 유사한 데이터베이스로 지정되는 분산형 데이터베이스를 선택하는 카운터부를 더 포함할 수 있다. In addition, when a plurality of documents to be classified are input to an optimal database selection device using the maximum conceptual strength recognition technique according to the present invention, the result values selected by the database selection unit are accumulated for each document to be classified, and thus the entire documents to be classified. May further include a counter for selecting a distributed database semantically designated as the most similar database.
본 발명의 다른 특징에 따르면, 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스, 분류대상 문서가 입력되면 상기 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하고 상기 분류대상 문서의 범주와 상기 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 산출하는 범주 및 자질별 가중치 최대값 산출부, 및 상기 산출된 문서의 범주와 자질별 가중치 최대값을 상기 분산형 데이터베이스에 대하여 각각 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스와 상기 데이터베이스에서 상기 문서가 해당되는 범주를 동시에 선택하는 데이터베이스 및 범주 선택부를 포함한다. According to another feature of the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a document classification system and a term attribute, and when a document to be classified is input, a feature is extracted from the document to be classified. Calculate the weight value for each feature using the similarity between the extracted feature and the category, and calculate the maximum value for calculating the weight value for each category for the category of the document and the document category. And a distributed database similar to the characteristics of the document to be classified and a category corresponding to the document in the database by applying the calculated maximum value of each category and feature of the document to the distributed database. Includes database and category selection.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하 여 상기 데이터베이스 및 범주 선택부에서 선택된 분산형 데이터베이스 결과값을 누적하여 상기 분류대상 문서 전체가 분류되는 분산형 데이터베이스를 선택하는 카운터부를 더 포함할 수 있다. In addition, when a plurality of documents to be classified in the optimal database selection device using the maximum conceptual strength recognition method according to the present invention are inputted, the distributed database result values selected by the database and the category selector are accumulated for each document to be classified. The counter may further include a counter for selecting a distributed database in which the entire document to be classified is classified.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 자질별 가중치값은 고빈도어 선호경향을 갖는 연관성 척도인 코사인 유사계수를 사용하는 자질값 투표형 분류기로부터 연산될 수 있다. In addition, the weight value for each feature of the optimal database selection device using the maximum conceptual strength recognition technique according to the present invention can be calculated from the feature value voting classifier using the cosine similarity coefficient, which is a measure of association with high frequency preference. have.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 최대 개념강도 결정부 또는 상기 범주 및 자질별 가중치 최대값 산출부는 아래 수학식에 의하여 상기 자질별 가중치값을 연산할 수 있다. In addition, the maximum conceptual strength determining unit or the maximum weight value calculation unit for each category and feature of the optimal database selection apparatus using the maximum conceptual strength recognition method according to the present invention can calculate the weight value for each feature by the following equation: have.
(여기서, f: 자질, cj: 범주, tf: 용어 빈도수, df: 문헌 빈도수, cos(f, cj): 코사인 유사계수를 의미함)(Where f is the feature, c j is the category, tf is the term frequency, df is the frequency of the document, and cos (f, c j is the cosine similarity coefficient).
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 최대 개념강도 결정부는 아래 수학식에 의하여 상기 분류대상 문서의 범주를 결정할 수 있다. In addition, the maximum conceptual strength determination unit of the optimal database selection device using the maximum conceptual strength recognition method according to the present invention may determine the category of the document to be classified by the following equation.
(여기서, fi: 자질, cj: 범주, vs(fi, cj): 자질별 가중치값을 의미함)(Where, f i : feature, c j : category, vs (f i , c j ): mean weight value by feature)
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이 스 선택장치의 상기 최대 개념강도 결정부 또는 범주 및 자질별 가중치 최대값 산출부는 아래 수학식에 의하여 상기 분류대상 문서의 범주와 상기 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 결정할 수 있다. In addition, the maximum conceptual strength determiner or category and the maximum weight value calculation unit for each feature of the optimal database selection apparatus using the maximum conceptual strength recognition method according to the present invention, the category and the It is possible to determine the maximum value for calculating the weight value for each feature for the document category.
(여기서, fi: 자질, cj: 범주, vs(fi, cj): 자질별 가중치값, vcj max: 문서 범주에 대한 자질별 가중치값을 연산한 최대값)(Where, f i : feature, c j : category, vs (f i , c j ): weight by feature, v cj max : maximum computed weight by feature for document category)
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 데이터베이스 선택부는 아래 수학식에 의하여 각각의 분산형 데이터베이스 중 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택할 수 있다. In addition, the database selection unit of the optimal database selection device using the maximum concept strength recognition method according to the present invention may select a distributed database similar to the characteristics of the classified document from each distributed database by the following equation.
(여기서, dj: j번째 문서, Dk: k번째 데이터베이스, dj pred[2]: vcj max 를 의미함)(Where d j : j document, D k : k database, d j pred [2]: v cj max )
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 상기 카운터부는 아래 수학식에 의하여 각각의 분산형 데이터베이스 중 상기 분류대상 문서 전체의 특성과 유사한 분산형 데이터베이스를 선택할 수 있다. In addition, the counter unit of the optimal database selection apparatus using the maximum conceptual strength recognition method according to the present invention can select a distributed database similar to the characteristics of the entire classification target document of each distributed database by the following equation.
(여기서, set{d}: 전체 문서 집합, dj: j번째 문서, Dk: k번째 데이터베이스, binary(MCRsingle(dj pred)[1]): 선택된 Dk 에 따라 "1" 또는 "0" 값을 부여하는 것을 의미함)(Where set {d}: entire document set, d j : jth document, D k : kth database, binary (MCR single (d j pred ) [1]): "1" or ", depending on the selected D k ) 0 "value)
본 발명의 다른 특징에 따르면, 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스를 포함하며 분류대상 문서가 입력되면 상기 분류대상 문서의 특성에 따라 데이터베이스가 선택되는 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에 있어서, (a) 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하는 단계, (b) 상기 자질별 가중치값을 이용하여 상기 분류대상 문서의 범주를 결정하고 상기 문서의 범주에 대한 자질별 가중치값을 연산한 최대값을 최대 개념강도로 결정하는 단계, 및 (c) 상기 최대 개념강도를 각각의 분산형 데이터베이스에 대하여 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택하는 단계를 포함한다. According to another feature of the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a document classification system and a term attribute of the document, and when a document to be classified is input, the characteristics of the document to be classified may be determined. In the optimal database selection method using the maximum conceptual strength recognition method that is selected according to the database, (a) extracting a feature from the document to be classified and calculating the weight value for each feature using the similarity between the extracted feature and the category (b) determining a category of the document to be classified using the weight value for each feature, and determining a maximum value for calculating the weight value for each feature for the category of the document as the maximum conceptual strength, and (c) the The maximum conceptual strength is applied to each distributed database so that the distributed concept is similar to the characteristics of the classified documents. Emitter comprises selecting a base.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 상기 (a) 내지 (c) 단계를 반복하며, 상기 (c) 단계에서 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스를 선택하는 단계를 더 포함할 수 있다. In addition, if a plurality of the documents to be classified in the optimal database selection method using the maximum concept strength recognition method according to the present invention is inputted, repeating the steps (a) to (c) for each document to be classified, the (c) The method may further include selecting a distributed database having a maximum cumulative number of distributed databases selected in the step).
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 (a)단계에서, 상기 자질별 가중치값은 아래 수학식에 의하여 연산될 수 있다. Further, in the step (a) of the optimal database selection method using the maximum conceptual strength recognition method according to the present invention, the weight value for each feature can be calculated by the following equation.
(여기서, f: 자질, cj: 범주, tf: 용어 빈도수, df: 문헌 빈도수, cos(f, cj): 코사인 유사계수를 의미함)(Where f is the feature, c j is the category, tf is the term frequency, df is the frequency of the document, and cos (f, c j is the cosine similarity coefficient).
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 (b)단계에서, 상기 분류대상 문서의 범주는 아래 수학식에 의하여 결정될 수 있다. Further, in the step (b) of the optimal database selection method using the maximum conceptual strength recognition method according to the present invention, the category of the document to be classified may be determined by the following equation.
(여기서, fi: 자질, cj: 범주, vs((fi, cj): 자질별 가중치값을 의미함)(Where, f i : feature, c j : category, vs ((f i , c j ): mean weight value by feature)
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 (b)단계에서, 상기 분류대상 문서의 범주와 상기 문서 범주에 대한 자질값 가중치값은 아래 수학식에 의하여 연산될 수 있다. Further, in the step (b) of the optimal database selection method using the maximum conceptual strength recognition method according to the present invention, the category of the document to be classified and the feature value weight value for the document category is calculated by the following equation: Can be.
(여기서, fi: 자질, cj: 범주, vs(fi, cj): 자질별 가중치값, vcj max: 문서 범주에 대한 자질별 가중치값을 연산한 최대값)(Where, f i : feature, c j : category, vs (f i , c j ): weight by feature, v cj max : maximum computed weight by feature for document category)
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 (c)단계에서, 상기 분산형 데이터베이스 중 상기 분류대상 문서의 특성과 유사한 데이터베이스는 아래 수학식에 의하여 선택될 수 있다. Further, in the step (c) of the optimal database selection method using the maximum conceptual strength recognition method according to the present invention, a database similar to the characteristics of the document to be classified among the distributed databases may be selected by the following equation. .
(여기서, dj: j번째 문서, Dk: k번째 데이터베이스, dj pred[2]: vcj max 를 의미함)(Where d j : j document, D k : k database, d j pred [2]: v cj max )
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 상기 (a) 내지 (c) 단계를 반복하며, 상기 (c) 단계에서 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스를 선택하는 단계에서, 상기 누적 개수가 최대인 분산형 데이터베이스는 아래 수학식에 의하여 선택될 수 있다. In addition, if a plurality of the documents to be classified in the optimal database selection method using the maximum concept strength recognition method according to the present invention is inputted, repeating the steps (a) to (c) for each document to be classified, the (c) In the step of selecting a distributed database having the maximum cumulative number of distributed databases selected in the step), the distributed database having the maximum cumulative number may be selected by the following equation.
(여기서, set{d}: 전체 문서 집합, dj: j번째 문서, Dk: k번째 데이터베이스, binary(MCRsingle(dj pred)[1]): 선택된 Dk 에 따라 "1" 또는 "0" 값을 부여하는 것 을 의미함)(Where set {d}: entire document set, d j : jth document, D k : kth database, binary (MCR single (d j pred ) [1]): "1" or ", depending on the selected D k ) 0 "value)
본 발명의 다른 특징에 따르면, 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스를 포함하며 분류대상 문서가 입력되면 상기 분류대상 문서의 특성에 따라 데이터베이스가 선택되는 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에 있어서, (a) 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하는 단계, (b) 상기 자질별 가중치값을 이용하여 상기 분류대상 문서의 범주와 상기 문서의 범주에 대한 자질별 가중치값을 연산한 최대값을 산출하는 단계, 및 (c) 상기 문서의 범주와 상기 문서의 범주에 대한 자질별 가중치값을 연산한 최대값을 각각의 분산형 데이터베이스에 대하여 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스 및 상기 데이터베이스에서 상기 문서가 해당되는 범주를 동시에 선택하는 단계를 포함한다.According to another feature of the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a document classification system and a term attribute of the document, and when a document to be classified is input, the characteristics of the document to be classified may be determined. In the optimal database selection method using the maximum conceptual strength recognition method that is selected according to the database, (a) extracting a feature from the document to be classified and calculating the weight value for each feature using the similarity between the extracted feature and the category (b) calculating a maximum value for calculating a category weight of each category of the document to be classified and a feature weight for each category of the document using the weight value for each feature, and (c) the category of the document and the document. The classification target is applied by applying the maximum value of each feature for each category of the distributed databases. In a distributed database, and the database similar to the characteristics of the document includes the step of selecting a category to which the document the same time.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 상기 (a) 내지 (c) 단계를 반복하며, 상기 (c) 단계에서 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스 및 상기 데이터베이스에서 상기 문서가 해당되는 범주를 동시에 선택하는 단계를 더 포함할 수 있다. In addition, if a plurality of the documents to be classified in the optimal database selection method using the maximum concept strength recognition method according to the present invention is inputted, repeating the steps (a) to (c) for each document to be classified, the (c) The method may further include selecting a distributed database having a maximum cumulative number of distributed databases selected in the step) and a category corresponding to the document in the database.
본 발명의 다른 특징에 따르면, 최대 개념강도 인지기법을 이용한 최적의 도메인 선택방법을 수행하는 프로그램이 기록되고 전자 장치에서 판독 가능한 기록매체에 기록될 수 있다. According to another feature of the present invention, a program for performing an optimal domain selection method using the maximum concept strength recognition technique may be recorded and recorded on a recording medium readable by an electronic device.
본 발명의 다른 특징에 따르면, 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 분산형 데이터베이스, 분류대상 문서가 입력되면 상기 분류대상 문서로부터 자질을 추출하고 상기 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하고 상기 분류대상 문서의 범주와 상기 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 산출하는 범주 및 자질별 가중치 최대값 산출부, 상기 산출된 문서의 범주와 자질별 가중치 최대값을 상기 분산형 데이터베이스에 대하여 각각 적용하여 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스와 상기 데이터베이스에서 상기 문서가 해당되는 범주를 동시에 선택하는 데이터베이스 및 범주 선택부와, 상기 분류대상 문서가 해당되는 데이터베이스와 범주에 대한 정보를 전송하는 송수신부를 포함하는 서버, 및 상기 서버와 인증절차를 처리하며 유무선 통신망을 통해 상기 서버로부터 선택된 상기 분류대상 문서가 해당되는 데이터베이스와 범주에 대한 정보를 전송받는 외부단말을 포함한다.According to another feature of the present invention, a distributed database in which a plurality of documents are classified and stored according to a property of a document including a document classification system and a term attribute, and when a document to be classified is input, a feature is extracted from the document to be classified. Calculate the weight value for each feature using the similarity between the extracted feature and the category, and calculate the maximum value for calculating the weight value for each category for the category of the document and the document category. A distributed database similar to the characteristics of the document to be classified and a category corresponding to the document in the database are simultaneously selected by applying the calculated categories of documents and the maximum weight value for each feature to the distributed database. And a category selection unit and a database corresponding to the classified document. A server including a transceiver for transmitting information on a swath category, and an external terminal that processes an authentication procedure with the server and receives information about a database and a category to which the classified document selected from the server is transmitted through a wired / wireless communication network. Include.
또한, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택시스템의 상기 서버는, 상기 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 상기 데이터베이스 선택부에서 선택한 결과값을 누적하여 상기 분류대상 문서 전체가 분류되는 분산형 데이터베이스 및 상기 데이터베이스에서 상기 문서가 해당되는 범주를 동시에 선택하는 카운터부를 더 포함할 수 있다. The server of the optimal database selection system using the maximum conceptual strength recognition method according to the present invention accumulates the result value selected by the database selection unit for each classification target document when a plurality of classification target documents are inputted. The apparatus may further include a distributed database in which the entire classification target document is classified and a counter unit for simultaneously selecting a category corresponding to the document in the database.
본 발명의 실시 예에서는 문서가 분산된 데이터베이스 중 어디에 해당되는지 분류할 때, 대용량 분류의 문제점을 해결하고 분류대상 문서의 특성과 가장 유사한 데이터베이스를 선택할 수 있는 효과가 있다. According to an embodiment of the present invention, when classifying a document among distributed databases, it is possible to solve a problem of mass classification and to select a database most similar to the characteristics of the documents to be classified.
또한, 대용량 학습모델 구축을 통한 범주화가 어려운 환경에서 분산된 개별 학습모델 중 최적의 모델을 찾을 수 있으며, 통합정보서비스 환경에 적합한 자동분류 환경을 구축할 수 있다. In addition, it is possible to find the optimal model among the distributed individual learning models in the environment that is difficult to categorize by building a large learning model, and to build an automatic classification environment suitable for the integrated information service environment.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
이제 본 발명의 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 도메인 선택장치 및 그 방법에 대하여 도면을 참조하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Now, an apparatus for selecting an optimal domain using a maximum conceptual strength recognition technique and a method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components are denoted by the same reference numerals. And duplicate description thereof will be omitted.
<< 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치>Optimal Database Selection Device Using Maximum Conceptual Strength Recognition Method>
도 1은 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 구성도를 개략적으로 도시한 도면이고, 도 2는 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 구성도를 개략적으로 도시한 도면이다. FIG. 1 is a diagram schematically illustrating a configuration of an optimal database selection apparatus using a maximum conceptual strength recognition technique according to a first embodiment of the present invention, and FIG. 2 is a maximum conceptual strength according to a second embodiment of the present invention. Figure is a schematic diagram showing the configuration of an optimal database selection device using the recognition method.
제1 실시 예First embodiment
도 1에 도시한 바와 같이, 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치(100)는 분산형 데이터베이스(110), 최대 개념강도 결정부(120a), 데이터베이스 선택부(130a) 및 카운터부(140)를 포함한다. As shown in FIG. 1, the optimal
분산형 데이터베이스(110)는 문서의 분류체계와 용어 속성을 포함하는 문서의 특성에 따라 다수의 문서가 분류되어 저장되는 공간을 의미하며, 예를 들어, 과학기술동향이 저장되는 GTB 데이터베이스, 국내학술논문이 저장되는 SOC, 해외학술논문이 저장되는 NDS 데이터베이스, 상기의 세 개의 데이터베이스가 통합된 GNS 데이터베이스 등으로 분류될 수 있다. The distributed
각각의 분산형 데이터베이스(110)는 저장된 문서로부터 학습된 분류기를 포함하며, 각각의 분류기로부터 자질(키워드)별 가중치값이 연산되어 문서의 범주(주제분야)를 분류할 수 있다. Each distributed
최대 개념강도 결정부(120a)는 분류대상 문서가 입력되면, 분류대상 문서로부터 자질을 추출하고 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산할 수 있다. When the classification target document is input, the maximum
최대 개념강도 결정부(120a)는 분류대상 문서의 범주를 결정한 후 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 최대 개념강도로 결정할 수 있다. The maximum
여기서, 자질별 가중치값은 자질(키워드)과 범주(주제분야)의 연관도를 의미 하며, 자질별 가중치값은 고빈도어 선호경향을 갖는 연관성 척도인 유사 계수를 사용하는 자질값 투표형 분류기 등으로부터 연산될 수 있다. Here, the weight value for each feature refers to the degree of association between the feature (keyword) and the category (thematic field), and the weight value for each feature is a feature value voting classifier using similar coefficients, which is an association measure with high frequency preference. Can be computed from
유사 계수는 고빈도어 선호경향을 갖는 자카드 계수(Jaccard Coefficient), 코사인 유사계수(Cosine Coefficient) 등과, 저빈도어 선호경향을 갖는 로그승산비(Log-odds ratios), 상호정보량(Mutual information) 등을 다양하게 적용할 수 있다.Similarity coefficients include Jaccard Coefficient, Cosine Coefficient with high frequency preference, Log-odds ratios with Mutual Information, Mutual information, etc. It can be applied in various ways.
예를 들어, 분류대상 문서에 나타난 n개의 단어 자질집합과 후보범주 m개의 집합을 각각 F={f1, f2, f3, ..., fn}와 C={c1, c2, c3, ...., cn}로 표현하고, 자질 fi가 범주 cj에 대하여 가지는 자질값을 vs(fi, cj)라고 한다.For example, the set of n word features and the set of m candidate categories in the document to be classified are F = {f 1 , f 2 , f 3 , ..., f n } and C = {c 1 , c 2 , c 3 , ...., c n }, and the feature f i has for the category c j is called vs (f i , c j ).
구체적으로, 최대 개념강도 결정부(120)는 [수학식 1]에 의하여 자질별 가중치값(vs(f, cj))을 연산하고, [수학식 2]에 의하여 분류대상 문서의 범주(cj)를 결정하며, [수학식 3]에 의하여 분류대상 문서의 범주(cj)와 문서 범주에 대한 자질값 가중치값을 연산한 최대값(vcj max)을 결정할 수 있다.In detail, the maximum conceptual strength determiner 120 calculates a weight value vs (f, c j ) for each feature according to [Equation 1], and category (c) of a document to be classified according to [Equation 2]. j ), and using the equation (3), it is possible to determine the maximum value (v cj max ) of calculating the category (c j ) and the feature value weight value for the document category.
(여기서, f: 자질, cj: 범주, tf: 용어 빈도수, df: 문헌 빈도수, cos(f, cj): 코사인 유사계수를 의미함)(Where f is the feature, c j is the category, tf is the term frequency, df is the frequency of the document, and cos (f, c j is the cosine similarity coefficient).
(여기서, fi: 자질, cj: 범주, vs(fi, cj): 자질별 가중치값을 의미함)(Where, f i : feature, c j : category, vs (f i , c j ): mean weight value by feature)
(여기서, fi: 자질, cj: 범주, vs((fi, cj): 자질별 가중치값, vcj max: 문서 범주에 대한 자질별 가중치값을 연산한 최대값)(Where f i : feature, c j : category, vs ((f i , c j ): weight by feature, v cj max : maximum computed weight by feature for document category)
데이터베이스 선택부(130a)는 최대 개념강도 결정부(120a)에서 결정된 분류대상 문서의 최대 개념강도를 분산형 데이터베이스(110)에 대하여 각각 적용하여 분류대상 문서의 특성과 유사한 분산형 데이터베이스(110)를 선택할 수 있다. The
구체적으로, 데이터베이스 선택부(130a)는 [수학식 4]에 의하여 각각의 분산형 데이터베이스(110) 중 상기 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택할 수 있다. In detail, the
(여기서, dj: j번째 문서, Dk: k번째 데이터베이스, dj pred[2]: vcj max 를 의미 함)(Where d j : jth document, D k : kth database, d j pred [2]: v cj max )
카운터부(140)는 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 데이터베이스 선택부(130a)에서 선택한 결과값을 누적하여 분류대상 문서 전체가 분류되는 분산형 데이터베이스(110)를 선택할 수 있다. When a large number of documents to be classified are input, the
즉, 카운터부(140)는 [수학식 5]에 의하여 각각의 분산형 데이터베이스(110)가 선택되면 "1"을 누적한 결과값을 이용하여 분류대상 문서 전체의 특성과 유사한 분산형 데이터베이스를 선택할 수 있다.That is, when each distributed
(여기서, set{d}: 전체 문서 집합, dj: j번째 문서, Dk: k번째 데이터베이스, binary(MCRsingle(dj pred)[1]): 선택된 Dk 에 따라 "1" 또는 "0" 값을 부여하는 것을 의미함)(Where set {d}: entire document set, d j : jth document, D k : kth database, binary (MCR single (d j pred ) [1]): "1" or ", depending on the selected D k ) 0 "value)
제2 실시 예Second embodiment
도 2에 도시한 바와 같이, 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치(100)는 분산형 데이터베이스(110), 범주 및 자질별 가중치 최대값 산출부(120b), 데이터베이스 및 범주 선택부(130b) 및 카운터부(140)를 포함한다. As shown in FIG. 2, the optimal
상기의 분산형데이터베이스(110)와 카운터부(140)의 기능은 제1 실시 예에서 설명한 바와 유사하며, 범주 및 자질별 가중치 최대값 산출부(120b) 및 데이터베이스 및 범주 선택부(130b)에 대하여 구체적으로 설명하도록 한다. The functions of the distributed
먼저, 범주 및 자질별 가중치 최대값 산출부(120b)는 분류대상 문서가 입력되면 분류대상 문서로부터 자질을 추출하고 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산할 수 있다. First, when the classification target document is input, the maximum
또한, 분류대상 문서의 범주와 문서 범주에 대한 자질별 가중치값을 연산한 최대값을 산출한 후 분산형 데이터베이스 선택 및 범주 선택시 활용할 수 있다. In addition, after calculating the maximum value for calculating the weighting value for each category and document category of the document to be classified, it can be used for distributed database selection and category selection.
데이터베이스 및 범주 선택부(130b)는 산출된 문서의 범주와 자질별 가중치 최대값을 분산형 데이터베이스(110)에 대하여 각각 적용하여 분류대상 문서의 특성과 유사한 분산형 데이터베이스(110)와 데이터베이스에서 문서가 해당되는 범주를 동시에 선택할 수 있다. The database and
구체적으로, 데이터베이스 및 범주 선택부(130b)는 상술한 [수학식 6] 및 [수학식 7]에 의하여 분류대상 분서가 해당되는 데이터베이스 및 문서의 범주를 동시에 선택할 수 있다. In detail, the database and
<최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법이 기록된 기록매체><Recording medium recording optimal database selection method using maximum conceptual strength recognition technique>
본 발명의 다른 특징에 따르면, 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 수행하는 프로그램이 기록되고 전자 장치에서 판독 가능한 기록매체에 기록될 수 있다. According to another aspect of the present invention, a program for performing an optimal database selection method using the maximum concept strength recognition technique may be recorded and recorded on a recording medium readable by the electronic device.
최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은 컴퓨터 프로그램으로 작성 가능하며, 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. An optimal database selection method using the maximum conceptual strength recognition technique can be written by a computer program, and codes and code segments constituting the program can be easily inferred by a computer programmer in the art.
또한, 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에 관한 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 분류대상 문서를 자동범주화할 수 있다. In addition, the program related to the optimal database selection method using the maximum concept strength recognition technique is stored in computer readable media, and can be automatically categorized by being read and executed by the computer. have.
<최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법>Optimal Database Selection Using Maximum Conceptual Strength Recognition
도 3은 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 흐름도를 도시한 도면이고, 도 4는 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 흐름도를 도시한 도면이다. 3 is a flowchart illustrating an optimal database selection method using a maximum conceptual strength recognition method according to a first embodiment of the present invention, and FIG. 4 illustrates a maximum conceptual strength recognition method according to a second embodiment of the present invention. A flowchart illustrating an optimal database selection method used.
제1 실시 예First embodiment
도 3에 도시한 바와 같이, 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은 입력문서에 대해 자질별 가중치값을 연산하고(S310), 최대 개념강도로 결정하고(S320), 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택한 후(S330), 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스를 최종 데이터베이스로 선택한다(S340).As shown in FIG. 3, in the optimal database selection method using the maximum conceptual strength recognition method according to the first embodiment of the present invention, a weight value for each feature is calculated for an input document (S310), and the maximum conceptual strength is determined. (S320), after selecting a distributed database similar to the characteristics of the documents to be classified (S330), the distributed database having the maximum cumulative number of the selected distributed databases is selected as the final database (S340).
다수의 문서가 분류되어 저장되는 분산형 데이터베이스를 포함하는 최대 개 념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은, 분류대상 문서의 특성에 따라 분류될 분산형 데이터베이스를 선택하는 알고리즘을 의미한다. The optimal database selection method using the maximum concept strength recognition technique including a distributed database in which a plurality of documents are classified and stored means an algorithm for selecting a distributed database to be classified according to the characteristics of the classified documents.
본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은 개별문서의 최대 개념강도를 측정한 결과값을 이용하여 문서를 분류하는 방법이다. The optimal database selection method using the maximum conceptual strength recognition technique according to the present invention is a method of classifying documents using the result of measuring the maximum conceptual strength of individual documents.
먼저, 최대 개념강도는 [수학식 5]에 의하여 계산되며, 자질별 가중치값을 연산한 최대값으로 정의된다. First, the maximum conceptual strength is calculated by [Equation 5], and is defined as the maximum value for calculating the weight value for each feature.
자질별 가중치값을 구하는 방법은 각각의 분류대상 문서로부터 자질을 추출하고 추출된 자질과 범주의 유사도를 이용하여 연산되며, 결정된 문서의 범주를 이용하여 문서의 범주에 대한 자질별 가중치값을 연산한 최대값을 최대 개념강도로 결정한다.The weighting method for each feature is calculated by extracting the feature from each classified document and using the similarity between the extracted feature and the category, and using the determined document category to calculate the weighting value for each category of the document. Determine the maximum value as the maximum conceptual strength.
구체적으로, 문서의 범주 및 문서의 범주에 대한 자질별 가중치값을 연산한 최대값은 상술한 바와 같이 [수학식 1] 내지 [수학식 5]에 의하여 결정될 수 있다. Specifically, the maximum value for calculating the weight value for each feature for the category of the document and the category of the document may be determined by Equation 1 to Equation 5 as described above.
다음으로, 최대 개념강도를 각각의 분산형 데이터베이스에 대하여 적용하여 분류대상 문서의 특성과 유사한 분산형 데이터베이스를 선택할 수 있다. Next, the maximum conceptual strength is applied to each distributed database to select a distributed database similar to the characteristics of the documents to be classified.
상기의 단계(S310~S330)는 하나의 문서에 대하여 분산형 데이터베이스를 선택하는 방법이며, 다수의 분류대상 문서가 입력되면, 각각의 분류대상 문서에 대하여 상기의 단계(S310~S330)를 반복하며, 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스를 선택할 수 있다. The above step (S310 ~ S330) is a method of selecting a distributed database for one document, and if a plurality of classification target documents are input, repeat the above steps (S310 ~ S330) for each classification target document For example, a distributed database having a maximum cumulative number of selected distributed databases may be selected.
제2 실시 예Second embodiment
도 4에 도시한 바와 같이, 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은 자질별 가중치값을 연산하고(S410), 분류대상 문서의 범주와 문서의 범주에 대한 자질별 가중치값을 연산한 최대값을 산출하고(S420), 분류대상 문서의 특성과 유사한 분산형 데이터베이스 및 데이터베이스에서 문서가 해당되는 범주를 동시에 선택한 후(S430), 선택되는 분산형 데이터베이스의 누적 개수가 최대인 분산형 데이터베이스를 최종 데이터베이스로 선택할 수 있다(S440).As shown in FIG. 4, the optimal database selection method using the maximum conceptual strength recognition method according to the second embodiment of the present invention calculates a weight value for each feature (S410), and the category of the document to be classified and the document category. Computing the maximum value of the weighted value for each feature for (S420), and simultaneously select the category corresponding to the document in the distributed database and database similar to the characteristics of the document to be classified (S430), the selected distributed database A distributed database having a maximum cumulative number may be selected as the final database (S440).
본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법은 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법과 유사하며, 분산형 데이터베이스를 선택하면서 동시에 선택된 분산형 데이터베이스에 해당되는 문서의 범주를 결정하는 차이가 있다. The optimal database selection method using the maximum conceptual strength recognition method according to the second embodiment of the present invention is similar to the optimal database selection method using the maximum conceptual strength recognition method according to the first embodiment, while selecting a distributed database. At the same time, there are differences that determine the categories of documents that fall within the selected distributed database.
<최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택시스템>Optimal Database Selection System Using Maximum Conceptual Strength Recognition Technique
도 5는 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택시스템의 구성도를 개략적으로 도시한 도면이다. 5 is a diagram schematically illustrating a configuration of an optimal database selection system using the maximum conceptual strength recognition technique according to the present invention.
도 5에 도시한 바와 같이, 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택시스템은 서버(510), 유무선 통신망(520) 및 외부단말(530)을 포함한다. As shown in FIG. 5, an optimal database selection system using the maximum conceptual strength recognition technique according to the present invention includes a
서버(510)는 상술한 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 구성요소를 포함하여 구성되며, 유무선 통신망을 통해 서버(510)로부터 선택된 분류대상 문서의 데이터베이스와 범주에 대한 정보를 외부단말(530)로 전송한다. The
외부단말(530)은 서버(510)와 인증절차를 처리하며, 분류대상 문서가 해당되는 데이터베이스와 문서의 범주에 대한 정보를 전송받을 수 있다. The
또한, 서버(510)는, 분류대상 문서가 다수 입력되면 각각의 분류대상 문서에 대하여 선택된 데이터베이스 결과값을 누적하여 다수의 분류대상 문서 전체가 분류되는 분산형 데이터베이스를 선택할 수 있다. In addition, when a plurality of documents to be classified are input, the
도 6은 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 설명하기 위한 도면이고, 도 7 내지 도 12는 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 사용하여 실험 문서셋에 대하여 데이터베이스를 교차 실험한 결과를 나타내는 도면이다. 6 is a view for explaining an optimal database selection method using the maximum conceptual strength recognition method according to the present invention, Figures 7 to 12 using the optimal database selection method using the maximum conceptual strength recognition method according to the present invention. This is a diagram showing the results of cross-testing a database on an experimental document set.
본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에 의하여 최적의 데이터베이스를 선택하는 확률을 실험하기 위하여 A, B, C 등의 실험 모델을 준비한다. Experimental models A, B, and C are prepared to test the probability of selecting the optimal database by the optimal database selection method using the maximum conceptual strength recognition method according to the present invention.
A, B 또는 C 실험 모델은 GTB, SOC 또는 NDS 학습 모델로 구현될 수 있다. A, B or C experimental models can be implemented as GTB, SOC or NDS learning models.
실험은 세 단계로 진행되며, 1단계는 전처리 단계에서의 다양한 실험을 통해 분류결과가 전처리에 의하여 왜곡되지 않도록 한다. The experiment proceeds in three stages. In the first stage, the classification results are not distorted by the pretreatment through various experiments in the pretreatment stage.
2단계는 분류기를 이용하여 교차분류 실험을 통해 이기종의 데이터베이스 분 류실험 결과를 비교하는 단계이다.Step 2 compares the results of heterogeneous database classification experiments through cross-classification experiments using classifiers.
분류기 생성은 분류대상 문서(DB1, DB2 또는 DB3)로부터 자질을 추출하고, 추출된 자질과 범주의 유사도를 이용하여 자질별 가중치값을 연산하여 자질의 주제-가중치 벡터정보의 선형결합을 통해 데이터베이스별 분류기를 생성한다. The classifier generation extracts the feature from the document to be classified (DB1, DB2 or DB3), calculates the weight value for each feature using the similarity between the extracted feature and the category, and performs the database-specific combination through the linear combination of the subject-weighted vector information of the feature. Create a classifier.
3단계에서 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 적용하여 성능을 측정하여 비교한다.In the third step, the performance is measured and compared by applying the optimal database selection method using the maximum conceptual strength recognition technique according to the present invention.
여기서, 전처리 단계는 8가지 유형으로 구분되며, 스테밍과 형태소분석 등의 방법을 사용하여 자질(키워드)을 추출한 것이다. Here, the pretreatment step is divided into eight types, and the feature (keyword) is extracted using methods such as stemming and morphological analysis.
먼저, 도 7은 분류대상 실험 문서셋을 NDS 데이터베이스에서 추출한 후, 교차실험과 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에서 데이터베이스(도메인) 만을 선택하는 경우 각각의 데이터베이스 선택비율을 측정 결과이다. First, FIG. 7 shows the database selection ratios when only the database (domain) is selected in the optimal database selection method using the cross-experiment and the maximum conceptual strength recognition method according to the present invention after extracting the experimental document set to be classified from the NDS database. Is the measurement result.
도 7에 나타낸 바와 같이, NDS 실험 문서셋은 NDS 학습 모델을 가지고 실험한 결과가 가장 높은 퍼센트를 차지하는 것을 확인할 수 있다. As shown in FIG. 7, it can be seen that the NDS experimental document set occupies the highest percentage of experiments with the NDS learning model.
도 8은 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법에서 데이터베이스(도메인)와 범주(주제분야)를 동시에 선택하는 경우 각각의 데이터베이스별 분류기에 대해 문서 자동 범주화의 정확률을 추가로 측정한 것이다. FIG. 8 further shows the accuracy rate of automatic document categorization for each database classifier when simultaneously selecting a database (domain) and a category (topic) in an optimal database selection method using the maximum conceptual strength recognition method according to the present invention. It is measured.
데이터베이스(도메인)와 범주(주제분야)를 동시에 선택하는 경우에는 최대 개념강도 측정을 통해 선택된 해당 데이터베이스의 분류기를 직접 이용해서 다시 한번 자동범주화를 실행하는 경우와 거의 비슷한 성능을 보이는 것을 확인할 수 있으며, 특히, 최적의 데이터베이스 선택과 동시에 실시간으로 고성능의 자동범주화가 이루어진다는 점이 매우 특징적이다. If you select a database (domain) and a category (subject field) at the same time, you can see that the performance is almost the same as if you execute the automatic category again by using the classifier of the selected database by measuring the maximum conceptual strength. In particular, the high-performance auto-categorization is characterized in real time at the same time as the optimal database selection.
상기의 실험 결과를 확인하기 위하여, 신규의 문서를 실험 문서셋으로 설정한 후 각각의 데이터베이스에 대하여 실험한 결과 도 10 내지 도 12와 같은 결과를 얻을 수 있다. In order to confirm the above experimental results, after setting a new document as an experimental document set, the results of experiments for each database can be obtained as shown in FIGS. 10 to 12.
즉, 본 발명에 따른 최대 개념강도 인지기법을 이용하여 최적의 데이터베이스를 선택하면, 신규 문서는 NDS 데이터베이스를 선택하게 된다. That is, if the optimal database is selected using the maximum conceptual strength recognition technique according to the present invention, the new document selects the NDS database.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
도 1은 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 구성도를 개략적으로 도시한 도면이다.FIG. 1 is a diagram schematically illustrating a configuration of an optimal database selection device using a maximum conceptual strength recognition technique according to a first embodiment of the present invention.
도 2는 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치의 구성도를 개략적으로 도시한 도면이다. FIG. 2 is a diagram schematically illustrating a configuration of an optimal database selection device using a maximum conceptual strength recognition technique according to a second embodiment of the present invention.
도 3은 본 발명의 제1 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 흐름도를 도시한 도면이다. 3 is a flowchart illustrating an optimal database selection method using the maximum conceptual strength recognition technique according to the first embodiment of the present invention.
도 4는 본 발명의 제2 실시 예에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법의 흐름도를 도시한 도면이다. 4 is a flowchart illustrating an optimal database selection method using the maximum conceptual strength recognition technique according to the second embodiment of the present invention.
도 5는 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택시스템의 구성도를 개략적으로 도시한 도면이다. 5 is a diagram schematically illustrating a configuration of an optimal database selection system using the maximum conceptual strength recognition technique according to the present invention.
도 6은 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 설명하기 위한 도면이다.6 is a view for explaining an optimal database selection method using the maximum conceptual strength recognition method according to the present invention.
도 7 내지 도 12는 본 발명에 따른 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택방법을 사용하여 실험 문서셋에 대하여 데이터베이스를 교차 실험한 결과를 나타내는 도면이다. 7 to 12 are diagrams showing the results of cross-testing a database on an experimental document set using an optimal database selection method using the maximum conceptual strength recognition technique according to the present invention.
<도면의 간단한 설명><Brief Description of Drawings>
100: 최대 개념강도 인지기법을 이용한 최적의 도메인 선택장치100: Optimal domain selection device using maximum conceptual strength recognition
110: 분산형 데이터베이스 120a: 최대 개념강도 결정부110: distributed
120b: 범주 및 자질별 가중치 최대값 산출부120b: Maximum weight calculation unit for each category and feature
130a: 데이터베이스 선택부 130b: 데이터베이스 및 범주 선택부130a:
140: 카운터부 510: 서버140: counter portion 510: server
520: 유무선 통신망 530: 외부단말520: wired and wireless communication network 530: external terminal
Claims (31)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090118944A KR101064256B1 (en) | 2009-12-03 | 2009-12-03 | Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques |
PCT/KR2010/008115 WO2011068315A2 (en) | 2009-12-03 | 2010-11-16 | Apparatus for selecting optimum database using maximal concept-strength recognition technique and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090118944A KR101064256B1 (en) | 2009-12-03 | 2009-12-03 | Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110062274A KR20110062274A (en) | 2011-06-10 |
KR101064256B1 true KR101064256B1 (en) | 2011-09-14 |
Family
ID=44115389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090118944A KR101064256B1 (en) | 2009-12-03 | 2009-12-03 | Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101064256B1 (en) |
WO (1) | WO2011068315A2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101243054B1 (en) * | 2012-07-06 | 2013-03-13 | 한국과학기술정보연구원 | Method and apparatus for terminology recognition based on web search |
KR101240330B1 (en) * | 2012-07-16 | 2013-03-11 | 한국과학기술정보연구원 | System and method for mutidimensional document classification |
US9424321B1 (en) * | 2015-04-27 | 2016-08-23 | Altep, Inc. | Conceptual document analysis and characterization |
CN106446089B (en) * | 2016-09-12 | 2019-08-16 | 北京大学 | The extraction and storage method of a kind of various dimensions field all critical learning |
US11379618B2 (en) * | 2017-06-01 | 2022-07-05 | International Business Machines Corporation | Secure sensitive personal information dependent transactions |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000054268A (en) * | 2000-05-30 | 2000-09-05 | 전상훈 | Method and system for document classification and search using document auto-summary system |
KR20030094966A (en) * | 2002-06-11 | 2003-12-18 | 주식회사 코스모정보통신 | Rule based document auto taxonomy system and method |
KR100756921B1 (en) | 2006-02-28 | 2007-09-07 | 한국과학기술원 | Method of classifying documents, computer readable record medium on which program for executing the method is recorded |
KR100816923B1 (en) | 2006-04-13 | 2008-03-26 | 엘지전자 주식회사 | System and method for classifying document |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100718586B1 (en) * | 2002-11-25 | 2007-05-16 | 한국과학기술원 | Hybrid estimation method for selecting heterogeneous image databases on the web and retrieval system thereof |
-
2009
- 2009-12-03 KR KR1020090118944A patent/KR101064256B1/en not_active IP Right Cessation
-
2010
- 2010-11-16 WO PCT/KR2010/008115 patent/WO2011068315A2/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000054268A (en) * | 2000-05-30 | 2000-09-05 | 전상훈 | Method and system for document classification and search using document auto-summary system |
KR20030094966A (en) * | 2002-06-11 | 2003-12-18 | 주식회사 코스모정보통신 | Rule based document auto taxonomy system and method |
KR100756921B1 (en) | 2006-02-28 | 2007-09-07 | 한국과학기술원 | Method of classifying documents, computer readable record medium on which program for executing the method is recorded |
KR100816923B1 (en) | 2006-04-13 | 2008-03-26 | 엘지전자 주식회사 | System and method for classifying document |
Also Published As
Publication number | Publication date |
---|---|
KR20110062274A (en) | 2011-06-10 |
WO2011068315A4 (en) | 2011-12-15 |
WO2011068315A2 (en) | 2011-06-09 |
WO2011068315A3 (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7107254B1 (en) | Probablistic models and methods for combining multiple content classifiers | |
Jiménez‐Valverde et al. | Discrimination capacity in species distribution models depends on the representativeness of the environmental domain | |
JP5092165B2 (en) | Data construction method and system | |
CN110019794B (en) | Text resource classification method and device, storage medium and electronic device | |
RU2693324C2 (en) | Method and a server for converting a categorical factor value into its numerical representation | |
KR101064256B1 (en) | Apparatus and Method for Selecting Optimal Database by Using The Maximal Concept Strength Recognition Techniques | |
CN110688474A (en) | Embedded representation obtaining and citation recommending method based on deep learning and link prediction | |
CN110310012B (en) | Data analysis method, device, equipment and computer readable storage medium | |
CN116089873A (en) | Model training method, data classification and classification method, device, equipment and medium | |
CN110689368A (en) | Method for designing advertisement click rate prediction system in mobile application | |
CN105164672A (en) | Content classification | |
KR101158750B1 (en) | Text classification device and classification method thereof | |
CN113392920A (en) | Method, apparatus, device, medium, and program product for generating cheating prediction model | |
CN115510331B (en) | Shared resource matching method based on idle amount aggregation | |
CN116821455A (en) | Regional data backtracking analysis method and system based on social tool | |
CN113837807B (en) | Heat prediction method, heat prediction device, electronic equipment and readable storage medium | |
KR101928732B1 (en) | System and Method for Mapping Categories among Heterogeneous Sources by Text Analysis | |
Wang et al. | A knowledge discovery case study of software quality prediction: Isbsg database | |
Pei | [Retracted] Construction of a Legal System of Corporate Social Responsibility Based on Big Data Analysis Technology | |
CN114611668A (en) | Vector representation learning method and system based on heterogeneous information network random walk | |
CN113282686A (en) | Method and device for determining association rule of unbalanced sample | |
JP2010165166A (en) | Graph structure estimation system, graph structure estimation method, and program | |
CN116932487B (en) | Quantized data analysis method and system based on data paragraph division | |
CN117636100B (en) | Pre-training task model adjustment processing method and device, electronic equipment and medium | |
CN116415047B (en) | Resource screening method and system based on national image resource recommendation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140718 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150904 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160630 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170703 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |