KR20180101858A - 단일 클래스 기반의 데이터 수집 장치 및 방법 - Google Patents

단일 클래스 기반의 데이터 수집 장치 및 방법 Download PDF

Info

Publication number
KR20180101858A
KR20180101858A KR1020170028349A KR20170028349A KR20180101858A KR 20180101858 A KR20180101858 A KR 20180101858A KR 1020170028349 A KR1020170028349 A KR 1020170028349A KR 20170028349 A KR20170028349 A KR 20170028349A KR 20180101858 A KR20180101858 A KR 20180101858A
Authority
KR
South Korea
Prior art keywords
data
document
keyword
boundary parameter
boundary
Prior art date
Application number
KR1020170028349A
Other languages
English (en)
Other versions
KR101920683B1 (ko
Inventor
박상현
차준범
김정우
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170028349A priority Critical patent/KR101920683B1/ko
Publication of KR20180101858A publication Critical patent/KR20180101858A/ko
Application granted granted Critical
Publication of KR101920683B1 publication Critical patent/KR101920683B1/ko

Links

Images

Classifications

    • G06F17/30705—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F17/2705—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 실시예들은 키워드를 검색하여 추출한 문헌 자료 내에 포함된 용어를 벡터로 전처리하고, 전처리된 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 이용하여 문헌 자료 중에서 키워드와 관련된 유효 데이터를 추출함으로써, 색인어로 검색한 결과보다 키워드와의 관계에서 관련도가 높은 데이터를 다량으로 수집할 수 있으며, 특정 카테고리뿐만 아니라 다른 카테고리에 해당하는 텍스트 데이터라도 의미가 있는 텍스트 데이터를 추출할 수 있는 데이터 수집 장치 및 방법을 제공한다.

Description

단일 클래스 기반의 데이터 수집 장치 및 방법 {Method and Apparatus for Gathering Data Based on One Class}
본 실시예가 속하는 기술 분야는 텍스트 데이터를 수집하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전문 기술 분야에서 신규 기술이 개발되는 경우에, 저자마다 동일한 대상에 대해 유사한 용어들을 사용하기도 하고, 저자마다 동일한 용어를 다른 의미로 사용되기도 한다. 문헌에 포함된 용어에 따라 검색 결과가 달라지는 문제를 해결하기 위해, 특정 개념과 용어를 일치시켜 정의하는 데 이러한 용어를 통제어라고 한다.
통제어인 색인어를 기반으로 검색하여 추출한 데이터는 신뢰도가 높은 장점이 있다. 하지만, 색인어 기반의 데이터 검색은 문헌 별로 색인어를 매칭하는 작업이 수작업으로 이뤄지기 때문에, 검색 시점에 따라 검색 결과의 수가 달라지는 문제가 있다. 게다가, 색인어와 매칭하지 않은 데이터 중에서도 유효한 데이터가 존재하나, 이러한 데이터는 색인어로 검색하는 과정에서 누락되는 문제가 있다.
본 발명의 실시예들은 키워드를 검색하여 추출한 문헌 자료 내에 포함된 용어를 벡터로 전처리하고, 전처리된 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 이용하여 문헌 자료 중에서 키워드와 관련된 유효 데이터를 추출함으로써, 색인어로 검색한 결과보다 키워드와의 관계에서 관련도가 높은 데이터를 다량으로 수집할 수 있으며, 특정 카테고리뿐만 아니라 다른 카테고리에 해당하는 텍스트 데이터라도 의미가 있는 텍스트 데이터를 추출하는 데 발명의 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 데이터 수집 방법에 있어서, 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 단계, 상기 추출한 문헌 자료를 파싱하는 단계, 상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 단계, 상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 단계, 및 상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 단계를 포함하는 데이터 수집 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 문헌 추출부, 상기 추출한 문헌 자료를 파싱하는 문헌 파싱부, 상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 용어 전처리부, 상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 분류 모델 생성부, 및 상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 유효 데이터 추출부를 포함하는 데이터 수집 장치를 제공한다.
본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 데이터 수집을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 단계, 상기 추출한 문헌 자료를 파싱하는 단계, 상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 단계, 상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 단계, 및 상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 키워드를 검색하여 추출한 문헌 자료 내에 포함된 용어를 벡터로 전처리하고, 전처리된 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 이용하여 문헌 자료 중에서 키워드와 관련된 유효 데이터를 추출함으로써, 색인어로 검색한 결과보다 키워드와의 관계에서 관련도가 높은 데이터를 다량으로 수집할 수 있으며, 특정 카테고리뿐만 아니라 다른 카테고리에 해당하는 텍스트 데이터라도 의미가 있는 텍스트 데이터를 추출할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 데이터 수집 장치가 처리하는 데이터 유형을 예시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 데이터 수집 장치를 예시한 블록도이다.
도 4 및 도 5는 본 발명의 다른 실시예에 따른 데이터 수집 방법을 예시한 흐름도이다.
도 6은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 데이터 수집 장치가 처리하는 데이터 유형을 예시한 도면이다.
텍스트 문서는 용어 검색을 통하여 수집된다. 예컨대, 바이오 메디컬 텍스트 문서는 PubMed의 MeSH 용어 검색을 통하여 수집될 수 있다. PubMed는 검색 엔진에 해당하며, MEDLINE 데이터베이스에 접근이 가능한다. MeSH 용어는 색인어에 해당하며, NLM(National Library of Medicine)에 의해 관리되고 있다. MeSH 용어는 크게 두 가지 문제가 있다. 먼저, 관련 전문가가 해당 문서에 MeSH 용어를 할당하기까지 상당한 지연 시간이 소요된다. 다음으로, 가치 있는 문서가 누락되는 문제가 있다. 즉, 문서에 특정 MeSH 용어가 포함되어 있지 않지만, 해당 문서에 특정 MeSH 용어에 관하여 가치 있는 정보를 포함할 수 있다. 따라서, 텍스트 마이닝 분야의 문서 수집에 있어서, 관련 문서를 누락하지 않는 데이터 수집 장치가 필요하다.
도 1을 참조하면, 데이터는 키워드 종속 데이터(110) 및 키워드 비종속 데이터(120)로 구분된다. 키워드는 특정 데이터베이스에서 문서를 독출하기 위한 용어이다. 키워드 종속 데이터(110)는 키워드에 의한 검색 결과이고, 키워드 비종속 데이터(120)는 키워드와 관련하는 네거티브 데이터를 나타낸다. 키워드 종속 데이터(110)는 색인어 할당 데이터(130) 및 색인어 비할당 데이터(140)로 구분된다. 색인어 할당 데이터(130)는 색인어를 갖는 문서를 나타낸다. 색인어 비할당 데이터(140)는 아직 색인어가 매칭되지 않은 문서를 나타낸다. 예컨대, 색인어로는 MeSH 용어가 있을 수 있다. 색인어 할당 데이터(130)는 색인어 키워드 데이터(150) 및 색인어 비키워드 데이터(160)로 구분된다. 색인어 키워드 데이터(150)는 키워드와 관련된 적어도 하나의 색인어를 갖는 문서를 나타낸다. 색인어 비키워드 데이터(160)는 문서에 포함된 색인어 전부가 키워드와 관련없는 문서를 나타낸다. 키워드 관련 데이터(170) 및 키워드 비관련 데이터(180)는 각각 키워드와 관련되거나 관련되지 않은 데이터를 나타낸다.
기존의 방식은 색인어 키워드 데이터(150)만을 포지티브 데이터로 하여 수집할 수 있으나, 본 실시예들은 색인어 키워드 데이터(150)뿐만 아니라, 색인어 비키워드 데이터(160) 및 색인어 비할당 데이터(140)에서도 색인어 관련 데이터(170)를 수집할 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 데이터 수집 장치를 예시한 블록도이다. 도 2에 도시한 바와 같이, 데이터 수집 장치(200)는 문헌 추출부(210), 문헌 파싱부(220), 용어 전처리부(230), 분류 모델 생성부(240), 및 유효 데이터 추출부(250)를 포함한다. 데이터 수집 장치(200)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 데이터 수집 장치(300)는 관련도 평가부(360)를 추가로 포함할 수 있다.
문헌 추출부(210, 310)는 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출한다.
문헌 파싱부(220, 320)는 추출한 문헌 자료를 파싱한다. 문헌 파싱부(220, 320)는 문헌 자료를 식별자, 문헌 종류, 제목, 및 요약으로 구분할 수 있다.
용어 전처리부(230, 330)는 문헌 자료 내에 포함된 용어의 중요도를 기준으로 용어를 벡터로 표현하여 전처리한다. 예컨대, 용어 전처리부(230, 330)는 TF-IDF Vectorization 또는 ParagraphVector를 이용하여 용어를 전처리할 수 있다. TF-IDF는 가중치로서, 여러 문서로 이루어진 문서 집합에서 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치이다. TF(Term Frequency)는 특정한 단어가 문서 내에 얼마나 자주 등장하는지를 나타내는 값이고, DF(Document Frequency)는 문서 빈도이다. TF-IDF는 수학식 1과 같이 표현된다.
Figure pat00001
문서 j에서 용어 t에 관하여, tfi,j는 문서 내에서 용어 발생 빈도이고, dfi는 특정 용어를 포함하는 문서 개수이고, N은 문서의 전체 개수를 나타낸다.
ParagraphVector는 TF-IDF와 달리, 유사어에 관한 벡터를 그룹화한다. 즉, 단어의 시맨틱 정보를 제공한다. ParagraphVector는 단어의 순서 및 맥락을 고려하는 점에서 TF-IDF와 차이가 있다.
분류 모델 생성부(240, 340)는 전처리된 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성한다. 예컨대, 분류 모델 생성부(240, 340)는 단일 클래스 서포트 벡터 머신(One Class Support Vector Machine, OCSVM)를 이용하여 단일 클래스 분류 모델을 생성한다.
OCSVM는 수학식 2와 같이 표현된다.
Figure pat00002
수학식에서, xi는 데이터 포인트이고, w는 초평면(Hyperplane)의 법선 벡터(Normal Vector)이고, n은 데이터 포인트의 개수이고,
Figure pat00003
는 슬랙(Slack) 변수이고,
Figure pat00004
는 바이어스(Bias) 용어를 나타낸다. 즉,
Figure pat00005
는 분류오류(Misclassification)의 정도를 나타낸다.
Figure pat00006
는 아웃라이어(Outlier)의 분수(Fraction)의 상한을 조절하는 파라미터이다.
Figure pat00007
가 클수록 작고 엄격한 바운더리를 생성한다.
본 실시예에서 단일 클래스 분류 모델은 네거티브 데이터를 학습하지 않고, 포지티브 데이터를 학습하며, 포지티브 데이터는 (i) 키워드와 관련된 색인어를 갖는 문헌, (ii) 키워드와 관련된 색인어를 갖지 않는 문헌, (ii) 색인어를 갖지 않는 문헌 중 적어도 하나를 대상으로 할 수 있다. 색인어는 용어들의 계층 관계를 트리 구조로 형성한다. 연관어는 색인어로 채택되지 않은 축약어, 단복수형, 유사어, 또는 동의어에 해당한다. 연관어 및 색인어 간에 상호 참조되며, 데이터베이스에서 연관어에 대응하는 색인어로 대체되어 검색될 수 있다.
본 실시예에서 단일 클래스 분류 모델은 수학식 3과 같이 표현될 수 있다.
Figure pat00008
수학식 2와 달리, 수학식 3에서는 파라미터가 1-RF로 표현된다. 여기서, RF(Relevance Factor)를 조절하여 복수의 바운더리를 설정할 수 있고, 이를 RR(Relevance Rule)이라고 한다. 바운더리 파라미터는 단일 클래스 분류 모델의 경계의 상한을 조절하며, 바운더리 파라미터는 제1 바운더리 파라미터 또는 제2 바운더리 파라미터로 설정된다. 제1 바운더리 파라미터는 제2 바운더리 파라미터보다 큰 값으로 설정될 수 있다.
문헌 자료의 제목에 키워드가 포함되면 바운더리 파라미터는 제1 바운더리 파라미터로 설정되고, 문헌 자료의 제목에 키워드가 포함되지 않으면 바운더리 파라미터는 제2 바운더리 파라미터로 설정될 수 있다. 예컨대, 문헌 자료의 제목에 키워드가 포함되면 RF는 0.9로 설정될 수 있고, 문헌 자료의 제목에 키워드가 포함되지 않으면 RF는 0.3으로 설정될 수 있다. 이는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 수치가 사용될 수 있음은 물론이다.
유효 데이터 추출부(250, 350)는 단일 클래스 분류 모델을 이용하여, 문헌 자료 중에서 키워드와 관련된 유효 데이터를 추출한다.
관련도 평가부(260)는 키워드 및 문헌 자료 간의 관련도를 평가한다. 관련도 평가부(260)는 포지티브 데이터 및 네거티브 데이터에 기반하여 정밀도를 산출하여 관련도를 평가한다.
관련도는 수학식 4와 같이 표현될 수 있다.
Figure pat00009
여기서, pr은 정밀도(Precision)를 산출하는 함수이다. 본 실시예는 추가적인 데이터를 수집하는 것이므로, 재현율(Recall)보다는 정밀도(Precision)가 중요한 평가요소이다. 도 1을 다시 참조하면, s1은 포지티브 데이터로 색인어 키워드 데이터(150)를 입력으로 하고 네거티브 데이터로 색인어 비키워드 데이터(160)를 입력으로 한다. s2는 포지티브 데이터로 색인어 키워드 데이터(150)를 입력으로 하고 네거티브 데이터로 키워드 비종속 데이터(120)를 입력으로 한다. 색인어 키워드 데이터(150) 및 색인어 비키워드 데이터(160)에 관한 분류는 신뢰성이 높으나 완벽하지 않다. 색인어 비키워드 데이터(160)가 가치있는 정보를 포함하기 때문이다. C-score는 s1 및 s1의 조화 평균이다.
색인어 비키워드 데이터(160)로부터 키워드 관련 데이터(170)를 추출하는 것을 평가하기 위하여, 빈도 기반 접근법(Frequency Based Approach)을 이용한다. 예컨대, 해당 문서에서 특정 키워드와 관련된 유전자를 포함하는지 여부를 측정한다.
데이터 수집 장치에 포함된 구성요소들이 도 2 및 도 3에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
데이터 수집 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
데이터 수집 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 4 및 도 5는 본 발명의 다른 실시예에 따른 데이터 수집 방법을 예시한 흐름도이다. 데이터 수집 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 데이터 수집 장치와 동일한 방식으로 동작한다.
단계 S410에서, 컴퓨팅 디바이스는 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출한다.
단계 S420에서, 컴퓨팅 디바이스는 추출한 문헌 자료를 파싱한다. 문헌 자료를 파싱하는 단계는 문헌 자료를 식별자, 문헌 종류, 제목, 및 요약으로 구분할 수 있다.
단계 S430에서, 컴퓨팅 디바이스는 문헌 자료 내에 포함된 용어의 중요도를 기준으로 용어를 벡터로 표현하여 전처리한다.
단계 S440에서, 컴퓨팅 디바이스는 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성한다.
단일 클래스 분류 모델은 네거티브 데이터를 학습하지 않고, 포지티브 데이터를 학습하며, 포지티브 데이터는 (i) 키워드와 관련된 색인어를 갖는 문헌, (ii) 키워드와 관련된 색인어를 갖지 않는 문헌, (ii) 색인어를 갖지 않는 문헌 중 적어도 하나를 대상으로 한다.
색인어는 용어들의 계층 관계를 트리 구조로 형성하고, 연관어는 색인어로 채택되지 않은 축약어, 단복수형, 유사어, 또는 동의어에 해당하고, 연관어 및 색인어 간에 상호 참조되며, 연관어에 대응하는 색인어로 대체되어 검색된다.
바운더리 파라미터는 단일 클래스 분류 모델의 경계의 상한을 조절하며, 바운더리 파라미터는 제1 바운더리 파라미터 또는 제2 바운더리 파라미터로 설정되며, 제1 바운더리 파라미터는 제2 바운더리 파라미터보다 큰 값으로 설정될 수 있다.
문헌 자료의 제목에 키워드가 포함되면 바운더리 파라미터는 제1 바운더리 파라미터로 설정되고, 문헌 자료의 제목에 키워드가 포함되지 않으면 바운더리 파라미터는 제2 바운더리 파라미터로 설정될 수 있다.
단계 S450에서, 컴퓨팅 디바이스는 단일 클래스 분류 모델을 이용하여, 문헌 자료 중에서 키워드와 관련된 유효 데이터를 추출한다.
도 5를 참조하면, 데이터 수집 방법은 키워드 및 상기 문헌 자료 간의 관련도를 평가하는 단계를 추가로 포함한다. 단계 S560에서, 컴퓨팅 디바이스는 포지티브 데이터 및 네거티브 데이터에 기반하여 정밀도를 산출하여 관련도를 평가한다.
도 6은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다. 도 6을 참조하면, TF-IDF 및 RR이 적용된 OCSVM가 ParagraphVector 및 RR이 적용된 OCSVM보다 성능이 우수함을 파악할 수 있다.
도 4 및 도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4 및 도 5에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200: 데이터 수집 장치 110, 210: 문헌 추출부
120, 220: 문헌 파싱부 130, 230: 용어 전처리부
140, 240: 분류 모델 생성부 150, 250: 유효 데이터 추출부
260: 관련도 평가부

Claims (15)

  1. 컴퓨팅 디바이스에 의한 데이터 수집 방법에 있어서,
    데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 단계;
    상기 추출한 문헌 자료를 파싱하는 단계;
    상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 단계;
    상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 단계; 및
    상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 단계
    를 포함하는 데이터 수집 방법.
  2. 제1항에 있어서,
    상기 문헌 자료를 파싱하는 단계는 상기 문헌 자료를 식별자, 문헌 종류, 제목, 및 요약으로 구분하는 것을 특징으로 하는 데이터 수집 방법.
  3. 제1항에 있어서,
    상기 단일 클래스 분류 모델은 네거티브 데이터를 학습하지 않고, 포지티브 데이터를 학습하며, 상기 포지티브 데이터는 (i) 상기 키워드와 관련된 색인어를 갖는 문헌, (ii) 상기 키워드와 관련된 색인어를 갖지 않는 문헌, (ii) 상기 색인어를 갖지 않는 문헌 중 적어도 하나를 대상으로 하는 것을 특징으로 하는 데이터 수집 방법.
  4. 제3항에 있어서,
    상기 색인어는 상기 용어들의 계층 관계를 트리 구조로 형성하고, 연관어는 상기 색인어로 채택되지 않은 축약어, 단복수형, 유사어, 또는 동의어에 해당하고, 상기 연관어 및 상기 색인어 간에 상호 참조되며, 상기 연관어에 대응하는 상기 색인어로 대체되어 검색되는 것을 특징으로 하는 데이터 수집 방법.
  5. 제1항에 있어서,
    상기 바운더리 파라미터는 상기 단일 클래스 분류 모델의 경계의 상한을 조절하며, 상기 바운더리 파라미터는 제1 바운더리 파라미터 또는 제2 바운더리 파라미터로 설정되며, 상기 제1 바운더리 파라미터는 상기 제2 바운더리 파라미터보다 큰 값으로 설정되는 것을 특징으로 하는 데이터 수집 방법.
  6. 제5항에 있어서,
    상기 문헌 자료의 제목에 상기 키워드가 포함되면 상기 바운더리 파라미터는 상기 제1 바운더리 파라미터로 설정되고, 상기 문헌 자료의 제목에 키워드가 포함되지 않으면 상기 바운더리 파라미터는 상기 제2 바운더리 파라미터로 설정되는 것을 특징으로 하는 데이터 수집 방법.
  7. 제1항에 있어서,
    상기 키워드 및 상기 문헌 자료 간의 관련도를 평가하는 단계를 추가로 포함하며, 상기 포지티브 데이터 및 상기 네거티브 데이터에 기반하여 정밀도를 산출하여 상기 관련도를 평가하는 것을 특징으로 하는 데이터 수집 방법.
  8. 데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 문헌 추출부;
    상기 추출한 문헌 자료를 파싱하는 문헌 파싱부;
    상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 용어 전처리부;
    상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 분류 모델 생성부; 및
    상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 유효 데이터 추출부
    를 포함하는 데이터 수집 장치.
  9. 제8항에 있어서,
    상기 문헌 파싱부는, 상기 문헌 자료를 식별자, 문헌 종류, 제목, 및 요약으로 구분하는 것을 특징으로 하는 데이터 수집 장치.
  10. 제8항에 있어서,
    상기 단일 클래스 분류 모델은 네거티브 데이터를 학습하지 않고, 포지티브 데이터를 학습하며, 상기 포지티브 데이터는 (i) 상기 키워드와 관련된 색인어를 갖는 문헌, (ii) 상기 키워드와 관련된 색인어를 갖지 않는 문헌, (ii) 상기 색인어를 갖지 않는 문헌 중 적어도 하나를 대상으로 하는 것을 특징으로 하는 데이터 수집 장치.
  11. 제10항에 있어서,
    상기 색인어는 상기 용어들의 계층 관계를 트리 구조로 형성하고, 연관어는 상기 색인어로 채택되지 않은 축약어, 단복수형, 유사어, 또는 동의어에 해당하고, 상기 연관어 및 상기 색인어 간에 상호 참조되며, 상기 연관어에 대응하는 상기 색인어로 대체되어 검색되는 것을 특징으로 하는 데이터 수집 장치.
  12. 제8항에 있어서,
    상기 바운더리 파라미터는 상기 단일 클래스 분류 모델의 경계의 상한을 조절하며, 상기 바운더리 파라미터는 제1 바운더리 파라미터 또는 제2 바운더리 파라미터로 설정되며, 상기 제1 바운더리 파라미터는 상기 제2 바운더리 파라미터보다 큰 값으로 설정되는 것을 특징으로 하는 데이터 수집 장치.
  13. 제12항에 있어서,
    상기 문헌 자료의 제목에 상기 키워드가 포함되면 상기 바운더리 파라미터는 상기 제1 바운더리 파라미터로 설정되고, 상기 문헌 자료의 제목에 키워드가 포함되지 않으면 상기 바운더리 파라미터는 상기 제2 바운더리 파라미터로 설정되는 것을 특징으로 하는 데이터 수집 장치.
  14. 제8항에 있어서,
    상기 키워드 및 상기 문헌 자료 간의 관련도를 평가하는 관련도 평가부를 추가로 포함하며, 상기 관련도 평가부는 상기 포지티브 데이터 및 상기 네거티브 데이터에 기반하여 정밀도를 산출하여 상기 관련도를 평가하는 것을 특징으로 하는 데이터 수집 장치.
  15. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 데이터 수집을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에,
    데이터베이스에서 키워드로 검색하여 문헌 자료를 추출하는 단계;
    상기 추출한 문헌 자료를 파싱하는 단계;
    상기 문헌 자료 내에 포함된 용어의 중요도를 기준으로 상기 용어를 벡터로 표현하여 전처리하는 단계;
    상기 전처리한 용어들을 바운더리 파라미터를 기반으로 학습하며, 비 라벨링 데이터 영역으로부터 라벨링 데이터 영역을 분리하는 경계를 검출하는 단일 클래스 분류 모델을 생성하는 단계; 및
    상기 단일 클래스 분류 모델을 이용하여, 상기 문헌 자료 중에서 상기 키워드와 관련된 유효 데이터를 추출하는 단계
    를 포함한 동작들을 수행하는 컴퓨터 프로그램.
KR1020170028349A 2017-03-06 2017-03-06 단일 클래스 기반의 데이터 수집 장치 및 방법 KR101920683B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170028349A KR101920683B1 (ko) 2017-03-06 2017-03-06 단일 클래스 기반의 데이터 수집 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028349A KR101920683B1 (ko) 2017-03-06 2017-03-06 단일 클래스 기반의 데이터 수집 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180101858A true KR20180101858A (ko) 2018-09-14
KR101920683B1 KR101920683B1 (ko) 2018-11-21

Family

ID=63599560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028349A KR101920683B1 (ko) 2017-03-06 2017-03-06 단일 클래스 기반의 데이터 수집 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101920683B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072070A (ko) * 2018-12-12 2020-06-22 동의대학교 산학협력단 사용자의 서명의 검증에 이용되는 검증 모델을 생성하는 전자 장치
KR102559891B1 (ko) * 2022-04-06 2023-07-27 주식회사 유니코드 사용자콘텐츠를 이용해 결정된 추천디자인을 제공하는 콘텐츠 제작 통합 플랫폼 서비스 제공 장치, 방법 및 프로그램
CN116628125A (zh) * 2023-04-14 2023-08-22 湘南学院 一种临床影像诊断报告关键词提取方法与辅助装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1952240A2 (en) 2005-10-25 2008-08-06 The Trustees of Columbia University in the City of New York Methods, media and systems for detecting anomalous program executions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072070A (ko) * 2018-12-12 2020-06-22 동의대학교 산학협력단 사용자의 서명의 검증에 이용되는 검증 모델을 생성하는 전자 장치
KR102559891B1 (ko) * 2022-04-06 2023-07-27 주식회사 유니코드 사용자콘텐츠를 이용해 결정된 추천디자인을 제공하는 콘텐츠 제작 통합 플랫폼 서비스 제공 장치, 방법 및 프로그램
CN116628125A (zh) * 2023-04-14 2023-08-22 湘南学院 一种临床影像诊断报告关键词提取方法与辅助装置
CN116628125B (zh) * 2023-04-14 2024-01-30 湘南学院 一种临床影像诊断报告关键词提取方法与辅助装置

Also Published As

Publication number Publication date
KR101920683B1 (ko) 2018-11-21

Similar Documents

Publication Publication Date Title
CN111797239B (zh) 应用程序的分类方法、装置及终端设备
CN110390044B (zh) 一种相似网络页面的搜索方法及设备
CN103488671A (zh) 用于查询和集成结构化和非结构化数据的方法和系统
CN112352232A (zh) 分类树生成
US11893537B2 (en) Linguistic analysis of seed documents and peer groups
KR101920683B1 (ko) 단일 클래스 기반의 데이터 수집 장치 및 방법
Minu et al. Semantic rule based image visual feature ontology creation
CN110968664A (zh) 一种文书检索方法、装置、设备及介质
Cheng et al. A similarity integration method based information retrieval and word embedding in bug localization
JP6377917B2 (ja) 画像検索装置及び画像検索プログラム
Chen et al. An annotation rule extraction algorithm for image retrieval
Torrisi et al. Automated bundle pagination using machine learning
CN115617978A (zh) 指标名称检索方法、装置、电子设备及存储介质
Kambau et al. Evolution of information retrieval system: Critical review of multimedia information retrieval system based on content, context, and concept
Banerjee et al. A novel centroid based sentence classification approach for extractive summarization of COVID-19 news reports
Ali et al. Diagnosing COVID-19 Lung Inflammation Using Machine Learning Algorithms: A Comparative Study
KR101088483B1 (ko) 이종 분류체계들을 매핑시키는 방법 및 장치
Hayat et al. Self learning of news category using ai techniques
Deepa SABC-SBC: a hybrid ontology based image and webpage retrieval for datasets
US12001488B2 (en) Efficient data storage and retrieval system
US11928427B2 (en) Linguistic analysis of seed documents and peer groups
Dai et al. Local matching networks for engineering diagram search
US11797592B2 (en) Document classification method, document classifier, and recording medium
US20240232265A9 (en) Efficient data storage and retrieval system
Lansdall-Welfare et al. Scalable Corpus Annotation by Graph Construction and Label Propagation.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant