WO2021118040A1 - 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치 - Google Patents

딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치 Download PDF

Info

Publication number
WO2021118040A1
WO2021118040A1 PCT/KR2020/014337 KR2020014337W WO2021118040A1 WO 2021118040 A1 WO2021118040 A1 WO 2021118040A1 KR 2020014337 W KR2020014337 W KR 2020014337W WO 2021118040 A1 WO2021118040 A1 WO 2021118040A1
Authority
WO
WIPO (PCT)
Prior art keywords
text data
feature vector
text
similarity
data
Prior art date
Application number
PCT/KR2020/014337
Other languages
English (en)
French (fr)
Inventor
김세엽
Original Assignee
셀렉트스타 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 셀렉트스타 주식회사 filed Critical 셀렉트스타 주식회사
Priority to US17/771,221 priority Critical patent/US20220374601A1/en
Publication of WO2021118040A1 publication Critical patent/WO2021118040A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명에 따르면, 필터링된 텍스트 데이터를 수집하는 방법에 있어서, 컴퓨팅 장치가, 제1 텍스트 데이터를 획득하고 이를 텍스트 데이터풀에 기록하는 단계; 상기 컴퓨팅 장치가, 제2 텍스트 데이터를 획득하는 단계; 상기 컴퓨팅 장치가, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하는 단계; 및 상기 컴퓨팅 장치가, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 단계를 포함하는 방법을 제시한다.

Description

딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치
본 발명은 필터링된 텍스트 데이터를 수집하는 방법에 있어서, 컴퓨팅 장치가, 제1 텍스트 데이터를 획득하고 이를 텍스트 데이터풀에 기록하는 단계; 상기 컴퓨팅 장치가, 제2 텍스트 데이터를 획득하는 단계; 상기 컴퓨팅 장치가, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하는 단계; 및 상기 컴퓨팅 장치가, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 단계를 포함하는 방법에 관한 것이다.
현대 시대에는 정보가 무한대로 쏟아지고 있다. 이중에서 필요한 정보만을 골라서 수집하기는 쉽지 않다. 더욱이, 다양한 정보(ex 이미지, 텍스트)를 수집하는 경우, 유사한 정보에 대해서는 최대한 걸러서 수집해야 하지만 이를 일일이 대조하면서 필터링하는 것은 쉽지 않았다.
이에 본 발명자는 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치를 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
본 발명은 다양한 정보(ex 이미지, 텍스트)를 수집하는데 있어서 유사한 정보는 필터링하여 수집하는 것을 다른 목적으로 한다.
또한, 본 발명은 딥러닝 모델을 이용하여 정보간에 유사도를 판단함으로써 보다 효율적으로 유사 정보를 필터링하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 필터링된 텍스트 데이터를 수집하는 방법에 있어서, 컴퓨팅 장치가, 제1 텍스트 데이터를 획득하고 이를 텍스트 데이터풀에 기록하는 단계; 상기 컴퓨팅 장치가, 제2 텍스트 데이터를 획득하는 단계; 상기 컴퓨팅 장치가, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하는 단계; 및 상기 컴퓨팅 장치가, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 단계를 포함하는 방법이 제공된다.
또한, 본 발명의 다른 태양에 따르면, 필터링된 텍스트 데이터를 수집하는 장치에 있어서, 제1 텍스트 데이터 및 제2 텍스트 데이터를 획득하는 통신부; 상기 제1 텍스트 데이터를 텍스트 데이터풀에 기록하고, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하며, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 프로세서를 포함하는 컴퓨팅 장치가 제공된다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은 다양한 정보(ex 이미지, 텍스트)를 수집하는데 있어서 유사한 정보는 필터링하여 수집하는 효과가 있다.
또한, 본 발명은 딥러닝 모델을 이용하여 정보간에 유사도를 판단함으로써 보다 효율적으로 유사 정보를 필터링하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따라 컴퓨팅 장치의 개략적인 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 신규 텍스트 데이터를 텍스트 데이터풀에 기록하기까지의 과정을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따라 텍스트 데이터를 입력값으로 하여 딥러닝 모델에서 연산을 수행하는 모습을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 텍스트 데이터를 유사도 순으로 정렬하고 필터링 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 어느 하나의 feature vector와 근접한 소정 feature vector를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 신규 텍스트를 기존 텍스트의 그룹 중 어느 하나에 포함시키는 모습을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 컴퓨팅 장치의 개략적인 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 컴퓨팅 장치(100)는 통신부(110), 프로세서(120)를 포함하고, 경우에 따라 도 1과는 달리 데이터베이스(130)를 포함하지 않을 수도 있다.
우선, 컴퓨팅 장치(100)의 통신부(110)는 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 5G, 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수 있다.
다음으로, 본원 발명의 데이터베이스(130)는 획득한 데이터(ex 이미지, 텍스트) 및 데이터풀을 저장할 수 있다. 참고로, 외부 데이터베이스를 이용하는 경우, 컴퓨팅 장치(100)는 통신부(110)를 통해 상기 외부 데이터베이스에 접근할 수 있을 것이다.
또한, 컴퓨팅 장치(100)는 통신부(110)를 통해 사용자의 단말(200)과 통신을 수행할 수 있다. 여기서, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기, 스마트 리모컨, 각종 IOT 메인기기 등과 같이 통신을 수행하면서 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자의 단말(200)에 해당할 수 있다.
한편, 상기 프로세서(120)에 대해서는 뒤에서 상세한 설명을 통하여 자세히 알아보기로 한다.
우선, 본 발명의 컴퓨팅 장치(100)는 다양한 텍스트 데이터를 수집하고자 하며, 유사한 텍스트 데이터는 필터링을 통해 걸러내는 프로세스를 수행한다. 이하에서는, 상기 프로세스에 대해서 설명하도록 하겠다.
도 2는 본 발명의 일 실시예에 따라 신규 텍스트 데이터를 텍스트 데이터풀에 기록하기까지의 과정을 나타낸 도면이다.
컴퓨팅 장치(100)의 프로세서(120)는 제1 텍스트 데이터를 획득하고, 이를 텍스트 데이터풀에 기록(S210)할 수 있다. 여기서, 상기 데이터풀은 획득한 텍스트 데이터들의 집합체이며, 데이터베이스(130)에 저장될 수도 있다. 또한, 상기 데이터풀에는 다양한 텍스트 데이터들만이 기록되는 것을 고려하며, 유사한 텍스트 데이터에 대해서는 후술하는 프로세스 등을 통해 필터링할 수 있을 것이다.
상기 제1 텍스트 데이터를 획득한 후, 컴퓨팅 장치(100)의 프로세서(120)는 제2 텍스트 데이터를 획득(S220)할 수 있다. 여기서, 제1 텍스트 데이터는 텍스트 데이터풀에 기록된 기존 데이터에 해당하고, 제2 텍스트 데이터는 신규 데이터에 해당한다고 볼 수 있다.
본 발명의 컴퓨팅 장치(100)에서 상기 제1 텍스트 데이터 또는 상기 제2 텍스트 데이터를 획득하는 방법은 크라우드 소싱 등의 방법이 존재할 수 있다.
크라우드 소싱은 대중(crowd)와 아웃소싱(outsourcing)의 합성어로, 기업 활동 일부 과정에 대중을 참여시키는 것을 의미한다. 본 발명에서는 데이터를 수집함에 있어서 대중을 참여시키고, 소수의 인원으로는 수집하기 힘든 다양한 데이터를 획득할 수 있을 것이다.
도 3은 본 발명의 일실시예에 따라 텍스트 데이터를 입력값으로 하여 딥러닝 모델에서 연산을 수행하는 모습을 나타낸 도면이다.
프로세서(120)는 제1 텍스트 데이터 및 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행할 수 있다. 상기 딥러닝 모델은 경우에 따라 콘볼루션 레이어(convolution layer)를 포함할 수도 있다.
여기서, 콘볼루션 레이어는 복수의 레이어를 포함하고 있으며, 텍스트 데이터를 복수의 레이어 각각에 통과시키면서 연산함으로써 불필요한 부분을 걸러내고 복잡도를 낮출 수 있을 것이다.
제1 텍스트 데이터가 입력 값으로 상기 딥러닝 모델에서 연산이 수행되면 제1 feature vector가 산출될 수 있고, 제2 텍스트 데이터가 입력 값으로 딥러닝 모델에서 연산이 수행되면 제2 feature vector가 산출(S230)될 수 있다.
즉, 프로세서(120)는 제1 텍스트 데이터를 복수의 콘볼루션 레이어에 통과시키면서 순차적으로 연산시키고 제1 feature vector를 산출하고, 제2 텍스트 데이터를 복수의 콘볼루션 레이어에 통과시키면서 순차적으로 연산시키고 제2 feature vector를 산출할 수 있다.
참고로, 상기 제1 feature vector는 N차원에 존재하는 제1 지점, 제2 feature vector는 N차원에 존재하는 제2 지점에 해당할 수 있다. 따라서, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도는 상기 제1 지점과 상기 제2 지점 사이의 거리를 측정함으로써 확인할 수 있다.
여기서, N 차원은 feature vector의 값에 따라 결정될 수 있으며, feature vector가 (x1, y1, z1)이면 3차원에 해당하고, feature vector가 (x1, y1, z1, r1)이면 4차원에 해당할 것이다. 따라서, feature vector는 각 차원에서의 어느 한 지점의 좌표에 해당할 수 있다.
설명을 돕고자 도 3과 함께 예를 들면, 날씨 어떤지 알려줘 문구(1번 문구)가 딥러닝 모델에서 연산 수행되면, x1, y1, z1이라는 feature vector가 생성될 수 있고, 마 날씨 어떠나 오늘 문구(2번 문구)가 딥러닝 모델에서 연산 수행되면, x3, y3, z3라는 feature vector가 생성될 수 있으며, 날씨가 어떤지 알려줄래요? 문구(3번 문구)가 딥러닝 모델에서 연산 수행되면, x2, y2, z2라는 feature vector가 생성될 수 있다.
여기서, 상기 feature vector는 3차원에 존재하는 하나의 지점에 해당할 수 있다. 도 3의 문구로부터 연산된 각 feature vector를 살펴보면, x1, y1, z1과 x3, y3, z3 사이의 거리가 가까운 것을 확인할 수 있다.
상기 x1, y1, z1는 날씨 어떤지 알려줘 문구(1번 문구)로부터 연산된 feature vector이고, 상기 x3, y3, z3는 날씨가 어떤지 알려 줄래요? 문구(3번 문구)로부터 연산된 feature vector이다.
즉, 두 텍스트 데이터는 존댓말 유무에 차이가 있을 뿐 단어 배치 등은 유사한 형태를 가지고 있으며, 결국 위 두 feature vector 사이의 거리 역시 다른 feature vector보다 가까운 것을 확인할 수 있다.
다음으로, 프로세서(120)는 제1 feature vector 및 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 제2 텍스트 데이터를 텍스트 데이터풀에 기록(S240)할 수 있다.
상기 유사 정도는 전술한 바와 같이, 제1 feature vector가 나타내는 지점 및 제2 feature vector가 나타내는 지점 사이의 거리를 측정함으로써 확인할 수 있고, 상기 소정 수치는 설정에 따라 달라질 수 있다.
다시 말하면, 텍스트 데이터풀에 이미 기록된 제1 텍스트 데이터(기존 텍스트)에 대응하는 제1 feature vector 및 제2 텍스트 데이터(신규 텍스트)에 대응하는 제2 feature vector 사이의 거리에 따라, 프로세서(120)는 제2 텍스트 데이터(신규 텍스트)를 텍스트 데이터풀에 기록할지 여부를 결정할 수 있다.
가령, 제1 feature vector 및 제2 feature vector 사이의 거리가 기설정된 수치보다 길다면, 유사 정도는 소정 수치보다 아래이고, 상기 제1 텍스트 데이터와 제2 텍스트 데이터는 유사하지 않다고 판단될 수 있다.
따라서, 신규 텍스트인 제2 텍스트 데이터는 기존의 데이터와 상이하므로 다양한 텍스트 데이터를 수집하고자 하는 프로세서(120)는 상기 제2 텍스트 데이터를 텍스트 데이터풀에 기록할 수 있는 것이다.
반대로, 제1 feature vector 및 제2 feature vector 사이의 거리가 기설정된 수치보다 짧거나 같다면, 유사 정도는 소정 수치보다 크거나 같고, 상기 제1 텍스트 데이터와 제2 텍스트 데이터는 유사하다고 판단될 수 있다.
따라서, 신규 텍스트인 제2 텍스트 데이터는 기존의 데이터와 동일/유사하므로 다양한 텍스트 데이터를 수집하고자 하는 프로세서(120)는 상기 제2 텍스트 데이터를 텍스트 데이터풀에 기록할 수 없는 것이다. 즉, 제2 텍스트 데이터는 필터링될 수 있는 것이다.
한편, 프로세서(120)는 텍스트 데이터풀에 기록된 복수의 텍스트 데이터에 대응하는 복수의 feature vector 각각의 인접 정도에 기초하여 복수의 텍스트 데이터를 그룹핑할 수도 있다.
설명을 돕기 위해, 제1 feature vector의 지점과 제2 feature vector의 지점 사이의 거리가 일정 수치 이하로서 근접하고, 다른 제3 feature vector의 지점과 제4 feature vector의 지점 사이의 거리가 일정 수치 이하로서 근접하다고 가정할 수 있다.
또한, 상기 제1, 2 feature vector 그룹 지점과 제3, 4 feature vector 그룹 지점 사이의 거리는 일정 수치보다 멀리 떨어져 있다고 가정할 수 있다.
위와 같은 경우, 프로세서(120)는 제1 feature vector에 대응하는 제1 텍스트 데이터와 제2 feature vector에 대응하는 제2 텍스트 데이터를 하나의 제1 그룹으로 판단하고, 제3 feature vector에 대응하는 제3 텍스트 데이터와 제4 feature vector에 대응하는 제4 텍스트 데이터를 하나의 제2 그룹으로 판단하여 각각 그룹핑할 수 있다.
실제로, 상기 제1 텍스트 데이터와 상기 제2 텍스트 데이터는 서로 유사한 텍스트(ex 취미 관련 질문 등)를 가지고, 상기 제3 텍스트 데이터와 상기 제4 텍스트 데이터가 서로 유사한 텍스트(ex 감정 관련 질문 등)를 가질 수 있을 것이다.
기존 데이터(제1, 2, 3, 4 텍스트 데이터 등)가 텍스트 데이터풀에 기록된 상태에서, 신규 텍스트 데이터(제5 텍스트 데이터)를 획득하고 신규 텍스트 데이터의 feature vector가 제2 그룹에 해당한다면, 상기 제5 텍스트 데이터 역시 '감정 관련 질문'을 가진다고 고려할 수 있다.
도 4는 본 발명의 일 실시예에 따라 텍스트 데이터를 유사도 순으로 정렬하고 필터링 과정을 나타낸 도면이다.
텍스트 데이터풀(기존 수집 텍스트)에 기록된 제1 텍스트 데이터가 복수 개이고, 상기 복수 개의 제1 텍스트 데이터가 제1-1 텍스트 데이터 및 제1-2 텍스트 데이터를 포함한다고 상정할 수 있다.
프로세서(120)는 딥러닝 모델에서의 연산을 통해 제1-1 텍스트 데이터에 대응하는 제1-1 feature vector를 산출하고, 제1-2 텍스트 데이터에 대응하는 제1-2 feature vector를 산출할 수 있다.
또한, 프로세서(120)는 제1-1 feature vector 및 제2 feature vector의 제1 유사 정도와 제1-2 feature vector 및 제2 feature vector의 제2 유사 정도를 산출하며, 복수의 유사 정도에 기초하여 제1-1 텍스트 데이터 및 제1-2 텍스트 데이터를 정렬할 수 있다.
구체적으로, 제1-1 feature vector와 제2 feature vector 사이의 거리와 제1-2 feature vector와 제2 feature vector 사이의 거리를 측정하고, 가까운 거리순으로 제1-1 텍스트 데이터 및 제1-2 텍스트 데이터를 정렬할 수 있는 것이다.
상기 정렬된 텍스트 데이터 중에서 유사 정도가 소정 수치보다 높거나 같은 특정 텍스트 데이터(제1-1 텍스트 데이터 또는 제1-2 텍스트 데이터) 및 제2 텍스트 데이터를 사용자 단말(200)에 전송하여 특정 텍스트 데이터 및 제2 텍스트 데이터가 비교되도록 할 수 있다.
구체적으로, 프로세서(120)는 제2 텍스트 데이터(신규 텍스트 데이터)와 유사한 텍스트 데이터(특정 텍스트 데이터)를 사용자 단말(200)에 전송하여, 사용자로 하여금 특정 텍스트 데이터와 제2 텍스트 데이터가 유사한지 여부를 다시 확인하도록 할 수도 있고, 사용자 단말(200)내에서 텍스트 유사 판단 프로그램에 따라 특정 텍스트 데이터와 제2 텍스트 데이터가 유사한지 여부를 다시 확인할 수도 있다.
참고로, 위에서는 특정 텍스트 데이터를 제1-1 텍스트 데이터 또는 제1-2 텍스트 데이터로 하나의 텍스트 데이터로 한정 서술하였으나, 상기 특정 텍스트 데이터는 여러 개에 해당할 수도 있다. 이는 복수 개의 기존 텍스트 데이터(제1 텍스트 데이터) 중에서 유사 정도가 소정 수치보다 높거나 같은 텍스트 데이터가 여러 개일 수 있기 때문이다.
1차적으로 딥러닝 모델에 따라 유사 텍스트인지 여부를 측정하고 2차적으로 사용자 단말(200)에서 유사 텍스트인지 여부를 다시 측정할 수 있다. 이는, 많은 텍스트를 일일이 유사한지 여부를 판단할 수 없으므로 우선 딥러닝 모델에 따라 1차적으로 유사 여부를 판단하고, 특정된 텍스트에 대해서 2차적으로 다시 유사 여부를 판단하는 것이다.
또한, 프로세서(120)는 상기 2차적으로 측정된 유사 텍스트인지 여부에 따라 사용자 단말(200)로부터 제2 텍스트 데이터가 텍스트 데이터풀에 기록될지 여부를 수신할 수 있다.
구체적으로, 제2 텍스트 데이터와 특정 텍스트 데이터가 유사 텍스트에 해당한다고 판단된 경우, 프로세서(120)는 상기 제2 텍스트 데이터를 텍스트 데이터풀에 기록하지 않을 것이다.
반면, 제2 텍스트 데이터와 특정 텍스트 데이터가 유사 텍스트에 해당하지 않는다고 판단된 경우, 프로세서(120)는 상기 제2 텍스트 데이터를 텍스트 데이터풀에 기록하여 기존 텍스트 데이터에 포함시킬 것이다.
상기 프로세스는 도 4에서 확인할 수 있으며, 딥러닝 모델을 통해 기존 텍스트 3개가 유사도 순으로 정렬되며, 신규 텍스트(상단 텍스트)와 정렬된 기존 텍스트가 비교될 수 있다.
이때, 기존 텍스트는 신규 텍스트와의 유사도 순으로 정렬되어 있고, 그중 첫번째 텍스트의 유사 정도가 소정 수치보다 높기 때문에 첫번째 텍스트가 신규 텍스트와 유사하다고 판단되고, 사용자 단말(200)에 전송될 수 있는 것이다.
도 5는 본 발명의 일 실시예에 따라 어느 하나의 feature vector와 근접한 소정 feature vector를 나타낸 도면이다.
도 4와 함께 복수의 텍스트 데이터 중에서 신규 텍스트 데이터와 유사 정도가 소정 수치보다 높거나 같은 특정 텍스트 데이터를 사용자 단말(200)에 전송하는 프로세스를 전술하였다.
도 5에서는 이와는 달리, 상기 유사 정도가 상기 소정 수치보다 높거나 같은 특정 텍스트 데이터가 존재하지 않는 경우를 상정하고 있다.
또한, 복수 개의 제1 텍스트 데이터(기존 텍스트 데이터) 중에서 제2 텍스트 데이터(신규 텍스트 데이터)와 가장 유사하다고 판단되는 제1 텍스트 데이터가 재특정 텍스트 데이터로 설정된다고 상정할 수 있다.
즉, 유사 정도가 소정 수치보다 높은 특정 텍스트 데이터는 존재하지 않지만, 기존 텍스트 데이터 중에서 신규 텍스트 데이터와 가장 유사하다고 판단되는 기존 텍스트 데이터를 재특정 텍스트 데이터로 설정하는 것이다.
또한, 재특정 텍스트 데이터의 feature vector와의 유사 정도가 기설정 수치보다 높거나 같은 복수의 소정 feature vector가 존재한다고 가정할 수 있다.
이에 대해서 도 5와 함께 설명하면, 제2 텍스트 데이터(신규 텍스트 데이터)의 feature vector가 p점에 해당하고, 상기 p점으로부터 인접한 거리(d 이내)에 위치하는 feature vector는 없는 것을 확인할 수 있다. 즉, 신규 텍스트 데이터와 유사 정도가 소정 수치보다 높거나 같은 특정 텍스트 데이터가 존재하지 않는 것을 확인할 수 있다.
이때, p점과 가장 가까운 거리(d')에 위치하는 기존 텍스트 데이터로 x2, y2, z2가 존재하며, 이를 재특정 텍스트 데이터로 설정할 수 있다.
또한, 도 5를 살펴보면, 상기 재특정 텍스트 데이터(x2, y2, z2의 feature vector)와 유사 정도가 기설정 수치보다 높거나 같은 복수의 소정 텍스트 데이터가 존재하는 것을 확인할 수 있다. 구체적으로, x2, y2, z2의 feature vector로부터 기설정된 거리(d")이내에 위치하는 (x1, y1, z1), (x4, y4, z4)의 feature vector가 존재하기 때문이다.
결국, (x2, y2, z2)는 재특정 텍스트 데이터에 해당하고, (x1, y1, z1), (x4, y4, z4)는 복수의 소정 텍스트 데이터에 해당할 수 있는 것이다.
비록, 신규 텍스트 데이터와 소정 수치 이상으로 유사(1차 유사 판단)한 기존 텍스트 데이터는 존재하지 않지만, 프로세서(120)는 상기 재특정 텍스트 데이터 및 복수의 소정 텍스트 데이터를 사용자 단말(200)에 전송하여 2차적 유사 판단을 받도록 하는 프로세스를 수행할 수 있다.
즉, 1차적으로는 텍스트 데이터풀에서 제2 텍스트 데이터와 유사한 텍스트 데이터는 발견되지 않았으나, 2차적으로 제2 텍스트 데이터를 상기 재특정 텍스트 데이터 및 복수의 소정 텍스트와 비교하여 유사 판단을 다시 수행할 수 있는 것이다.
결국, 프로세서(120)는 사용자 단말(200)에서 상기 복수의 소정 텍스트 데이터 및 재특정 텍스트 데이터 각각이 제2 텍스트 데이터(신규 텍스트 데이터)와 비교되도록 하고, 상기 사용자 단말(200)로부터 제2 텍스트 데이터가 텍스트 데이터풀에 기록될지 여부를 수신할 수 있다.
사용자 단말(200)에서는 사용자가 직접 상기 복수의 소정 텍스트 데이터 및 재특정 이미지 데이터 각각과 제2 텍스트 데이터를 비교할 수도 있고, 설치된 텍스트 유사 판단 프로그램에 따라 상기 복수의 소정 텍스트 데이터 및 재특정 이미지 데이터 각각과 제2 텍스트 데이터를 비교할 수도 있다.
상기 텍스트 데이터 중 어느 하나의 텍스트 데이터라도 상기 제2 텍스트 데이터와 유사하다고 판단된다면, 프로세서(120)는 사용자 단말(200)로부터 제2 텍스트 데이터는 텍스트 데이터풀에 기록될 수 없다는 메시지를 수신할 수 있을 것이다.
반대로, 복수의 소정 텍스트 데이터 및 재특정 텍스트 데이터 모두가 제2 텍스트 데이터가 유사하지 않다고 판단된 경우, 프로세서(120)는 사용자 단말(200)로부터 제2 텍스트 데이터가 텍스트 데이터풀에 기록될 수 있다는 메시지를 수신할 수 있을 것이다.
한편, 본 발명에서 서술된 딥러닝 모델은 자기학습을 통해 지속적으로 유사 여부 판단의 정확성을 높일 수 있다. 이 경우 상기 자기학습은 딥러닝 모델의 연산을 수행하는 적어도 하나의 파라미터를 조절함으로써 이루어질 수 있다.
구체적으로, A, B라는 기존 텍스트 데이터가 텍스트 데이터풀에 기록되어 있다고 가정하고, a라는 신규 텍스트 데이터를 획득하였다고 가정하며, 상기 A와 a는 동일/유사 텍스트라고 가정할 수 있다.
이때, 프로세서(120)는 A, B, a 텍스트 데이터 각각에 대해 딥러닝 모델을 통해 feature vector를 산출할 수 있고, feature vector 사이의 거리를 계산하여 A와 a 텍스트 데이터의 유사 여부, B와 a 텍스트 데이터의 유사 여부를 판단할 수 있다.
상기 feature vector 사이의 거리 계산 결과, A 텍스트에 해당하는 feature vector와 a 텍스트에 해당하는 feature vector 사이의 거리가 소정 수치 이상으로 확인 (A 텍스트와 a 텍스트가 유사하지 않다고 확인)된 경우, 프로세서(120)는 딥러닝 모델의 파라미터값을 조정할 수 있고, 상기 조정된 값을 가지는 딥러닝 모델을 통해 A 텍스트에 해당하는 feature vector와 a 텍스트에 해당하는 feature vector 사이의 거리가 소정 수치보다 아래에 해당하도록 할 수 있다.
또한, 상기 feature vector 사이의 거리 계산 결과, B 텍스트에 해당하는 feature vector와 a 텍스트에 해당하는 feature vector 사이의 거리가 소정 수치 이하로 확인(B 텍스트와 a 텍스트가 유사하다고 확인)된 경우, 프로세서(120)는 딥러닝 모델의 파라미터값을 조정할 수 있고, 상기 조정된 값을 가지는 딥러닝 모델을 통해 B 텍스트에 해당하는 feature vector와 a 텍스트에 해당하는 feature vector 사이의 거리가 소정 수치보다 크도록 할 수 있다.
상기 자기학습 프로세스를 다시 설명하면 아래와 같다.
우선, 트레이닝(학습)을 위한 데이터로서, 제1 트레이닝 텍스트 데이터와 제2 트레이닝 텍스트 데이터를 획득하고, 상기 제1 트레이닝 텍스트 데이터와 제2 트레이닝 텍스트 데이터의 유사 여부가 제1 비교 데이터라고 가정할 수 있다.
상기 제1 비교 데이터는 상기 두개의 텍스트 데이터가 '유사하다' '비유사하다' 등의 유사 여부를 나타낼 수도 있다.
참고로, 상기 제1 텍스트 데이터는 사실이라고 가정된 데이터(ground truth)를 의미하는 것으로 본 발명의 프로세스에서 비교 대상의 기준이 되는 데이터에 해당할 수 있다.
프로세서(120)는 제1 트레이닝 텍스트 데이터 및 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 제1 트레이닝 텍스트 데이터에 대응하는 제1 트레이닝 feature vector 및 제2 트레이닝 텍스트 데이터에 대응하는 제2 트레이닝 feature vector를 산출할 수 있다.
또한, 프로세서(120)는 제1 트레이닝 feature vector 및 제2 트레이닝 feature vector의 유사 정도를 비교하여 제2 비교 데이터를 도출할 수 있다. 여기서, 상기 제2 비교 데이터는 제1 트레이닝 feature vector의 지점 및 제2 트레이닝 feature vector의 지점 사이의 거리를 기초로 산출될 수 있으며, '유사하다' '비유사하다' 등의 유사 여부를 나타낼 수도 있고, 유사 정도를 나타내는 확률 값(75%)에 해당할 수도 있다.
프로세서(120)는 제1 비교 데이터 및 제2 비교 데이터를 기초로 딥러닝 모델의 적어도 하나의 파라미터를 조절할 수 있다.
예를 들어, 제1 비교 데이터의 값이 '유사하다'인 상태에서, 제2 비교 데이터의 값이 '유사하다'로 판단되면 파라미터를 조절할 필요가 없을 수 있지만, '비유사하다'로 판단되면 제2 비교 데이터의 값이 '유사하다'로 산출되도록 파라미터를 조절할 수 있다.
또한, 제2 비교 데이터의 값이 40% 확률로 유사하다고 나타낸다면, 프로세서(120)는 상기 확률 값이 높게 산출되도록 파라미터를 조절할 수 있다.
도 6은 본 발명의 일 실시예에 따라 신규 텍스트를 기존 텍스트의 그룹 중 어느 하나에 포함시키는 모습을 나타낸 도면이다.
전술한 바와 같이 프로세서(120)는 텍스트 데이터풀에 포함된 기존 텍스트 데이터들을 그룹핑할 수 있다.
즉, 도 6의 A 텍스트가 포함된 그룹은 '안녕하세요' 문구가 포함된 a 그룹, B 텍스트가 포함된 그룹은 '사랑해요' 문구가 포함된 b 그룹, C 텍스트가 포함된 그룹은 '고마워요' 문구가 포함된 c 그룹이라고 각각 설정할 수 있다.
Feature vector 측면에서 살펴볼 때, 도 6과 같이 A 텍스트를 기준으로 d'거리에 위치한 텍스트들이 하나의 그룹이 되고, B 텍스트를 기준으로 d ,,거리에 위치한 텍스트들이 다른 하나의 그룹이 되고, C 텍스트를 기준으로 d ,,,거리에 위치한 텍스트들이 또 다른 하나의 그룹이 될 수 있다. 설정에 따라서, 도 6과 달리 원 형태가 아니라 다양한 형태로서 그룹이 형성될 수도 있을 것이다.
위와 같이, a, b, c 그룹이 존재하는 상태에서, 신규 텍스트 데이터에 대한 feature vector가 연산될 수 있다. 프로세서(120)는 상기 a, b, c 그룹의 feature vector와 상기 신규 텍스트 데이터에 대한 feature vector를 비교하고, 신규 텍스트 데이터에 대한 feature vector와 가장 근접한 그룹을 탐색할 수 있다. 다음으로, 프로세서(120)는 가장 근접한 소정 그룹(ex c 그룹)에 신규 텍스트 데이터를 포함시킬 수 있다.
일 실시예에 따라서는 C 텍스트와 신규 텍스트가 동일/유사한 것으로 판단되어 프로세서(120)가 신규 텍스트를 텍스트 데이터풀에 기록하지 않을 수 있을 것이다. 즉, 프로세서(120)는 신규 텍스트 데이터를 feature vector를 비교한 결과 가장 근접한 그룹(ex c 그룹)에 포함시켜 텍스트 데이터풀에 기록하고, 다만 상기 그룹에 포함된 텍스트와 신규 텍스트가 동일 범위에 있는 것으로 판단된 경우에는 상기 신규 텍스트를 텍스트 데이터풀에 기록하지 않을 수 있는 것이다.
이때, 동일 범위 여부 판단 역시, feature vector로서 비교할 수 있으며, 결국, 프로세서(120)는 신규 텍스트의 feature vector가 기존 텍스트의 feature vector(c 그룹에 포함)와 소정 거리 범위보다는 거리가 있고(동일 범위를 벗어남), 다른 소정 거리 범위이내 해당하는 경우(c 그룹과 가장 근접) 상기 신규 텍스트를 c 그룹에 포함시킬 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 필터링된 텍스트 데이터를 수집하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 제1 텍스트 데이터를 획득하고 이를 텍스트 데이터풀에 기록하는 단계;
    (b) 상기 컴퓨팅 장치가, 제2 텍스트 데이터를 획득하는 단계;
    (c) 상기 컴퓨팅 장치가, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하는 단계; 및
    (d) 상기 컴퓨팅 장치가, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 텍스트 데이터풀에 기록된 상기 제1 텍스트 데이터가 복수 개이고, 상기 복수 개의 제1 텍스트 데이터가 제1-1 텍스트 데이터 및 제1-2 텍스트 데이터를 포함하고 있다고 할 때,
    상기 컴퓨팅 장치는, 상기 딥러닝 모델에서의 연산을 통해 상기 제1-1 텍스트 데이터에 대응하는 제1-1 feature vector 및 상기 제1-2 텍스트 데이터에 대응하는 제1-2 feature vector를 산출하고,
    상기 제1-1 feature vector 및 상기 제2 feature vector의 제1 유사 정도와 상기 제1-2 feature vector 및 상기 제2 feature vector의 제2 유사 정도를 산출하며, 복수의 유사 정도에 기초하여 상기 제1-1 텍스트 데이터 및 상기 제1-2 텍스트 데이터를 정렬하고,
    상기 정렬된 텍스트 데이터 중에서 상기 유사 정도가 상기 소정 수치보다 높거나 같은 특정 텍스트 데이터 및 상기 제2 텍스트 데이터를 사용자 단말에 전송하여 상기 특정 텍스트 데이터 및 상기 제2 텍스트 데이터가 비교되도록 하고, 상기 사용자 단말로부터 상기 제2 텍스트 데이터가 상기 텍스트 데이터풀에 기록될지 여부를 수신하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 유사 정도가 상기 소정 수치보다 높거나 같은 상기 특정 텍스트 데이터가 존재하지 않는 경우, 상기 복수 개의 제1 텍스트 데이터 중에서 상기 제2 텍스트 데이터와 가장 유사하다고 판단되는 제1 텍스트 데이터가 재특정 텍스트 데이터로 설정된 상태에서,
    상기 재특정 텍스트 데이터의 feature vector와의 유사 정도가 기설정 수치보다 높거나 같은 복수의 소정 feature vector가 존재한다고 할 때,
    상기 컴퓨팅 장치는, 상기 복수의 소정 feature vector에 대응하는 복수의 소정 텍스트 데이터 및 상기 재특정 이미지 데이터를 상기 사용자 단말에 전송하여 상기 복수의 소정 텍스트 데이터 및 상기 재특정 이미지 데이터 각각이 상기 제2 텍스트 데이터와 비교되도록 하고, 상기 사용자 단말로부터 상기 제2 텍스트 데이터가 상기 텍스트 데이터풀에 기록될지 여부를 수신하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 제1 feature vector가 N 차원에 존재하는 제1 지점, 상기 제2 feature vector가 N차원에 존재하는 제2 지점에 해당한다고 할 때,
    상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도는 상기 제1 지점과 상기 제2 지점 사이의 거리를 나타내는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 컴퓨팅 장치는, 상기 텍스트 데이터풀에 기록된 복수의 텍스트 데이터에 대응하는 복수의 feature vector 각각의 인접 정도에 기초하여, 상기 복수의 텍스트 데이터를 그룹핑하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 (a) 단계 이전에,
    상기 딥러닝 모델의 연산을 수행하기 위해 적어도 하나의 파라미터가 존재하는 상태에서,
    제1 트레이닝 텍스트 데이터와 제2 트레이닝 텍스트 데이터의 유사 여부가 제1 비교 데이터라고 할 때,
    (a1) 상기 컴퓨팅 장치가, 상기 제1 트레이닝 텍스트 데이터 및 상기 제2 트레이닝 텍스트 데이터를 입력 값으로 하여, 상기 딥러닝 모델에서 연산을 수행하고, 상기 제1 트레이닝 텍스트 데이터에 대응하는 제1 트레이닝 feature vector 및 상기 제2 트레이닝 텍스트 데이터에 대응하는 제2 트레이닝 feature vector를 산출하는 단계; 및
    (a2) 상기 컴퓨팅 장치가, 상기 제1 트레이닝 feature vector 및 상기 제2 트레이닝 feature vector의 유사 정도를 비교하여 제2 비교 데이터를 도출하고, 상기 제1 비교 데이터 및 상기 제2 비교 데이터를 기초로 상기 딥러닝 모델의 적어도 하나의 파라미터를 조절하는 단계;
    를 포함하는 방법.
  7. 제1항에 있어서,
    상기 컴퓨팅 장치가, 크라우드 소싱을 통해 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 획득하는 것을 특징으로 하는 방법.
  8. 필터링된 텍스트 데이터를 수집하는 장치에 있어서,
    제1 텍스트 데이터 및 제2 텍스트 데이터를 획득하는 통신부;
    상기 제1 텍스트 데이터를 텍스트 데이터풀에 기록하고, 상기 제1 텍스트 데이터 및 상기 제2 텍스트 데이터를 입력 값으로 하여, 딥러닝 모델에서 연산을 수행하고, 상기 제1 텍스트 데이터에 대응하는 제1 feature vector 및 상기 제2 텍스트 데이터에 대응하는 제2 feature vector를 산출하며, 상기 제1 feature vector 및 상기 제2 feature vector의 유사 정도를 비교하고, 상기 유사 정도가 소정 수치보다 아래인 경우 상기 제2 텍스트 데이터를 상기 텍스트 데이터풀에 기록하는 프로세서;
    를 포함하는 컴퓨팅 장치.
PCT/KR2020/014337 2019-12-10 2020-10-20 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치 WO2021118040A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/771,221 US20220374601A1 (en) 2019-12-10 2020-10-20 Deep learning-based method for filtering out similar text, and apparatus using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0164009 2019-12-10
KR1020190164009A KR102114267B1 (ko) 2019-12-10 2019-12-10 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치

Publications (1)

Publication Number Publication Date
WO2021118040A1 true WO2021118040A1 (ko) 2021-06-17

Family

ID=70913842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/014337 WO2021118040A1 (ko) 2019-12-10 2020-10-20 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치

Country Status (3)

Country Link
US (1) US20220374601A1 (ko)
KR (1) KR102114267B1 (ko)
WO (1) WO2021118040A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114223B1 (ko) * 2019-12-10 2020-05-22 셀렉트스타 주식회사 딥러닝 기반 유사 이미지를 필터링하는 방법 및 그를 이용한 장치
CN112216359B (zh) * 2020-09-29 2024-03-26 百度国际科技（深圳）有限公司 医疗数据校验方法、装置及电子设备
JP2022106147A (ja) * 2021-01-06 2022-07-19 富士通株式会社 判定モデル生成プログラム、情報処理装置及び判定モデル生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090220166A1 (en) * 2008-02-28 2009-09-03 Yahoo! Inc. Filter for blocking image-based spam
KR20160085004A (ko) * 2015-01-07 2016-07-15 한화테크윈 주식회사 중복 이미지 파일 검색 방법 및 장치
KR20190125428A (ko) * 2017-07-21 2019-11-06 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지 중복 제거 방법 및 장치, 전자 기기, 저장 매체, 프로그램

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652436B1 (ko) * 2010-08-17 2016-08-30 에스케이텔레콤 주식회사 분산파일 시스템에서의 중복 제거 장치 및 방법
US10102255B2 (en) * 2016-09-08 2018-10-16 Facebook, Inc. Categorizing objects for queries on online social networks
KR102011667B1 (ko) * 2016-11-29 2019-08-20 (주)아크릴 딥러닝-기반 키워드에 연관된 단어를 도출하는 방법과 컴퓨터프로그램
CN107133202A (zh) * 2017-06-01 2017-09-05 北京百度网讯科技有限公司 基于人工智能的文本校验方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090220166A1 (en) * 2008-02-28 2009-09-03 Yahoo! Inc. Filter for blocking image-based spam
KR20160085004A (ko) * 2015-01-07 2016-07-15 한화테크윈 주식회사 중복 이미지 파일 검색 방법 및 장치
KR20190125428A (ko) * 2017-07-21 2019-11-06 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지 중복 제거 방법 및 장치, 전자 기기, 저장 매체, 프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE, SOON-HAENG ET AL.: "A Survey on Detecting Duplicate Documents in World Wide Web Environment", SIGDB, vol. 25, no. 1, April 2009 (2009-04-01), pages 1 - 17 *
LIM GEUN-YOUNG, CHO YOUNG-BOK: "The Sentence Similarity Measure Using Deep-Learning and Char2Vec", JOURNAL OF THE KOREA INSTITUTE OF INFORMATION AND COMMUNICATION ENGINEERING, vol. 22, no. 10, 1 October 2018 (2018-10-01), pages 1300 - 1306, XP055819855, ISSN: 1226-6981, DOI: 10.6109/jkiice.2018.22.10.1300 *

Also Published As

Publication number Publication date
KR102114267B1 (ko) 2020-05-22
US20220374601A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
WO2021118039A1 (ko) 딥러닝 기반 유사 이미지를 필터링하는 방법 및 그를 이용한 장치
WO2021118040A1 (ko) 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치
WO2021118041A1 (ko) 작업 난이도에 따라 레이블링 작업을 분배하는 방법 및 그를 이용한 장치
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2020045714A1 (ko) 콘텐츠 인식 방법 및 시스템
WO2021125619A1 (ko) 딥러닝 모델을 이용하여 바운딩 박스에 대한 레이블링을 검수하는 방법 및 그를 이용한 장치
WO2016013810A1 (en) Operating method and device for disaster information
WO2017104919A1 (en) Event-based image management using clustering
WO2017188535A1 (ko) 실시간성 이벤트를 탐지하는 방법 및 이를 이용한 서버
WO2018080228A1 (ko) 번역을 위한 서버 및 번역 방법
WO2021261883A1 (ko) 무선 공유기를 이용한 몰래 카메라 탐지 방법 및 그 시스템
WO2015133856A1 (ko) 정답 키워드 제공 방법 및 장치
WO2021040283A1 (ko) 무선 ap 접속 정보에 기초하여 근태 관리를 수행할 수 있는 근태 관리 시스템 서버 및 그 동작 방법
WO2019107731A1 (ko) 실내 위치 측정 장치 및 방법
WO2020067615A1 (ko) 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
WO2013154252A1 (ko) 비결정적 유한 오토마타의 비결정성을 선택적으로 제거하기 위한 방법, 서버, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
WO2020171622A1 (en) A method and system for managing operations of applications on an electronic device
WO2016186326A1 (ko) 검색어 리스트 제공 장치 및 이를 이용한 방법
WO2023022406A1 (ko) 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템
WO2023033444A1 (ko) 이슈 기반 뉴스 정보 제공을 위한 서비스 제공 장치 및 방법
WO2022097891A1 (ko) 동일 구조의 데이터를 추출하는 방법 및 그를 이용한 장치
WO2019098584A1 (ko) 사물 인터넷 환경에서 낯선 기기에 대한 사용자 신뢰도 계산 시스템 및 방법
WO2022231362A1 (ko) 상용 드론에 대한 무선 통신 성능을 평가하는 평가 시스템 장치 및 그 동작 방법
WO2015186875A1 (ko) 대중교통 수단 안내를 위한 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20900366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20900366

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20900366

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.12.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20900366

Country of ref document: EP

Kind code of ref document: A1