KR20210125588A

KR20210125588A - 머신 러닝 기반의 사용자 맞춤형 특허 문헌 자동 분류 방법, 장치 및 시스템

Info

Publication number: KR20210125588A
Application number: KR1020217031336A
Authority: KR
Inventors: 윤정호; 신정훈
Original assignee: 주식회사 워트인텔리전스
Priority date: 2019-03-29
Filing date: 2020-03-30
Publication date: 2021-10-18
Also published as: JP2022528273A; WO2020204535A1; US11880400B2; CN113711206A; US20240152539A1; US20220092101A1

Abstract

특허 데이터 베이스에 저장되어 있는 특허 문헌들을 머신 러닝 기술로 학습하고, 상기 특허 문헌들간 유사도를 기반으로 제1 분류 기준을 확립하고, 상기 제1 분류 기준을 기반으로 상기 특허 문헌들을 분류하는 기본 분류 모델을 생성하는 단계; 사용자의 검색 및/또는 선택 입력에 기초하여 복수의 특허 문헌들이 포함된 특허 풀을 생성하는 단계; 상기 사용자의 분류 입력을 수신하고, 상기 분류 입력에 따라 상기 특허 풀에 포함되어 있는 복수의 특허 문헌들을 분류하는 단계; 상기 분류된 특허 문헌들간 유사도를 기반으로 상기 사용자가 상기 복수의 특허 문헌들을 분류하는 제2 분류 기준을 예측하는 단계; 및 상기 기본 분류 모델 및 상기 제2 분류 기준을 기초로 상기 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류하는 단계; 를 포함할 수 있다.

Description

머신 러닝 기반의 사용자 맞춤형 특허 문헌 자동 분류 방법, 장치 및 시스템

본 명세서는 사용자의 특허 문헌의 분류 패턴을 학습하여 분류 모델을 구축하고, 구축된 분류 모델을 이용하여 특허 문헌들을 자동 분류하기 위한 방법 및 이를 위한 시스템/장치를 제안한다.

최근 들어, 다양한 분야에 응용 가능한 머신 러닝(machine learning)이 발달하고 있다. 이러한 머신 러닝은 인공 지능의 한 분야로서, 그 유형에 따라 지도 학습(Supervised learning), 비지도 학습(Unsupervised learning), 강화 학습(Reinforcement learning) 등으로 나뉘며, 인공 신경망(Artificial neural network), 부스팅(Boosting), 결정 트리(Decision tree), 서포트 벡터 머신(Support vector machine), 랜덤 포레스트(Random forests) 등과 같은 다양한 방식의 알고리즘이 개발되고 있다.

인공 신경망은 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)를 포함하는데, 은닉층을 쌓는 방법에 따라 얕은 신경망(Shallow neural network)과 심층 신경망(Deep neural network)으로 나뉜다. 또한, 심층 신경망에서 보다 개선된 인공 신경망인 합성곱 신경망(Convolutional neural network, ‘ConvNet’), 순환 신경망(Recurrent neural network), 심층 신뢰 신경망 (Deep belief network), 심층 Q 신경망(Deep Q-network) 등이 개발되고 있는데, 이들 인공 신경망(심층 신경망 포함)의 머신 러닝 방식을 통상적으로 딥 러닝(deep learning)이라고 지칭한다. 즉, 딥 러닝은 뇌의 뉴런과 유사한 정보 입출력 계층을 활용해 데이터를 학습하는 것으로서, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 머신 러닝을 지칭한다.

최근, 특허를 기반으로 한 다양한 사업/프로젝트가 활성화됨에 따라, 특허를 기술별로 분류하는 작업이 많이 이루어지고 있다. 각국 특허청에서는 특허 문헌별로 기술 분류 코드(IPC, CPC 등)를 지정함으로써 기술 분류를 수행하나, 이러한 기술 분류 코드는 임의로 지정된 것으로서 실제 특허 문헌에 개시되어 있는 기술과 매칭되지 않는 경우가 많으며, 실제 산업 및 제품과 매칭 정도가 떨어질 뿐 아니라 사용자가 분류하고자 하는 기준과 부합하지 않아 실제 분류 작업에 많이 쓰이지 않고 있는 실정이다. 그 결과, 사용자가 직접 분류 대상 특허들을 모두 파악하여 분류 작업을 수행해야 하므로, 많은 시간과 비용/인력이 소모된다는 문제점이 존재하였다.

나아가, 특허 소유자(개인/회사)는 자신들만의 특허 전략에 따라 기술별로 존속 기간을 상이하게 설정하는 경우가 있다. 이 경우, 특허 소유자는 직접 소멸된 특허 문헌들의 기술별 존속/소멸 평균 기간을 산출해야 하고, 계류중인 특허 문헌들을 기술별로 분류한 후 앞서 산출한 기술별 존속 기간을 적용해야 한다. 이는, 많은 시간과 비용/인력이 소요될 뿐 아니라, 소유 중인 특허들이 많은 경우에는 이들의 존속 기간 관리가 매우 어렵다는 문제점이 존재하였다.

본 발명의 일 실시예에 따르면, 특허 데이터 베이스에 저장되어 있는 특허 문헌들을 머신 러닝 기술로 학습하고, 상기 특허 문헌들간 유사도를 기반으로 제1 분류 기준을 확립하고, 상기 제1 분류 기준을 기반으로 상기 특허 문헌들을 분류하는 기본 분류 모델을 생성하는 단계; 사용자의 검색 및/또는 선택 입력에 기초하여 복수의 특허 문헌들이 포함된 특허 풀을 생성하는 단계; 상기 사용자의 분류 입력을 수신하고, 상기 분류 입력에 따라 상기 특허 풀에 포함되어 있는 복수의 특허 문헌들을 분류하는 단계; 상기 분류된 특허 문헌들간 유사도를 기반으로 상기 사용자가 상기 복수의 특허 문헌들을 분류하는 제2 분류 기준을 예측하는 단계; 및 상기 기본 분류 모델 및 상기 제2 분류 기준을 기초로 상기 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류하는 단계; 를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 사용자의 분류 기준을 학습하여 사용자가 원하는 분류 기준을 예측하여 자동으로 특허 문헌들을 분류해 주므로, 사용자가 특허 문헌들을 분류하는 데 들어가는 시간/노력/비용/불편함을 확연히 줄여준다는 효과가 발생한다.

또한, 본 발명의 일 실시예에 따르면, 사용자가 보유했던 특허권들의 소멸 패턴을 기술별로 학습하여 사용자가 원하는 기술별 존속 기간을 예측하고, 현재 계류 중인 특허권들에 대한 소멸 기간을 예측해 줌으로써, 사용자가 보다 쉽고 효율적으로 현재 보유 중인 특허들의 존속 기간을 관리할 수 있다는 효과가 발생한다.

이외에도, 본 발명의 다양한 실시예에 따른 효과가 존재하며, 이에 대해서는 이하에서 각 도면을 참조하여 상세히 후술한다.

도 1은 본 발명의 일 실시예에 따른 특허 검색 엔진의 특허 문헌 검색 결과 화면을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 슬라이딩뷰 화면을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 특허 문헌 분류 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 분류 입력에 따른 특허 문헌 분류 방법을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 폴더 설정 UI를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 폴더 설정에 따른 특허 문헌의 대표 정보 표시 방법을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자의 분류 입력에 따른 특허 문헌 분류 방법을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 분류 히스토리 창을 예시한 도면이다.
도 9는 본 발명의 일 실시예예 따른 다중 폴더 저장 방식을 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따라 특허 문헌들의 소멸 기간을 예측하는 실시예를 예시한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 특허 소멸 권장 리스트를 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 블록도를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 블록도를 도시한 도면이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명은 특허 검색 엔진을 제공하는 웹 사이트/서버(혹은 이러한 웹 사이트/서버를 통한 특허 검색 기능이 구현된 컴퓨터 프로그램/어플리케이션)를 기반으로 한다. 따라서, 본 명세서에서 기술된 실시예들은 웹 서버, 어플리케이션 서버, 및/또는 클라이언트 기기에 의해 수행될 수 있으며, 이들이 포함된 시스템을 ‘특허 문헌 분류 시스템’이라 통칭할 수 있다.

이하에서는 설명의 편의를 위해, 실시예를 수행하는 주체를 ‘특허 검색 엔진’ 또는 ‘특허 문헌 분류 시스템’으로 설명하나, 웹 서버, 어플리케이션 서버, 및/또는 클라이언트 기기로 대체되어 설명될 수 있다. 또한, 이하에서는 설명의 편의를 위해, 웹 사이트를 통해 제공되는 특허 검색 엔진을 기반으로 설명하나, 이에 한정되는 것은 아니며 어플리케이션을 통해 제공되는 특허 검색 엔진에도 적용될 수 있음은 물론이다.

우선, 본 발명의 기반이 되는 특허 검색 엔진의 기본적인 기능 및 GUI(Graphic User Interface)를 살펴본 후, 특허 문헌 자동 분류 방법에 대해 상세히 살펴보기로 한다.

도 1은 본 발명의 일 실시예에 따른 특허 검색 엔진의 특허 문헌 검색 결과 화면을 예시한 도면이다.

본 발명의 특허 검색 엔진은, 사용자의 검색 입력에 따라 검색된 특허에 대한 다양한 정보를 한 화면에 제공할 수 있다.

예를 들어, 도 1에 도시한 바와 같이, 특허 검색 엔진은 특허 문헌 검색 결과로서, 국가별/상태별로 검색된 특허 문헌 수(130)와 전체 또는 국가별로 검색된 특허 문헌 리스트(140) 등을 제공할 수 있다. 특히, 특허 검색 엔진은, 특허 문헌 리스트(140) 제공 시, 각 특허 문헌에 대한 서지 정보(출원 국가, 출원/등록 번호, 종류, 출원 일자, 현재 상태(출원/공개/등록 등), 발명의 명칭 등)도 함께 제공할 수 있다.

또한, 특허 검색 엔진은, 검색된 특허 문헌들에 대하여 사용자가 다양한 추가 작업을 지시하기 위한 실행 버튼 탭(120)을 제공할 수 있다. 예를 들어, 도 1에 도시한 바와 같이, 특허 검색 엔진은 슬라이딩뷰(110), work 저장, 그래프 엔진, 다운로드 및 리스트 출력 작업을 위한 실행 버튼들이 포함된 실행 버튼 탭(120)을 제공할 수 있다.

여기서 슬라이딩뷰(110)는, 검색된 특허 문헌들을 사용자가 보다 쉽게 파악할 수 있도록 각 특허 문헌을 대표하는 정보(예를 들어, 대표 도면, 요약 정보, 독립항 등)를 한 화면으로 요약 구성하여 리스트 업하는 기능을 제공하며, 사용자는 해당 기능을 통해 보다 쉽게 특허 문헌들의 파악이 가능하다. 이에 대해서는 도 2를 참조하여 보다 상세히 후술한다.

Work 저장은 특허 문헌을 특정 폴더에 저장하는 기능을 제공하며, 본 명세서에서 제안하는 특허 문헌 분류 작업에 사용될 수 있다. 그래프 엔진은, 사용자가 선택한 특허 문헌들을 모아 사용자가 원하는 기준에 따라 그래프를 생성하거나 통계를 산출하는 기능을 제공한다. 다운로드는 특허 문헌을 다운로드 하는 기능을 제공하며, 리스트 출력은 검색된 특허 문헌들의 리스트, 요약 정보 등을 출력하는 기능을 제공한다.

이외에도, 특허 검색 엔진은 특허 문헌을 이용한 다양한 추가 작업을 지시하기 위한 실행 버튼을 제공할 수 있으며, 상술한 실시예에 한정되지 않는다.

도 2는 본 발명의 일 실시예에 따른 슬라이딩뷰 화면을 예시한 도면이다.

도 2를 참조하면, 슬라이딩뷰 화면은 크게, 하이라이트 창(210), 프로젝트 창(220), 대표 도면 창(230), 특허 문헌 대표 내용 창(250), 특허 리스트 창(240)으로 구성될 수 있다.

하이라이트 창(210)은, 사용자가 입력하는 특정 키워드/검색어를 각 특허 문헌에서 강조 표시하는 기능을 제공한다. 프로젝트 창(220)은, 사용자가 생성한 다양한 상위/하위 폴더를 관리(생성 및 편집 등)할 수 있는 프로젝트 창이다. 사용자는 특허 문헌을 원하는 폴더에 저장함으로써 특허 문헌을 분류할 수 있으며, 폴더별로 특허 문헌을 관리할 수 있다.

대표 도면 창(230)은, 대상 특허 문헌의 대표 도면을 보여주는 기능을 제공하며, 특허 문헌 대표 내용 창(250)은 대상 특허 문헌을 파악하는 데 필요한 대표적인 정보를 요약 제공하는 기능을 수행한다. 사용자는 이러한 대표 도면 창(230) 및 특허 문헌 대표 내용 창(250)을 통해 대상 특허 문헌의 특징 및 기술 내용을 한 번에 쉽게 파악할 수 있다.

특허 리스트 창(240)은 사용자가 슬라이딩뷰로 보려고 선택했던 특허 문헌들의 리스트를 제공하는 창이다. 이러한 특허 리스트 창(230)을 통해 사용자는 현재 풀에 어떤 특허 문헌들이 얼마나 포함되어 있는지 알 수 있으며, 이 중 현재 사용자가 보고 있는 특허 문헌이 어떤 문헌인지도 알 수 있다.

이상으로, 본 발명에 기초가 되는 특허 검색 엔진에 대해 간략하게 살펴보았다. 이하에서 후술하는 본 발명의 실시예들은 이러한 특허 검색 엔진을 기반으로 수행/제공될 수 있으며, 특히 특허 분류 시스템 및 방법은 슬라이딩뷰 화면 내에서 하나의 기능으로서 제공될 수 있다. 다만, 본 발명이 상술한 특허 검색 엔진에 한정적으로 적용되는 것은 아니며, 다양한 특허 검색 엔진/사이트에 동일/유사하게 적용될 수 있음은 물론이다.

도 3은 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 특허 문헌 분류 방법을 예시한 순서도이다.

도 3을 참조하면, 우선, 특허 문헌 분류 시스템은 특허 데이터 베이스에 저장되어 있는 일부 또는 전체 특허 문헌들을 머신 러닝(Machine Learning) 기술로 학습할 수 있다. 나아가, 특허 문헌 분류 시스템은 머신 러닝 기술을 기반으로 학습한 특허 문헌들간 유사도를 기반으로 제1 분류 기준을 확립하고, 확립한 제1 분류 기준에 따라 특허 문헌들을 분류하는 기본 분류 모델을 생성할 수 있다(S301).

특허 문헌 분류 시스템은 다양한 머신 러닝 기술을 이용하여 특허 문헌들을 학습할 수 있다. 머신 러닝 기술의 일 실시예로서, RNNs(Recurrent Neural Networks) 기술, DNNs(Deep Neural Networks) 및/또는 CNNs(Convolutional Neural Networks) 등이 사용될 수 있다. RNNs(Recurrent Neural Networks) 기술은, 글, 유전자, 손 글씨, 음성 신호, 센서가 감지한 데이터, 텍스트, 주가 등 일정한 배열(sequence 또는 시계열 데이터)의 형태를 갖는 데이터에서 패턴을 인식하는 인공 신경망이다. RNNs 기술에서, 현재 입력된 데이터와 과거에 입력 받은 데이터는 동시에 고려되며, 배열의 정보는 RNNs의 은닉층에 저장되고, 은닉층에 저장된 정보는 일정 시간 후 저장된 정보가 필요한 입력을 수신하면 다시 사용될 수 있다. DNNs는 이러한 은닉층을 2개 이상 가지고 있는 학습 방법을 뜻한다. DNNs에서 컴퓨터는 스스로 분류레이블을 만들어 내고 공간을 왜곡하고 데이터를 구분짓는 과정을 반복하여 최적의 구번선을 도출해낼 수 있다. CNNs 기술은 이러한 DNNs를 응용한 알고리즘이며, 이에 대해서는 S306 단계에서 보다 상세히 후술하기로 한다.

특허 문헌 분류 시스템은 특허 문헌들을 학습하기 전, 번역 엔진을 이용하여 특허 문헌들을 공통된 하나의 언어(예를 들어, 한국어 또는 영어)로 번역할 수 있으며, 통일된 하나의 언어로 특허 문헌들을 학습할 수 있다. 다만, 이에 한정되는 것은 아니며, 특허 문헌 분류 시스템은 번역 엔진을 이용하여 최대 2개의 언어로 번역하여 특허 문헌들을 학습할 수도 있다.

특허 문헌 분류 시스템은 특허 문헌들간 유사도 판단 시, 각 특허 문헌들의 패밀리 특허 문헌, 특허 분류 코드(예를 들어, IPC, CPC 등), 선행 특허 문헌, 심사 단계에서 인용된 특허 문헌, 타 특허 문헌의 심사 단계에서 피인용된 특허 문헌, (텍스트 마이닝으로 추출된) 키워드 및/또는 텍스트 데이터 등을 기반으로 판단할 수 있다. 이때, 텍스트 데이터는 Word Emdedding, Word2vec과 같은 알고리즘을 이용하여 백터화될 수 있다.

특허 문헌 분류 시스템은, 특허 문헌간 유사도 산출을 위해, 코사인 계수(Cosine coefficient), 자카드 계수(Jaccard coefficient), 다이스 계수(Dice coefficient), 유클리디언 거리(Euclidean distance), 벡터 내적 곱(vector inner product) 등을 사용할 수 있다. 실시예에 따라서는, 분류(또는 클러스터링) 기법에 따라 특정 유사도 측정 방법을 이용해야 하는 경우가 있을 수 있는데, 예를 들어, 유클리디언 거리를 이용하여 문헌들 사이의 거리를 측정하는 Ward 기법과 내적의 곱으로 유사도를 계산하는 그룹 평균 기법 등이 이에 해당하며, 유사도 측정 방법에 따라 각 분류(또는 클러스터)에 속하는 특허 문헌(또는 멤버)가 달라질 수 있다.

다음으로, 특허 문헌 분류 시스템은, 사용자의 검색 및/또는 선택 입력에 기초하여 복수의 특허 문헌들이 포함된 특허 풀(Pool)을 생성할 수 있다(S302). 특허 풀에 포함되어 있는 복수의 특허 문헌들은 이하에서 후술하는 사용자의 분류 대상 문헌이 될 수 있다.

다음으로, 특허 문헌 분류 시스템은, 사용자의 분류 입력을 수신하고(S303), 분류 입력에 따라 특허 풀에 포함되어 있는 복수의 특허 문헌들을 분류할 수 있다(S304). 특허 문헌 분류 시스템은, 사용자의 폴더 생성 입력에 따라 적어도 하나의 폴더를 생성할 수 있으며, 사용자의 분류 입력에 따라 특허 풀의 특허 문헌들을 각 폴더에 저장함(또는 폴더로 이동시킴)으로써 분류 작업을 수행할 수 있다. 분류 입력은 사용자가 특허 문헌을 분류하기 위한 다양한 사용자 입력으로서 여러 실시예가 있을 수 있는데, 일 실시예로서, 사용자는 특허 문헌을 폴더 쪽으로 드래그 앤 드롭하는 모션/터치 입력을 수행함으로써 간단하게 분류 작업을 수행할 수 있다. 다른 실시예로서, 분류 입력은, 특허 문헌 분류 시스템이 제공하는 바로 저장 버튼에 대한 사용자 입력에 해당할 수 있다. 여기서 바로 저장 버튼은 사용자가 자신이 원하는 폴더에 특허 문헌을 바로 저장하여 분류할 수 있도록 특허 문헌 분류 시스템이 제공하는 UI에 해당할 수 있다. 바로 저장 버튼은 각 특허 문헌마다 제공될 수 있다. 또 다른 실시예로서, 분류 입력은, 대상 특허 문헌을 토글링(toggling) 방식으로 분류하기 위한 입력으로서, 예를 들어, O 또는 X에 대한 사용자 입력에 해당할 수 있다. 사용자는 대상 특허 문헌에 대하여 O 또는 X를 선택/입력함으로써 2가지 분류(예를 들어, O 또는 X)로 분류할 수 있다. 분류 항목(O 또는 X)는 사용자가 직접 설정하거나 웹/어플리케이션 서버에서 기설정된 항목으로 제공할 수 있다. 분류 입력의 실시예들에 대해서는 도 4 및 7을 참조하여 이하에서 보다 상세히 후술한다.

다음으로, 특허 문헌 분류 시스템은, 분류된 특허 문헌들간 유사도를 기반으로 사용자가 특허 문헌들을 분류하는 제2 분류 기준을 예측할 수 있다(S305). 유사도를 기반으로 한 제2 분류 기준의 예측 방법은 유사도를 기준으로 제1 분류 기준을 확립하는 방식과 동일/유사하게 수행될 수 있다.

다음으로, 특허 문헌 분류 시스템은, 기본 분류 모델 및 제2 분류 기준을 기초로 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류할 수 있다(S306).

보다 상세하게는, 일 실시예로서, 특허 문헌 분류 시스템은, 예측한 제2 분류 기준을 기본 분류 모델에 결합하여 사용자 맞춤형 분류 모델을 구축할 수 있다. 사용자 맞춤형 분류 모델은 전이 학습(Transfer Learning)을 기반으로 구축될 수 있다. 전이 학습은 주로 사전 학습된 모델(pre-trained model)을 이용할 수 있는데, 사전 학습된 모델은, 비슷한 과제 해결 목적을 가지면서 사이즈가 큰 데이터로 이미 학습이 완료되어 있는 모델을 의미한다. 특히, 본 명세서는 전이 학습에 이용되는 사전 학습 모델들은 합성곱 신경망(Convolutional Neural Networks; CNNs) 구조를 가지고 있다. 이러한 CNN은 다음과 같은 두 가지 파트로 구성되어 있다:

- Convolutional base: 합성곱층과 풀링층이 여러 겹 쌓여있는 부분이다. convolutional base의 목표는 데이터로부터 특징을 효과적으로 추출하는 것(feature extraction)이다.

- Classifier: 주로 완전 연결 계층(fully connected layer)로 이루어져 있다. 완전 연결 계층이란, 모든 계층의 뉴런이 이전 층의 출력 노드와 하나도 빠짐없이 모두 연결되어 있는 층을 말한다. Classifier의 최종 목표는 추출된 특징을 잘 학습해서 데이터를 알맞은 카테고리로 분류하는 것(image classification)이다.

특허 문헌 분류 시스템은 이 두 가지 파트를 이용하여 사용자 맞춤형 분류 모델을 구축할 수 있는데, 특히 Convolutional base는 고정시키되 classifier만 새로 학습하는 전략을 사용하여 사용자 맞춤형 분류 모델을 구축할 수 있다. 이러한 전략은 컴퓨팅 연산 능력이 부족하거나 데이터 셋이 너무 작을 때, 그리고/또는 내가 풀고자 하는 문제가 사전 학습 모델이 이미 학습한 데이터 셋과 매우 비슷할 때 유리하게 적용 가능하다.

이를 본 실시예에 적용하면, 특허 문헌 분류 시스템은, 기본 분류 모델을 convolutional base로서 고정한 후 제2 분류 기준을 classifier로서 새로 학습하여 사용자 맞춤형 분류 모델을 구축할 수 있다. 여기서 기본 분류 모델을 고정함은, 기본 분류 모델의 제1 분류 기준을 기초로 특허 풀의 특허 문헌들을 사용자가 생성한 폴더 수만큼 가분류 한 특징/기준을 고정하는 것으로 해석될 수 있다. 따라서, 제1 분류 기준에 따른 가분류 특징/기준이 고정되고, 제2 분류 기준에 따른 분류 특징/기준을 classifier로 새로 학습함으로써 사용자 맞춤형 분류 모델이 구축될 수 있다.

다른 일 실시예로서, 특허 문헌 분류 시스템은, 상기 실시예에서처럼 사용자가 분류한 특허 문헌들을 학습하지 않고, 기본 모델만을 이용하여 특허 문헌을 분류할 수도 있다. 이 경우, 특허 문헌 분류 시스템은, 사용자가 분류한 특허 문헌들간의 기술적 거리를 기본 분류 모델을 기초로 산출하고, 산출한 기술적 거리를 기반으로 제2 분류 기준을 예측할 수 있다(즉, 학습 불필요). 특허 문헌 분류 시스템은, 이렇듯 기본 분류 모델을 기초로 예측된 상기 제2 분류 기준을 기초로 나머지 특허 문헌을 분류할 수 있다. 예를 들면, 사용자가 특허 풀 중 일부 특허 문헌을 4개 분류로 분류한 경우, 특허 문헌 분류 시스템은 4개 분류에 속한 특허군의 특징을 기본 분류 모델을 기반으로 추출할 수 있으며, 이렇게 추출한 기본 분류 모델에서의 특허군별 특징에 따라 나머지 특허 문헌을 자동으로 분류할 수 있다. 본 실시예에 따를 때, 제2 분류 기준은 결국 제1 분류 기준의 분류를 사용자 분류 특징에 따라 그룹핑하여 전체 분류 종류/개수를 줄인 형태로 해석될 수 있다. 예를 들어, 제1 분류 기준에 따라 분류될 수 있는 기술 분류가 1000개라고 하면, 제2 분류 기준은 1000개를 사용자 분류 패턴/기준에 따라 유사도가 높은 분류끼리 클러스터링/그룹핑하여 50개의 기술 분류를 구분할 수 있도록 확립될 수 있다.

나아가, 특허 문헌 분류 시스템은, 나머지 특허 문헌에 대한 자동 분류를 지시하기 위한 입력 버튼(예를 들어, 분류 시작 버튼)을 출력할 수 있다. 입력 버튼에 대한 사용자의 입력을 수신한 경우, 특허 문헌 분류 시스템은, 사용자 맞춤형 분류 모델을 이용하여 나머지 특허 문헌을 분류할 수 있다. 보다 상세하게는, 특허 문헌 분류 시스템은, 입력 버튼에 대한 사용자의 입력 수신 시, 사용자 맞춤형 분류 모델을 이용해 나머지 특허 문헌을 분류하여 분류 특성에 맞는 각 폴더에 자동 저장함으로써 나머지 특허 문헌을 분류할 수 있다.

즉, 본 순서도는 다음의 실시예와 같이 적용될 수 있다:

사용자는 1000개의 특허를 검색하여 특허 풀로 설정하고, 4개의 폴더를 생성할 수 있다. 특허 문헌 분류 시스템은, 1000개의 특허를 기본 분류 모델을 이용하여 4개의 폴더로 가분류할 수 있다. 사용자는 1000개 중 우선 100개의 특허를 4개의 폴더로 분류 저장할 수 있으며, 특허 문헌 분류 시스템은, 이러한 사용자의 분류 정보로부터 사용자의 분류 기준/특징을 예측할 수 있다. 특허 문헌 분류 시스템은, 가분류 기준/특징(즉, 제1 분류 기준)에 사용자의 분류 기준/특징을 추가한 모델을 생성하여, 나머지 900개의 특허를 4개의 폴더로 분류하여 저장하게 된다.

한편, 본 순서도에는 도시하지 않았으나, 특허 문헌 분류 시스템은 자동 분류의 정확도(제1 정확도)를 실시간으로 산출하고, 제1 정확도를 실시간으로 표시하는 인디케이터를 출력할 수 있다.

일 실시예로서, 제1 정확도는 특허 풀에 포함된 특허 문헌의 개수, 사용자에 의해 설정/지정된 분류 개수, 및/또는 사용자에 의해 현재까지 분류 완료된 특허 문헌의 개수를 기초로 산출될 수 있다. 보다 상세하게는, 특허 문헌 분류 시스템은 기본 분류 모델을 학습하여 분류 대상 특허 문헌의 총 개수(제1 인자), 분류 개수(제2 인자) 및/또는 분류별 포함된 특허 문헌의 개수(제3 인자)에 따른 제2 정확도를 미리 데이터로서 산출/도출해 놓는 경우가 있을 수 있다. 예를 들어, 특허 문헌 분류 시스템은 기본 분류 모델을 학습한 결과, 분류 대상 특허 문헌이 1000개이고, 분류 개수가 3개, 분류별 포함된 특허 문헌의 개수가 100개인 경우 80%의 분류 정확도를 갖는다는 통계 데이터를 미리 산출/도출해놓을 수 있다. 이 경우, 특허 문헌 분류 시스템은 이러한 통계 데이터에 사용자의 분류 패턴/기준을 인자로 대입함으로써 제1 정확도를 도출할 수 있다. 즉, 제1 정확도는, 사용자가 특허 풀 내에 포함시킨 복수의 특허 문헌들의 개수, 제2 분류 기준에 따른 분류의 개수, 및/또는 분류별 포함된 특허 문헌의 개수를 제1 내지 제3 인자로 상기 통계 데이터에 순차적으로 적용했을 때 미리 산출되어 있는 제2 정확도에 해당할 수 있다. 따라서 만일, 사용자가 특허 풀에 1000개의 특허 문헌을 포함시키고, 3개의 폴더에 각각 100개의 특허 문헌들을 분류한 경우, 앞선 예에 따르면, 사용자의 분류 정확도(즉, 제1 정확도)는 80%로 도출되게 된다. 이에 추가적으로, 특허 문헌 분류 시스템은 사용자에 의해 각 분류별로 포함된 특허 문헌들간의 거리가 얼마나 가까운지에 따른 확률 (사용자가 분류별로 잘 넣었는지를 간접 검증)도 추가적으로 고려하여 제1 정확도를 도출/표시할 수 있다.

상술한 내용에 기초할 때, 최대 정확도가 도출되기 위한 제1 내지 제3 인자는 기본 분류 모델을 기반으로 도출된 통계 데이터 내에서 고정되어 있을 수 있다. 이 경우, 특허 문헌 분류 시스템은 도출한 제1 정확도가 최대 정확도보다 낮다고 판단한 경우, 사용자에게 추가 분류를 가이드하기 위한 알림창을 출력할 수 있다. 예를 들어, 1000개의 분류 대상 특허 문헌이 포함된 특허 풀에서 3개의 분류로 특허 문헌을 분류하는 경우, 최대 정확도 80%가 도출되기 위해서 각 폴더별로 최소 분류되어야 하는 특허 문헌의 개수는 100개로 정해져 있을 수 있다. 따라서, 사용자가 최대 정확도인 80%에 도달하기 위해 각 폴더별로 최소 100개의 특허 문헌을 포함시킬 수 있도록, 특허 문헌 분류 시스템은 이를 가이드하기 위한 알림창을 출력할 수 있다. 예를 들어, 특허 문헌 분류 시스템은 ‘현재 분류 정확도 60%이므로, 조금 더 많은 특허를 분류해주세요.’ 또는 ‘XX 폴더의 분류의 정확도가 낮으므로, XX 폴더에 더 많은 특허를 더 분류해주세요.’ 등과 같은 알림창을 출력할 수 있다.

다른 실시예로서, 제1 정확도는 제1 분류 기준으로 분류한 결과와 제2 분류 기준으로 분류한 결과 사이의 매칭 정도에 해당할 수 있다.

특허 문헌 분류 시스템은 자동 분류의 정확도를 폴더별 및/또는 특허 풀별로 산출할 수 있으며, 정확도를 표시하는 인디케이터를 폴더별 및/또는 특허 풀별로 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따라 사용자의 분류 입력에 따른 특허 문헌 분류 방법을 예시한 도면이다.

앞서 상술한 바와 같이, 사용자는 특허 문헌을 분류하고자 하는 폴더로 드래그 앤 드롭함으로써 간단히 분류 작업을 수행할 수 있다.

슬라이딩뷰 화면 구성에 기초하여 예를 들면, 도 4에 도시한 바와 같이, 특허 문헌 분류 시스템은 특허 문헌 대표 내용 창에 해당 특허 문헌을 폴더로 드래그 앤 드롭할 수 있는 아이콘(450)을 출력할 수 있다. 사용자가 분류를 위해 생성한 폴더(420)는 슬라이딩뷰의 프로젝트 창(410) 내에 제공될 수 있으며, 사용자는 상기 아이콘(450)을 원하는 폴더(410) 쪽으로 드래그 앤 드롭 입력(430)함으로써 해당 폴더(410)로의 분류 및 저장 작업을 수행할 수 있다.

나아가, 특허 문헌 분류 시스템은 폴더(410)별로 사용자가 직접 등급 및/또는 기술 테마/키워드를 설정할 수 있도록 설정 UI(440)를 제공할 수 있는데, 이에 대해서는 도 5 및 6을 참조하여 이하에서 후술한다.

도 5는 본 발명의 일 실시예에 따른 폴더 설정 UI를 예시한 도면이며, 도 6은 본 발명의 일 실시예에 따라 폴더 설정에 따른 특허 문헌의 대표 정보 표시 방법을 예시한 도면이다.

특허 문헌 분류 시스템은 폴더별로 사용자가 직접 추가 정보를 입력할 수 있는 설정 UI(520)를 제공할 수 있다. 예를 들어, 도 5에 도시한 바와 같이, 특허 문헌 분류 시스템은 폴더별(510) 등급 설정 및/또는 키워드/테마를 설정할 수 있는 설정 UI(520)를 출력할 수 있다. 사용자는 설정하고자 하는 폴더(510)를 선택한 후, 선택한 폴더(510)에 대한 중요 등급 및/또는 키워드/테마를 직접 설정함으로써 보다 쉽게 특허 문헌을 폴더별(510)로 관리할 수 있다.

설정 UI(520)를 이용하여 추가 정보가 입력/설정된 폴더에 소속된/저장된 특허 문헌은, 설정/입력된 추가 정보가 대표 정보로서 표시되어 사용자에게 제공될 수 있다.

예를 들어, 도 5 및 6에 도시한 바와 같이, B 폴더에 등급이 A, 키워드/테마가 #카메라로 설정된 경우, B 폴더에 저장되어 있는 특허 문헌들의 등급은 모두 A, 키워드/테마는 모두 #카메라로 설정되어 대표 정보(610)로서 표시될 수 있다. 따라서, 사용자는 각 특허 문헌별로 등급/키워드/테마 등을 개별적으로 설정할 필요 없이 폴더의 설정 UI(520)를 이용하여 폴더 단위로 설정할 수 있으므로, 사용자는 특허 문헌들을 폴더별로 보다 쉽게 관리할 수 있다.

도 7은 본 발명의 일 실시예에 따른 사용자의 분류 입력에 따른 특허 문헌 분류 방법을 예시한 도면이다.

앞서 상술한 바와 같이, 사용자는 특허 문헌과 함께 출력된 바로 저장 버튼(710)에 대해 사용자 입력을 수행함으로써 간단히 분류 작업을 수행할 수 있다.

슬라이딩뷰 화면 구성에 기초하여 예를 들면, 도 7에 도시한 바와 같이, 특허 문헌 분류 시스템은 특허 문헌 대표 내용 창에 해당 특허 문헌을 폴더에 바로 저장할 수 있는 기능을 실행할 수 있는 바로 저장 버튼(710)을 출력할 수 있다. 사용자는 바로 저장 버튼을 터치/선택(720)함으로써 해당 특허 문헌을 폴더에 바로 저장할 수 있다. 만일, 저장 가능한 폴더가 복수개인 경우, 특허 문헌 분류 시스템은 바로 저장 버튼에 대한 사용자 입력 수신 시, 저장 가능한 폴더를 선택할 수 있는 선택 UI(730)를 제공할 수 있다. 사용자는 선택 UI(730)에 표시된 폴더들 중 대상 특허 문헌을 저장하고자 하는 폴더를 선택 입력함으로써 대상 특허 문헌을 바로 해당 폴더에 저장할 수 있다.

도 8은 본 발명의 일 실시예에 따른 분류 히스토리 창을 예시한 도면이다.

도 8을 참조하면, 특허 문헌 분류 시스템은 사용자의 최근 분류 히스토리를 기록하고, 해당 기록 정보가 표시된 창(즉, 분류 히스토리 창)(810)을 사용자에게 제공할 수 있다.

분류 히스토리 창(810)에는 사용자가 최근 분류한 특허 문헌들이 분류된 순서대로 리스트업될 수 있으며, 각 특허 문헌들에 대한 간단한 분류 정보(예를 들어, 분류된 특허 문헌의 출원/등록 번호, 저장된 폴더 등)도 함께 제공될 수 있다. 나아가, 분류 히스토리 창(810)은 분류된 특허 문헌별로 ‘실행취소’ 아이콘(820)을 함께 제공할 수 있다. ‘실행취소’ 아이콘(820)은, 대상 특허 문헌의 분류 작업 실행을 취소하기 위한 아이콘에 해당한다. 따라서, 실행취소 아이콘(820)에 대한 사용자 입력이 수신되면, 특허 문헌 분류 시스템은 실행취소 입력이 수신된 대상 특허 문헌에 대한 분류 작업의 실행을 취소할 수 있으며, 대상 특허 문헌은 해당 폴더로 저장/소속되기 전(즉, 분류 전) 상태로 되돌아가게 된다.

도 9는 본 발명의 일 실시예예 따른 다중 폴더 저장 방식을 예시한 도면이다.

특허 문헌 분류 시스템은 다중 폴더 저장 방식을 지원하며, 그 결과 하나의 특허 문헌이 동시에 복수의 폴더에 저장될 수 있다. 예를 들어, 대상 특허 문헌은 동시에 A 및 B 폴더에 저장될 수 있다.

특허 문헌 분류 시스템은 대상 특허 문헌이 저장/분류된 폴더에 관한 정보를 표시하기 위한 아이콘(910)을 제공할 수 있다. 예를 들어, 도 9에 도시한 바와 같이, 대상 특허 문헌이 A 및 B 폴더에 저장/분류되어 있는 경우, 특허 문헌 분류 시스템은 폴더 수(2)를 지시하는 폴더 아이콘(910)을 제공할 수 있으며, 사용자가 폴더 아이콘(910)을 터치/선택하는 경우 현재 대상 특허 문헌이 저장되어 있는 폴더들의 리스트 정보(A 및 B 폴더) (920)를 제공할 수 있다.

특허 문헌 분류 시스템이 다중 폴더 저장 방식을 지원함에 따라, 각 특허 문헌에는 최대 현재 생성되어 있는 전체 폴더 수만큼 등급 및/또는 키워드/테마가 할당될 수 있다(폴더별로 등급 및/또는 키워드/테마 설정이 가능하므로).

본 도면에는 도시하지 않았으나, 자동 분류를 완료한 특허 문헌 분류 시스템은 사용자가 분류 내용을 직접 체크 및 수정할 수 있도록 하기 위한 재분류 UI를 각 폴더별로 제공할 수 있다.

재분류 UI는 각 폴더로 분류된 특허 문헌을 사용자가 다시 재분류하기 위한 재분류 대상 표시 버튼 및 재분류 대상 특허 문헌에 대한 재분류를 명령하기 위한 재분류 버튼 등을 제공할 수 있다. 따라서, 사용자는 ‘재분류 대상 표시 버튼’을 이용하여 해당 폴더로의 분류가 적합하지 않은 대상 특허 문헌을 표시할 수 있으며, 재분류 대상 표시 버튼에 의해 표시된 특허 문헌을 해당 폴더에서 삭제하거나 다른 폴더로 옮기기 위해 ‘재분류 버튼’을 이용할 수 있다. 재분류 대상은 다양한 실시예로서 표시될 수 있는데, 예를 들어, 웹/어플리케이션 서버에서 제공하는(또는 사용자가 직접 설정한) 태그나 색깔을 이용하여 표시될 수 있다. 이 경우, 사용자는 각 특허 문헌을 대상으로 웹/어플리케이션 서버가 제공하는 태그나 색깔을 선택 입력(예를 들어, 터치/클릭 입력)하여 재분류가 필요한 특허 문헌을 지정할 수 있다.

특허 문헌 분류 시스템은 이렇듯 사용자가 재분류한 내용도 데이터화하여 기본 분류 모델을 기초로 재분류 데이터를 학습함으로써 스스로 진화할 수 있다.

이상으로, 머신 러닝(또는 딥 러닝)을 기반으로 사용자 맞춤형 분류 모델을 구축하고, 이를 이용하여 특허 문헌을 자동 분류하는 방법에 대해 살펴보았다. 이렇듯 기존 모델에 사용자 분류 패턴/습관을 새로운 특징/기준으로 결합함으로써 새로운 모델을 구축하는 방식은 다양한 사용자 맞춤형 특허 관리 실시예에 적용될 수 있다. 예를 들어, 상기 방식을 이용하여 특허권의 소멸 기간, 특허별 유지할 청구항의 개수, 권리 양도 가능성(라이센스), 발명자별 특허 유지 방법, 특허 평가에 따른 특허 유지 방법 등의 예측/추천도 가능하다.

예를 들어, 특허권의 소멸 기간 예측에 본 발명의 방식을 적용하는 경우, 특허 문헌 분류 시스템은 사용자의 보유 특허를 기술별로 분류할 수 있으며(이때 기본 분류 모델 사용 가능), 분류된 기술 분야별로 특허 소멸 패턴을 학습하여 사용자 맞춤형 모델을 생성할 수 있다. 이를 통해, 특허 문헌 분류 시스템은 사용자의 기존 특허 관리(소멸 등) 패턴/특징에 맞춰서 특허 소멸 예측 기간을 사용자가 원하는 주기에 기술 분야별로 자동 추천해줄 수 있다.

예를 들어, 한국 생명 연구원은 줄기 세포 관련 특허는 소멸시키지 않고 15년 이상 유지하는 특징이 있는 반면, 화합물이나 제조 공정 특허는 5년 내에 일괄 소멸시키는 특징/패턴이 있는 경우, 특허 문헌 분류 시스템은 이러한 소멸 특징/패턴을 파악하여 한국 생명 연구원에서 현재 유지중인 줄기세포 기술분야 특허는 15년 이상 유지하도록 추천하고, 화합물이나 제조공정 특허는 5년 내에 소멸시키도록 안내/추천할 수 있다.

본 실시예에 대해서는 도 10을 참조하여 보다 상세히 후술하기로 한다.

도 10은 본 발명의 일 실시예에 따라 특허 문헌들의 소멸 기간을 예측하는 실시예를 예시한 순서도이다.

본 실시예는 설명의 편의를 위해 도 3의 실시예에 후행하는 실시예로 작성하였으나, 이에 한정되는 것은 아니며 도 3의 실시예와 독립적인 실시예로 수행될 수 있음은 물론이다.

우선, 특허 문헌 분류 시스템은 특허 데이터 베이스(Data base; DB)에 포함되어 있는 특허 문헌들에 대하여 기본 분류 모델을 이용해 제1 분류 기준으로 분류된 특허 문헌들의 출원일 또는 등록일로부터 소멸일까지의 제1 평균 기간을 분류별로 산출할 수 있다(S1001).

다음으로, 특허 문헌 분류 시스템은 특허 풀에 포함되어 있는 복수의 문헌들을 제1 또는 제2 분류 기준에 따라 분류하고(S1002), 복수의 특허 문헌들의 출원일 또는 등록일로부터 소멸일까지의 제2 평균 기간을 분류별로 산출할 수 있다(S1003). 여기서, 특허 풀에 포함되어 있는 복수의 문헌들은, 사용자가 현재 보유 중이거나 보유했으나 현재는 소멸된 특허 문헌에(을) 해당(포함)할 수 있다. 본 단계를 통해 특허 문헌 분류 시스템은 사용자의 기술별 평균적인 특허 소멸 기간/패턴/특징을 예측할 수 있게 된다.

마지막으로, 특허 문헌 분류 시스템은 제1 및 제2 평균 기간을 고려하여 특정 특허 문헌들의 소멸 기간을 예측할 수 있다(S1004). 여기서, 특정 특허 문헌들은, 사용자가 현재 보유 중이면서 소멸되지 않은 특허 및/또는 사용자의 입력에 따라 특정된 특허 문헌에(을) 해당(포함)할 수 있다.

특허 문헌 분류 시스템은, 소멸 기간 예측을 위해, 우선 특정 특허 문헌들을 제1 및/또는 제2 분류 기준에 따라 분류할 수 있다. 다음으로, 특허 문헌 분류 시스템은, 특정 특허 문헌들의 제1 및/또는 제2 분류 기준에 따른 분류에 따라 제1 및/또는 제2 평균 기간을 기설정된 비율로 결합하여 특정 특허 문헌들의 소멸 기간을 산출할 수 있다. 예를 들어, 제1 특정 특허 문헌이 제1 분류 기준에 따라 ‘바이오’ 분류에 속하고, ‘바이오’ 분류의 평균 존속 기간이 전체 특허 데이터 베이스에서 5년인 경우를 가정해볼 수 있다. 나아가, 제1 특정 특허 문헌이 제2 분류 기준에 따라 ‘생체 리듬’ 분류에 속하고, ‘생체 리듬’ 분류의 평균 존속 기간이 사용자 소멸 특허 내에서 10년인 경우를 가정해볼 수 있다. 제1 및 제2 분류 기준 사이의 기설정된 비율이 3:7으로 설정되어 있는 경우, 5*0.3+10*0.7=8.5라는 기간이 평가 지수로서 도출될 수 있다. 즉, 제1 특정 특허 문헌의 예상 존속 기간은 8년 6개월로 예측될 수 있다.

기설정된 비율은 다양한 실시예에 따라 자유롭게 설정/변경될 수 있으며, 사용자 맞춤형 모델이라는 측면에서는 제2 분류 기준의 비율이 제1 분류 기준보다 높게 설정될 수 있다.

도 11은 본 발명의 일 실시예에 따른 특허 소멸 권장 리스트를 예시한 도면이다.

도 11을 참조하면, 특허 문헌 분류 시스템은 특정 특허 문헌별 예측한 소멸 기간을 평가 지수(1120)로 리스트업하여 특허 소멸 권장 리스트(1110)에 포함시켜 출력할 수 있다.

특허 소멸 권장 리스트(1110)가 출력되는 시점은, 소멸 예측 시점으로부터 기설정된 시점 이전(예를 들어, 6개월 또는 1년 전)으로 설정될 수 있으며, 사용자에 의해 자유롭게 설정 가능하다.

사용자는 이러한 특허 소멸 권장 리스트(1110)를 통해 현재 보유하고 있는 특허권의 소멸 기간을 예측할 수 있으며, 권리를 유지시킬 것인지 소멸시킬 것인지를 미리 판단하여 각 특허권의 존속 기간을 효율적으로 관리할 수 있다.

도 12는 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 블록도를 도시한 도면이다.

도 12를 참조하면, 특허 문헌 분류 시스템은 크게 웹 서버(또는 어플리케이션 서버) 및 클라이언트 기기로 구성될 수 있다.

웹 서버(또는 어플리케이션 서버)(1200)는 프로세서(1210), 메모리 유닛(1220) 및/또는 통신 유닛(1230)을 포함할 수 있으며, 클라이언트 기기(1300)는 프로세서(1240), 센서 유닛(1250), 통신 유닛(1260) 및/또는 디스플레이 유닛(1270)을 포함할 수 있다. 구성 요소 중 적어도 하나는 실시예에 따라 제외되거나 새로운 구성 요소가 포함될 수 있다. 또한, 각 유닛은 이하에서 후술하는 기능을 수행하기 위하여 하드웨어적인 회로/장치 등이 구비될 수 있으며, 하나의 칩 또는 복수의 칩으로 구현될 수 있다.

메모리 유닛(1220)은, 비디오, 오디오, 사진, 동영상, 컴퓨터 프로그램, 어플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 메모리 유닛(1220)은 플래시 메모리, HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간에 해당할 수 있다. 특히, 웹 서버(또는 어플리케이션 서버)(1200)의 메모리 유닛(1220)은 특허 데이터 베이스에 해당할 수 있으며, 전세계의 다양한 특허 문헌들이 저장되어 있을 수 있다.

통신 유닛(1230, 1260)은 적어도 하나의 통신 프로토콜을 사용하여 통신을 수행, 다양한 데이터를 송신/수신할 수 있다. 특히, 통신 유닛(1230, 1260)을 통해 클라이언트 기기(1300)에 대한 사용자 입력이 웹 서버(또는 어플리케이션 서버)(1200)로 전송될 수 있으며, 웹 서버(또는 어플리케이션 서버)(1200)의 다양한 출력/피드백 데이터/정보 역시 통신 유닛(1260)을 통해 클라이언트 기기(1300)로 전송될 수 있다.

센서 유닛(1250)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및/또는 클라이언트 기기(1300)의 환경을 센싱할 수 있다. 특히, 센서 유닛(1250)은 사용자의 다양한 입력(예를 들어, 터치/모션/선택/검색 입력 등)을 센싱하고, 센싱 결과를 프로세서로 전송할 수 있다. 일 실시예로서, 센서 유닛(1250)은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 다양한 센싱 수단 중 적어도 어느 하나를 포함할 수 있다. 상술한 센서들은 별도의 엘러먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.

디스플레이 유닛(1270)은 다양한 이미지/영상을 디스플레이할 수 있다. 특히, 클라이언트 기기(1300)의 디스플레이 유닛(1270)은 웹 서버가 제공하는 다양한 웹 페이지/UI, 어플리케이션 서버가 제공하는 다양한 어플리케이션 화면/UI 등을 디스플레이할 수 있다.

프로세서(1210, 1240)는 본 명세서에서 제안된 다양한 실시예를 적어도 하나의 다른 구성 유닛을 제어하여 수행할 수 있다. 따라서, 본 명세서에 개시된 실시예의 수행 주체는 프로세서로 대체되어 설명될 수 있다. 프로세서(1210, 1240)는 메모리 유닛(1220)에 저장된 다양한 프로그램/어플리케이션을 실행하고, 서버/기기 내부의 데이터/정보를 프로세싱할 수 있다. 프로세서(1210, 1240)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), AP(Application Processor), AP(Application Processor) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 적어도 하나 포함하여 구성될 수 있다. 프로세서는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 어플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.

도 13은 본 발명의 일 실시예에 따른 특허 문헌 분류 시스템의 블록도를 도시한 도면이다.

본 도면의 구성 요소는 도 12에 도시된 구성 요소들 중 적어도 하나를 이용하여 구현될 수 있다. 예를 들어, 로드부는 프로세서와 메모리 유닛, 폴더 생성부, 특허 문헌 표시부 및 폴더 표시부는 프로세서와 디스플레이 유닛, 저장부는 메모리 유닛에 의해 각각 구현될 수 있다.

로드부(1310)는 사용자가 요청한 적어도 하나의 특허 문헌을 로드하는 역할을 수행할 수 있다. 로드부(1310)는 각종 데이터, 명령 및/또는 정보를 저장하는 저장공간과 연결되며, 본 발명의 실시예에 따른 특허 분류 서비스 제공 방법을 제공받기 위한 하나 이상의 어플리케이션을 저장할 수 있다. 로드부(1310)는 통신 유닛을 통해 수신되거나, 사용자 입력을 통해 입력되는 각종 정보를 저장할 수도 있다.

저장부(1350)는 외부 장치로부터 전달된 데이터 등을 임시적으로 또는 비임시적으로 저장할 수 있다. 저장부(1350)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

폴더 생성부(1320)는 특허 문헌을 저장하거나 분류하기 위한 폴더를 생성하는 역할을 할 수 있다.

특허 문헌 표시부(1330)는 특허 문헌 내 구별 항목 중 적어도 하나를 정보 영역에 디스플레이하는 역할을 하며, 폴더 표시부(1340)는 폴더를 폴더 영역에 디스플레이하는 역할을 한다. 정보 영역과 폴더 영역은 분리된 영역인 것이 바람직하다.

또한, 저장부(1350)는 정보 영역 중 적어도 일부를 드래그 가능 영역으로 설정하고, 폴더 영역 중 적어도 일부를 드롭 가능 영역으로 설정하여, 사용자의 드래그 앤 드롭(drag and drop) 입력에 따라 특허 문헌을 폴더에 저장하는 역할을 한다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.

또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 본 발명은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

본 발명은 다양한 특허 검색 엔진 기술 분야 및/또는 머신 러닝 기술 분야에 적용될 수 있다.

Claims

사용자 분류 입력에 기초한 특허 문헌 분류 방법에 있어서,
특허 데이터 베이스에 저장되어 있는 특허 문헌들을 머신 러닝(Machine Learning) 기술로 학습하고, 상기 특허 문헌들간 유사도를 기반으로 제1 분류 기준을 확립하고, 상기 제1 분류 기준을 기반으로 상기 특허 문헌들을 분류하는 기본 분류 모델을 생성하는 단계;
사용자의 검색 및/또는 선택 입력에 기초하여 복수의 특허 문헌들이 포함된 특허 풀(Pool)을 생성하는 단계;
상기 사용자의 분류 입력을 수신하고, 상기 분류 입력에 따라 상기 특허 풀에 포함되어 있는 복수의 특허 문헌들을 분류하는 단계;
상기 분류된 특허 문헌들간 유사도를 기반으로 상기 사용자가 상기 복수의 특허 문헌들을 분류하는 제2 분류 기준을 예측하는 단계; 및
상기 기본 분류 모델 및 상기 제2 분류 기준을 기초로 상기 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 1 항에 있어서,
상기 기본 분류 모델 및 상기 제2 분류 기준을 기초로 상기 나머지 특허 문헌을 분류하는 단계는,
상기 제2 분류 기준을 상기 기본 분류 모델에 결합하여 사용자 맞춤형 분류 모델을 구축하는 단계; 및
상기 사용자 맞춤형 분류 모델을 이용하여 상기 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 특허 문헌들간 유사도는,
각 특허 문헌들의 패밀리 특허 문헌, 특허 분류 코드, 선행 특허 문헌, 인용 특허 문헌, 피인용 특허 문헌, 키워드 및/또는 텍스트 데이터 등을 기반으로 판단되는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 머신 러닝 기술은, RNNs(Recurrent Neural Networks), DNNs(Deep Neural Networks) 및/또는 CNNs(Convolutional Neural Networks) 기술을 포함하는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 복수의 특허 문헌들을 분류하는 단계는,
적어도 하나의 폴더를 생성하는 단계; 및
상기 복수의 특허 문헌들 중 적어도 하나의 특허 문헌이 상기 사용자의 분류 입력에 따라 상기 적어도 하나의 폴더에 저장됨으로써 분류되는 단계; 를 포함하고,
상기 사용자의 분류 입력은 상기 적어도 하나의 특허 문헌을 상기 폴더로 드래그 앤 드롭(drag and drop)하는 입력인, 특허 문헌 분류 방법.
제 5 항에 있어서,
상기 나머지 특허 문헌에 대한 자동 분류를 지시하기 위한 입력 버튼을 출력하는 단계; 를 더 포함하고,
상기 입력 버튼에 대한 상기 사용자의 입력을 수신한 경우, 상기 사용자 맞춤형 분류 모델을 이용하여 상기 나머지 특허 문헌을 분류하는 단계를 수행하는, 특허 문헌 분류 방법.
제 6 항에 있어서,
상기 나머지 특허 문헌을 분류하는 단계는,
상기 사용자 맞춤형 분류 모델을 이용해 상기 나머지 특허 문헌을 분류하여 상기 적어도 하나의 폴더에 자동 저장하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 자동 분류의 제1 정확도를 실시간으로 도출하고, 상기 제1 정확도를 실시간으로 표시하는 인디케이터를 출력하는 단계; 를 더 포함하고,
상기 제1 정확도는 상기 제2 분류 기준에 따른 분류의 개수 및/또는 상기 사용자에 의해 현재까지 분류 완료된 상기 분류별 특허 문헌의 개수를 기초로 산출되는, 특허 문헌 분류 방법.
제 8 항에 있어서,
상기 제1 분류 기준으로 분류된 특허 문헌들의 출원일 또는 등록일로부터 소멸일까지의 제1 평균 기간을 분류별로 산출하는 단계;
상기 특허 풀에 포함되어 있는 복수의 문헌들을 상기 제1 또는 제2 분류 기준에 따라 분류하고, 상기 복수의 특허 문헌들의 출원일 또는 등록일로부터 소멸일까지의 제2 평균 기간을 분류별로 산출하는 단계; 및
상기 제1 및 제2 평균 기간을 고려하여 특정 특허 문헌들의 소멸 기간을 예측하는 단계; 를 더 포함하는, 특허 문헌 분류 방법.
제 9 항에 있어서,
상기 특허 풀에 포함되어 있는 복수의 문헌들은, 상기 사용자가 보유 중이거나 보유했으나 현재 소멸된 특허를 포함하는, 특허 문헌 분류 방법.
제 10 항에 있어서,
상기 특정 특허 문헌들의 소멸 기간을 예측하는 단계는,
상기 특정 특허 문헌들을 상기 제1 및/또는 제2 분류 기준에 따라 분류하는 단계; 및
상기 특정 특허 문헌들의 상기 제1 및/또는 제2 분류 기준에 따른 분류에 따라 상기 제1 및/또는 제2 평균 기간을 기설정된 비율로 결합하여 상기 특정 특허 문헌들의 소멸 기간을 산출하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 11 항에 있어서,
상기 특정 특허 문헌들은, 상기 사용자가 현재 보유 중이면서 소멸되지 않은 특허 및/또는 상기 사용자의 입력에 따라 특정된 특허 문헌에 해당하는, 특허 문헌 분류 방법.
제 12 항에 있어서,
상기 특정 특허 문헌들에 대해 예측된 소멸 기간을 평가 지수로서 리스트업하여 출력하는 단계; 를 더 포함하는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 특허 문헌들을 머신 러닝 기술로 학습하는 단계는,
상기 특허 문헌들을 번역 엔진을 이용해 하나의 언어로 번역하고 통일된 하나의 언어로 학습하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 5 항에 있어서,
상기 적어도 하나의 폴더가 생성되어 있는 경우,
상기 사용자가 각 특허 문헌별로 상기 적어도 하나의 폴더에 바로 저장하여 분류할 수 있도록 하기 위한 바로 저장 버튼을 출력하는 단계; 를 더 포함하고,
상기 사용자의 분류 입력은 상기 바로 저장 버튼에 대한 입력인, 특허 문헌 분류 방법.
제 8 항에 있어서,
상기 기본 분류 모델의 학습에 따라, 분류 대상 특허 문헌의 총 개수(제1 인자), 분류 개수(제2 인자) 및/또는 상기 분류별 포함된 특허 문헌의 개수(제3 인자)에 따른 제2 정확도가 미리 산출되어 있는 경우,
상기 제1 정확도는,
상기 사용자가 상기 특허 풀 내에 포함시킨 상기 복수의 특허 문헌들의 개수, 상기 제2 분류 기준에 따른 분류의 개수, 및/또는 상기 분류별 포함된 특허 문헌의 개수를 상기 제1, 제2 및/또는 제3 인자로 순차적으로 적용했을 때 미리 산출되어 있는 상기 제2 정확도에 해당하는, 특허 문헌 분류 방법.
제 16 항에 있어서,
상기 인디케이터를 출력하는 단계는,
상기 제1 정확도를 상기 폴더별 및/또는 상기 특허 풀별로 산출하고, 상기 인디케이터를 상기 폴더별로 출력하는 단계; 를 포함하는, 특허 문헌 분류 방법.
제 17 항에 있어서,
상기 기본 분류 모델에서 최대 정확도가 도출되기 위한 상기 제1 내지 제3 인자가 정해져 있는 경우, 상기 제1 정확도가 상기 최대 정확도보다 낮은 경우, 상기 사용자에게 추가 분류를 가이드하기 위한 알림창을 출력하는 단계; 를 더 포함하는, 특허 문헌 분류 방법.
제 2 항에 있어서,
상기 사용자 맞춤형 분류 모델은 전이 학습(Transfer Learning) 기법을 기반으로 구축되는, 특허 문헌 분류 방법.
제 19 항에 있어서,
상기 사용자 맞춤형 분류 모델은,
상기 전이 학습(Transfer Learning) 기법에 따라 상기 기본 분류 모델을 convolutional base로서 고정한 후, 상기 제2 분류 기준을 classifer로서 새로 학습하여 상기 사용자 맞춤형 분류 모델을 구축하는, 특허 문헌 분류 방법.
제 5 항에 있어서,
상기 폴더별 사용자 등급 설정 및/또는 키워드 설정을 위한 설정 UI(User Interface)를 출력하는 단계; 를 더 포함하는, 특허 문헌 분류 방법.
제 1 항에 있어서,
상기 제2 분류 기준을 예측하는 단계는,
상기 분류된 특허 문헌들간의 기술적 거리를 상기 기본 분류 모델을 기초로 산출하고, 상기 기술적 거리를 기반으로 상기 제2 분류 기준을 예측하는 단계; 를 포함하고,
상기 나머지 특허 문헌을 분류하는 단계는,
상기 기본 분류 모델을 기초로 예측된 상기 제2 분류 기준을 기초로 상기 나머지 특허 문헌을 분류하는 단계; 를 포함하는, 특허 문헌 분류 방법.
사용자 분류 입력에 기초하여 특허 문헌을 분류하는 웹 서버에 있어서,
데이터를 저장하는, 메모리 유닛;
적어도 하나의 통신 프로토콜을 이용하여 통신을 수행하는, 통신 유닛; 및
상기 메모리 유닛 및 상기 통신 유닛을 제어하는, 프로세서; 를 포함하고,
상기 프로세서는,
특허 데이터 베이스에 저장되어 있는 특허 문헌들을 머신 러닝(Machine Learning) 기술로 학습하고, 상기 특허 문헌들간 유사도를 기반으로 제1 분류 기준을 확립하고, 상기 제1 분류 기준을 기반으로 상기 특허 문헌들을 분류하는 기본 분류 모델을 생성하고,
사용자의 검색 및/또는 선택 입력에 기초하여 복수의 특허 문헌들이 포함된 특허 풀(Pool)을 생성하고,
상기 사용자의 분류 입력을 수신하고, 상기 분류 입력에 따라 상기 특허 풀에 포함되어 있는 복수의 특허 문헌들을 분류하고,
상기 분류된 특허 문헌들간 유사도를 기반으로 상기 사용자가 상기 복수의 특허 문헌들을 분류하는 제2 분류 기준을 예측하고,
상기 기본 분류 모델 및 상기 제2 분류 기준을 기초로 상기 특허 풀에서 아직 분류되지 않은 나머지 특허 문헌을 분류하는, 웹 서버.