KR20230081294A - 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 - Google Patents

신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230081294A
KR20230081294A KR1020210169220A KR20210169220A KR20230081294A KR 20230081294 A KR20230081294 A KR 20230081294A KR 1020210169220 A KR1020210169220 A KR 1020210169220A KR 20210169220 A KR20210169220 A KR 20210169220A KR 20230081294 A KR20230081294 A KR 20230081294A
Authority
KR
South Korea
Prior art keywords
neural network
learning
data
input data
key
Prior art date
Application number
KR1020210169220A
Other languages
English (en)
Inventor
정원경
문현석
박찬준
손준영
이설화
이정우
임희석
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020210169220A priority Critical patent/KR20230081294A/ko
Priority to PCT/KR2022/019082 priority patent/WO2023101364A1/ko
Publication of KR20230081294A publication Critical patent/KR20230081294A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

실시 예에 따른 신경망의 학습 방법은 제1 입력 데이터를 기반으로 제1 신경망을 학습시키는 단계; 상기 제1 신경망의 학습 결과에 따른 상기 제1 신경망의 파라미터 값을 적용하여, 제2 입력 데이터를 기반으로 제2 신경망을 학습시키는 단계; 및 상기 제1 신경망의 파라미터 값을 적용하여, 제3 입력 데이터를 기반으로 제3 신경망을 학습시키는 단계를 포함하고, 상기 제1 입력 데이터는, 특허 도메인의 문서를 포함하고, 상기 제2 입력 데이터는, 복수의 특허 문서 및 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하며, 상기 제3 입력 데이터는, 복수의 핵심 문장 및 상기 복수의 핵심 문장에 각각 대응되는 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함한다.

Description

신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램{LEARNING METHOD OF NEURAL NETWORK, ARTIFICIAL INTELLIGENCE DEVICE AND COMPUTER PROGRAM STORED IN COMPUTER-READABLE MEDIUM}
실시 예는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 관한 것이다.
특허는 지적 재산권(IP)을 보호하는 요소로, 경영, 경제, 컴퓨터 공학, 기계 공학 등 대부분의 학문에서 적용되는 제도이다. 이는 지적 재산을 침해받지 않을 권리를 부여함으로써 발명가들에게 발명품의 경제적 가치에 대한 독점권을 부여하고, 이를 통해 새로운 기술과 아이디어를 공개하도록 동기를 부여한다. 기술의 발전에 따라 최근 다양한 분야에서 많은 특허가 등록되고 있다.
여기에서, 특허 등록은 명시한 청구 사항이 선행기술에 비해 새롭고 창의적인 주제를 가졌다고 판단되는 경우에만 허가될 수 있다. 이에 따라, 특허 출원서 작성의 초기 단계에서 청구 범위를 작성하기 위해서 피상적인 선행 특허 분석을 하는 것이 필수적이다.
선행 특허 분석은 발명자가 보호받고자 하는 발명의 범위를 명시한 청구항이 기존에 등록된 다른 특허의 범위를 침해하는지를 분석하는 과정이다. 하지만, 이러한 선행특허 분석은 많은 양의 인간 노동(Human labor)과 전문적인 지식을 요구하는 작업이다. 즉, 선행 특허 분석 과정은 데이터 수집, 정보 검색 및 기술 이해 등을 포함하며, 이를 위해서 복합 분야에 대한 지식이 요구된다.
이뿐 아니라, 분석하고자 하는 특허 문서는 내용이 많으면서, 기술적이고 법률적인 특허 도메인 특정 용어를 포함하고 있다. 이에 따라, 일반적으로 특허 문서를 분석하기 위해서는 높은 수준의 인적 자원, 시간 및 비용이 요구된다. 이는 특허 처리 및 분석 과정에 활용할 수 있는 어시스턴트 툴(assistant tool)의 필요성을 보여준다. 구체적으로, 시간 및 비용 관점에서의 어려움 및 한계점들을 효과적으로 경감시킬 수 있는 특허 문서의 분석을 자동화할 수 있는 기술 개발의 시급함 및 중요성을 보여준다.
실시 예에서는 특허 문서를 자동으로 분석할 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 실시 예에서는 특허 문서의 분석 정확도를 높일 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 실시 예에서는 특허 문서를 분석하는데 특화된 신경망 모델을 이용하여 특허 분석 성능을 높일 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 실시 예에서는 특허 문서의 요약 섹션이나 청구 범위 섹션이 아닌 기술적인 세부 내용을 포함하는 상세한 설명 섹션을 자동 분석할 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 실시 예에서는 요약 알고리즘을 이용하여 특허 문서를 요약하여, 신경망 모델의 학습 효율 및 추론 효율을 높일 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다,
또한, 실시 예에서는 특허 문서 분석에 특화된 신경망 모델을 이용하여 특허 문서에 포함된 핵심 문장 및 핵심 명사구를 자동으로 제공해줄 수 있는
또한, 실시 예에서는 특허 문서에 포함된 단어가 아닌 상기 특허 문서 내의 핵심 문장을 함축적으로 표현한 핵심 명사구를 제공해줄 수 있는 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예에 따른 신경망의 학습 방법은 제1 입력 데이터를 기반으로 제1 신경망을 학습시키는 단계; 상기 제1 신경망의 학습 결과에 따른 상기 제1 신경망의 파라미터 값을 적용하여, 제2 입력 데이터를 기반으로 제2 신경망을 학습시키는 단계; 및 상기 제1 신경망의 파라미터 값을 적용하여, 제3 입력 데이터를 기반으로 제3 신경망을 학습시키는 단계를 포함하고, 상기 제1 입력 데이터는, 특허 도메인의 문서를 포함하고, 상기 제2 입력 데이터는, 복수의 특허 문서 및 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하며, 상기 제3 입력 데이터는, 복수의 핵심 문장 및 상기 복수의 핵심 문장에 각각 대응되는 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함한다.
또한, 상기 제1 신경망을 학습시키는 단계는, 상기 특허 도메인의 문서를 이용하여 복수의 말뭉치를 획득하는 단계를 포함하고, 상기 복수의 말뭉치를 이용하여 상기 제1 신경망을 학습시키는 단계를 포함한다.
또한, 상기 제2 신경망을 학습시키는 단계는, 상기 제1 신경망의 파라미터 값을 상기 제2 신경망의 파라미터 값의 초기 값으로 적용하는 단계와, 상기 제2 입력 데이터를 토대로 학습을 진행하여, 상기 제2 신경망의 파라미터 값을 업데이트하는 단계를 포함한다.
또한, 상기 제2 신경망을 학습시키는 단계는, 상기 제2 입력 데이터를 업스케일링하는 단계를 포함하고, 상기 업스케일링하는 단계는, 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 복사하는 단계; 및 상기 복사한 레이블 데이터를 각각의 특허 문서의 제1 레이블 데이터로 추가하는 단계를 포함한다.
또한, 상기 제3 신경망을 학습시키는 단계는, 상기 제1 신경망의 파라미터 값을 상기 제3 신경망의 파라미터 값의 초기 값으로 적용하는 단계와, 상기 제3 입력 데이터를 토대로 학습을 진행하여, 상기 제3 신경망의 파라미터 값을 업데이트하는 단계를 포함한다.
또한, 상기 제2 신경망을 학습시키는 단계는, 상기 제2 입력 데이터에 포함된 복수의 특허 문서를 각각 요약한 요약 데이터를 획득하는 단계를 포함한다.
또한, 상기 제1 신경망을 학습시키는 단계는, 일반 도메인의 문서에서 학습된 신경망의 파라미터 값을 상기 특허 도메인의 문서에 대응하는 파라미터 값으로 변경하는 단계를 포함한다.
또한, 상기 제1 내지 제3 신경망은 DNN(Deep learning Neural Network)를 포함한다.
또한, 상기 제1 내지 제3 신경망의 모델 구조는 서로 동일하다.
또한, 상기 제1 내지 제3 신경망의 모델 구조는 T5 모델을 포함한다.
한편, 실시 예에 따른 인공 지능 장치는 특허 문서에 포함된 핵심 문장을 추출하는 제1 신경망; 및 상기 제1 신경망을 통해 추출된 핵심 문장에서 핵심 명사구를 추출하는 제2 신경망을 포함하고, 상기 제1 신경망의 파라미터 값은, 특허 도메인의 문서를 처리하기 위해 학습된 학습 신경망의 파라미터 값이 초기값으로 적용된 상태에서, 제1 입력 데이터를 기준으로 학습되어 업데이트되고, 상기 제2 신경망의 파라미터 값은, 상기 학습 신경망의 파라미터 값이 초기값으로 적용된 상태에서, 제2 입력 데이터를 기준으로 학습되어 업데이트되며, 상기 제1 입력 데이터는, 복수의 특허 문서 및 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하고, 상기 제2 입력 데이터는, 복수의 핵심 문장 및 상기 복수의 핵심 문장에 각각 대응되는 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함한다.
또한, 상기 제1 신경망은 상기 특허 문서를 요약한 요약 데이터로부터 상기 핵심 문장을 추출한다.
실시 예에서는 일반 도메인의 문서에서 학습된 제1 신경망에 대해, 이를 특허 도메인의 문서에서 특화된 모델로 업데이트한다. 이는, 상기 특허 도메인의 문서에는 일반 도메인의 문서에 포함되지 않은 전문적인 용어 등이 포함되어 있으며, 일반 도메인의 문서에서 학습된 제1 신경망을 이용하여 특허 문서를 분석하는 경우, 이에 대한 학습 정확도나 추론 정확도가 낮아질 수 있다. 이에 따라, 실시 예에서는 특허 도메인의 문서를 가지고, 이에 맞게 상기 신경망의 파라미터 값을 업데이트한다. 이를 통해 실시 예에서는 특허 문서의 학습 정확도 및 이의 추론 정확도를 높일 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
또한, 실시 예에서는 특허 문서 내에서 핵심 문장을 추출하는데 사용되는 제2 신경망의 학습을 진행한다. 이때 실시 예에서는 제2 신경망(420)의 학습을 위하여, 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위를 가지고 학습을 진행하지 않고, 상기 특허 문서를 요약한 요약 데이터를 이용하여 상기 제2 신경망(420)을 학습한다. 실시 예에서는 실험을 통해 상기 요약 데이터를 가지고 상기 제2 신경망(420)을 학습하는 경우, 상기 특허 문서 내에 포함된 문장의 개수를 효과적으로 감소시킴으로써, 학습 효율을 높일 수 있다. 나아가, 실시 예에서는 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위의 내용 중 제2 신경망(420)의 학습에 악영향을 주는 내용을 일차적으로 필터링함으로써, 상기 제2 신경망(420)의 추가적인 성능 향상을 도모할 수 있도록 한다.
그리고 실시 예에서는 상기와 같은 문장 요약을 통해 문서 내에서 불필요한 데이터를 효과적으로 줄일 수 있으며, 중요 문장이 최대한 포함되도록 최소한의 비율을 설정한 후, 이후 제2 신경망(420)의 학습을 진행함에 따라 상기 제2 신경망(420)의 학습 시간을 효율적으로 감소시킬 수 있다.
또한, 실시 예에서는 상기 제2 신경망(420)의 파라미터 값의 초기값으로 상기 제1 신경망(410)에서 획득한 파라미터 값을 적용한다. 바람직하게, 실시 예에서는 상기 제2 신경망(420)의 학습을 위해, 상기 제1 신경망(410)의 최종 업데이트된 파라미터 값을 추출하고, 이를 상기 제2 신경망(420)의 파라미터 값의 초기 값으로 적용한다. 그리고, 실시 예는 상기 제1 신경망(410)의 파라미터 값을 초기 값으로 상기 제2 신경망(420)의 파라미터 값을 적용함으로써, 상기 제2 신경망(420)에서 특허 도메인의 문서를 분석하는데 특화된 학습을 보다 효율적으로 진행할 수 있도록 하며, 이에 따른 학습 정확도나 학습 시간을 획기적으로 줄일 수 있도록 한다.
또한, 실시 예에서는 특허 문서의 핵심 문장에서 핵심 명사구를 추출하는데 사용되는 제3 신경망의 학습을 진행한다 .
이때, 실시 예에서는 제3 신경망(430)에 대해, 문장 추출 방식이 아닌 생성 방식을 적용한다. 예를 들어, 실시 예에서는 상기 제3 입력 데이터에 포함된 핵심 문장 내의 일부 단어가 그대로 이의 레이블 데이터인 핵심 명사구에 포함되는 것이 아니라, 상기 핵심 명사구는 상기 핵심 문장 내에 포함되지 않은 새로운 단어를 포함하도록 한다. 이를 통해, 실시 예에서는 보다 유연하게 해당 핵심 문장에서의 핵심 명사구를 생™E알 수 있다. 이는, 핵심 명사구를 문장 내에서 찾는 것이 아닌, 전체 문장의 내용을 바탕으로 이를 포괄할 수 있도록 새롭게 생성하도록 한다. 이를 통해 실시 예에서는 기준 핵심 명사구와 의미적으로 유사한 방향으로 핵심 명사구를 생성하도록 하며, 이를 통해 추출 방식에 비해 에러율이 낮은 장점을 가질 수 있다. 이와 같이 실시 예에서는 핵심 문장 내에 포함된 일부 단어를 핵심 명사구로 추출하는 추출 방식 대비, 의미적으로 더욱 풍부하면서 전체적인 문서 내용을 함축적으로 표현한 핵심 명사구를 생성할 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
도 1은 실시 예에 따른 인공 지능 시스템을 나타낸 도면이고, 도 2는 도 1의 인공 지능 장치의 일 예의 블록도이다.
도 3은 실시 예에 따른 신경망의 구조를 나타낸 도면이다.
도 4는 실시 예에 따른 제1 신경망의 학습 과정을 설명하기 위한 도면이다.
도 5는 실시 예에 따른 제2 신경망의 학습 과정을 설명하기 위한 도면이다.
도 6은 실시 예에 따른 제3 신경망의 학습 과정을 설명하기 위한 도면이다.
도 7은 실시 예에 따른 추론 방법을 단계별로 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예를 상세하게 설명하면 다음과 같다.
도 1은 실시 예에 따른 인공 지능 시스템을 나타낸 도면이고, 도 2는 도 1의 인공 지능 장치의 일 예의 블록도이다. 여기에서, 인공 지능 시스템은 특허 문서를 분석하기 위하여, 딥러닝을 통한 학습을 진행하고, 상기 학습 결과를 토대로 입력 데이터(예를 들어, 분석하고자 하는 특허 문서)의 분석을 진행하는 특허 문서 분석 시스템이라고도 할 수 있다. 나아가, 상기 인공 지능 시스템은 특허 도메인에 특화된 학습을 진행한다. 그리고 상기 인공 지능 시스템은 상기 학습 결과를 반영하여 특허 문서에서 핵심 문장을 추출하고, 상기 추출한 핵심 문장으로부터 핵심 명사구를 추출하는 특허 문서의 핵심 정보 추출 시스템이라고도 할 수 있다.
이하에서는 도 1을 참조하여, 실시 예에 따른 인공 지능 시스템에 대해 간략하게 설명하기로 한다.
실시 예의 인공 지능 시스템은 전자 디바이스(100), 데이터 베이스(200) 및 인공지능 장치(300)를 포함한다.
전자 디바이스(100)는 사용자 단말기라고 할 수 있다. 전자 디바이스(100)는 실시 예의 특허 문서 분석 기능을 제공하는 애플리케이션 또는 웹 사이트 등에 접속할 수 있다. 상기 전자 디바이스(100)는 상기 접속한 애플리케이션 또는 웹 사이트에서 분석하고자 하는 대상에 대한 정보를 입력할 수 있다.
이때, 상기 분석 대상 정보는 특허 문서의 번호(예를 들어, 출원 번호, 등록 번호 및 공개 번호 중 적어도 하나)일 수 있다. 이와 다르게, 상기 분석 대상 정보는 특정 기술 분야의 특허 문서를 검색하기 위한 검색 키워드일 수 있다. 이와 다르게, 사용자는 상기 전자 디바이스(100)를 통해 분석하고자 하는 특정 특허 문서를 상기 분석 대상 정보로 입력할 수도 있다.
상기 전자 디바이스(100)는 네트워크를 통해 애플리케이션이나 웹 사이트에 접속 가능한 모든 단말기를 포함할 수 있다.
예를 들어, 상기 전자 디바이스(100)는 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(headmounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 전자 디바이스(100)는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 전자 디바이스(100)는 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
데이터 베이스(200)는 상기 전자 디바이스(100) 또는 인공지능 장치(300)와 네트워크를 통해 연결될 수 있다.
상기 데이터 베이스(200)는 상기 분석 대상 정보를 수신하고, 상기 분석 대상 정보에 대응하는 특허 문서를 상기 인공지능 장치(300) 또는 전자 디바이스(100)에 전달할 수 있다.
일 예로, 상기 데이터 베이스(200)는 상기 전자 디바이스(100)로부터 상기 분석 대상 정보를 수신할 수 있다. 이를 위해, 상기 전자 디바이스(100)에 입력된 분석 대상 정보는 네트워크를 통해 상기 데이터 베이스(200)에 제공될 수 있다. 그리고, 상기 데이터 베이스(200)는 상기 수신한 분석 대상 정보에 대응하는 특허 문서를 검색하고, 상기 검색된 특허 문서를 상기 전자 디바이스(100) 및 상기 인공지능 장치(300) 중 어느 하나로 전달할 수 있다.
다른 일 예로, 상기 데이터 베이스(200)는 상기 인공지능 장치(300)로부터 분석 대상 정보를 수신할 수 있다. 이를 위해, 상기 전자 디바이스(100)에 입력된 분석 대상 정보는 네트워크를 통해 상기 인공지능 장치(300)로 제공될 수 있다. 그리고, 상기 인공지능 장치(300)는 네트워크를 통해 상기 데이터 베이스(200)에 접속하여, 상기 분석 대상 정보에 대응하는 특허 문서를 제공받을 수 있다.
상기 데이터 베이스(200)는 적어도 하나의 데이터 베이스를 포함하며, 이에 따라 기출원된 다수의 특허 문서들을 저장할 수 있다.
바람직하게, 상기 데이터 베이스(200)는 복수의 데이터 베이스를 포함할 수 있다. 예를 들어, 상기 데이터 베이스(200)는 제1 내지 제N 데이터 베이스를 포함할 수 있다.
그리고, 상기 제1 데이터 베이스는 대한민국 특허청(Korea Intellectual Property Office; KIPO)에 의해 운영되거나 대한민국 특허청으로부터 용역을 받은 자에 의해 운영되는 데이터베이스일 수 있다. 그리고, 제1 데이터 베이스는 대한민국 특허청을 수리관청으로 하여 출원된 특허 문서를 저장하고 있을 수 있다.
예를 들어, 상기 제2 데이터 베이스는 미합중국 특허상표청(United States Patents and Trademark Office; USPTO)에 의해 운영되거나 미합중국 특허상표청으로부터 용역을 받은 자에 의해 운영되는 데이터베이스일 수 있다. 그리고, 제2 데이터 베이스는 미합중국 특허상표청을 수리관청으로 하여 출원된 특허 문서를 저장하고 있을 수 있다.
상기 제3 데이터 베이스는 유럽 특허청(European Patent Office; EPO)에 의해 운영되거나 유럽 특허청으로부터 용역을 받은 자에 의해 운영되는 데이터베이스일 수 있다. 그리고 제3 데이터 베이스는 유럽특허청을 수리관청으로 하여 출원된 특허 문서를 저장하고 있을 수 있다.
상기 제4 데이터 베이스는 일본 특허청(Japan Patent Office; JPO)에 의해 운영되거나 유럽 특허청으로부터 용역을 받은 자에 의해 운영되는 데이터베이스일 수 있다. 그리고 제4 데이터 베이스는 일본특허청을 수리관청으로 하여 출원된 특허 문서를 저장하고 있을 수 있다.
이 이외에도, 데이터 베이스(200)는 중국, 대만, 독일, 영국, 프랑스, 인도, 캐나다, 호주, 싱가포르, 멕시코 및 이 이외의 기타 국가의 특허청을 수리관청으로 하여 출원된 특허 문서를 저장하는 데이터베이스를 더 포함할 수 있다.
여기에서, 본 발명의 권리 범위가 상기 데이터 베이스(200)가 구성하는 데이터베이스의 개수나 종류에 의해 제한되는 것이 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 자명하다.
인공지능 장치(300)는 상기 데이터 베이스(200) 또는 상기 전자 디바이스(100)로부터 특허 문서를 제공받고, 상기 제공받은 특허 문서를 분석하여 핵심 특징을 추출하는 동작을 수행할 수 있다.
예를 들어, 인공지능 장치(300)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나, 상기 학습된 인공 신경망을 이용하여 특허 문서를 분석하는 동작을 수행하는 장치를 의미할 수 있다.
상기 인공지능 장치(300)는 복수의 인공 신경망을 저장한다. 예를 들어, 상기 인공지능 장치(300)는 제1 내지 제3 인공 신경망을 저장할 수 있다. 그리고 상기 인공지능 장치(300)는 입력 데이터를 기준으로 상기 제1 내지 제3 인공 신경망을 딥 러닝 시킬 수 있다. 그리고 상기 인공지능 장치(300)는 상기 딥 러닝된 제1 내지 제3 인공 신경망을 이용하여 추론 동작을 수행하여, 상기 제공받은 특허 문서에 포함된 핵심 문장 및 핵심 명사구를 추출하는 동작을 수행할 수 있다.
이에 따라, 상기 인공지능 장치(300)는 상기 복수의 인공 신경망을 포함하고, 상기 복수의 인공 신경망을 실행시켜 입력 데이터에 따라 상기 각각의 인공 신경망을 학습시키며, 상기 특허 문서 및 상기 학습된 인공 신경망을 이용하여 상기 특허 문서에 포함된 핵심 문장 및 핵심 명사구를 추출하는 일련의 동작을 수행하는 컴퓨팅 장치라고도 할 수 있다.
상기 인공지능 장치(300)는 통신부(310), 메모리(320) 및 프로세서(330)를 포함할 수 있다.
상기 통신부(310)는 상기 전자 디바이스(100) 및 상기 데이터 베이스(200) 중 적어도 하나와 통신을 수행하여 입력 데이터를 수신할 수 있다. 이때, 상기 입력 데이터는 학습을 위한 입력 데이터일 수 있고, 이와 다르게 추론을 위한 입력 데이터일 수 있다. 상기 인공지능 장치(300)의 학습 동작 및 추론 동작에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
상기 통신부(310)는 무선 데이터 통신 방식으로 상기 전자 디바이스(100) 또는 데이터 베이스(200)와 통신을 수행할 수 있다. 무선 데이터 통신 방식으로는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)을 이용할 수 있다.
또한, 상기 통신부(310)는 무선 인터넷 기술을 이용하여 상기 전자 디바이스(100) 및 상기 데이터 베이스(200) 중 어느 하나와 통신할 수 있다. 예를 들어, 무선 인터넷 기술로는 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.
또한, 상기 통신부(310)는 근거리 통신(Short range communication)을 이용하여 전자 디바이스(100) 및 상기 데이터 베이스(200) 중 어느 하나와 통신을 할 수 있으며, 예를 들어, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
메모리(320)는 모델 저장부(321)를 포함할 수 있다. 예를 들어, 상기 메모리(320)는 프로세서(330)를 통해 현재 학습 중인 또는 학습이 완료된 모델(또는 인공 신경망(321a)을 저장할 수 있다. 이러한 메모리(320)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 상기 인공지능 장치(300)는 인터넷(internet) 상에서 메모리(320)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
프로세서(330)는 상기 인공지능 장치(300)의 전반적인 동작을 제어할 수 있다. 상기 프로세서(330)는 상기 설명한 각각의 구성요소들을 통해 입력 또는 출력되는 신호, 데이터 및 정보 등을 처리하거나, 상기 메모리(320)에 저장된 응용 프로그램을 구동하여 상기 전자 디바이스(100)에 특정 정보를 제공하거나, 상기 전자 디바이스(100)에서 실행한 특정 기능을 제공할 수 있다.
상기 프로세서(330)는 하나 이상의 코어로 구성될 수 있으며, 이는 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥 러닝을 위한 프로세서를 포함할 수 있다. 프로세서(330)는 메모리(320)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 특정 특허 문서 내에 포함된 핵심 문장 및 핵심 명사구를 추출할 수 있다.
실시 예에서, 상기 프로세서(330)는 제1 내지 제3 인공 신경망에 대해 별개의 과정을 거쳐 학습을 진행할 수 있다. 이때, 상기 프로세서(330)는 상기 제1 내지 제3 인공 신경망에 입력되는 데이터를 요약하는 요약 알고리즘을 사용할 수 있다. 상기 요약 알고리즘은 TextRank 알고리즘을 포함할 수 있으나, 이에 한정되는 것은 아니다. 상기 TextRank 알고리즘은 워드 그래프 또는 문장 그래프를 구축한 후, 그래프 랭킹 알고리즘인 PageRank를 이용하여 특허 문서를 요약할 수 있다.
상기 프로세서(330)는 상기 제1 내지 제3 인공 신경망의 학습을 위한 계산을 수행할 수 있다. 예를 들어, 상기 프로세서(330)는 딥 러닝(deep learning)을 통해, 상기 제1 내지 제3 인공 신경망에서의 학습을 위한 입력 데이터 처리 및 loss function 계산 등을 통해 신경망의 가중치 또는 파라미터를 업데이트 하는 등의 학습을 위한 일련의 동작을 수행할 수 있다.
또한, 상기 프로세서(330)는 상기 가중치/파라미터가 업데이트된 또는 학습된 신경망을 이용하여 추론 동작을 수행할 수 있다. 예를 들어, 상기 프로세서(330)는 분석 대상 정보에 대응하는 특허 문서를 입력 데이터로 하고, 그에 따라 상기 메모리(320)에 저장된 학습된 인공 신경망을 실행시킬 수 있다. 이를 통해, 상기 프로세서(330)는 상기 특허 문서에 포함된 핵심 문장 및 핵심 명사구의 추출이 이루어지도록 한다. 또한, 상기 프로세서(330)는 상기 핵심 명사구 및 추출이 이루어지면, 이에 대한 정보를 상기 통신부(310)를 통해 상기 전자 디바이스(100)로 제공할 수 있다.
이하에서는 상기 인공지능 장치(300)에 대해 보다 구체적으로 설명하기로 한다.
본원의 인공지능 장치(300)의 설명에 앞서, 인공 지능에 대해 설명하면 다음과 같다. 인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다. 인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력 값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 히든층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수 값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수(loss function)를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 예를 들어, 실시 예에서의 인공지능 장치(300)는 상기 제1 내지 제3 인공 신경망의 각각의 손실 함수를 최소화하는 파라미터를 결정하는 학습 동작을 수행할 수 있다. 그리고 상기 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 그리고, 실시 예에서는 딥 러닝을 통해 신경망을 학습시키고, 이의 학습 결과를 이용하여 추론을 진행하도록 할 수 있다.
한편, 실시 예에서의 딥 러닝 뉴럴 네트워크(DNN: deep learning neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 실시 예에서 사용하는 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.
한편, 본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 그리고 데이터 구조는 신경망을 포함할 수 있다. 그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다. 신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다. 즉 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다. 전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다. 또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다.
한편, 데이터 구조는 신경망에 입력되는 데이터를 포함할 수 있다. 신경망에 입력되는 데이터를 포함하는 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망에 입력되는 데이터는 신경망 학습 과정에서 입력되는 학습 데이터 및/또는 학습이 완료된 신경망에 입력되는 입력 데이터를 포함할 수 있다. 신경망에 입력되는 데이터는 전처리(pre-processing)를 거친 데이터 및/또는 전처리 대상이 되는 데이터를 포함할 수 있다. 전처리는 데이터를 신경망에 입력시키기 위한 데이터 처리 과정을 포함할 수 있다. 따라서 데이터 구조는 전처리 대상이 되는 데이터 및 전처리로 발생되는 데이터를 포함할 수 있다. 전술한 데이터 구조는 예시일 뿐 본 개시는 이에 제한 되지 않는다. 데이터 구조는 신경망의 가중치를 포함할 수 있다. 상기 신경망의 가중치는 파라미터를 의미한다. 그리고 신경망의 가중치를 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망은 복수 개의 가중치를 포함할 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해 학습을 통해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 파라미터에 기초하여 출력 노드 값을 결정할 수 있다.
또한, 가중치는 신경망 학습 과정에서 가변되는 가중치 및/또는 신경망 학습이 완료된 가중치를 포함할 수 있다. 신경망 학습 과정에서 가변되는 가중치는 학습 사이클이 시작되는 시점의 가중치 및/또는 학습 사이클 동안 가변되는 가중치를 포함할 수 있다. 신경망 학습이 완료된 가중치는 학습 사이클이 완료된 가중치를 포함할 수 있다. 따라서 신경망의 가중치를 포함한 데이터 구조는 신경망 학습 과정에서 가변되는 가중치 및/또는 신경망 학습이 완료된 가중치를 포함한 데이터 구조를 포함할 수 있다. 그러므로 상술한 가중치 및/또는 각 가중치의 조합은 신경망의 가중치를 포함한 데이터 구조에 포함되는 것으로 한다.
신경망의 가중치를 포함한 데이터 구조는 직렬화(serialization) 과정을 거친 후 컴퓨터 판독가능 저장 매체(예를 들어, 메모리, 하드 디스크)에 저장될 수 있다. 직렬화는 데이터 구조를 동일하거나 다른 컴퓨팅 장치에 저장하고 나중에 다시 재구성하여 사용할 수 있는 형태로 변환하는 과정일 수 있다. 컴퓨팅 장치는 데이터 구조를 직렬화하여 네트워크를 통해 데이터를 송수신할 수 있다. 직렬화된 신경망의 가중치를 포함한 데이터 구조는 역직렬화(deserialization)를 통해 동일한 컴퓨팅 장치 또는 다른 컴퓨팅 장치에서 재구성될 수 있다. 신경망의 가중치를 포함한 데이터 구조는 직렬화에 한정되는 것은 아니다. 나아가 신경망의 가중치를 포함한 데이터 구조는 컴퓨팅 장치의 자원을 최소한으로 사용하면서 연산의 효율을 높이기 위한 데이터 구조(예를 들어, 비선형 데이터 구조에서 B-Tree, Trie, m-way search tree, AVL tree, Red-Black Tree)를 포함할 수 있다.
이하에서는 실시 예에 따른 신경망의 학습 및 추론 동작에 대해 구체적으로 설명한다.
도 3은 실시 예에 따른 신경망의 구조를 나타낸 도면이다.
도 3을 참조하면, 실시 예에서의 신경망(400)은 제1 내지 제3 신경망(410, 420, 430)을 포함할 수 있다. 이때, 상기 제1 내지 제3 신경망(410, 420, 430)은 입력 데이터에 따라 딥 러닝되어 학습될 수 있다. 그리고 최종 학습된 제1 내지 제3 신경망(410, 420, 430) 중 적어도 하나는 특허 문서의 분석을 위하여, 입력 데이터에 대한 결과값을 추론해내는데 사용될 수 있다.
상기 설명한 바와 같이, 실시 예에서의 상기 제1 내지 제3 신경망(410, 420, 430)은 딥 러닝 신경망일 수 있다. 구체적으로, 상기 제1 내지 제3 신경망(410, 420, 430)은 특허 문서의 분석을 위하여, 자연어 처리를 위한 인공지능 모듈을 포함할 수 있다. 일 예로, 상기 제1 내지 제3 신경망(410, 420, 430)은 T5 모델일 수 있다. 다만, 실시 예에서 상기 제1 내지 제3 신경망(410, 420, 430)을 구성하는 모델의 종류는 'T5'에 한정되지 않으며, 자연어 처리를 위한 인공지능 모델 중 다른 모델을 이용할 수도 있을 것이다.
이를 통해, 실시 예에서의 학습 과정은, 제1 신경망(410)을 학습시키는 제2 과정, 제2 신경망(420)을 학습시키는 제2 과정 및 제3 신경망(430)을 학습시키는 제3 과정을 포함할 수 있다. 이때, 상기 제1 내지 제3 과정은 각각 시간적인 차이를 가지고, 순차적으로 진행될 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 제1 내지 제3 과정 중 적어도 2개의 과정은 동일 시점에 동시에 수행될 수 있다.
바람직하게, 실시 예에서, 상기 제1 신경망(410)을 학습시키는 제1 과정이 우선적으로 진행될 수 있다. 그리고 실시 예에서는 상기 제1 과정의 학습 결과값을 이용하여, 상기 제2 신경망(420)을 학습시키는 제2 과정과, 상기 제3 신경망(430)을 학습시키는 제3 과정을 동시에 진행할 수 있다.
이때, 상기 제1 과정은 상기 제1 신경망(410)에 대해, 특허 문서에 특화된 학습을 진행하는 과정을 의미할 수 있다. 예를 들어, 상기 제1 과정은 신경망의 파라미터 또는 가중치를 특허 문서 분석을 위해 특화된 상태로 업데이트하기 위한 학습 과정을 의미할 수 있다.
상기 제2 과정은 상기 제2 신경망(420)에 대해, 특허 문서에서 핵심 문장을 추출하도록 하는 학습 과정을 의미할 수 있다. 예를 들어, 상기 제2 과정은 특허 문서의 전체 범위 내에 포함된 내용 중 핵심이 되는 핵심 문장을 추출 또는 추론하도록 상기 제2 신경망(420)을 학습 또는 딥 러닝 시키는 과정을 의미할 수 있다.
상기 제3 과정은 상기 제3 신경망(430)에 대해, 특허 문서에 포함된 핵심 문장에서 핵심 명사구를 추출 또는 추론하도록 하는 학습 과정을 의미할 수 있다. 예를 들어, 상기 제3 과정은 특허 문서에 포함된 핵심 문장에서 핵심 명사구를 추출 또는 추론하도록 상기 제3 신경망(430)을 학습 또는 딥 러닝 시키는 과정을 의미할 수 있다.
이하에서는 상기 제1 내지 제3 과정을 통해 상기 제1 신경망(410), 제2 신경망(420) 및 상기 제3 신경망(430)을 각각 학습 또는 딥 러닝하는 과정에 대해 구체적으로 설명하기로 한다.
도 4는 실시 예에 따른 제1 신경망의 학습 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 실시 예에서는 우선적으로 일반적인 자연어 처리를 위한 모델의 신경망을 이용하고, 상기 일반 신경망을 특허 문서를 처리하는데 특화된 상태로 업데이트하기 위한 딥 러닝 또는 학습 과정을 진행한다.
이때, 상기 제1 과정은 상기 제2 신경망(420) 및 제3 신경망(430)을 학습 또는 딥 러닝 시키기 위한 전처리 과정이라고 할 수 있다.
상기 제1 신경망(410)의 인공지능 모델은 상기 제2 신경망(420)의 인공지능 모델 및 제3 신경망(430)의 인공 지능 모델과 동일하다. 그리고 상기 제1 신경망(410)을 학습 또는 딥러닝 시키는 상기 제1 과정은 상기 제2 신경망(420) 및 제3 신경망(430)의 학습 정확도를 높이면서, 추후 추론 과정에서의 추론 정확도를 높이기 위한 것일 수 있다.
이때, 실시 예에서의 상기 제2 신경망(420)에는 핵심 문장을 판단하고, 상기 핵심 문장을 추출하는 작업이 요구되고, 상기 제3 신경망(430)은 상기 핵심 문장 내에서 핵심을 의미하는 새로운 자연어를 생성하는 작업이 요구된다. 구체적으로, 실시 예에서의 상기 제2 신경망(420) 및 제3 신경망(430)은 자연어 이해 및 자연어 생성에 대한 학습 및 추론을 진행할 수 있어야 한다.
이를 위해, 실시 예에서의 상기 제2 신경망(420) 및 제3 신경망(430)의 모델 구조의 베이스 라인은 자연어 이해와 자연어 생성에서 모두 높은 성능을 가지는 T5 모델 구조를 활용할 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 제2 신경망(420) 및 제3 신경망(430)은 T5 모델 구조 이외의, 자연어 생성 및 자연어 이해에서 높은 성능을 가진 다른 모델 구조를 활용할 수도 있을 것이다.
한편, 상기 설명한 바와 같이, 상기 제1 신경망(410)의 모델 구조는 상기 제2 신경망(420) 및 상기 제3 신경망(430)의 모델 구조와 동일할 수 있다.
다만, 학습 과정에서의, 상기 제1 신경망(410)에 입력되는 입력 데이터와 상기 제1 신경망(410)의 학습 방법은 상기 제2 신경망(420) 및 제3 신경망(430)에 각각 입력되는 입력 데이터 및 학습 방법과 다를 수 있다.
이때, 실시 예에서는 상기 제1 신경망(410)을 학습 또는 딥 러닝 시키는 제1 과정 없이, 바로 상기 제2 신경망(420) 및 제3 신경망(430)을 학습 또는 딥 러닝 시키는 과정을 진행할 수 있다. 즉, 상기 제1 신경망(410)의 학습 과정은, 상기 제2 신경망(420) 및 제3 신경망(430)의 학습 정확도 및 추론 정확도를 높이기 위한 과정이라고 할 수 있다.
상기 제1 과정은 일반 도메인을 통해 학습된 모델을 네트워크 함수의 기본 값(예를 들어, 파라미터 값 또는 가중치 값)으로 설정한 상태에서, 입력 데이터에 대해 상기 제1 신경망(410)의 학습을 진행하도록 할 수 있다.
이를 위해, 상기 제1 과정의 시작 단계로, 상기 제1 신경망(410)에 제1 입력 데이터를 입력한다(S110). 상기 제1 입력 데이터는 전자 디바이스(100)에서 제공될 수 있고, 이와 다르게 상기 데이터 베이스(200)에서 제공될 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 제1 입력 데이터는 인공지능 장치(300)의 내부에 저장된 데이터를 활용할 수도 있다.
상기 제1 입력 데이터는 특허 도메인의 특정 데이터일 수 있다. 예를 들어, 상기 제1 입력 데이터는 제1 신경망(410)의 학습을 위한 특정 특허 문서일 수 있다.
이때, 실시 예에서는 상기 제1 입력 데이터 내에서, 특정 범위의 부분 문서를 이용하여 상기 제1 신경망(410)의 학습을 진행하는 것이 아니라, 상기 제1 입력 데이터의 전체 범위의 내용을 이용하여 상기 제1 신경망(410)의 학습을 진행한다.
예를 들어, 상기 제1 입력 데이터는 특허 도메인의 특허 문서이다. 그리고 상기 특허 도메인의 문서는 복수의 식별 항목으로 구분된다. 예를 들어, 특허 도메인의 문서는 배경 기술 항목, 상세한 설명 항목, 요약 항목, 청구항 항목 등으로 구분된다. 그리고 일반적인 특허 문서 분석 시스템에서는, 특허 도메인의 문서가 가지는 길고 불필요한 노이즈 내용이 많음에 따라, 상기 식별 항목 중에서 청구항 항목이나 요약 항목에 초점을 두고 분석을 진행한다. 그러나 일반적인 특허 도메인의 문서에는 상세한 설명 항목에 중요한 내용이 대부분 포함되어 있다. 이에 따라, 특정 특허 도메인의 문서에서, 상기 상세한 설명 항목을 중심으로 분석이 이루어지지 않는 경우, 해당 문서의 정확한 분석 결과를 얻기 어렵다.
이에 따라, 실시 예에서는 상기 제1 신경망(410)의 학습을 진행하기 위해, 특허 도메인의 문서에서 특정 범위의 내용만을 참조하는 것이 아니라, 전체적인 범위의 내용(특히, 상세한 설명 항목의 내용)을 참조하여 상기 제1 신경망(410)의 학습을 진행하도록 한다.
이때, 상기 특허 도메인의 문서에는 일반 도메인의 문서에 포함되지 않는 전문 용어들이 다수 포함되어 있다. 이에 따라, 일반 도메인의 문서를 이용하여 학습된 모델의 신경망을 적용하여, 상기 특허 도메인 문서를 바로 분석하는 경우, 상대적으로 낮은 학습도 및 추론도를 가질 수 있다.
이에 따라, 실시 예에서는 상기 제1 과정을 통해 특허 도메인 분서를 분석하기에 특화된 모델 구조로 상기 제1 신경망(410)의 파라미터 값이나 가중치를 업데이트한다.
한편, 상기 제1 신경망(410)의 학습 과정에서, 상기 제1 입력 데이터가 입력되면, 실시 예에서는 상기 제1 입력 데이터를 처리하는 과정을 진행할 수 있다. 바람직하게, 실시 예에서는 상기 제1 입력 데이터에서, 특허 도메인의 문서에서 사용되는 말뭉치를 생성 또는 추출하는 과정을 진행할 수 있다(S120). 여기에서, 상기 말뭉치(corpus)는 자연어 처리 기술에서 응용 솔루션에 기반이 되는 텍스트를 컴퓨터가 읽을 수 있는 형태로 모아 놓은 언어 자료를 의미할 수 있다. 상기 말뭉치는 말모듬이나 글모듬 등으로도 표현될 수 있다. 실시 예에서는 상기 제1 입력 데이터를 바로 이용하여 상기 제1 신경망(410)의 학습을 진행하지 않고, 상기 제1 입력 데이터로부터 특허 도메인의 문서에 대응하는 말뭉치를 획득하고, 상기 말뭉치를 이용하여 상기 제1 신경망(410)의 학습을 진행한다. 이때, 상기 말뭉치는 양이 많을 수록 상기 제1 신경망(410)에서 인식 또는 이해될 수 있는 자연어의 정확도가 높이지며, 이에 따른 학습 정확도 및 추론 정확도를 높일 수 있다.
다음으로, 실시 예에서는 상기 제1 입력 데이터(바람직하게, 특허 도메인의 문서에서 획득한 말뭉치)를 이용하여 상기 제1 신경망(410)의 학습을 진행한다(S130).
이때, 상기 제1 신경망(410)의 학습은 비지도 학습 방법을 통해 진행될 수 있다. 바람직하게, 실시 예에서는 상기 제1 신경망(410)의 학습을 진행하기 위해, 상기 제1 입력 데이터에 레이블 데이터(예를 들어, 정답 데이터)를 포함하지 않는 상태에서, 상기 제1 입력 데이터를 이용한 학습을 진행한다.
상기 제1 신경망(410)의 학습 방법에 대해 간략히 설명하면 다음과 같다. 상기 제1 신경망(410)은 상기 제1 입력 데이터에서 일부분을 마스킹하고, 그에 따라 상기 제1 신경망(410)에서 상기 마스킹한 부분의 내용을 정확히 생성하는지에 따른 손실 함수를 기반으로 학습을 진행할 수 있다.
즉, 상기 제1 신경망(410)의 학습 과정을 보다 구체적으로 살펴보면, 상기 제1 입력 데이터는 레이블되지 않은 데이터일 수 있고, 이를
Figure pat00001
라 할 수 있다.
그리고, 실시 예에서는 상기
Figure pat00002
에서 일부분의 단어인
Figure pat00003
를 스페셜 토큰(special token)인
Figure pat00004
로 치환하고, 해당 과정을 통해 corrupted sentence X'가 생정될 수 있다.
그리고, 상기 제1 신경망(410)의 학습 과정으로, 상기 제1 신경망(410)은 상기 X'를 입력으로 받아, 상기 치환된 단어의 세트(예를 들어, span set)인
Figure pat00005
들을 자기 회귀(auto-regressive)하게 생성하는 과정을 학습할 수 있다.
여기에서,
Figure pat00006
은
Figure pat00007
에 대한 span length를 의미한다. 이를 masking span이라 정의할 때, 해당 프로세서에서 모델 θ에 대한 트레이닝 오브젝티브는 아래의 식 1과 같이 표현할 수 있다.
[식 1]
Figure pat00008
그리고, 실시 예에서는 상기 제1 신경망(410)에 대해, 해당 오브젝티브를 통해 사전 학습하는 단계에서, 여러 하위 작업들에 대해 사전학습을 동시에 진행할 수 있다. 이는, 자연어 이해 등의 모든 작업 등을 하나의 순차적인 입출력 데이터 형태로 전처리하고, 해당 데이터들을 통해 텍스트-투-텍스트(text-to-text) 형태로 신경망 모델을 학습하는 과정을 의미한다. 이를 통해, 실시 예에서는 상기 제1 과정을 통해 학습된 제1 신경망(410)과, 이후의 제2 과정 및 제3 과정을 통한 제2 신경망(420) 및 제3 신경망(430)의 학습 과정에서 일관된 트레이닝 오브젝티브를 가질 수 있도록 한다.
한편, 상기 제1 과정에서, 상기 제1 신경망(410)의 모델 θ를 통해 생성되는
Figure pat00009
는 전처리한 input sequence
Figure pat00010
에 대하여 하기의 식 2와 같이 sequence-to-sequence 기반의 자기 회귀 과정을 통해 생성될 수 있다. 여기에서, 상기 sequence-to-sequence(Seq2Seq) 학습은 특정 도메인(예를 들어, 일반 도메인)에서 다른 도메인(예를 들어, 특허 도메인)로 시퀀스(sequence)를 변환하는 모델 학습을 진행하는 것을 의미한다.
[식 2]
Figure pat00011
그리고 상기 제1 신경망(410)의 학습은, 상기 식 2를 통해 생성된 출력 시퀀스(output sequence)의 임베딩 표현(embedding representation)과, 실제의 기준 출력 시퀀스(reference output sequence) 사이의 크로스 엔트로피(cross-entropy) 손실을 최소화하는 방향으로 진행될 수 있다.
그리고 실시 예에서는 상기와 같은 과정을 통해 상기 제1 신경망(410)을 학습하는 제1 과정을 진행할 수 있다.
그리고 상기 제1 과정을 통해, 상기 제1 신경망(410)의 모델 구조는, 일반 도메인의 문서를 분석하기 위한 구조에서, 특허 도메인의 문서를 분석하기 위한 모델 구조로 변환될 수 있다.
예를 들어, 상기 제1 과정을 통해 상기 제1 신경망(410)의 파라미터 값들은 특허 도메인의 문서를 분석하기 위해 특화된 상태로 업데이트될 수 있다(S140).
한편, 실시 예에서는 상기 제1 과정을 통해 업데이트된 제1 신경망(410)의 파라미터 값들을 활용하여, 이후의 제2 신경망(420) 및 제3 신경망(430)의 학습을 진행한다.
이어서, 제2 신경망(420) 및 제3 신경망(430)의 학습을 위한 제2 과정 및 제3 과정에 대해 설명하기로 한다. 도 5는 실시 예에 따른 제2 신경망의 학습 과정을 설명하기 위한 도면이다.
이때, 상기 제2 신경망(420)을 학습하는 제2 과정 및 제3 신경망(430)을 학습하는 제3 과정은 동시에 진행될 수 있고, 이와 다르게 순차적으로 진행될 수 있다.
상기 제2 신경망(420)을 학습하는 제2 과정에 대해 설명하면 다음과 같다.
실시 예에서는 상기 제2 신경망(420)의 학습을 위해, 제2 입력 데이터를 입력할 수 있다(S210). 상기 제2 입력 데이터는 학습 진행을 위한 특허 문서와, 상기 특허 문서에서의 정답 데이터인 레이블 데이터를 포함할 수 있다.
예를 들어, 상기 제2 입력 데이터는 특허 문서 및 상기 특허 문서의 레이블 데이터가 하나의 세트로 이루어지며, 이와 같은 세트가 복수 개 포함된 형태를 가질 수 있다.
예를 들어, 상기 제2 입력 데이터는, 제1 특허 문서 및 상기 제1 특허 문서에서의 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하는 제1 데이터 세트와, 제2 특허 문서 및 상기 제2 특허 문서에서의 핵심 문장을 레이블링한 제2 레이블 데이터를 포함하는 제2 데이터 세트를 포함할 수 있다. 이때, 상기 제2 입력 데이터에서 2개의 데이터 세트를 포함하는 것으로 설명하였으나, 이에 한정되지는 않는다. 예를 들어, 상기 제2 입력 데이터는 상기 제2 신경망(420)의 학습 정확도를 높이기 위해, 3개 이상의 데이터 세트를 포함할 수 있다.
한편, 실시 예에서는 상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터를 요약한 요약 데이터를 생성하는 과정을 진행할 수 있다(S220). 구체적으로, 실시 예에서는 상기 제2 입력 데이터에 포함된 각각의 데이터 세트 중에서 특허 문서를 요약하는 과정을 진행할 수 있다. 일 예로, 실시 예에서는 요약 알고리즘을 사용하여 상기 제2 입력 데이터에 포함된 특허 문서를 요약한 요약 데이터를 획득한다. 이때, 상기 요약 알고리즘은 textRank 알고리즘을 포함할 수 있으나, 이에 한정되는 것은 아니다. 상기 TextRank 알고리즘은 워드 그래프 또는 문장 그래프를 구축한 후, 그래프 랭킹 알고리즘인 PageRank를 이용하여 특허 문서를 요약할 수 있다.
즉, 실시 예에서는 제2 신경망(420)의 학습을 위하여, 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위를 가지고 학습을 진행하지 않고, 상기 특허 문서를 요약한 요약 데이터를 이용하여 상기 제2 신경망(420)을 학습한다. 실시 예에서는 실험을 통해 상기 요약 데이터를 가지고 상기 제2 신경망(420)을 학습하는 경우, 상기 특허 문서 내에 포함된 문장의 개수를 효과적으로 감소시킴으로써, 학습 효율을 높일 수 있음을 확인할 수 있었다. 나아가, 실시 예에서는 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위의 내용 중 제2 신경망(420)의 학습에 악영향을 주는 내용을 일차적으로 필터링함으로써, 상기 제2 신경망(420)의 추가적인 성능 향상을 도모할 수 있음을 확인할 수 있다.
결론적으로, 실시 예에서는 상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터를 바로 제2 신경망(420)의 학습 데이터로 적용하지 않고, 추가적인 성능 향상과 학습 효율을 향상하기 위해, 상기 제2 신경망(420)의 학습 이전에 상기 제2 입력 데이터의 전처리를 진행한다. 그리고 실시 예에서는 상기 제2 입력 데이터에 포함된 특허 문서에서 문장의 상대적 중요도를 부여하고, 이를 이용하여 전체 문서를 요약하는 그래프 기반의 방법을 적용하여 상기 제2 입력 데이터에 포함된 특허 문서를 효율적으로 요약할 수 있다. 이때, 상기 요약 알고리즘을 통한 요약 방법론은 다음의 식 3과 같을 수 있다.
[식 3]
Figure pat00012
여기에서,
Figure pat00013
는 문장
Figure pat00014
에 대한 중요도 스코어를 의미하며, 문장들(
Figure pat00015
와
Figure pat00016
) 간의 문장 유사도를 기반으로 한 가중치를 의미한다. 그리고, 실시 예에서는 특허 문서 내에 포함된 문장들에 대한
Figure pat00017
값을 모두 구하고, 해당
Figure pat00018
값을 기준으로 문장을 정렬한 후, 문서 내에서 높은
Figure pat00019
값을 가지는 문장들을 선택하는 방식으로, 상기 제1 입력 데이터의 요약 데이터를 획득할 수 있다.
그리고 실시 예에서는 상기와 같은 문장 요약을 통해 문서 내에서 불필요한 데이터를 효과적으로 줄일 수 있으며, 중요 문장이 최대한 포함되도록 최소한의 비율을 설정한 후, 이후 제2 신경망(420)의 학습을 진행함에 따라 상기 제2 신경망(420)의 학습 시간을 효율적으로 감소시킬 수 있다.
한편, 상기 요약 데이터의 획득 시에, 과도하게 상기 특허 문서의 요약을 진행할 경우, 상기 획득된 요약 데이터 내에 레이블 데이터가 포함되지 않을 수 있다. 다시 말해서, 상기 특허 문서의 요약 결과에 따라, 상기 요약 데이터에 정답 데이터가 포함되지 않을 수 있다. 이에 따라 실시 예에서는 서로 다른 문턱 값을 이용하여 text-rank를 적용하여 요약 데이터를 획득한다. 그리고 상기 요약 데이터의 획득 결과에 따라, 요약 데이터 내에 레이블 데이터가 누락되지 않는 최소의 요약 비율을 확인하고, 이에 대응하는 문턱 값을 적용하여 상기 요약 데이터의 획득이 이루어지도록 한다.
한편, 실시 예에서는 상기 요약 알고리즘을 통해 획득된 요약 데이터 내에 레이블 데이터가 포함되는지 여부에 따라 선택적으로 해당 입력 데이터를 이용할 수 있다. 예를 들어, 요약 알고리즘을 통해 적용된 문턱 값이 낮은 경우에도, 상기 요약 데이터 내에 레이블 데이터가 누락되는 경우가 발생할 수 있다. 그리고, 이와 같은 경우에는 상기 특허 문서를 과도하게 요약하지 않았음에도, 상기 레이블 데이터가 누락되는 경우를 의미하며, 이를 가지고는 상기 제2 신경망(420)의 효율적인 학습이 이루어지지 못할 수 있다.
따라서, 실시 예에서는 상기 요약 알고리즘을 통해 요약된 요약 데이터 내에 상기 레이블 데이터가 포함되는 경우에는, 이를 상기 제2 신경망(420)의 학습을 위한 학습 데이터로 활용한다. 그리고, 상기 요약 알고리즘을 통해 요약된 요약 데이터 내에 상기 레이블 데이터가 포함되지 않는 경우에는, 이를 상기 제2 신경망(420)의 학습을 위한 학습 데이터에서 제외할 수 있다.
한편, 실시 예에서는 text-rank 알고리즘 기반으로 획득한 요약 데이터를 이용하여 학습을 진행하는 경우가, 요약되지 않은 원본 데이터로 학습을 진행한 경우보다 높은 성능을 가지는지에 대해 확인하였다.
즉, 실시 예에서는 상기 제2 신경망(420)의 학습을 위해, 요약된 요약 데이터와 요약되지 않은 원본 데이터를 각각 적용하여 학습을 진행하고, 이에 따른 학습 결과를 확인해보았다.
그리고 실시 예에서는 상기 요약 데이터로 학습을 진행한 모델의 신경망의 경우, 원본 데이터로 훈련한 모델보다 뛰어난 성능을 낼 수 있음을 확인할 수 있었다. 그리고, 이는 요약 알고리즘을 통해 각 문서 내의 문장 개수를 효과적으로 줄이고, 이에 따라 훈련 시간을 효과적으로 줄일 수 있을뿐 아니라 모델의 전체적인 성능 향상까지 이끌어낼 수 있음을 보여준다. 그리고 이를 통해 제2 신경망(420)의 학습을 위해 사용되는 컴퓨팅 파워와 GPU 자원을 효율적으로 줄일 수 있다.
다음으로, 실시 예에서는 상기 요약 데이터 및 이의 레이블 데이터가 세트로 구성된 제2 입력 데이터를 이용하여 상기 제2 신경망(420)의 학습을 진행한다.
이를 위해, 실시 예에서는 상기 제2 신경망(420)의 파라미터 값의 초기값으로 상기 제1 신경망(410)에서 획득한 파라미터 값을 적용한다(S230). 바람직하게, 실시 예에서는 상기 제2 신경망(420)의 학습을 위해, 상기 제1 신경망(410)의 최종 업데이트된 파라미터 값을 추출하고, 이를 상기 제2 신경망(420)의 파라미터 값의 초기 값으로 적용한다. 그리고, 실시 예는 상기 제1 신경망(410)의 파라미터 값을 초기 값으로 상기 제2 신경망(420)의 파라미터 값을 적용함으로써, 상기 제2 신경망(420)에서 특허 도메인의 문서를 분석하는데 특화된 학습을 보다 효율적으로 진행할 수 있도록 하며, 이에 따른 학습 정확도나 학습 시간을 획기적으로 줄일 수 있도록 한다.
이후, 실시 예에서는 상기 제1 신경망(410)의 파라미터 값을 제2 신경망(420)의 초기 파라미터 값으로 적용한 상태에서, 상기 제2 입력 데이터(바람직하게 요약된 데이터)를 이용하여 상기 제2 신경망(420)의 학습을 진행한다(S240).
이를 위해, 실시 예에서는 문장의 중요도를 정량적으로 측정하는 모델이 활용될 수 있다. 즉, 실시 예에서는 요약 데이터 및 이의 레이블 데이터를 포함하는 데이터 세트에 대해서, 특정 문장이 해당 문서 내에서 핵심 문장으로 활용되는 경우를 '1'로 레이블링하고, 핵심 문장이 아닌 경우를 '0'으로 레이블링한다. 그리고, 실시 예에서는 모델을 통해 각 문장에 대한 레이블 값을 회귀하는 과정을 학습하여 상기 제2 신경망(420)의 학습을 진행할 수 있다. 이를 위해, 상기 제2 신경망(420)은 인코더 구조의 모델을 가질 수 있다. 그리고 상기 제2 신경망(420)은 입력 문장의 인코딩을 통해 해당 문장이 중요한 문장인지(예를 들어, label=1), 아니면 중요한 문장이 아닌지(예를 들어, label=0)를 각각 0과 1 사이로 점수화시킬 수 있다. 이때, 모델의
Figure pat00020
와 해당 문장의 중요도를 판단하는
Figure pat00021
는 다음의 식 4와 같은 과정을 통해 산출될 수 있다.
[식 4]
Figure pat00022
그리고 실시 예에서는 해당 문서 내에서 실제 레이블 데이터와, 학습 과정을 통해 획득된 레이블 데이터의 크로스 엔트로피 손실을 최소화하는 방향으로 상기 제2 신경망(420)의 학습을 진행한다. 이때, 상기 제2 신경망(420)을 이용하여 특정 분석 특허 문서에 대한 핵심 문장을 추출하는 추론 단계에서는, 상기
Figure pat00023
를 판단 척도로써 활용할 수 있다.
이를 통해, 실시 예에서는 해당 문장이 특허 문서 내에서 어느 정도의 중요도를 가지는 문장인지를 확인하고, 문서 내의 각 문장들에 대해 중요도를 측정한 후, 가장 높은 중요도를 가진 N개의 문장을 선택하는 방식으로 핵심 문장 추출 학습 및 추론을 진행하도록 한다.
예를 들어, 상기 제2 신경망(420)의 학습 과정에서, 학습을 통해 획득된 출력 데이터와 상기 레이블 데이터를 비교하여, 이에 대한 손실 함수를 계산한다. 그리고, 상기 손실 함수가 기설정된 임계 값보다 큰 경우, 상기 제2 신경망(420)에 대한 재학습을 진행하도록 한다. 이와 다르게, 상기 손실 함수가 기설정된 임계 값보다 작은 경우에는 학습과정을 마치고, 이에 따라 다음 단계로 진입할 수 있다.
단, 상기 제2 신경망(420)은 추출 방식을 통해 학습이 진행된다. 이때, 추출 방식의 학습 시에는 레이블 불균형이 성능 향상에 큰 제약 조건이 될 수 있다. 이는, 특허 문서의 상세한 설명 항목의 특성 항, 전체 문서 내에 포함된 문장의 개수는 매우 많은 반면, 해당 문서에서 추출해야 하는 핵심 문장의 수는 매우 적게 구성되어 있기 때문이라고 할 수 있다. 이는, 핵심 문장이 아닌 일반 문장에 대해서는 뛰어난 분류 성능을 가지지만, 핵심 문장을 추출하는 경우에는 핵심 문장을 분류 정확도가 낮아질 수 있다. 즉, 특허 문서의 특성상, 중요도가 1인 데이터에 비해, 중요도가 0인 데이터가 상대적으로 많기 때문에, 추가적인 전처리 공정 없이 상기 제2 신경망(420)의 학습을 진행하는 경우, 학습 정확도가 낮아질 수 있다.
이에 따라, 실시 예에서는 핵심 문장 데이터에 대해 업스케일링을 진행할 수 있다. 이는, 상기 제2 신경망(420)의 학습을 진행하기 위해 사용되는 제1 요약 데이터 및 상기 제1 요약 데이터의 레이블 데이터에서, 상기 제1 요약 데이터 내에 레이블 데이터를 복수하여 추가하는 방법을 진행할 수 있다. 이를 통해, 실시 예에서는 상기 요약 데이터 내에 레이블이 1인 데이터의 빈도수와 레이블이 0인 데이터의 빈도수를 유사하게 맞춰준 상태에서 학습을 진행하도록 하고, 이에 따른 학습 정확도를 향상시킬 수 있다.
이때, 상기 업스케일링을 진행하기 위한 스케일링 값(예를 들어, 복사되는 레이블 데이터의 개수)에 대해서는, 각각의 스케일링 값을 적용한 상태에서 비교 실험을 진행하여, 최적의 스케일링 값을 획득하고, 상기 획득한 스케일링 값을 적용하도록 한다. 이를 통해, 실시 예에서는 각 문장에 대한 문서 내에서의 중요도를 판별하는 정확도를 효율적으로 향상시킬 수 있고, 이에 따른 고성능의 핵심 문장 추출을 위한 모델을 생성할 수 있다.
그리고 실시 예에서는 제2 신경망(420)의 학습 결과에 따른 파라미터 값을 업데이트시킨다(S250). 예를 들어, 실시 예에서는 상기 제2 신경망(420)의 파라미터 값의 초기값은 상기 제1 신경망(410)의 파라미터 값과 동일한 값이며, 이는 일반 도메인의 문서를 분석하기 위한 모델을 특허 도메인의 문서를 분석하기 위한 모델의 파라미터 값이다.
이에 따라, 실시 예에서는 상기와 같은 제2 신경망(420)의 학습 과정을 통해, 상기 제2 신경망(420)의 파라미터 값을 특허 문서 내에서의 핵심 문장을 추출하는 모델의 파라미터 값으로 업데이트할 수 있다.
다음으로, 제3 신경망(430)을 학습하는 제3 신경망(430)에 대해 설명하면 다음과 같다.
상기 제3 신경망(430)의 제3 과정은, 상기 제2 신경망(420)의 제2 과정과 동일 시점에 이루어질 수 있고, 이와 다르게 상기 제2 신경망(420)의 학습을 위한 제2 과정이 종료된 이후에 진행될 수 있다.
실시 예에서는 상기 제3 신경망(430)의 학습을 위해, 제3 입력 데이터를 입력할 수 있다(S310). 상기 제3 입력 데이터는 학습 진행을 위한 특허 문서 내에 포함된 핵심 문장과, 상기 핵심 문장에서의 핵심 명사구에 대한 정답 데이터인 레이블 데이터를 포함할 수 있다.
예를 들어, 상기 제3 입력 데이터는 특허 문서에 포함된 핵심 문장과, 상기 핵심 문장에 대한 레이블 데이터가 하나의 세트로 이루어지며, 이와 같은 세트가 복수 개 포함된 형태를 가질 수 있다.
예를 들어, 상기 제3 입력 데이터는, 제1 핵심문장 및 상기 제1 핵심 문장에서의 핵심 명사구를 레이블링한 제1 레이블 데이터를 포함하는 제1 데이터 세트와, 제2 핵심 문장 및 상기 제2 핵심 문장에서의 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함하는 제2 데이터 세트를 포함할 수 있다. 이때, 상기 제3 입력 데이터에서 2개의 데이터 세트를 포함하는 것으로 설명하였으나, 이에 한정되지는 않는다. 예를 들어, 상기 제3 입력 데이터는 상기 제3 신경망(430)의 학습 정확도를 높이기 위해, 3개 이상의 데이터 세트를 포함할 수 있다.
다음으로, 실시 예는 상기 제3 입력 데이터를 이용하여 상기 제3 신경망(430)의 학습을 진행할 수 있다.
이때, 실시 예에서는 상기 제2 신경망(420)의 학습을 위한 제2 과정에 대응하게, 상기 제3 신경망(430)의 파라미터 값의 초기값으로 상기 제1 신경망(410)에서 획득한 파라미터 값을 적용한다(S320). 바람직하게, 실시 예에서는 상기 제3 신경망(430)의 학습을 위해, 상기 제1 신경망(410)의 최종 업데이트된 파라미터 값을 추출하고, 이를 상기 제3 신경망(430)의 파라미터 값의 초기값으로 적용한다. 그리고, 실시 예는 상기 제1 신경망(410)의 파라미터 값을 초기값으로 상기 제3 신경망(430)의 파라미터 값을 적용함으로써, 상기 제3 신경망(430)에서 특허 도메인의 문서를 분석하는데 특화된 학습을 보다 효율적으로 진행할 수 있도록 하며, 이에 따른 학습 정확도나 학습 시간을 획기적으로 줄일 수 있도록 한다.
한편, 상기 제3 신경망(430)은 상기 제1 신경망(410)의 파라미터 값을 초기값으로 하여, 상기 제3 입력 데이터를 이용한 학습을 진행할 수 있다(S330).
이때, 상기 제3 신경망(430)의 학습은, 상기 제1 신경망(410)의 학습에 사용된 식 2와 유사한 방법을 통해 핵심 명사구를 생성하는 방식으로, 상기 제3 입력 데이터에 대해 다음의 식 5와 같은 트레이닝 오브젝티브를 통해 학습을 진행할 수 있다.
[식 5]
Figure pat00024
이는 핵심 명사구 추출을 위해 사용되는 제3 입력 데이터 내의 시퀀스들과 핵심 명사구를 각각의 하나의
Figure pat00025
로 전처리하고, 이를 sequence-to-sequence 기반으로 학습시키는 방법을 의미한다.
예를 들어, 상기 제3 신경망(430)의 학습 과정에서, 학습을 통해 획득된 출력 데이터와 상기 레이블 데이터를 비교하여, 이에 대한 손실 함수를 계산한다. 그리고, 상기 손실 함수가 기설정된 임계 값보다 큰 경우, 상기 제3 신경망(430)에 대한 재학습을 진행하도록 한다. 이와 다르게, 상기 손실 함수가 기설정된 임계 값보다 작은 경우에는 학습과정을 마치고, 이에 따라 다음 단계로 진입할 수 있다.
이때, 실시 예에서는 제3 신경망(430)에 대해, 문장 추출 방식이 아닌 생성 방식을 적용한다. 예를 들어, 실시 예에서는 상기 제3 입력 데이터에 포함된 핵심 문장 내의 일부 단어가 그대로 이의 레이블 데이터인 핵심 명사구에 포함되는 것이 아니라, 상기 핵심 명사구는 상기 핵심 문장 내에 포함되지 않은 새로운 단어를 포함하도록 한다. 이를 통해, 실시 예에서는 보다 유연하게 해당 핵심 문장에서의 핵심 명사구를 생성할 수 있다. 이는, 핵심 명사구를 문장 내에서 찾는 것이 아닌, 전체 문장의 내용을 바탕으로 이를 포괄할 수 있도록 새롭게 생성하도록 한다. 이를 통해 실시 예에서는 기준 핵심 명사구와 의미적으로 유사한 방향으로 핵심 명사구를 생성하도록 하며, 이를 통해 추출 방식에 비해 에러율이 낮은 장점을 가질 수 있다. 이와 같이 실시 예에서는 핵심 문장 내에 포함된 일부 단어를 핵심 명사구로 추출하는 추출 방식 대비, 의미적으로 더욱 풍부하면서 전체적인 문서 내용을 함축적으로 표현한 핵심 명사구를 생성할 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
이를 통해, 실시 예에서는 상기 제3 신경망(430)에 대해, 핵심 명사구가 핵심 문장 내에 포함된 일부 단어가 아닌 상기 핵심 문장의 전체 맥락을 고려한 단어를 토대로 생성되도록 할 수 있다. 예를 들어, 'breakage of the latching claw'의 명사구를 'brokenage of the latching claw' 또는 'cutage of the latching claw'과 같은 명사구로 생성할 수 있으며, 'secure the viscosity of the slurry'의 명사구를 'enhance the viscosity of the slurry'로 생성할 수 있다.
그리고 실시 예에서는 제3 신경망(430)의 학습 결과에 따른 파라미터 값을 업데이트시킨다(S340). 예를 들어, 실시 예에서는 상기 제3 신경망(430)의 파라미터 값의 초기값은 상기 제1 신경망(410)의 파라미터 값과 동일한 값이며, 이는 일반 도메인의 문서를 분석하기 위한 모델을 특허 도메인의 문서를 분석하기 위한 모델의 파라미터 값이다.
이에 따라, 실시 예에서는 상기와 같은 제3 신경망(430)의 학습 과정을 통해, 상기 제3 신경망(430)의 파라미터 값을 핵심 문장에서 핵심 명사구를 추출하는 모델의 파라미터 값으로 업데이트할 수 있다.
상기와 같은 본원의 신경망의 학습 과정을 정리하면 다음과 같다.
실시 예에서는 일반 도메인의 문서에서 학습된 제1 신경망에 대해, 이를 특허 도메인의 문서에서 특화된 모델로 업데이트한다. 이는, 상기 특허 도메인의 문서에는 일반 도메인의 문서에 포함되지 않은 전문적인 용어 등이 포함되어 있으며, 일반 도메인의 문서에서 학습된 제1 신경망을 이용하여 특허 문서를 분석하는 경우, 이에 대한 학습 정확도나 추론 정확도가 낮아질 수 있다. 이에 따라, 실시 예에서는 특허 도메인의 문서를 가지고, 이에 맞게 상기 신경망의 파라미터 값을 업데이트한다. 이를 통해 실시 예에서는 특허 문서의 학습 정확도 및 이의 추론 정확도를 높일 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
또한, 실시 예에서는 특허 문서 내에서 핵심 문장을 추출하는데 사용되는 제2 신경망의 학습을 진행한다. 이때 실시 예에서는 제2 신경망(420)의 학습을 위하여, 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위를 가지고 학습을 진행하지 않고, 상기 특허 문서를 요약한 요약 데이터를 이용하여 상기 제2 신경망(420)을 학습한다. 실시 예에서는 실험을 통해 상기 요약 데이터를 가지고 상기 제2 신경망(420)을 학습하는 경우, 상기 특허 문서 내에 포함된 문장의 개수를 효과적으로 감소시킴으로써, 학습 효율을 높일 수 있다. 나아가, 실시 예에서는 상기 제2 입력 데이터에 포함된 특허 문서의 전체 범위의 내용 중 제2 신경망(420)의 학습에 악영향을 주는 내용을 일차적으로 필터링함으로써, 상기 제2 신경망(420)의 추가적인 성능 향상을 도모할 수 있도록 한다.
그리고 실시 예에서는 상기와 같은 문장 요약을 통해 문서 내에서 불필요한 데이터를 효과적으로 줄일 수 있으며, 중요 문장이 최대한 포함되도록 최소한의 비율을 설정한 후, 이후 제2 신경망(420)의 학습을 진행함에 따라 상기 제2 신경망(420)의 학습 시간을 효율적으로 감소시킬 수 있다.
또한, 실시 예에서는 상기 제2 신경망(420)의 파라미터 값의 초기값으로 상기 제1 신경망(410)에서 획득한 파라미터 값을 적용한다. 바람직하게, 실시 예에서는 상기 제2 신경망(420)의 학습을 위해, 상기 제1 신경망(410)의 최종 업데이트된 파라미터 값을 추출하고, 이를 상기 제2 신경망(420)의 파라미터 값의 초기 값으로 적용한다. 그리고, 실시 예는 상기 제1 신경망(410)의 파라미터 값을 초기 값으로 상기 제2 신경망(420)의 파라미터 값을 적용함으로써, 상기 제2 신경망(420)에서 특허 도메인의 문서를 분석하는데 특화된 학습을 보다 효율적으로 진행할 수 있도록 하며, 이에 따른 학습 정확도나 학습 시간을 획기적으로 줄일 수 있도록 한다.
또한, 실시 예에서는 특허 문서의 핵심 문장에서 핵심 명사구를 추출하는데 사용되는 제3 신경망의 학습을 진행한다 .
이때, 실시 예에서는 제3 신경망(430)에 대해, 문장 추출 방식이 아닌 생성 방식을 적용한다. 예를 들어, 실시 예에서는 상기 제3 입력 데이터에 포함된 핵심 문장 내의 일부 단어가 그대로 이의 레이블 데이터인 핵심 명사구에 포함되는 것이 아니라, 상기 핵심 명사구는 상기 핵심 문장 내에 포함되지 않은 새로운 단어를 포함하도록 한다. 이를 통해, 실시 예에서는 보다 유연하게 해당 핵심 문장에서의 핵심 명사구를 생™E알 수 있다. 이는, 핵심 명사구를 문장 내에서 찾는 것이 아닌, 전체 문장의 내용을 바탕으로 이를 포괄할 수 있도록 새롭게 생성하도록 한다. 이를 통해 실시 예에서는 기준 핵심 명사구와 의미적으로 유사한 방향으로 핵심 명사구를 생성하도록 하며, 이를 통해 추출 방식에 비해 에러율이 낮은 장점을 가질 수 있다. 이와 같이 실시 예에서는 핵심 문장 내에 포함된 일부 단어를 핵심 명사구로 추출하는 추출 방식 대비, 의미적으로 더욱 풍부하면서 전체적인 문서 내용을 함축적으로 표현한 핵심 명사구를 생성할 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
한편, 실시 예에서는 상기 학습 과정을 통해 파라미터 값이 업데이트된 제2 신경망(420) 및 제3 신경망(430)을 이용하여, 추론 과정을 진행할 수 있다. 상기 추론 과정은 학습이 완료된 신경망을 이용하여, 사용자로부터 요청된 특정 분석 대상에 대한 분석을 진행하고, 이에 대한 추론을 진행하는 과정을 의미할 수 있다.
이때, 실시 예에서는 상기 추론을 진행하기 위해, 상기 학습이 완료된 제2 신경망(420) 및 제3 신경망(430)을 이용할 수 있으나, 이에 한정되지는 않는다. 예를 들어, 상기 제2 신경망(420) 및 제3 신경망(430)은 학습용으로 계속적인 학습을 진행하며, 이에 대응하는 파라미터 값으로 업데이트를 진행하는 동작을 수행할 수 있다. 그리고, 상기 추론 과정에서는 상기 제2 신경망(420) 및 제3 신경망(430)과 같은 학습 신경망이 아닌 별도의 신경망을 이용하여 진행될 수 있다. 이때, 학습 신경망과 추론 신경망이 별개로 구성된 경우, 상기 추론 신경망은 상기 학습 신경망으로부터 최종 업데이트된 파라미터 값을 제공받고, 이를 적용하여 분석 대상에 대한 추론을 진행할 수 있다. 다만, 상기 학습이 완료된 신경망에 대해서는, 실질적으로 추가적인 학습이 불필요하거나, 특정 상황에서만 간단한 추가적인 학습을 진행하면 된다. 이에 따라, 실시 예에서는 상기와 같이 학습 신경망과 추론 신경망을 구분하지 않고, 공용으로 사용한다.
이에 따라, 실시 예에서는 추론 과정에서 상기 제2 신경망(420)과 상기 제3 신경망(430)을 이용하여 추론을 진행할 수 있다.
도 7은 실시 예에 따른 추론 방법을 단계별로 설명하기 위한 흐름도이다.
도 7을 참조하면, 실시 예에서는 분석하고자 하는 대상에 대한 데이터를 입력받는다(S310). 이때, 상기 데이터의 입력은 다양한 방법으로 이루어질 수 있다. 예를 들어, 전자 디바이스(100)에서 분석하고자 하는 정보(예를 들어, 특허 문서의 문헌 번호)가 입력되면, 인공지능 장치(300)는 상기 데이터 베이스(200)로부터 상기 정보에 대응하는 특허 문서를 검색하고, 이를 제공받을 수 있다. 이와 다르게, 상기 전자 디바이스(100)에서 상기 인공지능 장치(300)로 상기 분석하고자 하는 대상이 되는 특허 문서가 직접 입력될 수 있다.
이와 다르게, 상기 전자 디바이스(100)에서 분석하고자 하는 정보가 상기 데이터 베이스(200)에 입력될 수 있다. 그리고, 상기 데이터 베이스(200)는 상기 입력된 정보에 대응하는 특허 문서를 상기 인공지능 장치(300)에 입력 데이터로 제공할 수 있다.
다음으로, 실시 예에서는 요약 알고리즘을 사용하여 상기 입력 데이터에 대한 요약 데이터를 획득한다(S320). 예를 들어, 실시 예에서는 상기 학습 과정에서 이용한 요약 알고리즘을 사용하여, 상기 입력 데이터의 요약 데이터를 획득할 수 있다.
다음으로, 실시 예에서는 상기 학습이 완료된 제2 신경망(420)을 이용하여, 상기 요약 데이터로부터 핵심 문장을 추출할 수 있다(S330). 그리고 상기 제2 신경망(420)은 상기 추출한 핵심 문장을 제3 신경망(430)의 입력 데이터로 출력할 수 있다.
이후, 실시 예에서는 상기 학습이 완료된 제3 신경망(430)을 이용하여, 상기 핵심 문장으로부터 핵심 명사구를 생성할 수 있다(S340).
상기 동작들은 동시에 수행될 수 있으며, 상기 수행되는 순서에 구속되지 않는다. 전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 프로세서를 포함할 수도 있다.
이상에서 실시 예들에 설명된 특징, 구조, 효과 등은 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용은 실시 예의 범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 실시 예를 한정하는 것이 아니며, 실시 예가 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 설정하는 실시 예의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 제1 입력 데이터를 기반으로 제1 신경망을 학습시키는 단계;
    상기 제1 신경망의 학습 결과에 따른 상기 제1 신경망의 파라미터 값을 적용하여, 제2 입력 데이터를 기반으로 제2 신경망을 학습시키는 단계; 및
    상기 제1 신경망의 파라미터 값을 적용하여, 제3 입력 데이터를 기반으로 제3 신경망을 학습시키는 단계를 포함하고,
    상기 제1 입력 데이터는, 특허 도메인의 문서를 포함하고,
    상기 제2 입력 데이터는, 복수의 특허 문서 및 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하며,
    상기 제3 입력 데이터는, 복수의 핵심 문장 및 상기 복수의 핵심 문장에 각각 대응되는 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함하는,
    신경망의 학습 방법.
  2. 제1항에 있어서,
    상기 제1 신경망을 학습시키는 단계는,
    상기 특허 도메인의 문서를 이용하여 복수의 말뭉치를 획득하는 단계를 포함하고,
    상기 복수의 말뭉치를 이용하여 상기 제1 신경망을 학습시키는 단계를 포함하는,
    신경망의 학습 방법.
  3. 제1항에 있어서,
    상기 제2 신경망을 학습시키는 단계는,
    상기 제1 신경망의 파라미터 값을 상기 제2 신경망의 파라미터 값의 초기 값으로 적용하는 단계와,
    상기 제2 입력 데이터를 토대로 학습을 진행하여, 상기 제2 신경망의 파라미터 값을 업데이트하는 단계를 포함하는,
    신경망의 학습 방법.
  4. 제1항에 있어서,
    상기 제2 신경망을 학습시키는 단계는,
    상기 제2 입력 데이터를 업스케일링하는 단계를 포함하고,
    상기 업스케일링하는 단계는,
    상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 복사하는 단계; 및
    상기 복사한 레이블 데이터를 각각의 특허 문서의 제1 레이블 데이터로 추가하는 단계를 포함하는,
    신경망의 학습 방법.
  5. 제1항에 있어서,
    상기 제3 신경망을 학습시키는 단계는,
    상기 제1 신경망의 파라미터 값을 상기 제3 신경망의 파라미터 값의 초기 값으로 적용하는 단계와,
    상기 제3 입력 데이터를 토대로 학습을 진행하여, 상기 제3 신경망의 파라미터 값을 업데이트하는 단계를 포함하는,
    신경망의 학습 방법.
  6. 제1항에 있어서,
    상기 제2 신경망을 학습시키는 단계는,
    상기 제2 입력 데이터에 포함된 복수의 특허 문서를 각각 요약한 요약 데이터를 획득하는 단계를 포함하는,
    신경망의 학습 방법.
  7. 제1항에 있어서,
    상기 제1 신경망을 학습시키는 단계는,
    일반 도메인의 문서에서 학습된 신경망의 파라미터 값을 상기 특허 도메인의 문서에 대응하는 파라미터 값으로 변경하는 단계를 포함하는,
    신경망의 학습 방법.
  8. 제1항에 있어서,
    상기 제1 내지 제3 신경망은 DNN(Deep learning Neural Network)를 포함하는,
    신경망의 학습 방법.
  9. 제8항에 있어서,
    상기 제1 내지 제3 신경망의 모델 구조는 서로 동일한,
    신경망의 학습 방법.
  10. 제9항에 있어서,
    상기 제1 내지 제3 신경망의 모델 구조는 T5 모델을 포함하는,
    신경망의 학습 방법.
  11. 특허 문서에 포함된 핵심 문장을 추출하는 제1 신경망; 및
    상기 제1 신경망을 통해 추출된 핵심 문장에서 핵심 명사구를 추출하는 제2 신경망을 포함하고,
    상기 제1 신경망의 파라미터 값은,
    특허 도메인의 문서를 처리하기 위해 학습된 학습 신경망의 파라미터 값이 초기값으로 적용된 상태에서, 제1 입력 데이터를 기준으로 학습되어 업데이트되고,
    상기 제2 신경망의 파라미터 값은,
    상기 학습 신경망의 파라미터 값이 초기값으로 적용된 상태에서, 제2 입력 데이터를 기준으로 학습되어 업데이트되며,
    상기 제1 입력 데이터는, 복수의 특허 문서 및 상기 복수의 특허 문서의 각각에 대응하는 핵심 문장을 레이블링한 제1 레이블 데이터를 포함하고,
    상기 제2 입력 데이터는, 복수의 핵심 문장 및 상기 복수의 핵심 문장에 각각 대응되는 핵심 명사구를 레이블링한 제2 레이블 데이터를 포함하는,
    인공 지능 장치.
  12. 제11항에 있어서,
    상기 제1 신경망은 상기 특허 문서를 요약한 요약 데이터로부터 상기 핵심 문장을 추출하는,
    인공 지능 장치.
  13. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 상기 하나 이상의 프로세서에 의해 청구항 제1항 내지 제10항 중 어느 한 항에 기재된 동작들을 수행하는,
    컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
  14. 제13항에 있어서,
    외부로부터 분석 대상의 특허 문서가 입력되면,
    상기 학습된 제2 신경망을 이용하여 상기 분석 대상의 특허 문서로부터 핵심 문장을 추출하는 동작과,
    상기 학습된 제3 신경망을 이용하여 상기 제2 신경망에서 추출한 핵심 문장으로부터 핵심 명사구를 추출하는 동작을 더 수행하는,
    컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
KR1020210169220A 2021-11-30 2021-11-30 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 KR20230081294A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210169220A KR20230081294A (ko) 2021-11-30 2021-11-30 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램
PCT/KR2022/019082 WO2023101364A1 (ko) 2021-11-30 2022-11-29 신경망의 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210169220A KR20230081294A (ko) 2021-11-30 2021-11-30 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20230081294A true KR20230081294A (ko) 2023-06-07

Family

ID=86612663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169220A KR20230081294A (ko) 2021-11-30 2021-11-30 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR20230081294A (ko)
WO (1) WO2023101364A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713443B1 (en) * 2017-06-05 2020-07-14 Specifio, Inc. Machine learning model for computer-generated patent applications to provide support for individual claim features in a specification
KR102069341B1 (ko) * 2017-02-22 2020-01-22 빈닷컴 주식회사 전자 문서 검색 방법 및 그 서버
KR102225822B1 (ko) * 2018-11-26 2021-03-10 국민대학교산학협력단 인공지능 수행을 위한 학습 데이터 생성장치 및 방법
KR20200106108A (ko) * 2019-02-25 2020-09-11 이진원 딥러닝 기반의 특허정보 워드임베딩 방법 및 그 시스템
JP2022528273A (ja) * 2019-03-29 2022-06-09 ワート インテリジェンス カンパニー，リミテッド 機械学習基盤のユーザーカスタマイズ型の特許文献自動分類方法、装置及びシステム

Also Published As

Publication number Publication date
WO2023101364A1 (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US11526673B2 (en) Named entity disambiguation using entity distance in a knowledge graph
RU2678716C1 (ru) Использование автоэнкодеров для обучения классификаторов текстов на естественном языке
CN110969020B (zh) 基于cnn和注意力机制的中文命名实体识别方法、系统及介质
US11521713B2 (en) System and method for generating clinical trial protocol design document with selection of patient and investigator
CN112288075B (zh) 一种数据处理方法及相关设备
CN112507699B (zh) 一种基于图卷积网络的远程监督关系抽取方法
CN113095415B (zh) 一种基于多模态注意力机制的跨模态哈希方法及系统
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN113593661B (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN111881292B (zh) 一种文本分类方法及装置
CN113128622B (zh) 基于语义-标签多粒度注意力的多标签分类方法及系统
Li et al. Integrating language model and reading control gate in BLSTM-CRF for biomedical named entity recognition
Wu et al. Expert-defined keywords improve interpretability of retinal image captioning
CN116384371A (zh) 一种基于bert和依存句法联合实体及关系抽取方法
CN110889505A (zh) 一种图文序列匹配的跨媒体综合推理方法和系统
Mahapatra et al. MRMR-SSA: a hybrid approach for optimal feature selection
Sui et al. Trigger-gnn: a trigger-based graph neural network for nested named entity recognition
CN113254602A (zh) 面向科技政策领域的知识图谱构建方法及系统
CN116720519B (zh) 一种苗医药命名实体识别方法
CN113761188A (zh) 文本标签确定方法、装置、计算机设备和存储介质
Zhou et al. Disambiguating named entities with deep supervised learning via crowd labels
Hsu et al. Recurrent neural network encoder with attention for community question answering
KR20230081294A (ko) 신경망의 학습 방법, 인공지능 장치 및 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램
CN117033649A (zh) 文本处理模型的训练方法、装置、电子设备及存储介质
Priyanka et al. DeepSkillNER: an automatic screening and ranking of resumes using hybrid deep learning and enhanced spectral clustering approach