KR102639320B1 - 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 - Google Patents
연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 Download PDFInfo
- Publication number
- KR102639320B1 KR102639320B1 KR1020230034347A KR20230034347A KR102639320B1 KR 102639320 B1 KR102639320 B1 KR 102639320B1 KR 1020230034347 A KR1020230034347 A KR 1020230034347A KR 20230034347 A KR20230034347 A KR 20230034347A KR 102639320 B1 KR102639320 B1 KR 102639320B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- text
- unit
- research
- electronic
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 70
- 238000013519 translation Methods 0.000 title claims abstract description 30
- 238000011017 operating method Methods 0.000 title 1
- 238000011160 research Methods 0.000 claims abstract description 161
- 238000012015 optical character recognition Methods 0.000 claims abstract description 33
- 238000002474 experimental method Methods 0.000 claims abstract description 4
- 239000000463 material Substances 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 20
- 239000000284 extract Substances 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 16
- 239000004816 latex Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000012827 research and development Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법을 제공한다. 일 예로, 본 발명에 따른 전자 연구 노트 플랫폼은, OCR (Optical Character Recognition) 인공 지능 (artificial intelligence; AI) 모델을 이용하여, 입력 이미지로부터 텍스트, 수학식, 기호, 단위, 도형 이미지를 식별하는, 광학 문자 인식부; ASR (Automatic Speech Recognition) AI 모델을 이용하여, 입력 음성 데이터로부터 텍스트 정보를 식별하는, 음성 인식부; 요약 AI 모델을 이용하여, 사용자에 의해 선택된 텍스트 내용을 하나의 문장으로 정리하여 상기 사용자에게 제공하는, 텍스트 요약부; 번역 AI 모델을 이용하여, 상기 사용자에 의해 선택된 텍스트 내용을 상기 사용자에 의해 선택된 언어로 번역하여 상기 사용자에게 제공하는, 텍스트 번역부; 연구 보조 AI 모델을 이용하여, 연구 실험에 대한 센서 데이터를 자동적으로 취합하여 정리하고 이에 따른 결과를 상기 사용자에게 제공하는, 연구 보조 지원부; 상기 사용자에게 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 제공하고, 상기 입력 도구에 기반한 상기 사용자의 입력에 따라 상기 광학 문자 인식부, 상기 음성 인식부, 상기 텍스트 요약부, 상기 텍스트 번역부, 상기 연구 보조 지원부 중 적어도 하나 이상을 통해 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성하는, 전자 연구 노트 생성부; 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트에 포함된 연구 컨텐츠를 문단 단위로 분석하여 상기 사용자에 의해 미리 설정된 복수의 카테고리들 중 하나의 카테고리로 분류하고, 상기 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하여 유사도가 일정 이상인 특허 및 논문을 검색하고, 상기 검색된 특허에 기초하여 획득된 주요 출원인 관련 정보 및 상기 검색된 논문에 기초하여 획득된 주요 저자 관련 정보를 포함한 분석 리포트를 상기 사용자에게 제공하는, 컨텐츠 자동 분류 및 기술 문서 분석부; 및 상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트 및 상기 컨텐츠 자동 분류 및 기술 문서 분석부를 통해 생성된 분석 리포트에 대한 전자 결재 및 보안 인증 서비스를 제공하는, 서비스 제공부를 포함한다.
Description
본 발명은 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법에 관한 것이다. 보다 상세하게는, 본 발명은 인공지능 자동 인식 기술 뿐만 아니라 자동 요약 및 번역, 연구 보조 기능을 제공하며, 전자 연구 노트에 대한 분석을 통해 관련 특허 및 논문 정보를 제공할 수 있는 전자 연구 노트 플랫폼 및 이의 동작 방법에 관한 것이다.
과학기술정보통신부 장관은 연구개발과제를 수행하는 연구자 및 연구기관장이 연구수행의 시작부터 연구개발결과물의 보고/발표 또는 지식재산권의 확보 등에 이르기까지의 연구과정 및 연구 성과를 기록한 연구노트를 작성하여 관리할 수 있게 필요한 지침을 마련하도록 명시하였다. 이에, 연구노트 지침이 제정되어 현재는 '국가연구개발사업 연구노트 지침'이 시행 중이다.
이러한 연구노트의 주된 목적은 연구개발과제를 수행하는 연구자의 연구 활동이 어느 시점에 어디까지 진행되고 있는가를 증명하는데 있다. 이러한 연구노트의 특성상, 연구 노트는 일정한 요건을 준수하여 작성되는 것을 필요로 한다. 특히, 미처 연구 노트를 작성하지 못한 상황에서 특허 분쟁, 지적재산권 보호 등이 이슈화됨에 따라, 전자 연구 노트의 필요성이 증가하고 있다.
이에 따라, 연구 노트를 전자적으로 작성하여 관리할 수 있는 다양한 전자 연구 노트 시스템이 개발되었다. 다만, 연구 개발이 앞서 진행되었던 연구 개발에 연속하여 진행되는 경우가 많아, 특정 연구 개발에 대해 기존 수기로 작성하던 연구 노트와 전자적으로 작성한 연구 노트가 공존하는 경우가 많아지고 있다. 이때, 기존의 전자 연구 노트 시스템을 이용하는 연구자들은 이전 수기로 작성된 연구 노트를 전자 연구 노트로 옮기기 위해 별도로 다시 입력해야 하는 문제점이 있었으며, 뿐만 아니라 새로운 연구 노트 작성 시에도 기존의 자료를 기존과는 다른 방식으로 입력하여야 하는 문제점이 있었다.
뿐만 아니라, 기존의 전자 연구 노트 시스템은 단순 텍스트 입력만 가능하여 이를 이용하는 많은 연구자들은 연구 내용을 다양한 방식으로 기록하는데 많은 어려움을 겪고 있으며, 기존의 전자 연구 노트 시스템은 단순히 이미지 스캔 기능만을 제공하여 이를 이용하는 많은 연구자들은 스캔된 이미지 파일을 그대로 사용해야만 하는 문제점이 있었다.
본 발명의 목적은 상술한 종래의 문제점을 해결하기 위한 것으로서, 인공지능 모델에 기반한 자동 인식, 요약, 번역 및 연구 보조 등 전자 연구 노트 작성에 도움이 되는 다양한 기능을 제공함과 동시에 작성된 전자 연구 노트와 관련된 특허 및 논문을 포함한 기술 문서에 대한 분석 리포트를 제공할 수 있는 전자 연구 노트 플랫폼 및 해당 플랫폼의 동작 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 전자 연구 노트 플랫폼은 OCR (Optical Character Recognition) 인공 지능 (artificial intelligence; AI) 모델을 이용하여, 입력 이미지로부터 텍스트, 수학식, 기호, 단위, 도형 이미지를 식별하는, 광학 문자 인식부; ASR (Automatic Speech Recognition) AI 모델을 이용하여, 입력 음성 데이터로부터 텍스트 정보를 식별하는, 음성 인식부; 요약 AI 모델을 이용하여, 사용자에 의해 선택된 텍스트 내용을 하나의 문장으로 정리하여 상기 사용자에게 제공하는, 텍스트 요약부; 번역 AI 모델을 이용하여, 상기 사용자에 의해 선택된 텍스트 내용을 상기 사용자에 의해 선택된 언어로 번역하여 상기 사용자에게 제공하는, 텍스트 번역부; 연구 보조 AI 모델을 이용하여, 연구 실험에 대한 센서 데이터를 자동적으로 취합하여 정리하고 이에 따른 결과를 상기 사용자에게 제공하는, 연구 보조 지원부; 상기 사용자에게 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 제공하고, 상기 입력 도구에 기반한 상기 사용자의 입력에 따라 상기 광학 문자 인식부, 상기 음성 인식부, 상기 텍스트 요약부, 상기 텍스트 번역부, 상기 연구 보조 지원부 중 적어도 하나 이상을 통해 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성하는, 전자 연구 노트 생성부; 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트에 포함된 연구 컨텐츠를 문단 단위로 분석하여 상기 사용자에 의해 미리 설정된 복수의 카테고리들- 상기 사용자에 의해 미리 설정된 복수의 카테고리들은 아이디어 컨셉, 실험 데이터, 선행 자료 및 회의록을 포함함-중 하나의 카테고리로 분류하고, 상기 사용자에 의해 선택된 카테고리- 상기 사용자에 의해 선택된 카테고리는 상기 아이디어 컨셉 또는 상기 실험 데이터임-에 대해 주요 키워드를 추출하여 유사도가 일정 이상인 특허를 검색하고, 상기 검색된 특허에 기초하여 획득된 주요 출원인 관련 정보 - 상기 주요 출원인 관련 정보는 유사도가 일정 이상으로 검색된 특허 내에 일정 개수 이상의 특허가 포함된 하나 이상의 출원인과 관련된 정보이며, 상기 하나 이상의 출원인과 관련된 정보는,상기 유사도가 일정 이상으로 검색된 특허 중, 상기 하나 이상의 출원인이 출원한 특허의 출원연도 정보, 및 상기 하나 이상의 출원인 별로 유사도가 가장 높게 판단된 특허 리스트 정보를 포함함- 및 상기 검색된 논문에 기초하여 획득된 주요 저자 관련 정보를 포함한 분석 리포트를 상기 사용자에게 제공하는, 컨텐츠 자동 분류 및 기술 문서 분석부; 및 상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트 및 상기 컨텐츠 자동 분류 및 기술 문서 분석부를 통해 생성된 분석 리포트에 대한 전자 결재 및 보안 인증 서비스를 제공하는, 서비스 제공부를 포함할 수 있다.
상기 컨텐츠 자동 분류 및 기술 문서 분석부는상기 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 상기 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하는 단계; 상기 추출된 주요 키워드에 기초하여, 독립 청구항을 기준으로 유사도가 일정 이상인 특허를 검색하는 단계; 상기 유사도가 미리 설정한 문턱값 이상인 특허의 개수가 미리 정한 범위 이상인 경우에 최다출원인을 자동으로 선정하는 단계;상기 최다출원인의 특허명세서에서 독립항을 추출한 후 연구노트와 유사도를 분석하는 단계; 및 상기 독립항의 유사도가 미리 설정한 범위 이상인 경우에 알람을 제공하는 단계를 포함하여 사용자에게 주요 출원인 관련 정보를 제공할 수 있다.
상기 컨텐츠 자동 분류 및 기술 문서 분석부는상기 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 상기 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하는 단계; 상기 추출된 주요 키워드에 기초하여, 독립 청구항을 기준으로 유사도가 일정 이상인 특허를 검색하는 단계; 상기 유사도가 미리 설정한 문턱값 이상인 특허의 개수가 미리 정한 범위 이상인 경우에 최다출원인을 자동으로 선정하는 단계;상기 최다출원인의 특허명세서에서 독립항을 추출한 후 연구노트와 유사도를 분석하는 단계; 및 상기 독립항의 유사도가 미리 설정한 범위 이상인 경우에 알람을 제공하는 단계를 포함하여 사용자에게 주요 출원인 관련 정보를 제공할 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명에 따르면, 사용자 또는 연구자는 종래와 달리 OCR AI 모델을 통해 식별된 이미지 파일을 수정할 수 있고, 텍스트, 수식, 도면 이미지 등도 함께 변경할 수 있다.
또한, 본 발명에 따르면, 사용자 또는 연구자는 연구 자료 작성을 위해 선택된 텍스트 문장에 대한 번역 및/또는 요약 기능을 제공 받을 수 있고, 음성 입력을 통해 연구 노트 및/또는 회의록을 작성할 수도 있다. 이를 통해, 상기 사용자 또는 연구자는 종래 대비 손쉽게 전자 연구 노트를 작성할 수 있을 뿐만 아니라 연구자료들을 체계적으로 관리할 수 있다.
뿐만 아니라, 본 발명에 따르면, 사용자 또는 연구자는 작성 중인 또는 작성 완료된 전자 연구 노트에 대한 유사 특허 및/또는 논문 정보를 손쉽게 획득할 수 있고, 이를 활용하여 추가 연구 아이템 및 협업 방안 등을 용이하게 모색할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 연구 노트 플랫폼의 구성도를 도시한 도면이다.
도 2 및 도 3은 본 발명에 따른 OCR AI 모델의 테스트에 대한 예시를 나타낸 도면이다.
도 4는 본 발명에 따른 텍스트 요약부의 동작 예를 나타낸 도면이다.
도 5는 본 발명에 따른 전자 연구 노트 생성부의 동작 예를 나타낸 도면이다.
도 6은 본 발명에 따른 컨텐츠 자동 분류 및 기술 문서 분석부의 동작 예를 나타낸 도면이다.
도 2 및 도 3은 본 발명에 따른 OCR AI 모델의 테스트에 대한 예시를 나타낸 도면이다.
도 4는 본 발명에 따른 텍스트 요약부의 동작 예를 나타낸 도면이다.
도 5는 본 발명에 따른 전자 연구 노트 생성부의 동작 예를 나타낸 도면이다.
도 6은 본 발명에 따른 컨텐츠 자동 분류 및 기술 문서 분석부의 동작 예를 나타낸 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 전자 연구 노트 플랫폼 및 해당 플랫폼의 동작 방법의 일 실시예를 설명한다. 이때, 본 발명은 실시예에 의해 제한되거나 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명확하게 하기 위해 생략될 수 있다.
이하에서는, 본 발명에 따른 전자 연구 노트 플랫폼에 대해 상세히 설명한다. 설명의 편의상, 이하에서 설명하는 전자 연구 노트라 함은 연구 노트 뿐만 아니라, 연구 논문, 학위 논문 등의 문서를 전자적으로 구현한 모든 구성을 포함할 수 있다. 이에 따라, 후술하는 전자 연구 노트 플랫폼은 연구 노트 뿐만 아니라 연구 논문, 학위 논문 등의 문서를 생성하고, 이를 관리하는 구성에도 확장 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 연구 노트 플랫폼의 구성도를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 전자 연구 노트 플랫폼 (1)은, 광학 문자 인식부 (10), 음성 인식부 (20), 텍스트 요약부 (30), 텍스트 번역부 (40), 연구 보조 지원부 (50), 전자 연구 노트 생성부 (60), 컨텐츠 자동 분류 및 기술 문서 분석부 (70), 서비스 제공부 (80) 등을 포함할 수 있다. 본 발명에 있어, 상기 전자 연구 노트 플랫폼 (1)은 실시예에 따라 도 1에 도시된 모든 구성을 포함할 수도 있고, 이 중 일부만을 포함할 수도 있다. 또한, 상기 전자 연구 노트 플랫폼 (1)은 실시예에 따라 단일의 서버 장치가 아닌 복수의 서버 장치들을 통해 구현될 수도 있다. 이때, 상기 복수의 서버 장치들 각각은, 도 1에 도시된 모든 구성 또는 일부 구성에 대응하는 동작을 수행할 수 있다. 이하, 본 발명에 따른 전자 연구 노트 플랫폼 (1)의 각 구성의 특징에 대해 상세히 설명한다.
광학 문자 인식부 (10)는, OCR (Optical Character Recognition) 인공 지능 (artificial intelligence; AI) 모델을 이용하여, 입력 이미지로부터 텍스트, 수학식, 기호, 단위, 도형 이미지를 식별한다. 다시 말해, 상기 광학 문자 인식부 (10)는 장면 이미지 속 텍스트 검출 및 인식 (Scene Text Detection and Recognition)이 가능하도록 트레이닝된 OCR AI 모델을 이용하여 텍스트, 손 글씨, 칠판 글씨 등이 포함된 임의의 이미지 (즉, 스캔이 용이하도록 가공되지 않은 로우 (raw) 이미지)로부터 영어, 한글 텍스트를 자동으로 인식할 수 있을 뿐만 아니라, 수학식, 기호, 단위, 도형 이미지를 서로 구분하여 식별할 수 있다. 추가적으로, 사용자는 전자 연구 노트 생성부 (60)를 통해 상술한 바와 같이 서로 구분하여 식별된 사항들을 의도하는 방식 또는 내용으로 수정할 수 있다.
상술한 바와 같이, 본 발명에 따른 OCR AI 모델은 장면 이미지 속 텍스트 검출 및 인식 (Scene Text Detection and Recognition)이 가능하도록 트레이닝될 수 있다.
도 2 및 도 3은 본 발명에 따른 OCR AI 모델의 테스트에 대한 예시를 나타낸 도면이다. 이하에서는, 도 2 및 도 3을 참고하여, 본 발명에 적용 가능한 장면 이미지 속 텍스트 검출 (Scene Text Detection) 테스트 및 장면 이미지 속 텍스트 인식 (Scene Text Recognition) 테스트에 대해 상세히 설명한다.
(1) Scene Text Detection 테스트
N 社의 Scene Text Detection 관련 논문 중 CRAFT(Character-Region Awareness For Text detection) 오픈 소스 테스트를 진행할 수 있다.
(가) 테스트 순서
① 환경설정 > ② 논문에 기재되어 있는 학습 데이터 확인(ICDAR 2013, 2015, 2017) > ③ 사전 학습 모델(craft_mlt_25k.pth) 다운로드 > ④ 정교화 모델 다운로드(craft_refiner_CTW1500.pth) > ⑤ 파라미터 설정 > ⑥ 데모 파일 실행 > ⑦ 장문의 문서 텍스트 Detection 테스트 > ⑧ aihub의 「한글 손 글씨체 (04.Text in the wild)」 데이터를 각 6:2:2 비율로 세 분류 > ⑨ 학습 데이터셋(92,952개)을 인풋 데이터로 입력 > ⑩ 데모 파일 실행 > ⑪ 아웃풋 추출
(나) 구조
(1) CRAFT는 이미지에서 텍스트 영역을 검출하기 위해 Segmentation-based 네트워크 구조로 설계
(2) Batch-Norm이 포함된 VGG-16 모델을 네트워크의 기본 뼈대로 구성 (도 2(a) 참조)
(3) U-Net처럼 얕은 레이어의 특징 맵을 깊은 레이어의 특징 맵과 결합하는 방식을 통해 Segmentation 정확성을 높임
(4) VGG16-BN의 Feature Extractor 부분을 변형하여 사용된 것을 알 수 있음
(5) VGG16-BN 의 Feature Extractor를 구성하는 모듈들의 부분집합으로 CNN (Convolutional Neural Network), Batch_Norm, ReLU, MaxPooling들이 포함됨 (도 2(b) 참조)
(6) Feature Extractor 구성 중 3개의 모듈(MaxPooling-Conv-Conv)를 붙인 변형을 뼈대로 사용 (도 2(c) 참조)
(다) 결과
도 3의 결과 예와 같이, 아웃풋 추출이 완료되고, 장문의 문서 이미지 테스트 결과 이미지 내 텍스트 영역 검출이 매우 유연함을 확인할 수 있다.
(라) 추가 테스트
실시예에 따라, 개인유저가 github에 공개한 학습 코드 테스트가 추가적으로 더 진행될 수 있다.
(2) Scene Text Recognition 테스트
N 社의 OCR 딥러닝 모델인 N**** - Deep Text Recognition Benchmark 오픈소스 테스트를 진행할 수 있다.
(가) 테스트 순서
① 환경설정 > ② AI hub 손 글씨체 (04.Text in the wild) 전처리 > ③ CRAFT의 아웃풋 데이터를 lmdb의 mdb 확장자 파일로 생성 > ④ CRAFT의 아웃풋 데이터 이미지와 매핑 텍스트 파일 생성 > ⑤ 파라미터 설정 > ⑥ 추가 학습 > ⑦ 학습모델TPS-ResNet-BiLSTM-Attn-Seed.pth, TPS-ResNet-BiLSTM-CTC-Seed.pth 생성 > ⑧ 모델 설정 > ⑨ 테스트 데이터셋을 인풋 데이터로 입력 > ⑩ 아웃풋 확인
(나) 결과
학습 결과에 따라 필요시 파라미터 조정 후 재학습이 추가 적용될 수 있다.
음성 인식부 (20)는, ASR (Automatic Speech Recognition) AI 모델을 이용하여, 입력 음성 데이터로부터 텍스트 정보를 식별한다. 다시 말해, 상기 음성 인식부 (20)는, 마이크 등의 음성 신호 획득수단을 통해 입력 받은 여러 사람의 대화나 특정 개인의 독백 내용을 인식하고, 이에 대응하는 텍스트 정보를 출력할 수 있다. 특히, 상기 음성 인식부 (20)는, ASR AI 모델을 이용하여, 상기 입력 음성 데이터로부터 화자 별 텍스트 정보를 서로 구분하여 식별할 수 있다. 추가적으로, 사용자는 전자 연구 노트 생성부 (60)를 통해 상술한 바와 같이 화자 별로 서로 구분하여 식별된 텍스트 정보들을 의도하는 방식 또는 내용으로 수정할 수 있다.
본 발명에 적용 가능한 일 예로, 본 발명에 따른 ASR AI 모델은 M 社의 Wav2Vec 2.0 모델 (자연어처리의 구글 BERT (Bidirectional Encoder Representations from Transformers)처럼 대규모 음성 파일에 대해 사전 학습 모델 (Pretrained model)로써, 파인 튜닝만으로도 높은 성능을 낼 수 있는 특징이 있음), N 社, G 社 등에서 발표한 논문의 방식을 적용하여 구현될 수 있다.
텍스트 요약부 (30)는, 요약 AI 모델을 이용하여, 사용자에 의해 선택된 텍스트 내용을 하나의 문장으로 정리하여 상기 사용자에게 제공한다.
도 4는 본 발명에 따른 텍스트 요약부의 동작 예를 나타낸 도면이다.
도 4에 도시된 바와 같이, 텍스트 요약부 (30)는 사용자에 의해 선택된 텍스트 내용 (예: 사용자가 연구 노트를 작성하던 중 인터넷 검색 플랫폼으로부터 복사 등을 통해 획득된 검색 결과 또는 사용자 스스로 작성한 텍스트의 내용)이 너무 방대한 경우, 사용자로부터 특정 텍스트 내용에 대한 선택 동작 (예: 해당 부분을 마우스로 선택한 후 우측 마우스를 클릭 등)을 감지 (또는 확인)하면 이를 자동으로 요약 정리하여 상기 사용자에게 제공 (또는 출력)할 수 있다. 특히, 상기 텍스트 요약부 (30)는, 요약 AI 모델에 기반하여, 선택된 텍스트 내용을 하나의 문장으로 추상적으로 요약 정리하는 바, 해당 기능은 원문에 있는 노이즈를 필터링하는 용도로도 활용될 수 있다.
본 발명에 적용 가능한 일 예로, 요약 AI 모델은 aihub.or.kr에 공개된 모든 요약 말뭉치를 이용하여 트레이닝되고 필요시 추가적으로 파인 튜닝될 수 있다.
텍스트 번역부 (40)는, 번역 AI 모델을 이용하여, 사용자에 의해 선택된 텍스트 내용을 상기 사용자에 의해 선택된 언어로 번역하여 상기 사용자에게 제공한다. 보다 구체적으로, 상기 텍스트 번역부 (40)는, 사용자가 연구 노트를 작성하던 중 인터넷 검색 플랫폼 등으로부터 복사 등을 통해 획득된 검색 결과 또는 상술한 광학 문자 인식부 (10)를 통해 식별된 텍스트에 대해 번역이 필요할 경우, 사용자로부터 특정 텍스트내용에 대한 선택 동작 (예: 해당 부분을 마우스로 선택한 후 우측 마우스를 클릭 등)을 감지 (또는 확인)하면 이를 자동으로 원하는 언어로 번역하여 상기 사용자에게 제공 (또는 출력)할 수 있다. 이때, 상기 텍스트 번역부 (40)가 번역을 제공하는 언어는 번역 AI 모델에 따라 상이할 수 있고, 일 예로, 한국어, 영어, 중국어, 일본어 등을 포함할 수 있다.
연구 보조 지원부 (50)는 연구 보조 AI 모델을 이용하여, 연구 실험에 대한 센서 데이터를 자동적으로 취합하여 정리하고 이에 따른 결과를 사용자에게 제공한다. 보다 구체적으로, 상기 연구 보조 지원부 (50)는 동물, 식물, 세포 등과 관련된 연구 실험에 대한 영상 이미지 등 실시간으로 획득 가능한 센서 데이터를 포함한 실험 테스트 및 결과를 연구 보조 AI 모델을 이용하여 자동으로 취합 및 정리하고 이를 상기 사용자에게 제공할 수 있다. 이를 통해, 사용자 또는 연구자는 예기치 않은 휴먼 에러를 미연에 방지할 수 있다.
전자 연구 노트 생성부 (60)는, 사용자에게 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 제공하고, 상기 입력 도구에 기반한 상기 사용자의 입력에 따라 상술한 광학 문자 인식부 (10), 음성 인식부 (20), 텍스트 요약부 (30), 텍스트 번역부 (40), 연구 보조 지원부 (50) 중 적어도 하나 이상을 통해 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성한다.
보다 구체적으로, 전자 연구 노트 생성부 (60)는 사용자에게 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 제공하고, 상기 입력 도구를 통한 상기 사용자로부터 입력된 데이터를 전자 연구 노트를 생성한다.
일 예로, 전자 연구 노트 생성부 (60)는 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 별도의 에디터 도구 또는 입력 도구(예: LaTex 문법을 지원하는 별도 편집 도구 등)를 사용자에게 제공하고, 이를 통해 사용자로부터 입력되는 새로운 수학식 정보 또는 기존 수학식에 대한 수정 수학식 정보 등을 입력 정보로 활용하여 상기 전자 연구 노트를 생성할 수 있다.
도 5는 본 발명에 따른 전자 연구 노트 생성부의 동작 예를 나타낸 도면이다.
도 5에 도시된 바와 같이, 사용자는 연구 노트를 작성하던 중 수학 공식, 화학, 바이오 등의 실험 과정에서 도출된 수식 입력이 필요한 경우, 도 5와 같이 전자 연구 노트 생성부 (60)에 의한 LaTex 문법을 지원하는 입력 도구 (예: 별도 편집 윈도우)를 통해 수학식을 입력하거나 추후 편집할 수 있다.
참고로, LaTex 는 레슬리 램포트 (Leslie Lamport)가 개발한 다중 플랫폼 (cross-platform)으로 구성된 문서 작성 도구의 일종으로, 논문이나 출판물 등의 특수 형식 문서를 작성하는 데 쓰이는 시스템이다. 자연과학이나 인문과학 중 수식, 그래프, 다이어그램을 많이 그리는 학자들에게 유용한 문서 저작 도구이다. LaTex은 기본적으로 작가들이 외형적인 요소(예를 들어 페이지 수 폰트, 위치 등등 지정하기)를 배제하고 내용물(텍스트)에 집중할 수 있도록 하기 위해 작성되었다. LaTex 문서를 작성할 때, 챕터, 섹션, 테이블, 이미지 등의 항목들을 의미하는 명령어들을 일단 배치하고 그 밑에 내용을 채우는 방식으로 작성하는데, 일단 이렇게 작성해 두면 LaTex 문서는 텍스트 파일에 지나지 않는다. 이를 LaTex 타입세팅 시스템으로 읽어들이면 사용자가 원하는 형식의 문서 파일로 만들어준다. LaTex는 PDF (Portable Document Format) 형식 뿐만 아니라 PS(PostScript)방식의 문서에도 사용되며, 이외 그림 파일로 만들거나 CSS (Cascading StyleSheets)를 이용한 HTML (HyperText Markup Language) 문서로도 작성될 수 있다.
추가적으로, LaTex 시스템은 여러 가지 매크로 기능을 포함하고 있는 바, 복잡한 표, 그림 배치 등의 작업을 조금 더 수월하게 할 수 있도록 도와준다. 이 매크로 기능 중에 가장 꽃이 되는 것은 수식 편집 기능으로, 숙련되면 타 WYSIWYG 방식의 프로그램들 보다 훨씬 빠르게 작업할 수 있다. 참고로, 한글과컴퓨터 社의 수식 명령 쳬계가 LaTex의 수식 명령 체계에서 유래한 바, 한글 시리즈에 있는 수식을 다뤄 본 사람이라면 LaTeX의 수식 명령 체계가 매우 유사함을 알 수 있다.
이를 위한 일 예로, 본 발명에 따른 전자 연구 노트 생성부 (60)는 오픈소스로 LaTex을 지원하는 라이브러리 목록 중 하나에 기반하여 구성될 수 있다 (예: https://github.com/mathjax/MathJax-docs/wiki/List-of-web-based-math-editors). 다른 예로, 본 발명에 따른 전자 연구 노트 생성부 (60)는 SunEditor 등 기존 오픈소스 웹 편집기와 LaTex 편집기가 통합되는 형태로도 구성될 수 있다.
다른 예로, 전자 연구 노트 생성부 (60)는 광학 문자 인식부 (10), 음성 인식부 (20), 텍스트 요약부 (30), 텍스트 번역부 (40) 및 연구 보조 지원부 (50) 중 적어도 하나 이상을 이용하여 획득되는 입력 정보를 이용하여 전자 연구 노트를 생성하거나, 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 이용하여 상기 입력 정보에 대하여 편집/수정을 수행한 수정 정보를 이용하여 전자 연구 노트를 생성할 수 있다. 보다 구체적으로, 상기 전자 연구 노트 생성부 (60)는, 상기 광학 문자 인식부 (10)를 통해 획득되는 텍스트, 수학식, 기호, 단위, 도형 이미지, 상기 음성 인식부 (20)를 통해 획득되는 연구 노트 또는 회의록에 대한 텍스트 정보, 상기 텍스트 요약부 (30)를 통해 획득되는 특정 텍스트 내용에 대한 정리 내용, 상기 텍스트 번역부 (40)를 통해 획득되는 특정 텍스트 내용에 대한 번역 내용, 상기 연구 보조 지원부 (50)를 통해 획득되는 실험 테스트 내용 및 결과 자료 등을 입력 정보로 활용하거나, 상기 입력 정보에 대해 사용자로부터 입력된 편집/수정을 적용한 수정 정보 (예: 광학 문자 인식부 (10)에 의해 식별된 텍스트, 수학식, 기호, 단위, 도형 이미지 중 하나를 삭제 또는 수정하거나, 음성 인식부 (20)에 의해 식별된 텍스트 정보 중 전부 또는 일부를 삭제 또는 수정 등)를 이용하여 상기 전자 연구 노트를 생성할 수 있다.
본 발명의 실시예에 따라 전자 연구 노트 생성부 (60)가 상술한 입력 도구에 기반한 사용자의 입력에 따라 광학 문자 인식부 (10)로부터 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성하는 경우, 상기 전자 연구 노트 생성부 (60)는 상기 광학 문자 인식부 (10)를 통해 식별된 입력 이미지의 원본 데이터 정보를 추가적으로 이용하여 상기 전자 연구 노트를 생성할 수 있다. 보다 구체적으로, 상기 전자 연구 노트 생성부 (60)는, 광학 문자 인식부 (10)를 통해 업로드한 이미지나 사진을 사용자가 추후 재확인할 수 있도록 하기 위해 OCR 기술이 사용된 부분에 관련 이미지 (예: 입력 이미지의 원본 이미지 또는 썸네일)와 사진 원본으로 가는 링크 (예: 입력 이미지에 대한 링크 정보 등)를 전자 연구 노트에 추가하여 상기 전자 연구 노트를 구성할 수 있다.
이와 유사하게, 본 발명의 실시예에 따라 전자 연구 노트 생성부 (60)가 상술한 입력 도구에 기반한 사용자의 입력에 따라 음성 인식부 (20)로부터 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성하는 경우, 상기 전자 연구 노트 생성부 (60)는 상기 음성 인식부 (20)를 통해 식별된 입력 음성 데이터의 원본 음성 데이터 정보를 추가적으로 이용하여 상기 전자 연구 노트를 생성할 수 있다. 보다 구체적으로, 상기 전자 연구 노트 생성부 (60)는, 음성 인식부 (20)를 통해 업로드한 음성 파일을 사용자가 추후 재확인할 수 있도록 하기 위해 ASR 기술이 사용된 부분에 관련 음성 데이터 (예: 입력 음성 데이터 또는 원본 음성 데이터에 대한 링크 정보 등)를 전자 연구 노트에 추가하여 상기 전자 연구 노트를 구성할 수 있다.
컨텐츠 자동 분류 및 기술 문서 분석부 (70)는, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 전자 연구 노트 생성부 (60)를 통해 생성된 전자 연구 노트에 포함된 연구 컨텐츠를 문단 단위로 분석하여 사용자에 의해 미리 설정된 복수의 카테고리들 중 하나의 카테고리로 분류한다.
도 6은 본 발명에 따른 컨텐츠 자동 분류 및 기술 문서 분석부의 동작 예를 나타낸 도면이다.
도 6에 도시된 바와 같이, 컨텐츠 자동 분류 및 기술 문서 분석부 (70)는, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 전자 연구 노트의 연구 컨텐츠를 문단 단위로 분석하여 복수의 카테고리들 (A,B,C) 중 하나의 카테고리로 분류할 수 있다. 이때, 실시예에 따라, 각 문단이 어떤 카테고리로 분류되었는지에 대해서는 도 6의 예시와 같이 별도로 표시될 수도 있다.
이때, 사용자에 의해 미리 설정된 복수의 카테고리들이라 함은, 시스템 상에 상기 사용자에 의해 구분하여 입력되어 설정되는 복수의 카테고리들을 의미할 수 있다. 실시예에 따라, 상기 복수의 카테고리들은 다양하게 구성될 수 있다. 일 예로, 상기 복수의 카테고리들은 아이디어 컨셉', 실험 데이터', '선행 자료' 및 '회의록' 등을 포함하도록 구성될 수 있다.
이어, 컨텐츠 자동 분류 및 기술 문서 분석부 (70)는, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하여 유사도가 일정 이상인 특허 및 논문을 검색하고, 상기 검색된 특허에 기초하여 획득된 주요 출원인 관련 정보 및 상기 검색된 논문에 기초하여 획득된 주요 저자 관련 정보를 포함한 분석 리포트를 상기 사용자에게 제공한다.
본 발명에 적용 가능한 일 예로, 사용자에 의해 미리 설정된 복수의 카테고리들이 '아이디어 컨셉', '실험 데이터', '선행 자료' 및 '회의록'으로 구성되는 경우, 상기 사용자에 의해 선택된 카테고리는 상기 '아이디어 컨셉' 또는 상기 '실험 데이터'일 수 있다.
구체적인 일 예로, 본 발명에 따른 컨텐츠 자동 분류 및 기술 문서 분석부 (70)가, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하여 유사도가 일정 이상인 특허 및 논문을 검색하는 것은 다음과 같은 동작들로 구분될 수 있다:
- 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하는 단계
- 추출된 주요 키워드에 기초하여, 독립 청구항을 기준으로 유사도가 일정 이상인 특허를 검색하는 단계, 및
- 추출된 주요 키워드에 기초하여, 논문 요약을 기준으로 유사도가 일정 이상인 논문을 검색하는 단계.
상술한 설명에 있어, 주요 키워드란 해당 카테고리와 관련하여 빈도수가 높게 검출된 특정 단어 뿐만 아니라 복수 개 단어들의 조합을 포함할 수 있다.
상술한 방법에 따라 검색된 특허 및 논문에 기초하여, 컨텐츠 자동 분류 및 기술 문서 분석부 (70)는 사용자에게 주요 출원인 관련 정보 및 주요 저자 관련 정보를 포함한 분석 리포트를 제공한다. 이를 위해, 상기 컨텐츠 자동 분류 및 기술 문서 분석부 (70)는 다음 중 적어도 하나 이상을 수행할 수 있다:
- 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 주요 키워드 (예: 구문)을 도출하고 특허검색을 수행하여 유사도가 일정 이상인 유사 특허를 검색 또는 선정하는 과정
- 특허명세서에서 독립항을 추출한 후 유사도를 분석하는 과정
- 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 유사도가 미리 설정한 문턱값 이상인 특허의 개수가 미리 정한 범위 이상인 경우에 최다출원인을 자동으로 선정하는 과정
- 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 최다출원인의 특허를 추출하여 전자 연구 노트와 유사도를 분석하는 과정
- 최다출원인의 특허명세서에서 독립항을 추출한 후 연구노트와 유사도를 분석하는 과정
- 독립항의 유사도가 미리 설정한 범위 이상인 경우에 알람 제공
- 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 주요 키워드 (예: 구문)을 도출하고 논문검색을 수행하여 유사도가 미리 설정한 범위를 넘는 유사 논문을 선정하는 과정
- 유사 논문의 수가 미리 정한 범위 이상인 경우에 제1저자를 자동으로 선정하는 과정
- 제1저자의 소속기관을 추출하는 과정
- 국가 연구과제 사이트에서 제1저자의 국가연구과제 수행이력을 추출하는 과정, 또는
- 전자 연구 노트의 연구 주제와 제1저자의 협업가능성을 확률적으로 판단하고 이를 제시하는 과정.
상술한 사항들에 기초하여, 본 발명에 따른 주요 출원인 관련 정보는, 유사도가 일정 이상으로 검색된 특허 내에 일정 개수 이상의 특허가 포함된 하나 이상의 출원인과 관련된 정보로 구성될 수 있다. 이때, 상기 하나 이상의 출원인과 관련된 정보는 다음의 정보들을 포함할 수 있다:
- 유사도가 일정 이상으로 검색된 특허 중, 하나 이상의 출원인이 출원한 특허의 출원연도 정보, 및
- 하나 이상의 출원인 별로 유사도가 가장 높게 판단된 특허 리스트 정보
이와 유사하게, 상술한 사항들에 기초하여, 본 발명에 따른 주요 저자 관련 정보는, 유사도가 일정 이상으로 검색된 논문 내에 일정 개수 이상의 논문이 포함된 하나 이상의 제1저자 (예: 특정 논문의 첫번째로 기재되는 저자)와 관련된 정보로 구성될 수 있다. 이때, 상기 하나 이상의 제1저자와 관련된 정보는 다음의 정보들을 포함할 수 있다:
- 하나 이상의 제1저자의 소속 기관 정보
- 하나 이상의 제1저자의 국가연구과제 수행 이력 정보, 및
- 하나 이상의 제1저자 별 소속 기관 정보 및 국가연구과제 수행 이력 정보에 기초하여, 사용자와 상기 하나 이상의 제1저자 별 협업 가능성을 확률적으로 산출한 정보.
서비스 제공부 (80)는 상술한 전자 연구 노트 생성부 (60)를 통해 생성된 전자 연구 노트 및 컨텐츠 자동 분류 및 기술 문서 분석부 (70)를 통해 생성된 분석 리포트에 대한 전자 결재 및 보안 인증 서비스를 제공한다. 보다 구체적으로, 상기 서비스 제공부 (80)는, 상술한 전자 연구 노트 플랫폼 (1)의 구성들을 통해 생성된 전자 연구 노트 및 분석 리포트에 대한 전자 결재 서비스를 연계하여 제공할 수 있고, 상기 전자 연구 노트 및/또는 상기 분석 리포트의 출력 등의 이유로 필요한 경우 해당 전자 연구 노트 및/또는 분석 리포트에 대한 보안 인증 서비스 (예: 대외비 표시, 위변조 마크, 워터 마크 표시 등을 통한 보안 인증 서비스 등)를 제공할 수 있다.
본 발명에 있어, OCR AI 모델, ASR AI 모델, 요약 AI 모델, 번역 AI 모델, 연구 보조 AI 모델, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델은 각각 AI 모델 별 특성에 따라 상이한 트레이닝 데이터 셋에 기반하여 트레이닝될 수 있다. 이때, 각각의 AI 모델은 서로 다른 트레이닝 모듈/시스템을 통해 트레이닝될 수 있고, 각 AI 모델 별 트레이닝을 통해 갱신/업데이트되는 주기는 서로 상이하게 설정될 수 있다. 적용 가능한 일 예로, 전자 연구 노트 플랫폼에서 AI 모델 별 활용 빈도 (또는 활용 우선도)에 따라 각 AI 모델의 갱신/업데이트 주기가 결정될 수 있다. 이에 따른 구체적인 예로, OCR AI 모델의 갱신 주기 (T1)는 ASR AI 모델의 갱신 주기 (T2)와 동일하게 설정하고, 요약 AI 모델의 갱신 주기 (T3), 번역 AI 모델의 갱신 주기 (T4) 및 연구 보조 AI 모델의 갱신 주기 (T5) 보다 크게 설정될 수 있다. 이때, T3 값은 T4 값 및 T5 값과 동일하게 설정되거나, 또는 T3 값은 T5 값과 동일하게 설정되나 T4 값 보다는 작게 설정될 수 있다. 이 경우, T4 값은 T1 및 T2 보다 작게 설정될 수 있다. 이때, 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델의 갱신 주기 (T6)는 상술한 모든 AI 모델의 갱신 주기 (T1 ~ T5) 보다 작게 설정되거나, 또는 T4 값과 동일하게 설정될 수 있다.
상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 해당 기술분야의 숙련된 당업자라면, 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변경시킬 수 있다.
1: 전자 연구 노트 플랫폼
10: 광학 문자 인식부
20: 음성 인식부
30: 텍스트 요약부
40: 텍스트 번역부
50: 연구 보조 지원부
60: 전자 연구 노트 생성부
70: 컨텐츠 자동 분류 및 기술 문서 분석부
80: 서비스 제공부
10: 광학 문자 인식부
20: 음성 인식부
30: 텍스트 요약부
40: 텍스트 번역부
50: 연구 보조 지원부
60: 전자 연구 노트 생성부
70: 컨텐츠 자동 분류 및 기술 문서 분석부
80: 서비스 제공부
Claims (9)
- OCR (Optical Character Recognition) 인공 지능 (artificial intelligence; AI) 모델을 이용하여, 입력 이미지로부터 텍스트, 수학식, 기호, 단위, 도형 이미지를 식별하는, 광학 문자 인식부;
ASR (Automatic Speech Recognition) AI 모델을 이용하여, 입력 음성 데이터로부터 텍스트 정보를 식별하는, 음성 인식부;
요약 AI 모델을 이용하여, 사용자에 의해 선택된 텍스트 내용을 하나의 문장으로 정리하여 상기 사용자에게 제공하는, 텍스트 요약부;
번역 AI 모델을 이용하여, 상기 사용자에 의해 선택된 텍스트 내용을 상기 사용자에 의해 선택된 언어로 번역하여 상기 사용자에게 제공하는, 텍스트 번역부;
연구 보조 AI 모델을 이용하여, 연구 실험에 대한 센서 데이터를 자동적으로 취합하여 정리하고 이에 따른 결과를 상기 사용자에게 제공하는, 연구 보조 지원부;
상기 사용자에게 텍스트, 수학식, 기호, 단위, 도형 이미지를 입력 가능한 입력 도구를 제공하고, 상기 입력 도구에 기반한 상기 사용자의 입력에 따라 상기 광학 문자 인식부, 상기 음성 인식부, 상기 텍스트 요약부, 상기 텍스트 번역부, 상기 연구 보조 지원부 중 적어도 하나 이상을 통해 획득되는 정보의 입력 및 편집을 수행하여 전자 연구 노트를 생성하는, 전자 연구 노트 생성부;
컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여, 상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트에 포함된 연구 컨텐츠를 문단 단위로 분석하여 상기 사용자에 의해 미리 설정된 복수의 카테고리들- 상기 사용자에 의해 미리 설정된 복수의 카테고리들은 아이디어 컨셉, 실험 데이터, 선행 자료 및 회의록을 포함함-중 하나의 카테고리로 분류하고, 상기 사용자에 의해 선택된 카테고리- 상기 사용자에 의해 선택된 카테고리는 상기 아이디어 컨셉 또는 상기 실험 데이터임-에 대해 주요 키워드를 추출하여 유사도가 일정 이상인 특허를 검색하고, 상기 검색된 특허에 기초하여 획득된 주요 출원인 관련 정보 - 상기 주요 출원인 관련 정보는 유사도가 일정 이상으로 검색된 특허 내에 일정 개수 이상의 특허가 포함된 하나 이상의 출원인과 관련된 정보이며, 상기 하나 이상의 출원인과 관련된 정보는,상기 유사도가 일정 이상으로 검색된 특허 중, 상기 하나 이상의 출원인이 출원한 특허의 출원연도 정보, 및 상기 하나 이상의 출원인 별로 유사도가 가장 높게 판단된 특허 리스트 정보를 포함함-
및 상기 검색된 논문에 기초하여 획득된 주요 저자 관련 정보를 포함한 분석 리포트를 상기 사용자에게 제공하는, 컨텐츠 자동 분류 및 기술 문서 분석부; 및
상기 전자 연구 노트 생성부를 통해 생성된 전자 연구 노트 및 상기 컨텐츠 자동 분류 및 기술 문서 분석부를 통해 생성된 분석 리포트에 대한 전자 결재 및 보안 인증 서비스를 제공하는, 서비스 제공부를 포함하되,
상기 컨텐츠 자동 분류 및 기술 문서 분석부는 상기 컨텐츠 자동 분류 및 기술 문서 분석 AI 모델을 이용하여,
상기 사용자에 의해 선택된 카테고리에 대해 주요 키워드를 추출하는 단계;
상기 추출된 주요 키워드에 기초하여, 독립 청구항을 기준으로 유사도가 일정 이상인 특허를 검색하는 단계;
상기 유사도가 미리 설정한 문턱값 이상인 특허의 개수가 미리 정한 범위 이상인 경우에 최다출원인을 자동으로 선정하는 단계;
상기 최다출원인의 특허명세서에서 독립항을 추출한 후 연구노트와 유사도를 분석하는 단계; 및
상기 독립항의 유사도가 미리 설정한 범위 이상인 경우에 알람을 제공하는 단계를 포함하여 사용자에게 주요 출원인 관련 정보를 제공하는 것을 특징으로 하는 전자 연구 노트 플랫폼 - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230034347A KR102639320B1 (ko) | 2023-03-16 | 2023-03-16 | 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230034347A KR102639320B1 (ko) | 2023-03-16 | 2023-03-16 | 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102639320B1 true KR102639320B1 (ko) | 2024-02-22 |
Family
ID=90056450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230034347A KR102639320B1 (ko) | 2023-03-16 | 2023-03-16 | 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102639320B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120061084A (ko) * | 2004-02-15 | 2012-06-12 | 구글 인코포레이티드 | 렌더링된 문서를 식별하기 위한 디바이스 및 방법 |
| KR20150134645A (ko) * | 2014-05-22 | 2015-12-02 | (주)링크소프트 | 저자명 명확화 장치 및 그 방법 및 그 방법을 컴퓨터로 판독할 수 있도록 기록한 기록매체 |
| KR20210043520A (ko) | 2021-04-01 | 2021-04-21 | 강정헌 | 콜드 월렛 및 하이브리드 블록체인 플렛폼을 기반으로 하는 연구노트 애플리케이션 |
| KR102496620B1 (ko) * | 2022-10-26 | 2023-02-06 | 김정열 | Ai 기반 검색 기능을 가지는 ocr 전자연구노트 관리 시스템 |
-
2023
- 2023-03-16 KR KR1020230034347A patent/KR102639320B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120061084A (ko) * | 2004-02-15 | 2012-06-12 | 구글 인코포레이티드 | 렌더링된 문서를 식별하기 위한 디바이스 및 방법 |
| KR20150134645A (ko) * | 2014-05-22 | 2015-12-02 | (주)링크소프트 | 저자명 명확화 장치 및 그 방법 및 그 방법을 컴퓨터로 판독할 수 있도록 기록한 기록매체 |
| KR20210043520A (ko) | 2021-04-01 | 2021-04-21 | 강정헌 | 콜드 월렛 및 하이브리드 블록체인 플렛폼을 기반으로 하는 연구노트 애플리케이션 |
| KR102496620B1 (ko) * | 2022-10-26 | 2023-02-06 | 김정열 | Ai 기반 검색 기능을 가지는 ocr 전자연구노트 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9268753B2 (en) | Automated addition of accessiblity features to documents | |
| Yoko et al. | Extracting definitions of mathematical expressions in scientific papers | |
| CN113159969A (zh) | 一种金融长文本复核系统 | |
| CN112579444B (zh) | 基于文本认知的自动分析建模方法、系统、装置及介质 | |
| Abolhassani et al. | Information extraction and automatic markup for XML documents | |
| KR102639320B1 (ko) | 연구소용 자동 인식, 요약 및 번역에 기초한 컨텐츠 자동 분류 및 기술 문서 분석 인공 지능을 갖춘 전자 연구 노트 플랫폼 및 이의 동작 방법 | |
| Sharma et al. | Full-page handwriting recognition and automated essay scoring for in-the-wild essays | |
| JP5690829B2 (ja) | 表現および説明抽出のための文書処理装置および方法 | |
| KR101069207B1 (ko) | 전자 문서에 의미 정보를 부착하는 시스템 및 방법 | |
| CN116306487A (zh) | 高等院校学位论文格式智能检测系统及方法 | |
| Krichen et al. | Combination of explicit segmentation with Seq2Seq recognition for fine analysis of children handwriting | |
| KR102390009B1 (ko) | Ai기반 구문분석 연구노트 생성 시스템 | |
| Krichen et al. | Online analysis of children handwritten words in dictation context | |
| Hollingsworth et al. | Retrieving hierarchical text structure from typeset scientific articles–a prerequisite for e-science text mining | |
| Malagi et al. | Content Modelling Intelligence System Based on Automatic Text Summarization | |
| Parvez | Named entity recognition from bengali newspaper data | |
| O’Brien et al. | Optical character recognition | |
| Azmi et al. | Mining and visualizing the narration tree of hadiths (prophetic traditions) | |
| Iwashokun et al. | Structural vetting of academic proposals | |
| Soyusiawaty et al. | Similarity detector on the student assignment document using Levenshtein distance method | |
| Moussiades et al. | Dictionary Structure Identification. | |
| Müller et al. | LiViTo: linguistic and visual features tool for assisted analysis of historic manuscripts | |
| Daems et al. | Digital Approaches Towards Serial Publications | |
| Smirnova et al. | A pen-based mathematical environment Mathink | |
| US20230305863A1 (en) | Self-Supervised System for Learning a User Interface Language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |