KR20210111620A - 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법 - Google Patents

전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법 Download PDF

Info

Publication number
KR20210111620A
KR20210111620A KR1020200026778A KR20200026778A KR20210111620A KR 20210111620 A KR20210111620 A KR 20210111620A KR 1020200026778 A KR1020200026778 A KR 1020200026778A KR 20200026778 A KR20200026778 A KR 20200026778A KR 20210111620 A KR20210111620 A KR 20210111620A
Authority
KR
South Korea
Prior art keywords
biological system
evaluation
deleted
accuracy
document
Prior art date
Application number
KR1020200026778A
Other languages
English (en)
Inventor
김선중
Original Assignee
(주)호모미미쿠스
국립생태원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)호모미미쿠스, 국립생태원 filed Critical (주)호모미미쿠스
Priority to KR1020200026778A priority Critical patent/KR20210111620A/ko
Publication of KR20210111620A publication Critical patent/KR20210111620A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063118—Staff planning in a project environment

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법이 개시된다. 인간 전문가들이 직접 개입하는 보팅(Voting) 혹은 에러 리포트 등의 휴리스틱 방법과 확률 기반의 기계학습이 접목된 하이브리드 솔루션으로, 인간 전문가들이 관여해 생물 생태 정보 데이터의 정확성을 향상시키는 알고리즘, 데이터베이스, 그리고 그 관리 시스템이 제공된다.

Description

전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법{Apparatus and method for improving data quality of biological-system information using expert's evaluation}
본 발명은 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법에 관한 것이다.
최근 생물학 생태학 분야에서 폭발적으로 증가하는 문헌으로부터 생물 생태 원리 정보에 대한 지식을 얻고, 그로부터 새로운 창의적 문제 해결을 가능하게 하는 설계 방법인 '생태모방(자연모방)' 기법이 주목을 얻고 있다. 그러나 기업 및 연구소에서 생태모방을 시도하는 다양한 공학적 설계자 및 자연과학자들이 영감을 받을 수 있는 생물 생태 지식에 정작 정확성을 담보할 수 있는 시스템이 마련되지 못하고 있다.
이전에 많은 발명에서, 생물학 및 생태학 문헌으로부터 생물학적 지식(생물학적 시스템에 대한 지식)을 지식기반으로 저장하고, 지식기반으로부터 빠르고 정확하게 검색하는 방법에 대한 기법들이 다수 개시되었다. 그러나 해당 생물학 및 생태학 문헌의 정확성을 담보하는 방법에 대한 발명은 개시되지 못하였다.
한국공개특허 제10-2015-0125093호 (유전자와 질병간의 관계를 포함하는 문장 검색 엔진)
본 발명은 정보의 정확성을 담보할 수 있는 두가지 방법을 종합하여, 생물학 생태학 전문가로 하여금 정보의 정확성을 평가하는데 직접 개입하게 하고 이를 확률 기반의 기계학습을 활용하여 효율적으로 부정확하거나 잘못된 정보를 걸러낼 수 있는 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법을 제공하기 위한 것이다.
본 발명은 '생태모방(자연모방)'에서 문제시 되고 있는 생물 생태 원리 정보의 신뢰성 문제를 해결할 수 있는 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 인간 전문가들이 직접 개입하는 보팅(Voting) 혹은 에러 리포트 등의 휴리스틱 방법과 확률 기반의 기계학습이 접목된 하이브리드 솔루션으로, 인간 전문가들이 관여해 생물 생태 정보 데이터의 정확성을 향상시키는 알고리즘, 데이터베이스, 그리고 그 관리 시스템이 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 정보의 정확성을 담보할 수 있는 두가지 방법을 종합하여, 생물학 생태학 전문가로 하여금 정보의 정확성을 평가하는데 직접 개입하게 하고 이를 확률 기반의 기계학습을 활용하여 효율적으로 부정확하거나 잘못된 정보를 걸러낼 수 있는 효과가 있다.
또한, 생태모방(자연모방)'에서 문제시 되고 있는 생물 생태 원리 정보의 신뢰성 문제를 해결할 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치에서 수행되는 방법의 순서도,
도 2는 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템의 개요도,
도 3은 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템의 아키텍쳐.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치에서 수행되는 방법의 순서도이고, 도 2는 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템의 개요도이며, 도 3은 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템의 아키텍쳐이다.
본 발명은 인간 전문가들이 직접 개입하는 보팅(Voting) 혹은 에러 리포트 등의 휴리스틱 방법과 확률 기반의 기계학습이 접목된 하이브리드 솔루션으로, 인간 전문가들이 관여해 생물 생태 정보 데이터의 정확성을 향상시키는 알고리즘, 데이터베이스, 그리고 그 관리 시스템에 관한 것이다. 도 2에 도시된 전체 시스템 개요도에서 <<전문가 평가 시스템>> 및 <<생물학적 시스템 문서 DB>>이 본 발명의 일 실시예에 따른 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치에 해당한다.
정보 정확성 향상 기법은 다음과 같다.
데이터베이스(Database) 혹은 지식기반(Knowledge-base)에 저장된 정보의 정확성을 향상하는 방법은 크게 두가지로 나뉜다. 하나는 인간의 평가로 이루어지는 휴리스틱 기법이며, 다른 하나는 확률 기반의 기계학습 기법을 사용하는 방법이다.
휴리스틱 기법은 인간이 직접 정보 정확성 평가에 개입하여 정보의 진실(True) 혹은 거짓(False)을 직접 평가하는 방법이며, True/False를 주관적으로 평가하기 곤란한 정보에 대해서는 보팅(Voting) 시스템을 도입하여, 많은 표(Vote)를 받은 정보에 정확성을 부여할 수 있다. 예를 들어, 가짜 뉴스를 판단하는데 사용자들의 평가를 활용하는 방법이 대표적이다. 혹은, Yelp 의 음식점 데이터의 경우, 사용자 Voting을 이용하여 맛집이라고 잘못 알려진 음식점들의 정보를 평가한다. 그러나 휴리스틱 기법은 아래와 같은 문제가 있다.
1) 충분한 수의 평가 결과가 모여야 그 총합으로 산출된 결과를 신뢰할 수 있다는 문제가 있다.
2) 평가에 참여한 사용자 집단의 바이어스에 따라 결과가 달라질 수 있다는 문제가 있다.
3) 개인의 주관적 판단에 의존한다는 문제가 있다.
따라서, 최근에는 확률 기반의 기계학습으로 휴리스틱 기법을 대체하기도 한다.
확률 기반의 기계학습 기법은, 인간의 주관적 판단이 아닌 전체 데이터의 패턴으로부터 정보의 진실(True) 혹은 거짓(False)을 판단한다. 예를 들어, 가짜 뉴스에 공통적으로 들어가는 표현이나 게시자를 패턴화하여 해당 표현이 공통적으로 반복되는 게시물이나, 같은 게시자가 등록한 뉴스에 대해 거짓(False) 처리를 하는 것이 대표적이다. 그러나 이러한 확률 기반의 기계학습 기법도 아래와 같은 문제를 가지고 있다.
1) 무엇보다, 생물 생태 데이터와 같이 정보의 수가 충분하지 못한 경우 확률 기반의 기계학습은 정확한 True/False 패턴을 찾아내지 못할 가능성이 매우 높다.
2) 비지도학습(Unupervised Learning)을 사용하는 경우, 패턴 학습을 위해 사용하는 정보 샘플의 바이어스에 따라 True/False 평가가 잘못될 수 있다.
3) 지도학습(Supervised Learning)을 사용하는 경우, 데이터 라벨링에 참가하는 인간 평가자의 주관에 따라 학습된 모델에 바이어스가 생길 수 있다.
특히, 생물 생태 데이터는 전문지식으로서 그 True/False를 평가하기가 매우 곤란한 경우도 존재하므로, 휴리스틱한 방법으로는 모든 인간 평가자가 제각기 서로 다른 의견을 개진할 수 있어 오히려 데이터 정제의 근본 목표를 흐릴 수 있고, 확률론 기반의 기계학습으로는 전문 지식에서 패턴을 찾아내기 곤란하여, 평가 결과가 전문가 의견과 달라, 학습된 모델 자체에 신뢰성 문제가 새롭게 발생할 수 있다.
따라서, 전문지식의 정확성 담보를 목적으로 두가지 방법의 장점을 조합한 하이브리드 솔루션이 필요하다.
생물 생태 정보는 '생태모방 기능 인과모델'에 구축되어 있으며, 해당 '생태모방 기능 인과모델'은 인과 구조에 맞춰 서로 연결된 지식기반(Knowledge-base)의 형태를 갖추고 있다. '생태모방 기능 인과모델'은 각종 생물학적 시스템 저장 알고리즘 및 장치를 이용하여 등록될 수 있으며, 혹은 인간 전문가가 직접 등록할 수 있다. 1개의 '생태모방 기능 인과모델'은 1개의 생물학적 시스템에 대한 특질을 구술하고 있다.
본 명세서에서 정보의 정확성을 담보한다는 것은, 곧 '생태모방 기능 인과모델'의 정확성을 담보한다는 것과 상통한다.
하이브리드 솔루션을 이용하여, '생물학적 시스템 문서' 1개에 대하여 정확성 평가를 진행한다.
(1) 새롭게 저장된 '생물학적 시스템 문서' 및 (2) 사용자들이 에러 리포트를 a개 이상 보낸 '생태모방 기능 인과모델'을 색인하는데 사용된 '생물학적 시스템 문서', (3) 재평가가 필요하다고 판단된 '생물학적 시스템 문서'[앞서 수행된 정확성 평가에서 재평가 필요하다고 평가된 '생물학적 시스템 문서']가 정확성 평가 대상이 된다.
이 때 a의 값은 시스템 개선 목적으로 진행되는 전문가 True/False 평가 결과 및 평가 효율성(시간 및 비용 지표)에 의해 가감될 수 있다.
정확성 평가 대상이 되는 '생물학적 시스템 문서'를 선정하는 룰(규칙)은 시스템 운영 상황에 따라 변화될 수 있다.
'생물학적 시스템 문서'의 작성에 관여하지 않은 전문가 N명에 대해 '생물학적 시스템 문서'의 정확성 평가를 의뢰한다.
N수는 시스템 개선 목적으로 진행되는 전문가 True/False평가 결과 및 평가 효율성(시간 및 비용 지표)에 의해 가감될 수 있다.
전문가를 선별하는 시스템은, 해당 '생물학적 시스템 문서'의 내용과 학술분야의 관계를 확률 기반의 기계학습으로 주제 분석한 뒤, 관계가 높다고 판단된 분야의 전문가들로 우선 선출한다.
정확성 평가에서는 True/Neutral/False를 평가할 수 있다.
Neutral 및 False로 평가를 내린 경우, 그 이유를 자유롭게 자연어로 기재한다.
N명 중 X% 이상이 평가를 완료하면, 시스템은 그 결과의 다수 의견을 반영(다수결)하여 해당 '생물학적 시스템 문서'를 남길 것인지 결정한다.
이 때, X%의 Threshold값은 시스템 개선 목적으로 진행되는 전문가 True/False 평가 결과 및 평가 효율성(시간 및 비용 지표)에 의해 가감될 수 있다.
이 때, 다수결 판단은 예를 들어 True의 경우 2점, Neutral의 경우 1점, False의 경우 0점으로 하여 점수로 환산, 총 응답을 합산하여 계산한다.
최근 Z개월(month) 내 첫번째 재평가 대상인 경우는 다음과 같다.
(1-1) 합산 결과가 (1.5N, 2N] 사이인 경우
Figure pat00001
해당 '생물학적 시스템 문서'의 정보가 '생물학적 시스템 문서 DB'에서 삭제되지 않고, 또한 해당 '생물학적 시스템 문서'로부터 색인된 '생태모방 기능 인과모델'이 '생태모방 지식기반'에서 삭제되지 않고, 사용자 검색 결과로 출력된다.
(1-2) 합산 결과가 (N, 1.5N] 사이인 경우
Figure pat00002
해당 '생물학적 시스템 문서'의 정보가 '생물학적 시스템 문서 DB'에서 삭제되지 않고, 또한 해당 '생물학적 시스템 문서'로부터 색인된 '생태모방 기능 인과모델'이 '생태모방 지식기반'에서 삭제되지 않고, 사용자 검색 결과로 출력된다. 그러나 재평가 필요 대상으로 분류되어, 이번 평가에 참여하지 않은 N수의 전문가들에 대해 다시 재평가 수행한다.
(1-3) 합산 결과가 [0, N] 사이인 경우
Figure pat00003
해당 '생물학적 시스템 문서'의 정보가 '생물학적 시스템 문서 DB'에서 삭제되지 않고, 또한 해당 '생물학적 시스템 문서'로부터 색인된 '생태모방 기능 인과모델'이 '생태모방 지식기반'에서 삭제되지 않으나, 지식기반에 대한 검색 결과로 출력되지 않는다. 재평가 필요 대상으로 분류되어, 이번 평가에 참여하지 않은 N수의 전문가들에 대해 재평가 수행한다.
최근 Z개월 내 두번째 재평가 대상인 경우는 다음과 같다.
(2-1) 합산 결과가 (1.5N, 2N] 사이인 경우
Figure pat00004
해당 '생물학적 시스템 문서'의 정보가 '생물학적 시스템 문서 DB'에서 삭제되지 않고, 또한 해당 '생물학적 시스템 문서'로부터 색인된 '생태모방 기능 인과모델'이 '생태모방 지식기반'에서 삭제되지 않고, 사용자 검색 결과로 출력된다.
(2-2) 합산 결과가 (N, 1.5N] 사이인 경우
Figure pat00005
1차 평가 N개 결과 및 2차 평가 N개 결과에서 수집된 평가 이유 전문가 응답(자연어 응답)건에 대해 확률 기반 기계학습 수행한다. Tfidf(Term Frequency - Inverse Document Frequency) 및 주제평가(LDA)를 통해서 산출된 일치율에 따라 다음과 같이 처리된다.
(2-2-1) 일치율 [0, Y%)인 경우
Figure pat00006
해당 '생물학적 시스템 문서'의 정보가 '생물학적 시스템 문서 DB'에서 삭제되지 않고, 또한 해당 '생물학적 시스템 문서'로부터 색인된 '생태모방 기능 인과모델'이 '생태모방 지식기반'에서 삭제되지 않고, 지식기반에 대한 검색 결과로 출력된다. 추가 재평가 수행하지 않는다.
(2-2-2) 일치율 [Y%, 1]인 경우
Figure pat00007
해당 '생물학적 시스템 문서'의 정보를 '생물학적 시스템 문서 DB'에서 삭제하고, 또한 해당 문서로부터 색인되어 생성된 '생태모방 기능 인과모델'도 '생태모방 지식기반'에서 삭제한다. 원 등록자에 회부한다.
(2-3) 합산 결과가 [0, N] 사이인 경우
Figure pat00008
해당 '생물학적 시스템 문서’의 정보를 '생물학적 시스템 문서 DB'에서 삭제하고, 또한 해당 문서로부터 색인되어 생성된 '생태모방 기능 인과모델’도 '생태모방 지식기반’에서 삭제한다. 원 등록자에 회부한다.
상기 평가 및 재평가 알고리즘에서, 판단 '구간'은 평가 결과들을 시스템 개선 목적으로 진행되는 전문가 True/False평가 결과 및 평가 효율성(시간 및 비용 지표)에 의해 가감될 수 있다.
Z개월 수의 값은, 평가 결과들을 시스템 개선 목적으로 진행되는 전문가 True/False평가 결과 및 평가 효율성(시간 및 비용 지표)에 의해 가감될 수 있다.
전술한 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (2)

  1. 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치에 의해 수행되는 방법으로서,
    (a) 평가 대상이 되는 생물학적 시스템 문서에 대해 전문가 N명에게 정확성 평가를 의뢰하여 True, Neutral, False로 구분되고, 각각 2점, 1점, 0점으로 환산되는 평가 결과를 수신하는 단계; 및
    (b) 상기 정확성 평가의 횟수와 상기 평가 결과의 합산 결과에 따라 상기 생물학적 시스템 문서의 삭제 여부를 결정하는 단계를 포함하되,
    상기 단계 (b)에서 상기 정확성 평가가 1차 평가인 경우,
    상기 합산 결과가 1.5N 초과 2N 이하인 경우에는 상기 생물학적 시스템 문서가 생물학적 시스템 DB에서 삭제되지 않고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델이 생태모방 지식 기반에서 삭제되지 않고 사용자 검색 결과로 출력되며,
    상기 합산 결과가 N 초과 1.5N 이하인 경우에는 상기 생물학적 시스템 문서가 생물학적 시스템 DB에서 삭제되지 않고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델이 상기 생태모방 지식 기반에서 삭제되지 않고 사용자 검색 결과로 출력되지만, 2차 평가 대상이 되며,
    상기 합산 결과가 N 이하인 경우에는 상기 생물학적 시스템 문서가 생물학적 시스템 DB에서 삭제되지 않고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델이 상기 생태모방 지식 기반에서 삭제되지 않지만 사용자 검색 결과로 출력되지 않고, 2차 평가 대상이 되는 것을 특징으로 하는 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 방법.
  2. 제1항에 있어서,
    상기 단계 (b)에서 상기 정확성 평가가 상기 2차 평가인 경우,
    상기 합산 결과가 1.5N 초과 2N 이하인 경우에는 상기 생물학적 시스템 문서가 상기 생물학적 시스템 DB에서 삭제되지 않고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델이 상기 생태모방 지식 기반에서 삭제되지 않고 사용자 검색 결과로 출력되며,
    상기 합산 결과가 N 이하인 경우에는 상기 생물학적 시스템 문서를 상기 생물학적 시스템 DB에서 삭제하고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델을 상기 생태모방 지식 기반에서 삭제하며,
    상기 합산 결과가 N 초과 1.5N 이하인 경우에는 상기 1차 평가와 상기 2차 평가에서 수집된 전문가 자연어 응답에 대해 확률 기반 기계학습을 수행하여 Tfidf(Term Frequency - Inverse Document Frequency) 및 주제평가(LDA)를 통해 일치율을 산출하고,
    상기 일치율이 임계치 미만인 경우에는 상기 생물학적 시스템 문서가 상기 생물학적 시스템 DB에서 삭제되지 않고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델이 상기 생태모방 지식 기반에서 삭제되지 않고 사용자 검색 결과로 출력되며, 추가 재평가를 수행하지 않고,
    상기 일치율이 임계치 이상인 경우에는 상기 생물학적 시스템 문서를 상기 생물학적 시스템 DB에서 삭제하고, 상기 생물학적 시스템 문서로부터 색인된 생태모방 기능 인과모델을 상기 생태모방 지식 기반에서 삭제하는 것을 특징으로 하는 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 방법.
KR1020200026778A 2020-03-03 2020-03-03 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법 KR20210111620A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200026778A KR20210111620A (ko) 2020-03-03 2020-03-03 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026778A KR20210111620A (ko) 2020-03-03 2020-03-03 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210111620A true KR20210111620A (ko) 2021-09-13

Family

ID=77796781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026778A KR20210111620A (ko) 2020-03-03 2020-03-03 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210111620A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651282B1 (ko) 2023-11-16 2024-03-25 국립생태원 생태모방지식 서비스 시스템 및 생태모방지식 서비스 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125093A (ko) 2014-04-29 2015-11-09 광주과학기술원 유전자와 질병간의 관계를 포함하는 문장 검색 엔진

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125093A (ko) 2014-04-29 2015-11-09 광주과학기술원 유전자와 질병간의 관계를 포함하는 문장 검색 엔진

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651282B1 (ko) 2023-11-16 2024-03-25 국립생태원 생태모방지식 서비스 시스템 및 생태모방지식 서비스 제공 방법

Similar Documents

Publication Publication Date Title
Pedraza-Fariña et al. A network theory of patentability
Faliagka et al. An integrated e‐recruitment system for automated personality mining and applicant ranking
US9268766B2 (en) Phrase-based data classification system
Delavari et al. Data mining application in higher learning institutions
CN109299245B (zh) 知识点召回的方法和装置
CN107993019B (zh) 一种简历评估方法及装置
Baker et al. The verification of ecological citizen science data: current approaches and future possibilities
Gross et al. Systemic test and evaluation of a hard+ soft information fusion framework: Challenges and current approaches
Liu et al. Scientific elites versus other scientists: who are better at taking advantage of the research collaboration network?
Hunter et al. A knowledge-based approach to merging information
CN113157871A (zh) 应用人工智能的新闻舆情文本处理方法、服务器及介质
KR20210111620A (ko) 전문가 평가를 활용한 생물학적 시스템 정보 저장 및 정확성 보정 장치 및 방법
Huang et al. Reviewing rounds prediction for code patches
Keskin et al. Cohort fertility heterogeneity during the fertility decline period in Turkey
Zhao et al. A DEMATEL and consensus based MCGDM approach for with multi-granularity hesitant fuzzy linguistic term set
CN115292167A (zh) 生命周期预测模型构建方法、装置、设备及可读存储介质
Turzo et al. Towards Automated Classification of Code Review Feedback to Support Analytics
CN108182513B (zh) 一种简历评估方法及装置
CN111681743A (zh) 业务对象推荐方法、系统及装置
Belete et al. A Deep Learning Approaches for Modeling and Predicting of HIV Test Results Using EDHS Dataset
KR20190097915A (ko) 네트워크 기반의 유망 융합기술 발굴 장치 및 방법, 이를 기록한 기록매체
CN108876031B (zh) 一种软件开发者贡献值预测方法
Shanmugarajah et al. WoKnack–A Professional Social Media Platform for Women Using Machine Learning Approach
Batmunkh Development of artificial intelligence models for the enrichment and exploitation of geospatial data in the built environment
Nordmann et al. Capability of chatbots powered by large language models to support the screening process of scoping reviews: a feasibility study

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application