KR102326740B1 - 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치 - Google Patents

자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치 Download PDF

Info

Publication number
KR102326740B1
KR102326740B1 KR1020210056262A KR20210056262A KR102326740B1 KR 102326740 B1 KR102326740 B1 KR 102326740B1 KR 1020210056262 A KR1020210056262 A KR 1020210056262A KR 20210056262 A KR20210056262 A KR 20210056262A KR 102326740 B1 KR102326740 B1 KR 102326740B1
Authority
KR
South Korea
Prior art keywords
expert
evaluation
artificial intelligence
inference
result
Prior art date
Application number
KR1020210056262A
Other languages
English (en)
Other versions
KR102326740B9 (ko
Inventor
김원태
강신욱
이명재
김동민
이정현
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Priority to KR1020210056262A priority Critical patent/KR102326740B1/ko
Application granted granted Critical
Publication of KR102326740B1 publication Critical patent/KR102326740B1/ko
Publication of KR102326740B9 publication Critical patent/KR102326740B9/ko
Priority to PCT/KR2022/006212 priority patent/WO2022231392A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 전문가 평가에 기반하여 기계 학습을 수행하기 위한 방법 및 장치에 대한 것으로, 인공지능 플랫폼을 제공하는 서버의 동작 방법은, 사용자 장치로부터 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 수신하는 단계, 상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 추론 결과를 획득하는 단계, 상기 추론 결과를 포함하는 추론 결과 메시지를 상기 사용자 장치에게 송신하는 단계, 상기 추론 결과를 포함하는 평가 요청 메시지를 전문가 장치에게 송신하는 단계, 상기 전문가 장치로부터 상기 추론 결과에 대한 전문가 평가를 포함하는 평가 결과 메시지를 수신하는 단계, 및 상기 전문가 평가에 기반하여 생성된 학습 데이터를 이용하여 상기 인공지능 모델에 대한 재학습을 수행하는 단계를 포함할 수 있다.

Description

자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치{METHOD AND APPARATUS FOR IMPLEMENTING AUTOMATIC EVOLUTION PLATFORM THROUGH AUTOMATIC MACHINE LEARNING}
본 발명은 인공지능(artificial intelligence, AI) 모델의 학습에 관한 것으로, 특히, 자동 기계학습을 통한 자동 진화형 플랫폼 구현을 위한 방법 및 장치에 대한 것이다.
인공지능(Artificial Intelligence, AI)은 인간의 지능으로 가능한 사고, 학습 및 분석 등을 컴퓨터 등의 기계가 수행하는 것을 의미한다. 최근 이러한 AI를 의료 산업에 접목하는 기술이 증가하고 있는 실정이다. 인공 신경망(Artificial Neural Network, ANN)은 기계 학습(machine learning)을 구현하는 기법들 중 하나이다.
일반적으로 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이루어져 있다. 각 계층들은 뉴런(neuron)들로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력 값을 다음 단계 계층의 뉴런들에게 전달한다.
이러한 인공 신경망은 학습(예: 기계 학습(machine learning), 딥 러닝(deep learning) 등)에 의해 형성될 수 있다. 이때, 학습을 위한 학습 데이터의 선택, 학습의 횟수 등에 따라 인공 신경망의 성능은 달라질 수 있다. 이에, 현재에도 인공 신경망의 성능을 개선하기 위한 다양한 학습 기술들이 연구 중에 있다.
본 발명은 인공지능 모델에 대한 학습을 효과적으로 수행하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 전문가 평가에 기반하여 인공지능 모델에 대한 학습을 수행하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 자동 기계 학습을 통한 자동 진화형 플랫폼을 제공하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 자동화된 인공지능 모델의 성능 고도화를 제공하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 특정 데이터에 대해 인공지능 모델이 추론한 결과와 전문가가 평가한 결과를 비교하여 인공지능 모델 재학습을 위한 데이터를 자동으로 생성하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 재학습을 거쳐 새롭게 생성된 인공지능 모델의 추론 성능을 평가하여 인공지능 모델의 성능을 자동으로 개선하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 전문가의 평가 결과가 반영된 인공지능 모델 재학습용 데이터의 자동 생성 및 재학습을 거쳐 새롭게 생성된 인공지능 모델의 추론 성능을 평가하고, 인공지능 모델의 성능을 자동으로 개선하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼을 제공하는 서버의 동작 방법은, 사용자 장치로부터 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 수신하는 단계, 상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 추론 결과를 획득하는 단계, 상기 추론 결과를 포함하는 추론 결과 메시지를 상기 사용자 장치에게 송신하는 단계, 상기 추론 결과를 포함하는 평가 요청 메시지를 전문가 장치에게 송신하는 단계, 상기 전문가 장치로부터 상기 추론 결과에 대한 전문가 평가를 포함하는 평가 결과 메시지를 수신하는 단계, 및 상기 전문가 평가에 기반하여 생성된 학습 데이터를 이용하여 상기 인공지능 모델에 대한 재학습을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 전문가 평가는, 상기 인공지능 모델을 이용한 추론 결과의 수락 여부, 상기 추론 결과의 수정 여부, 상기 추론 결과에 대해 수정된 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 방법은, 상기 추론 결과 및 상기 전문가 평가를 비교하고, 비교 결과에 따라 상기 추론 결과 및 전문가 평가를 합성함으로써 학습 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 학습 데이터는, 상기 추론 결과 및 상기 전문가 평가가 서로 다른 경우, 상기 입력 데이터 및 상기 전문가 평가를 포함하는 라벨링된 학습 데이터를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 인공지능 모델은 다른 전문가 평가에 기반하여 재학습된 상태이며, 상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 방법은, 상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되는지 확인하는 단계, 및 상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되면, 상기 학습 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 방법은, 재학습된 인공지능 모델의 성능을 검증하는 단계, 및 성능 검증 기준을 통과한 경우, 재학습된 인공지능 모델을 다음 추론 동작을 위해 적용하는 단계를 더 포함하며, 상기 성능 검증 기준은, 평균 정밀도(average precision), 민감도(sensitivity), 특이도(specificity), 재현율(recall) 중 적어도 하나가 적어도 하나의 임계치 조건을 만족하는 것을 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 인공지능 모델에 대한 재학습을 수행하는 단계는, 전문가 평가에 기반한 학습 데이터의 개수를 확인하는 단계, 및 상기 학습 데이터의 개수가 임계치 이상이면, 상기 재학습을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼을 이용하는 장치의 동작 방법은, 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 서버에게 송신하는 단계, 상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 획득된 추론 결과를 포함하는 추론 결과 메시지를 상기 서버로부터 수신하는 단계, 및 상기 추론 결과를 표시하는 단계를 포함하며, 상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼에 전문가 평가를 제공하는 장치의 동작 방법은, 인공지능 모델을 이용하여 추론을 수행함으로써 획득된 추론 결과를 포함하는 평가 요청 메시지를 상기 서버로부터 수신하는 단계, 상기 추론 결과에 대한 평가를 입력하기 위한 인터페이스를 표시하는 단계, 상기 인터페이스를 통해 입력되는 평가 데이터를 확인하는 단계, 상기 평가 데이터를 포함하는 전문가 평가를 포함하는 평가 결과 메시지를 상기 서버에게 송신하는 단계를 포함하며, 상기 인터페이스는, 출력 항목으로서 결과 창, 분류(classification) 창, 확률(probability) 창을 포함하고, 입력 항목으로서 수락(accept) 버튼, 거절(decline) 버튼, 저장(save) 버튼, 주석 툴(annotation tool) 버튼을 포함할 수 있다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼을 제공하는 서버는, 통신부, 및 프로세서를 포함하고, 상기 프로세서는, 사용자 장치로부터 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 수신하고, 상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 추론 결과를 획득하고, 상기 추론 결과를 포함하는 평가 요청 메시지를 전문가 장치에게 송신하고, 상기 전문가 장치로부터 상기 추론 결과에 대한 전문가 평가를 포함하는 평가 결과 메시지를 수신하고, 상기 전문가 평가에 기반하여 생성된 학습 데이터를 이용하여 상기 인공지능 모델에 대한 재학습을 수행하도록 제어하며, 상기 프로세서는, 상기 추론 동작 및 상기 전문가 평가의 획득을 제어하는 상기 인공지능 플랫폼, 상기 추론 결과 및 상기 전문가 평가를 분류하여 저장하는 데이터 저장소, 및 상기 추론 결과 및 상기 전문가 평가의 획득을 모니터링하고, 재학습을 제어하는 감시자를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 전문가 평가는, 상기 인공지능 모델을 이용한 추론 결과의 수락 여부, 상기 추론 결과의 수정 여부, 상기 추론 결과에 대해 수정된 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 감시자는, 상기 추론 결과 및 상기 전문가 평가를 비교하고, 비교 결과에 따라 상기 추론 결과 및 전문가 평가를 합성함으로써 학습 데이터를 생성할 수 있다.
본 발명의 일 실시 예에 따라, 상기 학습 데이터는, 상기 추론 결과 및 상기 전문가 평가가 서로 다른 경우, 상기 입력 데이터 및 상기 전문가 평가를 포함하는 라벨링된 학습 데이터를 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 인공지능 모델은 다른 전문가 평가에 기반하여 재학습된 상태이며, 상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 감시자는, 상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되는지 확인하고, 상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되면, 상기 학습 데이터를 생성할 수 있다.
본 발명의 일 실시 예에 따라, 상기 감시자는, 재학습된 인공지능 모델의 성능을 검증하고, 상기 인공지능 플랫폼은, 성능 검증 기준을 통과한 경우, 재학습된 인공지능 모델을 다음 추론 동작을 위해 적용하며, 상기 성능 검증 기준은, 평균 정밀도(average precision), 민감도(sensitivity), 특이도(specificity), 재현율(recall) 중 적어도 하나가 적어도 하나의 임계치 조건을 만족하는 것을 포함할 수 있다.
본 발명의 일 실시 예에 따라, 상기 감시자는, 전문가 평가에 기반한 학습 데이터의 개수를 확인하고, 상기 학습 데이터의 개수가 임계치 이상이면, 상기 재학습을 수행할 수 있다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼을 이용하는 장치는, 통신부, 및 프로세서를 포함하고, 상기 프로세서는, 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 서버에게 송신하고, 상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 획득된 추론 결과를 포함하는 추론 결과 메시지를 상기 서버로부터 수신하고, 상기 추론 결과를 표시하도록 제어하며, 상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른, 인공지능 플랫폼에 전문가 평가를 제공하는 장치는, 통신부, 및 프로세서를 포함하고, 상기 프로세서는, 인공지능 모델을 이용하여 추론을 수행함으로써 획득된 추론 결과를 포함하는 평가 요청 메시지를 상기 서버로부터 수신하고, 상기 추론 결과에 대한 평가를 입력하기 위한 인터페이스를 표시하고, 상기 인터페이스를 통해 입력되는 평가 데이터를 확인하고, 상기 평가 데이터를 포함하는 전문가 평가를 포함하는 평가 결과 메시지를 상기 서버에게 송신하도록 제어하며, 상기 인터페이스는, 출력 항목으로서 결과 창, 분류(classification) 창, 확률(probability) 창을 포함하고, 입력 항목으로서 수락(accept) 버튼, 거절(decline) 버튼, 저장(save) 버튼, 주석 툴(annotation tool) 버튼을 포함할 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 보다 효과적으로 유전자와 의료 정보를 분석하고, 관련 질병에 대응하기 위한 의약 물질이 보다 효과적으로 개발될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 모델을 운용하기 위한 망 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 인공지능 모델의 추론 및 학습 시스템을 도시한다.
도 4a는 본 발명의 일 실시 예에 따른 인공지능 플랫폼의 기능적 구조를 도시한다.
도 4b는 본 발명의 일 실시 예에 따른 인공지능 플랫폼에서 예측 모델 블록의 입력 데이터 및 출력 데이터의 예를 도시한다.
도 5a는 본 발명의 일 실시 예에 따른 전문가 평가를 위한 인터페이스의 예를 도시한다.
도 5b는 본 발명의 일 실시 예에 따른 전문가 평가를 위한 인터페이스에 추론 결과가 표시되는 예를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 데이터 저장소의 기능적 구조를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 감시자의 기능적 구조를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 모델 검증에 따른 인공지능 모델의 갱신 절차를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 추론 및 재학습을 위한 절차의 예를 도시한다.
도 10은 본 발명의 일 실시 예에 따른 추론 결과를 제공하는 서버의 동작 방법의 예를 도시한다.
도 11은 본 발명의 일 실시 예에 따른 추론 결과에 대한 평가를 요청하는 서버의 동작 방법의 예를 도시한다.
도 12는
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 인공지능 모델의 성능 확보를 위해 학습을 수행하는 기술에 대해 제안한다. 구체적으로, 본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 자동화된 인공지능 모델의 성능 고도화를 제공하는 통합적 방법에 관한 것이다. 보다 구체적으로, 본 발명은 특정 데이터에 대해 인공지능 모델이 추론한 결과와 전문가가 평가한 결과를 비교하여 인공지능 모델 재학습을 위한 데이터를 자동으로 생성하고, 재학습을 거쳐 새롭게 생성된 인공지능 모델의 추론 성능을 평가하여 인공지능 모델의 성능을 자동으로 개선하는 기술에 관한 것이다. 즉, 본 발명은 자동 기계 학습을 통한 자동 진화형 플랫폼을 구현하는 기술에 관련된다.
인공지능 모델의 성능 고도화를 위해서, 인공지능 모델의 추론 결과에 대한 전문가의 평가 결과 데이터를 수집하고, 인공지능 학습을 위한 데이터로 변환하는 절차가 필요하다. 예를 들어, 의료 분야에서 종양을 탐지하는 인공지능 모델의 성능 고도화를 진행하고자 하는 경우, 모델 재학습을 위해 인공지능 모델이 탐지한 종양 영역을 표현하는 데이터와 전문가가 평가한 종양 영역을 표현하는 데이터가 필요하고, 두 데이터를 비교하여 인공지능 학습을 위한 데이터로 변환하는 작업이 필요하다.
현존하는 방식에 따르면, 인공지능 추론 결과와 전문가 평가 결과를 별도로 생성하고, 결과 데이터를 확인 후 변환해야 했기 때문에 많은 시간과 노력이 소요된다. 또한, 인공지능 모델을 사용하는 플랫폼과 성능 고도화를 위한 플랫폼이 서로 분리되어 있어서 성능 고도화를 완료한 모델을 수동으로 적용해야 하는 등의 비효율성이 존재한다. 따라서 인공지능 모델의 사용부터 인공지능 모델 재학습 데이터 생성 및 성능 고도화까지 이르는 통합적인 방법의 개발이 필요한 시점이다.
이에 본 발명은 전술한 문제점을 해결하기 위하여, 인공지능 모델 사용 과정에서 전문가의 평가 데이터를 수집하는 동시에 자동으로 인공지능 모델 학습용 데이터를 생성하고, 생성된 모델에 대해 성능 고도화 및 성능 검증을 수행할 수 있는 통합적인 방안을 제안한다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 모델을 운용하기 위한 망 구조를 도시한다.
도 1을 참고하면, 인공지능 모델을 운용하기 위한 망은 통신망에 연결된 사용자 장치(110a), 사용자 장치(110b), 서버(120)을 포함한다. 도 1은 2개의 사용자 장치들(110a, 110b)를 예시하였으나, 3개 이상의 사용자 장치들이 존재할 수 있다.
사용자 장치(110a) 및 사용자 장치(110b)는 인공지능 모델을 활용하여 추론(inference)을 수행하고자 하는 사용자에 의해 사용된다. 사용자 장치(110a) 및 사용자 장치(110b)는 입력 데이터를 획득하고, 입력 데이터를 통신 망을 통해 서버(120)로 송신할 수 있고, 서버(120)로부터 분석의 결과를 포함하는 데이터를 수신할 수 있다. 사용자 장치들(110a, 110b) 각각은 통신을 위한 통신부, 데이터, 프로그램을 저장하는 저장부, 정보를 표시하기 위한 표시부, 사용자의 입력을 위한 입력부, 제어를 위한 프로세서를 포함할 수 있다.
서버(120)는 본 발명의 실시 예들에 따른 인공지능 모델 플랫폼을 제공한다. 서버(120)는 분석 또는 추론을 위해 인공 신경망을 포함하는 인공지능 모델을 가지며, 인공지능 모델을 운용할 수 있다. 본 발명에 적용 가능한 인공 신경망의 일 예는 이하 도 2를 참고하여 설명된다. 또한, 서버(120)는 학습 데이터를 이용하여 인공지능 모델을 위한 학습을 수행할 수 있다. 특히, 본 발명의 실시 예들에 따라, 서버(120)는 전문가 평가를 수집하고, 전문가 평가 기반의 학습을 수행할 수 있다. 여기서, 서버(120)는 로컬 네트워크에 존재하는 로컬 서버이거나, 외부 망을 통해 연결되는 원격 접속 서버(예: 클라우드 서버)일 수 있다. 서버(120)는 통신을 위한 통신부, 데이터, 프로그램을 저장하는 저장부, 제어를 위한 프로세서를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다. 도 2를 참고하면, 인공 신경망은 입력 계층(input layer)(210), 적어도 하나의 은닉 계층(hidden layer)(220), 출력 계층(output layer)(230)으로 이루어진다. 계층들(210, 220, 230) 각각은 복수의 노드(node)들로 구성되어 있으며, 노드들 각각은 이전 계층에 속한 적어도 하나의 노드의 출력과 연결되어 있다. 각 노드는 이전 계층의 노드들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 후, 비선형(non-linear)인 활성화 함수(activation function)와 곱한 출력 값을 다음 계층의 적어도 하나의 뉴런에게 전달한다.
본 발명의 다양한 실시 예에서 사용되는 인공 신경망 모델은 완전 합성곱 신경망(fully convolutional neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
본 발명의 다양한 실시 예들에 따라, 인공지능 플랫폼, 격리된 데이터 저장소, 감시자(watcher)를 적용한 인공지능 모델 재학습용 데이터 수집 및 생성, 인공지능 모델의 자동화된 성능 고도화 및 성능 평가를 위한 통합적인 시스템이 제공될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 인공지능 모델의 추론 및 학습 시스템을 도시한다. 도 3은 도 1에 예시된 망 구조에서 운용 가능한 본 발명의 실시 예에 따른 시스템의 기능적 구성요소들을 예시한다. 도 3에 예시된 구성요소들은 하나의 하드웨어 장치(예: 서버(120)) 또는 복수의 하드웨어 장치에 의해 구현될 수 있다.
도 3을 참고하면, 시스템은 인공지능 플랫폼(AI plaform)(310), 데이터 저장소(data storage)(320), 감시자(watcher)(330)를 포함한다. 인공지능 플랫폼(310), 데이터 저장소(320), 감시자(330)는 도 1의 서버(120)에 구현되거나, 또는 별도의 하드웨어 장치에서 구현될 수 있다.
인공지능 플랫폼(310)은 인공지능 모델을 사용하기 위한 플랫폼이다. 인공지능 플랫폼(310)은 인공지능 모델에 데이터를 할당하고, 인공지능 모델에 의한 추론 결과를 출력으로 확인할 수 있는 GUI(graphic user interface), CLI(command line interface) 등 다양한 형태의 환경으로 구성될 수 있다. 또한, 인공지능 모델 사용 과정에서, 인공지능 플랫폼(310)은 전문가의 평가 결과를 수집하고, 인공지능 모델 성능 고도화를 위한 학습 데이터를 구축할 수 있다.
데이터 저장소(320)는 원본 데이터, 인공지능 모델의 추론 결과, 전문가의 평가 결과를 저장하기 위한 저장 장치이다. 데이터 저장소(320)는 다양한 사용자 및 프로젝트를 구분하기 위해 별도로 분리된 하위 저장소들로 구성될 수 있다. 데이터 저장소(320)는 '격리된 데이터 저장소'라 지칭될 수도 있다.
감시자(330)는 인공지능 모델의 성능 고도화를 위한 재학습 과정 수행 프로세스를 할당하는 자동화 방법, 장치 또는 프로그램이다. 감시자(330)는 원본 데이터, 인공지능 모델의 추론 결과, 전문가의 평가 결과가 격리된 데이터 저장소에 업로드되는 것을 감시할 수 있다. 감시자(330)는 업로드가 완료되는 시점에서 인공지능 모델의 추론 결과와 전문가의 평가 결과를 비교하여 인공지능 모델 학습을 위한 데이터를 생성할 수 있다.
이하, 인공지능 플랫폼(310), 데이터 저장소(320), 감시자(330) 각각의 기능적 구조를 도시한 도면들을 참고하여, 각 엔티티의 동작들 및 엔티티들 간 상호작용이 설명된다.
도 4a는 본 발명의 일 실시 예에 따른 인공지능 플랫폼의 기능적 구조를 도시한다. 도 4a를 참고하면, 인공지능 플랫폼(310)은 예측 모델(prediction model) 블록(412), 전문가 검사(expert check) 블록(414)를 포함한다.
예측 모델 블록(412)은 입력 데이터(input data)로부터 예측 모델 결과(prediction model result)를 생성한다. 다시 말해, 예측 모델 블록(412)은 입력 데이터에 대한 인공지능 모델의 추론 결과를 제공한다. 인공지능 모델의 추론 결과는 원본 데이터 위에 바운딩 박스(bounding box) 또는 히트 맵(heat map) 형태로 그려지거나, 또는 확률값, 분류 카테고리 등 다양한 형태로 제공될 수 있다. 예측 모델 블록(412)으로 제공되는 입력 데이터 및 출력 데이터의 일 예는 도 4b와 같다.
도 4b는 본 발명의 일 실시 예에 따른 인공지능 플랫폼에서 예측 모델 블록의 입력 데이터 및 출력 데이터의 예를 도시한다. 도 4b는 일 실시 예에 따른 시스템에 의료 분야에 적용된 경우의 입력/출력 데이터를 예시한다. 도 4b를 참고하면, 입력 데이터로서 의료 영상(480)이 제공될 수 있다. 도 4b의 예에서, 의료 영상(480)은 폐의 CT(computerized tomograph) 영상이다. 이 외에도, 입력 데이터로서 MRI(magnetic resonance imaging) , X-선(x-ray) 영상이 사용될 수 있다. 예측 모델 블록(412)은 입력된 의료 영상(480)을 분석하고, 병변 영역을 탐지하고, 해당 영역에 좌표 정보 및 병변의 분류, 병변일 확률값을 출력한다. 이에 따라, 출력 데이터는 의료 영상에서 병변 위치를 표시하는 바운딩 박스(492), 확률 값(494), 분류 정보(496)을 포함할 수 있다.
전문가 검사 블록(414)은 전문가 평가에 기반하여 예측 모델 결과의 정확도를 판단한다. 구체적으로, 전문가 검사 블록(414)은 인공지능 모델의 추론 결과에 대한 전문가의 평가를 추가적으로 입력받고, 데이터 저장소(320)로 원본 데이터, 인공지능의 모델 추론 결과, 전문가 평가를 전송한다. 전문가 평가는 전문가 지위를 가지는 사용자가 접근 가능한 장치(이하 '전문가 장치'로 칭함)로부터 획득될 수 있다. 전문가 장치는 인공지능 플랫폼(310)이 운용되는 장치(이하 '플랫폼 장치'라 칭함)일 수 있고, 또는 별개의 장치(예: 스마트폰, 개인PC 등)일 수 있다. 전문가 장치가 플랫폼 장치와 별도의 장치인 경우, 플랫폼 장치 및 전문가 장치 간 전문가 평가를 획득하기 위한 시그널링 절차가 수행될 수 있다.
도 5a는 본 발명의 일 실시 예에 따른 전문가 평가를 위한 인터페이스의 예를 도시한다. 도 5a는 인공지능 플랫폼(310)에 의해 생성된 추론 결과를 전문가가 평가하기 위해 제공되는 인터페이스를 예시한다.
도 5를 참고하면, 인터페이스는 추론 결과를 나타내는 출력 항목으로서 AI 결과 창(510), 분류(classification) 창(520), 확률(probability) 창(530)을 포함한다. 또한, 인터페이스는 전문가의 입력을 위한 항목들로서, 수락(accept) 버튼(542), 거절(decline) 버튼(544), 저장(save) 버튼(546), 주석 툴(annotation tool) 버튼(550)을 포함한다.
AI 결과 창(510)을 통해 인공지능 모델의 추론 결과가 표시된다. 추론 결과의 보다 상세한 정보로서, 분류 창(520), 확률 창(530)을 통해 분류 카테고리 정보, 확률 값이 더 표시될 수 있다.
수락 버튼(542)는 인공지능 모델의 추론 결과가 정확하다는 피드백을 위한 입력 항목이다. 즉, 전문가의 평가는 인공지능 모델의 추론 결과가 정확한 경우, 수락 버튼(542)을 클릭함으로써 획득될 수 있다. 거절 버튼(544)은 인공지능 모델의 추론 결과가 부정확하다는 피드백을 위한 입력 항목이다. 즉, 전문가는 거절 버튼(544)을 클릭함으로써 추론 결과가 수정되어야 한다는 피드백을 제공할 수 있다.
저장 버튼(556)은 전문가가 수정한 내용을 저장할 것을 요청하는 입력 항목이다. 주석 툴 버튼(560)은 추론 결과에 수정할 수 있는 주석 툴을 실행하기 위한 입력 항목이다. 주석 툴 버튼(560)이 클릭되면, AI 결과 창(510), 분류 창(520)에 표시된 정보가 수정 가능한 상태로 전환된다. 예를 들어, 이미지의 수정, 이미지의 추가(예: 바운딩 박스의 삭제, 수정, 추가), 분류의 변경 등이 지원될 수 있다. 즉, 인공지능 모델의 추론 결과가 부정확한 경우, 전문가는 플랫폼에서 제공하는 주석 툴 등을 사용하여 바운딩 박스를 새롭게 그리거나, 정확한 분류 카테고리를 선택하거나, 또는 거절의 피드백을 제공할 수 있다.
도 5a와 같은 인터페이스에 추론 결과가 표시되는 일 예는 이하 도 5b와 같다. 도 5b는 본 발명의 일 실시 예에 따른 전문가 평가를 위한 인터페이스에 추론 결과가 표시되는 예를 도시한다. 도 5b는 도 4b와 같은 추론 결과가 표시되는 경우를 예시한다. 도 5b를 참고하면, AI 결과 창(510), 분류 창(520), 확률 창(530)을 통해 추론 결과가 표시된다. 구체적으로, AI 결과 창(510)에 바운딩 박스를 포함한 의료 영상(490)이 표시되고, 분류 창(520)에 분류 정보(496)가 표시되고, 확률 창(530)에 확률 값(494)이 표시될 수 있다. 전문가는 도 5b와 같은 출력 결과에 동의하는 경우 수락(Accept) 버튼을 선택하고, 비동의 하는 경우 거절(Decline) 버튼을 선택할 수 있다. 거절(Decline) 버튼을 선택한 경우, 전문가는 주석 툴(Annotation Tool)을 이용하여 바운딩 박스의 위치를 재조정하는 등의 행위를 할 수 있다. 저장(save) 버튼이 선택되면, 전문가의 의견과 함께 변경된 바운딩 박스의 좌표 정보 등이 저장될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 데이터 저장소의 기능적 구조를 도시한다. 도 6을 참고하면, 데이터 저장소(320)는 복수의 하위 저장 영역들(610-1 내지 610-N)을 포함한다. 예를 들어, 제1 저장 영역(610-1)은 입력 데이터(612-1), 예측 모델 결과(614-1), 전문가 검사 결과(616-1)을 포함한다. 예측 모델 결과(614-1)는 인공지능 플랫폼(310)의 예측 모델 블록(412)의 추론 결과를 포함하고, 전문가 검사 결과(616-1)는 도 5와 같은 인터페이스를 통해 획득된 전문가의 피드백을 포함한다. 하위 저장 영역들(610-1 내지 610-N)은 사용자, 전문가, 프로젝트 등 다양한 기준에 따라 분류될 수 있다. 하위 저장 영역들(610-1 내지 610-N)은 물리적으로 또는 논리적으로 격리된 별도의 저장 공간들을 점유할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 감시자의 기능적 구조를 도시한다.
감시자(330)는 인공지능 플랫폼(310)으로부터의 데이터가 데이터 저장소(320)로 업로드 되는 것을 감시하고, 업로드 완료 시점을 탐지한다. 구체적으로, 데이터 업로드가 시작될 때, 인공지능 플랫폼(310)은 감시자(330)의 큐(queue)(734)에 업로드 시작 메시지를 송신한다. 큐(734)에 메시지가 수신되면,감시자(330)는 데이터 저장소(330)에 해당 데이터 존재 여부를 주기적으로 확인한다. 데이터 저장소(330)에 해당 데이터가 존재하는 것으로 확인되면, 감시자(330)는 업로드가 완료된 것으로 판단할 수 있다.
데이터 저장소(320)로의 업로드가 완료되면, 감시자(330)는 인공지능 모델의 추론 결과(731)와 전문가의 평가 결과(732)를 비교하고, 비교 결과에 기반하여 인공지능 모델 학습을 위한 학습 데이터(735)를 생성한다. 즉, 감시자(330)는 인공지능 플랫폼(310)으로부터 데이터가 데이터 저장소(320)로 업로드 되는 것을 큐(734)를 이용하여 감시하고, 업로드가 완료되면 인공지능 모델의 추론 결과(731)와 전문가의 평가 결과(732)를 비교하여, 인공지능 모델 학습을 위한 데이터를 생성한다. 예를 들어, 인공지능 모델이 생성한 바운딩 박스 영역과 전문가가 검증한 바운딩 박스 영역이 동일한 경우, 감시자(330)는 해당 영역의 좌표값을 추출하고, 좌표값을 인공지능 모델 학습을 위한 데이터로서 사용할 수 있다. 반면, 두 영역들이 다른 경우, 감시자(330)는 전문가가 새롭게 정의한 바운딩 박스 영역의 좌표값을 사용한다.
전술한 과정을 거쳐 생성된 인공지능 모델 학습을 위한 학습 데이터(735)가 사전에 정의한 개수 이상이 되는 등의 기준을 충족할 경우, 인공지능 모델의 성능 고도화를 위한 재학습 과정 수행 프로세스가 할당된다. 이를 위해, 감시자(330)는 학습 데이터(735) 및 입력 데이터(733)를 예측 모델 재훈련 블록(740)으로 제공한다.
도 7에서, 예측 모델 재훈련 블록(740)은 감시자(330)의 외부에 존재하는 것으로 도시되었다. 예측 모델 재훈련 블록(740)은 하나의 독립적인 장치일 수 있고, 또는 다른 장치(예: 플랫폼 장치)에 포함될 수 있다. 또는, 본 발명의 다른 실시 예에 따라, 예측 모델 재훈련 블록(740)은 감시자(330)에 포함될 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 모델 검증에 따른 인공지능 모델의 갱신 절차를 도시한다. 새롭게 학습이 완료된 인공지능 모델의 경우, 이전의 모델보다 성능이 반드시 개선됨을 보정할 수 없다. 따라서, 일 실시 예에 따라, 성능이 저하된 모델로 갱신되는 것을 방지하기 위해, 검증(validation) 블록(850)은 모델 검증을 수행할 수 있다. 검증 블록(850)은 검증용 데이터를 이용하여 측정하는 평균 정밀도(average precision), 민감도(sensitivity), 특이도(specificity), 재현율(recall) 등의 특정 성능 지표를 달성하였는지 검증하는 유닛 테스트(unit test) 등 여러가지 검증 방법에 기반하여 모델 검증을 수행할 수 있다. 검증을 통과한 모델은 새로운 모델(860)로서 인공지능 플랫폼(310)으로 반환되고, 추후의 추론 동작을 위해 예측 모델 블록(412)에 적용된다.
도 9는 본 발명의 일 실시 예에 따른 추론 및 재학습을 위한 절차의 예를 도시한다. 도 9는 사용자 장치(910), 서버(920), 전문가 장치(930) 간 신호 교환을 예시한다. 도 9의 예에서, 서버(920)는 도 3에 예시된 엔티티들을 포함한다.
도 9를 참고하면, S901 단계에서, 사용자 장치(910)는 서버(920)로 추론 요청 메시지를 송신한다. 추론 요청 메시지는 인공지능 모델로의 입력 데이터를 포함한다. 사용자 장치(910)는 사용자의 입력 또는 외부 장치로부터의 수신 등을 통해 입력 데이터를 생성하고, 입력 데이터를 서버(920)로 송신할 수 있다.
S903 단계에서, 서버(920)는 사용자 장치(910)에게 추론 결과 메시지를 송신한다. 추론 결과 메시지는 S901 단계에서 수신되는 입력 데이터로부터 인공지능 모델을 이용하여 추론된 결과를 나타내는 데이터를 포함한다. 즉, 서버(920)의 인공지능 플랫폼은 인공지능 모델을 이용하여 추론을 수행하고, 출력되는 결과를 제공할 수 있다.
S905 단계에서, 서버(920)는 전문가 장치(930)에게 평가 요청 메시지를 송신한다. 평가 요청 메시지는 서버(920)에 의해 도출된 추론 결과에 대한 평가를 요청하는 메시지로서, 추론 결과를 나타내는 데이터를 포함한다.
S907 단계에서, 전문가 장치(930)는 서버(920)에게 평가 결과 메시지를 송신한다. 평가 결과 메시지는 S905 단계에서 수신되는 추론 결과에 대한 전문가의 평가 결과를 나타내는 데이터를 포함한다. 예를 들어, 평가 결과는 수락 여부, 수정 여부, 수정된 정보 중 적어도 하나를 포함할 수 있다.
S909 단계에서, 서버(920)은 재학습을 수행한다. 서버(920)는 전문가 장치(930)로부터 수신된 평가 결과, 서버(920)에 의해 생성된 추론 결과, 사용자 장치(910)로부터 수신된 입력 데이터에 기반하여 사용자 평가 기반의 학습 데이터를 생성하고, 생성된 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행한다. 예를 들어, 서버(920)는 추론 결과 및 평가 결과를 비교하고, 비교 결과에 따라 추론 결과 및 평가 결과를 합성함으로써 학습 데이터를 생성할 수 있다. 이 경우, 학습 데이터는 라벨링된(labeled) 학습 데이터일 수 있다.
도 9를 참고하여 설명한 실시 예에 따라, 사용자는 추론 결과를 획득할 수 있고, 인공지능 모델은 전문가 평가에 기반하여 갱신될 수 있다. 도 9의 경우, 재학습 이후 추론이 수행되는 과정이 도시되지 아니하였다. 하지만, 다시 사용자 장치(910) 또는 다른 사용자 장치로부터의 요청이 발생하면, 재학습을 통해 갱신된 인공지능 모델을 이용하여 추론이 수행되고, 갱신된 인공지능 모델을 이용하여 수행된 추론의 결과가 제공될 수 있다.
이 경우, 서버(920)는 사용자 장치(910)에게 송신되는 추론 결과 메시지에 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보를 포함시킬 수 있다. 이에 따라, 사용자 장치(910)는 추론 결과를 표시할 때, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용한 추론 결과임을 나타내는 지시자(indication)를 함께 표시할 수 있다. 이를 통해, 사용자 장치(910)의 사용자가 느끼는 추론 결과의 신뢰성이 향상될 수 있다.
나아가, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보에 더하여, 서버(920)는 사용자 장치(910)에게 송신되는 추론 결과 메시지에 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수를 더 포함시킬 수 있다. 이에 따라, 사용자 장치(910)는 인공지능 모델의 갱신을 위해 사용된 전문가 평가에 대한 추가적인 정보(예: 전문가에 대한 정보, 반영된 평가의 횟수 등)를 획득할 수 있다. 사용자 장치(910)는 사용자의 요청에 따라 전문가 평가에 대한 추가적인 정보를 더 표시할 수 있으며, 이를 위해, 추론 결과와 함께 추가 정보의 표시를 명령하기 위한 인터페이스 항목(예: 버튼)을 표시하고, 해당 인터페이스 항목의 선택(예: 클릭)에 응하여 추가적인 정보를 표시할 수 있다. 다만, 전문가에 대한 정보는 해당 전문가의 사전 동의가 있는 경우에 한해 제공 및 표시될 수 있다.
도 9를 참고하여 설명한 실시 예에 따라, 서버(920)는 전문가 장치(930)와의 통신을 통해 추론 결과에 대한 전문가 평가를 획득하고, 전문가 평가에 기반하여 인공지능 모델을 갱신할 수 있다. 이때, 사용자 장치(910)의 사용자 역시 전문가일 수 있다. 다시 말해, 사용자 장치(910)가 전문가 장치(930)일 수 있다. 이 경우, 도 9에 도시된 절차에서, S903 단계의 추론 결과 메시지 송신 및 S905 단계의 평가 요청 메시지 송신은 하나의 동작으로 대체될 수 있다. 즉, 본 발명의 다른 실시 예에 따라, 추론을 수행함으로써 추론 결과를 생성한 서버(920)는 사용자 장치(910)에게 추론 결과를 포함하면서 동시에 추론 결과에 대한 평가를 요청하는 메시지를 송신할 수 있다. 이후, 사용자 장치(910)는 추론 결과에 대한 평가를 나타내는 데이터를 포함하는 평가 결과 메시지를 서버(920)에게 송신할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 추론 결과를 제공하는 서버의 동작 방법의 예를 도시한다. 도 10은 인공지능 플랫폼(310)의 동작 방법을 예시한다. 인공지능 플랫폼(310)은 서버(예: 서버(120), 서버(920))에서 구현될 수 있으므로, 이하 본 절차의 동작 주체는 서버로 설명된다.
도 10을 참고하면, S1001 단계에서, 서버는 추론 요청을 수신한다. 추론 요청은 사용자 장치(예: 사용자 장치(110a), 사용자 장치(910))로부터 수신되며, 입력 데이터를 포함한다.
S1003 단계에서, 서버는 임계 기간 내에 인공지능 모델이 갱신될 것이 예상되는지 판단한다. 즉, 서버는 현재 인공지능 모델이 재학습을 통해 갱신되고, 갱신된 새로운 인공지능 모델이 사용되는 시점이 언제인지, 적어도 임계 기간 내에 새로운 인공지능 모델이 사용될 것인지 여부를 예측한다. 예를 들어, 서버는 전문가 평가를 수집한 횟수, 전문가 평가에 기반하여 생성된 학습 데이터의 개수, 전문가 평가에 기반하여 생성된 학습 데이터를 이용한 재학습이 시작되었는지 여부, 전문가 평가에 기반하여 생성된 학습 데이터를 이용한 재학습이 시작된 후 경과된 시간 등에 기반하여 임계 기간 내에 새로운 인공지능 모델이 사용될 것인지 여부를 예측할 수 있다. 일 실시 예에 따라, 전문가 평가에 기반하여 생성된 학습 데이터를 이용한 재학습이 시작되었고, 현재까지의 재학습에 소요된 시간의 평균 값(Ttotal_avg)에서 현재 진행 중인 재학습이 시작된 후 경과된 시간(Tlapse)을 감산한 만큼의 시간 값(Ttotal_avg-Tlapse)이 임계 시간보다 작으면, 서버는 임계 기간 내에 새로운 인공지능 모델이 사용될 것으로 예측할 수 있다.
만일, 임계 기간 내에 인공지능 모델이 갱신될 것이 예상되지 아니하면, S1009 단계에서, 서버는 현재 인공지능 모델 이용하여 추론을 수행한다. 즉, 인공지능 모델의 갱신까지 대기하지 아니하고, 서버는 현재의 인공지능 모델을 이용하여 추론을 수행한다. 이어, 서버는 이하 S1013 단계로 진행한다.
반면, 임계 기간 내에 인공지능 모델이 갱신될 것이 예상되면, S1005 단계에서, 서버는 갱신 예정에 대한 알림을 송신한다. 인공지능 모델의 갱신에 의해 인공지능 모델의 추론 성능이 향상될 것이 기대될 수 있다. 따라서, 사용자에게 더 정확한 추론 결과를 제공받을 수 있는 기회를 제공하기 위해, 서버는 추론 동작을 바로 수행하지 아니하고, 인공지능 모델이 임계 시간 이내에 갱신될 예정에 있음을 알리는 알림 메시지를 송신할 수 있다. 이에 따라, 사용자 장치는 갱신 예정에 대한 알림을 표시한다. 이때, 알람은 단순한 갱신 예정의 사실만을 전달하는 것이 아니라, 인공지능 모델의 갱신을 기다리지 아니하고 현재의 인공지능 모델로 추론을 진행할지 여부에 대한 문의를 포함한다. 이에 따라, 사용자는 인공지능 모델의 갱신을 기다리지 아니하고 현재의 인공지능 모델로 추론을 진행할지 여부의 답변을 사용자 장치에 입력할 수 있다. 입력된 사용자의 응답은 서버로 송신된다
S1007 단계에서, 서버는 현재 인공지능 모델로 추론을 수행할 것이 요청되는지 확인한다. 즉, 서버는 알림에 포함된 현재의 인공지능 모델로 추론을 진행할지 여부의 문의에 대한 사용자의 응답을 확인한다. 사용자의 응답은 사용자 장치에서 서버로 전달되므로, 서버는 사용자 장치로부터 수신된 메시지를 통해 사용자의 응답 내용을 확인할 수 있다.
현재 인공지능 모델로 추론을 수행할 것이 요청되면, S1009 단계에서, 서버는 현재 인공지능 모델 이용하여 추론을 수행한다. 즉, 인공지능 모델의 갱신까지 대기하지 아니하고, 서버는 현재의 인공지능 모델을 이용하여 추론을 수행한다. 이어, 서버는 이하 S1013 단계로 진행한다.
현재 인공지능 모델로 추론을 수행할 것이 요청되지 아니하면, S1011 단계에서, 서버는 인공지능 모델 갱신 후 추론을 수행한다. 즉, 현재 인공지능 모델로 추론을 수행하지 아니할 것이 요청되거나, 또는 현재 인공지능 모델로 추론을 수행할지 여부에 대한 응답이 수신되지 아니하면, 서버는 인공지능 모델 갱신 후, 새로운 갱신된 인공지능 모델을 이용하여 추론을 수행한다. 다시 말해, 서버는 인공지능 모델이 갱신될 때까지 대기한 후, 갱신된 인공지능 모델을 이용하여 추론을 수행한다.
S1013 단계에서, 서버는 추론 결과를 송신한다. 서버는 갱신 전 인공지능 모델 또는 갱신 후 인공지능 모델을 이용하여 수행된 추론의 결과를 사용자 장치에게 송신한다. 사용자 장치에게 송신된 추론 결과는 사용자 장치에 의해 표시되어 사용자에게 제공될 수 있다.
일 실시 예에 따라, 서버는 평가를 제공한 전문가들의 이력(history) 정보를 관리할 수 있다. 이력 정보는 전문가 별로 생성되며, 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 전문가 평가들 중 수정의 비율 등을 포함한다. 전문가 별 이력 정보에 기반하여, 가장 많이 평가를 제공한 순위, 회신률 순위, 수락 비율 순위, 거절 비율 순위, 수정 비율 순위 등의 통계 정보도 생성될 수 있다.
전술한 바와 같이 생성된 이력 정보 및 통계 정보는, 추론 결과에 대한 평가를 요청할 때 활용될 수 있다. 즉, 추론 결과에 대한 전문가 평가를 요청할 때, 서버는 이력 정보 및 통계 정보 중 적어도 하나에 기반하여 어느 전문가에게 전문가 평가를 요청할지를 결정할 수 있다. 즉, 서버는 이력 정보 및 통계 정보 중 적어도 하나에 기반하여 평가 요청 메시지를 송신할 대상을 선택할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 추론 결과에 대한 평가를 요청하는 서버의 동작 방법의 예를 도시한다. 도 11은 감시자(330)의 동작 방법을 예시한다. 감시자(330)는 서버(예: 서버(120), 서버(920))에서 구현될 수 있으므로, 이하 본 절차의 동작 주체는 서버로 설명된다.
도 11을 참고하면, S1101 단계에서, 서버는 추론 결과를 획득한다. 서버는 인공지능 모델을 이용하여 추론을 수행함으로써, 사용자 장치로부터 수신된 입력 데이터로부터 추론 결과를 획득할 수 있다.
S1103 단계에서, 서버는 사용된 인공지능 모델에 대한 평가 반영 이력을 확인한다. 평가 반영 이력은 현재 인공지능 모델이 전문가 평가에 기반하여 재학습되었는지 여부, 얼마나 많이 재학습되었는지, 재학습에 사용된 전문가 평가의 개수는 얼마나 많은지, 가장 최근에 갱신된 재학습은 얼마나 오래되었는지 등을 포함할 수 있다.
S1105 단계에서, 서버는 관련된 전문가들의 평가 수행 이력을 확인한다. 여기서, 관련된 전문가는 인공지능 모델의 추론 결과를 검증할 수 있는 자격을 갖춘 것으로 분류된 전문가 풀에 속한 전문가들을 의미한다. 평가 수행 이력은 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 전문가 평가들 중 수정의 비율 등을 포함한다.
S1107 단계에서, 서버는 이력 정보에 기반하여 평가 요청할 전문가를 선택한다. 여기서, 이력 정보는 S1103 단계에서 확인된 사용된 인공지능 모델에 대한 평가 반영 이력 및 S1105 단계에서 확인된 전문가들의 평가 수행 이력을 포함한다. 또한, 서버는 이력 정보에 더하여, 이력 정보에 대한 통계 정보를 더 고려할 수 있다. 전문가를 선택하기 위한 규칙 또는 기준은 다양한 실시 예에 따라 정의될 수 있다.
S1109 단계에서, 서버는 선택된 전문가의 장치에게 평가 요청 메시지를 송신한다. 즉, 서버는 인공지능 모델에 대한 평가 반영 이력, 전문가들의 평가 수행 이력, 통계 정보에 기반하여 선택된 전문가에게 전문가 평가를 요청한다.
도 11을 참고하여 설명한 바와 같이, 이력 정보, 평가 정보 등에 기반하여 전문가 평가를 요청할 전문가가 선택될 수 있다. 전문가를 선택하기 위한 규칙은 다양한 실시 예에 따라 정의될 수 있는데, 규칙은 학습에 대한 정책에 따라 다르게 정의될 수 있다.
일 실시 예에 따라, 학습 데이터의 다양성에 중점을 두는 정책이 채택된 경우, 서버는 해당 인공지능 모델의 재학습을 위해 전문가 평가를 제공한 적 없는 전문가를, 제공한 적 없는 전문가가 없다면 가장 적은 횟수로 전문가 평가를 제공한 전문가를 선택할 수 있다. 만일 전문가 평가 제공 횟수가 최소인 전문가가 복수인 경우, 서버는 랜덤하게 하나의 전문가를 선택하거나 또는 높은 회신율을 가진 전문가를 선택할 수 있다. 이 외, 다양한 실시 예들에 따라, 전술한 이력 정보의 항목들을 다양한 우선순위로 조합한 다양한 규칙들이 적용될 수 있다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (20)

  1. 인공지능 플랫폼을 제공하는 서버의 동작 방법은,
    사용자 장치로부터 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 수신하는 단계;
    상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 추론 결과를 획득하는 단계;
    상기 추론 결과를 포함하는 추론 결과 메시지를 상기 사용자 장치에게 송신하는 단계;
    상기 추론 결과를 포함하는 평가 요청 메시지를 전문가 장치에게 송신하는 단계;
    상기 전문가 장치로부터 상기 추론 결과에 대한 전문가 평가를 포함하는 평가 결과 메시지를 수신하는 단계;
    상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되는지 확인하는 단계;
    상기 추론 결과 및 상기 전문가 평가가 상기 데이터 저장소에 업로드되면, 상기 추론 결과 및 상기 전문가 평가 결과를 비교하고, 상기 비교 결과에 기반하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 단계;
    상기 생성된 학습 데이터를 이용하여 상기 인공지능 모델에 대한 재학습을 수행하는 단계; 및
    상기 생성된 학습 데이터에 기반하여 임계 기간 내에 상기 인공지능 모델이 갱신되는지를 예상하는 단계를 포함하되,
    상기 임계 기간 내에 상기 인공지능 모델이 갱신될 것이 예상되지 않으면, 현재 인공지능 모델을 이용하여 상기 추론을 수행하고,
    상기 임계 기간 내에 상기 인공지능 모델이 갱신될 것이 예상되면, 갱신 예정 알림 메시지를 송신하여, 사용자의 응답에 따라 현재 인공지능 모델로 상기 추론을 수행할지, 또는 갱신될 인공지능 모델로 상기 추론을 수행할지를 선택하는 방법.
  2. 청구항 1에 있어서,
    상기 전문가 평가는, 상기 인공지능 모델을 이용한 추론 결과의 수락 여부, 상기 추론 결과의 수정 여부, 상기 추론 결과에 대해 수정된 정보 중 적어도 하나를 포함하는 방법.
  3. 청구항 1에 있어서,
    상기 추론 결과 및 상기 전문가 평가를 비교하고, 비교 결과에 따라 상기 추론 결과 및 전문가 평가를 합성함으로써 학습 데이터를 생성하는 단계를 더 포함하는 방법.
  4. 청구항 3에 있어서,
    상기 학습 데이터는, 상기 추론 결과 및 상기 전문가 평가가 서로 다른 경우, 상기 입력 데이터 및 상기 전문가 평가를 포함하는 라벨링된 학습 데이터를 포함하는 방법.
  5. 청구항 1에 있어서,
    상기 인공지능 모델은 다른 전문가 평가에 기반하여 재학습된 상태이며,
    상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함하는 방법.
  6. 청구항 1에 있어서,
    상기 전문가 평가를 제공한 전문가들의 이력 정보를 생성하는 단계;
    상기 이력 정보에 기반하여, 통계 정보를 생성하는 단계; 및
    상기 이력 정보 및 상기 통계 정보 중 적어도 하나에 기반하여 상기 평가 요청 메시지를 송신할 대상을 선택하는 단계를 더 포함하되,
    상기 이력 정보는, 전문가 별로 생성되며, 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 상기 전문가 평가들 중 수정의 비율 중 적어도 하나를 포함하는 방법.
  7. 청구항 1에 있어서,
    재학습된 인공지능 모델의 성능을 검증하는 단계; 및
    성능 검증 기준을 통과한 경우, 재학습된 인공지능 모델을 다음 추론 동작을 위해 적용하는 단계를 더 포함하며,
    상기 성능 검증 기준은, 평균 정밀도(average precision), 민감도(sensitivity), 특이도(specificity), 재현율(recall) 중 적어도 하나가 적어도 하나의 임계치 조건을 만족하는 것을 포함하는 방법.
  8. 청구항 1에 있어서,
    상기 인공지능 모델에 대한 재학습을 수행하는 단계는,
    전문가 평가에 기반한 학습 데이터의 개수를 확인하는 단계; 및
    상기 학습 데이터의 개수가 임계치 이상이면, 상기 재학습을 수행하는 단계를 포함하는 방법.
  9. 인공지능 플랫폼을 이용하는 장치의 동작 방법은,
    인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 서버에게 송신하는 단계;
    상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 획득된 추론 결과를 포함하는 추론 결과 메시지를 상기 서버로부터 수신하는 단계;
    상기 추론 결과를 표시하는 단계; 및
    상기 인공지능 모델로부터 갱신 예정 알림 메시지를 수신하면, 갱신될 인공지능 모델로 상기 추론을 수행할지, 또는 현재의 인공지능 모델로 상기 추론을 수행할지를 선택하는 단계를 포함하며,
    상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함하는 방법.
  10. 인공지능 플랫폼에 전문가 평가를 제공하는 장치의 동작 방법에 있어서,
    인공지능 모델을 이용하여 추론을 수행함으로써 획득된 추론 결과, 전문가 평가를 제공한 전문가들의 이력 정보 및 통계 정보를 포함하는 평가 요청 메시지를, 상기 인공지능 모델에 대한 평가 반영 이력, 전문가들의 평가 수행 이력, 통계 정보에 기반하여 동작하는 서버로부터 수신하는 단계;
    상기 추론 결과에 대한 평가를 입력하기 위한 인터페이스를 표시하는 단계;
    상기 인터페이스를 통해 입력되는 평가 데이터를 확인하는 단계; 및
    상기 평가 데이터를 포함하는 전문가 평가를 포함하는 평가 결과 메시지를 상기 서버에게 송신하는 단계를 포함하며,
    상기 이력 정보는, 전문가 별로 생성되며, 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 상기 전문가 평가들 중 수정의 비율 중 적어도 하나를 포함하고,
    상기 인터페이스는, 출력 항목으로서 결과 창, 분류(classification) 창, 확률(probability) 창을 포함하고, 입력 항목으로서 수락(accept) 버튼, 거절(decline) 버튼, 저장(save) 버튼, 주석 툴(annotation tool) 버튼을 포함하는 방법.
  11. 인공지능 플랫폼을 제공하는 서버는,
    통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    사용자 장치로부터 인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 수신하고,
    상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 추론 결과를 획득하고, 상기 추론 결과를 포함하는 평가 요청 메시지를 전문가 장치에게 송신하고,
    상기 전문가 장치로부터 상기 추론 결과에 대한 전문가 평가를 포함하는 평가 결과 메시지를 수신하고,
    상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되는지 확인하고,
    상기 추론 결과 및 상기 전문가 평가가 데이터 저장소에 업로드되면, 상기 추론 결과 및 상기 전문가 평가 결과를 비교하고, 상기 비교 결과에 기반하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고,
    상기 생성된 학습 데이터를 이용하여 상기 인공지능 모델에 대한 재학습을 수행하고,
    상기 생성된 학습 데이터에 기반하여 임계 기간 내에 상기 인공지능 모델이 갱신되는지를 예상하되,
    상기 임계 기간 내에 상기 인공지능 모델이 갱신될 것이 예상되지 않으면, 현재 인공지능 모델을 이용하여 상기 추론을 수행하고,
    상기 임계 기간 내에 상기 인공지능 모델이 갱신될 것이 예상되면, 갱신 예정 알림 메시지를 송신하여, 사용자의 응답에 따라 현재 인공지능 모델로 상기 추론을 수행할지, 또는 갱신될 인공지능 모델로 상기 추론을 수행할지를 선택하도록 제어하며,
    상기 프로세서는,
    상기 추론 동작, 상기 전문가 평가의 획득 및 상기 갱신을 제어하는 상기 인공지능 플랫폼;
    상기 추론 결과 및 상기 전문가 평가를 분류하여 저장하는 데이터 저장소; 및
    상기 추론 결과 및 상기 전문가 평가의 획득을 모니터링하고, 재학습을 제어하는 감시자를 포함하는 서버.
  12. 청구항 11에 있어서,
    상기 전문가 평가는, 상기 인공지능 모델을 이용한 추론 결과의 수락 여부, 상기 추론 결과의 수정 여부, 상기 추론 결과에 대해 수정된 정보 중 적어도 하나를 포함하는 서버.
  13. 청구항 11에 있어서,
    상기 감시자는, 상기 추론 결과 및 상기 전문가 평가를 비교하고, 비교 결과에 따라 상기 추론 결과 및 전문가 평가를 합성함으로써 학습 데이터를 생성하는 서버.
  14. 청구항 13에 있어서,
    상기 학습 데이터는, 상기 추론 결과 및 상기 전문가 평가가 서로 다른 경우, 상기 입력 데이터 및 상기 전문가 평가를 포함하는 라벨링된 학습 데이터를 포함하는 서버.
  15. 청구항 11에 있어서,
    상기 인공지능 모델은 다른 전문가 평가에 기반하여 재학습된 상태이며,
    상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함하는 서버.
  16. 청구항 11에 있어서,
    상기 인공지능 플랫폼은, 상기 전문가 평가를 제공한 전문가들의 이력 정보를 생성하고, 상기 이력 정보에 기반하여 통계 정보를 생성하고, 상기 이력 정보 및 상기 통계 정보 중 적어도 하나에 기반하여 상기 평가 요청 메시지를 송신할 대상을 선택하되,
    상기 이력 정보는, 전문가 별로 생성되며, 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 상기 전문가 평가들 중 수정의 비율 중 적어도 하나를 포함하는 서버.
  17. 청구항 11에 있어서,
    상기 감시자는, 재학습된 인공지능 모델의 성능을 검증하고,
    상기 인공지능 플랫폼은, 성능 검증 기준을 통과한 경우, 재학습된 인공지능 모델을 다음 추론 동작을 위해 적용하며,
    상기 성능 검증 기준은, 평균 정밀도(average precision), 민감도(sensitivity), 특이도(specificity), 재현율(recall) 중 적어도 하나가 적어도 하나의 임계치 조건을 만족하는 것을 포함하는 서버.
  18. 청구항 11에 있어서,
    상기 감시자는, 전문가 평가에 기반한 학습 데이터의 개수를 확인하고, 상기 학습 데이터의 개수가 임계치 이상이면, 상기 재학습을 수행하는 서버.
  19. 인공지능 플랫폼을 이용하는 장치는,
    통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    인공지능 모델로의 입력 데이터를 포함하는 추론 요청 메시지를 서버에게 송신하고,
    상기 인공지능 모델을 이용하여 상기 입력 데이터를 기반으로 추론을 수행함으로써 획득된 추론 결과를 포함하는 추론 결과 메시지를 상기 서버로부터 수신하고,
    상기 추론 결과를 표시하고,
    상기 인공지능 모델로부터 갱신 예정 알림 메시지를 수신하면, 갱신될 인공지능 모델로 상기 추론을 수행할지, 또는 현재의 인공지능 모델로 상기 추론을 수행할지를 선택하도록 제어하며,
    상기 추론 결과 메시지는, 전문가 평가에 기반하여 갱신된 인공지능 모델을 이용하였음을 알리는 정보, 평가에 참여한 전문가에 대한 정보, 반영된 전문가 평가의 횟수 정보 중 적어도 하나를 더 포함하는 장치.
  20. 인공지능 플랫폼에 전문가 평가를 제공하는 장치는,
    통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    인공지능 모델을 이용하여 추론을 수행함으로써 획득된 추론 결과, 전문가 평가를 제공한 전문가들의 이력 정보 및 통계 정보를 포함하는 평가 요청 메시지를, 인공지능 모델에 대한 평가 반영 이력, 전문가들의 평가 수행 이력, 통계 정보에 기반하여 동작하는 서버로부터 수신하고,
    상기 추론 결과에 대한 평가를 입력하기 위한 인터페이스를 표시하고,
    상기 인터페이스를 통해 입력되는 평가 데이터를 확인하고,
    상기 평가 데이터를 포함하는 전문가 평가를 포함하는 평가 결과 메시지를 상기 서버에게 송신하도록 제어하며,
    상기 이력 정보는, 전문가 별로 생성되며, 전문가 평가를 제공한 횟수, 전문가 평가 요청에 대한 회신률, 해당 전문가가 제공한 전문가 평가들 중 수락의 비율, 해당 전문가가 제공한 전문가 평가들 중 거절의 비율, 해당 전문가가 제공한 상기 전문가 평가들 중 수정의 비율 중 적어도 하나를 포함하고,
    상기 인터페이스는, 출력 항목으로서 결과 창, 분류(classification) 창, 확률(probability) 창을 포함하고, 입력 항목으로서 수락(accept) 버튼, 거절(decline) 버튼, 저장(save) 버튼, 주석 툴(annotation tool) 버튼을 포함하는 장치.
KR1020210056262A 2021-04-30 2021-04-30 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치 KR102326740B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210056262A KR102326740B1 (ko) 2021-04-30 2021-04-30 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치
PCT/KR2022/006212 WO2022231392A1 (ko) 2021-04-30 2022-04-29 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056262A KR102326740B1 (ko) 2021-04-30 2021-04-30 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR102326740B1 true KR102326740B1 (ko) 2021-11-17
KR102326740B9 KR102326740B9 (ko) 2022-03-15

Family

ID=78702655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056262A KR102326740B1 (ko) 2021-04-30 2021-04-30 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102326740B1 (ko)
WO (1) WO2022231392A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231392A1 (ko) * 2021-04-30 2022-11-03 (주)제이엘케이 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치
WO2023106552A1 (ko) * 2021-12-06 2023-06-15 한국전자기술연구원 지능형 객체 탐지를 위한 최적화 전략 설정 기반 딥러닝 모델 생성 방법 및 시스템
WO2024005313A1 (ko) * 2022-06-30 2024-01-04 삼성전자 주식회사 전자 장치의 학습 모델을 갱신하는 서버 및 그의 동작 방법
KR102665956B1 (ko) * 2023-06-22 2024-05-14 주식회사 페블러스 가상 데이터를 처리하기 위한 유저 인터페이스 제공 방법 및 그러한 방법이 구현된 컴퓨팅 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR101929752B1 (ko) * 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR102153920B1 (ko) * 2018-02-26 2020-09-09 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
KR20210013830A (ko) * 2019-07-29 2021-02-08 주식회사 코어라인소프트 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598549A (zh) * 2019-08-07 2019-12-20 王满 一种基于心脏功能监控的卷积神经网络信息处理系统及训练方法
KR102326740B1 (ko) * 2021-04-30 2021-11-17 (주)제이엘케이 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR102153920B1 (ko) * 2018-02-26 2020-09-09 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
KR101929752B1 (ko) * 2018-05-30 2018-12-17 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20210013830A (ko) * 2019-07-29 2021-02-08 주식회사 코어라인소프트 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231392A1 (ko) * 2021-04-30 2022-11-03 (주)제이엘케이 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치
WO2023106552A1 (ko) * 2021-12-06 2023-06-15 한국전자기술연구원 지능형 객체 탐지를 위한 최적화 전략 설정 기반 딥러닝 모델 생성 방법 및 시스템
WO2024005313A1 (ko) * 2022-06-30 2024-01-04 삼성전자 주식회사 전자 장치의 학습 모델을 갱신하는 서버 및 그의 동작 방법
KR102665956B1 (ko) * 2023-06-22 2024-05-14 주식회사 페블러스 가상 데이터를 처리하기 위한 유저 인터페이스 제공 방법 및 그러한 방법이 구현된 컴퓨팅 장치

Also Published As

Publication number Publication date
KR102326740B9 (ko) 2022-03-15
WO2022231392A1 (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
KR102326740B1 (ko) 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치
US11423538B2 (en) Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
AU2020260078B2 (en) Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
US10725827B2 (en) Artificial intelligence based virtual automated assistance
US10923233B1 (en) Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance
Palomares et al. Consensus under a fuzzy context: Taxonomy, analysis framework AFRYCA and experimental case of study
Letier et al. Uncertainty, risk, and information value in software requirements and architecture
Masegosa et al. An interactive approach for Bayesian network learning using domain/expert knowledge
JP2018106662A (ja) 情報処理装置、情報処理方法、プログラム
CN110942086B (zh) 数据预测优化方法、装置、设备及可读存储介质
CN113112030B (zh) 训练模型的方法及系统和预测序列数据的方法及系统
US11605465B1 (en) Computer network architecture with machine learning and artificial intelligence and patient risk scoring
US20210133605A1 (en) Method, apparatus, and computer program products for hierarchical model feature analysis and decision support
Viswan et al. Explainable artificial intelligence in Alzheimer’s disease classification: A systematic review
US20240202057A1 (en) Methods and systems for determining stopping point
Weerts et al. Can fairness be automated? Guidelines and opportunities for fairness-aware AutoML
Cao et al. Personalized next-best action recommendation with multi-party interaction learning for automated decision-making
Pete et al. An overview of decision networks and organizations
KR20210026623A (ko) 인공지능 모델을 학습시키는 시스템 및 방법
Vimbi et al. Application of explainable artificial intelligence in alzheimer's disease classification: A systematic review
Ghosh et al. Uncertainty quantification 360: a hands-on tutorial
WO2023154542A1 (en) Incident resolution system
WO2020191722A1 (zh) 用于确定因果关系的方法、系统和计算机程序产品
JP7478518B2 (ja) 読影支援装置および読影支援方法
KR20210075920A (ko) 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]