KR102467047B1 - 어노테이션 평가 방법 및 장치 - Google Patents

어노테이션 평가 방법 및 장치 Download PDF

Info

Publication number
KR102467047B1
KR102467047B1 KR1020200154648A KR20200154648A KR102467047B1 KR 102467047 B1 KR102467047 B1 KR 102467047B1 KR 1020200154648 A KR1020200154648 A KR 1020200154648A KR 20200154648 A KR20200154648 A KR 20200154648A KR 102467047 B1 KR102467047 B1 KR 102467047B1
Authority
KR
South Korea
Prior art keywords
data
annotation
model
result data
verification
Prior art date
Application number
KR1020200154648A
Other languages
English (en)
Other versions
KR20220068316A (ko
Inventor
최민국
윤지훈
홍승범
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to KR1020200154648A priority Critical patent/KR102467047B1/ko
Publication of KR20220068316A publication Critical patent/KR20220068316A/ko
Application granted granted Critical
Publication of KR102467047B1 publication Critical patent/KR102467047B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 어노테이션 평가 장치에 의해 수행되는 방법에 있어서, 복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성하는 단계, 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 상기 복수의 검증 결과 데이터가 믹싱된 신규 학습용 데이터를 획득하는 단계, 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성하는 단계 및 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성하는 단계를 포함할 수 있다.

Description

어노테이션 평가 방법 및 장치{Method and Apparatus for Estimating Annotation}
본 발명은 어노테이션을 평가하는 방법 및 장치에 관한 것으로, 보다 상세하게는 특정 모델을 이용하여 새로 생성한 어노테이션 데이터를 평가하고 이를 기반으로 상기 특정 모델에 대해 리워드를 부여하는 방법 및 장치에 관한 것이다.
일반적으로 딥러닝 학습모델을 구축하기 위해 기계학습을 수행하기 위해서는, 어노테이션 작업이 필수적으로 선행되어야 한다. 예를 들어, 의료 영상에 포함된 각종 타깃(예: 복강경 담낭절제술의 각 수술 단(phase)에 따른 내부 장기 등)을 기계학습하기 위해서는 전문 의료인들이 어노테이터가 되어 학습데이터에 어노테이션 작업을 수행할 수 있다.
어노테이션 작업은 학습데이터를 생성하기 위해 데이터별로 레이블 정보를 태깅하는 작업을 의미한다. 어노테이션 작업은 일반적으로 사람에 의해 수행되기 때문에, 대량의 학습 데이터를 생성하기 위해서는 상당한 인적 비용과 시간 비용이 소모된다. 특히, 병리 이미지에서 병변의 종류 또는 위치 등을 진단하는 학습모델을 구축하는 경우라면, 숙련된 전문의에 의해 어노테이션 작업이 수행되어야 하기 때문에, 다른 도메인에 비해 훨씬 더 많은 비용이 소모된다.
또한, 기존에는 체계적인 작업 프로세스가 정립되지 않은 체로 어노테이션 작업이 수행되었다. 가령, 종래의 방식은 관리자가 각 병리 이미지의 특성을 육안으로 확인하여 어노테이션 수행 여부를 결정하고, 손수 병리 이미지를 분류한 다음 적절한 어노테이터에게 병리 이미지를 할당하는 방식이었다.
그러나 정확한 학습모델 구축을 위해서는 대량의 학습데이터가 필요하다. 따라서, 따라서, 예측 정확도를 높이기 위해 신뢰도가 높은 학습데이터를 대량으로 생성할 수 있는 방안이 필요하다.
대한민국 공개특허공보 제10-2020-0054138호
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 복수의 어노테이터들이 어노테이션한 어노테이션 데이터에 대해 특정 모델을 이용하여 새로운 학습데이터를 생성하는 방법을 제공하는 것을 그 목적으로 한다.
또한, 상기 새로운 학습데이터를 생성한 특정 모델에 대한 신뢰도를 판단하는 방법을 제공하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 어노테이터 평가 장치에 의해 수행되는 방법에 있어서, 복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성하는 단계, 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 상기 복수의 검증 결과 데이터가 믹싱된 신규 학습용 데이터를 획득하는 단계, 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성하는 단계 및 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성하는 단계를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 제2 모델은, 유전 알고리즘을 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 원본데이터는, 적어도 하나의 수술 과정을 촬영한 수술 동영상을 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 복수의 검증 결과 데이터 생성 단계는, 복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출하는 단계, 상기 복수의 학습용 데이터를 상기 제1 모델을 이용하여 기계학습시키는 단계 및 상기 복수의 학습용 데이터를 각각 기계학습시킨 상기 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 복수의 검증용 데이터 추출 단계는, 복수의 어노테이터들이 각각 상기 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 획득하는 단계, 상기 복수의 어노테이션 데이터에서 각각 복수의 학습용 데이터를 추출하는 단계 및 상기 복수의 어노테이션 데이터에서 상기 학습용 데이터를 제외한 복수의 검증용 데이터를 추출하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 평가정보 생성단계는, 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 산출하고, 상기 에러율을 기반으로 상기 평가정보를 생성하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 복수의 원본데이터, 복수의 어노테이터들이 상기 복수의 원본데이터에 대해 각각 어노테이션한 복수의 어노테이션 데이터를 저장하는 메모리 및 상기 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성하고, 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 신규 학습용 데이터를 생성하고, 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성하고, 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성하는 제어부를 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 제어부는, 상기 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출하고, 상기 복수의 학습용 데이터를 각각 기계학습시킨 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 제어부는, 복수의 어노테이터들이 각각 영상정보를 어노테이션한 복수의 어노테이션 데이터를 획득하고, 상기 복수의 어노테이션 데이터로부터 각각 복수의 학습용 데이터를 추출하고, 상기 복수의 어노테이션 데이터에서 상기 학습용 데이터를 제외한 복수의 검증용 데이터를 추출하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 상기 제어부는, 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 산출하고, 상기 에러율을 기반으로 상기 평가정보를 생성하는 것을 특징으로 할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 복수의 어노테이터들이 어노테이션한 어노테이션 데이터에 대해 특정 모델을 이용하여 새로운 학습데이터를 생성하는 방법을 제공함으로써 기존에 부족했던 학습데이터 양이 확보될 수 있어 이로 인해 학습모델의 예측 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명은 상기 새로운 학습데이터를 생성한 특정 모델에 대한 신뢰도를 판단하는 방법을 제공함으로써 상기 특정 모델에 대한 품질 향상을 이룰 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 어노테이션 평가장치에 대해 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 어노테이션 평가장치의 평가 과정을 나타낸 순서도이다.
도 3은 본 발명에 따른 어노테이션 평가장치가 복수의 검증 결과 데이터를 생성하는 과정을 나타낸 순서도이다.
도 4는 본 발명에 따른 어노테이션 평가장치가 제2 모델을 판단하는 과정을 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)." 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만, 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 발명에 따른 어노테이션 평가장치(10)에 대해 개략적으로 나타낸 도면이다.
어노테이션 평가장치(10)는 복수의 어노테이터들이 어노테이션한 어노테이션 데이터에 대해 특정 모델을 이용하여 새로운 학습데이터를 생성하는 방법을 제공함으로써 기존에 부족했던 학습데이터 양이 확보될 수 있어 이로 인해 학습모델의 예측 정확도를 높일 수 있는 효과를 가질 수 있다.
또한, 어노테이션 평가장치(10)는 상기 새로운 학습데이터를 생성한 특정 모델에 대한 신뢰도를 판단하는 방법을 제공함으로써 상기 특정 모델에 대한 품질 향상을 이룰 수 있는 효과를 가질 수 있다.
어노테이션 평가장치(10)는 메모리(110) 및 제어부(120)를 포함할 수 있다.
메모리(110)는 복수의 원본데이터, 복수의 어노테이터들이 상기 복수의 원본데이터에 대해 각각 어노테이션한 복수의 어노테이션 데이터를 저장할 수 있다. 여기서, 원본데이터는 적어도 하나의 수술 과정을 촬영한 수술 동영상을 포함할 수 있다.
한편, 상기 원본데이터 및 어노테이션 데이터는 외부로부터 수신되어 메모리(110)에 저장된 것이거나 또는 특정 웹사이트로부터 다운로드된 것일 수 있다. 이 경우 본 발명에 따른 어노테이션 평가장치(10)는 인터페이스부(또는 통신부)(미도시)를 더 포함할 수 있다.
일 예로, 상기 인터페이스부는 제어부(120)의 제어에 따라, 외부 디바이스와 근거리 무선 통신을 연결하고, 상기 외부 디바이스로부터 상기 외부 디바이스에 저장된 상기 원본데이터 및 어노테이션 데이터를 수신하여 메모리(110)에 저장할 수 있다.
다른 예로, 상기 인터페이스부는 제어부(120)의 제어에 따라, 외부 디바이스와 유선 데이터 케이블을 통해 유선 통신을 연결하고, 상기 외부 디바이스로부터 상기 외부 디바이스에 저장된 상기 원본데이터 및 어노테이션 데이터를 수신하여 메모리(110)에 저장할 수 있다.
또 다른 예로, 상기 인터페이스부는 제어부(120)의 제어에 따라, 상기 웹페이지를 제공하는 특정 서버로부터 무선 통신을 통해 상기 원본 데이터 및 어노테이션 데이터를 다운로드하여 메모리(110)에 저장할 수도 있다.
메모리(110)는 어노테이션 평가장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 또는 메모리(110)는 외부서버(미도시)에 저장된 것을 읽어들일 수 있다.
메모리(110)는 어노테이션 평가장치(10)에서 구동되는 다수의 응용 프로그램, 어노테이션 평가장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 한편, 응용 프로그램은, 메모리(110)에 저장되고, 어노테이션 평가장치(10)상에 설치되어, 제어부(120)에 의하여 상기 어노테이션 평가장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(120)는 상기 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성할 수 있다.
구체적으로, 제어부(120)는 상기 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출할 수 있다. 여기서, 제어부(120)는 복수의 어노테이터들이 각각 영상정보를 어노테이션한 복수의 어노테이션 데이터를 획득하고, 상기 복수의 어노테이션 데이터로부터 각각 복수의 학습용 데이터를 추출하고, 상기 복수의 어노테이션 데이터에서 상기 학습용 데이터를 제외한 복수의 검증용 데이터를 추출할 수 있다. 다음으로, 제어부(120)는 상기 복수의 학습용 데이터를 기계학습시킨 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성할 수 있다. 여기서, 제1 모델은 객체 인식 학습 모델을 포함할 수 있다.
일례로, 객체 인식 학습 모델은 심층신경망(Deep Neural Network; DNN)일 수 있다. 심층신경망은 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미할 수 있다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 연결 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 연결 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 연결 층이 이어지고, 로컬 연결 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)을 추가할 수 있다.
본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)를 취함으로 서 특징지도(Feature Map)를 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징을 가질 수 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킬 수 있다.
통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성할 수 있다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있을 수 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-Layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 제1 모델인 객체 인식 학습 모델 중 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
일례로, 생성적 적대 신경망 학습 모델이란, 비지도 학습으로서, 분류를 담당하는 판별자 D(Discriminator)와 랜덤한 노이즈에서 데이터를 만들어 내는 생성자 G(Generator)의 두 개의 모델로 구성될 수 있다.
생성적 적대 신경망 학습 모델은, 생성자 G와 판별자 D가 대립하며 서로의 성능을 개선시켜 나가는 모델이며, 판별자 D는 원 데이터만을 참으로 판단하기 위해 노력하고 생성자는 판별자 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성해가며 두 모델의 성능이 같이 올라가게 구성될 수 있는 모델이다.
생성자 G는 원 데이터의 확률분포를 알아내려 하고, 분포를 재현하여 가짜 데이터를 실 데이터와 차이가 없도록 하는 것이고, 판별자 D는 판별 대상인 데이터가 실 데이터인지, 생성자 G가 만들어낸 데이터인지 구별하여 각각에 대한 확률을 추정할 수 있다.
제어부(120)는 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 신규 학습용 데이터를 생성하고, 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성할 수 있다. 여기서, 제2 모델은 유전 알고리즘을 포함할 수 있다.
제어부(120)는 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성할 수 있다.
구체적으로, 제어부(120)는 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 생성할 수 있다. 여기서, 정답값은 상기 원본데이터에 대해 전부 정확하게 어노테이션된 결과일 수 있다. 또한, 여기서 에러율은 상기 정답값과의 불일치 비율을 나타낸 것일 수 있다. 따라서, 에러율이 높을수록 어노테이션 품질이 낮은 것이고, 에러율이 낮을수록 어노테이션 품질이 높은 것일 수 있다.
제어부(120)는 상기 복수의 검증 결과 데이터의 제1 에러율과 상기 최종 결과 데이터의 제2 에러율을 비교하여 상기 최종 결과 데이터에 대한 평가정보를 생성할 수 있다. 여기서, 평가정보는 상기 최종 결과 데이터의 품질에 대한 것일 수 있다.
상기 제1 에러율이 상기 제2 에러율보다 높은 경우, 상기 최종 결과 데이터가 상기 복수의 검증 결과 데이터가 보다 어노테이션 품질이 높은 것이고, 상기 제1 에러율이 상기 제2 에러율과 동일한 경우, 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터의 어노테이션 품질이 동일한 것이고, 상기 제1 에러율이 상기 제2 에러율보다 낮은 경우, 상기 최종 결과 데이터가 상기 복수의 검증 결과 데이터보다 어노테이션 품질이 낮은 것일 수 있다.
제어부(120)는 상기 평가정보에 기반하여 상기 최종 결과 데이터를 생성하기 위해 상기 제1 모델에 입력된 신규 학습용 데이터를 생성한 상기 제2 모델에 대한 리워드를 생성할 수 있다. 제어부(120)는 상기 리워드가 부여된 상기 제2 모델에 대한 신뢰도를 판단을 할 수 있다. 일 예로, 상기 리워드는 어드밴티지 리워드와 페널티 리워드로 구분될 수 있고, 제어부(120)는 상기 제2 모델에 부여된 리워드가 어드밴티지 리워드인 경우, 상기 제2 모델의 신뢰도가 높은 것으로 판단할 수 있고, 상기 제2 모델에 부여된 리워드가 페널티 리워드인 경우, 상기 제2 모델의 신뢰도가 낮은 것으로 판단할 수 있다.
이상으로 어노테이션 평가장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.
이하, 도 2 내지 도 4를 통해 설명할 어노테이션 평가장치(10)의 구동과정과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 상세한 내용에 대해서는 도 2 내지 도 4를 통해 후술한다.
도 2는 본 발명에 따른 어노테이션 평가장치(10)의 평가 과정을 나타낸 순서도이고, 도 3은 본 발명에 따른 어노테이션 평가장치(10)가 복수의 검증 결과 데이터를 생성하는 과정을 나타낸 순서도이고, 도 4는 본 발명에 따른 어노테이션 평가장치(10)가 제2 모델을 평가하는 과정을 나타낸 순서도이다.
먼저, 도 2를 보면, 본 발명의 실시예에 따른 어노테이터 평가 방법은 어노테이션 평가장치(10)인 컴퓨터, 또는 서버에 의해 수행될 수 있다.
이하, 어노테이션 평가장치(10)의 모든 동작은 제어부(120)가 동일하게 수행할 수 있다.
도 2를 참조하면, 어노테이션 평가장치(10)는 복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성할 수 있다(S210).
단계 S210에 대한 세부 내용은 도 3을 참조하여 설명한다.
도 3을 보면, 어노테이션 평가장치(10)는 복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출할 수 있다(S310). 여기서, 원본데이터는 적어도 하나의 수술 과정을 촬영한 수술 동영상을 포함할 수 있다.
구체적으로 어노테이션 평가장치(10)는 복수의 어노테이터들이 각각 학습데이터를 어노테이션한 복수의 어노테이션 데이터를 획득하고, 상기 복수의 어노테이션 데이터에서 각각 복수의 학습용 데이터를 추출할 수 있다. 어노테이션 평가장치(10)는 상기 복수의 학습용 데이터를 추출한 후 상기 복수의 어노테이션 데이터에서 상기 복수의 학습용 데이터를 제외한 복수의 검증용 데이터를 추출할 수 있다.
어노테이션 평가장치(10)는 상기 복수의 학습용 데이터를 각각 기계학습시킨 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성할 수 있다(S320). 여기서, 제1 모델은 객체 인식 학습 모델로 원본데이터와 학습용 데이터를 입력하여 학습시키고, 상기 객체 인식 학습 모델에 복수의 검증용 데이터를 입력하여 학습시킨 복수의 검증 결과 데이터를 생성할 수 있다.
어노테이션 평가장치(10)는 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 신규 학습용 데이터를 획득할 수 있다(S220).
어노테이션 평가장치(10)는 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 상기 복수의 검증 결과 데이터가 믹싱된 신규 학습용 데이터를 획득할 수 있다. 여기서, 제2 모델은 유전 알고리즘을 포함할 수 있다.
어노테이션 평가장치(10)는 일례로 제1 어노테이터가 어노테이션한 제1 어노테이션 데이터를 제1 모델에 입력하여 생성한 제1 검증 결과 데이터와 제2 어노테이터가 어노테이션한 제2 어노테이션 데이터를 객체 인식 학습 모델에 입력하여 생성한 제2 검증 결과 데이터를 유전 알고리즘에 입력하여 신규 학습용 데이터를 획득할 수 있다. 여기서, 어노테이션 평가장치(10)는 유전 알고리즘을 기반으로 제1 어노테이션 데이터와 제2 어노테이션 데이터를 믹싱하여 제1 신규 학습용 데이터를 획득할 수 있다.
어노테이션 평가장치(10)는 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성할 수 있다(S230).
어노테이션 평가장치(10)는 일례로, 제1 어노테이터와 제2 어노테이터가 어노테이션한 제1 어노테이션 데이터와 제2 어노테이션 데이터에 대한 제1 신규 학습용 데이터와 원본데이터를 다시 객체 인식 학습 모델에 입력하고 학습하여 제1 최종 결과 데이터를 생성할 수 있다.
어노테이션 평가장치(10)는 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성할 수 있다(S240).
어노테이션 평가장치(10)는 상기 최종 결과 데이터를 기반으로 상기 복수의 검증 결과 데이터의 에러율을 산출하여 상기 에러율을 포함하는 평가정보를 생성할 수 있다.
단계 S240 세부 내용은 도 4를 참조하여 설명한다.
어노테이션 평가장치(10)는 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 생성할 수 있다(S410). 여기서, 정답값은 상기 원본데이터에 대해 전부 정확하게 어노테이션된 결과일 수 있다. 또한, 여기서 에러율은 상기 정답값과의 불일치 비율을 나타낸 것일 수 있다. 따라, 에러율이 높을수록 어노테이션 품질이 낮은 것이고, 에러율이 낮을수록 어노테이션 품질이 높은 것일 수 있다
어노테이션 평가장치(10)는 상기 복수의 검증 결과 데이터의 제1 에러율과 상기 최종 결과 데이터의 제2 에러율을 비교하여 상기 최종 결과 데이터에 대한 평가정보를 생성할 수 있다(S430). 여기서, 평가정보는 상기 최종 결과 데이터의 품질에 대한 것일 수 있다.
상기 제1 에러율이 상기 제2 에러율보다 높은 경우, 상기 생성할 수 최종 결과 데이터가 상기 복수의 검증 결과 데이터가 보다 어노테이션 품질이 높은 것이고, 상기 제1 에러율이 상기 제2 에러율과 동일한 경우, 상기 생성할 수 최종 결과 데이터과 상기 복수의 검증 결과 데이터의 어노테이션 품질이 동일한 것이고, 상기 제1 에러율이 상기 제2 에러율보다 낮은 경우, 상기 에러일 과보다 최종 결과 데이터가 상기 복수의 검증 결과 데이터보다 어노테이션 품질이 낮은 것일 수 있다.
어노테이션 평가장치(10)는 상기 평가정보에 기반하여 상기 제2 모델에 리워드를 부여하고, 상기 리워드에 따라 상기 제2 모델의 신뢰도를 판단할 수 있다(S250).
어노테이션 평가장치(10)는 상기 평가정보에 기반하여 상기 최종 결과 데이터를 생성하기 위해 상기 제1 모델에 입력된 신규 학습용 데이터를 생성한 상기 제2 모델에 대한 리워드를 생성할 수 있다. 어노테이션 평가장치(10)는 상기 리워드가 부여된 상기 제2 모델에 대한 판단을 할 수 있다. 일 예로, 상기 리워드는 어드밴티지 리워드와 페널티 리워드로 구분될 수 있고, 어노테이션 평가장치(10)는 상기 제2 모델에 부여된 리워드가 어드밴티지 리워드인 경우, 상기 제2 모델의 신뢰도가 높은 것으로 판단할 수 있고, 상기 제2 모델에 부여된 리워드가 페널티 리워드인 경우, 상기 제2 모델의 신뢰도가 낮은 것으로 판단할 수 있다.
도 2 내지 4에서는 복수의 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2 내지 4에 기재된 순서를 변경하여 실행하거나 복수의 단계 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2 내지 4는 시계열적인 순서로 한정되는 것은 아니다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 어노테이션 평가장치
110: 메모리
120: 제어부

Claims (10)

  1. 어노테이터 평가 장치에 의해 수행되는 방법에 있어서,
    복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성하는 단계;
    상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 상기 복수의 검증 결과 데이터가 믹싱된 신규 학습용 데이터를 획득하는 단계;
    상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성하는 단계;
    상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성하는 단계; 및
    상기 평가정보에 기반하여 상기 제2 모델에 대한 신뢰도를 판단하는 단계;
    를 포함하는 어노테이션 평가 방법.
  2. 제1항에 있어서,
    상기 제2 모델은,
    유전 알고리즘을 포함하는 것을 특징으로 하는 어노테이션 평가 방법.
  3. 제1항에 있어서,
    상기 원본데이터는,
    적어도 하나의 수술 과정을 촬영한 수술 동영상을 포함하는 것을 특징으로 하는 어노테이션 평가 방법.
  4. 제1항에 있어서,
    상기 복수의 검증 결과 데이터 생성 단계는,
    복수의 어노테이터들이 각각 원본데이터를 어노테이션한 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출하는 단계;
    상기 복수의 학습용 데이터를 상기 제1 모델을 이용하여 기계학습시키는 단계; 및
    상기 복수의 학습용 데이터를 각각 기계학습시킨 상기 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성하는 단계; 를 포함하는 것을 특징으로 하는 어노테이션 평가 방법.
  5. 제4항에 있어서,
    상기 복수의 검증용 데이터 추출 단계는,
    복수의 어노테이터들이 각각 상기 원본데이터를 어노테이션한 복수의 어노테이션 데이터를 획득하는 단계;
    상기 복수의 어노테이션 데이터에서 각각 복수의 학습용 데이터를 추출하는 단계; 및
    상기 복수의 어노테이션 데이터에서 상기 학습용 데이터를 제외한 복수의 검증용 데이터를 추출하는 단계;를 포함하는 것을 특징으로 하는 어노테이션 평가 방법.
  6. 제1항에 있어서,
    상기 평가정보를 생성하는 단계는,
    상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 산출하고, 상기 에러율을 기반으로 상기 최종 결과 데이터에 대한 평가정보를 생성하는 것이며,
    상기 제2 모델에 대한 신뢰도를 판단하는 단계는,
    상기 평가정보에 따라 상기 제2 모델에 리워드를 부여하고, 상기 리워드를 기반으로 상기 제2 모델에 대한 신뢰도를 판단하는 것을 특징으로 하는 어노테이션 평가 방법.
  7. 복수의 원본데이터, 복수의 어노테이터들이 상기 복수의 원본데이터에 대해 각각 어노테이션한 복수의 어노테이션 데이터를 저장하는 메모리; 및
    상기 복수의 어노테이션 데이터를 제1 모델에 입력하여 복수의 검증 결과 데이터를 생성하고, 상기 복수의 검증 결과 데이터를 제2 모델에 입력하여 신규 학습용 데이터를 생성하고, 상기 신규 학습용 데이터와 상기 원본데이터를 상기 제1 모델에 따라 학습하여 최종 결과 데이터를 생성하고, 상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 비교하여 평가정보를 생성하고, 상기 평가정보에 기반하여 상기 제2 모델에 대한 신뢰도를 판단하는 제어부;
    를 포함하는 것을 특징으로 하는 어노테이션 평가 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 복수의 어노테이션 데이터로부터 복수의 학습용 데이터와 복수의 검증용 데이터를 추출하고, 상기 복수의 학습용 데이터를 각각 기계학습시킨 제1 모델에 상기 복수의 검증용 데이터를 입력하여 복수의 검증 결과 데이터를 생성하는 것을 특징으로 하는 어노테이션 평가 장치.
  9. 제7항에 있어서,
    상기 제어부는,
    복수의 어노테이터들이 각각 영상정보를 어노테이션한 복수의 어노테이션 데이터를 획득하고, 상기 복수의 어노테이션 데이터로부터 각각 복수의 학습용 데이터를 추출하고, 상기 복수의 어노테이션 데이터에서 상기 학습용 데이터를 제외한 복수의 검증용 데이터를 추출하는 것을 특징으로 하는 어노테이션 평가 장치.
  10. 제7항에 있어서,
    상기 제어부는,
    상기 최종 결과 데이터와 상기 복수의 검증 결과 데이터를 각각 기 설정된 정답값과 비교하여 에러율을 산출하고,
    상기 에러율을 기반으로 평가정보를 생성하고 상기 평가정보에 따라 상기 제2 모델에 리워드를 부여하고,
    상기 리워드를 기반으로 상기 제2 모델에 대한 신뢰도를 판단하는 것을 특징으로 하는 어노테이션 평가 장치.
KR1020200154648A 2020-11-18 2020-11-18 어노테이션 평가 방법 및 장치 KR102467047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154648A KR102467047B1 (ko) 2020-11-18 2020-11-18 어노테이션 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154648A KR102467047B1 (ko) 2020-11-18 2020-11-18 어노테이션 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220068316A KR20220068316A (ko) 2022-05-26
KR102467047B1 true KR102467047B1 (ko) 2022-11-15

Family

ID=81809311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154648A KR102467047B1 (ko) 2020-11-18 2020-11-18 어노테이션 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102467047B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521443A (ja) 2016-06-30 2019-07-25 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
KR102075270B1 (ko) 2018-11-09 2020-02-07 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
US20200152316A1 (en) 2018-11-09 2020-05-14 Lunit Inc. Method for managing annotation job, apparatus and system supporting the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864380B1 (ko) * 2017-12-28 2018-06-04 (주)휴톰 수술영상데이터 학습시스템
KR20200123584A (ko) * 2019-04-22 2020-10-30 한국전자통신연구원 어노테이션 오류 예측 장치 및 방법
KR102413583B1 (ko) 2020-01-28 2022-06-27 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521443A (ja) 2016-06-30 2019-07-25 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
KR102075270B1 (ko) 2018-11-09 2020-02-07 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
US20200152316A1 (en) 2018-11-09 2020-05-14 Lunit Inc. Method for managing annotation job, apparatus and system supporting the same

Also Published As

Publication number Publication date
KR20220068316A (ko) 2022-05-26

Similar Documents

Publication Publication Date Title
Zhong et al. Hierarchical tracking by reinforcement learning-based searching and coarse-to-fine verifying
EP3292492B1 (en) Predicting likelihoods of conditions being satisfied using recurrent neural networks
CN111428448B (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN113272827A (zh) 卷积神经网络中分类决策的验证
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111401472B (zh) 基于深度卷积神经网络的红外目标分类方法和装置
US11961004B2 (en) Predicting brain data using machine learning models
CN113240661B (zh) 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
JP2019086475A (ja) 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
CN113192175A (zh) 模型训练方法、装置、计算机设备和可读存储介质
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN113705276A (zh) 模型构建方法、模型构建装置、计算机设备及介质
CN113705092B (zh) 基于机器学习的疾病预测方法及装置
KR102467047B1 (ko) 어노테이션 평가 방법 및 장치
CN116388864B (zh) 量子网络设备性能预测方法、装置、电子设备及存储介质
US20230009999A1 (en) Computer-readable recording medium storing evaluation program, evaluation method, and information processing device
CN116501887A (zh) 医疗知识图谱的融合方法、装置、设备及介质
KR20230056004A (ko) 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
CN110705714A (zh) 深度学习模型检测方法、深度学习平台以及计算机设备
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
US11669773B2 (en) Electronic devices generating verification vector for verifying semiconductor circuit and methods of operating the same
Buonamente et al. Discriminating and simulating actions with the associative self-organising map
CN113822850A (zh) 剂量预测方法、装置、设备及介质
CN113536859A (zh) 行为识别模型训练方法、识别方法、装置及存储介质
CN117935029B (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant