KR20220068458A - 학습 데이터 생성 장치 및 방법 - Google Patents

학습 데이터 생성 장치 및 방법 Download PDF

Info

Publication number
KR20220068458A
KR20220068458A KR1020200155256A KR20200155256A KR20220068458A KR 20220068458 A KR20220068458 A KR 20220068458A KR 1020200155256 A KR1020200155256 A KR 1020200155256A KR 20200155256 A KR20200155256 A KR 20200155256A KR 20220068458 A KR20220068458 A KR 20220068458A
Authority
KR
South Korea
Prior art keywords
oral
medical staff
images
learning data
lesion
Prior art date
Application number
KR1020200155256A
Other languages
English (en)
Other versions
KR102527778B1 (ko
Inventor
허재성
김철호
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200155256A priority Critical patent/KR102527778B1/ko
Priority to US17/455,513 priority patent/US20220156515A1/en
Publication of KR20220068458A publication Critical patent/KR20220068458A/ko
Application granted granted Critical
Publication of KR102527778B1 publication Critical patent/KR102527778B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

학습 데이터 생성 장치 및 방법이 개시된다. 일 실시예에 따른 학습 데이터 생성 장치는, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함한다.

Description

학습 데이터 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING LEARNING DATA}
개시되는 실시예들은 학습 데이터를 생성하기 위한 기술과 관련된다.
사망원인통계에 따르면, 사망률이 가장 높은 질환은 암 질환으로 알려져 있다. 그 중 구강암은 흔하게 발병되는 암 질환에 해당하지는 않는다. 그러나, 구강암은 낮은 발병률에 비해 상대적으로 오진 비율 높다. 즉, 구강암은 진료 중 판독 오류의 가능성이 높은 질환 중 하나로 볼 수 있다. 또한, 구강암은 발견 시기가 늦어질수록 타 질환에 비해 생존률이 급격하게 감소된다. 이에 따라, 구강암은 1차 진료에 의한 내시경 진찰시, 구강암을 의심할 수 있는 핵심적인 진료가 필요한 실정이다. 따라서, 구강암은 구강 내시경 영상을 통해 해부학적 조직의 특성을 면밀히 분석하여 초기 검진을 통해 올바르게 진단되는 것이 중요하다.
그러나, 구강암을 포함한 구강 질환의 진단에 있어 내시경 촬영은 간편하고 효과적인 방법이나 이를 정확히 판독할 수 있는 전문의의 수는 부족하며, 구강암이 양성 구강 점막 질환을 호소하는 환자에 비해 빈도가 높지 않은 점으로 인해, 경험 있는 의사의 수가 상대적으로 제한되어 있다. 뿐만 아니라, 구강암의 발현 양상 중 일부는 외피 세포의 비후를 동반하는 전형적인 경우도 존재하나, 점막 궤양으로 발현하는 경우 구내염과의 감별하기 어려운 문제가 있다.
따라서, 보다 정밀한 구강 내시경 영상 판독 방법을 개발하기 위해서 기계 학습을 통한 알고리즘을 설계하는 방안을 해결책으로 마련할 수 있으나, 이러한 해결책은 기계 학습 모델이 신뢰성 있는 학습 데이터를 기초로 훈련될 것이 필요하다.
한국등록특허 제10-2151943호 (2020.09.04 공고)
개시되는 실시예들은 학습 데이터를 생성하기 위한 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 학습 데이터 생성 방법은, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하는 단계; 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하는 단계; 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 단계; 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하는 단계; 및 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 단계를 포함한다.
상기 획득하는 단계는, 상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다.
상기 선정하는 단계는, 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정할 수 있다.
상기 판독 결과는, 상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
일 실시예에 따른 학습 데이터 생성 장치는, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함한다.
상기 판독 결과 획득부는, 상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다.
상기 라벨링부는, 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 할 수 있다.
상기 판독 결과는, 상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
개시되는 실시예들에 따르면, 구강암에 관한 전문 지식을 갖춘 복수의 의료진으로부터 구강 내시경 이미지를 진단한 판독 결과를 토대로 학습데이터를 생성할 수 있어 신뢰성 있는 학습 데이터를 생성할 수 있다.
도 1은 일 실시예에 따른 학습 데이터 생성 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 학습 데이터 생성 장치의 구성을 나타낸 블록도
도 3은 일 실시예에 따른 판독 결과를 설명하기 위한 예시도
도 4는 일 실시예에 따른 판독 결과를 설명하기 위한 예시도
도 5는 일 실시예에 따른 학습 데이터 방법을 설명하기 위한 순서도
도 6은 일 실시예에 따른 학습 데이터 방법을 더 자세히 설명하기 위한 순서도
도 7은 일 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도
이하, 도면을 참조하여 일 실시예의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
일 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 일 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 일 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 학습 데이터 생성 시스템(100)을 설명하기 위한 블록도이다.
도 1을 참조하면, 학습 데이터 생성 시스템(100)은 학습 데이터 생성 장치(200), 복수의 사용자 단말(300) 및 의료 데이터베이스(400)를 포함한다.
학습 데이터 생성 장치(200)는 의료 데이터베이스(400)로부터 하나 이상의 구강 내시경 이미지 및 구강 내시경 이미지에 대응되는 임상 정보를 획득한 뒤, 획득된 구강 내시경 이미지 및 임상 정보를 각각 상이한 의료진에 의해 이용되는 복수의 사용자 단말(300)에 제공한다. 이후, 학습 데이터 생성 장치(200)는 각 의료진의 사용자 단말(300)로 제공된 구강 내시경 이미지에 대한 각 의료진의 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 적어도 하나에 대한 라벨을 결정한다.
복수의 사용자 단말(300)은 복수의 의료진 각각에 의해 이용되는 사용자 단말이다. 이때, 복수의 의료진은 두경부외과 전문의일 수 있다.
각 사용자 단말(300)은 학습 데이터 생성 장치(200)로부터 구강 내시경 이미지 및 구강 내시경 이미지에 대한 임상 정보를 수신하여 디스플레이 화면에 표시하고, 의료진으로부터 디스플레이 화면에 표시된 구강 내시경 이미지에 대한 판독 결과를 입력 받을 수 있다. 또한, 각 사용자 단말(300)는 입력된 판독 결과를 학습 데이터 생성 장치(200)로 제공한다.
또한, 도 1에서 복수의 사용자 단말(300)은 단말 1 내지 단말 n을 포함하는 것으로 도시되었으나, 실시예에 따라, 복수의 사용자 단말(300)은 2개 이상의 사용자 단말을 포함할 수 있다.
한편, 복수의 사용자 단말(300)은 예를 들어, 태블릿 PC (Tablet PC), 랩탑(Laptop PC), 스마트 폰(Smartphone) 등의 장치일 수 있으나, 반드시 특정한 형태의 장치로 한정되는 것은 아니며, 상술한 예 외에도 유무선 네트워크를 통해 학습 데이터 생성 장치(200)와 통신할 수 있는 다양한 형태의 장치일 수 있다.
의료 데이터베이스(400)는 예를 들어, 구강암 진단을 위해 촬영된 구강 내시경 이미지 및 임상 정보(pathology report)를 저장하는 데이터베이스이다. 예를 들어, 의료 데이터베이스(400)는 각 병원에서 운영하고 있는 EMR(Electronic Medical Record, 전자의무기록) 시스템 및 PACS(Picture Archiving and Communication System) 중 어느 하나일 수 있다.
도 2는 일 실시예에 따른 학습 데이터 생성 장치(200)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 학습 데이터 생성 장치(200)는 판독 결과 획득부(210) 및 라벨링부(220)를 포함한다.
일 실시예에 따르면, 판독 결과 획득부(210) 및 라벨링부(220)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
판독 결과 획득부(210)는 하나 이상의 구강 내시경 이미지 및 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 획득한 하나 이상의 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다. 또한, 판독 결과 획득부(210)는 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다.
일 실시예에 따르면, 판독 결과 획득부(210)가 획득하는 구강 내시경 이미지는, EMR, PACS 등과 같은 의료 데이터베이스(400)에 저장된 이미지로서, 구강암 진단을 위해 내시경으로 촬영된 이미지일 수 있다.
일 실시예에 따르면, 판독 결과 획득부(210)는 임상 정보에 포함된 하나 이상의 구강 내시경 이미지에 대한 의료진의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다. 예를 들어, 판독 결과 획득부(210)는 총 10000장 이상 구강 내시경 이미지를 획득하는 것을 목표로 할 수 있다.
구체적으로, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 악성(malignant)으로 선정되는 구강 내시경 이미지를 3000장 이상 획득할 수 있다. 이때, 악성으로 선정되는 구강 내시경 이미지는 예를 들어, 악성 병변이 확인 되는 구강 내시경 이미지 (두경부외과 전문의의 임상소견상 악성이 의심되어 추적 조직검사를 수행한 환자의 구강 내시경 이미지) 또는 추적 조직 검사에서 구강암으로 판명된 환자의 구강 내시경 이미지(병리 판독문 기준으로 구강암이 확진된 환자의 구강 내시경 이미지)일 수 있다.
또한, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 양성 (benign)으로 선정되는 구강 내시경 이미지를 3000장 이상 획득할 수 있다. 이때, 정상으로 선정되는 구강 내시경 이미지는 예를 들어 양성 병변이 확인되는 구강 내시경 이미지(두경부외과 전문의의 임상소견을 기준으로 양성 병변이 확인된 환자의 구강 내시경 이미지) 혹은 수술 또는 조직검사를 시행한 경우 병리학적으로 구강양성질환이 진단된 환자의 구강 내시경 이미지 일 수 있다.
또한, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 정상(normal)으로 선정되는 구강 내시경 이미지를 4000장 이상 획득할 수 있다. 이때, 정상으로 선정되는 구강 내시경 이미지는 예를 들어 구강 내시경 이미지는 예를 들어, 두경부외과 전문의의 임상소견을 기준으로 정상으로 확인된 환자의 구강 내시경 이미지 수 있다.
일 실시예에 따르면, 판독 결과 획득부(210)는 복수의 사용자 단말(300)에 제공되는 구강 내시경 이미지에 대한 올바른 진단을 돕기 위하여 상기 이미지와 관련된 복수의 사용자 단말(300)에 임상 정보를 함께 제공할 수 있다.
이때, 임상 정보는 환자의 나이, 성별, 인종정보를 포함하는 기본 정보, 질병 관련 과거 이력 정보, 질병 관련 과거 이력 정보, 이력 형식이 아닌 플래그 형태로 변환된 환자 개인 습관 정보, 환자의 병리 소견 및 진단명을 포함할 수 있다. 구체적으로, 임상 정보는 인구학적 정보(예를 들어, 구강 내시경 이미지 촬영 시점의 나이, 성별, 인종), 구강 내시경 이미지 촬영 일시, 구강 내시경 이미지의 형태, 구강 내시경 이미지의 기기 정보(예를 들어, 모델명, 제조사명), 악성 구강 내시경 이미지 의 조직검사 및 병리 검사 보고서, 조직 검사 일시 등을 더 포함할 수 있다.
한편, 일 실시예에 따르면, 각 사용자 장치(300)로부터 수신되는 판독 결과는, 각 사용자 장치(300)로 제공된 구강 내시경 이미지에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
구체적으로, 병변의 분류 결과는 복수의 사용자 단말(300)로부터 제공된 구강 내시경 이미지가 악성, 양성 종양 또는 정상인지 여부에 대한 판단 결과를 포함할 수 있다.
또한, 병변의 경계는 복수의 의료진 각각이 병변의 위치를 특정하기 위해 제공 받은 구강 내시경 이미지 내에 표시한 폐곡선일 수 있다.
또한, 병변의 위치는 상기 표시한 폐곡선을 좌표평면 상에 표시하여 계산된 폐곡선에 의해 둘러싸인 영역의 중심 위치일 수 있다.
라벨링부(220)는 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정한다. 또한, 라벨링부(220)는 수신된 판독 결과에 기초하여 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정한다.
일 실시예에 따르면, 라벨링부(220)는 판독 결과에 기초하여, 하나 이상의 구강 내시경 이미지 중 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 라벨링 대상 이미지로 선정할 수 있다.
구강 내시경 이미지에 대한 복수의 전문의의 판독 결과가 과반수 이상으로 일치하지 않는 경우 해당 구강 내시경 이미지에 대한 판독 결과는 신뢰도가 낮아 해당 구강 내시경 이미지를 라벨링 대상 이미지로 선정하기 부적절하다. 따라서, 일정 기준 이상의 신뢰도를 갖는 구강 내시경 이미지만이 라벨링 대상 이미지로 선정될 수 있다.
일 실시예에 따르면, 라벨링부(220)는 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
또한, 일 실시예에 따르면, 라벨링부(220)는, 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
또한, 일 실시예에 따르면, 라벨링부(220)는, 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
한편, 판독 결과 획득부(210)는 복수의 의료진에 의한 진단된 판독 결과를 수신하기 때문에 각 판독 결과에 포함된 항목 전부는 일치하지 않을 수 있다. 이에 따라, 라벨링부(220)는 복수의 사용자 단말(300)로부터 수신된 판독 결과에 기초하여 구강 내시경 이미지에 대한 라벨을 결정하기 위하여 병변의 분류 결과 중 과반수 이상으로 일치하는 병변의 분류 결과를 해당 구강 내시경 이미지에 대한 분류 결과로 결정할 수 있다.
예를 들어 병변의 분류 결과가 정상 클래스로 라벨링 되기 위해서는 복수의 의료진이 진단한 판독 결과 각각은 예를 들어, (정상), (정상), (양성)일 수 있다. 즉, 판독 결과에 따른 병변 분류 결과가 모두 정상 클래스로 일치되거나, 과반수 이상으로 일치되는 병변 분류 결과가 정상 클래스에 해당되어야 정상 클래스를 해당 구강 내시경 이미지에 대한 라벨로 결정할 수 있다.
다만, 병변의 경계는 각 의료진이 주관에 따라 표시되어 복수의 의료진이 병변의 경계로 표시한 부분이 정확하게 일치될 가능성이 낮을 수 있다. 즉, 라벨링부(220)는 복수의 의료진 각각이 표시한 병변 경계에 기초하여 구강 내시경 이미지에 대한 라벨을 결정하기 위해서 복수의 의료진 각각이 표시한 병변 경계에 대한 평균 값을 해당 구강 내시경 이미지에 대한 라벨로 결정할 수 있다.
병변의 위치는 병변의 경계로부터 특정될 수 있다. 즉 라벨링부(220)는 마찬가지로 복수의 의료진 각각이 표시한 폐곡선에 의해 둘러싸인 영역의 중심 위치에 대한 평균 값을 해당 구강 내시경 이미지의 라벨로 결정할 수 있다.
도 3은 복수의 사용자 단말(300) 중 특정 의료진 사용자 단말로부터 수신된 판독 결과의 일 예시도이다.
도 3을 참조하면, 판독 결과는 구강 내시경 이미지에 대한 병변의 분류 결과와 병변의 경계를 포함한다. 구체적으로, 구강 내시경 이미지에 대한 병변 분류 결과는 정상(310)에 해당한다. 또한, 구강 내시경 이미지에 대한 병변의 경계는 구강 내시경 이미지상에 폐곡선(320)으로 표시된다.
즉, 판독 결과 획득부(210)는 특정 의료진이 해당 구강 내시경 이미지의 병변을 정상(310), 병변으로 의심될 수 있는 영역을 구강 내시경 이미지에 표시된 폐곡선(320)으로 진단한 내용을 포함하는 판독 결과를 획득할 수 있다.
도 4는 복수의 사용자 단말(300) 중 특정 의료진 사용자 단말로부터 수신된 판독 결과의 일 예시도이다.
도 4를 참조하면, 판독 결과는 구강 내시경 이미지에 대한 병변의 분류 결과와 병변의 경계를 포함한다. 구체적으로, 구강 내시경 이미지에 대한 병변 분류 결과는 양성(410)에 해당한다. 또한, 구강 내시경 이미지에 대한 병변의 경계는 구강 내시경 이미지상에 폐곡선(420)으로 표시된다.
구체적으로, 도 4에 도시된 구강 내시경 이미지에 대한 병변 분류 결과는 양성(410)에 해당한다. 또한, 병변의 경계는 병변으로 의심되는 부분에 대한 영역으로서, 해당 구강 내시경 이미지상에 폐곡선(420)으로 표시되었다.
즉, 판독 결과 획득부(210)는 특정 의료진이 해당 구강 내시경 이미지의 병변를 정상(410), 병변으로 의심될 수 있는 영역을 구강 내시경 이미지에 표시된 폐곡선(420)으로 진단한 내용을 포함하는 판독 결과를 획득할 수 있다.
도 5는 일 실시예에 따른 학습 데이터 방법을 설명하기 위한 순서도이다.
도 5에 도시된 방법은 예를 들어, 도 2에 도시된 학습 데이터 생성 장치(200)에 의해 수행될 수 있다.
도 5를 참조하면, 우선, 학습 데이터 생성 장치(200)는 하나 이상의 구강 내시경 이미지 및 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득한다(510).
이후, 학습 데이터 생성 장치(200)는 하나 이상의 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다(520).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다(530).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링 대상 이미지를 선정한다(540).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨을 결정한다(550).
도 6은 일 실시예에 따른 학습 데이터 방법을 더 자세히 설명하기 위한 순서도이다.
도 6에 도시된 방법은 예를 들어, 도 2에 도시된 학습 데이터 생성 장치(200)에 의해 수행될 수 있다.
우선, 학습 데이터 생성 장치(200)는 구강 내시경 이미지 및 구강 내시경 이미지 각각과 관련된 임상 정보를 획득한다(610).
이후, 학습 데이터 생성 장치(200)는 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다(620).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다(630).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일한지 여부를 판단한다(640).
이때, 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일한 경우, 학습 데이터 생성 장치(200)는 해당 구강 내시경 이미지를 라벨링 대상 이미지로 선정한다(650).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 라벨링 대상 이미지에 대한 하나 이상의 라벨을 결정한다(660).
한편, 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일하지 않은 경우, 학습 데이터 생성 장치(200)는 구강 내시경 이미지에 대한 병변 분류 결과 절반 이상이 동일할 때까지 620 및 630 단계를 반복 수행할 수 있다.
도 7은 일 실시예에 따른 컴퓨팅 장치(12)를 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 학습 데이터 생성 장치(200)에 포함된 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 학습 데이터 생성 시스템
200: 학습 데이터 생성 장치
210: 판독 결과 획득부
220: 라벨링부
300: 복수의 사용자 단말
400: 의료 데이터베이스

Claims (14)

  1. 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하는 단계;
    상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하는 단계;
    상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 단계;
    상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하는 단계; 및
    상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 단계를 포함하는 학습 데이터 생성 방법.
  2. 청구항 1항에 있어서,
    상기 획득하는 단계는,
    상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득하는, 학습 데이터 생성 방법.
  3. 청구항 1항에 있어서,
    상기 판독 결과는,
    상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함하는, 학습 데이터 생성 방법.
  4. 청구항 3항에 있어서,
    상기 선정하는 단계는,
    상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정하는, 학습 데이터 생성 방법.
  5. 청구항 3항에 있어서,
    상기 결정하는 단계는,
    상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 상기 라벨링 대상 이미지에 대한 라벨로 결정하는, 학습 데이터 생성 방법.
  6. 청구항 3항에 있어서,
    상기 결정하는 단계는,
    상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정하는, 학습 데이터 생성 방법.
  7. 청구항 3항에 있어서,
    상기 결정하는 단계는,
    상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정하는, 학습 데이터 생성 방법.
  8. 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및
    상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함하는 학습 데이터 생성 장치.
  9. 청구항 8항에 있어서,
    상기 판독 결과 획득부는,
    상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득하는, 학습 데이터 생성 장치.
  10. 청구항 8항에 있어서,
    상기 판독 결과는,
    상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함하는, 학습 데이터 생성 장치.
  11. 청구항 10항에 있어서,
    상기 라벨링부는,
    상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정하는, 학습 데이터 생성 장치.
  12. 청구항 10항에 있어서,
    상기 라벨링부는,
    상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정하는, 학습 데이터 생성 장치.
  13. 청구항 10항에 있어서,
    상기 라벨링부는,
    상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정하는, 학습 데이터 생성 장치.
  14. 청구항 10항에 있어서,
    상기 라벨링부는,
    상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정하는, 학습 데이터 생성 장치.
KR1020200155256A 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법 KR102527778B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법
US17/455,513 US20220156515A1 (en) 2020-11-19 2021-11-18 Apparatus and method for generating training data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220068458A true KR20220068458A (ko) 2022-05-26
KR102527778B1 KR102527778B1 (ko) 2023-04-28

Family

ID=81587617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US20220156515A1 (ko)
KR (1) KR102527778B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101352999B1 (ko) * 2013-04-03 2014-02-05 주식회사 인피니트헬스케어 특성정보를 활용하는 의료영상 북마크 장치 및 방법
KR20140107737A (ko) * 2013-02-26 2014-09-05 주식회사 이도 복수의 판독자에 의한 자궁 경부의 판독 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR102151943B1 (ko) 2020-06-23 2020-09-04 주식회사 휴런 뇌졸중 관련 병변을 분리하는 과정이 적용된 aspect 스코어 추정 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7201404B2 (ja) * 2018-11-15 2023-01-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140107737A (ko) * 2013-02-26 2014-09-05 주식회사 이도 복수의 판독자에 의한 자궁 경부의 판독 방법
KR101352999B1 (ko) * 2013-04-03 2014-02-05 주식회사 인피니트헬스케어 특성정보를 활용하는 의료영상 북마크 장치 및 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR102151943B1 (ko) 2020-06-23 2020-09-04 주식회사 휴런 뇌졸중 관련 병변을 분리하는 과정이 적용된 aspect 스코어 추정 방법

Also Published As

Publication number Publication date
US20220156515A1 (en) 2022-05-19
KR102527778B1 (ko) 2023-04-28

Similar Documents

Publication Publication Date Title
US10269114B2 (en) Methods and systems for automatically scoring diagnoses associated with clinical images
JP5952835B2 (ja) 撮像プロトコルの更新及び／又はリコメンダ
JP6914839B2 (ja) 放射線レポートのためのレポート内容のコンテキスト生成
RU2711305C2 (ru) Связывание отчета / изображения
JP5628927B2 (ja) 医療情報表示装置および方法、並びにプログラム
US10290101B1 (en) Heat map based medical image diagnostic mechanism
US11880485B2 (en) Medical information anonymizing system and anonymizing method setting device
WO2019146357A1 (ja) 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム
CN109192261B (zh) 信息处理方法及装置、电子设备及存储介质
US20160350484A1 (en) Method and apparatus for managing medical metadatabase
JP2009045121A (ja) 医用画像処理システム、医用画像処理方法、及びプログラム
US20210350908A1 (en) Annotation support apparatus, annotation support method, and annotation support program
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
CN108352187A (zh) 用于生成正确放射推荐的系统和方法
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
KR102527778B1 (ko) 학습 데이터 생성 장치 및 방법
Lang et al. Using generative AI to investigate medical imagery models and datasets
JP2016224793A (ja) 医用診断支援システム、医用情報表示装置、医用情報管理装置及び医用画像処理プログラム
US11749398B2 (en) Medical image recognition system and medical image recognition method
Dave et al. Prospective Real-Time Validation of a Lung Ultrasound Deep Learning Model in the ICU
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
EP4358022A1 (en) Medical image diagnostic system, medical image diagnostic method, and program
US20230343439A1 (en) Medical information processing system, medical information processing method, and storage medium
US20230066028A1 (en) Medical image display apparatus
Lee et al. Automated methodology for gastric endoscopy in an e-health environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant