KR102527778B1 - 학습 데이터 생성 장치 및 방법 - Google Patents

학습 데이터 생성 장치 및 방법 Download PDF

Info

Publication number
KR102527778B1
KR102527778B1 KR1020200155256A KR20200155256A KR102527778B1 KR 102527778 B1 KR102527778 B1 KR 102527778B1 KR 1020200155256 A KR1020200155256 A KR 1020200155256A KR 20200155256 A KR20200155256 A KR 20200155256A KR 102527778 B1 KR102527778 B1 KR 102527778B1
Authority
KR
South Korea
Prior art keywords
oral
medical staff
images
lesion
reading result
Prior art date
Application number
KR1020200155256A
Other languages
English (en)
Other versions
KR20220068458A (ko
Inventor
허재성
김철호
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200155256A priority Critical patent/KR102527778B1/ko
Priority to US17/455,513 priority patent/US20220156515A1/en
Publication of KR20220068458A publication Critical patent/KR20220068458A/ko
Application granted granted Critical
Publication of KR102527778B1 publication Critical patent/KR102527778B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Biology (AREA)

Abstract

학습 데이터 생성 장치 및 방법이 개시된다. 일 실시예에 따른 학습 데이터 생성 장치는, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함한다.

Description

학습 데이터 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING LEARNING DATA}
개시되는 실시예들은 학습 데이터를 생성하기 위한 기술과 관련된다.
사망원인통계에 따르면, 사망률이 가장 높은 질환은 암 질환으로 알려져 있다. 그 중 구강암은 흔하게 발병되는 암 질환에 해당하지는 않는다. 그러나, 구강암은 낮은 발병률에 비해 상대적으로 오진 비율 높다. 즉, 구강암은 진료 중 판독 오류의 가능성이 높은 질환 중 하나로 볼 수 있다. 또한, 구강암은 발견 시기가 늦어질수록 타 질환에 비해 생존률이 급격하게 감소된다. 이에 따라, 구강암은 1차 진료에 의한 내시경 진찰시, 구강암을 의심할 수 있는 핵심적인 진료가 필요한 실정이다. 따라서, 구강암은 구강 내시경 영상을 통해 해부학적 조직의 특성을 면밀히 분석하여 초기 검진을 통해 올바르게 진단되는 것이 중요하다.
그러나, 구강암을 포함한 구강 질환의 진단에 있어 내시경 촬영은 간편하고 효과적인 방법이나 이를 정확히 판독할 수 있는 전문의의 수는 부족하며, 구강암이 양성 구강 점막 질환을 호소하는 환자에 비해 빈도가 높지 않은 점으로 인해, 경험 있는 의사의 수가 상대적으로 제한되어 있다. 뿐만 아니라, 구강암의 발현 양상 중 일부는 외피 세포의 비후를 동반하는 전형적인 경우도 존재하나, 점막 궤양으로 발현하는 경우 구내염과의 감별하기 어려운 문제가 있다.
따라서, 보다 정밀한 구강 내시경 영상 판독 방법을 개발하기 위해서 기계 학습을 통한 알고리즘을 설계하는 방안을 해결책으로 마련할 수 있으나, 이러한 해결책은 기계 학습 모델이 신뢰성 있는 학습 데이터를 기초로 훈련될 것이 필요하다.
한국등록특허 제10-2151943호 (2020.09.04 공고)
개시되는 실시예들은 학습 데이터를 생성하기 위한 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 학습 데이터 생성 방법은, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하는 단계; 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하는 단계; 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 단계; 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하는 단계; 및 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 단계를 포함한다.
상기 획득하는 단계는, 상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다.
상기 선정하는 단계는, 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정할 수 있다.
상기 판독 결과는, 상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
상기 결정하는 단계는, 상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
일 실시예에 따른 학습 데이터 생성 장치는, 하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및 상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함한다.
상기 판독 결과 획득부는, 상기 임상 정보에 포함된 상기 하나 이상의 구강 내시경 이미지에 대한 전문의의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다.
상기 라벨링부는, 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 할 수 있다.
상기 판독 결과는, 상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
상기 라벨링부는, 상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
개시되는 실시예들에 따르면, 구강암에 관한 전문 지식을 갖춘 복수의 의료진으로부터 구강 내시경 이미지를 진단한 판독 결과를 토대로 학습데이터를 생성할 수 있어 신뢰성 있는 학습 데이터를 생성할 수 있다.
도 1은 일 실시예에 따른 학습 데이터 생성 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 학습 데이터 생성 장치의 구성을 나타낸 블록도
도 3은 일 실시예에 따른 판독 결과를 설명하기 위한 예시도
도 4는 일 실시예에 따른 판독 결과를 설명하기 위한 예시도
도 5는 일 실시예에 따른 학습 데이터 방법을 설명하기 위한 순서도
도 6은 일 실시예에 따른 학습 데이터 방법을 더 자세히 설명하기 위한 순서도
도 7은 일 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도
이하, 도면을 참조하여 일 실시예의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
일 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 일 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 일 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 학습 데이터 생성 시스템(100)을 설명하기 위한 블록도이다.
도 1을 참조하면, 학습 데이터 생성 시스템(100)은 학습 데이터 생성 장치(200), 복수의 사용자 단말(300) 및 의료 데이터베이스(400)를 포함한다.
학습 데이터 생성 장치(200)는 의료 데이터베이스(400)로부터 하나 이상의 구강 내시경 이미지 및 구강 내시경 이미지에 대응되는 임상 정보를 획득한 뒤, 획득된 구강 내시경 이미지 및 임상 정보를 각각 상이한 의료진에 의해 이용되는 복수의 사용자 단말(300)에 제공한다. 이후, 학습 데이터 생성 장치(200)는 각 의료진의 사용자 단말(300)로 제공된 구강 내시경 이미지에 대한 각 의료진의 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 적어도 하나에 대한 라벨을 결정한다.
복수의 사용자 단말(300)은 복수의 의료진 각각에 의해 이용되는 사용자 단말이다. 이때, 복수의 의료진은 두경부외과 전문의일 수 있다.
각 사용자 단말(300)은 학습 데이터 생성 장치(200)로부터 구강 내시경 이미지 및 구강 내시경 이미지에 대한 임상 정보를 수신하여 디스플레이 화면에 표시하고, 의료진으로부터 디스플레이 화면에 표시된 구강 내시경 이미지에 대한 판독 결과를 입력 받을 수 있다. 또한, 각 사용자 단말(300)는 입력된 판독 결과를 학습 데이터 생성 장치(200)로 제공한다.
또한, 도 1에서 복수의 사용자 단말(300)은 단말 1 내지 단말 n을 포함하는 것으로 도시되었으나, 실시예에 따라, 복수의 사용자 단말(300)은 2개 이상의 사용자 단말을 포함할 수 있다.
한편, 복수의 사용자 단말(300)은 예를 들어, 태블릿 PC (Tablet PC), 랩탑(Laptop PC), 스마트 폰(Smartphone) 등의 장치일 수 있으나, 반드시 특정한 형태의 장치로 한정되는 것은 아니며, 상술한 예 외에도 유무선 네트워크를 통해 학습 데이터 생성 장치(200)와 통신할 수 있는 다양한 형태의 장치일 수 있다.
의료 데이터베이스(400)는 예를 들어, 구강암 진단을 위해 촬영된 구강 내시경 이미지 및 임상 정보(pathology report)를 저장하는 데이터베이스이다. 예를 들어, 의료 데이터베이스(400)는 각 병원에서 운영하고 있는 EMR(Electronic Medical Record, 전자의무기록) 시스템 및 PACS(Picture Archiving and Communication System) 중 어느 하나일 수 있다.
도 2는 일 실시예에 따른 학습 데이터 생성 장치(200)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 학습 데이터 생성 장치(200)는 판독 결과 획득부(210) 및 라벨링부(220)를 포함한다.
일 실시예에 따르면, 판독 결과 획득부(210) 및 라벨링부(220)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
판독 결과 획득부(210)는 하나 이상의 구강 내시경 이미지 및 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 획득한 하나 이상의 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다. 또한, 판독 결과 획득부(210)는 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다.
일 실시예에 따르면, 판독 결과 획득부(210)가 획득하는 구강 내시경 이미지는, EMR, PACS 등과 같은 의료 데이터베이스(400)에 저장된 이미지로서, 구강암 진단을 위해 내시경으로 촬영된 이미지일 수 있다.
일 실시예에 따르면, 판독 결과 획득부(210)는 임상 정보에 포함된 하나 이상의 구강 내시경 이미지에 대한 의료진의 임상 소견을 기초로 악성, 양성 또는 정상에 해당되는 구강 내시경 이미지를 획득할 수 있다. 예를 들어, 판독 결과 획득부(210)는 총 10000장 이상 구강 내시경 이미지를 획득하는 것을 목표로 할 수 있다.
구체적으로, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 악성(malignant)으로 선정되는 구강 내시경 이미지를 3000장 이상 획득할 수 있다. 이때, 악성으로 선정되는 구강 내시경 이미지는 예를 들어, 악성 병변이 확인 되는 구강 내시경 이미지 (두경부외과 전문의의 임상소견상 악성이 의심되어 추적 조직검사를 수행한 환자의 구강 내시경 이미지) 또는 추적 조직 검사에서 구강암으로 판명된 환자의 구강 내시경 이미지(병리 판독문 기준으로 구강암이 확진된 환자의 구강 내시경 이미지)일 수 있다.
또한, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 양성 (benign)으로 선정되는 구강 내시경 이미지를 3000장 이상 획득할 수 있다. 이때, 정상으로 선정되는 구강 내시경 이미지는 예를 들어 양성 병변이 확인되는 구강 내시경 이미지(두경부외과 전문의의 임상소견을 기준으로 양성 병변이 확인된 환자의 구강 내시경 이미지) 혹은 수술 또는 조직검사를 시행한 경우 병리학적으로 구강양성질환이 진단된 환자의 구강 내시경 이미지 일 수 있다.
또한, 판독 결과 획득부(210)는 전문의의 임상 소견을 기초로 정상(normal)으로 선정되는 구강 내시경 이미지를 4000장 이상 획득할 수 있다. 이때, 정상으로 선정되는 구강 내시경 이미지는 예를 들어 구강 내시경 이미지는 예를 들어, 두경부외과 전문의의 임상소견을 기준으로 정상으로 확인된 환자의 구강 내시경 이미지 수 있다.
일 실시예에 따르면, 판독 결과 획득부(210)는 복수의 사용자 단말(300)에 제공되는 구강 내시경 이미지에 대한 올바른 진단을 돕기 위하여 상기 이미지와 관련된 복수의 사용자 단말(300)에 임상 정보를 함께 제공할 수 있다.
이때, 임상 정보는 환자의 나이, 성별, 인종정보를 포함하는 기본 정보, 질병 관련 과거 이력 정보, 질병 관련 과거 이력 정보, 이력 형식이 아닌 플래그 형태로 변환된 환자 개인 습관 정보, 환자의 병리 소견 및 진단명을 포함할 수 있다. 구체적으로, 임상 정보는 인구학적 정보(예를 들어, 구강 내시경 이미지 촬영 시점의 나이, 성별, 인종), 구강 내시경 이미지 촬영 일시, 구강 내시경 이미지의 형태, 구강 내시경 이미지의 기기 정보(예를 들어, 모델명, 제조사명), 악성 구강 내시경 이미지 의 조직검사 및 병리 검사 보고서, 조직 검사 일시 등을 더 포함할 수 있다.
한편, 일 실시예에 따르면, 각 사용자 장치(300)로부터 수신되는 판독 결과는, 각 사용자 장치(300)로 제공된 구강 내시경 이미지에 포함된 병변의 분류 결과, 위치 및 경계 중 적어도 하나를 포함할 수 있다.
구체적으로, 병변의 분류 결과는 복수의 사용자 단말(300)로부터 제공된 구강 내시경 이미지가 악성, 양성 종양 또는 정상인지 여부에 대한 판단 결과를 포함할 수 있다.
또한, 병변의 경계는 복수의 의료진 각각이 병변의 위치를 특정하기 위해 제공 받은 구강 내시경 이미지 내에 표시한 폐곡선일 수 있다.
또한, 병변의 위치는 상기 표시한 폐곡선을 좌표평면 상에 표시하여 계산된 폐곡선에 의해 둘러싸인 영역의 중심 위치일 수 있다.
라벨링부(220)는 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정한다. 또한, 라벨링부(220)는 수신된 판독 결과에 기초하여 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정한다.
일 실시예에 따르면, 라벨링부(220)는 판독 결과에 기초하여, 하나 이상의 구강 내시경 이미지 중 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 라벨링 대상 이미지로 선정할 수 있다.
구강 내시경 이미지에 대한 복수의 전문의의 판독 결과가 과반수 이상으로 일치하지 않는 경우 해당 구강 내시경 이미지에 대한 판독 결과는 신뢰도가 낮아 해당 구강 내시경 이미지를 라벨링 대상 이미지로 선정하기 부적절하다. 따라서, 일정 기준 이상의 신뢰도를 갖는 구강 내시경 이미지만이 라벨링 대상 이미지로 선정될 수 있다.
일 실시예에 따르면, 라벨링부(220)는 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정할 수 있다.
또한, 일 실시예에 따르면, 라벨링부(220)는, 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정할 수 있다.
또한, 일 실시예에 따르면, 라벨링부(220)는, 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정할 수 있다.
한편, 판독 결과 획득부(210)는 복수의 의료진에 의한 진단된 판독 결과를 수신하기 때문에 각 판독 결과에 포함된 항목 전부는 일치하지 않을 수 있다. 이에 따라, 라벨링부(220)는 복수의 사용자 단말(300)로부터 수신된 판독 결과에 기초하여 구강 내시경 이미지에 대한 라벨을 결정하기 위하여 병변의 분류 결과 중 과반수 이상으로 일치하는 병변의 분류 결과를 해당 구강 내시경 이미지에 대한 분류 결과로 결정할 수 있다.
예를 들어 병변의 분류 결과가 정상 클래스로 라벨링 되기 위해서는 복수의 의료진이 진단한 판독 결과 각각은 예를 들어, (정상), (정상), (양성)일 수 있다. 즉, 판독 결과에 따른 병변 분류 결과가 모두 정상 클래스로 일치되거나, 과반수 이상으로 일치되는 병변 분류 결과가 정상 클래스에 해당되어야 정상 클래스를 해당 구강 내시경 이미지에 대한 라벨로 결정할 수 있다.
다만, 병변의 경계는 각 의료진이 주관에 따라 표시되어 복수의 의료진이 병변의 경계로 표시한 부분이 정확하게 일치될 가능성이 낮을 수 있다. 즉, 라벨링부(220)는 복수의 의료진 각각이 표시한 병변 경계에 기초하여 구강 내시경 이미지에 대한 라벨을 결정하기 위해서 복수의 의료진 각각이 표시한 병변 경계에 대한 평균 값을 해당 구강 내시경 이미지에 대한 라벨로 결정할 수 있다.
병변의 위치는 병변의 경계로부터 특정될 수 있다. 즉 라벨링부(220)는 마찬가지로 복수의 의료진 각각이 표시한 폐곡선에 의해 둘러싸인 영역의 중심 위치에 대한 평균 값을 해당 구강 내시경 이미지의 라벨로 결정할 수 있다.
도 3은 복수의 사용자 단말(300) 중 특정 의료진 사용자 단말로부터 수신된 판독 결과의 일 예시도이다.
도 3을 참조하면, 판독 결과는 구강 내시경 이미지에 대한 병변의 분류 결과와 병변의 경계를 포함한다. 구체적으로, 구강 내시경 이미지에 대한 병변 분류 결과는 정상(310)에 해당한다. 또한, 구강 내시경 이미지에 대한 병변의 경계는 구강 내시경 이미지상에 폐곡선(320)으로 표시된다.
즉, 판독 결과 획득부(210)는 특정 의료진이 해당 구강 내시경 이미지의 병변을 정상(310), 병변으로 의심될 수 있는 영역을 구강 내시경 이미지에 표시된 폐곡선(320)으로 진단한 내용을 포함하는 판독 결과를 획득할 수 있다.
도 4는 복수의 사용자 단말(300) 중 특정 의료진 사용자 단말로부터 수신된 판독 결과의 일 예시도이다.
도 4를 참조하면, 판독 결과는 구강 내시경 이미지에 대한 병변의 분류 결과와 병변의 경계를 포함한다. 구체적으로, 구강 내시경 이미지에 대한 병변 분류 결과는 양성(410)에 해당한다. 또한, 구강 내시경 이미지에 대한 병변의 경계는 구강 내시경 이미지상에 폐곡선(420)으로 표시된다.
구체적으로, 도 4에 도시된 구강 내시경 이미지에 대한 병변 분류 결과는 양성(410)에 해당한다. 또한, 병변의 경계는 병변으로 의심되는 부분에 대한 영역으로서, 해당 구강 내시경 이미지상에 폐곡선(420)으로 표시되었다.
즉, 판독 결과 획득부(210)는 특정 의료진이 해당 구강 내시경 이미지의 병변를 정상(410), 병변으로 의심될 수 있는 영역을 구강 내시경 이미지에 표시된 폐곡선(420)으로 진단한 내용을 포함하는 판독 결과를 획득할 수 있다.
도 5는 일 실시예에 따른 학습 데이터 방법을 설명하기 위한 순서도이다.
도 5에 도시된 방법은 예를 들어, 도 2에 도시된 학습 데이터 생성 장치(200)에 의해 수행될 수 있다.
도 5를 참조하면, 우선, 학습 데이터 생성 장치(200)는 하나 이상의 구강 내시경 이미지 및 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득한다(510).
이후, 학습 데이터 생성 장치(200)는 하나 이상의 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다(520).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다(530).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링 대상 이미지를 선정한다(540).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨을 결정한다(550).
도 6은 일 실시예에 따른 학습 데이터 방법을 더 자세히 설명하기 위한 순서도이다.
도 6에 도시된 방법은 예를 들어, 도 2에 도시된 학습 데이터 생성 장치(200)에 의해 수행될 수 있다.
우선, 학습 데이터 생성 장치(200)는 구강 내시경 이미지 및 구강 내시경 이미지 각각과 관련된 임상 정보를 획득한다(610).
이후, 학습 데이터 생성 장치(200)는 구강 내시경 이미지 및 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공한다(620).
이후, 학습 데이터 생성 장치(200)는 복수의 의료진 각각의 사용자 단말로부터 구강 내시경 이미지 각각에 대한 판독 결과를 수신한다(630).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일한지 여부를 판단한다(640).
이때, 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일한 경우, 학습 데이터 생성 장치(200)는 해당 구강 내시경 이미지를 라벨링 대상 이미지로 선정한다(650).
이후, 학습 데이터 생성 장치(200)는 판독 결과에 기초하여 라벨링 대상 이미지에 대한 하나 이상의 라벨을 결정한다(660).
한편, 구강 내시경 이미지에 대해 복수의 의료진 각각이 판단한 병변 분류 결과 절반 이상이 동일하지 않은 경우, 학습 데이터 생성 장치(200)는 구강 내시경 이미지에 대한 병변 분류 결과 절반 이상이 동일할 때까지 620 및 630 단계를 반복 수행할 수 있다.
도 7은 일 실시예에 따른 컴퓨팅 장치(12)를 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 학습 데이터 생성 장치(200)에 포함된 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 학습 데이터 생성 시스템
200: 학습 데이터 생성 장치
210: 판독 결과 획득부
220: 라벨링부
300: 복수의 사용자 단말
400: 의료 데이터베이스

Claims (14)

  1. 학습 데이터 생성 방법으로서,
    하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하는 단계;
    상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하는 단계;
    상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 단계;
    상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하는 단계; 및
    상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 단계를 포함하며,
    상기 판독 결과는,
    상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 경계 및 위치를 포함하며,
    상기 병변의 분류 결과는, 악성, 양성 또는 정상 중 하나이며,
    상기 병변의 경계는, 상기 복수의 의료진 각각이 병변의 위치를 특정하기 위하여 상기 제공받은 구강 내시경 이미지 내에 표시한 폐곡선이며,
    상기 병변의 위치는, 상기 표시한 폐곡선을 좌표평면 상에 표시하여 계산된 폐곡선에 의해 둘러싸인 영역의 중심 위치이며,
    상기 선정하는 단계는,
    상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정하며,
    상기 학습 데이터 생성 방법은,
    상기 선정하는 단계에서 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상이 동일하지 않은 경우, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일할 때까지 상기 제공하는 단계 및 상기 수신하는 단계를 반복 수행하는 단계를 더 포함하며,
    상기 결정하는 단계는,
    상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 상기 라벨링 대상 이미지에 대한 라벨로 결정하며,
    상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정하며,
    상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정하는, 학습 데이터 생성 방법.

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 학습 데이터 생성 장치로서,
    하나 이상의 구강 내시경 이미지 및 상기 하나 이상의 구강 내시경 이미지 각각과 관련된 임상 정보를 획득하고, 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하는 판독 결과 획득부; 및
    상기 복수의 의료진 각각의 사용자 단말로부터 수신된 판독 결과에 기초하여 상기 하나 이상의 구강 내시경 이미지 중 하나 이상의 라벨링(labeling) 대상 이미지를 선정하고, 상기 판독 결과에 기초하여 상기 하나 이상의 라벨링 대상 이미지 각각에 대한 하나 이상의 라벨(label)을 결정하는 라벨링부를 포함하며,
    상기 판독 결과는,
    상기 하나 이상의 구강 내시경 이미지 각각에 포함된 병변의 분류 결과, 경계 및 위치를 포함하며,
    상기 병변의 분류 결과는, 악성, 양성 또는 정상 중 하나이며,
    상기 병변의 경계는, 상기 복수의 의료진 각각이 병변의 위치를 특정하기 위하여 상기 제공받은 구강 내시경 이미지 내에 표시한 폐곡선이며,
    상기 병변의 위치는, 상기 표시한 폐곡선을 좌표평면 상에 표시하여 계산된 폐곡선에 의해 둘러싸인 영역의 중심 위치이며,
    상기 라벨링부는,
    상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일한 구강 내시경 이미지를 상기 라벨링 대상 이미지로 선정하며,
    상기 학습 데이터 생성 장치는,
    상기 라벨링부에서 상기 판독 결과에 기초하여, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상이 동일하지 않은 경우, 상기 하나 이상의 구강 내시경 이미지 중 상기 복수의 의료진 각각이 판단한 병변 분류 결과가 과반 이상 동일할 때까지 상기 판독 결과 획득부에서 상기 하나 이상의 구강 내시경 이미지 및 상기 임상 정보를 사전 설정된 복수의 의료진 각각의 사용자 단말로 제공하고, 상기 복수의 의료진 각각의 사용자 단말로부터 상기 하나 이상의 구강 내시경 이미지 각각에 대한 판독 결과를 수신하며,
    상기 라벨링부는,
    상기 복수의 의료진 각각이 판단한 병변의 분류 결과 중 과반 이상이 일치하는 분류 결과를 라벨로 결정하며,
    상기 복수의 의료진 각각이 판단한 병변의 위치에 대한 평균 위치를 라벨로 결정하며,
    상기 복수의 의료진 각각이 판단한 병변의 경계에 대한 평균 경계를 라벨로 결정하는, 학습 데이터 생성 장치.

  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020200155256A 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법 KR102527778B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법
US17/455,513 US20220156515A1 (en) 2020-11-19 2021-11-18 Apparatus and method for generating training data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220068458A KR20220068458A (ko) 2022-05-26
KR102527778B1 true KR102527778B1 (ko) 2023-04-28

Family

ID=81587617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155256A KR102527778B1 (ko) 2020-11-19 2020-11-19 학습 데이터 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US20220156515A1 (ko)
KR (1) KR102527778B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101352999B1 (ko) * 2013-04-03 2014-02-05 주식회사 인피니트헬스케어 특성정보를 활용하는 의료영상 북마크 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519625B1 (ko) * 2013-02-26 2015-05-13 주식회사 이도 복수의 판독자에 의한 자궁 경부의 판독 방법
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
JP7201404B2 (ja) * 2018-11-15 2023-01-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
KR102151943B1 (ko) 2020-06-23 2020-09-04 주식회사 휴런 뇌졸중 관련 병변을 분리하는 과정이 적용된 aspect 스코어 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101352999B1 (ko) * 2013-04-03 2014-02-05 주식회사 인피니트헬스케어 특성정보를 활용하는 의료영상 북마크 장치 및 방법

Also Published As

Publication number Publication date
KR20220068458A (ko) 2022-05-26
US20220156515A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US10282835B2 (en) Methods and systems for automatically analyzing clinical images using models developed using machine learning based on graphical reporting
JP5952835B2 (ja) 撮像プロトコルの更新及び／又はリコメンダ
JP5777078B2 (ja) 医療情報表示装置および方法、並びにプログラム
US11875897B2 (en) Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program
JP2004005364A (ja) 類似画像検索システム
CN109192261B (zh) 信息处理方法及装置、电子设备及存储介质
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
KR102527778B1 (ko) 학습 데이터 생성 장치 및 방법
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
JP2016224793A (ja) 医用診断支援システム、医用情報表示装置、医用情報管理装置及び医用画像処理プログラム
US11749398B2 (en) Medical image recognition system and medical image recognition method
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
US20240078089A1 (en) System and method with medical data computing
WO2022215529A1 (ja) 医用画像解析装置、医用画像解析方法、及び医用画像解析プログラム
KR20220143184A (ko) 인공지능 기반 담낭암 진단 방법
CN117836870A (zh) 用于实时处理医学图像的系统和方法
CA3150806A1 (en) System and method for reporting on medical images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant