WO2021182889A2 - 영상 기반의 안질환 진단 장치 및 방법 - Google Patents

영상 기반의 안질환 진단 장치 및 방법 Download PDF

Info

Publication number
WO2021182889A2
WO2021182889A2 PCT/KR2021/003027 KR2021003027W WO2021182889A2 WO 2021182889 A2 WO2021182889 A2 WO 2021182889A2 KR 2021003027 W KR2021003027 W KR 2021003027W WO 2021182889 A2 WO2021182889 A2 WO 2021182889A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
diagnosis
diagnostic
model
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/003027
Other languages
English (en)
French (fr)
Other versions
WO2021182889A3 (ko
Inventor
송수정
송지은
이준호
이준석
조수아
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Samsung Medical Center
Original Assignee
Samsung SDS Co Ltd
Samsung Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung SDS Co Ltd, Samsung Medical Center filed Critical Samsung SDS Co Ltd
Publication of WO2021182889A2 publication Critical patent/WO2021182889A2/ko
Publication of WO2021182889A3 publication Critical patent/WO2021182889A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • Disclosed embodiments relate to a technique for diagnosing an eye disease based on a fundus image.
  • the disclosed embodiments are intended to provide technical means for effectively diagnosing the presence or absence of an eye disease using a fundus image.
  • a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, receiving an image of a fundus, and determining whether the fundus image is an in-depth diagnosis target using a diagnosis target classification model; If the determination result is an in-depth diagnosis target, it is determined whether the fundus image is diseased through a preset deep diagnosis process, and if the determination result is not an in-depth diagnosis target, the fundus image is applied to a general diagnostic model to determine whether the fundus image is diseased.
  • An image-based ocular disease diagnosis method is provided, comprising the step of determining.
  • the in-depth diagnosis target classification model may be learned using a plurality of classification model training images each labeled with a diagnosis difficulty.
  • the diagnosis difficulty is determined by randomly applying a preset image augmentation technique to each classification model training image to generate N (N is a natural number equal to or greater than 1) augmented images, and inputting the generated N augmented images to the general diagnosis model.
  • the number of correct answers (M, M is a natural number greater than or equal to 1) is calculated among the result values, and the probability of correct answers (M/N) calculated from the generated number of the augmented image (N) and the number of correct answers (M) is used as a preset criterion It can be calculated by comparing it with the probability.
  • the method may further include determining whether the fundus image can be diagnosed by using an image quality evaluation model before the step of determining whether the in-depth diagnosis target is performed.
  • the image quality evaluation model may be learned by using a plurality of image quality evaluation model training images each of which is labeled as to whether diagnosis is possible.
  • the in-depth diagnostic process may include: inputting the fundus image to a deep diagnostic model, and outputting a plurality of diagnostic scores therefrom; calculating a confidence interval of the diagnostic score using the mean and standard deviation of the diagnostic score; and comparing the confidence interval and a reference threshold of the in-depth diagnostic model.
  • the outputting of the plurality of diagnostic scores may include randomly applying dropout to the deep diagnostic model or applying a test-time augmentation technique to the fundus image to obtain the plurality of diagnostic scores. may be configured to output
  • the comparing when the minimum value of the confidence interval exceeds the reference threshold as a result of the comparison, it is determined that a disease exists in the fundus image, and when the maximum value of the confidence interval is less than the reference threshold, When it is determined that no disease is present in the fundus image and the reference threshold value is between the minimum and maximum values of the confidence interval, it may be determined that additional diagnosis is necessary for determining the presence or absence of a disease.
  • an image augmentation technique preset in a learning image is applied.
  • N augmented images N is a natural number greater than or equal to 1) by random application; calculating the number of correct answers (M, M being a natural number greater than or equal to 1) among the results of inputting the generated N augmented images into a disease diagnosis model; calculating a correct answer probability (M/N) from the generated number (N) of the augmented image and the number of correct answers (M), and comparing the correct answer probability with a preset reference probability to label the diagnostic difficulty of the learning image; and learning the deep diagnosis target classification model using the learning image labeled with the diagnosis difficulty.
  • the labeling of the diagnostic difficulty may include labeling the diagnosis difficulty as “low” when the probability of correct answer exceeds the reference probability, and labeling the diagnosis difficulty as “high” when the probability of correct answer is lower than the reference probability.
  • one or more processors Memory; and one or more programs, wherein the one or more programs are stored in the memory and are configured to be executed by the one or more processors, wherein the one or more programs receive a fundus image and classify an in-depth diagnosis target determining whether the fundus image is an in-depth diagnosis target using a model; If the determination result is an in-depth diagnosis target, it is determined whether the fundus image is diseased through a preset deep diagnosis process, and if the determination result is not an in-depth diagnosis target, the fundus image is applied to a general diagnostic model to determine whether the fundus image is diseased.
  • An apparatus for diagnosing an eye disease based on an image, including a command for performing the determining step, is provided.
  • the in-depth diagnosis target classification model may be learned using a plurality of classification model training images each labeled with a diagnosis difficulty.
  • the diagnosis difficulty is determined by randomly applying a preset image augmentation technique to each classification model training image to generate N (N is a natural number equal to or greater than 1) augmented images, and inputting the generated N augmented images to the general diagnosis model.
  • the number of correct answers (M, M is a natural number greater than or equal to 1) is calculated among the result values, and the probability of correct answers (M/N) calculated from the generated number of the augmented image (N) and the number of correct answers (M), and a preset It can be calculated by comparing it with a reference probability.
  • the one or more programs may include instructions for further performing the step of determining whether the fundus image can be diagnosed by using an image quality evaluation model before the step of determining whether the in-depth diagnosis target is performed.
  • the image quality evaluation model may be learned by using a plurality of image quality evaluation model training images each of which is labeled as to whether diagnosis is possible.
  • the in-depth diagnostic process may include: inputting the fundus image to a deep diagnostic model, and outputting a plurality of diagnostic scores therefrom; calculating a confidence interval of the diagnostic score using the mean and standard deviation of the diagnostic score; and comparing the confidence interval and a reference threshold of the in-depth diagnostic model.
  • the outputting of the plurality of diagnostic scores may include randomly applying dropout to the deep diagnostic model or applying a test-time augmentation technique to the fundus image to obtain the plurality of diagnostic scores. may be configured to output
  • the comparing when the minimum value of the confidence interval exceeds the reference threshold as a result of the comparison, it is determined that a disease exists in the fundus image, and when the maximum value of the confidence interval is less than the reference threshold, When it is determined that no disease is present in the fundus image and the reference threshold value is between the minimum and maximum values of the confidence interval, it may be determined that additional diagnosis is necessary for determining the presence or absence of a disease.
  • one or more processors Memory; and one or more programs, wherein the one or more programs are stored in the memory and are configured to be executed by the one or more processors, wherein the one or more programs are configured to randomly apply a preset image augmentation technique to a learning image to N generating an augmented image of dogs (N is a natural number equal to or greater than 1); calculating the number of correct answers (M, M being a natural number greater than or equal to 1) among the results of inputting the generated N augmented images into a disease diagnosis model; calculating a correct answer probability (M/N) from the generated number (N) of the augmented image and the number of correct answers (M), and comparing the correct answer probability with a preset reference probability to label the diagnostic difficulty of the learning image; and an instruction for performing the step of learning the in-depth diagnosis target classification model using the learning image labeled with the diagnosis difficulty.
  • N is a natural number equal to or greater than 1
  • M being a natural number greater than or equal to 1
  • M/N correct answer probability
  • the labeling of the diagnostic difficulty may include labeling the diagnosis difficulty as “low” when the probability of correct answer exceeds the reference probability, and labeling the diagnosis difficulty as “high” when the probability of correct answer is lower than the reference probability.
  • the fundus image is in-depth diagnosis using a machine learning model learned according to the disease diagnosis difficulty, not the disease presence or absence of the fundus image, and in the case of an image with high diagnosis difficulty, the in-depth diagnosis process is performed.
  • FIG. 1 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
  • FIG. 2 is a flowchart illustrating a method for diagnosing an eye disease based on an image according to an exemplary embodiment
  • FIG. 3 is a flowchart illustrating a learning method of a deep diagnosis target classification model according to an embodiment
  • FIG. 4 is an exemplary diagram for explaining a process of augmenting a learning image during a learning process of a deep diagnosis target classification model according to an embodiment
  • FIG. 5 is a flowchart illustrating a disease diagnosis process through an in-depth diagnosis process according to an embodiment
  • 6 to 8 are exemplary diagrams for explaining the determination of whether a disease exists according to a relationship between a confidence interval of a diagnostic score and a reference threshold value
  • FIG. 1 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • the computing device 12 may be an image-based eye disease diagnosis device according to embodiments of the present invention.
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions, which, when executed by the processor 14, cause the computing device 12 to operate (steps) according to an exemplary embodiment described below. ) can be configured to perform
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices, and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 102 as a separate device distinct from the computing device 12 . may be
  • FIG. 2 is a flowchart illustrating an image-based eye disease diagnosis method 200 according to an exemplary embodiment.
  • the method 200 illustrated in FIG. 2 may be performed, for example, in a computing device 12 having one or more processors and a memory storing one or more programs executed by the one or more processors.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown.
  • One or more steps may be added and performed.
  • step 202 the computing device 12 receives a fundus image.
  • step 204 the computing device 12 determines whether the disease diagnosis of the input fundus image is possible using the image quality evaluation model.
  • the image quality evaluation model is a kind of QA (Quality Assessment) model, and means a machine learning model trained by a plurality of image quality evaluation model training images each labeled with whether a disease can be diagnosed.
  • image characteristics such as sharpness, light spread, and brightness are not suitable for disease diagnosis, are not fundus images, or have not shown key features (optic disc, macula, etc.) necessary for disease diagnosis.
  • An image may be labeled “not diagnosable”, and conversely, if the characteristics of the image are suitable for diagnosing a disease, corresponding to a fundus image, or showing key features necessary for diagnosing a disease, it may be labeled “diagnosable”.
  • the computing device 12 performs learning on the image quality evaluation model using the plurality of image quality evaluation model training images labeled as described above, and determines whether the disease diagnosis of the input fundus image is possible using the learned model.
  • step 204 If it is determined in step 204 that the input fundus image is an undiagnosable image, the computing device 12 returns to step 202 to receive the fundus image again. In this case, the computing device 12 may output a message indicating that the fundus image needs to be re-photographed.
  • the computing device 12 determines whether the fundus image is a target for deep diagnosis by using the deep diagnosis target classification model.
  • the in-depth diagnosis target classification model may be a machine learning model learned using a plurality of classification model training images each labeled with a diagnosis difficulty. The in-depth diagnosis target classification model will be described in detail with reference to FIGS. 3 and 4 .
  • step 208 the computing device 12 diagnoses whether the fundus image is a disease through a preset deep diagnosis process.
  • the computing device 12 applies the fundus image to a general diagnosis model to determine whether the fundus image is a disease in step 210 .
  • the general diagnostic model refers to a machine learning model learned by using a plurality of fundus images each labeled with a disease state as a learning image.
  • FIG. 3 is a flowchart illustrating a learning method 300 of a deep diagnosis target classification model according to an exemplary embodiment.
  • whether a subject is an in-depth diagnosis is determined according to the difficulty of diagnosing a disease in an image, not whether a disease is present in the image.
  • the in-depth diagnosis target classification model according to the present invention classifies images with high difficulty in determining whether or not a disease is diseased as requiring in-depth diagnosis, regardless of whether or not a disease exists, and images with low difficulty in determining whether or not a disease requires in-depth diagnosis. classify
  • the method 300 shown in FIG. 3 may be performed on the computing device 12 described above. That is, the computing device 12 directly performs the learning method 300 of the in-depth diagnosis target classification model to be described later to configure the deep diagnosis target classification model and determines whether the input image is the in-depth diagnosis target using this. have.
  • the method 300 illustrated in FIG. 3 may be performed on another computing device 120 . That is, in this case, the computing device 12 may receive a trained deep diagnosis target classification model from another computing device, and determine whether the input image is a deep diagnosis target using this.
  • the computing device 12 performs the learning method 300 of the deep diagnosis target classification model.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown. One or more steps may be added and performed.
  • the computing device 12 receives a training image of the deep diagnostic classification model.
  • the learning image is an image in which the presence or absence of a disease is labeled.
  • step 304 the computing device 12 generates N (N is a natural number equal to or greater than 1) augmented images by randomly applying a preset image augmentation technique to the input learning image.
  • the image augmentation technique includes all kinds of transformation techniques for changing the visual characteristics of an image, such as brightness transformation, contrast transformation, color transformation, rotation, flipping, translation, and cropping for the training image. may include.
  • the computing device 12 may generate N augmented images 404 from the training image 402 by randomly applying one or more of these image augmentation techniques. At this time, each augmented image is labeled to have the same label as the input training image. That is, if the original training image is labeled as having the disease, each of the augmented images is also labeled as having the disease.
  • the computing device 12 inputs the augmented N images to the disease diagnosis model.
  • the disease diagnosis model may be the same model as the general diagnosis model described above.
  • step 308 the computing device 12 compares the output value of the disease diagnosis model with the correct answer (label of the corresponding image) and calculates the number (M, M is a natural number greater than or equal to 1) from which the correct label is derived.
  • the computing device 12 calculates a correct answer probability (M/N) from the number of generated augmented images (N) and the number of correct answers (M), and sets the correct answer probability (M/N) as a preset reference probability Compare with (P).
  • the reference probability P may be appropriately set in consideration of a performance requirement criterion of a diagnostic model, characteristics of an image, and the like.
  • the computing device 12 labels the diagnosis difficulty of the input learning image as “high”.
  • the computing device 12 labels the diagnosis difficulty of the input learning image as “low” in step 314 .
  • the computing device 12 learns the deep diagnosis target classification model using the training image labeled with the diagnosis difficulty.
  • FIG. 5 is a flowchart illustrating a disease diagnosis process 208 through an in-depth diagnosis process according to an embodiment.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown. One or more steps may be added and performed.
  • the computing device 12 receives the fundus image determined to require in-depth diagnosis and outputs a plurality of diagnosis scores therefrom.
  • the computing device 12 may input the fundus image to be in-depth diagnosis into the disease diagnosis model and output the plurality of diagnosis scores (K pieces, where K is a natural number equal to or greater than 2).
  • the disease diagnosis model may be the same model as the above-described general diagnosis model, or may be a separate machine learning model.
  • the diagnosis score is an output value when the fundus image is input to a disease diagnosis model, and may be a value representing a probability of existence of a disease in the fundus image as a value between 0 and 1.
  • the computing device 12 may calculate the plurality of diagnostic scores by applying a Monte-Carlo dropout method.
  • the Monte Carlo dropout method is a method of deriving a plurality of diagnostic scores by randomly applying dropout when one image is input to a disease diagnosis model.
  • the computing device 12 may calculate the plurality of diagnostic scores using Test-Time Augmentation (TTA).
  • TTA is a method of deriving a plurality of diagnostic scores by randomly applying an image augmentation technique to one image to obtain a plurality of augmented images, and inputting them into a disease diagnosis model.
  • the computing device 12 may obtain a plurality of diagnostic scores from the image by applying various techniques.
  • the computing device 12 calculates confidence intervals of the plurality of output diagnostic scores.
  • the computing device 12 may calculate a confidence interval of the diagnostic score using a mean (m) and a standard deviation ( ⁇ ) of the diagnostic score.
  • the confidence interval may be determined as follows.
  • the size of the confidence interval may be appropriately set according to the characteristics of the image and the performance requirements of the disease diagnosis model.
  • the computing device 12 compares the confidence interval with a reference threshold value th of the deep diagnostic model to diagnose the presence of a disease in the image. Specifically, when the minimum value of the confidence interval exceeds the reference threshold as a result of the comparison, the computing device 12 determines that a disease exists in the fundus image, and the maximum value of the confidence interval is the reference threshold If less than, it is determined that the disease does not exist in the fundus image, and when the reference threshold value is between the minimum and maximum values of the confidence interval, it can be determined that additional diagnosis is necessary for determining the presence or absence of the disease.
  • 6 to 8 are exemplary diagrams for explaining the determination of whether a disease exists according to a relationship between a confidence interval of a diagnostic score and a reference threshold value.
  • the computing device 12 determines that a disease exists in the corresponding image.
  • the computing device 12 determines that the disease does not exist in the corresponding image.
  • the computing device 12 determines that a final diagnosis is necessary by additional diagnosis by an ophthalmologist or the like.
  • an embodiment of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium including the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the medium may be specially designed and configured for the present invention, or may be commonly used in the field of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and program instructions specially configured to store and execute program instructions such as ROMs, RAMs, flash memories, and the like.
  • Hardware devices are included.
  • Examples of the program may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler.
  • an embodiment of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium including the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the medium may be specially designed and configured for the present invention, or may be commonly used in the field of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and program instructions specially configured to store and execute program instructions such as ROMs, RAMs, flash memories, and the like.
  • Hardware devices are included.
  • Examples of the program may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

영상 기반의 안질환 진단 장치 및 방법이 제공된다. 일 실시예에 따른 방법은 안저(fundus) 이미지를 입력받고, 심층 진단 대상 분류 모델을 이용하여 상기 안저 이미지의 심층 진단 대상 여부를 판단하는 단계; 상기 판단 결과 심층 진단 대상인 경우 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 판단하고, 상기 판단 결과 심층 진단 대상이 아닌 경우 상기 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단하는 단계를 포함한다.

Description

영상 기반의 안질환 진단 장치 및 방법
개시되는 실시예들은 안저(fundus) 이미지를 기반으로 안질환을 진단하기 위한 기술과 관련된다.
의료 분야는 인간의 생명과 직결되기 때문에 고도의 전문성이 요구된다. 질환 진단을 위해서도 이러한 이유로 고가의 장비나 전문 의료진이 필수적이다. 그러나 최근 들어 의료 영상을 입력 데이터로 하는 심층 신경망(deep learning)을 이용하여 질환을 자동으로 진단해 내려는 시도가 꾸준히 이어져 왔다. 전문의의 소견을 바탕으로 학습된 심층 신경망 모델은 평균 수준의 의료진의 진단 보조 역할을 수행할 수 있을 뿐만 아니라, 모델의 성능에 따라 단독 진단도 시도될 수 있다. 이와 같은 모델을 잘 이용할 경우 의료진의 수준 및 고가의 장비 유무와 관계없이 균등한 수준의 의료 인프라를 제공할 수 있다.
질환 진단을 위한 심층 신경망 모델의 경우, 의료 분야의 특수성 때문에 여타의 모델들 보다 높은 정확도(accuracy) 및 민감도(sensitivity), 다시 말해 높은 신뢰도(confidence)가 요구된다. 특히 질환이 있으나 이를 없다고 오판하는 이른바 거짓 음성(false negative)의 경우 자칫 환자에게 치명적인 결과를 초래할 수 있으므로, 이를 최소화하기 위한 수단이 필요하다.
개시되는 실시예들은 안저 이미지를 이용하여 안질환의 존재 여부를 효과적으로 진단하기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 수행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서, 안저(fundus) 이미지를 입력받고, 심층 진단 대상 분류 모델을 이용하여 상기 안저 이미지의 심층 진단 대상 여부를 판단하는 단계; 상기 판단 결과 심층 진단 대상인 경우 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 판단하고, 상기 판단 결과 심층 진단 대상이 아닌 경우 상기 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단하는 단계를 포함하는, 영상 기반의 안질환 진단 방법이 제공된다.
상기 심층 진단 대상 분류 모델은, 각각 진단 난이도가 레이블링된 복수의 분류 모델 학습 이미지를 이용하여 학습된 것일 수 있다.
상기 진단 난이도는, 각 분류 모델 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하고, 생성된 상기 N개의 증강 이미지를 상기 일반 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하며, 상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 계산된 정답 확률(M/N)을 기 설정된 기준 확률과 비교함으로써 계산될 수 있다.
상기 방법은, 상기 심층 진단 대상 여부를 판단하는 단계의 수행 전, 이미지 품질 평가 모델을 이용하여 상기 안저 이미지의 진단 가능 여부를 판단하는 단계를 더 포함할 수 있다.
상기 이미지 품질 평가 모델은, 각각 진단 가능 여부가 레이블링된 복수의 이미지 품질 평가 모델 학습 이미지에 의하여 학습된 것일 수 있다.
상기 심층 진단 과정은, 상기 안저 이미지를 심층 진단 모델에 입력하고, 이로부터 복수의 진단 스코어를 출력하는 단계; 상기 진단 스코어의 평균 및 표준편차를 이용하여 상기 진단 스코어의 신뢰 구간을 계산하는 단계; 및 상기 신뢰 구간 및 상기 심층 진단 모델의 기준 임계값을 비교하는 단계를 포함할 수 있다.
상기 복수의 진단 스코어를 출력하는 단계는, 상기 심층 진단 모델에 랜덤하게 드롭아웃(dropout)을 적용하거나, 또는 상기 안저 이미지에 테스트 데이터 증강 기법(test-time augmentation)을 적용하여 상기 복수의 진단 스코어를 출력하도록 구성될 수 있다.
상기 비교하는 단계는, 상기 비교 결과 상기 신뢰 구간의 최소값이 상기 기준 임계값을 초과하는 경우, 상기 안저 이미지에 질환이 존재하는 것으로 판단하고, 상기 신뢰 구간의 최대값이 상기 기준 임계값 미만인 경우, 상기 안저 이미지에 질환이 존재하지 않는 것으로 판단하며, 상기 기준 임계값이 상기 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우, 질환 유무 판단을 위한 추가 진단이 필요한 것으로 판단할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 수행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서, 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하는 단계; 생성된 상기 N개의 증강 이미지를 질환 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하는 단계; 상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 정답 확률(M/N)을 계산하고, 상기 정답 확률을 기 설정된 기준 확률과 비교하여 상기 학습 이미지의 진단 난이도를 레이블링하는 단계; 및 상기 진단 난이도가 레이블링된 상기 학습 이미지를 이용하여 심층 진단 대상 분류 모델을 학습하는 단계를 포함하는, 심층 진단 대상 분류 모델의 학습 방법이 제공된다.
상기 진단 난이도를 레이블링하는 단계는, 상기 정답 확률이 상기 기준 확률을 초과하는 경우 상기 진단 난이도를 "낮음"으로 레이블링하고, 상기 정답 확률이 상기 기준 확률보다 낮은 경우 상기 진단 난이도를 "높음"으로 레이블링하도록 구성될 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 안저(fundus) 이미지를 입력받고, 심층 진단 대상 분류 모델을 이용하여 상기 안저 이미지의 심층 진단 대상 여부를 판단하는 단계; 상기 판단 결과 심층 진단 대상인 경우 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 판단하고, 상기 판단 결과 심층 진단 대상이 아닌 경우 상기 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단하는 단계를 수행하기 위한 명령을 포함하는, 영상 기반의 안질환 진단 장치가 제공된다.
상기 심층 진단 대상 분류 모델은, 각각 진단 난이도가 레이블링된 복수의 분류 모델 학습 이미지를 이용하여 학습된 것일 수 있다.
상기 진단 난이도는, 각 분류 모델 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하고, 생성된 상기 N개의 증강 이미지를 상기 일반 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하며, 상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 계산된 정답 확률(M/N), 및 기 설정된 기준 확률과 비교함으로써 계산될 수 있다.
상기 하나 이상의 프로그램들은, 상기 심층 진단 대상 여부를 판단하는 단계의 수행 전, 이미지 품질 평가 모델을 이용하여 상기 안저 이미지의 진단 가능 여부를 판단하는 단계를 더 수행하기 위한 명령을 포함할 수 있다.
상기 이미지 품질 평가 모델은, 각각 진단 가능 여부가 레이블링된 복수의 이미지 품질 평가 모델 학습 이미지에 의하여 학습된 것일 수 있다.
상기 심층 진단 과정은, 상기 안저 이미지를 심층 진단 모델에 입력하고, 이로부터 복수의 진단 스코어를 출력하는 단계; 상기 진단 스코어의 평균 및 표준편차를 이용하여 상기 진단 스코어의 신뢰 구간을 계산하는 단계; 및 상기 신뢰 구간 및 상기 심층 진단 모델의 기준 임계값을 비교하는 단계를 포함할 수 있다.
상기 복수의 진단 스코어를 출력하는 단계는, 상기 심층 진단 모델에 랜덤하게 드롭아웃(dropout)을 적용하거나, 또는 상기 안저 이미지에 테스트 데이터 증강 기법(test-time augmentation)을 적용하여 상기 복수의 진단 스코어를 출력하도록 구성될 수 있다.
상기 비교하는 단계는, 상기 비교 결과 상기 신뢰 구간의 최소값이 상기 기준 임계값을 초과하는 경우, 상기 안저 이미지에 질환이 존재하는 것으로 판단하고, 상기 신뢰 구간의 최대값이 상기 기준 임계값 미만인 경우, 상기 안저 이미지에 질환이 존재하지 않는 것으로 판단하며, 상기 기준 임계값이 상기 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우, 질환 유무 판단을 위한 추가 진단이 필요한 것으로 판단할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하는 단계; 생성된 상기 N개의 증강 이미지를 질환 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하는 단계; 상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 정답 확률(M/N)을 계산하고, 상기 정답 확률을 기 설정된 기준 확률과 비교하여 상기 학습 이미지의 진단 난이도를 레이블링하는 단계; 및 상기 진단 난이도가 레이블링된 상기 학습 이미지를 이용하여 심층 진단 대상 분류 모델을 학습하는 단계를 수행하기 위한 명령을 포함하는, 영상 기반의 안질환 진단 장치가 제공된다.
상기 진단 난이도를 레이블링하는 단계는, 상기 정답 확률이 상기 기준 확률을 초과하는 경우 상기 진단 난이도를 "낮음"으로 레이블링하고, 상기 정답 확률이 상기 기준 확률보다 낮은 경우 상기 진단 난이도를 "높음"으로 레이블링하도록 구성될 수 있다.
예시적인 실시예들에 따를 경우, 안저 이미지의 질환 유무가 아닌 질환 진단 난이도에 따라 학습된 기계 학습 모델을 이용하여 안저 이미지의 심층 진단 여부를 판단하고, 진단 난이도가 높은 이미지의 경우 심층 진단 프로세스를 적용함으로써 진단 과정에서의 거짓 음성(false negative) 및 거짓 양성(false positive) 모두의 발생 가능성을 최소화하고 진단의 정확도를 높일 수 있다.
또한 개시되는 실시예들에 따를 경우 기계 학습 모델에 따른 진단 스코어 자체가 아닌, 진단 스코어의 분포를 최종 진단에 활용함으로써 진단의 정확도를 높이고 진단 오류를 감소시킬 수 있다.
또한 개시되는 실시예들에 따를 경우 이미지 품질 평가 모델을 이용하여 질환 진단에 부적합한 이미지를 자동으로 걸러냄으로써 이미지의 사전 판독 결과를 자동화하는 동시에 진단 결과의 신뢰도를 높일 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 영상 기반의 안질환 진단 방법을 설명하기 위한 흐름도
도 3은 일 실시예에 따른 심층 진단 대상 분류 모델의 학습 방법을 설명하기 위한 흐름도
도 4는 일 실시예에 따른 심층 진단 대상 분류 모델의 학습 과정 중 학습 이미지를 증강하는 과정을 설명하기 위한 예시도
도 5는 일 실시예에 따른 심층 진단 프로세스를 통한 질환 진단 과정을 설명하기 위한 흐름도
도 6 내지 도 8은 진단 스코어의 신뢰 구간 및 기준 임계값과의 관계에 따른 질환 여부 판단을 설명하기 위한 예시도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 영상 기반의 안질환 진단 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 후술할 예시적인 실시예에 따른 동작(단계)들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
도 2는 일 실시예에 따른 영상 기반의 안질환 진단 방법(200)을 설명하기 위한 흐름도이다. 도 2에 도시된 방법(200)은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 수행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치(12)에서 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 202에서, 컴퓨팅 장치(12)는 안저(fundus) 이미지를 입력받는다.
단게 204에서, 컴퓨팅 장치(12)는 이미지 품질 평가 모델을 이용하여 입력된 안저 이미지의 질환 진단 가능 여부를 판단한다.
개시되는 실시예들에서, 이미지 품질 평가 모델은 일종의 QA(Quality Assessment) 모델로서, 각각 질환 진단 가능 여부가 레이블링(labeling)된 복수의 이미지 품질 평가 모델 학습 이미지에 의하여 학습된 기계 학습 모델을 의미한다. 예를 들어, 학습 이미지들 중 이미지의 선명도, 빛 번짐, 밝기 등의 이미지 특성이 질환 진단에 적합하지 않거나, 안저 영상이 아니거나, 질환 진단에 필요한 주요 특징(시신경유두, 황반 등)이 나타나지 않은 이미지의 경우 "진단 불가"로 레이블링될 수 있으며, 이와 반대로 이미지의 특성이 질환 진단에 적합하거나, 안저 영상에 해당하거나, 질환 진단에 필요한 주요 특징이 잘 나타나 있는 경우는 "진단 가능"으로 레이블링될 수 있다. 컴퓨팅 장치(12)는 이와 같이 레이블링된 복수의 이미지 품질 평가 모델 학습 이미지를 이용하여 이미지 품질 평가 모델에 대한 학습을 수행하고, 학습된 모델을 이용하여 입력된 안저 이미지의 질환 진단 가능 여부를 판단할 수 있다.
만약 상기 204 단계의 판단 결과 입력된 안저 이미지가 진단 불가한 이미지일 경우, 컴퓨팅 장치(12)는 단계 202로 돌아가 안저 이미지를 재입력받는다. 이 경우, 컴퓨팅 장치(12)는 안저 이미지를 재촬영해야 한다는 메시지를 출력할 수 있다.
만약 상기 204 단계의 판단 결과 입력된 안저 이미지가 진단 가능한 이미지일 경우, 단계 206에서 컴퓨팅 장치(12)는 심층 진단 대상 분류 모델을 이용하여 안저 이미지의 심층 진단 대상 여부를 판단한다. 이때 상기 심층 진단 대상 분류 모델은, 각각 진단 난이도가 레이블링된 복수의 분류 모델 학습 이미지를 이용하여 학습된 기계 학습 모델일 수 있다. 심층 진단 대상 분류 모델에 대해서는 도 3 및 도 4에서 상세히 설명하기로 한다.
만약 상기 206 단계의 판단 결과 입력된 안저 이미지가 심층 진단 대상인 경우, 단계 208에서 컴퓨팅 장치(12)는 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 진단한다.
이와 달리, 상기 206 단계의 판단 결과 입력된 안저 이미지가 심층 진단 대상이 아닌 경우, 단계 210에서 컴퓨팅 장치(12)는 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단한다. 이때, 상기 일반 진단 모델은 각각 질환 여부가 레이블링된 복수의 안저 이미지를 학습 이미지로 하여 학습된 기계 학습 모델을 의미한다.
도 3은 일 실시예에 따른 심층 진단 대상 분류 모델의 학습 방법(300)을 설명하기 위한 흐름도이다. 개시되는 실시예들에서 심층 진단 대상인지의 여부는 이미지에 질환이 존재하는지의 여부가 아닌, 이미지의 질환 진단 난이도에 따라 결정된다. 즉, 본 발명에 따른 심층 진단 대상 분류 모델은 질환 여부와 관계 없이 질환 여부의 판단 난이도가 높은 이미지의 경우 심층 진단이 필요한 것으로 분류하고, 질환 여부의 판단 난이도가 낮은 이미지의 경우 심층 진단이 불필요한 것으로 분류한다.
일 실시예에서, 도 3에 도시된 방법(300)은 전술한 컴퓨팅 장치(12)에서 수행될 수 있다. 즉, 컴퓨팅 장치(12)는 후술할 심층 진단 대상 분류 모델의 학습 방법(300)을 직접 수행하여 심층 진단 대상 분류 모델을 구성하고 이를 이용하여 입력된 이미지가 심층 진단 대상인지의 여부를 판단할 수 있다. 다른 실시예에서, 도 3에 도시된 방법(300)은 다른 컴퓨팅 장치(120)에서 수행될 수 있다. 즉, 이 경우 컴퓨팅 장치(12)는 다른 컴퓨팅 장치로부터 학습이 완료된 심층 진단 대상 분류 모델을 제공받고, 이를 이용하여 입력된 이미지가 심층 진단 대상인지의 여부를 판단할 수 있다. 이하에서는 설명의 편의를 위하여 컴퓨팅 장치(12)가 심층 진단 대상 분류 모델의 학습 방법(300)을 수행하는 것으로 가정한다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 302에서, 컴퓨팅 장치(12)는 심층 진단 분류 모델의 학습 이미지를 입력받는다. 이때 상기 학습 이미지는 질환 존재 여부가 레이블링된 이미지이다.
단계 304에서, 컴퓨팅 장치(12)는 입력된 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성한다.
도 4는 일 실시예에 따른 심층 진단 대상 분류 모델의 학습 과정 중 학습 이미지를 증강하는 과정을 설명하기 위한 예시도이다. 일 실시예에서, 상기 이미지 증강 기법은 학습 이미지에 대한 밝기 변환, 대비 변환, 색상 변환, 회전, 대칭이동, 평행이동, 크롭핑(cropping) 등 이미지의 시각적 특성을 변화시키기 위한 모든 종류의 변환 기법을 포함할 수 있다. 컴퓨팅 장치(12)는 이와 같은 이미지 증강 기법 중 하나 이상을 랜덤하게 적용하여 학습 이미지(402)로부터 N개의 증강 이미지(404)를 생성할 수 있다. 이때 증강된 각 이미지들은 입력된 학습 이미지와 동일한 레이블을 가지도록 레이블링된다. 즉, 원본 학습 이미지가 질환이 존재하는 것으로 레이블링되었다면, 증강된 각 이미지들 또한 질환이 존재하는 것으로 레이블링된다.
단계 306에서, 컴퓨팅 장치(12)는 증강된 N개의 이미지를 질환 진단 모델에 입력한다. 일 실시예에서, 상기 질환 진단 모델은 전술한 일반 진단 모델과 동일한 모델일 수 있다.
단계 308에서, 컴퓨팅 장치(12)는 상기 질환 진단 모델의 출력값을 정답(해당 이미지의 레이블)과 비교하여 정답 레이블을 도출한 개수(M개, M은 1 이상의 자연수)를 계산한다.
단계 310에서, 컴퓨팅 장치(12)는 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 정답 확률(M/N)을 계산하고, 상기 정답 확률(M/N)을 기 설정된 기준 확률(P)과 비교한다. 이때 상기 기준 확률(P)은 진단 모델의 성능 요구 기준, 이미지의 특성 등을 고려하여 적절하게 설정될 수 있다.
만약 상기 310 단계의 비교 결과 정답 확률(M/N)이 기준 확률보다 작은 경우, 단계 312에서 컴퓨팅 장치(12)는 입력된 학습 이미지의 진단 난이도를 "높음"으로 레이블링한다.
이와 달리 상기 310 단계의 비교 결과 정답 확률(M/N)이 기준 확률을 초과하는 경우, 단계 314에서 컴퓨팅 장치(12)는 입력된 학습 이미지의 진단 난이도를 "낮음"으로 레이블링한다.
단계 316에서, 컴퓨팅 장치(12)는 진단 난이도가 레이블링된 학습 이미지를 이용하여 심층 진단 대상 분류 모델을 학습한다.
도 5는 일 실시예에 따른 심층 진단 프로세스를 통한 질환 진단 과정(208)을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 502에서, 컴퓨팅 장치(12)는 심층 진단이 필요한 것으로 판단된 안저 이미지를 입력받고 이로부터 복수의 진단 스코어를 출력한다. 구체적으로, 컴퓨팅 장치(12)는 심층 진단 대상 안저 이미지를 질환 진단 모델에 입력하여 상기 복수(K개, K는 2 이상의 자연수)의 진단 스코어를 출력할 수 있다. 이때 상기 질환 진단 모델은 전술한 일반 진단 모델과 동일한 모델일 수도 있고, 이와는 별도의 기계 학습 모델일 수도 있다. 또한 상기 진단 스코어는 상기 안저 이미지를 질환 진단 모델에 입력하였을 경우의 출력값으로서, 안저 이미지에 질환이 존재할 확률을 0과 1 사이의 값으로 나타낸 값일 수 있다.
일 실시예에서, 컴퓨팅 장치(12)는 몬테카를로 드롭아웃(Monte-Carlo Dropout) 방법을 적용하여 상기 복수의 진단 스코어를 계산할 수 있다. 몬테카를로 드롭아웃 방법은 하나의 이미지를 질환 진단 모델에 입력시 랜덤하게 드롭아웃(dropout)을 적용하여 복수 개의 진단 스코어를 도출하는 방법이다. 다른 실시예에서, 컴퓨팅 장치(12)는 테스트 데이터 증강 기법(TTA, Test-Time Augmentation)를 이용하여 상기 복수의 진단 스코어를 계산할 수 있다. TTA는 하나의 이미지에 이미지 증강 기법을 랜덤하게 적용하여 복수 개의 증강된 이미지를 얻고, 이를 질환 진단 모델에 입력하여 복수 개의 진단 스코어를 도출하는 방법이다. 이 밖에도 컴퓨팅 장치(12)는 다양한 기법을 적용하여 이미지로부터 복수의 진단 스코어를 얻어낼 수 있다.
단계 504에서, 컴퓨팅 장치(12)는 출력된 복수의 진단 스코어의 신뢰 구간을 계산한다. 일 실시예에서, 컴퓨팅 장치(12)는 상기 진단 스코어의 평균(m) 및 표준편차(σ)를 이용하여 상기 진단 스코어의 신뢰 구간을 계산할 수 있다. 예를 들어, 상기 신뢰 구간은 다음과 같이 정해질 수 있다.
m - 2σ <= 신뢰 구간 <= m + 2σ
신뢰 구간의 크기는 이미지의 특성 및 질환 진단 모델의 성능 요구 조건 등에 따라 적절하게 설정될 수 있다.
단계 506에서, 컴퓨팅 장치(12)는 상기 신뢰 구간 및 상기 심층 진단 모델의 기준 임계값(th)을 비교하여 이미지의 질환 존재 여부를 진단한다. 구체적으로, 컴퓨팅 장치(12)는 상기 비교 결과 상기 신뢰 구간의 최소값이 상기 기준 임계값을 초과하는 경우, 상기 안저 이미지에 질환이 존재하는 것으로 판단하고, 상기 신뢰 구간의 최대값이 상기 기준 임계값 미만인 경우, 상기 안저 이미지에 질환이 존재하지 않는 것으로 판단하며, 상기 기준 임계값이 상기 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우, 질환 유무 판단을 위한 추가 진단이 필요한 것으로 판단할 수 있다.
도 6 내지 도 8은 진단 스코어의 신뢰 구간 및 기준 임계값과의 관계에 따른 질환 여부 판단을 설명하기 위한 예시도이다.
먼저, 도 6에 도시된 바와 같이 질환 여부를 결정짓는 기준 임계값(th)이 신뢰 구간의 최소값보다 작은 경우는 신뢰 구간 전체가 질환 존재 구간에 해당하게 된다. 따라서 이 경우 컴퓨팅 장치(12)는 해당 이미지에 질환이 존재하는 것으로 판단한다.
이와 달리, 도 7에 도시된 바와 같이 질환 여부를 결정짓는 기준 임계값(th)이 신뢰 구간의 최대값보다 큰 경우는 신뢰 구간 전체가 질환 미존재 구간에 해당하게 된다. 따라서 이 경우 컴퓨팅 장치(12)는 해당 이미지에 질환이 존재하지 않는 것으로 판단한다.
한편, 도 8에 도시된 바와 같이 기준 임계값(th)이 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우는 복수의 진단 스코어 중 일부는 질환이 존재하는 것으로, 나머지는 질환이 존재하지 않는 것으로 판단된 경우에 해당한다. 즉, 이 경우는 질환 존재 여부에 불확실성이 존재하는 것이므로 컴퓨팅 장치(12)는 안과 전문의 등에 의한 추가 진단에 의해 최종 진단이 필요한 것으로 판단하게 된다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 수행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,
    안저(fundus) 이미지를 입력받고, 심층 진단 대상 분류 모델을 이용하여 상기 안저 이미지의 심층 진단 대상 여부를 판단하는 단계;
    상기 판단 결과 심층 진단 대상인 경우 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 판단하고, 상기 판단 결과 심층 진단 대상이 아닌 경우 상기 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단하는 단계를 포함하는, 영상 기반의 안질환 진단 방법.
  2. 청구항 1에 있어서,
    상기 심층 진단 대상 분류 모델은, 각각 진단 난이도가 레이블링된 복수의 분류 모델 학습 이미지를 이용하여 학습된 것인, 영상 기반의 안질환 진단 방법.
  3. 청구항 2에 있어서,
    상기 진단 난이도는,
    각 분류 모델 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하고,
    생성된 상기 N개의 증강 이미지를 상기 일반 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하며,
    상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 계산된 정답 확률(M/N)을 기 설정된 기준 확률과 비교함으로써 계산되는, 영상 기반의 안질환 진단 방법.
  4. 청구항 1에 있어서,
    상기 심층 진단 대상 여부를 판단하는 단계의 수행 전,
    이미지 품질 평가 모델을 이용하여 상기 안저 이미지의 진단 가능 여부를 판단하는 단계를 더 포함하는, 영상 기반의 안질환 진단 방법.
  5. 청구항 4에 있어서,
    상기 이미지 품질 평가 모델은, 각각 진단 가능 여부가 레이블링된 복수의 이미지 품질 평가 모델 학습 이미지에 의하여 학습된 것인, 영상 기반의 안질환 진단 방법.
  6. 청구항 1에 있어서,
    상기 심층 진단 과정은,
    상기 안저 이미지를 심층 진단 모델에 입력하고, 이로부터 복수의 진단 스코어를 출력하는 단계;
    상기 진단 스코어의 평균 및 표준편차를 이용하여 상기 진단 스코어의 신뢰 구간을 계산하는 단계; 및
    상기 신뢰 구간 및 상기 심층 진단 모델의 기준 임계값을 비교하는 단계를 포함하는, 영상 기반의 안질환 진단 방법.
  7. 청구항 6에 있어서,
    상기 복수의 진단 스코어를 출력하는 단계는,
    상기 심층 진단 모델에 랜덤하게 드롭아웃(dropout)을 적용하거나, 또는 상기 안저 이미지에 테스트 데이터 증강 기법(test-time augmentation)을 적용하여 상기 복수의 진단 스코어를 출력하도록 구성되는, 영상 기반의 안질환 진단 방법.
  8. 청구항 6에 있어서,
    상기 비교하는 단계는,
    상기 비교 결과 상기 신뢰 구간의 최소값이 상기 기준 임계값을 초과하는 경우, 상기 안저 이미지에 질환이 존재하는 것으로 판단하고,
    상기 신뢰 구간의 최대값이 상기 기준 임계값 미만인 경우, 상기 안저 이미지에 질환이 존재하지 않는 것으로 판단하며,
    상기 기준 임계값이 상기 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우, 질환 유무 판단을 위한 추가 진단이 필요한 것으로 판단하는, 영상 기반의 안질환 진단 방법.
  9. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 수행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,
    학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하는 단계;
    생성된 상기 N개의 증강 이미지를 질환 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하는 단계;
    상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 정답 확률(M/N)을 계산하고, 상기 정답 확률을 기 설정된 기준 확률과 비교하여 상기 학습 이미지의 진단 난이도를 레이블링하는 단계; 및
    상기 진단 난이도가 레이블링된 상기 학습 이미지를 이용하여 심층 진단 대상 분류 모델을 학습하는 단계를 포함하는, 심층 진단 대상 분류 모델의 학습 방법.
  10. 청구항 9에 있어서,
    상기 진단 난이도를 레이블링하는 단계는,
    상기 정답 확률이 상기 기준 확률을 초과하는 경우 상기 진단 난이도를 "낮음"으로 레이블링하고, 상기 정답 확률이 상기 기준 확률보다 낮은 경우 상기 진단 난이도를 "높음"으로 레이블링하도록 구성되는, 심층 진단 대상 분류 모델의 학습 방법.
  11. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    안저(fundus) 이미지를 입력받고, 심층 진단 대상 분류 모델을 이용하여 상기 안저 이미지의 심층 진단 대상 여부를 판단하는 단계;
    상기 판단 결과 심층 진단 대상인 경우 기 설정된 심층 진단 과정을 통해 상기 안저 이미지의 질환 여부를 판단하고, 상기 판단 결과 심층 진단 대상이 아닌 경우 상기 안저 이미지를 일반 진단 모델에 적용하여 상기 안저 이미지의 질환 여부를 판단하는 단계를 수행하기 위한 명령을 포함하는, 영상 기반의 안질환 진단 장치.
  12. 청구항 11에 있어서,
    상기 심층 진단 대상 분류 모델은, 각각 진단 난이도가 레이블링된 복수의 분류 모델 학습 이미지를 이용하여 학습된 것인, 영상 기반의 안질환 진단 장치.
  13. 청구항 12에 있어서,
    상기 진단 난이도는,
    각 분류 모델 학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하고,
    생성된 상기 N개의 증강 이미지를 상기 일반 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하며,
    상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 계산된 정답 확률(M/N), 및 기 설정된 기준 확률과 비교함으로써 계산되는, 영상 기반의 안질환 진단 장치.
  14. 청구항 11에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 심층 진단 대상 여부를 판단하는 단계의 수행 전,
    이미지 품질 평가 모델을 이용하여 상기 안저 이미지의 진단 가능 여부를 판단하는 단계를 더 수행하기 위한 명령을 포함하는, 영상 기반의 안질환 진단 장치.
  15. 청구항 14에 있어서,
    상기 이미지 품질 평가 모델은, 각각 진단 가능 여부가 레이블링된 복수의 이미지 품질 평가 모델 학습 이미지에 의하여 학습된 것인, 영상 기반의 안질환 진단 장치.
  16. 청구항 11에 있어서,
    상기 심층 진단 과정은,
    상기 안저 이미지를 심층 진단 모델에 입력하고, 이로부터 복수의 진단 스코어를 출력하는 단계;
    상기 진단 스코어의 평균 및 표준편차를 이용하여 상기 진단 스코어의 신뢰 구간을 계산하는 단계; 및
    상기 신뢰 구간 및 상기 심층 진단 모델의 기준 임계값을 비교하는 단계를 포함하는, 영상 기반의 안질환 진단 장치.
  17. 청구항 16에 있어서,
    상기 복수의 진단 스코어를 출력하는 단계는,
    상기 심층 진단 모델에 랜덤하게 드롭아웃(dropout)을 적용하거나, 또는 상기 안저 이미지에 테스트 데이터 증강 기법(test-time augmentation)을 적용하여 상기 복수의 진단 스코어를 출력하도록 구성되는, 영상 기반의 안질환 진단 장치.
  18. 청구항 16에 있어서,
    상기 비교하는 단계는,
    상기 비교 결과 상기 신뢰 구간의 최소값이 상기 기준 임계값을 초과하는 경우, 상기 안저 이미지에 질환이 존재하는 것으로 판단하고,
    상기 신뢰 구간의 최대값이 상기 기준 임계값 미만인 경우, 상기 안저 이미지에 질환이 존재하지 않는 것으로 판단하며,
    상기 기준 임계값이 상기 신뢰 구간의 최소값 및 최대값 사이에 존재하는 경우, 질환 유무 판단을 위한 추가 진단이 필요한 것으로 판단하는, 영상 기반의 안질환 진단 장치.
  19. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    학습 이미지에 기 설정된 이미지 증강 기법을 랜덤 적용하여 N개(N은 1 이상의 자연수)의 증강 이미지를 생성하는 단계;
    생성된 상기 N개의 증강 이미지를 질환 진단 모델에 입력한 결과값 중 정답 개수(M개, M은 1 이상의 자연수)를 계산하는 단계;
    상기 증강 이미지의 생성 개수(N) 및 상기 정답 개수(M)로부터 정답 확률(M/N)을 계산하고, 상기 정답 확률을 기 설정된 기준 확률과 비교하여 상기 학습 이미지의 진단 난이도를 레이블링하는 단계; 및
    상기 진단 난이도가 레이블링된 상기 학습 이미지를 이용하여 심층 진단 대상 분류 모델을 학습하는 단계를 수행하기 위한 명령을 포함하는, 영상 기반의 안질환 진단 장치.
  20. 청구항 19에 있어서,
    상기 진단 난이도를 레이블링하는 단계는,
    상기 정답 확률이 상기 기준 확률을 초과하는 경우 상기 진단 난이도를 "낮음"으로 레이블링하고, 상기 정답 확률이 상기 기준 확률보다 낮은 경우 상기 진단 난이도를 "높음"으로 레이블링하도록 구성되는, 심층 진단 대상 분류 모델의 학습 장치.
PCT/KR2021/003027 2020-03-12 2021-03-11 영상 기반의 안질환 진단 장치 및 방법 Ceased WO2021182889A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0030613 2020-03-12
KR1020200030613A KR102779025B1 (ko) 2020-03-12 2020-03-12 영상 기반의 안질환 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2021182889A2 true WO2021182889A2 (ko) 2021-09-16
WO2021182889A3 WO2021182889A3 (ko) 2021-11-04

Family

ID=77663983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003027 Ceased WO2021182889A2 (ko) 2020-03-12 2021-03-11 영상 기반의 안질환 진단 장치 및 방법

Country Status (3)

Country Link
US (1) US11800976B2 (ko)
KR (1) KR102779025B1 (ko)
WO (1) WO2021182889A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
US11532077B2 (en) 2020-08-17 2022-12-20 Netflix, Inc. Techniques for computing perceptual video quality based on brightness and color components
US11557025B2 (en) * 2020-08-17 2023-01-17 Netflix, Inc. Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
CN113962978A (zh) * 2021-10-29 2022-01-21 北京富通东方科技有限公司 一种眼部运动损伤检测阅片方法及系统
CN116563196A (zh) * 2022-01-27 2023-08-08 北京鹰瞳科技发展股份有限公司 一种基于眼底图像进行疾病预测的装置、方法及相关产品
EP4564372A1 (en) * 2022-07-29 2025-06-04 Medical AI Co., Ltd. Method, program, and device for updating artificial intelligence model for electrocardiogram reading
KR102921251B1 (ko) * 2022-07-29 2026-02-03 주식회사 메디컬에이아이 심전도 판독을 위한 인공지능 모델의 업데이트 방법, 프로그램 및 장치
CN116474234B (zh) * 2023-03-14 2024-02-02 北京阿叟阿巴科技有限公司 一种基于视觉辅助的孤独症干预系统及方法
KR102635589B1 (ko) * 2023-03-22 2024-02-07 가톨릭대학교 산학협력단 인도시아닌 그린 혈관조영술에서의 맥락막 혈관 과투과 검출 장치, 방법 및 프로그램
CN119181495B (zh) * 2024-11-26 2025-02-18 首都医科大学附属北京同仁医院 一种基于大模型的眼科疾病智能诊疗管理方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3730040B1 (en) * 2017-12-20 2025-10-29 Medi Whale Inc. Method and apparatus for assisting in diagnosis of cardiovascular disease
JP7517147B2 (ja) * 2018-03-05 2024-07-17 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム
KR102122302B1 (ko) * 2018-03-26 2020-06-12 주식회사 뷰노 안저 촬영기를 제어하는 방법 및 이를 이용한 장치
KR102301058B1 (ko) * 2018-08-24 2021-09-10 주식회사 메디웨일 진단 보조 시스템 및 그 제어 방법
US11704791B2 (en) * 2018-08-30 2023-07-18 Topcon Corporation Multivariate and multi-resolution retinal image anomaly detection system

Also Published As

Publication number Publication date
KR102779025B1 (ko) 2025-03-11
US20210282640A1 (en) 2021-09-16
WO2021182889A3 (ko) 2021-11-04
KR20210115196A (ko) 2021-09-27
US11800976B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
KR102779025B1 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2021040327A1 (ko) 심혈관 질환 위험 인자 예측 장치 및 방법
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2025234854A1 (ko) 멀티모달 거대언어모델을 활용한 의무 기록 자동 생성 장치 및 방법
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2023149653A1 (ko) 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템
WO2024112107A1 (ko) 인공지능 모델 기반의 혈관 분할 장치 및 방법
WO2021091096A1 (ko) 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022019356A1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
WO2022080551A1 (ko) 객체 인식을 이용한 시선 기반의 부정행위 검출 방법과 이를 실행하기 위한 컴퓨팅 장치 및 시스템
WO2022103140A1 (ko) 의료 영상 판독 장치 및 의료 영상 판독 방법
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2023282611A1 (ko) 진단 키트의 검사 결과를 판독하는 ai 모델 학습 장치 및 그 동작 방법
US20220375071A1 (en) Systems and methods to process electronic images to categorize intra-slide specimen tissue type
WO2022158694A1 (ko) 병리 조직 영상의 처리 방법 및 그 장치
WO2022025477A1 (ko) 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치
WO2023282400A1 (ko) 메디컬 자료 관리 시스템, 관리 방법 및 이를 위한 프로그램
WO2024029697A1 (ko) 뇌질환 위험도를 예측하는 방법 및 뇌질환 위험도 분석 모델의 학습 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768187

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768187

Country of ref document: EP

Kind code of ref document: A2