WO2020111754A9 - 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템 - Google Patents

세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템 Download PDF

Info

Publication number
WO2020111754A9
WO2020111754A9 PCT/KR2019/016425 KR2019016425W WO2020111754A9 WO 2020111754 A9 WO2020111754 A9 WO 2020111754A9 KR 2019016425 W KR2019016425 W KR 2019016425W WO 2020111754 A9 WO2020111754 A9 WO 2020111754A9
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
data
input data
learning
diagnostic system
Prior art date
Application number
PCT/KR2019/016425
Other languages
English (en)
French (fr)
Other versions
WO2020111754A3 (ko
WO2020111754A2 (ko
Inventor
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to JP2021524481A priority Critical patent/JP2022510113A/ja
Priority to US17/297,463 priority patent/US20210398674A1/en
Priority to CN201980078001.9A priority patent/CN113168907A/zh
Priority to EP19890929.3A priority patent/EP3872818A4/en
Publication of WO2020111754A2 publication Critical patent/WO2020111754A2/ko
Publication of WO2020111754A3 publication Critical patent/WO2020111754A3/ko
Publication of WO2020111754A9 publication Critical patent/WO2020111754A9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a learning method using a neural network and a diagnostic system using the same.
  • learning data is generated by automatically annotating data using a system that is learned based on supervised learning (for example, a disease diagnosis system, etc.), and thus automatically generated, that is, automatically annotated learning data.
  • the present invention relates to a method and system capable of enhancing the performance by performing relearning of the system using.
  • Deep learning using a neural network for example, a deep learning method using a convolution neurla network (CNN)
  • CNN convolution neurla network
  • one of the major tasks performed in the conventional pathology or pathology department is to read a patient's biometric image and perform a diagnosis to determine a condition or symptom for a specific disease.
  • This diagnosis is a method that is dependent on the experience and knowledge of experienced medical personnel for a long time.
  • diagnosis through deep learning using a neural network does not simply automate the experience and knowledge of experienced medical personnel, but finds characteristic elements through self-learning to derive desired answers. Rather, there are cases in which the characteristics of disease factors that an experienced medical practitioner was not aware of are found in images.
  • diagnosis of a disease through a neural network using biometric data is performed by a medical practitioner skilled in biometric data to annotate the state of a specific disease (e.g., whether cancer has been expressed), and such annotated
  • a neural network is trained by using a number of data as training data. That is, for learning, learning through annotated learning data by performing annotation on learning data is mainly used, and this learning method is called supervised learning.
  • a learning method capable of implementing a learned system (eg, a disease diagnosis system) with excellent performance while being able to somewhat reduce the time and cost required for the process of preparing learning data through such annotations.
  • a learned system eg, a disease diagnosis system
  • a technical problem to be achieved by the present invention is to provide a method and system capable of improving the diagnostic performance of a diagnosis system by using the result of diagnosis with a system learned based on supervised learning for relearning in order to diagnose a disease.
  • a diagnosis system learned through a supervised learning-based neural network receives predetermined input data and outputs a diagnosis result for the input data.
  • the step of generating, by the diagnostic system, automatic annotation learning data including the input data annotated as a result of the diagnosis is based on the diagnosis result, and when a numerical value representing the probability of the diagnosis result is greater than or equal to a predetermined threshold value, the input data May be included in the automatic annotation learning data.
  • the method of providing a diagnostic system using semi-supervised learning includes testing the performance of the diagnostic system after performing the relearning process while changing the threshold value, and determining a reference threshold value based on a test result. It may further include.
  • the diagnostic system In the method of providing a diagnostic system using the semi-supervised learning, the diagnostic system generates the automatic annotation learning data using the reference threshold value, and performs the relearning process using the generated automatic annotation learning data. It characterized in that, after performing the relearning process, it may further include the step of changing the reference threshold value.
  • the diagnostic system outputs any one of a plurality of diagnoses including a first judgment and a second judgment for input data as a diagnosis result, and the automatic annotation learning data is input data annotated with the first diagnosis in advance. It may be characterized in that it includes a number or more, and includes a predetermined number or more of the input data annotated by the second diagnosis.
  • the input data may be biometric data
  • the diagnosis result may be at least one of classification according to whether or not a disease has been developed or a disease progression state.
  • the above method may be implemented by a computer program installed in the data processing apparatus.
  • a diagnostic system for solving the above technical problem includes a processor and a storage device in which a program executed by the processor is stored, and the program is stored in the storage device, and a neural network learned based on supervised learning is provided with predetermined input data. Is received, the diagnosis result for the input data is output, automatic annotation learning data including the input data annotated with the output diagnosis result is generated, and the generated automatic annotation learning data Perform relearning.
  • the program is based on the diagnosis result, and when the numerical value indicating the probability of the diagnosis result is greater than or equal to a predetermined threshold value, the input data is included in the automatic annotation learning data, and the retraining is performed while changing the threshold value. Later, the performance of the neural network may be tested, and a reference threshold may be determined based on the test result.
  • the program generates the automatic annotation learning data using the reference threshold value, and performs the relearning process using the generated automatic annotation learning data, and after performing the relearning process,
  • the reference threshold value can be changed.
  • the program outputs any one of a plurality of diagnoses including a first judgment and a second judgment for input data as a diagnosis result, and the automatic annotation learning data includes a predetermined number of input data annotated with the first diagnosis. It may be characterized in that it includes the above, and includes a predetermined number or more of the input data annotated by the second diagnosis.
  • FIG. 1 is a diagram showing a schematic system configuration for implementing a method for providing a diagnosis system using semi-supervised learning according to the technical idea of the present invention.
  • FIG. 2 is a diagram for explaining a schematic configuration of a diagnostic system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a schematic diagnosis method of a neural network according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a criterion for setting a reference threshold value according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of resetting a reference threshold value according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.
  • the component when one component'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram showing a schematic system configuration for implementing a method for providing a diagnosis system using semi-supervised learning according to the technical idea of the present invention.
  • a diagnosis system 100 learned based on supervised learning may be implemented.
  • the diagnosis system 100 may be a system learned based on supervised learning to output a diagnosis result when predetermined input data is input according to the technical idea of the present invention.
  • the diagnostic system 100 when the diagnostic system 100 is learned based on supervised learning and predetermined biometric data (eg, biometric image) is input, the biometric data is classified in advance through the learned neural network (eg, whether or not disease has occurred or Classification according to disease progression) and outputting the result as a diagnosis result.
  • biometric data eg, biometric image
  • diagnosis system 100 can be implemented as a variety of data processing systems (eg, a computer, a server, a smart phone, or a dedicated device) as long as it can perform the functions defined in the present specification.
  • data processing systems eg, a computer, a server, a smart phone, or a dedicated device
  • the diagnosis system 100 may be learned using a plurality of learning data.
  • the diagnosis system 100 may be implemented.
  • the learning data may be data annotated in advance in order for the desired diagnosis system 100 to output a diagnosis result.
  • the annotation may be information corresponding to a diagnosis result output from the diagnosis system 100.
  • diagnosis system 100 is a system that simply receives input data (e.g., a biometric image) and outputs a diagnosis result of whether a disease is expressed in the corresponding input data
  • annotation is also applied to each of a plurality of data (e.g., a biometric image). It can mean labeling information about whether the disease has been expressed.
  • the diagnosis system 100 is a system that outputs the degree of disease progression (eg, Gleason score in case of prostate cancer) as a diagnosis result
  • the annotation is also applied to a plurality of data (eg, biometric images). It can mean labeling the degree of condition.
  • a diagnosis result output from the diagnosis system 100 may be defined dependently according to the annotated information.
  • the performance of the diagnostic system 100 learned using the annotated training data as described above may depend on the quantity and quality of the training data.
  • the method of providing a diagnosis system using semi-supervised learning implements the diagnosis system 100 learned based on supervised learning at a certain level in order to alleviate this problem.
  • the diagnosis result of the diagnosis system 100 may be set as an annotation result of input data corresponding to the diagnosis result.
  • diagnosis system 100 which has already been learned based on supervised learning, receives specific input data (S100), the diagnosis system 100 may output a diagnosis result (S110).
  • the specific input data may be set as data annotated as a result of the diagnosis.
  • the diagnosis result is set as the annotation result of the input data by the diagnosis system 100 learned based on supervised learning, and the data annotated as the diagnosis result of the diagnosis system 100 is defined as automatic annotation learning data.
  • This automatic annotation learning data may be used as learning data for relearning of the diagnosis system 100 (S120 ). That is, the diagnosis system 100 may perform relearning using the automatic annotation learning data.
  • the diagnosis system 100 not all input data from which the diagnosis system 100 outputs a diagnosis result may be used as automatic annotation learning data. That is, since the automatic annotation learning data is data used for re-learning of the diagnostic system 100, as described later, the annotation result of the automatic annotation learning data must be reliable.
  • the automatic annotation learning data may be limited to input data when the diagnosis system 100 outputs a predetermined diagnosis result with respect to input data and outputs the diagnosis result more than a certain probability.
  • the neural network may be designed such that a numerical value corresponding to this probability is output by a layer prior to the final layer of the neural network included in the diagnosis system 100.
  • the final layer of the neural network May be implemented to output the numerical value.
  • at least one layer of the neural network included in the diagnosis system 100 may be designed and learned to output a numerical value that is a basis for determining a diagnosis result before outputting a final diagnosis result.
  • the diagnosis system 100 outputs the diagnosis result as the first diagnosis result (e.g., a first class such as the degree of disease manifestation or disease progression) when the numerical value is greater than or equal to a predetermined threshold value (input data is Classification), and if it is less than the threshold value, the diagnosis result may be output as a second diagnosis result (a second class among a plurality of classes that can be classified as a diagnosis result).
  • a first diagnosis result e.g., a first class such as the degree of disease manifestation or disease progression
  • a predetermined threshold value input data is Classification
  • the diagnostic system 100 may separately define a threshold value that serves as a criterion for use as automatic annotation learning data, separate from a criterion of a numerical value used as a criterion for classifying a diagnosis result.
  • the threshold value used as the automatic annotation learning data may be 0.85. That is, among input data classified as a result of the first diagnosis, only input data having the threshold value of 0.85 or higher may be used as the automatic annotation learning data.
  • the threshold value is a criterion for determining whether to use the input data as automatic annotation learning data when the input data received by the diagnosis system 100 is classified as a predetermined diagnosis result by the diagnosis system 100 Can be
  • a threshold value which is a reference to be used as the automatic annotation learning data
  • Data to be included in the automatic annotation learning data may be determined according to the reference threshold value, and the determined automatic annotation learning data may be used for relearning of the diagnostic system 100, so that the reference threshold value is determined after relearning.
  • the performance of the diagnostic system 100 may be greatly affected.
  • the numerical value that is the basis of the diagnosis result is a first diagnosis result (eg, a first diagnosis result among a plurality of classes) among diagnosis results (eg, a plurality of classes) that can be output by the diagnosis system 100. It may correspond to a probability indicating accuracy of 1 class).
  • the automatic annotation learning data should include not only input data classified as a first diagnosis result, but also input data classified as other diagnosis results (e.g., a class other than the first class among a plurality of classes). May be. Therefore, it may not necessarily increase the degree of performance improvement of the diagnostic system 100 after retraining as the reference threshold value is increased.
  • the reference threshold value may also be determined by the diagnosis system 100.
  • the diagnosis system 100 may set a plurality of threshold values and specify a plurality of sets of automatic annotation learning data to be used for retraining according to each of the set threshold values.
  • Each of the automatic annotation learning data may be specified to include a predetermined number or more of data annotated as a result of a plurality of diagnosis.
  • learning performance is that the training data is prepared to have a similar weight for each diagnosis result.
  • the automatic annotation learning data set may be defined so that data annotated by each of a plurality of diagnostic results (ie, classified classes) are included in the automatic annotation learning data in a predetermined number or more. .
  • each of the plurality of different training data sets may be used to retrain the diagnosis system 100.
  • a plurality of neural networks identical to the diagnosis system 100 may be prepared in advance.
  • performance evaluation may be performed using a test data set predefined for each of the plurality of retrained diagnostic systems 100.
  • a threshold value when the performance after retraining is best may be determined as a reference threshold value.
  • the diagnosis system 100 may generate a plurality of automatic annotation learning data based on the reference threshold value. And when more than a predetermined number of automatic annotation learning data are generated (in this case, it may be greater than the number of automatic annotation learning data used to determine a reference threshold), the diagnosis system 100 uses the automatic annotation learning data. Relearning can be performed.
  • the diagnostic system 100 on which relearning has been performed may have better performance than the diagnostic system 100 before relearning.
  • the diagnostic system 100 having the improved performance may be a system in which a number of parameters constituting a neural network are changed from the diagnostic system 100 before retraining. Therefore, it may not be desirable to generate automatic annotation learning data for re-learning again by continuously using the existing reference threshold value. Therefore, for the diagnosis system 100 after relearning, it is desirable to change the criteria for classifying the automatic annotation learning data to be used when relearning again by performing the process of re-determining the reference threshold value again as described above. I can.
  • a schematic configuration of the diagnostic system 100 for implementing this technical idea may be as illustrated in FIG. 2.
  • FIG. 2 is a diagram for explaining a schematic configuration of a diagnostic system according to an embodiment of the present invention.
  • the diagnostic system 100 may include a configuration as shown in FIG. 2.
  • the diagnostic system 10 may include a processor 110 and a storage device 120.
  • the diagnostic system 100 refers to a data processing system having computing power for implementing the technical idea of the present invention.
  • specific services such as personal computers and mobile terminals as well as data processing systems accessible to clients through a network
  • the average expert in the technical field of the present invention can easily infer that it can be implemented with any device capable of performing the operation.
  • the processor 110 may mean an operation device capable of driving the program 121 for implementing the technical idea of the present invention, and the processor 110 is based on the program 121 and the technical idea of the present invention. Diagnosis can be performed using a neural network (123) defined by.
  • the neural network may be a convolutional neural network, and upon receiving biometric data (eg, an image), a diagnosis result may be output through the learned neural network.
  • the program 121 may refer to software defined to learn the neural network 123 through supervised learning or to perform a diagnosis using the learned neural network 123.
  • the storage device 120 may mean a data storage means capable of storing the program 121 and the neural network 123, and may be implemented as a plurality of storage means according to an implementation example.
  • the storage device 120 may mean not only a main memory device included in the diagnostic system 100, but also a temporary storage device or a memory that may be included in the processor 110.
  • diagnosis system 100 is illustrated as being implemented as any one physical device in FIG. 2, a plurality of physical devices may be organically combined as needed to implement the diagnosis system 100 according to the technical idea of the present invention.
  • the average expert in the technical field of the present invention will be able to easily deduce.
  • a processor eg 110 provided in the diagnostic system (eg, 100) uses the program (eg, 121) to perform a predetermined function.
  • the program eg, 121
  • diagnosis system 100 performs diagnosis may refer to a series of processes for receiving biometric data and outputting output data defined in the present specification, for example, a diagnosis result.
  • the diagnostic system 100 may receive biometric data for each predetermined unit unit.
  • the unit unit may be, for example, a pixel unit, a patch, or a slide unit.
  • the diagnosis result of the diagnosis system 100 may be simply whether or not a disease has occurred or a corresponding value (eg, probability, etc.) according to the type of the disease, or, when a disease is expressed, it is state information indicating the degree of the state of the disease. May be.
  • a Gleason Pattern or Gleason Score an index indicating the progression of prostate cancer
  • the status information is information corresponding to the probability that the biological tissue corresponding to the unit unit to be diagnosed corresponds to a specific value (e.g., 3, 4, or 5) of the Gleason pattern or normal (i.e., no disease is expressed. If not), information corresponding to the probability corresponding to may be included.
  • the diagnosis system 100 may perform a function of classifying input data into a predetermined diagnosis result through the learned neural network 123.
  • the neural network 123 included in the diagnosis system 100 may output a predetermined numerical value before determining the final diagnosis result as described above.
  • FIG. 3 One such example is shown in FIG. 3.
  • FIG. 3 is a diagram illustrating a schematic diagnosis method of a neural network according to an embodiment of the present invention.
  • the neural network 123 may include an input layer, a hidden layer, and an output layer, as is widely known.
  • the output layer may output a diagnosis result, that is, a result of classifying input data into one of predetermined classes, and a layer prior to the output layer may be designed to output at least one predetermined numerical value. Then, the output layer may determine and output a diagnosis result based on the numerical value.
  • the numerical value may be a criterion for determining a diagnosis result, or as described above, may be a criterion for generating automatic annotation learning data according to an embodiment of the present invention.
  • the neural network 123 may classify the input data as a first diagnosis result.
  • the numerical value must be greater than or equal to the second value to include the input data in the automatic annotation learning data.
  • the first value and the second value may be set to be the same, and in this case, the second value, that is, the input data, is automatically annotated learning data by determining the reference threshold value as described above.
  • a reference value for classifying the diagnosis results may be determined together.
  • FIG. 4 is a diagram for describing a criterion for setting a reference threshold value according to an embodiment of the present invention.
  • the diagnosis system 100 may specify a plurality of different automatic annotation learning data sets that are specified according to a plurality of threshold values.
  • the diagnostic system 100 may evaluate the performance when the diagnostic system 100 is retrained using each of a plurality of automatic annotation learning data sets.
  • the evaluation of performance may be performed based on at least one of accuracy, precision, sensitivity, and specificity representative criteria for evaluating the performance of the learning model.
  • performance evaluation can be performed by focusing on only one or a portion of them as needed.
  • a threshold value corresponding to the automatic annotation learning data having the highest performance may be a reference threshold value.
  • FIG. 5 is a diagram illustrating a method of resetting a reference threshold value according to an embodiment of the present invention.
  • the diagnosis system 100 may generate a predetermined significant number of automatic annotation learning data based on the reference threshold value.
  • the diagnosis system 100 at this time may be a diagnosis system 100 that has already been retrained to determine a reference threshold value, or may be a previous diagnosis system 100, that is, a system that has not been retrained.
  • the diagnosis system 100 may perform relearning using the generated automatic annotation learning data (S210).
  • the automatic annotation learning data it may be necessary to satisfy a condition in which a predetermined number of data for each diagnosis (classes) that can be classified as a diagnosis result or a number of data within a predetermined ratio range exists.
  • a predetermined number of diagnoses according to new input data may be performed using the diagnosis system 100 on which relearning has been performed.
  • diagnosis when the diagnosis is performed to the extent that the reference threshold value is re-searched, it may be determined by re-searching the new reference threshold value as described above.
  • diagnosis system 100 when more than a certain number of automatic annotation training data are generated again using a new reference threshold value, the diagnosis system 100 may be improved to have higher performance by performing retraining again.
  • the method of providing a diagnostic system using semi-supervised learning may be implemented as a computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.
  • the present invention can be used in "a method of providing a diagnostic system using semi-supervised learning and a diagnostic system using the same".

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 그 시스템이 개시된다. 상기 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 지도학습기반의 뉴럴 네트워크를 통해 학습된 진단 시스템이 소정의 입력 데이터를 입력 받고, 상기 입력 데이터에 대한 진단 결과를 출력하는 단계, 상기 진단 시스템이 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터를 생성하는 단계, 및 상기 진단 시스템이 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 재학습 프로세스를 수행하는 단계를 포함한다.

Description

세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
본 발명은 뉴럴 네트워크를 이용한 학습방법 및 이를 이용하는 진단 시스템에 관한 것이다. 보다 상세하게는 지도학습기반으로 학습된 시스템(예컨대, 질병의 진단 시스템 등)을 이용하여 자동으로 데이터에 어노테이션을 수행하여 학습 데이터를 생성하고, 이렇게 자동으로 생성된 즉, 자동으로 어노테이션된 학습 데이터를 이용하여 시스템의 재학습을 수행하여 성능을 고도화할 수 있는 방법 및 시스템에 관한 것이다.
뉴럴 네트워크를 이용한 딥러닝(deep learning, 예컨대, 컨벌루션 뉴럴 네트워크(Convolution neurla network, CNN)를 이용한 딥러닝 방식) 기술이 널리 이용되고 있다.
이러한 딥러닝을 이용하여 질병의 진단을 수행하기 위한 시도도 점차 증대되고 있다.
예컨대, 종래의 병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
하지만 이러한 진단 분야에서도 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체 데이터(예컨대, 생체 이미지)를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체 데이터에 숙련된 의료인이 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 데이터들을 학습 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 즉, 학습을 위해 학습 데이터에 어노테이션을 수행하여 어노테이션된 학습 데이터를 통한 학습이 주로 이용되는데 이러한 학습방식을 지도학습(supervised learning)이라고 한다.
하지만 이러한 지도학습에는 지도학습을 위해 어노테이션된 학습 데이터가 다수 필요하게 된다. 그리고 이러한 다수의 어노테이션된 학습 데이터를 생성하는데에는 숙련된 전문가가 상당히 많은 시간을 소요하여 수행하여야 하는 특성상 높은 비용 및 시간이 요구되는 프로세스이다.
따라서 이러한 어노테이션을 통한 학습 데이터의 준비 프로세스에 소요되는 시간과 비용을 다소 경감할 수 있으면서도 성능이 우수한 학습된 시스템(예컨대, 질병의 진단 시스템)을 구현할 수 있는 학습방법이 요구된다.
*선행기술문헌
-특허문헌
한국등록특허 10-1818074 "인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템"
본 발명이 이루고자 하는 기술적인 과제는 질병을 진단하기 위해 지도학습 기반으로 학습된 시스템으로 진단한 결과를 재학습에 이용함으로써 진단 시스템의 진단 성능을 높일 수 있는 방법 및 시스템을 제공하는 것이다.
또한 진단 시스템이 진단 결과를 결정하는데 기반이 되는 수치의 기준 문턱 값을 효과적으로 결정할 수 있는 방법 및 시스템을 제공하는 것이다.
또한 이러한 수치의 기준 문턱 값을 재학습 이후 소정의 시점에 재설정함으로써 보다 높은 성능 개선이 이루어질 수 있는 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 지도학습기반의 뉴럴 네트워크를 통해 학습된 진단 시스템이 소정의 입력 데이터를 입력 받고, 상기 입력 데이터에 대한 진단 결과를 출력하는 단계, 상기 진단 시스템이 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터를 생성하는 단계, 및 상기 진단 시스템이 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 재학습 프로세스를 수행하는 단계를 포함한다.
상기 진단 시스템이 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터를 생성하는 단계는 상기 진단 결과에 기초가 되며 진단결과의 확률을 나타내는 수치 값이 소정의 문턱 값 이상일 경우 상기 입력 데이터를 상기 자동 어노테이션 학습 데이터에 포함시키는 것을 특징으로 할 수 있다.
상기 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 상기 문턱 값을 변경하면서 상기 재학습 프로세스를 수행한 후의 상기 진단 시스템의 성능을 테스트하는 단계 및 테스트 결과에 기초하여 기준 문턱 값을 결정하는 단계를 더 포함할 수 있다.
상기 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 상기 진단 시스템이 상기 기준 문턱 값을 이용하여 상기 자동 어노테이션 학습 데이터를 생성하고, 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 상기 재학습 프로세스를 수행하는 것을 특징으로 하며, 상기 재학습 프로세스를 수행한 후, 상기 기준 문턱 값을 변경하는 단계를 더 포함할 수 있다.
상기 진단 시스템은 입력 데이터에 대해 제1판단 및 제2판단을 포함하는 복수의 진단들 중 어느 하나를 진단 결과로 출력하고, 상기 자동 어노테이션 학습 데이터는 상기 제1진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하고, 상기 제2진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하는 것을 특징으로 할 수 있다.
상기 입력 데이터는 생체 데이터이고, 상기 진단 결과는 질병의 발현여부 또는 질병의 진행상태에 따른 분류 중 적어도 하나인 것을 특징으로 할 수 있다.
상기의 방법은 데이터 처리장치에 설치된 컴퓨터 프로그램에 의해 구현될 수 있다.
상기의 기술적 과제를 해결하기 위한 진단 시스템은 프로세서, 상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며, 상기 프로그램은 상기 저장장치에 저장되며 지도학습기반으로 학습된 뉴럴 네트워크가 소정의 입력 데이터를 입력 받고, 상기 입력 데이터에 대한 진단 결과를 출력하도록 하며, 출력된 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터 생성하고, 생성한 자동 어노테이션 학습 데이터를 이용하여 상기 뉴럴 네트워크의 재학습을 수행한다.
상기 프로그램은 상기 진단 결과에 기초가 되며 진단결과의 확률을 나타내는 수치 값이 소정의 문턱 값 이상일 경우 상기 입력 데이터를 상기 자동 어노테이션 학습 데이터에 포함시키며, 상기 문턱 값을 변경하면서 상기 재학습을 수행한 후의 상기 뉴럴 네트워크의 성능을 테스트하고, 테스트 결과에 기초하여 기준 문턱 값을 결정할 수 있다.
상기 프로그램은 상기 기준 문턱 값을 이용하여 상기 자동 어노테이션 학습 데이터를 생성하고, 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 상기 재학습 프로세스를 수행하는 것을 특징으로 하며, 상기 재학습 프로세스를 수행한 후, 상기 기준 문턱 값을 변경할 수 있다.
상기 프로그램은 입력 데이터에 대해 제1판단 및 제2판단을 포함하는 복수의 진단들 중 어느 하나를 진단 결과로 출력하고, 상기 자동 어노테이션 학습 데이터는 상기 제1진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하고, 상기 제2진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하는 것을 특징으로 할 수 있다.
본 발명의 기술적 사상에 따르면 질병을 진단하기 위해 지도학습 기반으로 학습된 시스템으로 진단한 결과를 재학습에 이용함으로써 특히 어노테이션에 많은 비용과 시간이 소요되는 어노테이션 프로세스를 효과적으로 수행할 수 있는 효과가 있다. 또한 이러한 재학습을 통해 진단 시스템의 진단 성능이 개선될 수 있는 효과가 있다.
또한 진단 시스템이 진단 결과를 결정하는데 기반이 되는 수치의 기준 문턱 값을 재학습의 성능 개선에 따라 효과적으로 결정함으로써 재학습 후의 진단 시스템의 성능 향상에 효과가 있다.
또한 이러한 수치의 기준 문턱 값을 재학습 이후 소정의 시점에 재설정함으로써 보다 높은 성능 개선이 이루어질 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법을 구현하기 위한 개략적인 시스템 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 진단 시스템의 개략적인 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 뉴럴 네트워크의 개략적인 진단 방식을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 기준 문턱 값을 설정하는 기준을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따라 기준 문턱 값을 재설정하는 방식을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, “포함하다”또는 “가지다”등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법을 구현하기 위한 개략적인 시스템 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법을 구현하기 위해서는 지도학습(supervised learning)기반으로 학습된 진단 시스템(100)이 구현될 수 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상에 따라 소정의 입력 데이터가 입력되면 진단 결과를 출력하도록 지도학습 기반으로 학습된 시스템일 수 있다.
예컨대, 상기 진단 시스템(100)은 지도학습 기반으로 학습되어 소정의 생체 데이터(예컨대, 생체 이미지)가 입력되면, 상기 생체 데이터를 학습된 뉴럴 네트워크를 통해 미리 정해진 분류(예컨대, 질병의 발현여부 또는 질병의 진행정도에 따른 분류)로 분류하여 그 결과를 진단결과로 출력하는 시스템일 수 있다.
상기 진단 시스템(100)은 본 명세서에서 정의된 기능을 수행할 수만 있으면 다양한 데이터 처리시스템(예컨대, 컴퓨터, 서버, 스마트 폰, 또는 전용장치 등)로 구현될 수 있음은 물론이다.
상기 진단 시스템(100)은 다수의 학습 데이터를 이용해 학습될 수 있다. 소정의 뉴럴 네트워크를 구비한 시스템(100-1)이 상기 다수의 학습 데이터를 입력받아(S10) 학습을 수행하면(S20) 상기 진단 시스템(100)이 구현될 수 있다.
상기 학습 데이터는 원하는 진단 시스템(100)이 진단 결과를 출력하기 위해 미리 어노테이션된 데이터일 수 있다. 어노테이션은 진단 시스템(100)이 출력하는 진단 결과에 상응하는 정보일 수 있다.
상기 진단 시스템(100)이 단순히 입력 데이터(예컨대, 생체 이미지)를 입력받고 해당 입력 데이터에 질병이 발현되었는지를 진단결과로 출력하는 시스템이라면, 상기 어노테이션 역시 다수의 데이터(예컨대, 생체 이미지) 각각에 질병이 발현되었는지 여부에 대한 정보를 라벨링하는 것을 의미할 수 있다.
또는 상기 진단 시스템(100)이 병의 진행상태 정도(예컨대, 전립선 암의 경우 글리슨 스코어)를 진단 결과로 출력하는 시스템일 경우, 상기 어노테이션 역시 다수의 데이터(예컨대, 생체 이미지) 각각에 질병의 진행상태 정도를 라벨링하는 것을 의미할 수 있다.
어떤 경우이든 어노테이션하는 정보에 따라 상기 진단 시스템(100)이 출력하는 진단 결과가 의존적으로 정의될 수 있다.
이처럼 어노테이션된 학습 데이터를 이용하여 학습된 진단 시스템(100)의 성능은 학습 데이터의 양과 질에 의존적일 수 있다.
하지만 특히 질병의 진단에 학습된 진단 시스템(100)이 이용되기 위해서는 이러한 어노테이션이 입력 데이터를 보고 진단결과를 진단할 수 있는 숙련된 의료인에 의해 수행되어야 하고, 충분히 많은 양의 학습 데이터 각각에 이러한 어노테이션이 수행되어야 한다.
따라서 본 발명의 기술적 사상에 따른 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 이러한 문제점을 완화하기 위해, 어느 정도 수준으로 지도학습 기반으로 학습된 진단 시스템(100)을 구현한 후 그 이후에는 상기 진단 시스템(100)의 진단 결과를 상기 진단 결과에 대응되는 입력 데이터의 어노테이션 결과로 설정할 수 있다.
예컨대, 지도학습 기반으로 이미 학습된 상기 진단 시스템(100)이 특정 입력 데이터를 입력받으면(S100), 상기 진단 시스템(100)은 진단 결과를 출력할 수 있다(S110).
그러면 상기 특정 입력 데이터는 상기 진단 결과로 어노테이션된 데이터로 설정할 수 있다.
이처럼 지도학습 기반으로 학습된 진단 시스템(100)에 의해 진단결과가 입력 데이터의 어노테이션 결과로 설정하여, 상기 진단 시스템(100)의 진단 결과로 어노테이션된 데이터를 자동 어노테이션 학습 데이터로 정의하기로 한다.
이러한 자동 어노테이션 학습 데이터는 상기 진단 시스템(100)의 재학습의 학습 데이터로 이용될 수 있다(S120). 즉, 상기 진단 시스템(100)은 상기 자동 어노테이션 학습 데이터를 이용하여 재학습을 수행할 수 있다.
한편, 상기 진단 시스템(100)이 진단 결과를 출력한 모든 입력 데이터가 자동 어노테이션 학습 데이터로 이용되는 것은 아닐 수 있다. 즉, 자동 어노테이션 학습 데이터는 후술할 바와 같이 상기 진단 시스템(100)의 재학습에 이용되는 데이터이므로 상기 자동 어노테이션 학습 데이터의 어노테이션 결과는 신뢰할 수 있는 것이어야 한다.
따라서 상기 자동 어노테이션 학습 데이터는 입력 데이터에 대해 상기 진단 시스템(100)이 소정의 진단결과를 출력하였을 때, 일정 확률 이상으로 상기 진단 결과를 출력한 경우의 입력 데이터로 제한될 수 있다.
이러한 확률에 상응하는 수치 값은, 상기 진단 시스템(100)에 포함된 뉴럴 네트워크의 최종 레이어 이전 레이어에 의해 출력되도록 상기 뉴럴 네트워크가 설계될 수 있다 물론, 실시 예에 따라서는 상기 뉴럴 네트워크의 최종 레이어가 상기 수치 값을 출력하도록 구현될 수도 있다. 어떠한 경우든 상기 진단 시스템(100)에 포함되는 뉴럴 네트워크의 적어도 하나의 레이어는 최종 진단 결과를 출력하기 전에 진단 결과를 결정하는 기초가 되는 수치 값을 출력하도록 설계되고 학습될 수 있다.
그러면 상기 진단 시스템(100)은 상기 수치 값이 미리 정해진 문턱 값 이상일 경우에 상기 제1진단 결과(예컨대, 질병 발현 또는 질병의 진행상태 정도 등과 같은 제1클래스)로 진단결과를 출력(입력 데이터를 분류)할 수 있고, 문턱 값 미만일 경우는 제2진단 결과(진단결과로 분류 가능한 복수의 클래스들 중 제2클래스)로 진단결과를 출력할 수 있다.
다른 실시 예에 따르면, 상기 진단 시스템(100)은 진단 결과를 분류하는 기준이 되는 수치 값의 기준과는 별개로 자동 어노테이션 학습 데이터로 이용되기 위한 기준이 되는 문턱 값을 별개로 정의할 수도 있다.
예컨대, 수치 값이 일정 값(예컨대, 0.8)이상이면 제1진단 결과를 출력하되, 자동 어노테이션 학습 데이터로 이용되기 위한 기준이 되는 문턱 값은 0.85일 수 있다. 즉, 제1진단결과로 분류된 입력 데이터들 중에서 상기 문턱 값이 0.85이상이 입력 데이터만이 상기 자동 어노테이션 학습 데이터로 이용될 수 있다.
어떠한 경우든 상기 문턱 값은 상기 진단 시스템(100)이 입력받은 입력 데이터가 상기 진단 시스템(100)에 의해 소정의 진단 결과로 분류된 경우, 상기 입력 데이터를 자동 어노테이션 학습 데이터로 이용할지를 판단하는 기준이 될 수 있다.
그리고 이처럼 자동 어노테이션 학습 데이터로 이용할 기준이 되는 문턱 값을 기준 문턱 값으로 정의할 수 있다. 상기 기준 문턱 값에 따라 자동 어노테이션 학습 데이터에 포함될 데이터가 결정될 수 있고, 결정된 상기 자동 어노테이션 학습 데이터가 상기 진단 시스템(100)의 재학습에 이용될 수 있으므로 기준 문턱 값이 재학습을 수행한 후의 상기 진단 시스템(100)의 성능에 많은 영향을 미칠 수 있다.
실시 예에 따라 상기 진단 결과의 기초가 되는 수치 값은 상기 진단 시스템(100)이 출력할 수 있는 진단 결과들(예컨대, 복수의 클래스들) 중 제1진단 결과(예컨대, 복수의 클래스들 중 제1클래스)의 정확도를 나타내는 확률에 상응할 수 있다. 하지만 실시 예에 따라 상기 자동 어노테이션 학습 데이터에는 제1진단 결과로 분류된 입력 데이터뿐만 아니라 타 진단결과(예컨대, 복수의 클래스들 중 제1클래스가 아닌 타 클래스)로 분류된 입력 데이터 역시 포함되어야 할 수도 있다. 따라서 반드시 기준 문턱 값을 높일수록 재학습 후의 진단 시스템(100)의 성능개선 정도가 커지는 것은 아닐 수 있다.
따라서 본 발명의 기술적 사상에 의하면, 상기 기준 문턱 값 역시 상기 진단 시스템(100)에 의해 결정될 수 있다.
상기 진단 시스템(100)은 문턱 값을 복수 개 설정하고, 설정된 복수 개의 문턱 값 각각에 따라 재학습에 이용될 자동 어노테이션 학습 데이터 세트를 복수 개 특정할 수 있다. 각각의 자동 어노테이션 학습 데이터에는 복수의 진단 결과로 어노테이션된 데이터들이 각각 미리 정해진 개수 이상 포함되도록 특정될 수 있다. 물론, 실시 예에 따라서는 어느 하나의 진단 결과로 어노테이션된 데이터만이 상기 자동 어노테이션 학습 데이터로 특정될 수도 있지만, 일반적으로 각각의 진단 결과별로 유사한 정도의 비중을 갖도록 학습 데이터가 준비되는 것이 학습 성능에 더 유리한 효과를 가질 수 있으므로 복수의 진단 결과들(즉, 분류되는 클래스들) 각각으로 어노테이션된 데이터가 미리 정해진 개수 이상 상기 자동 어노테이션 학습 데이터에 포함되도록 상기 자동 어노테이션 학습 데이터 세트가 정의될 수 있다.
그리고 이러한 복수 개의 서로 다른 학습 데이터 세트를 이용하여 각각 진단 시스템(100)을 재학습시킬 수 있다. 이를 위해 상기 진단 시스템(100)과 동일한 뉴럴 네트워크가 복수개 미리 준비될 수 있음은 물론이다.
그리고 재학습된 복수 개의 진단 시스템(100) 각각별로 미리 정의된 테스트 데이터 세트를 이용하여 성능 평가를 수행할 수 있다. 그리고 성능 평가결과에 따라 재학습 후의 성능이 가장 좋은 경우의 문턱 값을 기준 문턱 값으로 결정할 수 있다.
이러한 기준 문턱 값이 결정되면, 상기 진단 시스템(100)은 기준 문턱 값을 기준으로 다수의 자동 어노테이션 학습 데이터를 생성할 수 있다. 그리고 소정의 개수 이상 자동 어노테이션 학습 데이터가 생성된 경우(이때는 기준 문턱 값을 결정하기 위해 사용된 자동 어노테이션 학습 데이터의 수 보다 많을 수 있다), 자동 어노테이션 학습 데이터를 이용하여 상기 진단 시스템(100)은 재학습을 수행할 수 있다.
재학습이 수행된 진단 시스템(100)은 재학습 전의 진단 시스템(100)에 비해 보다 좋은 성능을 가질 수 있다.
그리고 이렇게 개선된 성능을 가지게 된 상기 진단 시스템(100)은 재학습 전의 진단 시스템(100)과는 뉴럴 네트워크를 구성하는 다수의 파라미터들이 변경된 시스템일 수 있다. 따라서 기존의 기준 문턱 값을 계속 이용하여 다시 재학습을 수행하기 위한 자동 어노테이션 학습 데이터를 생성하는 것은 바람직하지 않을 수 있다. 따라서 재학습 후의 상기 진단 시스템(100)에 대해서는 다시 전술한 바와 같이 기준 문턱 값을 재결정하는 프로세스를 수행함으로써 다시 재학습을 수행할 때 이요될 자동 어노테이션 학습 데이터를 분류하는 기준을 변경하는 것이 바람직할 수 있다.
이러한 기술적 사상을 구현하기 위한 진단 시스템(100)의 개략적인 구성은 도 2에 도시된 바와 같을 수 있다.
도 2는 본 발명의 실시 예에 따른 진단 시스템의 개략적인 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 상기 진단 시스템(100)은 도 2에 도시된 바와 같은 구성을 포함할 수 있다.
진단 시스템(10)은 프로세서(110) 및 저장장치(120)를 포함할 수 있다. 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리시스템을 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 데이터 처리시스템 뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치로도 구현될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 프로세서(110)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(121)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(110)는 상기 프로그램(121)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Nerual Network, 123)를 이용해 진단을 수행할 수 있다. 상기 뉴럴 네트워크는 컨벌루션 뉴럴 네트워크일 수 있으며, 생체 데이터(예컨대, 이미지)를 입력받으면 학습된 뉴럴 네트워크를 통해 진단결과를 출력할 수 있다.
상기 프로그램(121)은 지도학습을 통해 뉴럴 네트워크(123)를 학습시키거나 또는 학습된 뉴럴 네트워크(123)를 이용하여 진단을 수행할 수 있도록 정의되는 소프트웨어를 의미할 수 있다.
상기 저장장치(120)는 상기 프로그램(121) 및 뉴럴 네트워크(123)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(120)는 상기 진단 시스템(100)에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서(110)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)은 도 2에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
이하 본 명세서에서 상기 진단 시스템(예컨대, 100)이 소정의 기능을 수행한다고 함은, 진단 시스템(예컨대, 100)에 구비된 프로세서(예110)가 상기 프로그램(예컨대, 121)을 이용하여 소정의 기능을 수행함을 의미할 수 있음은 물론이다.
본 명세서에서 상기 진단 시스템(100)이 진단을 수행한다고 함은 생체 데이터를 입력받아 본 명세서에서 정의된 출력 데이터 예컨대, 진단결과를 출력하는 일련의 프로세스를 의미할 수 있다.
상기 진단 시스템(100)은 생체 데이터를 소정의 단위 유닛별로 입력받을 수 있다. 단위 유닛은 예컨대, 픽셀 단위일 수도 있고 패치, 또는 슬라이드 단위일 수도 있다.
진단 시스템(100)의 진단결과는 질병의 종류에 따라 단순히 질병의 발현여부 또는 이에 상응하는 값(예컨대, 확률 등)일 수도 있고, 또는 질병이 발현된 경우에는 질병의 상태 정도를 나타내는 상태정보일 수도 있다.
예컨대, 후술할 바와 같이 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 상태정보에 포함될 수 있다. 예컨대, 글리슨 패턴은 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 단위 유닛에 해당하는 생체조직이 글리슨 패턴의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률에 상응하는 정보 또는 노멀(즉, 질병이 발현되지 않은 경우)에 해당할 확률에 상응하는 정보를 포함할 수 있다.
어떠한 경우든 상기 진단 시스템(100)은 학습된 뉴럴 네트워크(123)를 통해 입력 데이터를 소정의 진단결과로 분류하는 기능을 수행할 수 있다.
이러한 진단 결과로 분류하기 위해, 일 실시 예에 따르면 상기 진단 시스템(100)에 포함된 뉴럴 네트워크(123)은 전술한 바와 같이 최종적 진단 결과를 결정하기 전에 소정의 수치 값을 출력할 수 있다.
이러한 일 예는 도 3에 도시된다.
도 3은 본 발명의 실시 예에 따른 뉴럴 네트워크의 개략적인 진단 방식을 설명하기 위한 도면이다.
도 3을 참조하면, 상기 뉴럴 네트워크(123)는 널리 알려진 바와 같이 인풋 레이어(Input Layer), 히든 레이어(Hidden Layer), 및 아웃풋 레이어(Output Layer)를 포함할 수 있다.
상기 아웃풋 레이어는 진단 결과 즉, 입력 데이터를 미리 정해진 클래스들 중 하나로 분류한 결과를 출력할 수 있고, 이러한 아웃풋 레이어 이전 레이어는 소정의 수치 값을 적어도 하나 출력하도록 설계될 수 있다. 그러면 아웃풋 레이어는 상기 수치 값에 기초하여 진단 결과를 결정하여 출력할 수 있다.
이때 상기 수치 값은 진단 결과를 결정하는 기준이 될 수도 있고, 전술한 바와 같이 본 발명의 실시 예에 따른 자동 어노테이션 학습 데이터를 생성하는 기준이 될 수도 있다. 예컨대, 상기 수치 값이 제1값 이상이면 상기 뉴럴 네트워크(123)는 입력 데이터를 제1진단 결과로 분류할 수 있다. 또한 상기 제1진단 결과로 분류된 입력 데이터들 중 상기 수치 값이 제2값 이상이어야 상기 입력 데이터를 자동 어노테이션 학습 데이터에 포함시킬 수 있다.
물론, 실시 예에 따라서는 상기 제1값과 상기 제2값이 동일하게 설정될 수도 있고, 이러한 경우에는 전술한 바와 같은 기준 문턱 값을 결정하는 방식으로 제2값즉, 입력 데이터를 자동 어노테이션 학습 데이터에 포함시킬지 여부를 결정하는 기준 뿐만 아니라 진단결과를 분류하는 기준 수치가 같이 결정될 수도 있다.
도 4는 본 발명의 실시 예에 따른 기준 문턱 값을 설정하는 기준을 설명하기 위한 도면이다.
도 4를 참조하면, 상기 진단 시스템(100)은 복수의 문턱 값들에 따라 특정되는 서로 다른 복수의 자동 어노테이션 학습 데이터 세트를 특정할 수 있다.
그러면 상기 진단 시스템(100)은 복수의 자동 어노테이션 학습 데이터 세트 각각을 이용하여 상기 진단 시스템(100)이 재학습된 경우의 성능을 평가할 수 있다.
성능의 평가는 학습 모델의 성능을 평가하는 대표적인 기준 accuracy, precision, sensitivity, specificity 들 중 적어도 하나에 기초하여 수행될 수 있다.
상기 accuracy, precision, sensitivity, specificity 모두가 개선되어야 성능이 개선되었다고 판단할 수 있지만, 필요에 따라 어느 하나 또는 일부에만 중점을 두어 성능 평가를 수행할 수 있음은 물론이다.
왜냐하면 입력 데이터의 종류 또는 뉴럴 네트워크의 설계 예에 따라 accuracy, precision, sensitivity, specificity 중 일부는 다소 트레이드 오프 관계를 가질 수도 있고, 각각의 성능 중 가장 중요한 성능지표는 실시 예에 따라 다를 수 있기 때문이다.
물론, 평가 기준에 복수의 기준들이 포함될 경우는 미리 정해진 웨이트 팩터에 따라 종합적인 성능이 평가될 수 있다.
이러한 방식으로 재학습된 진단 시스템(100) 각각의 성능이 평가되면, 가장 높은 성능을 가지게 한 자동 어노테이션 학습 데이터에 상응하는 문턱 값이 기준 문턱 값이 될 수 있다.
도 5는 본 발명의 실시 예에 따라 기준 문턱 값을 재설정하는 방식을 설명하기 위한 도면이다.
도 5를 참조하면, 전술한 바와 같이 기준 문턱 값이 탐색되어 결정되면(S200), 진단 시스템(100)은 기준 문턱 값에 기초하여 미리 결정된 유의미한 개수의 자동 어노테이션 학습 데이터를 생성할 수 있다. 물론 이때의 상기 진단 시스템(100)은 기준 문턱 값을 결정하기 위해 이미 재학습된 진단 시스템(100)일 수도 있고, 그 이전의 진단 시스템(100) 즉, 재학습되지 않은 시스템일 수도 있다.
그리고 상기 자동 어노테이션 학습 데이터가 미리 정해진 개수만큼 생성되면, 상기 진단 시스템(100)은 생성된 자동 어노테이션 학습 데이터를 이용하여 재학습을 수행할 수 있다(S210). 상기 자동 어노테이션 학습 데이터에는 진단 결과로 분류 가능한 각각의 진단들(클래스들)별로 미리 정해진 데이터 개수 또는 미리 정해진 비율 범위 내의 데이터 개수가 존재하는 조건을 만족시켜야 할 수도 있다.
재학습이 수행된 상기 진단 시스템(100)을 이용하여 새로운 입력 데이터에 따른 진단이 소정의 개수 수행될 수 있다. 그리고 기준 문턱 값을 재탐색할 정도로 진단이 수행되면, 전술한 바와 같이 새로운 기준 문턱 값을 재탐색하여 결정할 수 있다. 그리고 새로운 기준 문턱 값을 이용하여 다시 자동 어노테이션 학습 데이터가 일정 개수 이상 생성되면, 상기 진단 시스템(100)은 다시 재학습을 수행하여 보다 높은 성능을 가지도록 개선될 수 있다.
본 발명의 실시 예에 따른 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은"세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템"에 이용될 수 있다.

Claims (12)

  1. 지도학습기반의 뉴럴 네트워크를 통해 학습된 진단 시스템이 소정의 입력 데이터를 입력 받고, 상기 입력 데이터에 대한 진단 결과를 출력하는 단계;
    상기 진단 시스템이 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터를 생성하는 단계; 및
    상기 진단 시스템이 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 재학습 프로세스를 수행하는 단계를 포함하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  2. 제1항에 있어서, 상기 진단 시스템이 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터를 생성하는 단계는,
    상기 진단 결과에 기초가 되며 진단결과의 확률을 나타내는 수치 값이 소정의 문턱 값 이상일 경우 상기 입력 데이터를 상기 자동 어노테이션 학습 데이터에 포함시키는 것을 특징으로 하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  3. 제2항에 있어서, 상기 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은,
    상기 문턱 값을 변경하면서 상기 재학습 프로세스를 수행한 후의 상기 진단 시스템의 성능을 테스트하는 단계; 및
    테스트 결과에 기초하여 기준 문턱 값을 결정하는 단계를 더 포함하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  4. 제1항에 있어서, 상기 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법은,
    상기 진단 시스템이 상기 기준 문턱 값을 이용하여 상기 자동 어노테이션 학습 데이터를 생성하고, 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 상기 재학습 프로세스를 수행하는 것을 특징으로 하며,
    상기 재학습 프로세스를 수행한 후, 상기 기준 문턱 값을 변경하는 단계를 더 포함하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  5. 제1항에 있어서, 상기 학습 시스템은,
    입력 데이터에 대해 제1판단 및 제2판단을 포함하는 복수의 진단들 중 어느 하나를 진단 결과로 출력하고,
    상기 자동 어노테이션 학습 데이터는,
    상기 제1진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하고,
    상기 제2진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하는 것을 특징으로 하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  6. 제1항에 있어서, 상기 입력 데이터는,
    생체 데이터이고,
    상기 진단 결과는 질병의 발현여부 또는 질병의 진행상태에 따른 분류 중 적어도 하나인 것을 특징으로 하는 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법.
  7. 데이터 처리장치에 설치되며 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  8. 프로세서; 및
    프로그램이 저장된 저장장치를 포함하며,
    상기 프로세서에 의해 실행되는 상기 프로그램에 의해 상기 제1항 내지 제6항 중 어느 한 항에 기재된 방법이 수행되는 데이터 처리 시스템.
  9. 프로세서;
    상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며,
    상기 프로그램은,
    상기 저장장치에 저장되며 지도학습기반으로 학습된 뉴럴 네트워크가 소정의 입력 데이터를 입력 받고, 상기 입력 데이터에 대한 진단 결과를 출력하도록 하며,
    출력된 상기 진단 결과로 어노테이션된 상기 입력 데이터를 포함하는 자동 어노테이션 학습 데이터 생성하고, 생성한 자동 어노테이션 학습 데이터를 이용하여 상기 뉴럴 네트워크의 재학습을 수행하는 진단 시스템.
  10. 제9항에 있어서, 상기 프로그램은,
    상기 진단 결과에 기초가 되며 진단결과의 확률을 나타내는 수치 값이 소정의 문턱 값 이상일 경우 상기 입력 데이터를 상기 자동 어노테이션 학습 데이터에 포함시키며,
    상기 문턱 값을 변경하면서 상기 재학습을 수행한 후의 상기 뉴럴 네트워크의 성능을 테스트하고, 테스트 결과에 기초하여 기준 문턱 값을 결정하는 진단 시스템.
  11. 제10항에 있어서, 상기 프로그램은,
    상기 기준 문턱 값을 이용하여 상기 자동 어노테이션 학습 데이터를 생성하고, 생성된 상기 자동 어노테이션 학습 데이터를 이용하여 상기 재학습 프로세스를 수행하는 것을 특징으로 하며,
    상기 재학습 프로세스를 수행한 후, 상기 기준 문턱 값을 변경하는 진단 시스템.
  12. 제9항에 있어서, 상기 프로그램은,
    입력 데이터에 대해 제1판단 및 제2판단을 포함하는 복수의 진단들 중 어느 하나를 진단 결과로 출력하고,
    상기 자동 어노테이션 학습 데이터는,
    상기 제1진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하고, 상기 제2진단으로 어노테이션된 입력 데이터가 미리 정해진 개수 이상 포함하는 것을 특징으로 하는 진단 시스템.
PCT/KR2019/016425 2018-11-30 2019-11-27 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템 WO2020111754A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021524481A JP2022510113A (ja) 2018-11-30 2019-11-27 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム
US17/297,463 US20210398674A1 (en) 2018-11-30 2019-11-27 Method for providing diagnostic system using semi-supervised learning, and diagnostic system using same
CN201980078001.9A CN113168907A (zh) 2018-11-30 2019-11-27 一种利用半监督学习的诊断系统提供方法以及利用其的诊断系统
EP19890929.3A EP3872818A4 (en) 2018-11-30 2019-11-27 METHOD FOR PROVIDING A DIAGNOSIS SYSTEM USING SEMI-SUPERVISED LEARNING, AND A DIAGNOSIS SYSTEM USING IT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180153152A KR102261473B1 (ko) 2018-11-30 2018-11-30 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
KR10-2018-0153152 2018-11-30

Publications (3)

Publication Number Publication Date
WO2020111754A2 WO2020111754A2 (ko) 2020-06-04
WO2020111754A3 WO2020111754A3 (ko) 2020-10-15
WO2020111754A9 true WO2020111754A9 (ko) 2020-11-19

Family

ID=70852884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016425 WO2020111754A2 (ko) 2018-11-30 2019-11-27 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템

Country Status (6)

Country Link
US (1) US20210398674A1 (ko)
EP (1) EP3872818A4 (ko)
JP (1) JP2022510113A (ko)
KR (1) KR102261473B1 (ko)
CN (1) CN113168907A (ko)
WO (1) WO2020111754A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574246B2 (en) * 2020-01-21 2023-02-07 Microsoft Technology Licensing, Llc Updating training examples for artificial intelligence
EP4170678A4 (en) 2020-07-23 2024-03-13 Deep Bio Inc. METHOD FOR ANNOTATION OF DISEASE PATHOGEN SITE BY MEANS OF SEMI-SUPERVISED LEARNING, AND DIAGNOSTIC SYSTEM FOR ITS IMPLEMENTATION
KR102377645B1 (ko) * 2020-09-03 2022-03-23 (주)아크릴 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법
KR102293527B1 (ko) * 2021-01-07 2021-08-26 주식회사 딥바이오 뉴럴 네트워크의 출력 해석 방법 및 이를 위한 시스템
WO2022182163A1 (ko) * 2021-02-24 2022-09-01 (주) 제이엘케이 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
WO2023080504A1 (ko) * 2021-11-08 2023-05-11 이화여자대학교 산학협력단 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치
WO2023113294A1 (ko) * 2021-12-16 2023-06-22 주식회사 씨에스리 학습 데이터 관리 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075737A (ja) * 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN103294716B (zh) * 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
CN102611706A (zh) * 2012-03-21 2012-07-25 清华大学 一种基于半监督学习的网络协议识别方法及系统
JP6470165B2 (ja) * 2015-12-15 2019-02-13 株式会社東芝 サーバ、システム及び探索方法
KR20180048218A (ko) * 2016-10-31 2018-05-10 현대위아 주식회사 기계학습 기반 공작기계 고장 진단 시스템 및 방법
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
GB201705911D0 (en) * 2017-04-12 2017-05-24 Kheiron Medical Tech Ltd Abstracts
KR101884609B1 (ko) 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
CN107368891A (zh) * 2017-05-27 2017-11-21 深圳市深网视界科技有限公司 一种深度学习模型的压缩方法和装置
CN107240395B (zh) * 2017-06-16 2020-04-28 百度在线网络技术（北京）有限公司 一种声学模型训练方法和装置、计算机设备、存储介质
KR101818074B1 (ko) 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
CN107590262A (zh) * 2017-09-21 2018-01-16 黄国华 大数据分析的半监督学习方法
CN108875281A (zh) * 2018-08-08 2018-11-23 佛山科学技术学院 一种基于深度学习的混合智能健康状态诊断方法及装置

Also Published As

Publication number Publication date
EP3872818A2 (en) 2021-09-01
CN113168907A (zh) 2021-07-23
KR20200066083A (ko) 2020-06-09
EP3872818A4 (en) 2022-01-05
US20210398674A1 (en) 2021-12-23
WO2020111754A3 (ko) 2020-10-15
JP2022510113A (ja) 2022-01-26
WO2020111754A2 (ko) 2020-06-04
KR102261473B1 (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2023287064A1 (ko) 이상 데이터 자동 검출 및 자동 라벨링 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2021071286A1 (ko) 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2021118040A1 (ko) 딥러닝 기반 유사 텍스트를 필터링하는 방법 및 그를 이용한 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2022220354A1 (ko) 어군 생태계의 이상 여부를 감지하기 위한 어군 생태계 모니터링 시스템 장치 및 그 동작 방법
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2023022406A1 (ko) 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템
WO2023068732A1 (ko) 신경 심리 검사에 대한 점수를 획득하는 방법 및 이를 수행하는 신경 심리 검사 장치 및 컴퓨터 판독 가능한 기록매체
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890929

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021524481

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019890929

Country of ref document: EP

Effective date: 20210526

NENP Non-entry into the national phase

Ref country code: DE