WO2022019354A1 - 커스터마이징 진단 시스템 제공방법 및 그 시스템 - Google Patents

커스터마이징 진단 시스템 제공방법 및 그 시스템 Download PDF

Info

Publication number
WO2022019354A1
WO2022019354A1 PCT/KR2020/009719 KR2020009719W WO2022019354A1 WO 2022019354 A1 WO2022019354 A1 WO 2022019354A1 KR 2020009719 W KR2020009719 W KR 2020009719W WO 2022019354 A1 WO2022019354 A1 WO 2022019354A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
diagnostic
individual
customization
data
Prior art date
Application number
PCT/KR2020/009719
Other languages
English (en)
French (fr)
Inventor
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to JP2023502692A priority Critical patent/JP2023535337A/ja
Priority to CN202080104763.4A priority patent/CN116134544A/zh
Priority to EP20946214.2A priority patent/EP4170679A4/en
Priority to US18/017,382 priority patent/US20230298752A1/en
Priority to PCT/KR2020/009719 priority patent/WO2022019354A1/ko
Publication of WO2022019354A1 publication Critical patent/WO2022019354A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present invention relates to a method and system for diagnosing a disease through learning. More particularly, it relates to a method and system capable of implementing a customized diagnosis system reflecting the diagnosis tendency of a specific diagnosis by using a diagnosis system learned based on supervised learning through a neural network.
  • pathology or pathology One of the major tasks performed in pathology or pathology is to perform a diagnosis to determine a condition or symptom for a specific disease by reading a patient's bio-image. This diagnosis is a method that depends on the experience and knowledge of skilled medical personnel for a long time.
  • a neural network which is a type of machine learning (eg, a deep learning method using a convolutional neural network (CNN)).
  • CNN convolutional neural network
  • diagnosis through deep learning using a neural network does not simply automate the experience and knowledge of conventionally skilled medical personnel, but finds characteristic elements through self-learning to derive the desired answer. Rather, there are cases in which the characteristics of disease factors unknown to skilled medical personnel are found in the image.
  • the diagnosis of a disease through a neural network using biometric data is performed by annotating the state of a specific disease (eg, whether cancer has developed) by a medical practitioner skilled in the biometric data, and the annotated A neural network is learned by using a large number of data as training data. That is, learning through the annotated learning data by performing an annotation on the learning data for learning is mainly used. This learning method is called supervised learning.
  • the performance or tendency of the learned system is dominantly influenced by the judgmental tendency or tendency of the annotator who performed the annotation. That is, the diagnosis result of the learned diagnosis system becomes dependent on the annotation tendency or tendency of the annotator.
  • biometric data that is difficult to be clearly classified in the biometric data to be learned to the extent that different annotations are performed depending on the annotator when actual annotation is performed. That is, even if skilled medical personnel perform annotations, opinions may differ in classifying whether or not a disease has developed or progressed according to biometric data.
  • Patent Document Korean Patent Registration 10-20170057399 "Disease Diagnosis System through Modular Reinforcement Learning"
  • Another object of the present invention is to provide a method and system for performing diagnosis using the customized diagnosis system.
  • a plurality of supervised learning-based diagnosis systems learned by different annotation subjects are provided, and a final diagnosis result, that is, between diagnosis systems based on diagnosis results performed by the plurality of diagnosis systems on predetermined biometric data, is provided. It is to provide a method and system that can compensate for the weaknesses of the supervised learning base by allowing the consensus diagnosis result to be derived.
  • Another object of the present invention is to provide a method and system capable of improving the performance of individual diagnostic systems by allowing them to relearn individual diagnostic systems using the diagnostic results obtained through consensus of these diagnostic systems.
  • the method of providing a diagnosis system for achieving the above technical problem includes: transmitting, by a reference diagnosis system, M (M is an integer greater than or equal to 2) pieces of unannotated learning data for customization to a first diagnosis system; receiving the M training data for customization annotated by the first diagnostician side from a first diagnostic system, and reflecting the received M annotated training data for customization to the reference diagnostic system, , characterized in that the M pieces of training data for customization annotated by the first diagnostician are reflected in the neural network for the reference diagnostic system under the condition that a predetermined price is paid.
  • the method for providing a customized diagnosis system includes: a reference diagnosis system reflecting the M pieces of annotated learning data for customization, receiving diagnosis data from the first diagnosis system, generating a diagnosis result, and transmitting the diagnosis result to the first diagnosis system; may include
  • the reference diagnosis system may set the price to be larger as the M pieces are larger or according to the weight of the M pieces to the number of learning data learned by the reference diagnosis system.
  • the reference diagnostic system may be a system that includes an individual diagnostic system set including a plurality of individual diagnostic systems, and performs diagnosis through consensus based on individual diagnostic results output by the plurality of individual diagnostic systems.
  • the step of reflecting the received M annotated learning data for customization to the reference diagnostic system includes re-learning at least some of the plurality of individual diagnostic systems using the M annotated learning data for customization.
  • the M pieces of training data for customization may include data obtained by outputting different diagnostic results from at least two of the individual diagnostic systems included in the individual diagnostic system set.
  • a diagnostic system providing method for solving the above technical problem includes M (M is an integer greater than or equal to 2) number of unannotated reference diagnostic systems, wherein the reference diagnostic system includes an individual diagnostic system set including a plurality of individual diagnostic systems. transmitting the training data for customization to a first diagnostic system; receiving, by the reference diagnostic system, the M pieces of training data for customization annotated by the first diagnostician from the first diagnostic system; reflecting the M pieces of annotated learning data for customization to any first individual diagnostic system included in the reference diagnostic system set; receiving from the system, determining a type of a diagnosis result corresponding to the diagnosis request as a first individual diagnosis result of a first individual diagnosis system according to the received diagnosis request, and the first individual diagnosis system inputs the input data and transmitting a diagnosis result including the received and output first individual diagnosis result to the diagnosis request system.
  • the above method may be implemented by a computer program installed in a data processing apparatus and stored in a computer-readable recording medium.
  • a system for solving the technical problem includes a processor and a storage device in which a program executed by the processor is stored, the storage device includes at least one neural network, and the program is M (M is an integer greater than or equal to 2) transmit unannotated training data for customization to the first diagnostic system, receive the M pieces of training data for customization annotated by the first diagnostic side from the first diagnostic system, and receive the received annotated training data
  • M is an integer greater than or equal to 2
  • a system for solving the technical problem includes a processor and a storage device in which a program executed by the processor is stored, wherein the storage device includes a plurality of neural networks corresponding to a plurality of individual diagnostic systems, and the program transmits M (M is an integer greater than or equal to 2) training data for customization that are not annotated to the first diagnostic system, and the M training data for customization annotated by the first diagnostic side from the first diagnostic system Upon receiving, the received M annotated training data for customization is reflected in any one of the first neural networks included in the neural networks for the plurality of individual diagnostic systems, and a diagnostic request including diagnostic data to be diagnosed is sent.
  • M is an integer greater than or equal to 2
  • the type of diagnosis result corresponding to the diagnosis request is determined as the first individual diagnosis result of the first individual diagnosis system according to the received diagnosis request, and the first individual diagnosis system receives the input A diagnosis result including a first individual diagnosis result output by receiving data is transmitted to the diagnosis request system.
  • individual diagnostic systems can be re-learned using the diagnosis result through consensus, and in this case, the performance of the individual diagnostic systems can also be improved.
  • FIG. 1 is a diagram for explaining a schematic concept for implementing a method for providing a customized diagnosis system according to an embodiment of the present invention.
  • FIG. 2 is a diagram to exemplarily describe an implementation example of a reference diagnosis system according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a concept of customizing a reference diagnosis system according to an embodiment of the present invention.
  • FIG. 4 is a diagram schematically illustrating a system configuration when a reference diagnosis system performs a supervised learning-based consensus diagnosis method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a concept of using a customized diagnosis system according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a schematic configuration of each of the diagnostic systems according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a concept in which a reference diagnosis system derives a consensus based on individual diagnosis results according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a concept of segmentation annotation of learning data according to an embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the concept of re-learning an individual diagnosis system using a consensus diagnosis result according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram for explaining a schematic concept for implementing a method for providing a customized diagnosis system according to an embodiment of the present invention.
  • a reference diagnosis system 1 may be implemented to implement the method for providing a customized diagnosis system according to an embodiment of the present invention.
  • the reference diagnosis system 1 may provide a customized diagnosis system according to the technical spirit of the present invention.
  • the reference diagnosis system 1 may be changed to a diagnosis system customized by itself.
  • the reference diagnosis system 1 may include a plurality of neural networks, and some of the plurality of neural networks may be implemented as the customized diagnosis system.
  • the reference diagnosis system 1 may include one or a plurality of neural networks.
  • the reference diagnostic system 1 communicates with a system (eg, the first diagnostic system 200 ) on the side of a predetermined diagnostician (defined as including a diagnostic institution) for constructing a customized diagnostic system. of technical ideas can be implemented.
  • the first diagnostic system 200 refers to a system used by the first diagnostician, and may not necessarily be specified as any one physical device.
  • the reference diagnosis system 1 may be a diagnosis system learned using predetermined learning data.
  • the first diagnosis system 200 may perform annotation on only a relatively small amount of learning data, as will be described later.
  • the reference diagnosis system 1 may perform learning at once.
  • the reference diagnosis system 1 may be a system previously learned through a plurality of learning data.
  • the reference diagnosis system 1 may be a system trained to output a diagnosis result, that is, a diagnosis of a disease when receiving learning data, for example, a biometric image.
  • the learning data used for learning of the reference diagnosis system 1 may be data annotated by someone other than the first diagnoser.
  • the reference diagnosis system 1 may retain some unannotated learning data.
  • M pieces of learning data (M is an integer greater than or equal to 2) among the unannotated learning data may be transmitted to the first diagnostic system 200 (S100).
  • the M pieces of learning data may be the learning data used to reflect the diagnostic tendency of the first diagnostician in the first diagnostic system 200 , that is, in the reference diagnostic system 1 . Accordingly, the M pieces of training data transmitted to the first diagnostic system 200 may be defined as training data for customization.
  • the number of training data for customization may be predetermined.
  • M may be determined in association with the number of learning data used for learning of the reference diagnosis system 1 . That is, if the number of learning data for customization that is too smaller than the number of learning data used for learning of the reference diagnosis system 1 is used, the diagnosis tendency of the first diagnoser may not be well expressed in the reference diagnosis system 1 . to be.
  • M may be determined to be about 200 pieces.
  • the determination of the number of M may be determined as a number that is not too large while reflecting the tendency of the first diagnoser through an experiment.
  • the M pieces of learning data for customization may be annotated by the first diagnoser. Then, the annotated learning data for customization may be transmitted from the first diagnostic system 200 to the reference diagnostic system 1 ( S110 ).
  • the M pieces of training data for customization may not be randomly selected, but may be selectively selected through a predetermined process.
  • learning data having an ambiguous characteristic in which a diagnosis result may be slightly different for each diagnoser may be previously selected as the customizing learning data.
  • the learning data may be a bio-image, and according to the bio-image, a specific diagnoser may determine that a disease has developed, and another diagnoser may determine that a disease is not expressed.
  • a specific diagnoser may determine that the disease is the first state and another diagnoser may determine that the disease is the second state with respect to the same biological image.
  • a specific biological image is ambiguous enough to be judged differently depending on the diagnosis of whether the disease is present or not.
  • the reference diagnosis system 1 may be implemented to derive a final diagnosis result by consensus of a plurality of individual diagnosis systems, and in this case, at least two of the plurality of individual diagnosis systems Input data outputting different diagnostic results may be selected as learning data for customization. That is, when the reference diagnostic system 1 is implemented as a consensus diagnostic system, it may include a plurality of individual diagnostic systems. There is an effect that data including features having ambiguity can be selected using the results.
  • the reference diagnosis system 1 may reflect the annotated learning data for customization to the reference diagnosis system 1 ( S120 ).
  • the reference diagnosis system 1 may reflect the learning data for customization to the reference diagnosis system 1 by performing re-learning or transfer learning using the received learning data for customization.
  • the reference diagnosis system 1 reflects the diagnosis tendency of the first diagnoser, that is, customized by the first diagnoser. It can function as a diagnostic system.
  • the main body of the reference diagnostic system 1 may perform charging (S130).
  • the reference diagnosis system 1 may communicate with the first diagnosis system 200 to perform a predetermined charging process.
  • An average expert in the technical field of the present invention can easily infer that there are various methods for the charging process.
  • the billing process may be performed through a separate process according to a predetermined contract rather than the billing process automated by the reference diagnosis system 1 .
  • an average expert in the technical field of the present invention can easily infer that the charging may be performed before or after the learning data for customization is reflected in the reference diagnosis system 1 .
  • the charging amount may be selected to be dependent on the quality or number of learning data for customization.
  • a lower billing amount may be set. may be set.
  • the ratio of the number of learning data for customization to the number of learning data for customization other than the learning data for customization in the diagnostic system (eg, the reference diagnostic system 1 or an individual diagnostic system to be described later) to which the learning data for customization will be reflected A different billing amount may be selected depending on the In general, the greater the specific gravity, the more customizable depending on the propensity of the first diagnoser, so that a higher amount may be selected as the billing amount. Alternatively, as the number of learning data for customization increases, a higher billing amount may be set.
  • the reference diagnosis system 1 is illustrated as being a single physical device in FIG. 1 , according to an exemplary embodiment, the reference diagnosis system 1 may be a system in which a plurality of physical devices are organically combined.
  • the reference diagnosis system 1 may include a plurality of individual neural networks, and each neural network may be a neural network trained to individually receive input data and output a diagnosis result.
  • the reference diagnosis system 1 may include only one neural network, and in this case, the training data for customization may be reflected in the one neural network.
  • an embodiment in which the learning data for customization is reflected in the reference diagnosis system 1 may vary.
  • FIG. 2 is a diagram to exemplarily describe an implementation example of a reference diagnosis system according to an embodiment of the present invention.
  • the reference diagnostic system 1 may include a plurality of individual diagnostic systems (eg, 10 to 30 ) each including a plurality of neural networks. According to an embodiment, the standard diagnosis system 40 may be further included. In addition, the reference diagnosis system 1 may include a predetermined consensus diagnosis system 100 .
  • Each of the individual diagnosis systems may be a system trained to output individual diagnosis results (eg, individual diagnosis result 1 to individual diagnosis result N). Then, as will be described later, the consensus diagnosis system 100 may be a system implemented to output a consensus diagnosis result based on these individual diagnosis results (eg, individual diagnosis result 1 to individual diagnosis result N).
  • Each of the diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30) is learned based on supervised learning, and when predetermined biometric data (eg, biometric image) is input, the biometric data is transferred to the learned neural network.
  • the system may be a system for classifying into a predetermined classification (eg, classification according to whether or not a disease is present or a degree of progression of a disease) and outputting the result as a diagnosis result.
  • the diagnostic systems receive the same biometric data, respectively, and obtain diagnostic results, that is, the individual diagnostic results (eg, individual diagnostic results) through each learned neural network. Diagnosis result 1 to individual diagnosis result N) can be output.
  • a diagnosis result of each of the diagnosis systems may depend on an annotation according to an annotator. That is, each of the diagnostic systems (eg, diagnostic systems 1 to N, and 10 to 30 ) may output individual diagnostic results to have dependence on the annotated learning data.
  • each of the diagnostic systems may be a system trained with learning data sets annotated by different annotation subjects.
  • each of the diagnostic systems eg, diagnostic systems 1 to N, and 10 to 30
  • each of the diagnostic systems may be diagnostic systems learned using identically annotated learning data.
  • each of the diagnostic systems eg, diagnostic systems 1 to N, 10 to 30
  • diagnostic system 1 10 may be a system trained with a first training data set annotated by a first annotator
  • diagnostic system 2 20 may be a system trained with a second training data set annotated by a second annotator. It may be a system trained with
  • diagnosis system N 30 may be a system trained with an N-th training data set annotated by an N-th annotator.
  • each of the diagnostic systems may have a characteristic dependent on the judgmental disposition or tendency of an annotator of learning data used for learning.
  • the diagnostic systems eg, diagnostic systems 1 to N, 10 to 30
  • the diagnostic data eg, biometric image
  • the diagnostic systems may output different diagnostic results with respect to the same diagnostic data according to the tendency of the annotator.
  • the reference diagnosis system 1 may output a consensus diagnosis result based on individual diagnosis results output by each of the diagnosis systems (eg, diagnosis systems 1 to N and 10 to 30 ).
  • the consensus diagnosis result may mean a final diagnosis result generated based on all or part of individual diagnosis results.
  • the reference diagnosis system 1 may further include a standard diagnosis system 40 to be described later.
  • the consensus diagnosis result may be determined further based on the diagnosis result of the standard diagnosis system 40 , that is, the standard individual diagnosis result.
  • the standard diagnosis system 40 may refer to a diagnosis system learned from gold standard learning data.
  • the gold standard training data may mean training data on which standard or ideal annotations are performed.
  • Such gold standard learning data is not simply annotated by any one subject, but may mean data on which annotations agreed by a plurality of subjects are performed or data on which annotations are performed according to criteria agreed upon by a plurality of subjects. .
  • it may be desirable to perform training using such gold standard training data but in reality, it may be expensive to generate gold standard training data, and, rather, one Rather than constructing a diagnostic system, establishing a consensus diagnosis result by providing a plurality of diagnostic systems learned by individual subjects may exhibit higher diagnostic performance.
  • FIG. 3 is a diagram for explaining a concept of customizing a reference diagnosis system according to an embodiment of the present invention.
  • the reference diagnostic system 1 is the first diagnostic system 200 .
  • the annotated learning data for customization limitedly (S120).
  • re-learning or transfer learning may be used to reflect the annotated learning data for customization.
  • the reference diagnostic system 1 includes a plurality of diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30), the plurality of diagnostic systems (eg, diagnostic system 1 to diagnostic system) N, 10 to 30) may be customized by the first diagnostician.
  • the plurality of diagnostic systems eg, diagnostic system 1 to diagnostic system N, 10 to 30
  • the plurality of diagnostic systems may be customized by the first diagnostician.
  • the customized diagnosis system 1 10 is customized for the first diagnoser, and the other diagnostic systems (eg, 20 to 40) may remain without reflecting the diagnosis tendency of the first diagnoser.
  • the reference diagnostic system 1 provides a diagnostic result customized to the first diagnostic agent, that is, the diagnostic system 1 (10).
  • the annotated customizing learning data received by the reference diagnostic system 1 from the first diagnostic system 200 may include diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30). It may be reflected in all. Of course, in this case, all of the diagnostic systems (eg, diagnostic systems 1 to N, and 10 to 30 ) may be changed to output a diagnostic result reflecting the diagnostic tendency of the first diagnostician.
  • diagnostic systems eg, diagnostic systems 1 to N, 10 to 30
  • the annotated customizing learning data received from the first diagnostic system 200 may not be reflected in the standard diagnosis system 40 .
  • FIG. 4 is a diagram schematically illustrating a system configuration when a reference diagnosis system performs a supervised learning-based consensus diagnosis method according to an embodiment of the present invention.
  • the reference diagnostic system 1 may include a plurality of diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30 ) and the consensus diagnostic system 100 .
  • the standard diagnostic system 30 may be further included.
  • the consensus diagnosis system 100 may simply derive a consensus diagnosis result according to a majority vote when individual diagnosis results have different diagnosis results.
  • the consensus diagnosis system 100 assigns a weight to each of the diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 to 30), and applies the weighted weight to the corresponding individual diagnosis result. You can also print
  • a weight may be assigned according to the diagnosis history of each of the diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 to 30). For example, a weighting process may be driven by the consensus diagnosis system 100 so that a weight is reduced by a predetermined criterion in a diagnosis system that outputs a diagnosis result different from the consensus diagnosis result. In addition, the weighting process may simply consider whether it is different from the consensus diagnosis result, but may further consider the number of diagnosis results by type among all individual diagnosis results.
  • the weight of the specific diagnostic system may be reduced by a predetermined first reference value (eg, 0.1).
  • diagnostic systems may determine that a disease is not expressed with respect to the specific biometric data, and all six diagnostic systems may determine that a disease has been expressed. In this case, even if the consensus diagnosis result is the onset of a disease, only a predetermined second reference value (eg, 0.05) that is smaller than the first reference value (eg, 0.1) may be reduced as the baseline value of the four diagnostic systems.
  • a predetermined second reference value eg, 0.05
  • the first reference value eg, 0.1
  • the weight of the diagnostic system can be adjusted simply according to the number of times that an incorrect answer is output.
  • the weight may not be adjusted by varying the degree of adjustment of
  • the technical field of the present invention shows that various embodiments are possible with respect to a method for deriving a consensus diagnosis result and a method for assigning weights to each of the diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 to 30).
  • the consensus diagnosis system 100 may further receive a standard individual diagnosis result from the standard diagnosis system 40 which will be described later. Further, a consensus diagnosis result may be output based on the received standard individual diagnosis result.
  • the consensus diagnosis system 100 assigns a higher weight to the standard diagnosis system 40 than each of the individual diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 to 30), so that the diagnosis systems ( For example, a consensus result may be derived by reflecting weights assigned to each diagnosis system 1 to N, 10 to 30).
  • the consensus diagnosis system 100 is implemented as a physical device separate from the diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30) or the standard diagnosis system 40 is illustrated in FIG. 4 ,
  • the consensus diagnosis system 100 may be implemented in the same device physically as at least one of the diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 to 30 ) or the standard diagnosis system 40 .
  • An average expert in the technical field of the present invention can easily infer.
  • the consensus diagnosis system 100 can be implemented with various data processing systems (eg, a computer, a server, a smart phone, or a dedicated device, etc.) as long as it can perform the functions defined herein.
  • data processing systems eg, a computer, a server, a smart phone, or a dedicated device, etc.
  • FIG. 5 is a diagram for explaining a concept of using a customized diagnosis system according to an embodiment of the present invention.
  • the reference diagnosis system 1 may be a system in which M pieces of annotated learning data for customization received from the first diagnosis system 200 are reflected. And according to an example, the reference diagnostic system 1 includes a plurality of diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30) and/or a standard diagnostic system 40 as described above, , it may be a system implemented to perform consensus diagnosis according to their individual diagnosis results.
  • diagnostic systems eg, diagnostic systems 1 to N, 10 to 30
  • a standard diagnostic system 40 as described above, it may be a system implemented to perform consensus diagnosis according to their individual diagnosis results.
  • the annotated customizing learning data received from the first diagnostic system 200 may be any one of a plurality of diagnostic systems (eg, diagnostic system 1 to diagnostic system N, 10 to 30) (eg, diagnostic system 1 ). (10)) can be reflected only.
  • the reference diagnosis system 1 may receive diagnosis data from the diagnosis request system.
  • the diagnosis request system transmits diagnosis data (eg, biometric data such as a biometric image) to the reference diagnosis system 1 and intends to receive a diagnosis result corresponding to the diagnosis data from the reference diagnosis system 1 .
  • diagnosis data eg, biometric data such as a biometric image
  • it may be a system that makes a diagnosis request to the reference diagnosis system 1 .
  • the diagnosis request system may be the first diagnosis system 200 or a system of another diagnosis institution.
  • the reference diagnosis system 1 may receive a diagnosis request including the diagnosis data, and determine a type of diagnosis result based on the diagnosis request.
  • the type of the diagnosis result may be, for example, a diagnosis result of which diagnosis system is requested.
  • only individual diagnosis results of a specific individual diagnosis system may be transmitted, or consensus diagnosis results may be transmitted together.
  • the reference diagnosis system 1 may determine whether the diagnosis request is a diagnosis result through a customized diagnosis system for the first diagnoser.
  • the diagnosis request made by the first diagnoser through the customized diagnosis system may be, but is not limited to, the diagnosis request made by the first diagnoser, and other diagnoses may also trust the diagnosis tendency of the first diagnoser.
  • a customized diagnosis result may be desired by the first diagnoser.
  • the reference diagnosis system 1 may specify the type of diagnosis result using attributes (eg, IP, MAC address, etc.) of the system that output the diagnosis request.
  • attributes eg, IP, MAC address, etc.
  • the type of diagnosis result to be transmitted in response to a diagnosis request may be determined through log-in information or the like.
  • the diagnosis request may explicitly include information on the type of diagnosis result (eg, identification information of the first diagnoser, identification information of the diagnosis system 1, etc.).
  • the reference diagnosis system 1 may specify the type of diagnosis result corresponding to the diagnosis request.
  • the reference diagnosis system 1 may transmit only the individual diagnosis results of the diagnosis system 1 10 customized to the first diagnosis unit to the first diagnosis system 200 .
  • the diagnosis of the first diagnoser may be aided by transmitting the consensus diagnosis result together with the individual diagnosis result of the diagnosis system 1 ( 10 ).
  • the individual diagnosis result of the diagnosis system 1 ( 10 ) and the consensus diagnosis result are different, there is an effect of notifying the first diagnoser that a more careful diagnosis is required.
  • FIG. 6 is a diagram for explaining a schematic configuration of each of the diagnostic systems according to an embodiment of the present invention.
  • the reference diagnosis system 1 may include only one neural network, that is, a neural network for the reference diagnosis system, and as described above, a plurality of diagnosis systems (eg, diagnosis system 1 to diagnosis system 1 ) may be used. N, 10 to 30) corresponding to each of the neural networks for individual diagnostic systems. That is, there may be a plurality of neural networks for the reference diagnosis system that are neural networks included in the reference diagnosis system 1 .
  • the individual diagnostic systems may include a configuration as illustrated in FIG. 6A .
  • the standard diagnostic system 40 may also be implemented with the same configuration as those of the individual diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30 ), in the present specification, individual diagnostic systems (eg, diagnostic systems) 1 to the diagnosis system N, 10 to 30) will be described.
  • individual diagnostic systems eg, diagnostic system 1 to diagnostic system N, 10 to 30
  • diagnostic systems are described herein. 30), only the configuration of any one of them will be described.
  • the first diagnostic system (diagnosis system 1) 10 may include a processor 11 and a storage device 12 .
  • the first diagnosis system 10 refers to a data processing device having arithmetic capability to implement the technical idea of the present invention, and generally includes not only a data processing device accessible by a client through a network, but also a personal computer, a portable terminal, etc. An average expert in the art of the present invention can easily infer that it can be implemented in any device capable of performing a specific service.
  • the processor 11 may mean an arithmetic device capable of driving the program 12-1 for implementing the technical idea of the present invention, and the processor 11 includes the program 12-1 and the present invention. Diagnosis can be performed using a neural network (12-2) defined by the technical idea of The neural network may be a convolutional neural network, and when receiving biometric data (eg, an image), a diagnosis result may be output through the learned neural network.
  • biometric data eg, an image
  • the program 12-1 may refer to software defined to learn the neural network 12-2 through supervised learning or to perform a diagnosis using the learned neural network 12-2. .
  • the storage device 12 may mean a data storage means capable of storing the program 12-1 and the neural network 12-2, and may be implemented as a plurality of storage means according to an embodiment. Also, the storage device 12 may include not only the main storage device included in the first diagnosis system 10 , but also a temporary storage device or memory that may be included in the processor 11 .
  • the diagnostic system eg, 10) performs a predetermined function
  • the processor eg, 11
  • the program eg, 12-1. It goes without saying that this may mean performing a predetermined function.
  • the first diagnosis system 10 when it performs diagnosis, it may refer to a series of processes of receiving biometric data and outputting the output data defined in this specification, for example, a diagnosis result.
  • the first diagnosis system 10 may receive biometric data for each predetermined unit.
  • the unit may be, for example, a pixel unit, a patch unit, or a slide unit.
  • the diagnosis result of the first diagnosis system 10 may simply indicate whether or not a disease is present or a value corresponding thereto (eg, probability, etc.) depending on the type of disease, or a state indicating the degree of the disease when the disease is expressed. It could be information.
  • a Gleason Pattern or Gleason Score which is an indicator indicating the progress of prostate cancer
  • the Gleason pattern has a value of 2 to 5, and a larger number indicates a greater degree of prostate cancer expression.
  • the status information is information corresponding to the probability that the biological tissue corresponding to the unit unit to be diagnosed corresponds to a specific value (eg, 3, 4, or 5) of the Gleason pattern or normal (ie, the disease is not expressed). If not, it may include information corresponding to the probability corresponding to the
  • the first diagnosis system 10 may output a diagnosis result through the learned neural network 12-2.
  • the consensus diagnosis system 100 may include the configuration shown in FIG. 2B .
  • the consensus diagnosis system 100 may also include a processor 110 and a storage device 120 in which the program 121 is stored.
  • the consensus diagnosis system 100 is connected to individual diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30) and/or the standard diagnosis system 40 through a wired/wireless network to implement the technical idea of the present invention. It can transmit and receive information necessary to do this.
  • the consensus diagnosis system 100 may be installed and implemented in the individual diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30 ) or the standard diagnosis system 40 .
  • the consensus diagnosis system 100 may share hardware of individual diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30 ) or the standard diagnosis system 40 .
  • the programs 121 stored in the storage 120 of the consensus diagnosis system 100 are respectively from individual diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30 ) and/or the standard diagnostic system 40 . Diagnosis results (eg, individual diagnosis results 1 to N and/or standard individual diagnosis results) may be received and confirmed.
  • the consensus diagnosis system 100 may receive individual diagnosis results only from diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30) each learned with a learning data set annotated by different annotation subjects. However, as described above, the standard individual diagnosis result may be further received from the standard diagnosis system 40 .
  • diagnosis systems eg, diagnosis systems 1 to N, 10 to 30
  • the standard individual diagnosis result may be further received from the standard diagnosis system 40 .
  • each of the diagnostic systems eg, diagnostic system 1 to diagnostic system N, 10 to 30
  • each diagnostic system is configured for a specific diagnostician as described above. It may also be ready to be customized.
  • the consensus diagnosis system 100 may generate and output a consensus diagnosis result based on the received diagnosis results.
  • FIG. 7 is a diagram for explaining the concept of deriving a consensus based on individual diagnosis results according to an embodiment of the present invention.
  • diagnostic systems may be implemented to implement the technical spirit of the present invention, and a consensus diagnosis included in the reference diagnostic system 1 .
  • the system 100 may receive a diagnostic result for the same biometric data from each of the diagnostic systems (eg, diagnostic systems 1 to N, and 10 to 30 ).
  • FIG. 7 exemplifies a case in which the consensus diagnosis system 100 further receives a standard individual diagnosis result from the standard diagnosis system STD 40 .
  • the consensus diagnosis system 100 may simply specify, as the consensus diagnosis result, a type having a larger number of types of diagnosis results (eg, O indicating disease, X indicating non-expression of disease). have.
  • the consensus diagnosis system 100 may assign weights to respective diagnosis systems (eg, diagnosis systems 1 to N, 10 to 30, and the standard diagnosis system 40 ).
  • respective diagnosis systems eg, diagnosis systems 1 to N, 10 to 30, and the standard diagnosis system 40 .
  • diagnosis system 2 may have a weight of 0.9
  • diagnosis system 1 may have a weight of 1, which means that there has been at least one case in which diagnosis system 2 outputs an individual diagnosis result different from the consensus diagnosis result. .
  • the consensus diagnosis system 100 may generate a consensus diagnosis result based on a diagnosis result in which a weight is reflected as a weight factor. For example, if a specific diagnosis system outputs a diagnosis result as X and the weight of the specific diagnosis system is a (eg, 0.9), in the process of deriving a consensus diagnosis result, the diagnosis result of the specific diagnosis system is a (0.9). ) can be determined as X. By reflecting the weight in this way, more types of diagnosis results (eg, O or X) can be determined as consensus diagnosis results.
  • the weight may be adjusted by lowering a predetermined value (eg, 0.1) each time.
  • diagnosis system 2 outputs an individual diagnosis result (eg, X) different from the consensus diagnosis result (eg, O)
  • the other individual diagnosis result eg, X
  • the number or proportion of the diagnostic systems eg, diagnostic systems 1 to N, 10 to 30 and/or standard diagnostic system 40
  • the weight may be adjusted by further considering the number of diagnostic systems that have output the same type of diagnostic result as in 2).
  • the weight of the corresponding system is adjusted by a first value (for example, 0.1), and a certain number (for example, three) or more or a certain number of ten diagnostic systems
  • a first value for example, 0.1
  • a certain number for example, three
  • a certain number of ten diagnostic systems When different diagnostic results are output by weight (eg, 30%) or more, the weight of each of the corresponding systems may be adjusted by only the second pack (eg, 0.03).
  • the weight of the corresponding system may not be adjusted at all, even if a diagnosis result different from the consensus diagnosis result is output.
  • the consensus diagnosis system 100 uses the weights of the standard diagnosis system 40 of other diagnosis systems (eg, diagnosis system 1 to diagnosis system N, 10 ). to 30) may be given a higher weight.
  • diagnosis systems learned from different learning data sets eg, diagnosis system 1 to diagnosis system N, 10 to 30 and/or standard diagnosis system 40
  • Diagnosis results can be derived usefully even when using This may be more useful when the consensus diagnosis system 100 performs re-learning (or transfer learning) on a diagnosis system that outputs a diagnosis result different from the consensus diagnosis result, as will be described later.
  • FIG. 8 is a diagram for explaining a concept of segmentation annotation of training data according to an embodiment of the present invention.
  • each of the diagnosis systems eg, diagnosis system 1 to diagnosis system N
  • learning data annotated differently for each annotator
  • 10 to 30 and/or standard diagnostic systems 40 as well as to each other by diagnostic systems (eg, diagnostic system 1 to diagnostic system N, 10 to 30 and/or standard diagnostic system 40 ). It can also be useful when learning using other training data.
  • the performance of the learned engine may vary depending on the propensity of an annotator to annotate the learning data used for learning, but even if the same annotator performs the annotation, the learning data It also depends on what you use.
  • diagnosis system 1 is a system trained with training data set 1
  • diagnosis system 2 is a system trained with training data set 2
  • diagnosis system 3 is a system trained with training data set 3
  • Diagnostic system 4 may be a system trained with training data set 4 .
  • Each training data set may or may not have duplicate training data, and the annotators may or may not be the same for each training data set.
  • the diagnostic systems eg, diagnosis system 1 to diagnosis system Even in the case of N, 10 to 30 and/or the standard diagnosis system 40
  • a more accurate diagnosis result can be derived through the consensus diagnosis result.
  • re-learning may be performed by annotating the specific biometric data as a consensus diagnosis result.
  • bias and/or learning by an annotator Data bias can be dispelled over time, ultimately improving the performance of individual diagnostic systems (eg, diagnostic systems 1 to N, 10 to 30 and/or standard diagnostic system 40) as well.
  • FIG. 9 is a diagram for explaining the concept of re-learning an individual diagnosis system using a consensus diagnosis result according to an embodiment of the present invention.
  • diagnostic systems eg, diagnostic systems 1 to N, 10 to 30 and/or standard diagnostic system 40
  • the diagnostic systems eg, , diagnostic systems 1 to N, 10 to 30 and/or standard diagnostic system 40
  • the consensus diagnosis system 100 may output O as the consensus diagnosis result
  • the diagnosis system 2 20 may output X as the individual diagnosis result.
  • the consensus diagnosis system 100 provides information on the diagnosis system (eg, diagnosis system 2) that has output an individual diagnosis result different from the consensus diagnosis result, the specific biometric data at this time, and the consensus diagnosis result (eg, O) can be saved.
  • diagnosis system eg, diagnosis system 2
  • the consensus diagnosis result eg, O
  • diagnostic systems eg, diagnostic systems 1 to N, 10 to 30 and/or the standard diagnostic system 40
  • the diagnostic systems may be re-learned using the stored information.
  • the diagnosis system 2 may be re-learned using the re-learning data set including the specific biometric data labeled with the consensus diagnosis result (eg, O).
  • the consensus diagnosis result eg, O
  • diagnosis system 2 is a diagnosis system customized for a specific diagnosis
  • consent of the specific diagnosis may be required.
  • each of the diagnostic systems collects biometric data outputting a diagnosis result different from the consensus diagnosis result.
  • biometric data stored by the consensus diagnosis system 100 and outputting a diagnosis result different from the consensus diagnosis result may be fed back to the individual diagnosis system as learning data.
  • each of the diagnostic systems eg, diagnostic systems 1 to N, 10 to 30 and/or standard diagnostic system 40
  • has a bias eg, according to an annotator's tendency or according to the bias of the learning data itself). ) is improved.
  • the method for providing a customized diagnosis system can be implemented as computer-readable codes on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.
  • the present invention can be applied to a method and system for providing a customized diagnostic system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

커스터마이징 진단 시스템 제공 방법 및 그 시스템이 개시된다. 상기 기술적 과제를 달성하기 위한 진단 시스템 제공방법은 기준 진단 시스템이 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하는 단계, 상기 기준 진단 시스템이 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하는 단계, 및 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하는 단계를 포함하며, 소정의 대가를 지불 받는 조건으로 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터가 상기 기준 진단 시스템용 뉴럴 네트워크에 반영되는 것을 특징으로 한다.

Description

커스터마이징 진단 시스템 제공방법 및 그 시스템
본 발명은 학습을 통해 질병을 진단하는 방법 및 그 시스템에 관한 것이다. 보다 상세하게는 뉴럴 네트워크를 통해 지도학습기반으로 학습된 진단 시스템을 이용하여 특정 진단자의 진단 성향을 반영한 커스터마이징 된 진단 시스템을 구현할 수 있는 방법 및 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neurla network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체 데이터(예컨대, 생체 이미지)를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체 데이터에 숙련된 의료인이 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 데이터들을 학습 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 즉, 학습을 위해 학습 데이터에 어노테이션을 수행하여 어노테이션된 학습 데이터를 통한 학습이 주로 이용되는데 이러한 학습방식을 지도학습(supervised learning)이라고 한다.
하지만 지도학습은 학습된 시스템의 성능 또는 성향이 어노테이션을 수행한 어노테이터의 판단 성향 또는 경향에 지배적인 영향을 받게 된다. 즉, 학습된 진단 시스템의 진단 결과는 어노테이터의 어노테이션 경향이나 성향에 의존적이게 된다.
하지만 실제 어노테이션을 수행할 때 어노테이터에 따라 서로 다른 어노테이션을 수행할 정도로, 학습을 할 생체 데이터에는 명확하게 분류되기 힘든 생체 데이터가 상당히 존재하는 것이 현실이다. 즉, 숙련된 의료인이 어노테이션을 수행한다고 하더라도 생체 데이터에 따라 질병의 발현 여부 또는 질병의 진행 정도를 분류함에 있어서 의견이 다를 수 있다.
그럼에도 지도학습 기반으로 학습된 질병의 진단시스템의 경우에는 어노테이터의 경향에 의존적인 판단을 진단결과로 출력하게 되는 취약점이 있다.
또한, 뉴럴 네트워크를 이용하여 진단 시스템을 구축하기 위해서는 다수의 학습 데이터 및 이러한 다수의 학습 데이터를 어노테이션하기 위한 숙력된 의료인의 어노테이션 행위가 필요하고 이는 많은 시간과 비용을 요구하게 된다.
따라서 소규모의 의료기관이 이러한 학습된 뉴럴 네트워크를 이용하여 진단 시스템을 구축하기는 현실적인 어려움이 존재한다. 또한 타기관에 의해 학습된 뉴럴 네트워크를 구매 또는 임대하여 사용한다고 하더라도, 전술한 바와 같이 뉴럴 네트워크는 어노테이션에 의존적이므로 자신만의 진단 성향이 반영된 진단 시스템을 구축하는 것은 어려움이 존재한다.
따라서 이러한 문제점을 해결할 수 있는 기술적 사상이 요구된다.
* 선행기술문헌
- 특허문헌 :한국등록특허 10-20170057399 "모듈화된 강화학습을 통한 질병 진단 시스템"
본 발명이 이루고자 하는 기술적인 과제는 진단자(진단기관)에 커스터마이징된 성향을 갖는 진단 시스템을 제공하기 위한 방법 및 시스템을 제공하는 것이다.
그리고 이러한 커스터마이징된 진단 시스템을 이용하여 진단을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
또한 서로 다른 어노테이션 주체의 의해 학습된 지도학습기반의 진단 시스템을 복수 개 구비하고, 소정의 생체 데이터에 대해 상기 복수 개의 진단 시스템들이 각각 수행한 진단 결과에 기초하여 최종 진단결과 즉, 진단 시스템들간의 합의된 진단결과를 도출하도록 함으로써 지도학습기반의 취약점을 보완할 수 있는 방법 및 시스템을 제공하는 것이다.
또한 이러한 진단시스템들의 합의를 통한 진단결과를 이용하여 개별 진단 시스템들을 재학습할 수 있도록 함으로써, 개별 진단 시스템들의 성능 역시 향상 시킬 수 있는 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 진단 시스템 제공방법은 기준 진단 시스템이 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하는 단계, 상기 기준 진단 시스템이 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하는 단계, 및 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하는 단계를 포함하며, 소정의 대가를 지불 받는 조건으로 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터가 상기 기준 진단 시스템용 뉴럴 네트워크에 반영되는 것을 특징으로 한다.
상기 커스터마이징 진단 시스템 제공방법은 상기 어노테이션된 M개의 커스터마이징용 학습 데이터가 반영된 기준 진단 시스템이 상기 제1진단자 시스템으로부터 진단 데이터를 수신하여 진단결과를 생성하여 상기 제1진단자 시스템으로 전송하는 단계를 포함할 수 있다.
상기 기준 진단 시스템은 상기 M개가 클수록 또는 상기 기준 진단 시스템이 학습한 학습 데이터의 개수 대비 M개의 비중에 따라 상기 대가를 크게 설정하는 것을 특징으로 할 수 있다.
상기 기준 진단 시스템은 복수의 개별 진단 시스템들을 포함하는 개별 진단 시스템 세트를 포함하고, 복수의 개별 진단 시스템들이 출력하는 개별진단결과에 기초하여 합의를 통해 진단을 수행하는 시스템일 수 있다.
상기 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하는 단계는 상기 복수의 개별 진단 시스템들 중 적어도 일부를 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 이용하여 재학습하는 단계를 포함할 수 있다.
상기 M 개의 커스터마이징용 학습 데이터는 상기 개별 진단 시스템 세트에 포함된 개별 진단 시스템들 중 적어도 두 개가 서로 다른 진단결과를 출력한 데이터를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 진단 시스템 제공방법은 기준 진단 시스템-상기 기준 진단 시스템은 복수의 개별 진단 시스템들을 포함하는 개별 진단 시스템 세트를 포함함-이 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하는 단계, 상기 기준 진단 시스템이 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하는 단계, 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템 세트에 포함된 어느 하나의 제1개별 진단 시스템에 반영하는 단계, 상기 기준 진단 시스템이 진단할 진단 데이터를 포함하는 진단요청을 소정의 진단요청 시스템으로부터 수신하는 단계, 수신한 진단요청에 따라 상기 진단요청에 상응하는 진단결과의 종류를 제1개별 진단 시스템의 제1개별 진단결과로 판단하고, 상기 제1개별 진단 시스템이 상기 입력 데이터를 입력받아 출력한 제1개별 진단 결과를 포함하는 진단결과를 상기 진단요청 시스템으로 전송하는 단계를 포함한다.
상기의 방법은 데이터 처리장치에 설치되며 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 구현될 수 있다.
상기 기술적 과제를 해결하기 위한 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며, 상기 저장장치는 적어도 하나의 뉴럴 네트워크를 포함하고, 상기 프로그램은 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하며, 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하고, 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하며, 소정의 대가를 지불 받는 조건으로 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터가 상기 뉴럴 네트워크에 반영되는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며, 상기 저장장치는 복수의 개별 진단 시스템들에 상응한느 복수의 뉴럴 네트워크를 포함하고, 상기 프로그램은 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하며, 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하면, 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 복수의 개별 진단 시스템들용 뉴럴 네트워크에 포함된 어느 하나의 제1뉴럴 네트워크에 반영하고, 진단할 진단 데이터를 포함하는 진단요청을 소정의 진단요청 시스템으로부터 수신하면, 수신한 진단요청에 따라 상기 진단요청에 상응하는 진단결과의 종류를 제1개별 진단 시스템의 제1개별 진단결과로 판단하고, 상기 제1개별 진단 시스템이 상기 입력 데이터를 입력받아 출력한 제1개별 진단 결과를 포함하는 진단결과를 상기 진단요청 시스템으로 전송한다.
본 발명의 기술적 사상에 따르면 기준 진단 시스템을 이용하여 특정 진단자의 성향을 반영한 커스터마이징된 진단시스템을 용이하게 구축할 수 있는 효과가 있다.
또한 이러한 커스터마이징된 진단 시스템을 제공함으로써 새로운 수익을 창출할 수 있는 효과가 있다.
또한, 어느 한 어노테이션 주체의 의해 어노테이션된 학습 데이터를 이용하여 학습된 지도학습기반의 진단 시스템을 통해 질병을 진단하는 경우 발생할 수 있는 진단결과의 어노테이텨 의존성을 보완할 수 있는 효과가 있다.
또한 본 발명의 기술적 사상에 따라 합의를 통한 진단결과를 이용하여 개별 진단 시스템들을 재학습할 수 있으며, 이러한 경우 개별 진단 시스템들의 성능 역시 향상 시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 커스터마이징 진단 시스템 제공방법을 구현하기 위한 개략적인 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 기준 진단 시스템의 구현 예를 예시적으로 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따라 기준 진단 시스템을 커스터마이징하는 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 기준 진단 시스템이 지도학습기반 합의 진단방법을 수행하는 경우의 개략적인 시스템 구성을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따라 커스터마이징된 진단 시스템을 활용하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 진단 시스템들 각각의 개략적인 구성을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따라 기준 진단 시스템이 개별 진단 결과에 기초한 합의를 도출하는 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 학습 데이터의 분할 어노테이션 개념을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따라 합의 진단결과를 이용하여 개별 진단 시스템을 재학습하는 개념을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 커스터마이징 진단 시스템 제공방법을 구현하기 위한 개략적인 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 커스터마이징 진단 시스템 제공방법을 구현하기 위해서는 기준 진단 시스템(1)이 구현될 수 있다.
상기 기준 진단 시스템(1)은 본 발명의 기술적 사상에 따라 커스터마이징 된 진단 시스템을 제공할 수 있다.
일 예에 의하면, 상기 기준 진단 시스템(1)은 스스로가 커스터마이징된 진단 시스템으로 변경될 수도 있다. 또는 상기 기준 진단 시스템(1)이 복수의 뉴럴 네트워크를 포함하고 있고, 상기 복수의 뉴럴 네트워크 중 일부가 상기 커스터마이징된 진단 시스템으로 구현될 수도 있다.
따라서 상기 기준 진단 시스템(1)은 하나 또는 복수의 뉴럴 네트워크를 포함할 수 있다.
상기 기준 진단 시스템(1)은 커스터마이징 진단 시스템을 구축하기 원하는 소정의 진단자(진단기관을 포함하는 의미로 정의함) 측 시스템(예컨대, 제1진단자 시스템, 200)과 통신을 수행하면서 본 발명의 기술적 사상을 구현할 수 있다.
상기 제1진단자 시스템(200)은 제1진단자가 이용하는 시스템을 의미하며, 반드시 어느 하나의 물리적 장치로 특정되는 것은 아닐 수 있다.
상기 기준 진단 시스템(1)은 소정의 학습 데이터를 이용하여 학습된 진단 시스템일 수도 있다. 이처럼 미리 어느 정도 학습된 상기 기준 진단 시스템(1)을 이용하는 경우, 후술할 바와 같이 제1진단자 시스템(200)은 상대적으로 적은 양의 학습 데이터에 대해서만 어노테이션을 수행할 수 있다.
물론 실시 예에 따라서는 상기 기준 진단 시스템(1)은 학습 데이터만 준비해둔 상태에서 상기 제1진단자 시스템(200)으로부터 어노테이션된 추가적 학습 데이터가 수신되면, 한 번에 학습을 수행할 수도 있다.
일 예에 의하면, 상기 기준 진단 시스템(1)은 다수의 학습 데이터를 통해 미리 학습된 시스템일 수 있다. 상기 기준 진단 시스템(1)은 학습 데이터 예컨대, 생체 이미지를 입력받으면 질병에 대한 판단 즉, 진단결과를 출력하도록 학습된 시스템일 수 있다. 상기 기준 진단 시스템(1)의 학습에 이용된 학습 데이터는 제1진단자가 아닌 타인에 의해 어노테이션된 데이터일 수 있다.
그리고 상기 기준 진단 시스템(1)은 일부의 어노테이션되지 않은 학습 데이터를 보유할 수 있다.
그러면 상기 어노테이션되지 않은 학습 데이터 중 M개(M은 2이상의 정수)의 학습 데이터를 상기 제1진단자 시스템(200)으로 전송할 수 있다(S100).
상기 M개의 학습 데이터는 제1진단자 시스템(200) 즉, 제1진단자의 진단 성향을 상기 기준 진단 시스템(1)에 반영하기 위해 이용되는 학습 데이터일 수 있다. 따라서 상기 제1진단자 시스템(200)으로 전송되는 M개의 학습 데이터를 커스터마이징용 학습 데이터로 정의할 수 있다.
커스터마이징용 학습 데이터의 개수 즉, M은 미리 정해질 수 있다. 그리고 상기 M은 상기 기준 진단 시스템(1)의 학습에 이용한 학습 데이터의 수와 연관되어 결정될 수도 있다. 즉, 기준 진단 시스템(1)의 학습에 이용한 학습 데이터의 수보다 너무 작은 개수의 커스터마이징용 학습 데이터가 이용된다면 상기 기준 진단 시스템(1)에 제1진단자의 진단 성향이 잘 발현되지 않을 수도 있기 때문이다.
예컨대, 상기 기준 진단 시스템(1)이 10000개의 학습 데이터로 학습된 진단 시스템이라면, 상기 M은 200개 가량으로 결정될 수 있다. 이러한 M의 개수의 결정은 실험으로 통해 제1진단자의 성향이 반영될 수 있으면서도 너무 많지 않은 수로 결정될 수 있다.
M개의 커스터마이징용 학습 데이터가 제1진단자 시스템(200)으로 전송되면 제1진단자에 의해 M개의 커스터마이징용 학습 데이터는 어노테이션될 수 있다. 그리고 어노테이션된 커스터마이징용 학습 데이터가 상기 제1진단자 시스템(200)으로부터 상기 기준 진단 시스템(1)으로 전송될 수 있다(S110).
실시 예에 따라 상기 M개의 커스터마이징용 학습 데이터는 임의로 선택된 것이 아니라, 소정의 프로세스를 통해 선별적으로 선택된 데이터일 수도 있다. 예컨대, 진단자별로 진단결과가 조금씩 다를 수 있는 모호한 특징을 가지는 학습 데이터가 커스터마이징용 학습 데이터로 미리 선정될 수도 있다. 예컨대, 학습 데이터는 생체 이미지일 수 있고, 생체 이미지에 따라 특정 진단자는 질병이 발현되었다고 판단할 수도 있고 다른 진단자는 질병이 발현되지 안았다고 판단할 수도 있다. 또는 진단 시스템이 질병의 진행정도까지 판단하도록 학습된 경우, 동일한 생체 이미지에 대해 특정 진단자는 질병이 제1상태라고 판단할 수도 있고 다른 진단자는 질병이 제2상태라고 판단할 수도 있다. 이처럼 실제로도 병리학적 관점에서 특정 생체 이미지는 진단자에 따라 질병의 발현여부 또는 질병의 진행상태 정도가 달리 판단될 정도록 모호한 경우가 존재할 수 있다.
이처럼 모호성을 갖는 피쳐(feature)를 포함하는 데이터를 커스터마이징용 학습 데이터로 선별하여 사용하는 경우, 보다 작은 수의 커스터마이징용 학습 데이터를 이용하더라도 특정 진단자의 성향이 더욱 잘 반영될 수 있는 효과가 있다. 왜냐하면 누가봐도 동일한 진단결과를 낼 정도로 명확한 피쳐를 갖는 학습 데이터일 경우는 진단성향이 반영될 여지가 크지 않을 수 있기 때문이며, 이러한 데이터를 커스터마이징용 학습 데이터로 이용할 경우에는 기 학습된 기준 진단 시스템(1)에 크게 영향을 미치지 못할 수도 있기 때문이다.
일 예에 의하면, 후술할 바와 같이, 상기 기준 진단 시스템(1)은 복수의 개별 진단 시스템의 합의에 의해 최종적 진단결과를 도출하도록 구현될 수 있으며, 이러한 경우 복수의 개별 진단 시스템들 중 적어도 2개가 서로 다른 진단결과를 출력한 입력 데이터가 커스터마이징용 학습 데이터로 선택될 수 있다. 즉, 상기 기준 진단 시스템(1)이 합의 진단 시스템으로 구현된 경우에는 복수의 개별 진단 시스템을 포함할 수 있으며, 이러한 경우 개별 진단 시스템 각각이 진단자의 기능을 수행할 수 있으므로 자연스럽게 개별 진단 시스템의 진단결과를 이용하여 모호성을 갖는 피쳐를 포함하는 데이터를 선별할 수 있게 되는 효과가 있다.
그러면 상기 기준 진단 시스템(1)은 어노테이션된 커스터마이징용 학습 데이터를 상기 기준 진단 시스템(1)에 반영할 수 있다(S120).
상기 어노테이션된 커스터마이징용 학습 데이터를 상기 기준 진단 시스템(1)에 반영된다고 함은, 상기 어노테이션된 커스터마이징용 학습 데이터가 상기 기준 진단 시스템(1)의 진단에 영향을 미치도록 하는 일련의 데이터 프로세싱을 수행함을 의미할 수 있다.
예컨대, 상기 기준 진단 시스템(1)은 수신된 커스터마이징용 학습 데이터를 이용하여 재학습 또는 전이학습을 수행함으로써 상기 커스터마이징용 학습 데이터를 기준 진단 시스템(1)에 반영할 수 있다.
이처럼 제1진단자에 의해 어노테이션된 커스터마이징용 학습 데이터 상기 기준 진단 시스템(1)에 반영되면, 상기 기준 진단 시스템(1)은 제1진단자의 진단 성향이 반영된 즉, 제1진단자에 의해 커스터마이징된 진단 시스템으로써 기능할 수 있다.
한편 이러한 제1진단자에 커스터마이징된 진단 시스템을 구현한 대가로 상기 기준 진단 시스템(1)의 주체측은 과금을 수행할 수 있다(S130). 상기 과금을 위해 상기 기준 진단 시스템(1)은 제1진단자 시스템(200)과 통신을 수행하여 소정의 과금 프로세스를 수행할 수도 있다. 상기 과금 프로세스는 다양한 방식이 존재함을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. 또한, 상기 기준 진단 시스템(1)에 의해 자동화된 과금 프로세스가 아니라 소정의 계약에 의해 별개의 프로세스를 통해 과금이 진행될 수도 있음은 물론이다.
또한, 상기 과금은 상기 커스터마이징용 학습 데이터가 상기 기준 진단 시스템(1)에 반영되기 전에 수행될 수도 있고, 반영된 후에 수행될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 상기 과금 금액은 커스터마이징용 학습 데이터의 질 또는 개수에 의존적이도록 선택될 수 있다.
예컨대, 커스터마이징용 학습 데이터가 다수의 학습 데이터들 중에서 임의로 선택된 경우에는 보다 저렴한 과금금액이 책정될 수 있고, 전술한 바와 같이 모호성을 갖는 피쳐를 포함하는 학습 데이터로 선별될 경우에는 보다 높은 과금금액이 책정될 수도 있다.
또는 커스터마이징용 학습 데이터가 반영될 진단 시스템(예컨대, 기준 진단 시스템(1) 또는 후술할 바와 같은 개별 진단 시스템)에서 상기 커스터마이징용 학습 데이터를 제외한 나머지 학습 데이터의 개수 대비 커스터마이징용 학습 데이터의 개수의 비중에 따라 달리 과금 금액이 선택될 수 있다. 일반적으로 상기 비중이 클수록 보다 제1진단자의 성향에 더욱 의존적으로 커스터마이징될 수 있으므로, 보다 높은 금액이 과금 금액으로 선정될 수 있다. 또는 단순히 커스터마이징용 학습 데이터의 개수가 많을수록 높은 과금 금액을 설정할 수도 있다.
이처럼 제1진단자의 진단 성향이 반영된, 제1진단자에 커스터마이징 진단 시스템을 구축해줌으로써, 개별적인 진단기관이 진단 시스템을 구축하기 위해 다수의 학습 데이터를 확보하고 확보한 학습 데이터에 일일이 어노테이션을 수행하며, 이러한 학습 데이터를 활용하여 진단 시스템을 구축할 수 있는 전문적인 지식이 없어도 개별 진단기관에 특화된 진단 시스템을 구축할 수 있는 효과가 있다.
또한, 기준 진단 시스템(1)의 제공주체의 입장에서는 개별적인 진단자별 성향을 반영한 진단 시스템을 용이하게 구축함으로써 추가적인 수익을 창출할 수 있는 효과가 있다.
도 1에서는 상기 기준 진단 시스템(1)이 어느 하나의 물리적 장치인 것처럼 도시하였지만, 실시 예에 따라서 상기 기준 진단 시스템(1)은 복수의 물리적 장치가 유기적으로 결합된 시스템일 수도 있다.
또한 상기 기준 진단 시스템(1)은 복수의 개별적인 뉴럴 네트워크가 구비될 수도 있으며, 각각의 뉴럴 네트워크는 개별적으로 입력 데이터를 수신하고 진단결과를 출력할 수 있도록 학습된 뉴럴 네트워크일 수도 있다. 물론, 실시 예에 따라서는 상기 기준 진단 시스템(1)은 어느 하나의 뉴럴 네트워크만 구비할 수 있고, 이러한 경우 커스터마이징용 학습 데이터는 상기 하나의 뉴럴 네트워크에 반영될 수도 있다.
상기 기준 진단 시스템(1)의 실시 예에 따라서 상기 커스터마이징용 학습 데이터가 상기 기준 진단 시스템(1)에 반영되는 실시 예는 다양해질 수 있다.
이러한 일 예는 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 기준 진단 시스템의 구현 예를 예시적으로 설명하기 위한 도면이다.
도 2를 참조하면, 기준 진단 시스템(1)은 복수의 뉴럴 네트워크들을 각각 포함하는 복수의 개별 진단 시스템들(예컨대, 10 내지 30)을 포함할 수 있다. 실시 예에 따라서는 스태단드 진단 시스템(40)을 더 포함할 수도 있다. 그리고 상기 기준 진단 시스템(1)은 소정의 합의 진단 시스템(100)을 포함할 수도 있다.
개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)각각은 개별진단결과들(예컨대, 개별진단결과 1 내지 개별진단결과 N)를 출력하도록 학습된 시스템일 수 있다. 그러면, 후술할 바와 같이 상기 합의 진단 시스템(100)은 이러한 개별진단결과들(예컨대, 개별진단결과 1 내지 개별진단결과 N)에 기초하여 합의 진단 결과를 출력하도록 구현된 시스템일 수 있다
상기 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각은 지도학습 기반으로 학습되어 소정의 생체 데이터(예컨대, 생체 이미지)가 입력되면, 상기 생체 데이터를 학습된 뉴럴 네트워크를 통해 미리 정해진 분류(예컨대, 질병의 발현여부 또는 질병의 진행정도에 따른 분류)로 분류하여 그 결과를 진단결과로 출력하는 시스템일 수 있다.
상기 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)은 각각 동일한 생체 데이터를 입력받아, 각각의 학습된 뉴럴 네트워크를 통해 진단결과들 즉, 상기 개별진단결과들(예컨대, 개별진단결과 1 내지 개별진단결과 N)을 출력할 수 있다.
이때 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각의 진단결과는 어노테이터에 따른 어노테이션에 의존적일 수 있다. 즉, 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)각각은 어노테이션된 학습 데이터에 의존성을 갖도록 개별진단결과를 출력할 수 있다.
이러한 취약점을 보완하기 위해 본 발명의 기술적 사상에 따른 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각은 서로 다른 어노테이션 주체에 의해 어노테이션된 학습 데이터 세트로 학습된 시스템일 수 있다. 실시 예에 따라서는 상기 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각은 동일하게 어노테이션된 동일한 학습 데이터를 이용해 학습된 진단 시스템들일 수도 있다. 그리고 각각의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)은 추후 서로 다른 진단자에 의해 커스터마이징될 수도 있다.
예컨대, 진단 시스템 1(10)은 제1어노테이터에 의해 어노테이션된 제1학습 데이터 세트로 학습된 시스템일 수 있고, 진단 시스템 2(20)는 제2어노테이터에 의해 어노테이션된 제2학습 데이터 세트로 학습된 시스템일 수 있으며, 진단 시스템 N(30)은 제N어노테이터에 의해 어노테이션된 제N학습 데이터 세트로 학습된 시스템일 수 있다.
이러한 경우 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각은 학습에 이용된 학습 데이터의 어노테이터의 판단성향 또는 경향에 의존적인 특징을 가질 수 있다.
그러면 동일한 진단 데이터(예컨대, 생체 이미지)를 입력받은 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)은 이상적으로는 동일한 진단결과를 출력하는 것이 바람직하지만, 상술한 바와 같이 어노테이터의 판단성향이 진단결과에 영향을 미쳐서 어떤 경우에는 서로 다른 진단 결과를 출력할 수도 있다. 즉, 어노테이터의 성향에 따라 동일한 진단 데이터에 대해 서로 다른 진단결과를 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)이 출력할 수도 있다.
하지만 이러한 취약점은 본 발명의 기술적 사상에 따라 복수의 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)의 개별진단결과를 이용한 합의진단을 통해 보완될 수 있다.
예컨대, 상기 기준 진단 시스템(1)은 각각의 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)이 출력한 개별진단결과들에 기초하여 합의진단결과를 출력할 수 있다. 합의진단결과는 개별진단결과들 전부 또는 일부에 기초하여 생성된 최종적인 진단결과를 의미할 수 있다.
실시 예에 따라, 상기 기준 진단 시스템(1)은 후술할 바와 같은 스탠다드 진단 시스템(40)을 더 포함할 수도 있다. 그리고 스탠다드 진단 시스템(40)의 진단결과 즉, 스탠다드 개별진단결과에 더 기초하여 합의진단결과를 결정할 수도 있다.
스탠다드 진단 시스템(40)은 골드 스탠다드(gold standard) 학습 데이터로 학습된 진단 시스템을 의미할 수 있다. 골드 스탠다는 학습 데이터는 표준적인 또는 이상적인 어노테이션이 수행된 학습 데이터를 의미할 수 있다. 이러한 골드 스탠다드 학습 데이터는 어느 하나의 주체에 의해 단순히 어노테이션된 것이 아니라, 복수의 주체에 의해 합의된 어노테이션이 수행되거나 또는 다수의 주체에 의해 합의된 기준에 의해 어노테이션이 수행된 데이터를 의미할 수 있다. 일반적으로는 이러한 골드 스탠다드 학습 데이터를 이용하여 학습을 수행하는 것이 바람직할 수 있지만, 실제로는 골드 스탠다드 학습 데이터를 생성하는 것이 많은 비용이 들 수도 있으며, 오히려 골드 스탠다드 학습 데이터를 이용하여 학습된 하나의 진단 시스템을 구축하는 것보다 개별 주체에 의해 학습된 진단 시스템들을 복수 개 구비하여 합의 진단 결과를 구축하는 것이 오히려 더 높은 진단성능을 발휘할 수도 있다. 이는 골드 스탠다드 학습 데이터의 경우는 특정 생체 데이터에 대한 어노테이션에 대해 서로 다른 어노테이션 의견이 있는 경우에는 소수의 의견은 무시된 채 합의된 어노테이션만이 학습에 반영되게 되지만, 본원발명의 기술적 사상과 같이 개별 주체에 의한 어노테이션을 통해 개별적으로 학습된 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)이 구축된 경우에는 소수의 의견이 적어도 개별 진단 시스템에는 학습에 반영되기 때문이다.
더욱이 합의진단을 위한 복수의 진단 시스템들 중에 스탠다드 진단 시스템(40)이 포함될 경우에는 보다 높은 진단 성능을 보일 수 있다.
도 3은 본 발명의 실시 예에 따라 기준 진단 시스템을 커스터마이징하는 개념을 설명하기 위한 도면이다.
도 3을 참조하면, 전술한 바와 같이 기준 진단 시스템(1)에 복수의 진단 시스템들(예컨대, 10 내지 40)이 포함된 경우, 상기 기준 진단 시스템(1)은 제1진단자 시스템(200)으로부터 M개의 어노테이션된 커스터마이징용 학습 데이터를 수신한 후(S110), 상기 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 중 어느 하나의 진단 시스템(예컨대, 진단 시스템 1, 10)에만 제한적으로 상기 어노테이션된 커스터마이징용 학습 데이터를 반영할 수 있다(S120). 상기 어노테이션된 커스터마이징용 학습 데이터를 반영하기 위해 재학습 또는 전이학습이 이용될 수 있음은 물론이다.
즉, 상기 기준 진단 시스템(1)이 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)을 구비하는 경우, 상기 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 중 어느 하나가 제1진단자에 커스터마이징될 수 있다.
그러면 커스터마이징된 진단 시스템1(10)은 제1진단자에 커스터마이징되며, 다른 진단 시스템들(예컨대, 20 내지 40)은 제1진단자의 진단성향이 반영되지 않은채 남을 수 있다. 이러한 경우 상기 기준 진단 시스템(1)은 제1진단자 시스템(200)으로부터 소정의 데이터 즉, 진단할 진단 데이터가 수신될 경우, 제1진단자에 커스터마이징된 진단결과 즉, 진단 시스템1(10)이 출력한 개별진단결과 뿐만 아니라 타 진단 시스템들의 진단결과 또는 합의진단결과를 같이 제공해줄 수 있는 효과가 있다.
다른 실시 예에 의하면, 상기 기준 진단 시스템(1)이 제1진단자 시스템(200)으로부터 수신한 어노테이션된 커스터마이징용 학습 데이터는 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 모두에 반영될 수도 있다. 물론, 이러한 경우에는 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)은 모두 제1진단자의 진단성향을 반영한 진단결과를 출력하도록 변경될 수 있다.
물론 이때에도 스탠다드 진단 시스템(40)에는 제1진단자 시스템(200)으로부터 수신한 어노테이션된 커스터마이징용 학습 데이터가 반영되지 않을 수도 있다.
도 4는 본 발명의 실시 예에 따른 기준 진단 시스템이 지도학습기반 합의 진단방법을 수행하는 경우의 개략적인 시스템 구성을 나타내는 도면이다.
도 4를 참조하면, 전술한 바와 같이 기준 진단 시스템(1)은 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 및 합의 진단 시스템(100)을 포함할 수 있다. 또한, 스탠다드 진단 시스템(30)을 더 포함할 수도 있다.
또한, 합의 진단 시스템(100)은 합의진단결과를 출력하기 위해 상기 합의 진단 시스템(100)은 개별진단결과들이 서로 다른 진단결과를 갖는 경우에는 단순히 다수결에 따른 합의진단결과를 도출할 수도 있다. 또는 상기 합의 진단 시스템(100)은 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각에 대해 가중치를 부여하고, 부여된 가중치를 상응하는 개별진단결과에 적용한 합의진단결과를 출력할 수도 있다.
가중치는 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각의 진단이력에 따라 부여될 수 있다. 예컨대, 합의진단결과와 다른 진단결과를 출력한 진단 시스템에는 가중치가 소정의 기준만큼 감소되도록 가중치 부여 프로세스가 상기 합의 진단 시스템(100)에 의해 구동될 수 있다. 또한 가중치 부여 프로세스는 단순히 합의진단결과와 다른지 여부만을 고려할 수도 있지만, 전체 개별진단결과들 중 진단 결과의 종류별 개수를 더 고려할 수도 있다.
예컨대, 10개의 진단 시스템이 구현되어 합의진단을 구현할 경우, 10개의 진단 시스템들 중 특정 진단 시스템 어느 하나만 특정 생체 데이터에 대해 질병이 발현되지 않았다고 판단하고, 나머지 진단 시스템들은 모두 질병이 발현되었다고 판단할 수 있다. 이러한 경우에는 상기 특정 진단 시스템의 가중치를 미리 정해진 제1기준 값(예컨대, 0.1)만큼 감소시킬 수 있다.
하지만 10개의 진단 시스템들 중 4개의 진단 시스템이 상기 특정 생체 데이터에 대해 질병이 발현되지 않았다고 판단하고, 6개의 진단 시스템들은 모두 질병이 발현되었다고 판단할 수 있다. 이러한 경우에는 합의진단결과가 질병의 발현이라 할지라도 4개의 진단 시스템의 가준치는 제1기준 값(예컨대, 0.1)보다는 작은 소정의 제2기준 값(예컨대, 0.05)만 감소될 수도 있다.
즉, 합의진단결과를 정답으로 가정할 경우, 단순히 오답을 출력한 횟수에 따라 진단 시스템의 가중치를 조절할 수도 있지만, 특정 진단 시스템이 오답을 출력하더라도 오답을 출력한 진단 시스템의 수를 더 고려하여 가중치의 조절정도를 달리하거나 경우에 따라서는 오답이 아니라고 판단하여 가중치를 조절하지 않을 수도 있다.
이외에도 합의진단결과를 도출하기 위한 방식 및 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각에 가중치를 부여하는 방식들에 대해서는 다양한 실시 예가 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
실시 예에 따라, 상기 합의 진단 시스템(100)은 후술할 바와 같은 스탠다드 진단 시스템(40)으로부터 스탠다드 개별진단결과를 더 수신할 수도 있다. 그리고 수신한 스탠다드 개별진단결과에 더 기초하여 합의진단결과를 출력할 수도 있다.
또한, 합의 진단 시스템(100)은 스탠다드 진단 시스템(40)에 대해서는 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각에 비해 보다 높은 가중치를 부여하여, 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)별로 부여된 가중치를 반영하여 합의결과를 도출할 수도 있다.
한편, 상기 합의 진단 시스템(100)은 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 또는 스탠다드 진단 시스템(40)와는 별개의 물리적 장치로 구현되는 경우를 도 4에서 도시하고 있지만, 상기 합의 진단 시스템(100)은 상기 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 또는 상기 스탠다드 진단 시스템(40) 중 적어도 하나와 물리적으로 동일한 장치에 구현될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 합의 진단 시스템(100)은 본 명세서에서 정의된 기능을 수행할 수만 있으면 다양한 데이터 처리시스템(예컨대, 컴퓨터, 서버, 스마트 폰, 또는 전용장치 등)로 구현될 수 있음은 물론이다.
도 5는 본 발명의 실시 예에 따라 커스터마이징된 진단 시스템을 활용하는 개념을 설명하기 위한 도면이다.
도 5를 참조하면, 기준 진단 시스템(1)은 제1진단자 시스템(200)으로부터 수신한 M개의 어노테이션된 커스터마이징용 학습 데이터가 반영된 시스템일 수 있다. 그리고 일 예에 의하면, 상기 기준 진단 시스템(1)은 전술한 바와 같이 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 및/또는 스탠다드 진단시스템(40)을 포함하며, 이들의 개별진단결과에 따른 합의진단을 수행하도록 구현된 시스템일 수도 있다.
이러한 경우 상기 제1진단자 시스템(200)으로부터 수신한 어노테이션된 커스터마이징용 학습 데이터는 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 중 어느 하나(예컨대, 진단 시스템1(10))에만 반영될 수 있다.
이후 상기 기준 진단 시스템(1)은 진단요청 시스템으로부터 진단 데이터를 수신할 수 있다. 상기 진단요청 시스템은 상기 기준 진단 시스템(1)으로 진단 데이터(예컨대, 생체 이미지 등의 생체 데이터)를 전송하고, 상기 진단 데이터에 상응하는 진단 결과를 상기 기준 진단 시스템(1)으로부터 수신하고자 하는 즉, 상기 기준 진단 시스템(1)으로 진단요청을 하는 시스템일 수 있다. 상기 진단요청 시스템은상기 제1진단자 시스템(200)일 수도 있고, 타진단기관의 시스템일 수도 있다.
상기 기준 진단 시스템(1)은 상기 진단 데이터를 포함하는 진단요청을 수신하고, 상기 진단요청에 기초하여 진단결과의 종류를 결정할 수 있다. 진단결과의 종류는 예컨대, 어떤 진단 시스템의 진단결과를 요청하는 것인지에 대한 것일 수 있다. 예컨대, 진단요청에 따라 특정 개별 진단 시스템의 개별 진단결과만을 전송할 수도 있고, 합의진단결과를 같이 전송할 수도 있다.
예컨대, 상기 기준 진단 시스템(1)은 상기 진단요청이 제1진단자에 커스터마이징된 진단 시스템을 통한 진단결과를 요청하는 것인지 아닌지를 판단할 수 있다. 제1진단자에 커스터마이징된 진단 시스템을 통한 진단요청은 제1진단자가 수행한 진단요청일 수도 있지만, 이에 국한되지는 않으며 타 진단자 역시 제1진단자의 진단성향을 신뢰할 수도 있고 이러한 경우 타 진단자 역시 제1진단자에 커스터마이진된 진단결과를 원할 수도 있다.
예컨대, 상기 기준 진단 시스템(1)은 진단요청을 출력한 시스템의 속성(예컨대, IP, MAC 어드레스 등)을 이용하여 진단결과 종류를 특정할 수도 있다. 또는 상기 기준 진단 시스템(1)을 이용하기 위한 서비스 페이지를 제공할 경우 로그인 정보 등을 통해 진단요청에 상응하여 전송할 진단결과의 종류를 결정할 수도 있다. 또는 진단요청에 명시적으로 진단결과의 종류(예컨대, 제1진단자의 식별정보, 진단시스템1의 식별정보 등)에 대한 정보가 포함될 수도 있다.
예컨대, 제1진단자 시스템(200)으로부터 소정의 진단 데이터를 포함하는 진단요청이 수신된 경우, 상기 기준 진단 시스템(1)은 상기 진단요청에 상응하는 진단결과의 종류를 특정할 수 있다.
그러면 상기 기준 진단 시스템(1)은 제1진단자에 커스터마이징된 진단 시스템 1(10)의 개별 진단 결과만을 상기 제1진단자 시스템(200)으로 전송할 수도 있다. 물론, 실시 예에 따라서는 진단 시스템 1(10)의 개별 진단 결과와 더불어 합의진단결과를 같이 전송함으로써 제1진단자의 진단에 도움을 줄 수도 있다. 특히 진단 시스템 1(10)의 개별 진단 결과와 합의진단결과가 다른 경우, 제1진단자에게 보다 신중한 진단이 필요함을 알릴 수 있는 효과가 있다.
도 6은 본 발명의 실시 예에 따른 진단 시스템들 각각의 개략적인 구성을 설명하기 위한 도면이다.
우선 도 6a를 참조하면, 기준 진단 시스템(1)은 어느 하나의 뉴럴 네트워크 즉, 기준 진단 시스템용 뉴럴 네트워크만을 포함할 수도 있고 전술한 바와 같이 복수의 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각에 상응하는 개별 진단 시스템용 뉴럴 네트워크를 포함할 수도 있다. 즉, 기준 진단 시스템(1)에 포함된 뉴럴 네트워크인 기준 진단 시스템용 뉴럴 네트워크가 복수개 있을 수도 있다.
상기 개별 진단 시스템들(예컨대, 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30))은 도 6a에 도시된 바와 같은 구성을 포함할 수 있다. 스탠다드 진단 시스템(40) 역시 상기 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)의 구성과 동일한 구성으로 구현될 수 있으므로, 본 명세서에서는 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)에 대해서만 설명하도록 한다. 또한, 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 역시 동일하거나 유사한 구성을 포함할 수 있으므로 본 명세서에서는 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 중 어느 하나의 구성만을 설명하도록 한다.
제1진단 시스템(진단 시스템 1)(10)은 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 제1진단 시스템(10)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치로도 구현될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Nerual Network, 12-2)를 이용해 진단을 수행할 수 있다. 상기 뉴럴 네트워크는 컨벌루션 뉴럴 네트워크일 수 있으며, 생체 데이터(예컨대, 이미지)를 입력받으면 학습된 뉴럴 네트워크를 통해 진단결과를 출력할 수 있다.
상기 프로그램(12-1)은 지도학습을 통해 뉴럴 네트워크(12-2)를 학습시키거나 또는 학습된 뉴럴 네트워크(12-2)를 이용하여 진단을 수행할 수 있도록 정의되는 소프트웨어를 의미할 수 있다.
상기 저장장치(12)는 상기 프로그램(12-1) 및 뉴럴 네트워크(12-2)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 제1진단 시스템(10)에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
이하 본 명세서에서 상기 진단 시스템(예컨대, 10)이 소정의 기능을 수행한다고 함은, 진단 시스템(예컨대, 10)에 구비된 프로세서(예컨대, 11)가 상기 프로그램(예컨대, 12-1)을 이용하여 소정의 기능을 수행함을 의미할 수 있음은 물론이다.
본 명세서에서 상기 제1진단 시스템(10)이 진단을 수행한다고 함은 생체 데이터를 입력받아 본 명세서에서 정의된 출력 데이터 예컨대, 진단결과를 출력하는 일련의 프로세스를 의미할 수 있다.
상기 제1진단 시스템(10)은 생체 데이터를 소정의 단위 유닛별로 입력받을 수 있다. 단위 유닛은 예컨대, 픽셀 단위일 수도 있고 패치, 또는 슬라이드 단위일 수도 있다.
제1진단 시스템(10)의 진단결과는 질병의 종류에 따라 단순히 질병의 발현여부 또는 이에 상응하는 값(예컨대, 확률 등)일 수도 있고, 또는 질병이 발현된 경우에는 질병의 상태 정도를 나타내는 상태정보일 수도 있다.
예컨대, 후술할 바와 같이 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 상태정보에 포함될 수 있다. 예컨대, 글리슨 패턴은 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 단위 유닛에 해당하는 생체조직이 글리슨 패턴의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률에 상응하는 정보 또는 노멀(즉, 질병이 발현되지 않은 경우)에 해당할 확률에 상응하는 정보를 포함할 수 있다.
어떠한 경우든 상기 제1진단 시스템(10)은 학습된 뉴럴 네트워크(12-2)를 통해 진단결과를 출력할 수 있다.
한편, 본 발명의 기술적 사상에 따른 합의 진단 시스템(100)은 도 2b에 도시된 구성을 포함할 수 있다.
합의 진단 시스템(100) 역시 프로세서(110) 및 프로그램(121)이 저장된 저장장치(120)를 포함할 수 있다.
상기 합의 진단 시스템(100)은 유무선 네트워크를 통해 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 및/또는 스탠다드 진단 시스템(40)과 연결되어 본 발명의 기술적 사상을 구현하기 위해 필요한 정보들을 송수신할 수 있다. 구현 예에 따라 상기 합의 진단 시스템(100)은 상기 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 또는 스탠다드 진단 시스템(40)에 설치되어 구현될 수도 있다. 이러한 경우 상기 합의 진단 시스템(100)은 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 또는 스탠다드 진단 시스템(40)의 하드웨어를 공유할 수 있다.
상기 합의 진단 시스템(100)의 저장장치(120)에 저장된 프로그램(121)은 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 및/또는 스탠다드 진단 시스템(40)으로부터 각각 진단결과(예컨대, 개별진단결과 1 내지 N 및/또는 스탠다드 개별진단결과)를 수신하고 확인할 수 있다.
상기 합의 진단 시스템(100)은 서로 다른 어노테이션 주체들에 의해 어노테이션된 학습 데이터 세트로 각각 학습된 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)만으로부터 개별진단결과를 수신할 수도 있지만, 전술한 바와 같이 스탠다드 진단 시스템(40)으로부터 스탠다드 개별진단결과를 더 수신할 수도 있다. 물론, 전술한 바와 같이 진단시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30) 각각은 동일한 학습 데이터로 학습된 시스템들일 수도 있고, 각각의 진단 시스템들은 전술한 바와 같이 특정 진단자에 커스터마이징되도록 준비될 수도 있다.
어떠한 경우든 상기 합의 진단 시스템(100)은 수신한 진단결과들에 기초하여 합의진단결과를 생성하여 출력할 수 있다.
상기 합의 진단 시스템(100)이 합의진단결과를 생성하는 일 예는 도 7을 참조하여 설명하도록 한다.
도 7은 본 발명의 실시 예에 따라 개별 진단 결과에 기초한 합의를 도출하는 개념을 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 기술적 사상을 구현하기 위해 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)이 구현될 수 있으며, 기준 진단 시스템(1)에 포함된 합의 진단 시스템(100)은 각각의 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)로부터 동일한 생체 데이터에 대한 진단결과를 수신할 수 있다. 또한, 도 7에는 합의 진단 시스템(100)이 스탠다드 진단 시스템(STD, 40)으로부터 스탠다드 개별진단결과를 더 수신하는 경우를 예시적으로 설명하고 있다.
도 7에서는 진단결과가 특정 질병의 발현여부를 나타내는 경우를 예시하고 있지만, 뉴럴 네트워크(12-2)의 구현 예에 따라 다양한 형태의 정보가 진단결과로 출력될 수 있음은 전술한 바와 같다.
일 예에 의하면, 상기 합의 진단 시스템(100)은 단순히 진단결과의 종류들(예컨대, 질병이 발현인 O, 질병의 미발현인 X) 중 더 많은 수를 갖는 종류를 합의진단결과로 특정할 수도 있다.
구현 예에 따라 상기 합의 진단 시스템(100)은 각 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30, 스탠다드 진단 시스템(40))에 대해 가중치를 부여할 수도 있다.
이러한 가중치는 다수의 생체 데이터에 대해 합의진단결과를 도출하면서, 합의진단결과와 다른 개별진단결과를 출력한 횟수에 기초하여 조절될 수 있다. 예컨대, 진단 시스템 2는 가중치가 0.9일 수 있고, 진단 시스템 1은 가중치가 1일 수 있는데 이는 진단 시스템 2는 합의진단결과와 다른 개별진단결과를 출력한 경우가 적어도 한 번 존재했음을 의미할 수 있다.
상기 합의 진단 시스템(100)은 가중치가 웨이트 팩터로 반영된 진단결과에 기초하여 합의진단결과를 생성할 수 있다. 예컨대, 특정 진단 시스템이 X로 진단결과를 출력했는데 상기 특정 진단 시스템의 가중치가 a(예컨대, 0.9)라면, 합의진단결과를 도출하기 위한 과정에서 상기 특정 진단 시스템의 진단결과는 a개(0.9개)의 X로 판단될 수 있다. 이처럼 가중치를 반영하여 보다 많은 진단결과의 종류(예컨대, O 또는 X)를 합의진단결과로 판단할 수 있다.
상기 합의 진단 시스템(100)은 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))별로, 단순히 합의진단결과와 다른 개별진단결과를 출력한 경우마다 미리 정해진 값(예컨대, 0.1)을 낮춤으로써 가중치를 조절할 수도 있다.
또는 전술한 바와 같이 특정 진단 시스템(예컨대, 진단 시스템 2)이 합의진단결과(예컨대, O)와 다른 개별진단결과(예컨대, X)를 출력한 경우라도, 상기 다른 개별진단결과(예컨대, X)를 출력한 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))의 개수 또는 비중(전체 진단 시스템들 개수 대비 상기 특정 진단 시스템(예컨대, 진단 시스템 2)과 동일한 종류의 진단결과를 출력한 진단 시스템의 개수)를 더 고려하여 가중치를 조절할 수도 있다. 예컨대, 10개의 진단 시스템 중 1개만 다른 진단결과를 출력한 경우에는 해당 시스템의 가중치를 제1값(예컨대, 0.1)만큼 조절하고, 10개의 진단 시스템 중 일정 개수(예컨대, 3개) 이상 또는 일정 비중(예컨대, 30%) 이상 다른 진단결과를 출력한 경우에는 해당 시스템들 각각의 가중치를 제2갑(예컨대, 0.03)만큼만 조절할 수도 있다. 또는 일정 개수 또는 일정 비중 이상의 경우에는 합의진단결과와 다른 진단 결과를 출력하였어도 해당 시스템의 가중치를 아예 조절하지 않을 수도 있다.
즉, 후자의 경우는 실제로 판단에 따라 다른 진단결과로 해석될 수 있는 여지가 있으므로, 해당 진단 시스템의 신뢰도에 해당하는 가중치를 적응적으로 조절함으로써 전체적으로 보다 신뢰성 있는 진단결과를 도출할 수 있다.
또한, 스탠다드 진단 시스템(40)의 진단결과를 더 이용할 경우에는, 상기 합의 진단 시스템(100)은 스탠다드 진단 시스템(40)의 가중치는 다른 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30)에 비해 높은 가중치를 부여할 수도 있다.
한편, 본 발명의 기술적 사상에 따른 합의 진단 방법의 경우에는 서로 다른 학습 데이터 세트로 학습된 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))을 이용하는 경우에도 유용하게 진단결과를 도출할 수 있다. 이는 후술할 바와 같이 합의 진단 시스템(100)이 합의진단결과와 다른 진단결과를 출력하는 진단 시스템에 대해 재학습(또는 전이학습)을 수행하는 경우에 더욱 유용할 수 있다.
도 8은 본 발명의 실시 예에 따른 학습 데이터의 분할 어노테이션 개념을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 기술적 사상에 따른 진단 방법을 적용할 경우, 전술한 바와 같이 어노테이터별로 서로 다르게 어노테이션된 학습 데이터를 이용하여 각각 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))들을 학습시키는 경우 뿐만 아니라, 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))별로 서로 다른 학습 데이터를 이용하여 학습하는 경우에도 유용할 수 있다.
예컨대, 도 8에 도시된 바와 같이 학습된 엔진 즉, 진단 시스템의 성능은 학습에 이용되는 학습 데이터를 어노테이션하는 어노테이터의 성향에 따라 달라질 수도 있지만, 동일한 어노테이터가 어노테이션을 수행하더라도 학습 데이터를 어떤 것을 사용하는지에 따라서도 영향을 받게 된다.
따라서 도 8에 도시된 바와 같이 진단 시스템 1은 학습 데이터 세트 1로 학습된 시스템이고, 진단 시스템 2는 학습 데이터 세트 2로 학습된 시스템이고, 진단 시스템 3은 학습 데이터 세트 3으로 학습된 시스템이며, 진단 시스템 4는 학습 데이터 세트 4로 학습된 시스템일 수 있다.
각각의 학습 데이터 세트는 중복된 학습 데이터가 존재할 수도 있고 그렇지 않을 수도 있으며, 학습 데이터 세트별로 어노테이터가 동일할 수도 있고 다를 수도 있다.
어떠한 경우든 학습 데이터 세트별로 각각 학습된 진단 시스템의 진단결과는 차이가 있을 수 있는데, 이를 위해서 종래에는 학습 데이터 세트를 선정할때부터 다양한 케이스들을 모두 포함하는 광범위한 학습 데이터 세트를 결정하는데 상당한 노력과 비용을 소요하여야 했다.
하지만 본 발명의 기술적 사상에 의하면, 진단 시스템들 각각을 학습시키기 위해 어느 정도 충분한 정도의 학습 데이터 세트로만 학습을 한다면, 서로 다른 학습 데이터 세트로 학습된 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))이라 하더라도 합의 진단 결과를 통해 보다 정확한 진단결과를 도출할 수 있게 된다.
즉, 학습 데이터 세트 자체의 편향성이 합의 진단 결과를 도출하는 과정에서 상당히 무마될 수 있는 효과가 있다.
더욱이 특정 생체 데이터에 대해 합의진단결과와 다른 진단결과를 출력한 진단 시스템에 대해서는 상기 특정 생체 데이터를 합의진단결과로 어노테이션하여 재학습을 수행할 수 있고, 이러한 경우 어노테이터에 의한 편향성 및/또는 학습 데이터에 의한 편향성은 시간이 갈수록 무마될 수 있어서 궁극적으로 개별 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))의 성능 역시 향상시킬 수 있는 효과가 있다.
이러한 일 예는 도 9를 참조하여 설명하도록 한다.
도 9는 본 발명의 실시 예에 따라 합의 진단결과를 이용하여 개별 진단 시스템을 재학습하는 개념을 설명하기 위한 도면이다.
도 9를 참조하면, 예컨대, 특정 생체 데이터가 각각의 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))로 입력되고, 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40)) 각각은 합의 진단 시스템(100)으로 개별진단결과를 출력할 수 있다. 그리고 이때 합의 진단 시스템(100)은 합의진단결과로 O를 출력했으며, 진단 시스템 2(20)는 개별진단결과로 X를 출력했을 수 있다.
이러한 경우 상기 합의 진단 시스템(100)은 합의진단결과와 다른 개별진단결과를 출력한 진단 시스템(예컨대, 진단 시스템 2)에 대한 정보, 이때의 상기 특정 생체 데이터, 및 합의진단결과(예컨대, O)를 저장할 수 있다.
그리고 저장된 정보를 이용해 상기 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40))을 재학습시킬 수 있다.
예컨대, 소정의 시간 경과 후에 상기 진단 시스템 2는 상기 합의진단결과(예컨대, O)로 라벨링 된 상기 특정 생체 데이터를 포함하는 재학습 데이터 세트를 이용하여 재학습될 수 있다.
물론 상기 진단 시스템 2가 특정 진단자에 커스터마이징된 진단 시스템일 경우에는 상기 특정 진단자의 동의가 필요할 수도 있따.
본 발명의 기술적 사상에 의하면, 합의진단결과와 다른 진단결과를 출력했던 생체 데이터들을 모아서 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40)) 각각을 다시 재학습할 수 있다. 즉, 합의 진단 시스템(100)에 의해 저장된, 합의진단결과와 다른 진단결과를 출력하게 한 생체 데이터들이 학습 데이터로써 개별 진단 시스템에 피드백될 수 있다. 이러한 경우 진단 시스템들(예컨대, 진단 시스템 1 내지 진단 시스템 N, 10 내지 30 및/또는 스탠다드 진단 시스템(40)) 각각이 갖는 편향성(예컨대, 어노테이터의 성향에 따라 또는 학습 데이터 자체의 편향성에 따라)이 개선되게 되는 효과가 있다.
본 발명의 실시 예에 따른 커스터마이징 진단 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 커스터마이징 진단 시스템 제공방법 및 그 시스템에 이용될 수 있다.

Claims (11)

  1. 진단 시스템 제공방법에 있어서,
    기준 진단 시스템이 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하는 단계;
    상기 기준 진단 시스템이 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하는 단계; 및
    수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하는 단계를 포함하며,
    소정의 대가를 지불 받는 조건으로 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터가 상기 기준 진단 시스템용 뉴럴 네트워크에 반영되는 것을 특징으로 하는 커스터마이징 진단 시스템 제공방법.
  2. 제1항에 있어서, 상기 커스터마이징 진단 시스템 제공방법은,
    상기 어노테이션된 M개의 커스터마이징용 학습 데이터가 반영된 기준 진단 시스템이 상기 제1진단자 시스템으로부터 진단 데이터를 수신하여 진단결과를 생성하여 상기 제1진단자 시스템으로 전송하는 단계를 포함하는 커스터마이징 진단 시스템 제공방법.
  3. 제1항에 있어서, 상기 기준 진단 시스템은,
    상기 M개가 클수록 또는 상기 기준 진단 시스템이 학습한 학습 데이터의 개수 대비 M개의 비중에 따라 상기 대가를 크게 설정하는 것을 특징으로 하는 커스터마이징 진단 시스템 제공방법.
  4. 제1항에 있어서, 상기 기준 진단 시스템은,
    복수의 개별 진단 시스템들을 포함하는 개별 진단 시스템 세트를 포함하고, 복수의 개별 진단 시스템들이 출력하는 개별진단결과에 기초하여 합의를 통해 진단을 수행하는 시스템인 것을 특징으로 하는 커스터마이징 진단 시스템 제공방법.
  5. 제4항에 있어서, 상기 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하는 단계는,
    상기 복수의 개별 진단 시스템들 중 적어도 일부를 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 이용하여 재학습하는 단계를 포함하는 커스터마이징 진단 시스템 제공방법.
  6. 제4항에 있어서, 상기 M 개의 커스터마이징용 학습 데이터는,
    상기 개별 진단 시스템 세트에 포함된 개별 진단 시스템들 중 적어도 두 개가 서로 다른 진단결과를 출력한 데이터를 포함하는 커스터마이징 진단 시스템 제공방법.
  7. 진단 시스템 제공방법에 있어서,
    기준 진단 시스템-상기 기준 진단 시스템은 복수의 개별 진단 시스템들을 포함하는 개별 진단 시스템 세트를 포함함-이 M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하는 단계;
    상기 기준 진단 시스템이 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하는 단계; 및
    수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템 세트에 포함된 어느 하나의 제1개별 진단 시스템에 반영하는 단계;
    상기 기준 진단 시스템이 진단할 진단 데이터를 포함하는 진단요청을 소정의 진단요청 시스템으로부터 수신하는 단계;
    수신한 진단요청에 따라 상기 진단요청에 상응하는 진단결과의 종류를 제1개별 진단 시스템의 제1개별 진단결과로 판단하고, 상기 제1개별 진단 시스템이 상기 입력 데이터를 입력받아 출력한 제1개별 진단 결과를 포함하는 진단결과를 상기 진단요청 시스템으로 전송하는 단계를 포함하는 커스터마이징 진단 시스템 제공방법.
  8. 데이터 처리장치에 설치되며 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 프로세서; 및
    프로그램이 저장된 저장장치를 포함하며,
    상기 프로세서에 의해 실행되는 상기 프로그램에 의해 상기 제1항 내지 제7항 중 어느 한 항에 기재된 방법이 수행되는 데이터 처리 시스템.
  10. 프로세서;
    상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며,
    상기 저장장치에는 적어도 하나의 뉴럴 네트워크가 포함되고,
    상기 프로그램은,
    M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하며, 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하고, 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 기준 진단 시스템에 반영하며,
    소정의 대가를 지불 받는 조건으로 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터가 상기 뉴럴 네트워크에 반영되는 것을 특징으로 하는 커스터마이징 진단 시스템.
  11. 프로세서;
    상기 프로세서에 의해 실행되는 프로그램이 저장된 저장장치를 포함하며,
    상기 저장장치는,
    복수의 개별 진단 시스템들에 상응하는 뉴럴 네트워크를 포함하고,
    상기 프로그램은,
    M(M은 2이상의 정수)개의 어노테이션 되지 않은 커스터마이징용 학습 데이터를 제1진단자 시스템으로 전송하며, 상기 제1진단자 시스템으로부터 상기 제1진단자측에 의해 어노테이션된 상기 M개의 커스터마이징용 학습 데이터를 수신하면, 수신한 상기 어노테이션된 M개의 커스터마이징용 학습 데이터를 상기 복수의 개별 진단 시스템들 중 제1개별 진단 시스템에 상응하는 제1뉴럴 네트워크에 반영하고,
    진단할 진단 데이터를 포함하는 진단요청을 소정의 진단요청 시스템으로부터 수신하면, 수신한 진단요청에 따라 상기 진단요청에 상응하는 진단결과의 종류를 제1개별 진단 시스템의 제1개별 진단결과로 판단하고, 상기 제1개별 진단 시스템이 상기 입력 데이터를 입력받아 출력한 제1개별 진단 결과를 포함하는 진단결과를 상기 진단요청 시스템으로 전송하는 커스터마이징 진단 시스템.
PCT/KR2020/009719 2020-07-23 2020-07-23 커스터마이징 진단 시스템 제공방법 및 그 시스템 WO2022019354A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023502692A JP2023535337A (ja) 2020-07-23 2020-07-23 カスタマイズ診断システムの提供方法及びそのシステム
CN202080104763.4A CN116134544A (zh) 2020-07-23 2020-07-23 定制诊断系统提供方法及定制诊断系统
EP20946214.2A EP4170679A4 (en) 2020-07-23 2020-07-23 METHOD AND SYSTEM FOR PROVIDING PERSONALIZED DIAGNOSTIC SYSTEM
US18/017,382 US20230298752A1 (en) 2020-07-23 2020-07-23 Method and system for providing customized diagnosis system
PCT/KR2020/009719 WO2022019354A1 (ko) 2020-07-23 2020-07-23 커스터마이징 진단 시스템 제공방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009719 WO2022019354A1 (ko) 2020-07-23 2020-07-23 커스터마이징 진단 시스템 제공방법 및 그 시스템

Publications (1)

Publication Number Publication Date
WO2022019354A1 true WO2022019354A1 (ko) 2022-01-27

Family

ID=79728795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009719 WO2022019354A1 (ko) 2020-07-23 2020-07-23 커스터마이징 진단 시스템 제공방법 및 그 시스템

Country Status (5)

Country Link
US (1) US20230298752A1 (ko)
EP (1) EP4170679A4 (ko)
JP (1) JP2023535337A (ko)
CN (1) CN116134544A (ko)
WO (1) WO2022019354A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163517A (ja) * 2004-12-02 2006-06-22 Petroleum Energy Center 異常検知装置
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20170057399A (ko) 2014-10-30 2017-05-24 콘티넨탈 오토모티브 게엠베하 전기 구동식 펌프
KR20170062839A (ko) * 2015-11-30 2017-06-08 임욱빈 Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법, 그리고 이를 위한 기록매체
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR101830056B1 (ko) * 2017-07-05 2018-02-19 (주)이지팜 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
KR102226898B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102226899B1 (ko) * 2018-11-16 2021-03-11 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163517A (ja) * 2004-12-02 2006-06-22 Petroleum Energy Center 異常検知装置
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20170057399A (ko) 2014-10-30 2017-05-24 콘티넨탈 오토모티브 게엠베하 전기 구동식 펌프
KR20170062839A (ko) * 2015-11-30 2017-06-08 임욱빈 Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법, 그리고 이를 위한 기록매체
KR20170140757A (ko) * 2016-06-10 2017-12-21 한국전자통신연구원 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법
KR101830056B1 (ko) * 2017-07-05 2018-02-19 (주)이지팜 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
KR102226898B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4170679A4

Also Published As

Publication number Publication date
EP4170679A4 (en) 2024-03-27
CN116134544A (zh) 2023-05-16
US20230298752A1 (en) 2023-09-21
JP2023535337A (ja) 2023-08-17
EP4170679A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020204586A1 (ko) 신약 재창출 후보 추천 시스템 및 이 시스템의 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2017014469A1 (ko) 질병 위험도 예측 방법 및 이를 수행하는 장치
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020251142A1 (ko) 업무 담당자의 인사 평가를 수행하는 장치 및 방법
WO2021246772A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램
WO2022211326A1 (ko) 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
WO2022050719A1 (ko) 사용자의 치매 정도 결정 방법 및 장치
WO2020059939A1 (ko) 인공지능 장치
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2024039120A1 (ko) 센서를 구비한 휴대용 비대면 진단 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022145877A1 (ko) 주기적으로 업데이트 되는 유전자 변이 검사 결과 리포트 자동 발행 시스템
WO2021027143A1 (zh) 信息推送方法、装置、设备及计算机可读存储介质
WO2024014724A1 (ko) 뇌영상으로부터 뇌성별 및 뇌연령을 예측하는 방법 및 장치
WO2018088585A1 (ko) 복약 관리 방법 및 그 장치
WO2017115994A1 (ko) 인공 지능 기반 연관도 계산을 이용한 노트 제공 방법 및 장치
WO2022019354A1 (ko) 커스터마이징 진단 시스템 제공방법 및 그 시스템
WO2019112117A1 (ko) 텍스트 콘텐츠 작성자의 메타정보를 추론하는 방법 및 컴퓨터 프로그램
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2023277614A1 (ko) 사용자에게 교육 효과가 최대화되는 풀이 컨텐츠를 추천하는 방법, 장치, 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946214

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502692

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020946214

Country of ref document: EP

Effective date: 20230123

NENP Non-entry into the national phase

Ref country code: DE