WO2022019355A1 - 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 - Google Patents

다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 Download PDF

Info

Publication number
WO2022019355A1
WO2022019355A1 PCT/KR2020/009720 KR2020009720W WO2022019355A1 WO 2022019355 A1 WO2022019355 A1 WO 2022019355A1 KR 2020009720 W KR2020009720 W KR 2020009720W WO 2022019355 A1 WO2022019355 A1 WO 2022019355A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
training
diagnosis
diagnostic
image
Prior art date
Application number
PCT/KR2020/009720
Other languages
English (en)
French (fr)
Inventor
조준영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to CN202080104657.6A priority Critical patent/CN116114027A/zh
Priority to US18/017,392 priority patent/US20230289957A1/en
Priority to EP20945918.9A priority patent/EP4170677A4/en
Priority to JP2023502694A priority patent/JP2023535144A/ja
Priority to PCT/KR2020/009720 priority patent/WO2022019355A1/ko
Publication of WO2022019355A1 publication Critical patent/WO2022019355A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a disease diagnosis system and method using a neural network. More particularly, it relates to a disease diagnosis method using a neural network learned using a multi-phase biometric image, and a disease diagnosis system performing the same.
  • One of the major tasks performed in pathology or pathology is to perform a diagnosis by reading a patient's biological slides (eg, tissue image slides obtained through biopsy, etc.) to determine a condition or symptom for a specific disease.
  • This diagnosis is a method that depends on the experience and knowledge of skilled medical personnel for a long time.
  • a neural network eg, a deep learning method using a convolutional neural network (CNN)
  • CNN convolutional neural network
  • diagnosis through deep learning using a neural network does not simply automate the experience and knowledge of conventionally skilled medical personnel, but finds characteristic elements through self-learning and derives the desired answer Rather, there are cases in which the characteristics of disease factors that skilled medical personnel were not aware of are found in the image.
  • a neural network e.g., CNN, deep learning network
  • a biological image which is an image of a scanned biological slide
  • a biological image or a patch also called a tile
  • a convolutional neural network may be used as the neural network.
  • diagnosis speed by the neural network is usually slower than the frame rate of the camera, when the part to be diagnosed through the microscope continues to move, there may be a problem in that the screen by the camera is cut off.
  • Patent Literature Korean Patent Application Laid-Open No. 10-2016-0034814 "Client device accompanying a neural network and a system including the same"
  • Another object of the present invention is to provide a diagnosis system and method for enabling smooth screen movement by detecting camera movement and performing diagnosis only when a specific part is fixed and viewed without performing diagnosis when moving or blank screen.
  • a neural network structure capable of distinguishing not only whether a disease has occurred through a specific biological image, but also a region in which a disease has occurred in the corresponding biological image.
  • a sub-architecture for segmentation to the classification neural network architecture that can determine whether or not a disease exists in a patch, a neural network structure that can efficiently perform segmentation for classification of disease-invented areas will provide
  • a diagnosis system using a neural network generating a diagnosis neural network for predicting a diagnosis result related to a predetermined disease using a biometric image; a diagnosis system using the neural network includes: acquiring a training biometric image of - each of the plurality of training biometric images is labeled with a diagnosis result for the disease corresponding thereto; and a diagnosis system using the neural network, and training the diagnostic neural network using an image, wherein the training of the diagnostic neural network comprises: (a) different characteristics in the training biological image for each of the plurality of training biological images generating K noise-inserted images (here, K is an integer greater than or equal to 2) corresponding to the training bio-image by inserting noise having A method is provided, comprising the step of training the diagnostic neural network by inputting to the diagnostic neural network.
  • K noise-inserted images here, K is an integer greater than or equal to 2
  • the step (b) includes generating one training data corresponding to the training bio-image by concatenating all K noise-inserted images corresponding to the training bio-image-the training data corresponding to the training biological image is labeled as a diagnostic result of the training biological image, and training the diagnostic neural network by inputting training data corresponding to the training biological image into the diagnostic neural network.
  • the method further includes a diagnosis step, wherein the diagnosis step includes: acquiring K biometric images to be diagnosed continuously photographed by an image sensor, and converting the K biometric images to the diagnosis neural network and predicting a diagnosis result for the disease by input to the network.
  • the diagnosing step further includes determining whether the image sensor is moving based on the K biometric images to be diagnosed, and inputting the K biometric images to be diagnosed into the diagnostic neural network. to predict the diagnosis result for the disease, when it is determined that the image sensor is not moving, inputting the K biometric images to be diagnosed into the diagnosis neural network to predict the diagnosis result for the disease may include
  • the method further includes a diagnosis step, wherein the diagnosis step includes: acquiring K biometric images to be diagnosed continuously photographed by an image sensor;
  • the method may include generating one piece of diagnostic target data and predicting a diagnosis result for the disease by inputting the diagnostic target data into the diagnostic neural network.
  • the diagnosis neural network is a segmentation neural network that receives the diagnosis subject data as an input layer and specifies a region in which a disease exists in the diagnosis subject biometric image, wherein the segmentation neural network includes the diagnosis subject data is input as an input layer, and a classification neural network that outputs a classification result regarding whether the disease is present in the biological image and two or more feature map extraction layers among hidden layers included in the classicization neural network are generated in each It may include a segmentation architecture that receives a feature map to be used as an input and specifies a region in which a disease exists in the biometric image.
  • the segmentation architecture is a convolution sub-architecture including a convolution node corresponding to each of the two or more feature extraction layers-
  • Each of the convolution nodes is a feature map input from the corresponding feature extraction layer. It may include a segmentation sub-architecture for performing a convolution on .sub.2 or two or more different convolutions - and a segmentation sub-architecture for specifying a region in which a disease exists in the patch based on a convolution result generated by the convolutional sub-architecture.
  • the disease may be characterized in that prostate cancer.
  • a computer program installed in a data processing apparatus and recorded on a computer-readable medium for performing the above-described method.
  • a diagnostic system using a neural network comprising a processor and a memory for storing a computer program, wherein the computer program is, when executed by the processor, a diagnostic system using the neural network
  • a diagnostic system using a neural network for performing the above-described method is provided.
  • a storage module for storing a diagnostic neural network for predicting a diagnostic result related to a predetermined disease using a biological image, and a diagnostic system using the neural network include a plurality of training biological images- A diagnosis system using the neural network and an acquisition module for acquiring a diagnosis result for the disease corresponding to each of the plurality of training bio-images are labeled using the plurality of training bio-images, a learning module for training the diagnostic neural network, wherein the learning module is configured to: (a) insert noises having different characteristics into the training biometric image for each of the plurality of training biometric images for the training generating K noise embedded images corresponding to the biometric image (here, K is an integer greater than or equal to 2); and (b) inputting K noise embedded images corresponding to the training biometric image into the diagnostic neural network, A diagnostic system using a neural network performing the step of training a diagnostic neural network is provided.
  • the step (b) includes generating one training data corresponding to the training bio-image by concatenating all K noise-inserted images corresponding to the training bio-image-the training data corresponding to the training bio-image is labeled as a diagnostic result of the training bio-image; and inputting training data corresponding to the training bio-image into the diagnostic neural network to train the diagnostic neural network.
  • the diagnosis system using the neural network acquires K biometric images of a diagnosis target continuously photographed by an image sensor, and inputs the K biometric images to be diagnosed into the diagnosis neural network for the diagnosis of the disease.
  • a diagnostic module for predicting a diagnostic result may be further included.
  • the diagnosis module determines whether the image sensor is moving based on the K biometric images to be diagnosed, and when it is determined that the image sensor is not moving, generates the K biometric images to be diagnosed.
  • a diagnosis result for the disease may be predicted by input to the diagnosis neural network.
  • the diagnosis system using the neural network acquires K biometric images of a diagnosis target continuously photographed by an image sensor, and generates one diagnosis target data by linking all the K biometric images to be diagnosed, , a diagnosis module for predicting a diagnosis result for the disease by inputting the diagnosis target data into the diagnosis neural network.
  • an efficient neural network structure capable of performing not only classification for judging whether or not a disease has occurred for each biological image, but also segmentation capable of classifying an area where a disease has occurred in the corresponding biological image.
  • FIG. 1 is a diagram illustrating an operating environment of a method of learning a neural network using a multi-phase biometric image and diagnosing a disease by using the multi-phase biometric image according to the technical idea of the present invention.
  • FIG. 2 is a diagram illustrating a schematic configuration of a disease diagnosis system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process in which a diagnostic system learns a diagnostic neural network using a plurality of training biometric images according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example in which two noise-added images are combined and used for learning.
  • FIG. 5 is a flowchart illustrating a process in which a diagnosis system diagnoses a biometric image to be diagnosed according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a process of performing a diagnosis using two consecutively photographed biometric images of a diagnosis target.
  • FIG. 7 is a diagram for explaining the overall structure of a diagnostic neural network for segmentation according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the overall structure of a segmentation architecture according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a specific example of a diagnostic neural network for segmentation according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram illustrating an operating environment of a method of learning a neural network using a multi-phase biometric image and diagnosing a disease by using the multi-phase biometric image according to the technical idea of the present invention.
  • a method according to the inventive concept may be performed by a diagnostic system 100 .
  • the diagnostic system 100 may be a computing system. Alternatively, it may be installed in a predetermined server 10 to implement the technical idea of the present invention.
  • the server 10 means a data processing device having arithmetic capability for implementing the technical idea of the present invention, and in general, not only a data processing device accessible to a client (terminal) 20 through a network, but also a personal computer and a mobile terminal.
  • An average expert in the technical field of the present invention can easily infer that any device capable of performing a specific service, such as a server, can be defined as a server.
  • the server 10 may include a processor and a storage device.
  • the processor may refer to an arithmetic unit capable of driving a program for implementing the technical idea of the present invention.
  • the storage device may mean a data storage means capable of storing a program and various data necessary for implementing the technical idea of the present invention, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device may be meant to include not only the main storage device included in the server 10 , but also a temporary storage device or memory that may be included in the processor.
  • the diagnosis system 100 may communicate with at least one client (eg, 20 ) connectable to the server 10 . have.
  • the client eg, 20
  • the diagnosis system 100 may perform diagnosis on the transmitted biometric image according to the technical idea of the present invention.
  • the diagnosis result may be transmitted to the client (eg, 20 ).
  • the diagnosis system 100 may learn a neural network for diagnosing a bio-image by using a plurality of bio-images for training, and after learning the neural network, the client 20 provides it using the learned neural network. It is possible to predict a diagnosis result for an image to be diagnosed.
  • the client 20 may include an image sensor 21 .
  • the image sensor 21 may be a sensor for photographing or scanning a biological image.
  • the image sensor 21 may continuously capture biological images.
  • the image sensor 21 may capture a biometric image at 60 frames per second.
  • the image sensor 21 may be a camera.
  • the image sensor 21 may be a microscope. In this case, the image sensor 21 can enlarge and photograph a specific part of the biological slide. diagnosis can be performed.
  • the disease diagnosis system 100 is illustrated as being implemented as any one physical device in FIG. 1, a plurality of physical devices may be organically combined to implement the diagnosis system 100 according to the technical idea of the present invention. An average expert in the technical field of the present invention can easily infer that there is.
  • the disease diagnosis system 100 may be implemented in a form that is directly installed and operated on the client 20 rather than the server 10 .
  • FIG. 2 is a diagram illustrating a schematic configuration of a disease diagnosis system 100 according to an embodiment of the present invention.
  • the system 100 may include a storage module 110 , a generation module 130 , an acquisition module 140 , a learning module 150 , and a diagnosis module 160 .
  • the diagnosis system 100 is more Of course, it may include more components.
  • the system 100 includes other components of the system 100 (eg, a storage module 110 , a generation module 130 , an acquisition module 140 , a learning module 150 , and a diagnosis module 160 ). ), etc.) may further include a control module (not shown) for controlling functions and/or resources.
  • the system 100 may further include a database (DB) 300 for storing various types of information and/or data required to implement the technical idea of the present invention.
  • DB database
  • the system 100 may mean a logical configuration including hardware resources and/or software necessary to implement the technical idea of the present invention, and necessarily means one physical component or one device. does not mean That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the storage module 110 , the generation module 130 , the acquisition module 140 , the learning module 150 , and the diagnosis module 160 may be located in different physical devices or may be located in the same physical device. have.
  • the combination of software and/or hardware constituting each of the storage module 110 , the generation module 130 , the acquisition module 140 , the learning module 150 , and the diagnostic module 160 may also be mutually dependent depending on the embodiment.
  • Each of the modules may be implemented by organically combining components located in different physical devices and located in different physical devices.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware. can be easily inferred to an average expert in the technical field of the present invention.
  • the DB 200 may store a plurality of training biometric images.
  • the training biometric image may be various biometric images including a tissue image and a biopsy image.
  • the biological image for training may be a biological slide or a patch in which the biological slide is divided.
  • Each of the plurality of training biometric images may be labeled with a disease diagnosis result.
  • the labeled diagnosis result may be of the same type as the diagnosis result diagnosed by the disease diagnosis system 100 .
  • the diagnosis result labeled on each biometric image for training may be a judgment result of a disease previously made by a medical professional based on the biometric image.
  • the diagnosis result labeled on each of the plurality of training biometric images may also be about the onset of the disease.
  • the diagnosis result for the biological image is, for example, the diagnosis result for the biological image not only whether a specific disease is expressed (negative/positive), but also the degree of progression (or probability corresponding to the degree of progression) of a specific disease.
  • a Gleason Pattern or Gleason Score which is an index indicating the degree of progression of prostate cancer, may be included in the diagnosis result.
  • the Gleason score has a value of 2 to 10, and typically a value of 6 to 10 is regarded as cancer, and a larger number indicates a severe degree of prostate cancer expression.
  • Gleason patterns can be divided into classes 1 to 5.
  • the disease diagnosis system 100 is a system for predicting an onset region of a disease or a diagnosis result in units of pixels (that is, a system that performs segmentation), the diagnosis result labeled in each of the plurality of training biometric images is also It may relate to an onset area or a diagnosis result in units of pixels.
  • the disease may be prostate cancer, and the following description will focus on prostate cancer, but it will be readily understood by those skilled in the art that the technical spirit of the present invention is not limited to prostate cancer.
  • the diagnostic neural network 120 may be stored in the storage module 110 , and the diagnostic neural network 120 may be generated by the generating module 130 .
  • the diagnosis neural network 120 may be a neural network for predicting a diagnosis result for a predetermined disease by using a biological image.
  • the storage module 110 may mean a data storage means capable of storing the diagnostic neural network 120 , and may be implemented as a plurality of storage means according to an embodiment.
  • the storage module 110 may be meant to include not only the main storage device included in the server 10 , but also a temporary storage device or memory.
  • the diagnostic neural network 120 may be a neural network for diagnosing a biometric image in a patch unit.
  • the patch may be a partial image of a predetermined slide divided into predetermined sizes. That is, one slide may be divided into a plurality of patches, and the diagnostic neural network 120 may receive patches and perform patch level diagnosis. Before performing the diagnosis, the diagnosis neural network 120 may be previously learned by the learning module 150 .
  • the information output by the diagnostic neural network 120 is information that enables determination of whether a specific disease (eg, a specific type of cancer) is expressed in the tissue corresponding to the patch or an area in which a specific disease occurs.
  • the information output from the diagnostic neural network 160 may be information indicating a probability of whether a specific disease (eg, a specific type of cancer) is expressed in a tissue corresponding to the patch.
  • a specific reference value e.g, prostate cancer
  • the diagnostic neural network 120 may output not only whether a specific disease is expressed, but also information indicating the degree of progression of a specific disease (or a probability corresponding to the progression). For example, when the technical idea of the present invention is used for diagnosis of prostate cancer, the diagnostic neural network 120 outputs the Gleason Pattern or Gleason Score, which is an index indicating the degree of progression of prostate cancer. information may be included.
  • the threshold value used by the diagnostic neural network 120 may be set in various ways, and depending on the threshold value, a specific patch may be determined as a disease-expressing patch, that is, a disease patch or a normal patch. Of course.
  • the diagnostic neural network 120 may be a neural network for receiving a patch and predicting a classification result for the disease for each pixel constituting the patch.
  • the diagnostic neural network 120 that outputs the classification result for each pixel may perform segmentation to classify the disease onset region.
  • the diagnostic neural network 120 may output whether or not a disease has occurred or a disease incidence probability for each pixel constituting the patch, and a pixel determined to have an onset or a pixel having an onset probability exceeding a certain threshold value
  • the constituting region may be determined as the diseased region.
  • the diagnostic neural network 120 may predict and output whether a disease has occurred (or a probability of an onset of a disease) and/or a disease progression (or a probability corresponding to the progression) for each pixel. have.
  • the diagnosis neural network 120 may be previously trained by the learning module 150 .
  • a neural network may refer to a set of information expressing a series of design items defining a neural network.
  • the diagnostic neural network 120 may be a convolutional neural network.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer).
  • the convolutional neural network may be defined by a function, filter, stride, weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer.
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical idea of the present invention Separately defined functions may be used.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device. And when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified.
  • learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is learned, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the acquisition module 140 may acquire training data for machine learning for the diagnostic neural network 120 . That is, the acquisition module 140 may acquire a plurality of training bio-image images, and each of the plurality of training bio-image images may be labeled with a corresponding diagnosis result. For example, the acquisition module 140 may acquire a training bio-image image from the DB 200 .
  • the learning module 150 may train the diagnostic neural network 120 using the plurality of training biometric images.
  • the learning module 150 inserts noises having different characteristics into the training biometric images for each of the plurality of training biometric images, so that K corresponding to the training biometric image (here,
  • the diagnostic neural network may be trained by generating an embedded noise image (where K is an integer greater than or equal to 2) and inputting K noise embedded images corresponding to the training bio-image to the diagnostic neural network.
  • FIG. 3 is a flowchart illustrating a process in which the diagnostic system 100 learns the diagnostic neural network 120 using a plurality of training biometric images, according to an embodiment of the present invention.
  • the acquisition module 140 of the diagnosis system 100 may acquire N training bio-images (N is an integer greater than or equal to 2) each labeled with a diagnosis result for a disease (S100). .
  • diagnosis module 150 of the diagnosis system 100 may perform steps S120 to S150 for each of the N training bio-images (S110).
  • K may generate noise-inserted images T (J, 1) to T (J, K) of an integer greater than or equal to 2 ( S120 ).
  • the noise-embedded images T (J, 1) to T (J, K) may be images in which Gaussian noise having different averages and/or variances is added to the training biometric image S j, respectively.
  • Gaussian noise when Gaussian noise is added, various parameters other than the mean and/or variance may be modified.
  • Gaussian noise there may be embodiments in which various types of noise are added to a biological image.
  • step S130 the training biometric image of the K noise insert image corresponding to the S j for the T (J, 1) to T (J, K) to connect (concatenation) all of the one corresponding to the living body image S j for the training It is possible to generate the training data U j of .
  • the training data U j may be labeled with the label of the training bio-image S j ( S130 ).
  • the diagnostic neural network 120 may be trained by inputting training data U j corresponding to the training biometric image S j into the diagnostic neural network 120 .
  • FIG. 4 is a diagram illustrating an example in which two noise-added images generated by adding two different noises to one training bio-image are combined and used for learning (ie, an example in which K is 2).
  • noise 1 and noise 2 are respectively added to the original image to be learned to generate two different noise-inserted images, and after combining them, they are input to the diagnostic neural network 120 to perform learning. can be done
  • the diagnosis module 160 acquires K number of biometric images to be diagnosed continuously photographed, and uses the K number of biometric images to be diagnosed in the diagnosis neural network ( 120) to predict the diagnosis result for the disease.
  • the K biometric images to be diagnosed may be biometric images captured by the image sensor 21 .
  • FIG. 5 is a flowchart illustrating a process in which the diagnosis system 100 diagnoses a bio-image to be diagnosed according to an embodiment of the present invention.
  • the diagnosis module 160 may acquire K number of continuously photographed biometric images O 1 to O K to be diagnosed ( S200 ).
  • the diagnosis module 160 may determine whether a predetermined diagnosis condition is satisfied based on the K biometric images O 1 to O K to be diagnosed (S210).
  • the diagnosis module 160 may determine whether the image sensor 21 capturing the diagnosis subject image is moving based on the K biometric images of the diagnosis subject, and the image sensor 21 ), it can be judged that the diagnosis condition is satisfied when it is determined that it is not moving. That is, the diagnosis module 160 may determine that the diagnosis condition is satisfied when the image sensor 21 is in a state in which a specific part of a biological image is continuously captured in a stationary state rather than in motion.
  • the diagnosis module 160 may calculate a numerical value or numerical values indicating a relationship between two consecutive images, and if the calculated numerical values or numerical values are within a predetermined limit range, it may be determined that the vehicle is not moving.
  • the diagnosis module 160 may determine that the diagnosis condition is satisfied when it is determined that the K biometric images to be diagnosed are photographing living tissue while the image sensor 21 is not moving. have.
  • various diagnostic conditions may be preset.
  • the diagnosis module 160 may generate diagnosis subject data P by concatenating K biometric images O 1 to O K to be diagnosed (S220), and the diagnosis subject data P A diagnosis result for a disease may be predicted by input to the diagnosis neural network 120 .
  • FIG. 6 is a diagram for explaining a process of performing a diagnosis using two consecutively photographed biometric images of a diagnosis target.
  • two diagnosis target images ie, image 1 and image 2 acquired from an input device (eg, image sensor 21) are combined to determine whether a diagnosis condition is satisfied It can be input into an algorithm for If the diagnosis condition is satisfied, the combined data (ie, diagnosis target data) may be input to the learned diagnosis neural network 120 , and the diagnosis neural network 120 may predict a diagnosis result.
  • the diagnostic neural network 12 may be a segmentation neural network that performs segmentation for specifying an onset region of a disease in a biological image (eg, a patch).
  • the segmentation neural network 12 Networks can have very unique structures.
  • the diagnostic neural network 120 for segmentation includes a neural network (“classification neural network” to be described later) that performs classification for determining whether a disease exists in a biological image. Based on the base, it can be implemented in a form combining sub-architecture for segmentation here. The structure of such a diagnostic neural network 120 is shown in FIG. 7 .
  • FIG. 7 is a diagram for explaining the overall structure of a diagnostic neural network 120 for segmentation according to an embodiment of the present invention.
  • the diagnostic neural network 120 may include a classification neural network 200 and a segmentation architecture 260 .
  • the classification neural network 200 receives the diagnosis target data as an input layer, and as a result of classification as to whether a disease exists in the diagnosis target image corresponding to the loss target data (eg, as shown in score) can be output. This is called classification, and in the classifying process, the classification neural network 200 may generate a feature for an input (ie, a patch) as an intermediate product in some hidden layers included therein.
  • a feature map is sometimes used.
  • a layer generating a feature map among the hidden layers included in the classification neural network 200 will be referred to as a feature map extraction layer.
  • the segmentation architecture 260 includes feature maps (eg, f1 and f2 shown in FIG. 4 ) generated in each of two or more feature map extraction layers among the hidden layers included in the classification neural network 200 . , f3) may be input, and a region in which a disease exists among the patches may be specified and output.
  • feature maps eg, f1 and f2 shown in FIG. 4
  • FIG. 7 shows an example of generating three feature maps f1, f2, and f3 in the course of the classification neural network 200 performing classification, however, depending on the embodiment, more or less Of course, a feature map may be generated.
  • the classification neural network 200 for performing classification uses a known densenet, and at this time, as disclosed in the previous application, not only a specific patch to be diagnosed but also a peripheral patch It can also be designed to take into account
  • various neural networks may be utilized, and in any case, the classification neural network 200 may be defined to receive a specific patch as an input and output a feature value corresponding to the disease occurrence probability of the specific patch.
  • FIG. 8 is a diagram for explaining the overall structure of the segmentation architecture 260 .
  • the segmentation architecture 260 may include a convolution sub-architecture 261 and a segmentation sub-architecture 263 , and may further include a cropping sub-architecture 264 according to an embodiment. .
  • feature maps f1, f2, and f3 may be generated by each feature extraction layer in the classification process performed in the classification neural network 200.
  • Each of the feature maps is the convolution. It may be input to the convolution nodes 262-1 to 262-3 included in the sub-architecture 261 .
  • Each of the convolution nodes 262-1 to 262-3 corresponds to each of two or more feature extraction layers included in the clergy neural network 200, and a feature map f1 input from the corresponding feature extraction layer. to f3) or two or more different convolutions may be performed. Meanwhile, according to an embodiment, each of the convolution nodes 262-1 to 263-3 may perform convolution after upscaling (eg, upsampling) or downscaling (eg, downsampling). .
  • upscaling eg, upsampling
  • downscaling eg, downsampling
  • Each of the convolution nodes 262-1 to 262-3 may perform one or two or more convolutions to generate one or two or more results.
  • the convolution performed by the convolution nodes 262-1 to 262-3 may be a dilated convolution (also referred to as an atrous convolution).
  • dialed convolution is a method of performing convolution at a predetermined interval, rather than extracting features from adjacent pixels.
  • any one of the convolution nodes has a 1x1 dialed convolution, a 3x3 dialed convolution at rate 6, a 3x3 dialed convolution at rate 12, and a rate 18 4 convolution products (features) can be generated by performing 3x3 dialed convolution of .
  • the segmentation sub-architecture 263 may specify a region in which a disease exists in the patch based on a result of the convolution generated by the convolutional sub-architecture 261 .
  • the segmentation sub-architecture 263 may perform a predetermined operation on the convolution result generated by the convolution sub-architecture 261 .
  • the operation performed by the segmentation sub-architecture 263 may be defined as a combination of concatenation and/or convolution. Depending on the embodiment, combining and convolution may be combined in various ways.
  • the cropping sub-architecture 264 may generate a final result for segmentation by center-cropping the result output from the segmentation sub-architecture 263 . This is because, in the results obtained by the convolution sub-architecture 261 and the segmentation sub-architecture 263, the relatively central portion tends to reflect the results more accurately.
  • FIG. 9 is a diagram illustrating a specific example of a diagnostic neural network 120 for segmentation according to an embodiment of the present invention.
  • the classification neural network 200 included in the diagnostic neural network may perform classification.
  • the classification neural network 200 may receive a patch as an input layer, and a 1/4-sized raw feature map through convolution and pooling operations in the first feature extraction layer L1. (f1) can be created. Then, the 1/16 size middle feature map ( f2) can be created. Then, the third density block and the third transition operation (denseblock1, transition1), the fourth density block (denseblock4), and 1x1 convolution are sequentially performed, and the 1/16 size end feature map f3 in the third feature extraction layer L3. ) can be created. Thereafter, the score on whether or not a disease is present can be output through average pooling.
  • the segmentation architecture 260 may perform segmentation using each feature generated in the classification neural network 200 .
  • each convolution node 510 included in the convolution sub-architecture 261 performs at least one convolution in a predefined manner on a feature map input from a feature extraction layer corresponding thereto.
  • the first convolution node 262-1 may perform 1x1 convolution on the feature map f1 input from the corresponding first feature extraction layer L1.
  • the second convolution node 262-2 performs a 1x1 convolution, a 3x3 dialed convolution of rate 6, and a rate 12 of the feature map f2 input from the corresponding second feature extraction layer L2.
  • 4 convolution products (features) can be generated by performing 3x3 dialed convolution, 3x3 dialed convolution of rate 18.
  • the third convolution node 262 - 3 may perform 1x1 convolution after upsampling the feature map f3 input from the corresponding third feature extraction layer L3 by 2 times.
  • the segmentation sub-architecture 263 may receive the result generated by the convolution sub-architecture 261 and perform a predefined operation.
  • the segmentation sub-architecture 263 concatenates all the convolution products (features) generated by the second convolution node 511-2 and the third convolution node 511-3.
  • the 1x1 convolution is performed, and the 3x3 convolution can be performed after combining the convolution result (feature) generated in the first convolution node 511-1.
  • center cropping may be performed in the cropping sub-architecture 264 .
  • segmentation is performed by a neural network combining a segmentation architecture having a specific structure based on a classification neural network, and is extracted in the process of patch-level classification.
  • the technical idea of the present invention is applied to prostate cancer.
  • it can be applied to other diseases that require diagnosis of a specific tissue in consideration of not only a specific tissue but also the state of the tissue surrounding the tissue.
  • An average expert in the technical field of the present invention will be able to easily infer that accurate diagnosis may be possible when the technical idea of the present invention is applied.
  • the diagnosis system 100 may include a processor and a memory for storing a program executed by the processor.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the diagnostic method through the multi-color model and the neural network according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium
  • the control program and the target program according to the may also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.
  • Examples of the program instruction include not only machine code such as generated by a compiler, but also a device for electronically processing information using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be applied to a disease diagnosis method using a neural network learned using a multi-phase biometric image and a disease diagnosis system performing the same.

Abstract

다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템이 개시된다. 본 발명의 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지를 이용하여 소정의 질병에 관한 진단 결과를 예측하기 위한 진단 뉴럴 네트워크를 생성하는 단계, 상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 생체 이미지-상기 복수의 훈련용 생체 이미지 각각에는, 그에 상응하는 상기 질병에 대한 진단 결과가 라벨링되어 있음-를 획득하는 단계 및 상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하되, 상기 진단 뉴럴 네트워크를 훈련하는 단계는, 상기 복수의 훈련용 생체 이미지 각각에 대하여, (a) 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하는 단계 및 (b) 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하는 방법이 제공된다.

Description

다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
본 발명은 뉴럴 네트워크를 이용한 질병 진단 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 슬라이드(예를 들면 생검 등을 통한 조직 이미지 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neural network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN, 딥러닝 네트워크)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체 슬라이드를 스캔한 이미지인 생체 이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체 이미지 또는 해당 생체 이미지의 조각인 패치(pathch, 또는 타일(tile)이라고도 함)을 이용한다. 즉, 해당 생체 이미지 또는 패치에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 타일들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크가 이용될 수 있다.
한편, 현재 대부분의 뉴럴 네트워크를 통한 진단 방식은 이미 스캔된 데이터를 학습에 이용하며, 스캔된 데이터를 가지고 진단 결과를 예측하게 된다. 즉, 현존하는 뉴럴 네트워크를 통한 진단 방식은 고정된 데이터에 대해서는 비교적 잘 작동하고 있다. 그런데, 노이즈가 있는 경우에는 취약한 모습을 보인다. 예를 들면, 현미경을 통해 실시간으로 촬영되는 이미지 데이터의 경우에는 현미경의 카메라에서 발생하는 노이즈가 이미지에 많이 끼게 되는데, 이러한 카메라 자체의 노이즈 때문에 진단 결과가 계속 바뀌게 될 수 있는 문제점이 발생한다.
한편, 뉴럴 네트워크에 의한 진단 속도는 카메라의 프레임 레이트 보다 통상적으로 느리므로 현미경을 통해 진단하는 부분이 계속 움직이는 경우 카메라에 의한 화면이 끊기게 되는 문제점이 발생하기도 한다.
* 선행기술문헌
- 특허문헌 : 한국공개특허 10-2016-0034814 "뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템"
본 발명이 이루고자 하는 기술적인 과제는 카메라에 의한 노이즈와 무관하게 안정적으로 진단을 수행할 수 있는 뉴럴 네트워크를 이용한 진단 시스템 및 방법을 제공하는 것이다.
또한 카메라의 움직임을 감지하여 이동 중이거나 빈 화면일 경우 진단을 수행하지 않고 특정 부위를 고정하여 보고 있을 경우에 한해 진단을 수행함으로써 부드러운 화면 이동이 가능하도록 하는 진단 시스템 및 방법을 제공하는 것이다.
나아가 특정 생체 이미지를 통해 질병이 발병하였는지 여부뿐만 아니라 해당 생체 이미지에서 질병이 발명한 영역을 구분할 수 있는 뉴럴 네트워크 구조를 제공하는 것이다. 특히, 패치에 질병이 존재하는지 여부를 판단할 수 있는 클래시피케이션 뉴럴 네트워크 아키텍쳐에 세그멘테이션을 위한 서브 아키텍쳐를 추가함으로써 효율적으로 질병이 발명한 영역의 구분을 위한 세그멘테이션을 수행할 수 있는 뉴럴 네트워크 구조를 제공하는 것이다.
본 발명의 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지를 이용하여 소정의 질병에 관한 진단 결과를 예측하기 위한 진단 뉴럴 네트워크를 생성하는 단계, 상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 생체 이미지-상기 복수의 훈련용 생체 이미지 각각에는, 그에 상응하는 상기 질병에 대한 진단 결과가 라벨링되어 있음-를 획득하는 단계 및 상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하되, 상기 진단 뉴럴 네트워크를 훈련하는 단계는, 상기 복수의 훈련용 생체 이미지 각각에 대하여, (a) 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하는 단계 및 (b) 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 모두 연결(concatenation)하여 상기 훈련용 생체 이미지에 상응하는 하나의 훈련 데이터를 생성하는 단계-상기 훈련용 생체 이미지에 상응하는 훈련 데이터는 상기 훈련용 생체 이미지에 대한 진단 결과로 라벨링됨 및 상기 훈련용 생체 이미지에 상응하는 훈련 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함할 수 있다.
일 실시예에서, 상기 방법은, 진단 단계를 더 포함하되, 상기 진단 단계는, 이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하는 단계 및 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함할 수 있다.
일 실시예에서, 상기 진단 단계는, 상기 K개의 진단 대상 생체 이미지에 기초하여 상기 이미지 센서가 이동 중인지 여부를 판단하는 단계를 더 포함하되, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계는, 상기 이미지 센서가 이동 중이 아니라고 판단된 경우, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함할 수 있다.
일 실시예에서, 상기 방법은, 진단 단계를 더 포함하되, 상기 진단 단계는, 이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하는 단계, 상기 K개의 진단 대상 생체 이미지를 모두 연결하여 하나의 진단 대상 데이터를 생성하는 단계 및 상기 진단 대상 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함할 수 있다.
일 실시예에서, 상기 진단 뉴럴 네트워크는, 상기 진단 대상 데이터를 입력 레이어로 입력 받아서 상기 진단 대상 생체 이미지 중 질병이 존재하는 영역을 특정하는 세그멘테이션 뉴럴 네트워크이며, 상기 세그멘테이션 뉴럴 네트워크는, 상기 진단 대상 데이터를 입력 레이어로 입력 받아서 상기 생체 이미지에 상기 질병이 존재하는지 여부에 관한 분류 결과를 출력하는 클래시피케이션 뉴럴 네트워크 및 상기 클래시피케이션 뉴럴 네트워크에 포함된 히든 레이어 중 2 이상의 피쳐 맵 추출 레이어 각각에서 생성되는 피쳐 맵을 입력 받아서 상기 생체 이미지 중 질병이 존재하는 영역을 특정하는 세그멘테이션 아키텍쳐를 포함할 수 있다.
일 실시예에서, 상기 세그멘테이션 아키텍쳐는, 상기 2 이상의 피쳐 추출 레이어 각각에 대응되는 컨볼루션 노드를 포함하는 컨볼루션 서브 아키텍쳐-상기 컨볼루션 노드 각각은, 그에 대응되는 피쳐 추출 레이어로부터 입력되는 피쳐 맵에 대한 컨볼루션 또는 2 이상의 서로 다른 컨볼루션을 수행함- 및 상기 컨볼루션 서브 아키텍쳐에서 생성하는 컨볼루션 결과에 기초하여 상기 패치 중 질병이 존재하는 영역을 특정하는 세그멘테이션 서브 아키텍쳐를 포함할 수 있다.
일 실시예에서, 상기 질병은, 전립선 암인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 수행되는 경우, 상기 뉴럴 네트워크를 이용한 진단 시스템이 상술한 방법을 수행하도록 하는 뉴럴 네트워크를 이용한 진단 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 생체 이미지를 이용하여 소정의 질병에 관한 진단 결과를 예측하기 위한 진단 뉴럴 네트워크를 저장하는 저장모듈, 상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 생체 이미지-상기 복수의 훈련용 생체 이미지 각각에는, 그에 상응하는 상기 질병에 대한 진단 결과가 라벨링되어 있음-를 획득하는 획득모듈 및 상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크를 훈련하는 학습모듈을 포함하되, 상기 학습모듈은, 상기 복수의 훈련용 생체 이미지 각각에 대하여, (a) 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하는 단계 및 (b) 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 수행하는 뉴럴 네트워크를 이용한 진단 시스템이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 모두 연결(concatenation)하여 상기 훈련용 생체 이미지에 상응하는 하나의 훈련 데이터를 생성하는 단계-상기 훈련용 생체 이미지에 상응하는 훈련 데이터는 상기 훈련용 생체 이미지에 대한 진단 결과로 라벨링됨- 및 상기 훈련용 생체 이미지에 상응하는 훈련 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크를 이용한 진단 시스템은, 이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하고, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 진단모듈을 더 포함할 수 있다.
일 실시예에서, 상기 진단모듈은, 상기 K개의 진단 대상 생체 이미지에 기초하여 상기 이미지 센서가 이동 중인지 여부를 판단하고, 상기 이미지 센서가 이동 중이 아니라고 판단된 경우, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크를 이용한 진단 시스템은, 이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하고, 상기 K개의 진단 대상 생체 이미지를 모두 연결하여 하나의 진단 대상 데이터를 생성하고, 상기 진단 대상 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 진단모듈을 더 포함할 수 있다.
본 발명의 기술적 사상에 의하면, 카메라에 의한 노이즈와 무관하게 안정적으로 진단을 수행할 수 있는 뉴럴 네트워크를 이용한 진단 시스템 및 방법을 제공할 수 있다.
또한 카메라의 움직임을 감지하여 이동 중이거나 빈 화면일 경우 진단을 수행하지 않고 특정 부위를 고정하여 보고 있을 경우에 한해 진단을 수행함으로써 부드러운 화면 이동이 가능하도록 하는 진단 시스템 및 방법을 제공할 수 있다.
또한 생체 이미지 별로 질병의 발병 여부를 판단하는 클래시피케이션뿐만 아니라 해당 생체 이미지 중 질병이 발병한 영역까지 구분할 수 있는 세그멘테이션을 수행할 수 있는 효율적인 뉴럴 네트워크 구조를 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 의해 다중 페이즈 생체 이미지를 이용하여 뉴럴 네트워크를 학습하고, 이를 이용하여 질병을 진단하는 방법의 동작 환경을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 질병 진단 시스템의 개략적인 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 진단 시스템이 복수의 훈련용 생체 이미지를 이용하여 진단 뉴럴 네트워크를 학습하는 과정을 도시한 흐름도이다.
도 4는 두 개의 노이즈 부가 이미지가 결합되어 학습에 이용되는 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 진단 시스템이 진단 대상 생체 이미지를 진단하는 과정을 도시한 흐름도이다.
도 6은 두 개의 연속 촬영된 진단 대상 생체 이미지를 이용하여 진단을 수행하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 세그멘테이션을 위한 진단 뉴럴 네트워크의 전체적인 구조를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 세그멘테이션 아키텍쳐의 전체적인 구조를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 세그멘테이션용 진단 뉴럴 네트워크의 구체적인 예를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 의해 다중 페이즈 생체 이미지를 이용하여 뉴럴 네트워크를 학습하고, 이를 이용하여 질병을 진단하는 방법의 동작 환경을 도시한 도면이다. 도 1를 참조하면, 본 발명의 기술적 사상에 따른 방법은 진단 시스템(100)에 의해 수행될 수 있다.
본 발명의 기술적 사상에 진단 시스템(100)은 컴퓨팅 시스템일 수 있다. 또는 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트(단말; 20)가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 진단 시스템(100)은 상기 서버(10)에 접속가능한 적어도 하나의 클라이언트(예컨대, 20)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20)는 생체이미지를 상기 진단 시스템(100)으로 전송할 수 있고, 상기 진단 시스템(100)은 전송된 생체이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예컨대, 20)로 전송할 수도 있다.
상기 진단 시스템(100)은 다수의 훈련용 생체 이미지를 이용하여 생체 이미지의 진단을 위한 뉴럴 네트워크를 학습할 수 있으며, 뉴럴 네트워크를 학습한 이후에는 학습된 뉴럴 네트워크를 이용하여 클라이언트(20)가 제공하는 진단 대상 이미지에 대한 진단 결과를 예측할 수 있다.
상기 클라이언트(20)는 이미지 센서(21)를 구비할 수 있다. 상기 이미지 센서(21)는 생체 이미지를 촬영하거나 스캔하기 위한 센서일 수 있다. 상기 이미지 센서(21)는 생체 이미지를 연속 촬영할 수 있다. 예를 들어, 상기 이미지 센서(21)는 초당 60 프레임으로 생체 이미지를 촬영할 수 있다.
일 실시예에서, 상기 이미지 센서(21)는 카메라일 수 있다.
다른 일 실시예에서 상기 이미지 센서(21)는 현미경일 수 있다. 이 경우 상기 이미지 센서(21)는 생체 슬라이드의 특정 부위를 확대하여 촬영할 수 있으며, 상기 클라이언트(20)를 이용하여 생체 이미지를 진단하고자 하는 진단자는 슬라이드 상의 촬영 영역을 움직여 가며 생체 슬라이드의 특정 영역에 대한 진단을 수행할 수 있다.
상기 질병 진단 시스템(100)은 도 1에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또한 실시예에 따라 상기 질병 진단 시스템은(100)은 서버(10)가 아닌 클라이언트(20)에 직접 설치되어 동작하는 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 질병 진단 시스템(100)의 개략적인 구성을 나타내는 도면이다.
도 2를 참조하면, 상기 시스템(100)은 저장모듈(110), 생성모듈(130), 획득모듈(140), 학습모듈(150) 및 진단모듈(160)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 진단 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 시스템(100)의 다른 구성(예를 들면, 저장모듈(110), 생성모듈(130), 획득모듈(140), 학습모듈(150) 및 진단모듈(160) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다. 또한 실시예에 따라 상기 시스템(100)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 300)를 더 포함할 수도 있다.
상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 저장모듈(110), 생성모듈(130), 획득모듈(140), 학습모듈(150) 및 진단모듈(160) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 생성모듈(130), 획득모듈(140), 학습모듈(150) 및 진단모듈(160) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 DB(200)는 복수의 훈련용 생체 이미지를 저장할 수 있다. 상기 훈련용 생체 이미지는 조직 이미지, 생검 이미지를 비롯한 다양한 생체 이미지일 수 있다.
또한 상기 훈련용 생체 이미지는 생체 슬라이드일 수도 있으며, 생체 슬라이가 분할된 일부인 패치일 수도 있다.
상기 복수의 훈련용 생체 이미지 각각에는 질병 진단 결과가 라벨링되어 있을 수 있다. 라벨링된 진단 결과는 상기 질병 진단 시스템(100)이 진단하는 진단 결과와 동일한 종류일 수 있다. 각각의 훈련용 생체 이미지에 라벨링되어 있는 진단 결과는 의료 전문가가 미리 해당 생체 이미지를 기반으로 내린 질병에 대한 판단 결과일 수 있다.
예를 들어, 상기 질병 진단 시스템(100)이 질병의 발병 유무에 대한 분류 결과를 예측하는 시스템인 경우, 복수의 훈련용 생체 이미지 각각에 라벨링된 진단 결과 역시 질병의 발병 유무에 대한 것일 수 있다. 또는 실시예에 따라서는 생체 이미지에 대한 진단 결과는 예를 들어 생체 이미지 대한 진단 결과는 특정 질병의 발현여부(음성/양성)뿐만 아니라, 특정 질병의 진행 정도(또는 진행 정도에 해당할 확률)를 포함할 수 있다. 예를 들어, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 진단 결과에 포함될 수 있다. 예컨대, 글리슨 스코어는 2 내지 10의 값을 가지며, 통상적으로는 6 내지 10의 값을 암으로 볼 수 있으며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 글리슨 패턴은 1 내지 5까지의 부류로 구분될 수 있다.
만약 상기 질병 진단 시스템(100)이 질병의 발병 영역 혹은 픽셀 단위의 진단 결과를 예측하는 시스템(즉, 세그멘테이션을 수행하는 시스템)인 경우, 복수의 훈련용 생체 이미지 각각에 라벨링된 진단 결과 역시 질병의 발병 영역 혹은 픽셀 단위의 진단 결과에 관한 것일 수 있다.
한편, 상기 질병은 전립선 암일 수 있으며, 이하에서는 전립선 암을 중심으로 설명하지만 본 발명의 기술적 사상이 전립선 암에 국한되는 것이 아님은 본 발명이 속하는 분야에서 통상의 기술자라면 용이하게 이해할 수 있을 것이다.
상기 저장모듈(110)에는 진단 뉴럴 네트워크(120)가 저장될 수 있으며, 상기 진단 뉴럴 네트워크(120)는 생성모듈(130)에 의해 생성될 수 있다. 상기 진단 뉴럴 네트워크(120)는 생체 이미지를 이용하여 소정의 질병에 대한 진단 결과를 예측하기 위한 뉴럴 네트워크일 수 있다.
상기 저장모듈(110)은 진단 뉴럴 네트워크(120)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장모듈(110)은 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 뉴럴 네트워크(120)는 패치 단위의 생체 이미지를 진단하기 위한 뉴럴 네트워크일 수 있다. 이때, 패치는 소정의 슬라이드가 일정한 크기로 분할된 일부의 이미지일 수 있다. 즉, 하나의 슬라이드는 복수의 패치로 분할될 수 있으며, 상기 진단 뉴럴 네트워크(120)는 패치를 입력받아 패치 레벨 진단을 수행할 수 있다. 진단을 수행하기 전 상기 진단 뉴럴 네트워크(120)는 학습모듈(150)에 의해 미리 학습될 수 있다.
한편, 상기 진단 뉴럴 네트워크(120)가 출력하는 정보는 상기 패치에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부 또는 특정 질병이 발병한 영역에 대한 판단이 가능하도록 하는 정보일 수 있다. 예를 들어, 상기 진단 뉴럴 네트워크(160)가 출력하는 정보는 상기 패치에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 확률을 나타내는 정보일 수 있다. 이 경우, 상기 진단 뉴럴 네트워크(120)가 출력한 확률 값이 특정 기준 값(문턱 값) 이상인 경우 상기 패치에 질병(예컨대, 전립선 암)이 발현한 것으로 판단할 수 있다. 물론, 실시예에 따라 상기 진단 뉴럴 네트워크(120)는 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 정보(또는 상기 진행 정도에 해당할 확률)를 출력할 수도 있다. 예컨대, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 진단 뉴럴 네트워크(120)가 출력하는 정보에 포함될 수 있다. 한편, 상기 진단 뉴럴 네트워크(120)가 이용하는 문턱 값은 다양하게 설정될 수 있으며, 문턱 값에 따라 특정 패치가 질병이 발현된 패치 즉, 질병 패치로 판단될 수도 있고 노멀 패치로 판단될 수 있음은 물론이다.
또는 상기 진단 뉴럴 네트워크(120)는 패치를 입력 받아 해당 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하기 위한 뉴럴 네트워크일 수 있다. 픽셀 별 분류 결과를 출력하는 상기 진단 뉴럴 네트워크(120)는 질병의 발병 영역을 구분하기 위한 세크멘테이션을 수행할 수 있다. 이때, 상기 진단 뉴럴 네트워크(120)는 패치를 구성하는 각각의 픽셀 별 질병의 발병 여부 혹은 질병의 발병 확률을 출력될 수 있으며, 발병한 것을 판단된 픽셀 혹은 발병 확률이 일정한 문턱 값을 넘은 픽셀이 구성하는 영역이 발병 영역으로 판단될 수 있다.
실시예에 따라 상기 진단 뉴럴 네트워크(120)은 각각의 픽셀 별 질병의 발병 여부(혹은 질병의 발병 확률) 및/또는 질병의 진행 정도(또는 상기 진행 정도에 해당할 확률)를 예측하여 출력할 수도 있다.
한편, 세그멘테이션(즉, 픽셀 별 진단 결과 예측)을 수행하기 전 상기 진단 뉴럴 네트워크(120)는 학습모듈(150)에 의해 미리 학습될 수 있다.
본 명세서에서 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 일 실시예에서 상기 진단 뉴럴 네트워크(120)은 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
다시 도 2를 참조하면, 상기 획득모듈(140)은 상기 진단 뉴럴 네트워크(120) 에 대한 기계학습을 위한 훈련 데이터를 획득할 수 있다. 즉, 상기 획득모듈(140)은 복수의 훈련용 생체 이미지 이미지를 획득할 수 있으며, 상기 복수의 훈련용 생체 이미지 이미지 각각에는 그에 상응하는 진단 결과가 라벨링되어 있을 수 있다. 예를 들어 상기 획득모듈(140)은 상기 DB(200)로부터 훈련용 생체 이미지 이미지를 획득할 수 있다.
또한 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편 상기 학습모듈(150)은 상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크(120)를 훈련할 수 있다.
보다 상세하게는 상기 학습모듈(150)은 상기 복수의 훈련용 생체 이미지 각각에 대하여, 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하고, 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련할 수 있다.
도 3은 본 발명의 일 실시예에 따라, 상기 진단 시스템(100)이 복수의 훈련용 생체 이미지를 이용하여 진단 뉴럴 네트워크(120)를 학습하는 과정을 도시한 흐름도이다.
도 3을 참조하면 상기 진단 시스템(100)의 획득모듈(140)은 질병에 대한 진단 결과가 각각 라벨링되어 있는 N개(N은 2 이상의 정수)의 훈련용 생체 이미지를 획득할 수 있다(S100).
이후 상기 진단 시스템(100)의 진단모듈(150)은 상기 N개의 훈련용 생체 이미지 각각에 대하여, S120 내지 S150의 과정을 수행할 수 있다(S110).
J번째 훈련용 생체 이미지 Sj를 통한 학습 과정의 경우, S120 단계에서 훈련용 생체 이미지 Sj에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지 Sj에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지 T(J, 1) 내지 T(J, K)를 생성할 수 있다(S120).
예를 들어, 노이즈 삽입 이미지 T(J, 1) 내지 T(J, K)는 훈련용 생체 이미지 Sj에 평균 및/또는 분산이 서로 상이한 가우시안 노이즈(Gaussian Noise)가 각각 부가된 이미지일 수 있다. 가우시안 노이즈가 부가되는 경우 평균 및/또는 분산 외에도 다양한 파라미터가 변형될 수 있음은 물론이며, 가우시안 노이즈 외에도 다양한 형태의 노이즈가 생체 이미지에 부가되는 실시예가 존재할 수 있다.
S130 단계에서, 상기 훈련용 생체 이미지 Sj에 상응하는 K개의 노이즈 삽입 이미지 T(J, 1) 내지 T(J, K)를 모두 연결(concatenation)하여 상기 훈련용 생체 이미지 Sj에 상응하는 하나의 훈련 데이터 Uj를 생성할 수 있다. 이때, 훈련 데이터 Uj는 상기 훈련용 생체 이미지 Sj의 라벨로 라벨링될 수 있다(S130).
S140 단계에서, 상기 훈련용 생체 이미지 Sj에 상응하는 훈련 데이터 Uj를 상기 진단 뉴럴 네트워크(120)에 입력하여 상기 진단 뉴럴 네트워크(120)를 훈련할 수 있다.
도 4는 하나의 훈련용 생체 이미지에 두 개의 서로 다른 노이즈가 부가되어 생성되는 두 개의 노이즈 부가 이미지가 결합되어 학습에 이용되는 예(즉, K가 2인 예)를 도시한 도면이다.
도 4에 도시된 바와 같이, 학습 대상이 되는 원본 이미지에 노이즈 1 와 노이즈 2를 각각 부가하여 서로 다른 두 개의 노이즈 삽입 이미지를 생성하고, 이들을 결합한 뒤 상기 진단 뉴럴 네트워크(120)에 입력하여 학습을 수행할 수 있다.
다시 도 2를 참조하면, 상기 진단모듈(160)은 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하고, 상기 K개의 진단 대상 생체 이미지를 상기 학습모듈(150)에 의해 학습된 상기 진단 뉴럴 네트워크(120)에 입력하여 상기 질병에 대한 진단 결과를 예측할 수 있다. 일 실시예에서, 상기 K개의 진단 대상 생체 이미지는 상기 이미지 센서(21)에 의해 촬영된 생체 이미지일 수 있다.
도 5는 본 발명의 일 실시예에 따라 상기 진단 시스템(100)이 진단 대상 생체 이미지를 진단하는 과정을 도시한 흐름도이다.
도 5를 참조하면, 상기 진단모듈(160)은 연속 촬영된 K개의 진단 대상 생체 이미지 O1 내지 OK를 획득할 수 있다(S200).
상기 진단모듈(160)은 상기 K개의 진단 대상 생체 이미지 O1 내지 OK에 기초하여 소정의 진단조건이 만족하는지 여부를 판단할 수 있다(S210).
일 실시예에서, 상기 진단모듈(160)은 상기 K개의 진단 대상 생체 이미지에 기초하여 상기 진단 대상 이미지를 촬영하고 있는 이미지 센서(21)가 이동 중인지 여부를 판단할 수 있으며, 상기 이미지 센서(21)가 이동 중이 아니라고 판단된 경우 진단조건이 만족된 것으로 판단할 수 있다. 즉, 상기 진단모듈(160)은 이미지 센서(21)가 이동 중이 아니라 정지상태로 생체 이미지의 특정 부위를 계속 촬영하고 있는 상태인 경우에 진단조건이 만족하는 것으로 판단할 수 있다.
예를 들어, 상기 진단모듈(160) 연속된 두 이미지 간의 관계를 나타내는 수치 혹은 수치 값들을 산출하고, 산출된 수치 혹은 수치 값들이 소정의 한계 범위 이내인 경우 이동 중이 아니라고 판단할 수 있다.
또는 실시예에 따라 상기 진단모듈(160)은 이미지 센서(21)가 이동 중이 아니면서, 상기 K개의 진단 대상 생체 이미지가 생체 조직을 촬영하고 있는 것으로 판단한 경우에 진단 조건이 만족된 것으로 판단할 수 있다. 이 외에도 다양한 진단 조건이 미리 설정될 수 있다.
만약 진단조건이 만족되지 않은 경우, 질병에 대한 진단이 수행되지 않고 후속 촬영된 K개의 생체 이미지들을 획득할 수 있다(S210, S200 참조).
만약 진단조건이 만족된 경우, 상기 진단모듈(160)은 K개의 진단 대상 생체 이미지 O1 내지 OK를 연결(concatenation)하여 진단 대상 데이터 P를 생성할 수 있으며(S220), 진단 대상 데이터 P를 상기 진단 뉴럴 네트워크(120)에 입력하여 질병에 대한 진단 결과를 예측할 수 있다.
도 6은 두 개의 연속 촬영된 진단 대상 생체 이미지를 이용하여 진단을 수행하는 과정을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 입력장치(예를 들어, 이미지 센서(21))로부터 획득한 두 개의 진단 대상 이미지(즉, 이미지 1, 이미지 2)가 서로 결합되어 진단조건이 만족되는지 여부를 판단하기 위한 알고리즘에 입력될 수 있다. 만약 진단조건이 만족되는 경우, 상기 결합된 데이터(즉, 진단 대상 데이터)가 학습된 진단 뉴럴 네트워크(120)에 입력될 수 있으며, 진단 뉴럴 네트워크(120)는 진단 결과를 예측할 수 있다.
상술한 바와 같이, 실시예에 따라서 상기 진단 뉴럴 네트워크(12)는 생체 이미지(예를 들어 패치) 중 질병의 발병 영역을 특정하기 위한 세그멘테이션을 수행하는 세그멘테이션 뉴럴 네트워크일 수 있는데, 이를 위하여 상기 세그멘테이션 뉴럴 네트워크는 매우 독특한 구조를 가질 수 있다.
본 발명의 일 실시예에 따른 세그멘테이션을 위한 진단 뉴럴 네트워크(120)는 생체 이미지에 질병이 존재하는지 여부를 판단하기 위한 클래시피케이션을 수행하는 뉴럴 네트워크(후술할 '클래시피케이션 뉴럴 네트워크')를 베이스로 하여, 여기에 세그멘테이션을 위한 서브 아키텍쳐를 결합한 형태로 구현될 수 있다. 이와 같은 진단 뉴럴 네트워크(120)의 구조가 도 7에 도시되어 있다.
도 7은 본 발명의 일 실시예에 따른 세그멘테이션을 위한 진단 뉴럴 네트워크(120)의 전체적인 구조를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 진단 뉴럴 네트워크(120)는 클래시피케이션 뉴럴 네트워크(200) 및 세그멘테이션 아키텍쳐(260)를 포함할 수 있다.
상기 클래시피케이션 뉴럴 네트워크(200)는 상기 진단 대상 데이터를 입력 레이어로 입력 받아서 상기 진다 대상 데이터에 상응하는 진단 대상 이미지에 질병이 존재하는지 여부에 관한 분류 결과(예를 들어, 도 7에 도시된 바와 같은 스코어)를 출력할 수 있다. 이를 클래시피케이션이라고 하는데, 클래시피케이션 과정에서 상기 클래시피케이션 뉴럴 네트워크(200)는 내부에 포함된 일부 히든 레이어에서 중간 생성물로서 입력(즉, 패치)에 대한 피쳐를 생성할 수 있다. 특히, 이미지와 같은 2차원 이상의 매트릭스를 입력으로 받는 경우 생성되는 피쳐는 2차원 매트릭스의 형태이므로 피쳐 맵이라는 용어를 사용하기도 한다. 한편, 이하에서는 상기 클래시피케이션 뉴럴 네트워크(200)에 포함된 히든 레이어 중 피쳐 맵을 생성하는 레이어를 피쳐 맵 추출 레이어라고 부르기로 한다.
한편, 상기 세그멘테이션 아키텍쳐(260)는 상기 클래시피케이션 뉴럴 네트워크(200)에 포함된 히든 레이어 중 2 이상의 피쳐 맵 추출 레이어 각각에서 생성되는 피쳐 맵(예를 들어, 도 4에 도시되어 있는 f1, f2, f3)을 입력 받아서 상기 패치 중 질병이 존재하는 영역을 특정하여 출력할 수 있다.
도 7에서는 클래시피케이션 뉴럴 네트워크(200)가 클래시피케이션을 수행하는 과정에서 3 개의 피쳐 맵(f1, f2, f3)을 생성하는 예를 도시하고 있으나, 실시예에 따라서 이보다 많거나 적은 수의 피쳐 맵이 생성될 수 있음은 물론이다.
한편, 본 발명의 실시 예에 따르면, 클래시피케이션을 수행하는 클래시피케이션 뉴럴 네트워크(200)는 공지된 densenet을 이용하였고, 이때 이전 출원에 개시된 바와 같이 진단의 대상이 되는 특정 패치뿐만 아니라 주변 패치까지도 고려할 수 있도록 설계될 수 있다. 이외에도 다양한 뉴럴 네트워크가 활용될 수 있으며, 어떠한 경우든 상기 클래시피케이션 뉴럴 네트워크(200)는 특정 패치를 입력으로 받고 해당 특정 패치의 질병 발현 확률에 상응하는 피쳐 값을 출력하도록 정의될 수 있다.
한편, 도 8는 상기 세그멘테이션 아키텍쳐(260)의 전체적인 구조를 설명하기 위한 도면이다.
도 8를 참조하면, 상기 세그멘테이션 아키텍쳐(260)는 컨볼루션 서브 아키텍쳐(261), 세그멘테이션 서브 아키텍쳐(263)를 포함할 수 있으며, 실시예에 따라서 크로핑 서브 아키텍쳐(264)를 더 포함할 수도 있다.
상술한 바와 같이 상기 클레시피케이션 뉴럴 네트워크(200)에서 수행되는 클래시피케이션 과정에서 각각의 피쳐 추출 레이어에 의해 피쳐 맵들(f1, f2, f3)이 생성될 수 있는데, 피쳐 맵 각각은 상기 컨볼루션 서브 아키텍쳐(261)에 포함된 컨볼루션 노드(262-1 내지 262-3)에 입력될 수 있다.
각각의 컨볼루션 노드(262-1 내지 262-3)은 상기 클레시피케이션 뉴럴 네트워크(200)에 포함된 2 이상의 피쳐 추출 레이어 각각에 대응되며, 그에 대응되는 피쳐 추출 레이어로부터 입력되는 피쳐 맵(f1 내지 f3)에 대한 컨볼루션 또는 2 이상의 서로 다른 컨볼루션을 수행할 수 있다. 한편, 실시예에 따라서 각각의 컨볼루션 노드(262-1 내지 263-3)는 업스케일링(예를 들면, 업샘플링) 또는 다운스케일링(예를 들면, 다운샘플링) 후에 컨볼루션을 수행할 수도 있다.
각각의 컨볼루션 노드(262-1 내지 262-3)는 하나 또는 2 이상의 컨볼루션을 수행하여 하나 또는 2 이상의 결과물을 생성할 수 있다. 실시예에 따라서, 상기 컨볼루션 노드(262-1 내지 262-3)가 수행하는 컨볼루션은 다이얼레이티드 컨볼루션(Dilated convolution; Atrous convolution이라고도 함)일 수 있다. 다이얼레이티드 컨볼루션은 통상적인 컨볼루션과 달리 인접한 픽셀들에서 피쳐를 추출하는 것이 아니라 미리 정해진 간격(rate)을 두고 컨볼루션을 수행하는 방법이다. 예를 들어, 상기 컨볼루션 노드 중 어느 하나(예를 들어, 511-2)는 1x1 다이얼레이티드 컨볼루션, rate 6의 3x3 다이얼레이티드 컨볼루션, rate 12의 3x3 다이얼레이티드 컨볼루션, rate 18의 3x3 다이얼레이티드 컨볼루션을 수행하여 4 개의 컨볼루션 결과물(피쳐)을 생성할 수 있다.
한편, 상기 세그멘테이션 서브 아키텍쳐(263)는 상기 컨볼루션 서브 아키텍쳐(261)에서 생성하는 컨볼루션 결과에 기초하여 상기 패치 중 질병이 존재하는 영역을 특정할 수 있다.
상기 세그멘테이션 서브 아키텍쳐(263)는 상기 컨볼루션 서브 아키텍쳐(261)에서 생성하는 컨볼루션 결과에 대한 소정의 연산을 수행할 수 있다. 상기 세그멘테이션 서브 아키텍쳐(263)가 수행하는 연산은 결합(concatenation) 및/또는 컨볼루션의 조합으로 정의될 수 있다. 실시예에 따라 결합 및 컨볼루션이 다양한 방식으로 조합될 수 있다.
한편, 실시예에 따라서는 상기 크로핑 서브 아키텍쳐(264)은 상기 세그멘테이션 서브 아키텍쳐(263)에서 출력되는 결과물에 대한 센터-크로핑을 수행함으로써 세그멘테이션에 대한 최종 결과물을 생성할 수 있다. 상기 컨볼루션 서브 아키텍쳐(261) 및 세그멘테이션 서브 아키텍쳐(263)에 의한 결과물에서는 상대적으로 중앙 부분이 더욱 정확하게 결과를 반영하는 경향이 있기 때문이다.
도 9는 본 발명의 일 실시예에 따른 세그멘테이션용 진단 뉴럴 네트워크(120)의 구체적인 예를 도시한 도면이다.
도 9를 참조하면, 상기 진단 뉴럴 네트워크에 포함된 클래시피케이션 뉴럴 네트워크(200)는 클래시피케이션을 수행할 수 있다. 클래시피케이션을 위하여, 상기 클래시피케이션 뉴럴 네트워크(200)는 패치를 입력 레이어로 입력 받을 수 있으며, 제1 피쳐 추출 레이어(L1)에서 컨볼루션 및 풀링 연산을 통해 1/4 크기의 로우 피쳐맵(f1)을 생성할 수 있다. 이어 제1덴스블록 및 제1트랜지션 연산(denseblock1, transition1) 및 제2덴스블록 및 제2트랜지션 연산(denseblock2, transition2)을 거쳐 제2 피쳐 추출 레이어(L2)에서 1/16 크기의 미들 피쳐 맵(f2)을 생성할 수 있다. 이어, 제3덴스블록 및 제3트랜지션 연산(denseblock1, transition1), 제4덴스블록(denseblock4), 1x1 컨볼루션을 차례로 거쳐 제3 피쳐 추출 레이어(L3)에서 1/16 크기의 엔드 피쳐 맵(f3)을 생성할 수 있다. 이후 에버러지 풀링을 통해 질병 여부에 대한 스코어를 출력할 수 있다.
한편, 상기 세그멘테이션 아키텍쳐(260)에서는 상기 클래시피케이션 뉴럴 네트워크(200)에서 생성된 각 피쳐를 이용하여 세그멘테이션을 수행할 수 있다.
보다 상세하게는, 컨볼루션 서브 아키텍쳐(261)에 포함된 각각의 컨볼루션 노드(510)는 그에 대응되는 피쳐 추출 레이어로부터 입력되는 피쳐 맵에 대한 미리 정의된 방식의 적어도 하나의 컨볼루션을 수행할 수 있다. 도 9의 예에서는 제1 컨볼루션 노드(262-1)는 그에 대응되는 제1 피쳐 추출 레이어(L1)로부터 입력되는 피쳐 맵(f1)에 대한 1x1 컨볼루션을 수행할 수 있다. 제2 컨볼루션 노드(262-2)는 그에 대응되는 제2 피쳐 추출 레이어(L2)로부터 입력되는 피쳐 맵(f2)에 대하여, 1x1 컨볼루션, rate 6의 3x3 다이얼레이티드 컨볼루션, rate 12의 3x3 다이얼레이티드 컨볼루션, rate 18의 3x3 다이얼레이티드 컨볼루션을 수행하여 4 개의 컨볼루션 결과물(피쳐)을 생성할 수 있다. 제3 컨볼루션 노드(262-3)는 그에 대응되는 제3 피쳐 추출 레이어(L3)로부터 입력되는 피쳐 맵(f3)에 대하여 2배 업샘플링을 한 후 1x1 컨볼루션을 수행할 수 있다.
한편, 상기 세그멘테이션 서브 아키텍쳐(263)는 상기 컨볼루션 서브 아키텍쳐(261)에서 생성되는 결과를 입력 받아 미리 정의된 연산을 수행할 수 있다. 도 9의 예에서 상기 세그멘테이션 서브 아키텍쳐(263)는 제2 컨볼루션 노드(511-2) 및 제3 컨볼루션 노드(511-3)에 의해 생성된 컨볼루션 결과물(피쳐)를 모두 결합(concatenate)하여 1x1 컨볼루션을 수행하고, 이와 제1 컨볼루션 노드(511-1)에서 생성된 컨볼루션 결과물(피쳐)을 결합한 후 3x3 컨볼루션을 수행할 수 있다.
이후 상기 크로핑 서브 아키텍쳐(264)에서 센터 크로핑이 수행될 수 있다.
이와 같은 본 발명의 기술적 특징을 가지는 뉴럴 네트워크를 이용함으로써 세그멘테이션의 정확도를 매우 높일 수 있다. 통상적인 뉴럴 네트워크에서 세그멘테이션 정확도를 높이기 위해서는 입력 데이터에서 피쳐를 잘 추출해야 하며, 훈련 전 뉴럴 네트워크의 초기 가중치를 잘 설정하고 훈련을 수행해야 한다는 것이 경험적으로 잘 알려져 있다. 그런데, 상술한 바와 같이, 본 발명의 기술적 사상에 따르면, 세그멘테이션은 클래시피케이션 뉴럴 네트워크를 기반으로 특정한 구조를 가지는 세그멘테이션 아키텍쳐를 결합한 방식의 뉴럴 네트워크에 의해 수행되며, 패치 레벨 클래시피케이션 과정에서 추출되는 피쳐들은 입력 데이터의 특징을 매우 잘 반영하고 있다. 따라서, 이를 세그멘테이션 과정에도 그대로 이용함으로써 세그멘테이션의 정확도를 높일 수 있는 효과가 있다.
한편 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 구현 예에 따라서, 상기 진단 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 다중 색 모델 및 뉴럴 네트워크를 통한 진단 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템에 이용될 수 있다.

Claims (15)

  1. 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지를 이용하여 소정의 질병에 관한 진단 결과를 예측하기 위한 진단 뉴럴 네트워크를 생성하는 단계;
    상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 생체 이미지-상기 복수의 훈련용 생체 이미지 각각에는, 그에 상응하는 상기 질병에 대한 진단 결과가 라벨링되어 있음-를 획득하는 단계; 및
    상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하되,
    상기 진단 뉴럴 네트워크를 훈련하는 단계는, 상기 복수의 훈련용 생체 이미지 각각에 대하여,
    (a) 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하는 단계; 및
    (b) 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는,
    상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 모두 연결(concatenation)하여 상기 훈련용 생체 이미지에 상응하는 하나의 훈련 데이터를 생성하는 단계-상기 훈련용 생체 이미지에 상응하는 훈련 데이터는 상기 훈련용 생체 이미지에 대한 진단 결과로 라벨링됨; 및
    상기 훈련용 생체 이미지에 상응하는 훈련 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하는 방법.
  3. 제1항에 있어서, 상기 방법은, 진단 단계를 더 포함하되,
    상기 진단 단계는,
    이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하는 단계; 및
    상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함하는 방법.
  4. 제3항에 있어서,
    상기 진단 단계는,
    상기 K개의 진단 대상 생체 이미지에 기초하여 상기 이미지 센서가 이동 중인지 여부를 판단하는 단계를 더 포함하되,
    상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계는,
    상기 이미지 센서가 이동 중이 아니라고 판단된 경우, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함하는 방법.
  5. 제2항에 있어서, 상기 방법은, 진단 단계를 더 포함하되,
    상기 진단 단계는,
    이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하는 단계;
    상기 K개의 진단 대상 생체 이미지를 모두 연결하여 하나의 진단 대상 데이터를 생성하는 단계; 및
    상기 진단 대상 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 단계를 포함하는 방법.
  6. 제5항에 있어서,
    상기 진단 뉴럴 네트워크는,
    상기 진단 대상 데이터를 입력 레이어로 입력 받아서 상기 진단 대상 생체 이미지 중 질병이 존재하는 영역을 특정하는 세그멘테이션 뉴럴 네트워크이며,
    상기 세그멘테이션 뉴럴 네트워크는,
    상기 진단 대상 데이터를 입력 레이어로 입력 받아서 상기 생체 이미지에 상기 질병이 존재하는지 여부에 관한 분류 결과를 출력하는 클래시피케이션 뉴럴 네트워크; 및
    상기 클래시피케이션 뉴럴 네트워크에 포함된 히든 레이어 중 2 이상의 피쳐 맵 추출 레이어 각각에서 생성되는 피쳐 맵을 입력 받아서 상기 생체 이미지 중 질병이 존재하는 영역을 특정하는 세그멘테이션 아키텍쳐를 포함하는 방법.
  7. 제6항에 있어서, 상기 세그멘테이션 아키텍쳐는,
    상기 2 이상의 피쳐 추출 레이어 각각에 대응되는 컨볼루션 노드를 포함하는 컨볼루션 서브 아키텍쳐-상기 컨볼루션 노드 각각은, 그에 대응되는 피쳐 추출 레이어로부터 입력되는 피쳐 맵에 대한 컨볼루션 또는 2 이상의 서로 다른 컨볼루션을 수행함; 및
    상기 컨볼루션 서브 아키텍쳐에서 생성하는 컨볼루션 결과에 기초하여 상기 패치 중 질병이 존재하는 영역을 특정하는 세그멘테이션 서브 아키텍쳐를 포함하는 방법.
  8. 제1항에 있어서, 상기 질병은,
    전립선 암인 것을 특징으로 하는 방법.
  9. 데이터 처리장치에 설치되며 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램.
  10. 뉴럴 네트워크를 이용한 진단 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 수행되는 경우, 상기 뉴럴 네트워크를 이용한 진단 시스템이 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하도록 하는 뉴럴 네트워크를 이용한 진단 시스템.
  11. 생체 이미지를 이용하여 소정의 질병에 관한 진단 결과를 예측하기 위한 진단 뉴럴 네트워크를 저장하는 저장모듈;
    복수의 훈련용 생체 이미지-상기 복수의 훈련용 생체 이미지 각각에는, 그에 상응하는 상기 질병에 대한 진단 결과가 라벨링되어 있음-를 획득하는 획득모듈; 및
    상기 복수의 훈련용 생체 이미지를 이용하여, 상기 진단 뉴럴 네트워크를 훈련하는 학습모듈을 포함하되,
    상기 학습모듈은, 상기 복수의 훈련용 생체 이미지 각각에 대하여,
    (a) 상기 훈련용 생체 이미지에 서로 다른 특성을 가지는 노이즈를 삽입하여 상기 훈련용 생체 이미지에 상응하는 K개(여기서, K는 2 이상의 정수)의 노이즈 삽입 이미지를 생성하는 단계; 및
    (b) 상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 수행하는 뉴럴 네트워크를 이용한 진단 시스템.
  12. 제11항에 있어서,
    상기 (b) 단계는,
    상기 훈련용 생체 이미지에 상응하는 K개의 노이즈 삽입 이미지를 모두 연결(concatenation)하여 상기 훈련용 생체 이미지에 상응하는 하나의 훈련 데이터를 생성하는 단계-상기 훈련용 생체 이미지에 상응하는 훈련 데이터는 상기 훈련용 생체 이미지에 대한 진단 결과로 라벨링됨; 및
    상기 훈련용 생체 이미지에 상응하는 훈련 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 진단 뉴럴 네트워크를 훈련하는 단계를 포함하는 뉴럴 네트워크를 이용한 진단 시스템.
  13. 제11항에 있어서, 상기 뉴럴 네트워크를 이용한 진단 시스템은,
    이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하고,
    상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 진단모듈을 더 포함하는 뉴럴 네트워크를 이용한 진단 시스템.
  14. 제13항에 있어서,
    상기 진단모듈은,
    상기 K개의 진단 대상 생체 이미지에 기초하여 상기 이미지 센서가 이동 중인지 여부를 판단하고,
    상기 이미지 센서가 이동 중이 아니라고 판단된 경우, 상기 K개의 진단 대상 생체 이미지를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 뉴럴 네트워크를 이용한 진단 시스템.
  15. 제12항에 있어서, 상기 뉴럴 네트워크를 이용한 진단 시스템은,
    이미지 센서에 의해 연속 촬영된 K개의 진단 대상 생체 이미지를 획득하고,
    상기 K개의 진단 대상 생체 이미지를 모두 연결하여 하나의 진단 대상 데이터를 생성하고,
    상기 진단 대상 데이터를 상기 진단 뉴럴 네트워크에 입력하여 상기 질병에 대한 진단 결과를 예측하는 진단모듈을 더 포함하는 뉴럴 네트워크를 이용한 진단 시스템.
PCT/KR2020/009720 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 WO2022019355A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080104657.6A CN116114027A (zh) 2020-07-23 2020-07-23 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
US18/017,392 US20230289957A1 (en) 2020-07-23 2020-07-23 Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same
EP20945918.9A EP4170677A4 (en) 2020-07-23 2020-07-23 DISEASE DIAGNOSIS METHOD USING A NEURAL NETWORK TRAINED USING A MULTIPHASE BIOMETRIC IMAGE, AND DISEASE DIAGNOSIS SYSTEM IMPLEMENTING SAME
JP2023502694A JP2023535144A (ja) 2020-07-23 2020-07-23 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム
PCT/KR2020/009720 WO2022019355A1 (ko) 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009720 WO2022019355A1 (ko) 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Publications (1)

Publication Number Publication Date
WO2022019355A1 true WO2022019355A1 (ko) 2022-01-27

Family

ID=79728753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009720 WO2022019355A1 (ko) 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Country Status (5)

Country Link
US (1) US20230289957A1 (ko)
EP (1) EP4170677A4 (ko)
JP (1) JP2023535144A (ko)
CN (1) CN116114027A (ko)
WO (1) WO2022019355A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115831356A (zh) * 2023-02-20 2023-03-21 中国海洋大学 一种基于人工智能算法的辅助预测诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076432A (ko) * 2006-01-16 2007-07-24 소니 가부시키가이샤 정보 처리 장치 및 정보 처리 방법, 학습 장치 및 학습방법과 프로그램
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101898575B1 (ko) * 2018-01-18 2018-09-13 주식회사 뷰노 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
KR20200092801A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515240A (ja) * 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076432A (ko) * 2006-01-16 2007-07-24 소니 가부시키가이샤 정보 처리 장치 및 정보 처리 방법, 학습 장치 및 학습방법과 프로그램
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101898575B1 (ko) * 2018-01-18 2018-09-13 주식회사 뷰노 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
KR20200092801A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4170677A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115831356A (zh) * 2023-02-20 2023-03-21 中国海洋大学 一种基于人工智能算法的辅助预测诊断方法
CN115831356B (zh) * 2023-02-20 2024-02-27 中国海洋大学 一种基于人工智能算法的辅助预测诊断方法

Also Published As

Publication number Publication date
JP2023535144A (ja) 2023-08-16
CN116114027A (zh) 2023-05-12
EP4170677A4 (en) 2024-03-27
US20230289957A1 (en) 2023-09-14
EP4170677A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
EP3461290A1 (en) Learning model for salient facial region detection
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2021201422A1 (ko) Ar에 적용 가능한 의미적인 분할 방법 및 시스템
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2020149601A1 (ko) 3d cnn을 이용한 고속 영상 인식 방법 및 장치
WO2019050297A1 (ko) 뉴럴 네트워크 학습 방법 및 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2020141907A1 (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2023096011A1 (ko) 제로샷 시맨틱 분할 장치 및 방법
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502694

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020945918

Country of ref document: EP

Effective date: 20230123

NENP Non-entry into the national phase

Ref country code: DE