WO2022197044A1 - 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템 - Google Patents

뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템 Download PDF

Info

Publication number
WO2022197044A1
WO2022197044A1 PCT/KR2022/003546 KR2022003546W WO2022197044A1 WO 2022197044 A1 WO2022197044 A1 WO 2022197044A1 KR 2022003546 W KR2022003546 W KR 2022003546W WO 2022197044 A1 WO2022197044 A1 WO 2022197044A1
Authority
WO
WIPO (PCT)
Prior art keywords
bladder
lesion
neural network
lesions
unit
Prior art date
Application number
PCT/KR2022/003546
Other languages
English (en)
French (fr)
Inventor
백인영
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to EP22771710.5A priority Critical patent/EP4290527A1/en
Priority to CN202280017419.0A priority patent/CN116917999A/zh
Priority to US18/282,213 priority patent/US20240144476A1/en
Priority to JP2023551759A priority patent/JP2024512272A/ja
Publication of WO2022197044A1 publication Critical patent/WO2022197044A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a method and system for diagnosing bladder lesions using a neural network, and more particularly, to a diagnostic system capable of diagnosing a plurality of bladder lesions using pathological images based on biological tissues of the bladder, effectively learning and diagnosing them. It relates to methods and systems that can be used.
  • Bladder cancer is one of the most common cancers and has a high chance of recurrence.
  • Transurethral resection of bladder (TURB) is mainly used as a diagnostic and local treatment method for bladder cancer.
  • the diagnosis of bladder cancer is made by pathologically reading the tissue sample obtained through transurethral cystectomy, and the diagnosis of bladder cancer is made.
  • the tissue sample obtained through transurethral cystectomy can be used not only for the diagnosis of bladder cancer, but also for diagnosing various lesions related to the bladder.
  • tissue samples obtained through transurethral cystectomy there are many types of lesions that can be identified in tissue samples obtained through transurethral cystectomy, and can be largely divided into invasive cancer lesions and noninvasive lesions.
  • noninvasive lesions include cancer lesions such as low/high grade noninvasive papillary urothelial carcinoma and urothelial carcinoma in situ (CIS), papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), and urothelial papilloma.
  • cancer lesions such as low/high grade noninvasive papillary urothelial carcinoma and urothelial carcinoma in situ (CIS), papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), and urothelial papilloma.
  • PUNLMP papillary urothelial neoplasm of low malignant potential
  • UPUMP urothelial proliferation of unknown malignant potential
  • proliferative lesions such as inverted urothelial papilloma and urothelial dysplasia.
  • tissue sample for transurethral cystectomy since the size of the tissue sample for transurethral cystectomy is relatively large, it is difficult to find and determine the type of bladder cancer by examining a sample in the form of a glass slide with an optical microscope or reading a sample in the form of a pathological image with a monitor. It can be a tiring and arduous task for a specialist, and this demand is growing even more.
  • Non-Patent Document 1 Non-Patent Document: (Antoni2016) Antoni, S. et al., Bladder Cancer Incidence and Mortality: A Global Overview and Recent Trends.
  • the technical problem to be achieved by the present invention is to implement a neural network-based diagnostic system that can additionally diagnose various bladder lesions through tissue samples obtained through transurethral cystectomy performed as a diagnostic and local treatment method for bladder cancer.
  • a neural network is constructed using learning data annotating the lesion region only for bladder lesions that must be learned by annotating the lesion region, and learning data annotated only the type of lesion for the rest of the bladder lesions.
  • the bladder lesion diagnosis system receives a unit pathology image, and the bladder lesion diagnosis system converts the unit pathology image into a first neural network. acquiring a diagnosis result of a first bladder lesion among a plurality of bladder lesions in the unit pathology image by inputting it into a network, and inputting the unit pathology image to a second neural network by the bladder lesion diagnosis system to obtain the unit pathology image obtaining a diagnosis result of a second bladder lesion excluding the first bladder lesion among the plurality of bladder lesions, wherein the first neural network includes a plurality of annotated lesion regions in which the first bladder lesion is expressed. characterized in that it is a neural network learned through the first learning data of 2 The training data is characterized in that it is a neural network learned through the data on which the annotation on the lesion region is not performed.
  • the unit pathology image may be a patch image in which a pathology image corresponding to a tissue specimen obtained through transurethral resection of bladder (TURB) is divided into predetermined sizes.
  • TURB transurethral resection of bladder
  • the first bladder lesion may include a urothelial carcinoma in situ (CIS) lesion.
  • CIS urothelial carcinoma in situ
  • the second bladder lesion is invasive bladder cancer (invasive urothelial carcinoma), low/high grade noninvasive papillary urothelial carcinoma lesion, papillary urothelial neoplasm of low malignant potential (PUNLMP) lesion, urothelial proliferation of unknown malignant potential (UPUMP) lesion, urothelial papilloma lesion , at least one of an inverted urothelial papilloma lesion and a urothelial dysplasia lesion.
  • invasive bladder cancer invasive urothelial carcinoma
  • low/high grade noninvasive papillary urothelial carcinoma lesion papillary urothelial neoplasm of low malignant potential (PUNLMP) lesion
  • UPUMP urothelial proliferation of unknown malignant potential
  • the bladder lesion diagnosis system receives a unit pathology image, the bladder lesion diagnosis system inputs the unit pathology image to a second neural network, and the unit pathology obtaining a diagnosis result of a second bladder lesion excluding the first bladder lesion among a plurality of bladder lesions in an image, and the bladder lesion diagnosis system inputs the unit pathology image to the first neural network to obtain the unit pathology image and obtaining a diagnosis result of the first bladder lesion among the plurality of bladder lesions, wherein the first neural network uses a plurality of first learning data annotated with the lesion region in which the first bladder lesion is expressed.
  • the second neural network is a plurality of second learning data annotated with an expression lesion type, which is whether at least one of the second bladder lesions is expressed - the second learning data is in the lesion region. It is characterized in that it is a neural network learned through unannotated data.
  • the method may be implemented by a computer program stored in a computer-readable recording medium.
  • a bladder lesion diagnosis system using a neural network includes a processor and a storage device in which a program executed by the processor is recorded, and the processor drives the program to produce a unit pathological image.
  • a diagnosis result of a first bladder lesion among a plurality of bladder lesions is obtained in the unit pathology image by input to one neural network, and the unit pathology image is input to a second neural network to display the plurality of bladder lesions in the unit pathology image.
  • a diagnosis result of a second bladder lesion excluding the first bladder lesion is obtained, and the first neural network is a neural network learned through a plurality of first learning data in which the lesion region in which the first bladder lesion is expressed is annotated.
  • the second neural network is a plurality of second learning data annotated with an expression lesion type, which is whether at least one of the second bladder lesions is expressed; It is characterized in that it is a neural network learned through unperformed data.
  • transurethral bladder through a neural network-based diagnostic system that can additionally diagnose various bladder lesions through tissue samples obtained through transurethral cystectomy as a local treatment method and diagnosis of bladder cancer. Resection is effective in diagnosing not only bladder cancer but also various bladder lesions.
  • a neural network is constructed using learning data annotating the lesion region only for bladder lesions that must be learned by annotating the lesion region, and for the rest of the bladder lesions, only the type of lesion is annotated. Building a neural network using data has the effect of effectively building a diagnostic system.
  • FIG. 1 is a diagram for explaining a schematic system for implementing a bladder lesion diagnosis method using a neural network according to the technical idea of the present invention.
  • FIG. 2 is a diagram for explaining a logical configuration of a bladder lesion diagnosis system using a neural network according to the technical idea of the present invention.
  • FIG. 3 is a diagram for explaining the physical configuration of a bladder lesion diagnosis system using a neural network according to the technical idea of the present invention.
  • FIG. 4 is a diagram for explaining the concept of a bladder lesion diagnosis method using a neural network according to the technical idea of the present invention.
  • FIG. 5 is a flowchart illustrating a method for diagnosing bladder lesions using a neural network according to the technical concept of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram for explaining a schematic system for implementing a bladder lesion diagnosis method using a neural network according to the technical idea of the present invention.
  • a diagnosis system 100 may be installed in a predetermined server 10 to implement the technical idea of the present invention.
  • the server 10 refers to a data processing device having arithmetic capability for implementing the technical idea of the present invention, and generally provides a specific service such as a personal computer, a mobile terminal, etc. as well as a data processing device accessible by a client through a network.
  • An average expert in the art of the present invention can easily infer that any device capable of performing can be defined as a server.
  • the server 10 may include a processor 11 and a storage device 12 as shown in FIG. 3 .
  • the processor 11 may mean an arithmetic device capable of driving the program 12-1 for implementing the technical idea of the present invention, and the processor 11 includes the program 12-1 and the present invention. Diagnosis may be performed using a plurality of neural networks (Nerual Networks, 12-2, 12-3) defined by the technical idea of .
  • the processor 110 may mean an arithmetic device capable of executing a predetermined program (software code), and may include an implementation example of the data processing device or a vendor mobile processor, microprocessor, CPU, single processor, multiprocessor, It may be named by various names such as GPU, and may be implemented by one or more processors.
  • An average expert in the technical field of the present invention can easily infer that the processor 110 can perform data processing necessary for the technical idea of the present invention by driving the program.
  • the storage device 120 may mean a device in which a program for implementing the technical idea of the present invention is stored/installed. According to an embodiment, the storage device 120 may be divided into a plurality of different physical devices, and according to an embodiment, a part of the storage device 120 may exist inside the processor 110 .
  • the storage device 120 may be implemented as a hard disk, a GPU, a solid state disk (SSD), an optical disk, a random access memory (RAM), and/or other various types of storage media, depending on the embodiment. Accordingly, it may be implemented in a detachable manner in the storage device 120 .
  • the processor 11 drives the program 12-1 to perform a plurality of processes through the neural networks 12-2 and 12-3. It may mean outputting whether or not at least one of bladder lesions is expressed and/or an expression region.
  • the expression region of a given bladder lesion may be determined in units of pixels, and for this purpose, it is known that a neural network for determining whether each pixel is included in the expression region of a given disease can be learned and utilized. The description will be omitted.
  • the storage device 12 may mean a data storage means capable of storing the program 12-1 and the neural networks 12-2 and 12-3, and is implemented as a plurality of storage means according to an embodiment. it might be In addition, the storage device 12 may be meant to include not only the main storage device included in the server 10 , but also a temporary storage device or memory that may be included in the processor 11 .
  • diagnosis system 100 is illustrated as being implemented as any one physical device in FIG. 1 or FIG. 3 , a plurality of physical devices are organically combined as necessary to provide the diagnosis system 100 according to the technical spirit of the present invention.
  • An average expert in the technical field of the present invention can easily infer that it can be implemented.
  • the diagnosis system 100 when it performs diagnosis, it may mean a series of processes of receiving a unit pathology image and outputting the output data defined in this specification.
  • the output data may be data indicating the type of the expressed lesion when one or a plurality of bladder lesions are expressed in the unit pathology image as described above.
  • the output data may further include not only the type of lesion but also information indicating the region in which the lesion is expressed (eg, whether each pixel is included in the lesion region) as described above.
  • the unit pathology image may be a patch image in which a slide image of a tissue sample obtained through transurethral cystectomy is divided into predetermined sizes.
  • the size of the patch image may be appropriately determined according to need.
  • various bladder lesions can be diagnosed through tissue samples obtained through transurethral cystectomy.
  • the method to obtain the most accurate results in developing such a machine learning model is learning by annotating the types and regions of lesions expressed for each pathological image (a slide image or a patch image in which the slide image is divided) of a tissue sample. It may be to secure a large amount of data and learn the secured large amount of learning data through a neural network. That is, by training a machine learning model in a supervised-learning method, a neural network that outputs (diagnosing) whether a bladder lesion is expressed on a pathological image and, if so, what type of bladder lesion is expressed, can be learned. . In addition, as described above, if necessary, the neural network may be trained to output even the region of the expressed bladder lesion.
  • tissue sample and its pathological images obtained through transurethral cystectomy are relatively large and there are various types of bladder lesions, it is difficult for a pathologist to annotate the types and areas of lesions for each type of lesion one by one. It is a very difficult task, and accordingly, building a large amount of training data is also very costly and time consuming.
  • annotating the expressed lesion region on the pathology image requires relatively large resources.
  • a method of annotating only the type of lesion indicating which lesion is expressed in the pathological image without annotating the lesion region in the image may be considered.
  • a machine learning model can be developed that determines the lesion region and/or type using predetermined supervised learning methods only with the lesion type information present in the pathological image, and in this case, each pathological image has A number of lesion types that can be identified are annotated, and supervised learning methods using them include semi/unsupervised learning (Xie2019) using consistency loss, etc., noisy label framework (Li2020), reject option (Geifman2019), (min/max/ attention) multiple-instance learning (Ilse2018) may be utilized.
  • bladder lesions e.g., low/high grade noninvasive papillary urothelial carcinoma, urothelial carcinoma in situ (CIS), papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), urothelial papilloma, inverted Among the urothelial papilloma, urothelial dysplasia, etc.
  • the CIS type of lesion has a characteristic that it is difficult to diagnose with a neural network trained with learning data annotating only the type of lesion on the unit pathology image as described above. This may be because the CIS type lesion is often classified according to the cell type rather than the tissue type, and thus has a characteristic that must be distinguished in a different way from other types of lesion.
  • the present invention can provide a technical idea for solving these problems.
  • a plurality of first learning data in which various bladder lesions are classified into a first bladder lesion and a second bladder lesion, and both the lesion type and the lesion area are annotated for the lesion classified as the first bladder lesion.
  • a neural network that is trained with a plurality of second learning data annotated only by the lesion type, that is, a second neural network, is constructed and the second neural network is used through the second neural network. Diagnosis can be performed.
  • the second learning data may be learning data that is not annotated with respect to the aforementioned lesion region.
  • the diagnostic performance for bladder lesions as a whole can be guaranteed by annotating the lesion type and lesion area only for limited lesions (eg, CIS lesions) where diagnostic performance is exhibited above a certain level only when the lesion area is additionally annotated due to the characteristics of the lesion. can have an effect.
  • limited lesions eg, CIS lesions
  • the diagnosis system 100 When the diagnosis system 100 is implemented by being included in a predetermined server 10 , the diagnosis system 100 communicates with at least one client (eg, 20 , 20 - 1 ) connectable to the server 10 . can also be performed.
  • the client eg, 20, 20-1
  • the diagnosis system 100 views the transmitted pathology image or unit pathology image. Diagnosis according to the technical spirit of the invention can be performed.
  • the diagnosis result may be transmitted to the client (Yekerdae, 20, 20-1).
  • the server 10 itself may be provided with an interface for receiving the pathological image or unit pathological image.
  • the diagnosis system 100 may diagnose various bladder lesions using a neural network according to the technical concept of the present invention. Of course, in order to perform such a diagnosis, the process of training the neural network may be performed first.
  • the diagnosis system 100 may be a system that performs diagnosis by receiving a neural network learned according to the technical idea of the present invention and a program for performing diagnosis using the neural network from the outside, or It may be a system that even performs learning.
  • the diagnosis system 100 may be implemented as a dedicated device manufactured to implement the technical idea of the present invention rather than a general-purpose data processing device. In this case, means for scanning pathological images may be further provided. may be
  • the diagnosis system 100 for implementing this technical idea may logically have the configuration shown in FIG. 2 .
  • FIG. 2 is a diagram for explaining a logical configuration of a disease diagnosis system using a neural network according to an embodiment of the present invention.
  • the diagnosis system 100 includes a control module 110 and a neural network module 120 in which a neural network is stored.
  • the diagnosis system 100 may further include a pre-processing module 130 .
  • the diagnostic system 100 may mean a logical configuration including hardware resources and/or software necessary for implementing the technical idea of the present invention, and necessarily means one physical component or one It doesn't mean the device. That is, the diagnosis system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform respective functions By doing so, it may be implemented as a set of logical configurations for implementing the technical idea of the present invention. Also, the diagnosis system 100 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the control module 110 , the neural network module 120 , and/or the preprocessing module 130 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each of the control module 110, the neural network module 120, and/or the preprocessing module 130 is also located in different physical devices, Components located in different physical devices may be organically coupled to each other to implement the respective modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or one type of hardware. can be easily inferred to an average expert in the technical field of the present invention.
  • the control module 110 controls other components (eg, the neural network module 120 and/or the preprocessing module 130 ) included in the diagnosis system 100 to implement the technical idea of the present invention. can do.
  • control module 110 may perform the diagnosis according to the technical idea of the present invention by using the neural network stored in the neural network module 120 .
  • the neural network module 120 may store a plurality of neural networks as described above.
  • the neural network may refer to a set of information representing a series of design items defining the neural network.
  • the neural network may be a convolutional neural network, but various types of neural networks capable of performing diagnosis by well extracting features based on the lesion type and/or region annotated on the pathological image may be used. An average expert in the technical field of the present invention can easily infer.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or a sub-sampling layer).
  • a convolutional neural network may be designed to include a normalization layer such as a batch normalization (BN) layer.
  • BN batch normalization
  • a convolutional neural network may be defined by a function, a filter, a stride, a weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer.
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, well-known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical idea of the present invention Separately defined functions may be used.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), Swish, an exponential linear unit (ELU), and the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device. And when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified.
  • learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is trained, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the control module 110 may sequentially input a unit pathology image, that is, a pathology image to be diagnosed, to a plurality of neural networks stored in the neural network module 120 .
  • the unit pathology image may be a patch image in which a slide image is divided into a predetermined size.
  • the plurality of neural networks may include a first neural network and a second neural network.
  • the first neural network and the second neural network are respectively learned and constructed separately, and information annotated on the learning data used at this time may also be different.
  • the types of deep learning models used for the first neural network and the second neural network may also be different from each other.
  • the first neural network may be a neural network for diagnosing the first bladder lesion as described above.
  • the plurality of first learning data used for learning of the first neural network may be learning data, that is, information in which a lesion region is annotated for each pathological image.
  • learning data that is, information in which a lesion region is annotated for each pathological image.
  • the types of lesions need to be separately annotated.
  • the first bladder lesion may include a carcinoma in situ (CIS) lesion, and if necessary, other lesions may be further included in the first bladder lesion.
  • CIS carcinoma in situ
  • the second neural network may be a neural network for diagnosing the second bladder lesion as described above.
  • the region of the bladder lesion is not annotated for each training data, that is, each pathological image, but only the type of the lesion may be annotated.
  • These secondary bladder lesions are invasive bladder cancer (invasive urothelial carcinoma), low/high grade noninvasive papillary urothelial carcinoma, papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), urothelial papilloma, inverted urothelial papilloma , urothelial dysplasia, and if necessary, other lesions may be further included in the second bladder lesion.
  • invasive bladder cancer invasive urothelial carcinoma
  • PUNLMP papillary urothelial neoplasm of low malignant potential
  • UPUMP urothelial proliferation of unknown malignant potential
  • urothelial papilloma inverted urothelial papilloma
  • urothelial dysplasia if necessary, other lesions may be further included in the second bladder lesion.
  • the control module 110 may input the unit pathology image to the first neural network to first diagnose the first bladder lesion.
  • the diagnosis of the second bladder lesion may be performed.
  • the unit pathology image may be input to the second neural network first, and then the unit pathology image may be input to the first neural network, or the unit pathology image may be input simultaneously to perform diagnosis in parallel.
  • the pre-processing module 130 may perform pre-processing of a pathological image necessary before performing a diagnosis using a neural network.
  • the pre-processing of the pathological image may include dividing the pathological image into patches of a predefined size, and the present invention may also perform appropriate image processing in a manner suitable for each of the neural networks, if necessary. An average expert in the field of technology can easily infer.
  • FIG. 4 is a diagram for explaining the concept of a bladder lesion diagnosis method using a neural network according to the technical idea of the present invention.
  • FIG. 5 is a flowchart illustrating a method for diagnosing bladder lesions using a neural network according to the technical idea of the present invention.
  • the diagnosis system 100 may receive a plurality of unit pathological images 31 , 31-1 , 31-2 , 31-3 , etc. to be diagnosed ( S100 ). ).
  • the unit pathology images (31, 31-1, 31-2, 31-3, etc.) include at least one pathological image (eg, slide image, 30) generated from a tissue sample obtained by transurethral cystectomy. It may be a patch image divided by size.
  • Each of the unit pathological images 31, 31-1, 31-2, 31-3, etc. may be input to both the first neural network and the second neural network (S110 and S120). At this time, each of the unit pathology images (31, 31-1, 31-2, 31-3, etc.) is input to the first neural network first, the first bladder lesion is diagnosed, and then the second neural network is input to the second bladder. It goes without saying that the lesions may be diagnosed, the order of which may be changed, or the diagnosis may be performed at the same time.
  • the lesion type and/or area for the first bladder lesion through the first neural network and the second neural network When the diagnosis of the lesion type and/or area of the second bladder lesion is performed, the diagnosis result of each of the unit pathology images (31, 31-1, 31-2, 31-3, etc.) is mapped to a slide image. can be (S130).
  • a diagnosis result of the slide image that is, information indicating the lesion area and/or type in the slide image may be obtained.
  • a neural network-based diagnostic system that can additionally diagnose various bladder lesions through tissue samples obtained through transurethral cystectomy performed as a diagnostic and local treatment method for bladder cancer can be implemented.
  • a neural network is constructed using learning data annotating the lesion region only for bladder lesions that must be learned by annotating the lesion region, and learning data annotated only the type of lesion for the rest of the bladder lesions. It has the effect of effectively constructing a diagnostic system by constructing a neural network using
  • the method for diagnosing bladder lesions using a neural network can be implemented as computer-readable codes on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention pertains.
  • the present invention can be applied to a method and system for diagnosing bladder lesions using a neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템이 개시된다. 상기 뉴럴 네트워크를 이용한 방광병변 진단 방법은 방광병변 진단 시스템이 단위 병리 이미지를 입력 받는 단계, 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변의 진단결과를 획득하는 단계, 및 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하는 단계를 포함하며, 상기 제1뉴럴 네트워크는 상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고, 상기 제2뉴럴 네트워크는 상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 한다.

Description

뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
본 발명은 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 방광의 생체조직에 기반한 병리이미지를 이용하여 복수의 방광 병변을 진단할 수 있는 진단 시스템을 효과적으로 학습시키고 진단에 이용할 수 있는 방법 및 그 시스템에 관한 것이다.
방광암은 흔히 발생하는 암의 종류 중 하나이며 재발 가능성도 높은 편이다. 이러한 방광암의 진단 및 국소적 치료 방법으로 경요도방광절제술(transurethral resection of bladder; TURB)이 주로 사용되고 있다.
일반적으로 경요도방광절제술을 통해 확보된 조직 검체를 병리적으로 판독하여 방광암의 확진, 중증도 판별 등의 진단이 이루어지고 있다.
이때 경요도방광절제술을 통해 확보된 조직 검체 방광암의 진단 뿐만 아니라 방광과 관련된 여러 병변을 진단하는데에도 이용할 수 있다.
예컨대, 경요도방광절제술을 통해 확보된 조직 검체에서 확인할 수 있는 병변의 종류는 많으며, 크게 침윤성 암 병변과 비침윤성 병변으로 나눌 수 있다.
또한 비침윤성 병변에는 low/high grade noninvasive papillary urothelial carcinoma, urothelial carcinoma in situ (CIS) 등의 암 병변과, papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), urothelial papilloma, inverted urothelial papilloma, urothelial dysplasia 등의 증식성 병변이 있다.
그리고 이러한 다양한 방광 병변을 진단하기 위해 병리 전문가가 전적으로 진단을 하는 것은 매우 고비용일뿐 아니라 비효율적일 수 있다.
따라서 경요도방광절제술을 통해 획득된 조직 검체의 병리 슬라이드를 스캐너로 스캔하여 만든 병리 이미지를 분석하여 방광암 병변을 진단(검출)할 수 있는 기계학습 모델(뉴럴 네트워크)의 요구가 증대되고 있다.
특히, 경요도방광절제술의 조직 검체의 크기는 상대적으로 큰 편인어서, 유리 슬라이드 형태의 검체를 광학 현미경으로 검경하거나 병리 영상 형태의 검체를 모니터로 판독하며 방광암의 병변을 찾고 종류를 판별하는 일은 병리 전문의에게 피곤하고 힘든 일일 수 있어서 더더욱 이러한 요구는 증대되고 있다.
그리고 이러한 기계학습 모델을 효과적으로 구축하기 위한 기술적 사상이 요구된다.
* 선행기술문헌
- 비특허문헌
(비특허문헌 1)비특허문헌 : (Antoni2016) Antoni, S. et al., Bladder Cancer Incidence and Mortality: A Global Overview and Recent Trends.
본 발명이 이루고자 하는 기술적인 과제는 방광암의 진단 및 국소적 치료방법으로 행해지는 경요도방광절제술을 통해 획득되는 조직 검체를 통해 추가적으로 다양한 방광 병변을 진단할 수 있는 뉴럴 네트워크 기반의 진단 시스템을 구현하는 기술적 사상을 제공하는 것이다.
또한, 이러한 진단 시스템에서 병변 영역을 어노테이션하여 학습시켜야만 하는 방광병변에 대해서만 제한적으로 병변영역을 어노테이션한 학습 데이터를 이용하여 뉴럴 네트워크를 구축하고, 나머지 방광병변들에 대해서는 병변의 종류만 어노테이션한 학습데이터를 이용해 뉴럴 네트워크를 구축함으로써 진단 시스템의 구축의 효율성을 제공할 수 있는 기술적 사상을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법은 방광병변 진단 시스템이 단위 병리 이미지를 입력 받는 단계, 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변의 진단결과를 획득하는 단계, 및 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하는 단계를 포함하며, 상기 제1뉴럴 네트워크는 상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고, 상기 제2뉴럴 네트워크는 상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 한다.
상기 단위 병리 이미지는 경요도방광절제술(transurenthral resection of bladder, TURB)를 통해 확보된 조직 검체에 상응하는 병리 이미지가 소정의 크기로 분할된 패치이미지일 수 있다.
상기 제1방광 병변은 urothelial carcinoma in situ(CIS) 병변을 포함할 수 있다.
상기 제2방광 병변은 침윤성 방광암(invasive urothelial carcinoma), low/high grade noninvasive papillary urothelial carcinoma 병변, papillary urothelial neoplasm of low malignant potential (PUNLMP) 병변, urothelial proliferation of unknown malignant potential (UPUMP) 병변, urothelial papilloma 병변, inverted urothelial papilloma 병변, urothelial dysplasia 병변 중 적어도 하나를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 뉴럴 네트워크를 이용한 방광병변 진단 시스템은 방광병변 진단 시스템이 단위 병리 이미지를 입력 받는 단계, 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하는 단계, 및 상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변의 진단결과를 획득하는 단계를 포함하며, 상기 제1뉴럴 네트워크는 상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고, 상기 제2뉴럴 네트워크는 상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 한다.
상기 방법은 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 구현될 수 있다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크를 이용한 방광병변 진단 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장장치를 포함하며, 상기 프로세서는 상기 프로그램을 구동하여, 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변의 진단결과를 획득하고, 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하며, 상기 제1뉴럴 네트워크는 상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고, 상기 제2뉴럴 네트워크는 상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 한다.
본 발명의 기술적 사상에 의하면 방광암의 진단 및 국소적 치료방법으로 행해지는 경요도방광절제술을 통해 획득되는 조직 검체를 통해 추가적으로 다양한 방광병변을 진단할 수 있는 뉴럴 네트워크 기반의 진단 시스템을 통해 경요도방광절제술을 통해 방광암뿐만 아니라 다양한 방광 병변을 진단할 수 있는 효과가 있다.
또한 진단 시스템의 구축에 있어서 병변 영역을 어노테이션하여 학습시켜야만 하는 방광병변에 대해서만 제한적으로 병변영역을 어노테이션한 학습 데이터를 이용하여 뉴럴 네트워크를 구축하고, 나머지 방광병변들에 대해서는 병변의 종류만 어노테이션한 학습데이터를 이용해 뉴럴 네트워크를 구축함으로써 진단 시스템을 효과적으로 구축할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법을 구현하기 위한 개략적인 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 시스템의 물리적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법의 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법을 설명하기 위한 플로우 차트를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법을 구현하기 위한 개략적인 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법(이하, 진단 시스템, 100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 복수의 뉴럴 네트워크들(Nerual Network, 12-2, 12-3)을 이용해 진단을 수행할 수 있다.
상기 프로세서(110)는 소정의 프로그램(소프트웨어 코드)을 실행할 수 있는 연산장치를 의미할 수 있으며 상기 데이터 처리장치의 구현 예 또는 벤더(Vendor) 모바일 프로세서, 마이크로 프로세서, CPU, 싱글 프로세서, 멀티 프로세서, GPU 등 다양한 명칭으로 명명될 수 있으며 하나 이상의 프로세서로 구현될 수 있다.
상기 프로세서(110)는 상기 프로그램을 구동하여 본 발명의 기술적 사상에 필요한 데이터 처리를 수행할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 저장장치(120)는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장/설치되는 장치를 의미할 수 있다. 구현 예에 따라 상기 저장장치(120)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장장치(120)의 일부는 상기 프로세서(110)의 내부에 존재할 수도 있다. 상기 저장장치(120)는 구현 예에 따라 하드 디스크, GPU, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 저장장치(120)에 착탈식으로 구현될 수도 있다.
본 명세서에서 상기 진단 시스템(100)이 진단을 수행한다고 함은, 상기 프로세서(11)가 상기 프로그램(12-1)을 구동하여 상기 뉴럴 네트워크들(12-2, 12-3)을 통해 복수의 방광 병변들 중 적어도 하나의 발현여부 및/또는 발현 영역을 출력하는 것을 의미할 수 있다.
소정의 방광 병변의 발현 영역은 픽셀단위로 결정될 수도 있으며, 이를 위해 픽셀별로 소정의 질병의 발현 영역에 포함되는지 여부를 판단하는 뉴럴 네트워크가 학습되어 활용될 수 있음은 공지된 바 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다.
상기 저장장치(12)는 상기 프로그램(12-1) 및 뉴럴 네트워크들(12-2, 12-3)을 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 서버(10)에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)은 도 1 또는 도 3에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 명세서에서 상기 진단 시스템(100)이 진단을 수행한다고 함은 단위 병리 이미지를 입력받아 본 명세서에서 정의된 출력 데이터를 출력하는 일련의 프로세스를 의미할 수 있다. 상기 출력 데이터는 전술한 바와 같이 상기 단위 병리 이미지에 복수의 방광 병변들 중 하나 또는 복수 개가 발현된 경우 발현된 병변의 종류를 나타내는 데이터일 수 있다. 또는 병변의 종류 뿐만 아니라 전술한 바와 같이 병변이 발현된 영역을 나타내는 정보(예컨대, 픽셀별로 병변 영역에 포함되는지 여부)가 상기 출력 데이터에 더 포함될 수도 있다.
상기 단위 병리 이미지는 경요도방광절제술을 통해 획득된 조직 검체의 슬라이드 이미지가 일정 크기로 분할된 패치 이미지일 수 있다. 이러한 패치 이미지의 사이즈는 필요에 따라 적절히 결정될 수 있다.
전술한 바와 같이 경요도방광절제술을 통해 획득된 조직 검체를 통해서는 다양한 방광 병변을 진단할 수 있는데, 이를 병리 전문가가 일일이 슬라이드 이미지를 확인하면서 진단하는 것은 매우 많은 시간과 비용이 들 수 있다.
따라서 경요도방광절제술을 통해 획득된 조직 검체를 통해 다양한 방광 병변을 진단할 수 있는 기계학습 모델 즉, 적어도 하나의 학습된 뉴럴 네트워크의 필요성이 요구될 수 있다.
통상적으로 이러한 기계학습 모델을 개발하는데 있어서 가장 정확한 결과를 얻을 수 있는 방법은 조직 검체의 병리 이미지(슬라이드 이미지 또는 상기 슬라이드 이미지가 분할된 패치 이미지)별로 발현된 병변의 종류와 영역을 일일이 어노테이션한 학습 데이터를 대량으로 확보하여, 확보한 대량의 학습 데이터를 뉴럴 네트워크를 통해 학습시키는 것일 수 있다. 즉, 지도 학습(supervised-learning) 방식으로 기계학습 모델을 훈련하여 병리 이미지 상에서 방광 병변이 발현되었는지 여부, 발현되었다면 어떤 종류의 방광 병변이 발현되었는지를 출력(진단)하는 뉴럴 네트워크가 학습될 수 있다. 또한 전술한 바와 같이 필요시에는 발현된 방광 병변의 영역까지 출력하도록 뉴럴 네트워크가 학습될 수도 있다.
그런데 경요도방광절제술을 통해 획득한 조직 검체 및 이의 병리 영상 자체가 상대적으로 클뿐만 아니라, 방광 병변의 종류도 다양하기 때문에 모든 종류의 병변별로 병리 전문가가 병변의 종류 및 병변 영역을 일일이 어노테이션하는 것은 매우 힘든 일이며, 이에 따라 대량의 학습 데이터를 구축하는 것 역시 매우 큰 비용과 시간이 소요되는 문제가 있다.
특히 병리 이미지(단위 병리 이미지)상에서 발현된 병변의 종류만을 어노테이션하는 것에 비해, 발현된 병변 영역을 병리 이미지상에 어노테이션하는 것이 상대적으로 큰 리소스가 소요되는 문제가 있는데, 이러한 문제점을 해결하기 위해서는 병리 이미지에서 병변 영역은 어노테이션하지 않고 해당 병리 이미지에 어떤 병변이 발현되었는지 병변 종류만을 어노테이션하는 방법이 고려될 수 있다.
그리고 병변 영역에 대한 어노테이션 정보 없이 병리 영상 내에 존재하는 병변 종류 정보만으로도 소정의 지도 학습 방법들을 사용하여 병변 영역 및/또는 종류를 판별하는 기계학습 모델을 개발할 수 있고, 이때 각 병리 영상에는 영상 내에서 확인할 수 있는 다수의 병변 종류들이 어노테이션되며, 이를 사용한 지도 학습 방법으로는 consistency loss 등을 활용한 semi/unsupervised learning (Xie2019), noisy label framework(Li2020), reject option (Geifman2019), (min/max/attention) multiple-instance learning (Ilse2018) 등이 활용될 수 있다.
그리고 본 출원인은 이러한 방식으로 단위 병리 이미지에 발현된 병변의 종류만을 어노테이션하여 뉴럴 네트워크를 학습시켜서 다양한 방광 병변을 진단하는 진단 시스템을 구축하여 그 성능을 실험한 바 있다.
그런데 다양한 방광 병변들(예컨대, low/high grade noninvasive papillary urothelial carcinoma, urothelial carcinoma in situ (CIS), papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), urothelial papilloma, inverted urothelial papilloma, urothelial dysplasia 등)중에서 대부분은 이러한 병변 종류만을 어노테이션한 학습 데이터로 학습시켜도 병변의 종류 및/또는 병변 영역을 잘 진단할 수 있음을 확인하였다.
그런데, CIS 종류의 병변은 상기한 바와 같이 단위 병리 이미지 상에서 병변의 종류만을 어노테이션한 학습 데이터로 학습시킨 뉴럴 네트워크로는 진단이 잘 되지 않는 특성이 있음을 확인하였다. 이는 CIS 종류의 병변은 조직의 형태보다는 세포의 형태에 따라 구분되는 경우가 많아, 다른 종류의 병변과는 다른 방식으로 판별되어야 하는 특성이 있기 때문일 수 있다.
따라서 본 발명은 이러한 문제를 해결하기 위한 기술적 사상을 제공할 수 있다.
본 발명의 기술적 사상에 의하면, 다양한 방광 병변들을 제1방광 병변과 제2방광 병변으로 구분하고, 제1방광 병변으로 분류된 병변에 대해서는 병변 종류와 병변 영역을 모두 어노테이션한 복수의 제1학습 데이터로 학습을 시킨 뉴럴 네트워크 즉, 제1뉴럴 네트워크를 구축하여 상기 제1뉴럴 네트워크를 통해 진단을 수행할 수 있다.
그리고 나머지 방광 병변들 즉, 제2방광 병변으로 분류된 병변에 대해서는 병변 종류만을 어노테이션한 복수의 제2학습데이터로 학습을 시킨 뉴럴 네트워크 즉, 제2뉴럴 네트워크를 구축하여 상기 제2뉴럴 네트워크를 통해 진단을 수행할 수 있다. 이때 상기 제2학습 데이터는 전술한 병변 영역에 대해서는 어노테이션이 미수행된 학습 데이터일 수 있다.
이를 통해 다양한 방광 병변들 중에서 병변의 종류만을 어노테이션하여 학습시킨 경우에도 진단의 성능이 양호한 병변들은 병변의 종류만을 어노테이션하여 학습시킴으로써 가급적 학습데이터의 구축을 효율적으로 하는 효과가 있다.
또한 병변의 특성상 병변 영역까지 추가로 어노테이션하여 학습시켜야만 진단의 성능이 일정 수준 이상 발휘되는 제한된 병변(예컨대, CIS 병변)에 대해서만 병변 종류 및 병변 영역을 어노테이션하여 전체적으로 방광 병변에 대한 진단 성능을 보장할 수 있는 효과가 있다.
상기 진단 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 진단 시스템(100)은 상기 서버(10)에 접속가능한 적어도 하나의 클라이언트(예컨대, 20, 20-1)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20, 20-1)는 병리 이미지 또는 단위 병리 이미지를 상기 진단 시스템(100)으로 전송할 수 있고, 상기 진단 시스템(100)은 전송된 병리 이미지 또는 단위 병리 이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예커대, 20, 20-1)로 전송할 수도 있다.
물론 실시 예에 따라서는 상기 서버(10) 자체에 상기 병리 이미지 또는 단위 병리 이미지를 입력받기 위한 인터페이스가 구비될 수도 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용하여 다양한 방광 병변에 대한 진단을 수행할 수 있다. 물론, 이러한 진단을 수행하기 위해 상기 뉴럴 네트워크를 학습시키는 프로세스를 먼저 수행할 수도 있다.
따라서 상기 진단 시스템(100)은 본 발명의 기술적 사상에 따라 학습된 뉴럴 네트워크 및 상기 뉴럴 네트워크를 이용하여 진단을 수행하기 위한 프로그램을 외부로부터 수신하여 진단을 수행하는 시스템일 수도 있고, 상기 뉴럴 네트워크의 학습까지 수행하는 시스템일 수도 있다. 또한, 상기 진단 시스템(100)은 범용의 데이터처리장치가 아니라 본 발명의 기술적 사상을 구현하기 위해 제작된 전용 장치로 구현될 수도 있고, 이러한 경우에는 병리 이미지를 스캔하기 위한 수단 등이 더 구비될 수도 있다.
이러한 기술적 사상을 구현하기 위한 상기 진단 시스템(100)은 논리적으로 도 2와 같은 구성을 가질 수 있다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 상기 진단 시스템(100)은 제어모듈(110) 및 뉴럴 네트워크가 저장된 뉴럴 네트워크 모듈(120)을 포함한다. 또한, 상기 진단 시스템(100)은 전처리 모듈(130)을 더 포함할 수 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120), 및/또는 상기 전처리 모듈(130) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 상기 진단 시스템(100)에 포함된 다른 구성(예컨대, 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 등)을 제어할 수 있다.
또한, 상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 뉴럴 네트워크를 이용하여 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다.
상기 뉴럴 네트워크 모듈(120)은 전술한 바와 같이 복수의 뉴럴 네트워크를 저장할 수 있다. 상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크일 수 있지만 병리 이미지 상에 어노테이션된 병변 종류 및/또는 영역에 기초하여 피쳐를 잘 추출하여 진단을 수행할 수 있는 다양한 종류의 뉴럴 네트워크가 이용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 컨볼루션 뉴럴 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 또한 최근에는 batch normalization(BN) 레이어 등의 정규화 레이어가 포함되도록 컨볼루션 뉴럴 네트워크가 설계될 수도 있다.
컨볼루션 뉴럴 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴럴 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit), Swish, ELU(exponential linear unit)등일 수 있다.
이러한 컨볼루션 뉴럴 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴럴 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴럴 네트워크가 학습되면, 학습된 컨볼루션 뉴럴 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 복수의 뉴럴 네트워크들에 순차적으로 단위 병리 이미지 즉 진단할 병리 이미지를 입력시킬 수 있다. 상기 단위 병리 이미지는 슬라이드 이미지가 소정의 크기로 분리된 패치 이미지일 수 있음은 전술한 바와 같다.
이때 복수의 뉴럴 네트워크들은 제1뉴럴 네트워크와 제2뉴럴 네트워크를 포함할 수 있다. 그리고 상기 제1뉴럴 네트워크와 상기 제2뉴럴 네트워크는 각각 별개로 학습되어 구축되며, 이때 사용되는 학습데이터에 어노테이션 되는 정보 역시 다를 수 있다. 물론 제1뉴럴 네트워크와 제2뉴럴 네트워크에 사용되는 딥러닝 모델 의 종류 역시 서로 상이할 수도 있다.
상기 제1뉴럴 네트워크는 전술한 바와 같이 제1방광 병변을 진단하기 위한 뉴럴 네트워크일 수 있다. 상기 제1뉴럴 네트워크의 학습을 위해 사용되는 복수의 제1학습 데이터에는 학습 데이터 즉, 병리 이미지별로 병변 영역이 어노테이션된 정보일 수 있다. 물론 제1방광 병변의 종류가 복수개인 경우에는 별도로 병변의 종류가 어노테이션될 필요가 있음은 물론이다.
이러한 제1방광 병변은 carcinoma in situ(CIS) 병변을 포함할 수 있으며, 필요에 따라 다른 병변이 제1방광 병변에 더 포함될 수도 있다.
상기 제2뉴럴 네트워크는 전술한 바와 같이 제2방광 병변을 진단하기 위한 뉴럴 네트워크일 수 있다. 상기 제2뉴럴 네트워크의 학습을 위해 사용되는 복수의 제2학습 데이터에는 학습 데이터 즉, 병리 이미지별로 방광 병변의 영역은 어노테이션되지 않고 병변의 종류만이 어노테이션될 수 있다.
이러한 제2방광 병변은 침윤성 방광암(invasive urothelial carcinoma), low/high grade noninvasive papillary urothelial carcinoma, papillary urothelial neoplasm of low malignant potential (PUNLMP), urothelial proliferation of unknown malignant potential (UPUMP), urothelial papilloma, inverted urothelial papilloma, urothelial dysplasia를 포함할 수 있으며 필요에 따라 다른 병변이 제2방광 병변에 더 포함될 수도 있다.
상기 제어모듈(110)은 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 제1방광 병변에 대한 진단을 먼저 수행할 수 있다. 그리고 제2뉴럴 네트워크에 상기 단위 병리 이미지를 입력하여 제2방광 병변에 대한 진단을 수행할 수 있다. 물론 제2뉴럴 네트워크에 단위 병리 이미지가 먼저 입력된 후 제1뉴럴 네트워크에 단위 병리 이미지가 입력될 수도 있으며, 동시에 입력되어 병렬로 진단이 수행될 수도 있음은 물론이다.
상기 전처리 모듈(130)은 뉴럴 네트워크를 이용하여 진단을 수행하기 전에 필요한 병리 이미지의 전처리를 수행할 수 있다. 예컨대, 상기 병리 이미지의 전처리는 병리 이미지를 미리 정의된 크기의 패치들로 분할하는 과정을 포함할 수 있으며, 필요에 따라 뉴럴 네트워크들 각각에 적합한 방식으로 적절한 이미지 프로세싱을 수행할 수도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 4는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법의 개념을 설명하기 위한 도면이다.
또한, 도 5는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법을 설명하기 위한 플로우 차트를 나타낸다.
도 4 및 도 5를 참조하면, 상기 진단 시스템(100)은 진단의 대상이 되는 복수의 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)을 입력받을 수 있다(S100).
상기 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)은 경요도방광절제술로 획득한 조직 검체로부터 생성된 적어도 하나의 병리 이미지(예컨대, 슬라이드 이미지, 30)가 소정의 크기로 분할된 패치 이미지일 수 있다.
각각의 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)은 제1뉴럴 네트워크 및 제2뉴럴 네트워크에 모두 입력될 수 있다(S110, S120). 이때 각각의 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)은 제1뉴럴 네트워크에 먼저 입력되어 제1방광 병변이 진단된 후 제2뉴럴 네트워크에 입력되어 제2방광 병변이 진단될 수도 있고, 그 순서가 변경되거나 또는 동시에 진단이 수행될 수도 있음은 물론이다.
각각의 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)에 대해, 제1뉴럴 네트워크를 통한 제1방광 병변에 대한 병변 종류 및/또는 영역과 제2뉴럴 네트워크를 통한 제2방광 병변에 대한 병변 종류 및/또는 영역에 대한 진단이 수행되면, 각각의 단위 병리 이미지들(31, 31-1, 31-2, 31-3 등)의 진단 결과가 슬라이드 이미지로 매핑될 수 있다(S130).
그러면 슬라이드 이미지에 대한 진단결과 즉, 슬라이드 이미지에서 병변 영역 및/또는 종류가 표시된 정보가 획득될 수 있다.
결국 본 발명의 기술적 사상에 의하면, 방광암의 진단 및 국소적 치료방법으로 행해지는 경요도방광절제술을 통해 획득되는 조직 검체를 통해 추가적으로 다양한 방광병변을 진단할 수 있는 뉴럴 네트워크 기반의 진단 시스템을 구현할 수 있고, 이러한 진단 시스템에서 병변 영역을 어노테이션하여 학습시켜야만 하는 방광병변에 대해서만 제한적으로 병변영역을 어노테이션한 학습 데이터를 이용하여 뉴럴 네트워크를 구축하고, 나머지 방광병변들에 대해서는 병변의 종류만 어노테이션한 학습데이터를 이용해 뉴럴 네트워크를 구축함으로써 진단 시스템을 효과적으로 구축할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 방광병변 진단 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템에 이용될 수 있다.

Claims (8)

  1. 방광병변 진단 시스템이 단위 병리 이미지를 입력 받는 단계;
    상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변의 진단결과를 획득하는 단계; 및
    상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하는 단계를 포함하며,
    상기 제1뉴럴 네트워크는,
    상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고,
    상기 제2뉴럴 네트워크는,
    상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하는 뉴럴 네트워크를 이용한 방광병변 진단 방법.
  2. 제1항에 있어서, 상기 단위 병리 이미지는,
    경요도방광절제술(transurenthral resection of bladder, TURB)를 통해 확보된 조직 검체에 상응하는 병리 이미지가 소정의 크기로 분할된 패치이미지인 것을 특징으로 하는 뉴럴 네트워크를 이용한 방광병변 진단 방법.
  3. 제1항에 있어서, 상기 제1방광 병변은,
    urothelial carcinoma in situ(CIS) 병변을 포함하는 뉴럴 네트워크를 이용한 방광병변 진단 방법.
  4. 제1항에 있어서, 상기 제2방광 병변은,
    침윤성 방광암(invasive urothelial carcinoma), low/high grade noninvasive papillary urothelial carcinoma 병변, papillary urothelial neoplasm of low malignant potential (PUNLMP) 병변, urothelial proliferation of unknown malignant potential (UPUMP) 병변, urothelial papilloma 병변, inverted urothelial papilloma 병변, urothelial dysplasia 병변 중 적어도 하나를 포함하는 뉴럴 네트워크를 이용한 방광병변 진단 방법.
  5. 방광병변 진단 시스템이 단위 병리 이미지를 입력 받는 단계;
    상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하는 단계; 및
    상기 방광 병변 진단 시스템이 상기 단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변의 진단결과를 획득하는 단계를 포함하며,
    상기 제1뉴럴 네트워크는,
    상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고,
    상기 제2뉴럴 네트워크는,
    상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하는 뉴럴 네트워크를 이용한 방광병변 진단 방법.
  6. 데이터 처리장치에 설치되며 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  7. 프로세서; 및
    상기 프로세서에 의해 실행되는 프로그램이 기록된 메모리를 포함하며,
    상기 프로세서는 상기 프로그램을 구동하여,
    단위 병리 이미지를 제1뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 복수의 방광병변들 중 제1방광 병변의 진단결과를 획득하고, 상기 단위 병리 이미지를 제2뉴럴 네트워크에 입력하여 상기 단위 병리 이미지에 상기 복수의 방광병변들 중 상기 제1방광 병변을 제외한 제2방광 병변의 진단결과를 획득하며,
    상기 제1뉴럴 네트워크는,
    상기 제1방광 병변이 발현된 병변 영역이 어노테이션된 복수의 제1학습 데이터를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하고,
    상기 제2뉴럴 네트워크는,
    상기 제2방광 병변 중 적어도 하나가 발현되었는지 여부인 발현 병변 종류가 어노테이션된 복수의 제2학습데이터-제2학습데이터는 병변 영역에 대한 어노테이션이 미수행된 데이터임-를 통해 학습된 뉴럴 네트워크인 것을 특징으로 하는 뉴럴 네트워크를 이용한 방광병변 진단 시스템.
  8. 제7항에 있어서, 상기 제1방광 병변은,
    urothelial carcinoma in situ(CIS) 병변을 포함하는 뉴럴 네트워크를 이용한 방광병변 진단 시스템.
PCT/KR2022/003546 2021-03-15 2022-03-14 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템 WO2022197044A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22771710.5A EP4290527A1 (en) 2021-03-15 2022-03-14 Bladder lesion diagnosis method using neural network, and system thereof
CN202280017419.0A CN116917999A (zh) 2021-03-15 2022-03-14 利用神经网络的膀胱病变诊断方法及其系统
US18/282,213 US20240144476A1 (en) 2021-03-15 2022-03-14 Bladder lesion diagnosis method using neural network, and system thereof
JP2023551759A JP2024512272A (ja) 2021-03-15 2022-03-14 ニューラルネットワークを用いた膀胱病変の診断方法及びそのシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210033189A KR102354476B1 (ko) 2021-03-15 2021-03-15 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
KR10-2021-0033189 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022197044A1 true WO2022197044A1 (ko) 2022-09-22

Family

ID=80050166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003546 WO2022197044A1 (ko) 2021-03-15 2022-03-14 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템

Country Status (6)

Country Link
US (1) US20240144476A1 (ko)
EP (1) EP4290527A1 (ko)
JP (1) JP2024512272A (ko)
KR (1) KR102354476B1 (ko)
CN (1) CN116917999A (ko)
WO (1) WO2022197044A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694839A (zh) * 2024-02-05 2024-03-15 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240551A1 (en) * 2017-02-20 2018-08-23 General Electric Company Methods and systems for hierarchical machine learning models for medical imaging
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20200092805A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021529585A (ja) * 2018-06-29 2021-11-04 ミラキ イノベーション シンク タンク エルエルシー 機械学習及び人工知能を使用する小型の体内で制御可能な医療機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240551A1 (en) * 2017-02-20 2018-08-23 General Electric Company Methods and systems for hierarchical machine learning models for medical imaging
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20200092805A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 커스터마이징 진단 시스템 제공방법 및 그 시스템
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANTONI, S. ET AL., BLADDER CANCER INCIDENCE AND MORTALITY: A GLOBAL OVERVIEW AND RECENT TRENDS, 2016
NEGASSI MISGANA; SUAREZ-IBARROLA RODRIGO; HEIN SIMON; MIERNIK ARKADIUSZ; REITERER ALEXANDER: "Application of artificial neural networks for automated analysis of cystoscopic images: a review of the current status and future prospects", WORLD JOURNAL OF UROLOGY, SPRINGER BERLIN HEIDELBERG, BERLIN/HEIDELBERG, vol. 38, no. 10, 10 January 2020 (2020-01-10), Berlin/Heidelberg, pages 2349 - 2358, XP037251855, ISSN: 0724-4983, DOI: 10.1007/s00345-019-03059-0 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694839A (zh) * 2024-02-05 2024-03-15 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统
CN117694839B (zh) * 2024-02-05 2024-04-16 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统

Also Published As

Publication number Publication date
US20240144476A1 (en) 2024-05-02
JP2024512272A (ja) 2024-03-19
CN116917999A (zh) 2023-10-20
KR102354476B1 (ko) 2022-01-21
EP4290527A1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
WO2017213398A1 (en) Learning model for salient facial region detection
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2017069596A1 (ko) Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2018155963A1 (en) Method of accelerating execution of machine learning based application tasks in a computing device
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2020204635A1 (ko) 병리 진단 지원 장치 및 방법
WO2019054711A1 (ko) 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
WO2022103134A1 (ko) 질병 통합 진단 시스템 및 동작 방법
WO2016204535A1 (ko) 의료 검사를 위한 이미지 분석 관리 방법 및 서버
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023191472A1 (ko) 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023013959A1 (ko) 아밀로이드 베타 축적 예측 장치 및 방법
WO2022245063A1 (ko) 인공 지능 기반의 유전체와 의료 정보 분석 및 의약 물질 개발 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771710

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023551759

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280017419.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022771710

Country of ref document: EP

Effective date: 20230906

WWE Wipo information: entry into national phase

Ref document number: 18282213

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE