WO2022191539A1 - Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
WO2022191539A1
WO2022191539A1 PCT/KR2022/003178 KR2022003178W WO2022191539A1 WO 2022191539 A1 WO2022191539 A1 WO 2022191539A1 KR 2022003178 W KR2022003178 W KR 2022003178W WO 2022191539 A1 WO2022191539 A1 WO 2022191539A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
turp
artificial neural
pathological
learning
Prior art date
Application number
PCT/KR2022/003178
Other languages
English (en)
French (fr)
Inventor
조준영
장혜윤
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to EP22767435.5A priority Critical patent/EP4290529A1/en
Priority to US18/280,662 priority patent/US20240153073A1/en
Priority to JP2023551750A priority patent/JP2024509105A/ja
Priority to CN202280020209.7A priority patent/CN117337473A/zh
Publication of WO2022191539A1 publication Critical patent/WO2022191539A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a method for learning an artificial neural network for detecting prostate cancer from a TURP pathology image and a computing system for performing the same. More particularly, it relates to a method of learning an artificial neural network capable of effectively detecting prostate cancer lesions in a TURP pathological image while considering the tissue shape characteristically appearing in the TURP pathological image, and a computing system for performing the same.
  • the existing pathology diagnosis method consists of a pathologist visually observing and reading a pathology slide image prepared from a specimen through an optical microscope.
  • the method of converting pathological slides into digital images using a microscope camera connected to a computer and then observing and reading them on a monitor can be said to be the beginning of digital pathology.
  • digital slide scanners a method of converting the entire pathological slide into a single digital image, producing a pathological slide image, and then observing and reading it through a computer monitor is widely spread.
  • a neural network which is a type of machine learning (eg, a deep learning method using a convolutional neural network (CNN)).
  • diagnosis through deep learning using a neural network does not simply automate the experience and knowledge of conventionally skilled medical personnel, but finds characteristic elements through self-learning to derive the desired answer. Rather, there are cases in which the characteristics of disease factors unknown to skilled medical personnel are found in the image.
  • a diagnosis of a disease through a neural network using a biological image uses a piece of a biological image (eg, a biological tissue slide image), that is, a patch (also called a tile). That is, a medical practitioner skilled in the patch annotates the state of a specific disease (eg, whether cancer is expressed), and uses a plurality of such annotated patches as training data to learn the neural network.
  • a convolutional neural network (a convolutional neural network) may be used as the neural network.
  • transurethral resection of prostate is often performed for the treatment of benign diseases such as benign prostatic hyperplasia. do.
  • the scale of TURP pathology images is very large. An average of N 2cm x 3cm glass slides are produced for each patient (N is an integer greater than or equal to 2), and when they are scanned at a magnification of 400 and made into a digital image, an image with a size of N x 80,000 x 120,000 pixels is produced.
  • the size of the prostate cancer lesion area within the TURP pathology image is very small. Prostate cancer is detected in less than 20% of patients undergoing TURP procedure, and even when prostate cancer is found, it is mostly found in only one localized area of the pathological image. In other words, the size and capacity of the training data is very large, but the ratio of the area marked with prostate cancer to the entire tissue is very small. may occur.
  • the technical task of the present invention is to solve the above-mentioned problems and provide a method for training a machine learning model that can detect prostate cancer in TURP pathological images with high performance. More specifically, it is to provide an efficient method for training a machine learning model that can effectively detect prostate cancer lesions within a TURP pathology image while considering the tissue shape characteristically displayed on the TURP pathology image.
  • the neural network learning system acquires a plurality of pathological images for primary learning, wherein each of the plurality of pathological images for primary learning is obtained through prostate needle biopsy. It is either a prostate needle biopsy pathological image, which is a scanned image of a slide of a pathological specimen, or a prostatectomy pathological image, which is a scanned image of a slide of a pathological specimen obtained through radical prostatectomy-, the neural network learning system , using the plurality of pathological images for primary learning, the first step of learning an artificial neural network for judging prostate cancer -
  • the artificial neural network for judging prostate cancer is an artificial neural network for detecting prostate cancer from pathological images Is a network-, wherein the neural network learning system acquires a plurality of TURP pathological images, which are images obtained by scanning a slide of a pathological specimen secured through transurethral resection of prostate (TURP), and learning the neural network A system comprising, by using the plurality of TURP pathological images, secondary learning
  • the artificial neural network may be any one of U-Net, DeepLabv3+, Mask R-CNN, and DenseNet.
  • a method of providing a determination result for a predetermined determination target TURP pathology image through an artificial neural network learned by the method for learning the artificial neural network wherein the computing system includes the determination target
  • a method comprising: obtaining, by the computing system, a TURP pathology image; and outputting, by the artificial neural network, a prostate cancer detection result determined based on the judgment target TURP pathology image.
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • a computer-readable recording medium in which a computer program for performing the above-described method is recorded.
  • a neural network learning system comprising a processor and a memory for storing a computer program
  • the computer program when executed by the processor, causes the neural network learning system to
  • a neural network learning system for performing a method of learning a neural network is provided.
  • a computing system that provides a determination result for a predetermined determination target TURP pathology image, comprising a processor and a memory for storing a computer program,
  • the computer program when executed by the processor, causes the computing system to provide a judgment result for the TURP pathology image to be judged through the artificial neural network learned by the artificial neural network learning method described above. There is provided a computing system for doing so.
  • the neural network learning system acquires a plurality of prostate needle biopsy pathological images, which are images obtained by scanning a slide of a pathological specimen secured through prostate needle biopsy, the neural network learning Acquiring, by the system, a plurality of prostatectomy pathological images that are scanned images of a slide of a pathological specimen obtained through radical prostatectomy, the neural network learning system, the plurality of prostate needle biopsy pathological images and Primary learning of an artificial neural network for judging prostate cancer by using the plurality of prostatectomy pathological images -
  • the artificial neural network for judging prostate cancer is an artificial neural network for detecting prostate cancer from pathological images Im-, obtaining, by the neural network learning system, a plurality of TURP pathological images, which are images obtained by scanning a slide of a pathological specimen secured through transurethral resection of prostate (TURP), and the neural network learning system This, using the plurality of TURP pathological images, comprising the step of secondary learning of the primary learned artificial neural network, wherein the plurality
  • FIG. 1 is a diagram schematically illustrating an environment in which a method for learning an artificial neural network and a method for providing a judgment result for a pathological specimen according to the technical spirit of the present invention are performed.
  • FIG. 2 is a flowchart illustrating a method for learning a neural network according to an embodiment of the present invention.
  • FIG. 3 is an example of a pathological image of a prostate needle biopsy specimen.
  • Fig. 4a is an example including the region of the engraved prostate tissue
  • Fig. 4b is an enlarged view of the region of the engraved prostate tissue
  • 5A is an example in which the non-prostate tissue region is included
  • FIG. 5B is an enlarged view of the non-prostate tissue region.
  • FIG. 6 is a diagram illustrating an example of a method for providing a determination result according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a schematic configuration of an artificial neural network learning system according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a schematic configuration of a system for providing a determination result according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram schematically illustrating an environment in which a method for learning an artificial neural network and a method for providing a judgment result for a pathological specimen according to the technical spirit of the present invention are performed.
  • the artificial neural network learning method may be performed by the neural network learning system 100, and a method for providing a determination result for a pathological specimen according to an embodiment of the present invention may be performed by the judgment result providing system 200 for the pathological specimen (hereinafter, referred to as a 'judgment result providing system').
  • the artificial neural network learning system 100 may learn the artificial neural network 300 .
  • the artificial neural network 300 may be a neural network for providing diagnostic information on a pathological specimen obtained through transurethral resection of prostate (TURP).
  • the pathological specimen may be a biopsy collected from various organs of the human body or a living tissue excised by surgery.
  • the artificial neural network 300 may be an artificial neural network for receiving a TURP pathological image and detecting prostate cancer from the received TURP pathological image.
  • the determination result providing system 300 may determine whether to detect prostate cancer from the TURP pathology image using the learned artificial neural network 300 .
  • the TURP pathological image may refer to a scanned image or a part of a slide of a pathological specimen obtained through transurethral prostatectomy (TURP).
  • the TURP pathological image may refer to a whole slide image obtained by scanning a pathological slide, but according to an embodiment, the TURP pathological image may refer to a patch or a tile obtained by dividing the entire slide image into a predetermined unit size. .
  • the neural network 300 may be a machine learning model trained to output a probability value of whether prostate cancer is expressed.
  • the neural network 300 may output a numerical value, ie, a probability value, indicating a determination result (eg, a possibility of disease expression) for a target sample based on data input through an input layer.
  • the artificial neural network 300 may be a machine learning model that receives an entire slide image and determines the presence or absence of a lesion due to prostate cancer or detects a lesion area, and according to an embodiment, It may be a machine learning model that receives a patch and determines the presence or absence of a lesion due to prostate cancer or a lesion area in the corresponding patch.
  • an artificial neural network is a neural network artificially constructed based on the operation principle of human neurons.
  • the artificial neural network 300 may be a convolutional neural network mainly used for image analysis or may include a convolutional neural network.
  • U-Net Reneberger2015
  • DeepLabv3+ Choen2018
  • Mask R-CNN He2017
  • a classification model such as ResNet (He2016) or DenseNet (Huang2017), which has been trained to determine the presence or absence of prostate cancer in units, may be used.
  • the neural network learning system 100 and/or the determination result providing system 200 may be a computing system that is a data processing device having computational power for implementing the technical idea of the present invention, and generally, a client through a network It may include a computing device such as a personal computer or a portable terminal as well as a server that is an accessible data processing device.
  • the neural network learning system 100 and/or the determination result providing system 200 may be implemented as any one physical device, but if necessary, a plurality of physical devices may be organically coupled to each other according to the technical idea of the present invention.
  • An average expert in the technical field of the present invention can easily infer that the neural network learning system 100 and/or the judgment result providing system 200 can be implemented.
  • the neural network learning system 100 may learn the artificial neural network 300 based on learning data generated from a plurality of pathological specimens.
  • the neural network learning system 100 generates individual training data using a scanned image of a slide of a pathological specimen or a part (ie, a patch) of a scanned slide image, and stores it in the input layer of the neural network 300 . It is possible to learn the neural network 300 by inputting it.
  • the pathological specimen may be a specimen obtained by prostate needle biopsy or prostatectomy, or a specimen obtained by TURP procedure.
  • the learned neural network 300 may be stored in the determination result providing system 200, and using the artificial neural network learned by the determination result providing system 200 to determine a predetermined diagnosis target TURP sample can do.
  • the neural network learning system 100 and/or the determination result providing system 200 may be implemented in the form of a subsystem of a predetermined parent system 10 .
  • the parent system 10 may be a server.
  • the server 10 means a data processing device having computational capability for implementing the technical idea of the present invention, and generally provides a specific service such as a personal computer, a mobile terminal, etc. as well as a data processing device that a client can access through a network.
  • An average expert in the art of the present invention can easily infer that any device capable of performing can be defined as a server.
  • the neural network learning system 100 and the determination result providing system 200 may be implemented in a separate form.
  • the artificial neural network 300 may be trained through the learning method of FIG. 2 , and as mentioned above, the artificial neural network 300 is an artificial neural network for detecting prostate cancer from pathological images.
  • the artificial neural network 300 is a neural network that performs the function of performing a diagnosis for prostate cancer in the TURP pathology image, but in the process of learning the artificial neural network 300, not only the TURP pathology image but also the prostate needle biopsy or prostatectomy An image of a specimen obtained by surgery may be used.
  • the neural network learning system 100 may acquire a plurality of pathological images for primary learning ( S100 ).
  • each of the plurality of pathological images for primary learning is an image obtained by scanning a slide of a pathological specimen obtained through prostate needle biopsy or a pathology obtained through prostatectomy or prostatectomy. It may be any one of a prostatectomy pathology image that is a scanned image of a slide of a specimen.
  • a lesion caused by prostate cancer may be previously annotated in each of the plurality of pathological images for primary learning, and the annotated information may be used as a label of the learning data.
  • Prostate needle biopsy refers to a method of collecting living tissue of the prostate through a needle (needle). An example of a pathological image of a prostate needle biopsy specimen is shown in FIG. 3 .
  • the neural network learning system 300 may first learn the artificial neural network 300 using the plurality of pathological images for primary learning (S110).
  • the annotated prostate needle biopsy pathology image or the annotated prostatectomy pathology image is the artificial neural network. (300) is first learned.
  • a predetermined ratio or more of the plurality of pathological images for primary learning may be configured as an image including a lesion area due to prostate cancer, and by doing so, the sensitivity of the artificial neural network 300 may be increased to a certain level or higher.
  • the neural network learning system 100 may obtain a plurality of TURP pathological images, which are images obtained by scanning a slide of a pathological specimen obtained through transurethral resection of prostate (TURP). There is (S120).
  • each of the plurality of TURP pathological images used for secondary learning must include at least one of a non-prostate tissue region or a cauterized prostate tissue region, and the prostate cancer lesion region should not be included at all.
  • FIG. 4A and 5A are diagrams illustrating examples of TURP pathological images used for secondary learning, respectively.
  • Fig. 4a is an example including the region of the engraved prostate tissue
  • Fig. 4b is an enlarged view of the region of the engraved prostate tissue
  • 5A is an example in which the non-prostate tissue region is included
  • FIG. 5B is an enlarged view of the non-prostate tissue region.
  • some of the plurality of TURP pathology images used for secondary learning are images including non-prostate tissue regions but not prostate cancer lesion regions at all, and the rest are scorched prostate tissue regions. It may be an image including but not including the prostate cancer lesion area at all.
  • the plurality of TURP pathology images used for secondary learning should not all include the prostate cancer lesion region, the plurality of TURP pathology images used for secondary learning can be collectively labeled as benign. , is training data that does not require annotation for a separate lesion region.
  • the neural network learning system 100 may use the plurality of TURP pathological images to secondary learn the firstly learned artificial neural network 300 ( S130 ).
  • FIG. 6 is a diagram illustrating an example of a method for providing a determination result according to an embodiment of the present invention.
  • the determination result providing system 200 may acquire a predetermined determination target TURP pathology image (S200).
  • the TURP pathology image to be judged is an image obtained by scanning a slide of a predetermined pathological specimen to be judged obtained through transurethral prostatectomy (TURP).
  • the determination result providing system 200 inputs the determination target TURP pathology image to the artificial neural network 300, and the artificial neural network 300 determines the result of prostate cancer detection based on the determination target TURP pathology image. can be output (S210).
  • FIG. 7 is a diagram illustrating a schematic configuration of an artificial neural network learning system 100 according to an embodiment of the present invention
  • FIG. 8 is a schematic configuration of a determination result providing system 200 according to an embodiment of the present invention. is a diagram showing
  • the artificial neural network learning system 100 and the determination result providing system 200 may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and must be It does not mean a single physical component or a single device. That is, the artificial neural network learning system 100 and the determination result providing system 200 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, each other It may be implemented as a set of logical configurations for implementing the technical idea of the present invention by being installed in spaced devices to perform respective functions. In addition, the artificial neural network learning system 100 and the determination result providing system 200 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • Each component of the artificial neural network learning system 100 and the determination result providing system 200 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each of the components of the artificial neural network learning system 100 and the determination result providing system 200 is also located in different physical devices, and different physical devices The components located in the may be organically combined with each other to implement each of the modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or one type of hardware. can be easily inferred to an average expert in the technical field of the present invention.
  • the artificial neural network learning system 100 may include a storage module 110 , an acquisition module 120 , and a learning module 140 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and according to the embodiment, the artificial neural network learning system 100 ) may include more components than this, of course.
  • the artificial neural network learning system 100 includes a communication module (not shown) for communicating with an external device, and a control module (not shown) for controlling components and resources of the artificial neural network learning system 100 . may further include.
  • the storage module 110 may store the artificial neural network 300 to be learned.
  • the acquisition module 120 may acquire a plurality of pathological images for primary learning, and each of the plurality of pathological images for primary learning is a prostate needle biopsy pathology image, which is an image obtained by scanning a slide of a pathological specimen obtained through prostate needle biopsy.
  • a prostate needle biopsy pathology image which is an image obtained by scanning a slide of a pathological specimen obtained through prostate needle biopsy.
  • it may be any one of a prostatectomy pathology image, which is an image obtained by scanning a slide of a pathological specimen obtained through prostatectomy.
  • the acquisition module 120 may acquire a plurality of TURP pathological images, which are images obtained by scanning a slide of a pathological specimen secured through transurethral prostatectomy.
  • each of the plurality of TURP pathological images necessarily includes at least one of a non-prostate tissue region or a cauterized prostate tissue region, and may not include a prostate cancer lesion region at all.
  • the learning module 130 may first learn an artificial neural network for judging prostate cancer by using the plurality of primary learning pathological images, and using the plurality of TURP pathological images, the primary learned artificial neural network Secondary learning of neural networks is possible.
  • the determination result providing system 200 may include a storage module 210 , an acquisition module 220 , and a determination module 230 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and also according to the embodiment, the determination result providing system 200 Of course, it may include more components than this.
  • the determination result providing system 200 may further include a communication module (not shown) and a control module (not shown) for controlling components and resources of the determination result providing system 200 .
  • the storage module 210 may store the learned artificial neural network 300 .
  • the acquisition module 220 may acquire a predetermined determination target TURP pathology image.
  • the determination module 230 inputs the determination target TURP pathology image to the artificial neural network 300, and outputs the prostate cancer detection result determined by the artificial neural network 300 based on the determination target TURP pathology image.
  • the artificial neural network learning system 100 and the determination result providing system 200 may include a processor and a memory for storing a program executed by the processor.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks. hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • Examples of the program instruction include not only machine code such as generated by a compiler, but also a device for electronically processing information using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be used in a method for learning an artificial neural network for detecting prostate cancer from a TURP pathology image and a computing system for performing the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

TURP 병리 이미지에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 이미지 내의 전립선암 병변을 효과적으로 검출할 수 있는 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 본 발명의 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검 병리 이미지 또는 전립선절제수술 병리 이미지임-, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.

Description

TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
본 발명은 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 TURP 병리 이미지에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 이미지 내의 전립선암 병변을 효과적으로 검출할 수 있는 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 조직 슬라이드 이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 기존의 병리 진단 방법은 검체로부터 제작된 진단용 병리 슬라이드 이미지를 광학 현미경을 통해 병리 전문의가 육안으로 관찰, 판독하는 방식으로 이루어진다. 컴퓨터에 연결된 현미경 카메라를 활용하여 병리 슬라이드를 디지털 영상으로 변환한 후 모니터로 관찰하며 판독하는 방식이 디지털 병리학의 시초라고 할 수 있다. 근래에는 디지털 슬라이드 스캐너가 등장하여 병리 슬라이드 전체를 하나의 디지털 영상으로 변환하여 병리 슬라이드 이미지로 제작한 후 이를 컴퓨터 모니터를 통해 관찰하여 판독하는 방식이 널리 확산되고 있다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예를 들어, 합성곱 신경망(Convolution Neural Network; CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다. 특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체 이미지(예를 들면, 생체 조직 슬라이드 이미지)의 조각 즉, 패치(patch; 타일(tile)이라고도 함)을 이용한다. 즉, 해당 패치에 대해 숙련된 의료인은 특정 질병의 상태(예를 들어, 암이 발현되었는지 여부)를 어노테이션(annotation)하고, 이러한 어노테이션된 다수의 패치들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 합성곱 신경망(컨볼루션 뉴렬 네트워크)가 이용될 수 있다.
한편, 전립선비대증 등의 양성 질환의 치료를 위해 전립선경요도절제술(transurethral resection of prostate; TURP)이 시술되는 경우가 많으며, TURP 시술 시 확보된 검체에 대해 전립선암 유무를 병리적으로 판별하는 것이 필요하다.
TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하기 위해 전립선암 병변 영역이 어노테이션된 TURP 병리 영상 데이터만을 사용하는 것은 매우 어려운데, 그 이유는 다음과 같다.
첫째, TURP 병리 영상의 규모가 매우 크다. 환자 별로 평균 N개(N은 2 이상의 정수)의 2cm x 3cm 유리 슬라이드가 제작되며, 이를 400배율로 스캔하여 디지털 영상으로 만들게 되면 N x 80,000 x 120,000 픽셀 크기의 영상이 제작된다. 둘째, TURP 병리 영상 내에서 전립선암 병변 영역의 크기는 매우 작다. TURP 시술 환자에서 전립선암이 발견되는 비율은 20% 미만이며, 전립선암이 발견되는 경우에도 병리 영상 한 개의 국소 영역에서만 발견되는 경우가 대부분이다. 즉, 학습 데이터의 크기와 용량은 매우 방대한 반면 전체 조직 대비 전립선암으로 표지되는 영역의 비율이 매우 작기 때문에 TURP 병리 영상 데이터만으로 민감도가 충분히 높은 기계 학습 모델을 훈련하기 위해서는 매우 많은 데이터가 필요하다는 문제가 발생할 수 있다.
또한, TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하기 위하여 전립선암 병변 영역이 어노테이션된 전립선 침생검 (prostate needle biopsy) 또는 전립선 절제 수술 (radical prostatectomy)로 확보된 검체 병리 영상 데이터를 사용하는 것은 다음과 같은 이유로 문제가 있을 수 있다. TURP의 특성상 전립선이 아닌 조직 (방광, 요로 상피 등) 또는 지져진 (cauterized) 전립선 조직이 존재하는데 이는 전립선 침생검 또는 절제 수술 검체에서는 나타나지 않게 된다. 따라서, 전립선 침생검 (prostate needle biopsy) 또는 전립선 절제 수술 (radical prostatectomy)로 확보된 검체 병리 영상 데이터를 사용하여 TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하는 경우 전립선이 아닌 조직 (방광, 요로 상피 등) 또는 지져진 (cauterized) 전립선 조직을 암으로 잘못 진단하게 되는 문제점이 발생할 수 있게 된다.
본 발명이 이루고자 하는 기술적인 과제는 위에서 언급한 문제를 해결하고 TURP 병리 영상에서 전립선암을 고성능으로 검출할 수 있는 기계 학습 모델을 훈련하는 방법을 제공하는 것이다. 보다 상세하게는 TURP 병리 영상에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 영상 내의 전립선암 병변을 효과적으로 검출할 수 있는 기계 학습 모델을 훈련하는 효율적인 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나임-, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.
일 실시예에서, 상기 인공 뉴럴 네트워크는, U-Net, DeepLabv3+, Mask R-CNN, DenseNet 중 어느 하나인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 인공 뉴럴 네트워크를 학습하는 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법으로서, 컴퓨팅 시스템이, 상기 판단 대상 TURP 병리 이미지를 획득하는 단계 및 상기 컴퓨팅 시스템이, 상기 인공 뉴럴 네트워크가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크 학습 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 뉴럴 네트워크 학습 시스템으로 하여금 상술한 인공 뉴럴 네트워크를 학습하는 방법을 수행하도록 하는 뉴럴 네트워크 학습 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 컴퓨팅 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 상술한 인공 뉴럴 네트워크 학습 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 상기 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 전립선침생검 병리 이미지를 획득하는 단계, 상기 뉴럴 네트워크 학습 시스템이, 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 전립선절제수술 병리 이미지를 획득하는 단계, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 전립선침생검 병리 이미지 및 상기 복수의 전립선절제수술 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지는, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.
본 발명의 기술적 사상에 의하면, TURP 병리 영상에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 영상 내의 전립선암 병변을 효과적으로 검출할 수 있는 기계 학습 모델을 훈련하는 효율적인 방법 및 시스템을 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 인공 뉴럴 네트워크 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다.
도 3은 전립선 침생검 검체의 병리 이미지의 일 예이다.
도 4a는 지져진 전립선 조직 영역이 포함된 예이며, 도 4b는 지져진 전립선 조직 영역을 확대한 것이다. 도 5a는 비전립선 조직 영역이 포함된 예이며, 도 5b는 비전립선 조직 영역을 확대한 것이다.
도 6은 본 발명의 일 실시예에 따른 판단 결과 제공 방법의 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 시스템의 개략적인 구성을 도시한 도면이다.
도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템의 개략적인 구성을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 인공 뉴럴 네트워크 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 방법은 뉴럴 네트워크 학습 시스템(100)에 의해 수행될 수 있으며, 본 발명의 일 실시예에 따른 병리 검체에 대한 판단 결과 제공 방법은 병리 검체에 대한 판단 결과 제공 시스템(200; 이하, '판단 결과 제공 시스템'이라고 함)에 의해 수행될 수 있다.
상기 인공 뉴럴 네트워크 학습 시스템(100)은 인공 뉴럴 네트워크(300)를 학습할 수 있다. 상기 인공 뉴럴 네트워크(300)는 경요도전립선절제술 (transurethral resection of prostate; TURP)를 통해 확보된 병리 검체에 대한 진단 정보를 제공하기 위한 뉴럴 네트워크일 수 있다. 병리 검체는 인체의 각종 장기에서 채취한 생검 및 수술로 절제된 생체 조직일 수 있다.
특히, 상기 인공 뉴럴 네트워크(300)는 TURP 병리 이미지를 입력받고, 입력받은 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크일 수 있다. 상기 판단 결과 제공 시스템(300)은 학습된 인공 뉴럴 네트워크(300)를 이용하여 TURP 병리 이미지로부터 전립선암에 대한 검출 여부를 판단할 수 있다. 본 명세서에서, TURP 병리 이미지는 경요도전립선절제술(TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지 혹은 그 일부를 의미할 수 있다. TURP 병리 이미지는 병리 슬라이드를 스캐닝한 전체 슬라이드 이미지(Whole Slide Image)를 의미할 수도 있으나, 실시예에 따라서 상기 TURP 병리 이미지 전체 슬라이드 이미지를 소정의 단위 크기로 분할한 패치 혹은 타일을 의미할 수도 있다.
일 실시예에서, 상기 뉴럴 네트워크(300)는 전립선암의 발현여부에 대한 확률 값을 출력하도록 학습된 기계학습모델일 수 있다. 상기 뉴럴 네트워크(300)는 입력 레이어를 통해 입력된 데이터에 기초하여 대상 검체에 대한 판단 결과(예를 들어, 질병의 발현여부의 가능성)를 나타내는 수치 값 즉, 확률 값을 출력할 수 있다.
일 실시예에서, 상기 인공 뉴럴 네트워크(300)는 전체 슬라이드 이미지를 입력 받아 전립선암으로 인한 병변의 유무를 판단하거나 혹은 병변 영역을 검출하는 기계학습모델일 수 있으며, 실시예에 따라서는 슬라이드 이미지의 패치를 입력받아 해당 패치에 전립선암으로 인한 병변의 유무 혹은 병변 영역를 판단하는 기계학습모델일 수도 있다.
본 명세서에서 인공 뉴럴 네트워크는 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 뉴럴 네트워크로서, 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 인공 뉴럴 네트워크(300)는 영상 분석에 주로 활용되는 합성곱 뉴럴 네트워크이거나 혹은 합성곱 뉴럴 네트워크를 포함할 수 있다. 특히 영역 분할에 효과적인 것으로 알려진 U-Net (Ronneberger2015)이나 DeepLabv3+ (Chen2018), Mask R-CNN (He2017) 등이 사용될 수 있으며, 픽셀 단위의 미세한 영역 검출 기능이 필요하지 않은 경우에는 작은 크기의 패치 이미지 단위로 전립선암 유무를 판별하도록 학습된 ResNet (He2016) 이나 DenseNet (Huang2017) 등의 분류 모델이 활용될 수도 있다.
상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 뉴럴 네트워크 학습 시스템(100)은 다수의 병리 검체로부터 생성된 학습 데이터에 기반하여 상기 인공 뉴럴 네트워크(300)를 학습할 수 있다. 상기 뉴럴 네트워크 학습 시스템(100)은 병리 검체의 슬라이드를 스캐닝한 이미지 혹은 스캐닝한 슬라이드 이미지의 일부(즉, 패치)를 이용하여 개별 학습 데이터를 생성하고, 이를 상기 뉴럴 네트워크(300)의 입력 레이어에 입력하여 상기 뉴럴 네트워크(300)를 학습할 수 있다. 이때 병리 검체는 전립선 침생검 또는 전립선 절제 수술로 확보된 검체, 혹은 TURP 시술에 의해 확보된 검체일 수 있다.
한편, 학습된 뉴럴 네트워크(300)는 상기 판단 결과 제공 시스템(200)에 저장될 수 있으며, 상기 판단 결과 제공 시스템(200) 학습된 인공 뉴럴 네트워크를 이용하여 소정의 진단 대상 TURP 검체에 대한 판단을 할 수 있다.
도 1에 도시된 바와 같이, 상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 소정의 모(母) 시스템(10)의 서브 시스템의 형태로 구현될 수도 있다. 상기 모 시스템(10)은 서버일 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또는 실시예에 따라, 상기 뉴럴 네트워크 학습 시스템(100) 및 상기 판단 결과 제공 시스템(200)은 서로 분리된 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다. 도 2의 학습 방법을 통해 상기 인공 뉴럴 네트워크(300)가 학습될 수 있으며, 앞서 언급한 바와 같이 상기 인공 뉴럴 네트워크(300)는 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크이다.
상기 인공 뉴럴 네트워크(300)는 TURP 병리 이미지에서 전립선암에 대한 진단을 수행하는 기능을 수행하는 뉴럴 네트워크이지만, 상기 인공 뉴럴 네트워크(300)를 학습하는 과정에서는 TURP 병리 이미지뿐만 아니라 전립선 침생검 또는 전립선 절제 수술로 확보된 검체의 이미지가 이용될 수 있다.
도 2를 참조하면, 뉴럴 네트워크 학습 시스템(100)은 복수의 1차 학습용 병리 이미지를 획득할 수 있다(S100). 여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나일 수 있다.
한편, 상기 복수의 1차 학습용 병리 이미지 각각에는 전립선암으로 인한 병변이 미리 어노테이션되어 있을 수 있으며, 어노테이션된 정보가 학습 데이터의 라벨로 이용될 수 있다.
전립선 침생검은 전립선의 생체 조직을 침(바늘)을 통해 채취하는 방법을 말한다. 전립선 침생검 검체의 병리 이미지의 일 예가 도 3에 도시되어 있다.
상기 뉴럴 네트워크 학습 시스템(300)은 상기 복수의 1차 학습용 병리 이미지를 이용하여, 상기 인공 뉴럴 네트워크(300)를 1차 학습할 수 있다(S110).
어노테이션된 전립선침생검 병리 이미지 혹은 어노테이션된 전립선절체수술 병리 이미지는 비교적 손쉽게 확보할 수 있으므로 상기 뉴럴 네트워크 학습 방법에서는 쉽게 확보가 가능한 어노테이션된 전립선침생검 병리 이미지 혹은 어노테이션된 전립선절체수술 병리 이미지로 상기 인공 뉴럴 네트워크(300)를 1차 학습한다. 상기 복수의 1차 학습용 병리 이미지 중 일정 비율 이상을 전립선암으로 인한 병변 영역을 포함하는 이미지로 구성할 수 있으며, 이렇게 함으로써, 상기 인공 뉴럴 네트워크(300)의 민감도를 일정 수준 이상으로 높일 수 있다.
한편, TURP 병리 이미지의 경우, TURP 시술의 특성상 전립선이 아닌 조직(방광, 요로 상피 등)의 영역 또는 지져진 전립선 조직 영역이 존재하는데 이는 전립선침생검 검체 또는 절제수술 검체에서는 나타나지 않는다. 따라서, 1차 학습된 인공 뉴럴 네트워크(300)의 TURP 병리 이미지에 대한 특이도를 높이기 위하여 다음과 같은 과정을 추가로 수행해야 한다.
다시 도 2를 참조하면, 상기 뉴럴 네트워크 학습 시스템(100)은 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득할 수 있다(S120).
이때, 2차 학습에 이용되는 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않아야 한다. 도 4a 및 도 5a는 각각 2차 학습에 이용되는 TURP 병리 이미지의 예를 도시한 도면이다. 도 4a는 지져진 전립선 조직 영역이 포함된 예이며, 도 4b는 지져진 전립선 조직 영역을 확대한 것이다. 도 5a는 비전립선 조직 영역이 포함된 예이며, 도 5b는 비전립선 조직 영역을 확대한 것이다.
일 실시예에서, 2차 학습에 이용되는 상기 복수의 TURP 병리 이미지 중 일부는 비(非)전립선 조직 영역을 포함하되 전립선암 병변 영역은 전혀 포함하지 않는 이미지이며, 나머지 일부는 지져진 전립선 조직 영역을 포함하되 전립선암 병변 영역은 전혀 포함하지 않는 이미지일 수 있다.
이와 같이, 2차 학습에 이용되는 복수의 TURP 병리 이미지는 모두 전립선암 병변 영역이 전혀 포함되지 않아야 하므로 2차 학습에 이용되는 복수의 TURP 병리 이미지는 일괄적으로 정상(benign)으로 라벨링될 수 있으며, 별도의 병변 영역에 대한 어노테이션이 필요하지 않은 학습 데이터이다.
이후 뉴럴 네트워크 학습 시스템(100)은 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크(300)를 2차 학습할 수 있다(S130).
도 6은 본 발명의 일 실시예에 따른 판단 결과 제공 방법의 일 예를 도시한 도면이다.
도 6을 참조하면, 상기 판단 결과 제공 시스템(200)은 소정의 판단 대상 TURP 병리 이미지를 획득할 수 있다(S200). 상기 판단 대상 TURP 병리 이미지는 경요도전립선절제술(TURP)를 통해 확보된 소정의 판단 대상 병리 검체의 슬라이드를 스캐닝한 이미지이다.
상기 판단 결과 제공 시스템(200)은 상기 인공 뉴럴 네트워크(300)에 상기 판단 대상 TURP 병리 이미지를 입력하고, 상기 인공 뉴럴 네트워크(300)가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력할 수 있다(S210).
도 7은 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 시스템(100)의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템(200)의 개략적인 구성을 도시한 도면이다.
상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 7을 참조하면, 상기 인공 뉴럴 네트워크 학습 시스템(100)은 저장모듈(110), 획득모듈(120) 및 학습모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 인공 뉴럴 네트워크 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 인공 뉴럴 네트워크 학습 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 인공 뉴럴 네트워크 학습 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(110)은 학습될 인공 뉴럴 네트워크(300)를 저장할 수 있다.
상기 획득모듈(120)은 복수의 1차 학습용 병리 이미지를 획득할 수 있으며, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나일 수 있다.
또한 상기 획득모듈(120)은 경요도전립선절제술을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득할 수 있다. 이때, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않을 수 있다.
상기 학습모듈(130)은 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습할 수 있으며, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습할 수 있다.
도 8을 참조하면, 상기 판단 결과 제공 시스템(200)은 저장모듈(210), 획득모듈(220) 및 판단모듈(230)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 판단 결과 제공 시스템(200) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 판단 결과 제공 시스템(200)은 통신모듈(미도시), 상기 판단 결과 제공 시스템(200)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(210)은 학습된 인공 뉴럴 네트워크(300)를 저장할 수 있다.
상기 획득모듈(220)은 소정의 판단 대상 TURP 병리 이미지를 획득할 수 있다.
상기 판단모듈(230)은 상기 판단 대상 TURP 병리 이미지를 상기 인공 뉴럴 네트워크(300)에 입력하고, 상기 인공 뉴럴 네트워크(300)가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력할 수 있다.
한편, 구현 예에 따라서, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 이용될 수 있다.

Claims (6)

  1. 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나임;
    상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임;
    상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계; 및
    상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되,
    상기 복수의 TURP 병리 이미지 각각은,
    비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법.
  2. 제1항에 기재된 인공 뉴럴 네트워크를 학습하는 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법으로서,
    컴퓨팅 시스템이, 상기 판단 대상 TURP 병리 이미지를 획득하는 단계; 및
    상기 컴퓨팅 시스템이, 상기 인공 뉴럴 네트워크가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력하는 단계를 포함하는 방법.
  3. 데이터 처리장치에 설치되며 제1항 또는 제2항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  4. 제1항 또는 제2항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  5. 뉴럴 네트워크 학습 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 인공 뉴럴 네트워크를 학습하는 방법을 수행하도록 하며,
    상기 인공 뉴럴 네트워크 학습 방법은,
    복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나임;
    상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임;
    상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계; 및
    상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되,
    상기 복수의 TURP 병리 이미지 각각은,
    비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 뉴럴 네트워크 학습 시스템.
  6. 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 컴퓨팅 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 제1항에 기재된 인공 뉴럴 네트워크 학습 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 상기 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법을 수행하도록 하며,
    상기 판단 결과를 제공하는 방법은,
    상기 판단 대상 TURP 병리 이미지를 획득하는 단계; 및
    상기 인공 뉴럴 네트워크가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력하는 단계를 포함하는 컴퓨팅 시스템.
PCT/KR2022/003178 2021-03-08 2022-03-07 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 WO2022191539A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22767435.5A EP4290529A1 (en) 2021-03-08 2022-03-07 Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
US18/280,662 US20240153073A1 (en) 2021-03-08 2022-03-07 Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
JP2023551750A JP2024509105A (ja) 2021-03-08 2022-03-07 Ｔｕｒｐの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステム
CN202280020209.7A CN117337473A (zh) 2021-03-08 2022-03-07 学习用于从turp病理图像中检测前列腺癌的人工神经网络的方法及执行该方法的计算系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0029876 2021-03-08
KR1020210029876A KR102316525B1 (ko) 2021-03-08 2021-03-08 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
WO2022191539A1 true WO2022191539A1 (ko) 2022-09-15

Family

ID=78275729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003178 WO2022191539A1 (ko) 2021-03-08 2022-03-07 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (6)

Country Link
US (1) US20240153073A1 (ko)
EP (1) EP4290529A1 (ko)
JP (1) JP2024509105A (ko)
KR (1) KR102316525B1 (ko)
CN (1) CN117337473A (ko)
WO (1) WO2022191539A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395664B1 (ko) 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6004267A (en) * 1997-03-07 1999-12-21 University Of Florida Method for diagnosing and staging prostate cancer
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
WO2020005815A1 (en) * 2018-06-29 2020-01-02 Miraki Innovation Think Tank, Llc Miniaturized intra-body controllable medical device employing machine learning and artificial intelligence
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101944536B1 (ko) 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6004267A (en) * 1997-03-07 1999-12-21 University Of Florida Method for diagnosing and staging prostate cancer
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
WO2020005815A1 (en) * 2018-06-29 2020-01-02 Miraki Innovation Think Tank, Llc Miniaturized intra-body controllable medical device employing machine learning and artificial intelligence
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Also Published As

Publication number Publication date
US20240153073A1 (en) 2024-05-09
KR102316525B1 (ko) 2021-10-22
CN117337473A (zh) 2024-01-02
JP2024509105A (ja) 2024-02-29
EP4290529A1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
WO2021073380A1 (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
JP2021519663A (ja) 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2017069596A1 (ko) Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
CN109460717A (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
WO2021040327A1 (ko) 심혈관 질환 위험 인자 예측 장치 및 방법
WO2023191472A1 (ko) 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
Xu et al. Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks
WO2022231329A1 (ko) 생체 이미지 조직 표시 방법 및 장치
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2016204535A1 (ko) 의료 검사를 위한 이미지 분석 관리 방법 및 서버
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767435

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023551750

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18280662

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280020209.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022767435

Country of ref document: EP

Effective date: 20230907

NENP Non-entry into the national phase

Ref country code: DE