WO2022158694A1 - 병리 조직 영상의 처리 방법 및 그 장치 - Google Patents

병리 조직 영상의 처리 방법 및 그 장치 Download PDF

Info

Publication number
WO2022158694A1
WO2022158694A1 PCT/KR2021/017402 KR2021017402W WO2022158694A1 WO 2022158694 A1 WO2022158694 A1 WO 2022158694A1 KR 2021017402 W KR2021017402 W KR 2021017402W WO 2022158694 A1 WO2022158694 A1 WO 2022158694A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
histopathology
foreign material
histopathological
determining whether
Prior art date
Application number
PCT/KR2021/017402
Other languages
English (en)
French (fr)
Inventor
정요셉
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Publication of WO2022158694A1 publication Critical patent/WO2022158694A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present specification discloses a method and apparatus for processing pathological tissue images.
  • Embodiments provide a histopathological imaging method and apparatus capable of deriving an objective and consistent result in tissue diagnosis.
  • the present specification determines whether the extracted histopathological image is blurred, generates an error message when the blur of the histopathological image is lower than a reference value, checks whether the histopathological image contains a foreign substance, removes the foreign material, and the histopathological image
  • the method includes determining whether the extracted histopathological image is blurred, generating an error message when the blurring of the histopathological image is lower than a reference value, and determining whether a foreign material is included in the histopathological image It includes the steps of confirming and removing the foreign body and standardizing the color of the histopathology image.
  • the apparatus includes an input unit receiving the extracted histopathological image, determining whether the extracted histopathological image is blurred, and generating an error message when the blurring of the histopathological image is lower than a reference value, and generating an error message, It includes a control unit for checking whether a foreign material is included in the image, removing the foreign material, standardizing the color of the histopathology image, and an output unit for outputting an error message or outputting a standardized histopathology image.
  • FIG. 1 is a flowchart of a method for processing a pathological tissue image according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating a process of calculating a Laplacian variance to determine whether a histopathology image flows in step S110 of FIG. 1 .
  • FIG. 3 is a flowchart of the step (S120) of confirming whether a foreign material is included in the histopathological image of FIG. 1 and removing the foreign material.
  • FIG. 4 is a diagram illustrating a process of detecting an object through a contour map with respect to a histopathological image in S121 of FIG. 3 .
  • FIG. 5 is a configuration diagram of a deep learning model used to determine whether foreign substances are included in the histopathology image in FIG. 3 .
  • FIG. 6 is a diagram illustrating a process of converting a foreign material into the same color as that of the background when it is determined that the foreign material is located in the background in step S125.
  • FIG. 7 is a diagram illustrating a process of standardizing a color or color of a histopathological image by applying a stain/color normalization algorithm in step S130 of FIG. 1 .
  • FIG. 8 is a block diagram of an apparatus for processing a pathological tissue image according to another exemplary embodiment.
  • FIG. 9 is a diagram illustrating a pathological tissue image processing system for executing a method for processing a pathological tissue image according to an exemplary embodiment.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • FIG. 1 is a flowchart of a method for processing a pathological tissue image according to an exemplary embodiment.
  • the method 100 for processing a pathological tissue image determines whether an extracted histopathological image is blurred, checks whether a foreign material is included in the histopathological image, and the color of the histopathological image standardize
  • the method 100 for processing a pathological tissue image determines whether the extracted histopathological image is blurred, and generates an error message when the blur of the histopathological image is lower than a reference value (S110), It is confirmed whether a foreign material is included in the histopathological image, and includes the step of removing the foreign material (S120) and the step of standardizing the color of the histopathological image (S130).
  • step S130 may be performed before and after steps S110 and S120, or may be omitted.
  • FIG. 2 is a view for explaining a process of determining whether a histopathology image flows with respect to a digital image of histopathology in step S110 of FIG. 1 .
  • the extracted tissue pathology is first stained and then scanned or photographed to be digitized.
  • a snapshot method that takes a picture of a certain area under light magnification conditions of a constant magnification
  • WSI whole slide imaging
  • the present specification exemplarily describes, but is not limited to, imaging the entire slide using a digital scanner as a method of digitizing histopathology.
  • various methods or algorithms for determining whether the histopathology image is blurred may be used in order to check whether the stored image is in focus with respect to the histopathology digital image.
  • a variance of Laplacian may be calculated for the histopathology digital image.
  • the Laplacian variance can be calculated by using the kernel matrix as in Equation 1 for the histopathological image.
  • An error message is generated when the Laplacian variance is lower than the reference value, which varies according to the size of the histopathology digital image. For example, when the Laplacian variance is lower than a reference value that varies according to the size of the histopathology digital image, a rescan or re-scan may be requested through a generated error message.
  • FIG. 3 is a flowchart of the step (S120) of confirming whether a foreign material is included in the histopathological image of FIG. 1 and removing the foreign material.
  • the step of confirming whether a foreign material is included in the histopathological image and removing the foreign material is to detect the object in the histopathological image (S121), confirm the foreign material (S122), and the foreign material to the tissue It is determined whether it overlaps with the tissue (S123), and when it is determined that the foreign material overlaps the tissue, a rescan or re-photography is requested (S124), and when it is determined that the foreign material does not overlap the tissue, the foreign material is removed (S125).
  • the object When the object is detected in S121 , the object may be detected through a contour map as shown in FIG. 4 for the histopathological image.
  • FIG. 5 is a configuration diagram of a deep learning model used to determine whether foreign substances are included in the histopathology image in FIG. 3 .
  • artificial intelligence uses a deep learning model 221 in a deep neural network consisting of a multi-layered network to learn a large amount of histopathological images by learning the characteristics of the input value ( feature), and through this, a multi-layered network is trained to minimize the error in prediction accuracy, so that it is possible to check whether foreign substances are included in the histopathology image.
  • the deep learning model 221 used to check whether a foreign material is included in the histopathology image may be a model in which an artificial neural network is stacked in multiple layers. That is, the deep learning model automatically learns features of the input value by learning a large amount of data from a deep neural network consisting of a multi-layered network, and through this, the error in the objective function, that is, the prediction accuracy, is eliminated. It is a type of model that trains the network to minimize it.
  • the above-described deep learning model 221 is a Convolutional Neural Network (CNN), a Deep Hierachical Network (DHN), a Convolutional Deep Belief Network (CDBN), a Deconvolutional Deep Network (DDN), a Recurrent Neural Network (RNN), and a Generative Adversarial Network (GAN). ), but the present invention is not limited thereto, and various deep learning models that can be used now or in the future can be used.
  • CNN Convolutional Neural Network
  • DDN Convolutional Deep Belief Network
  • DDN Deconvolutional Deep Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • the above-described deep learning model 221 may be implemented through a deep learning framework.
  • the deep learning framework provides functions commonly used when developing the deep learning model 221 in the form of a library, and serves to support good use of system software or hardware platforms.
  • the deep learning model 221 may be implemented using any deep learning framework that is currently public or will be released in the future.
  • the deep learning model 221 performs convolution and subsampling on the input histopathological image to extract a picture for the histopathological image (feature). a feature extraction part 222) and an output part 224 for outputting whether the foreign material is included in the histopathology image using the extracted picture.
  • Convolution creates a feature map by using a plurality of filters for each region of a medical image in a convolution layer.
  • Subsampling or polling reduces the size of a feature map in a subsampling layer to extract a feature for an image that is invariant to a change in position or rotation.
  • the picture extraction region 222 extracts pictures of various levels from low-level pictures such as points, lines, and planes to complex and meaningful high-level pictures in a medical image by repeating convolution and/or subsampling. can do.
  • a deep learning model for example, a CNN-based deep learning model, aims to optimally learn parameters present in each individual layer in the picture extraction region 222 and the output region 224 .
  • the order of the data determines the value of the initial parameter.
  • the deep learning model 221 may apply random sampling (data order random) and a regulation technique. Random sampling means that the order of the training data learned from the training data set is different.
  • Regulatory technology is a technology that reduces overfitting, in which a deep learning model over-trained on training data including noise is less accurate in testing or diagnosis.
  • the regulatory technology may be, for example, a drop-out technology or a drop connected technology.
  • the dropout technique is a method of probabilistically assigning a parameter value to 0 for a specific node and learning it.
  • Drop connected technology is a method of dropping and learning connections between nodes.
  • the dropout technique is exemplarily described below as a regulatory technique below, but it may be any technique or algorithm that reduces overfitting now or in the future.
  • a rescan or re-photography may be requested through an error message, and the first step may be restarted.
  • the foreign material when it is determined that the foreign material is located in the background, as shown in FIG. 6 , the foreign material may be converted into the same color as the background.
  • steps S110 and S120 if the scan result is out of focus or there is a foreign substance, so that the most objective and consistent result can be derived when the CAD or deep learning model is applied after scanning the histopathology image after staining. It can be removed from the existing histopathology image, or an error message can be displayed to induce re-capturing or rescan.
  • color normalization in the step of standardizing the color of the histopathology image ( S130 ), in order to consistently convert equipment and chromosomes used in institutions/hospitals, as shown in FIG. 7 , color normalization (stain/color normalization) An algorithm can be applied to standardize the color or color of the histopathology image.
  • step S130 since a stain/color normalization algorithm is also applied, the consistency of histopathology images can be maintained regardless of equipment and chromosomes used in institutions/hospitals.
  • the method 100 for processing a pathological tissue image determines whether the extracted histopathological image is blurred, and generates an error message when the blur of the histopathological image is lower than a reference value (S110), tissue Checking whether a foreign material is included in the pathological image, removing the foreign material (S120) and standardizing the color of the histopathological image (S130) are included.
  • the method 100 for processing a pathological tissue image not only includes all of steps S110, S120, and S130, but also includes only one of steps S110, S120, and S130, or only two of them. may be
  • the method 100 for processing a pathological tissue image may consist of only step S120 described with reference to FIG. 3 .
  • FIG. 8 A method of processing a pathological tissue image according to an embodiment has been described above with reference to FIGS. 1 to 7 .
  • an apparatus for processing a pathological tissue image according to another exemplary embodiment will be described with reference to FIG. 8 .
  • FIG. 8 is a block diagram of an apparatus for processing a pathological tissue image according to another exemplary embodiment.
  • the apparatus 200 for processing a pathological tissue image includes the input unit 210 for receiving the extracted histopathological image, and determines whether the extracted histopathological image is blurred, and when the blur of the histopathological image is lower than a reference value
  • a control unit S220 that generates an error message checks whether foreign substances are included in the histopathology image, removes the foreign substances, and standardizes the color of the histopathology image and outputs an error message or a standardized histopathology image and an output unit (S230).
  • the control unit 220 digitizes the extracted tissue pathology by scanning or photographing after staining, calculating the variance of Laplacian for the histopathology digital image, and When the Laplacian variance is lower than a reference value that varies according to the size of the histopathology digital image, an error message may be generated.
  • the controller 220 may detect an object through a contour map with respect to the histopathological image.
  • the controller 220 may determine whether the foreign material is included in the histopathological image using artificial intelligence.
  • artificial intelligence applies the deep learning model 221 in a deep neural network consisting of a multi-layered network to learn a large amount of tissue pathology images to automatically learn features of the input values. It is possible to learn whether the foreign material is included in the histopathology image by learning the multi-layered network to minimize the error in prediction accuracy through learning.
  • the deep learning model 221 performs convolution and subsampling on the input histopathological image to extract a picture for the histopathological image (feature). It may include a picture extraction area 222 and an output area 224 for outputting whether the foreign material is included in the histopathology image using the extracted picture.
  • control unit 220 When it is confirmed that foreign substances are included in the histopathology image, the control unit 220 generates an image expressing the part containing tissue in the histopathology image as a binary mask to determine whether the foreign material is overlapped with the tissue or located in the background.
  • the controller 220 may convert the foreign material to the same color as the background.
  • the controller 220 continuously learns the artificial intelligence using the continuously collected learning image image and the accumulated chart data so that the artificial intelligence can read the image image.
  • the display unit 230 displays information on the treatment site when a specific treatment area of the image image is selected.
  • a treatment summary memo window is displayed, and when the treatment summary memo window is selected, the corresponding treatment area is selected.
  • a chart for the treatment area is printed.
  • the deep learning model 221 that can be used in the controller 220 may be a model in which an artificial neural network is stacked in multiple layers.
  • the deep learning model 221 includes a picture extraction area 222 and an output area 224 .
  • a deep learning model for example, a CNN-based deep learning model, aims to optimally learn parameters present in each individual layer in the picture extraction region 222 and the output region 224 .
  • the deep learning model 221 may apply random sampling (data order random) and a regulation technique.
  • the deep learning models 221 use highly flexible nonlinear algorithms.
  • FIG. 8 An apparatus for processing a pathological tissue image according to another embodiment has been described above with reference to FIG. 8 .
  • a pathological tissue image processing system for executing a pathological tissue image processing method according to an exemplary embodiment will be described with reference to FIG. 9 .
  • FIG. 9 illustrates a pathological tissue image processing system for executing a method for processing a pathological tissue image according to an exemplary embodiment.
  • the pathological tissue image processing system 300 in which the method 100 for processing a pathological tissue image shown in FIG. 1 is executed is connected to the scanner 310 by a scanner 310 and a cable 330 and and a computer device 320 for performing the method 100 for processing the pathological tissue image and displaying the result.
  • the computer device 320 may be a computer device that implements instructions for executing the method 100 for processing a pathological tissue image according to the above-described embodiment, included in a computer-readable recording medium.
  • the pathological tissue processing system 300 may be configured by integrating the scanner 310 and the computer device 320 .
  • the method 100 for processing a pathological tissue image may be executed by an application basically installed in the computer device 320 , and a user may use an application store server, an application, or a web server related to a corresponding service. It is compatible with the operating system of the computer device 320 through an application providing server, such as, and may be executed by an application (ie, a program) installed directly on the computer device 320 .
  • the operating system of the computer device 320 is an operating system such as Windows or Macintosh installed in a general PC such as a desktop, or iOS, Android ( It may be a mobile-only operating system such as Android).
  • the method 100 for processing a pathological tissue image is implemented as an application (ie, a program) installed by default in the computer device 320 or directly installed by a user, and is transmitted to the computer device 320 . It may be recorded on a readable recording medium 322 .
  • the computer program 124 implementing the method 100 for processing a pathological tissue image according to an embodiment corrects the amplification curve obtained from the amplification reaction performed in the presence of the signal generating means according to the embodiment of the present invention described above. All functions corresponding to the method can be executed.
  • the computer program 324 is a computer program including program instructions stored in a computer-readable recording medium constituting a processor for executing the method 100 for processing a pathological tissue image according to an embodiment.
  • the computer device 320-readable recording medium 322 is a computer-readable recording medium including instructions for implementing a processor for executing the method 100 for processing a pathological tissue image according to an embodiment.
  • the above-described program is a computer program. It may include code coded in a computer language such as C, C++, JAVA, Visual basic, VBScript, JavaScript, Perl, XML, or machine language that a processor (CPU) can read.
  • a computer language such as C, C++, JAVA, Visual basic, VBScript, JavaScript, Perl, XML, or machine language that a processor (CPU) can read.
  • the above-described method 100 for processing a pathological tissue image may be implemented by a computing device including at least a portion of a processor, a memory, a user input device, and a presentation device.
  • a memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data, etc. coded to perform specific tasks when executed by a processor.
  • the processor can read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in the memory, and the like.
  • the user input device may be a means for allowing the user to input a command to the processor to execute a specific task or to input data required for the execution of the specific task.
  • the user input device may include a physical or virtual keyboard or keypad, key button, mouse, joystick, trackball, touch-sensitive input means, or a microphone.
  • the presentation device may include a display, a printer, a speaker, or a vibrator.
  • the computing device 320 may include a variety of devices, such as a smartphone, tablet, laptop, desktop, server, client, and the like.
  • the computing device may be a single stand-alone device, or may include a plurality of computing devices operating in a distributed environment consisting of a plurality of computing devices cooperating with each other through a communication network.
  • the above-described method 100 for processing a pathological tissue image includes a processor, and when executed by the processor, computer readable software, application, and program module coded to perform an image diagnosis method using a deep learning model , routines, instructions, and/or data structures may be executed by a computing device having a memory stored therein.
  • the above-described embodiments may be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the method 100 for processing a pathological tissue image using a deep learning model includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, or microprocessors may be implemented.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, or microprocessors may be implemented.
  • the method 100 for processing a pathological tissue image may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented with semiconductor elements.
  • the semiconductor device may be currently used semiconductor devices, for example, SRAM, DRAM, NAND, or the like, or may be next-generation semiconductor devices, RRAM, STT MRAM, PRAM, or the like, or a combination thereof.
  • the method 100 for processing a pathological tissue image is implemented using an artificial intelligence semiconductor device
  • the result (weight) of learning a deep learning model with software is transferred to a synaptic mimic device arranged in an array, or an artificial intelligence semiconductor Learning can also take place on the device.
  • the method 100 for processing a pathological tissue image may be implemented in the form of an apparatus, procedure, or function that performs the functions or operations described above.
  • the software code may be stored in the memory unit and driven by the processor.
  • the memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
  • terms such as “system”, “processor”, “controller”, “component”, “module”, “interface”, “model”, or “unit” generally refer to computer-related entities hardware, hardware and software. may mean a combination of, software, or running software.
  • the aforementioned components may be, but are not limited to, a process run by a processor, a processor, a controller, a controlling processor, an object, a thread of execution, a program, and/or a computer.
  • an application running on a controller or processor and a controller or processor can be a component.
  • One or more components may reside within a process and/or thread of execution, and the components may be located on one device (eg, a system, computing device, etc.) or distributed across two or more devices.
  • the method 100 for processing a pathological tissue image may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the above-described method 100 for processing a pathological tissue image may be executed by an application that is basically installed in the terminal (which may include a program included in a platform or an operating system, etc. that is basically installed in the terminal), and the user selects the application store It may be executed by an application (ie, a program) installed directly on the master terminal through an application providing server such as a server, an application, or a web server related to the corresponding service.
  • an application ie, a program
  • the above-described glaucoma surgery result diagnosis method may be implemented as an application (ie, a program) installed basically in a terminal or directly installed by a user, and may be recorded in a computer-readable recording medium such as a terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 명세서는 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하고, 조직 병리 영상의 색을 표준화하는 병리 조직 영상의 처리 방법 및 장치를 제공한다.

Description

병리 조직 영상의 처리 방법 및 그 장치
본 명세서는 병리 조직 영상을 처리하는 방법 및 그 장치에 관하여 개시하고 있다.
조직 검사의 절차는 지금까지 조직 추출, 조직 염색, 현미경을 이용한 병리과 의사의 진단으로 이루어졌다. 그러나, 최근 컴퓨터를 이용한 CAD 혹은 딥러닝 기술을 이용하려는 연구들이 늘어남으로써, 조직 염색 이후 광학 스캐너 등으로 조직 영상을 디지털화하는 경우가 늘어나고 있다. 이 경우, 사람이 관찰/진단할 시에는 문제가 되지 않았던 문제점들이 생겨나고 있다.
예를 들어, 초점이 맞지 않아 영상이 뿌옇게 보이거나, 먼지/머리카락 등의 이물질(artifact)이 들어가는 상황들이 발생하기도 한다.
이런 경우, 사람은 오류를 인지하고 참고하여 진단을 하거나 문제를 수정한 후 다시 절차를 반복하지만, 컴퓨터는 이를 인지하지 못하고 바로 적용시키는 경우가 발생한다. 이러한 이유 때문에, 성능이 떨어지거나, 병을 진단하는 알고리즘이 전혀 다른 결과를 보여줄 수 있다.
또한, 조직 염색을 할 시에 기관/병원 별로 사용하는 염색체 혹은 스캐너 등이 달라 같은 조직에 관해서 객관성이 떨어지는 다른 결과를 보여주기도 한다.
실시예들은, 조직 진단 시 객관적이고 일관적인 결과를 도출할 수 있는 조직 병리 영상의 방법 및 그 장치를 제공한다.
본 명세서는 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하고, 조직 병리 영상의 색을 표준화하는 병리 조직 영상의 처리 방법 및 장치를 제공한다.
일 측면에서, 일 실시 예에 따른 방법은, 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계, 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하는 단계 및 조직 병리 영상의 색을 표준화하는 단계를 포함한다.
다른 측면에서, 다른 실시 예에 따른 장치는, 추출된 조직 병리 영상을 입력 받는 입력부, 추출된 조직 병리 영상의 흐림 여부를 판단하고 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하고, 조직 병리 영상의 색을 표준화하는 제어부 및 오류 메시지를 출력하거나, 표준화된 조직 병리 영상을 출력하는 출력부를 포함한다.
실시예들에 따른 조직 병리 영상의 방법 및 그 장치에 의하면, 초점이 맞고 이물질이 제거되며 색이 표준화된 조직 병리 영상을 제공하므로, 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.
도 1은 일 실시예에 따른 병리 조직 영상의 처리 방법의 흐름도이다.
도 2는 도 1의 S110 단계에서 조직 병리 영상의 흐름 여부를 판단하기 위해 라플라시안 분산을 계산하는 과정을 도시하는 도면이다.
도 3은 도 1의 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)의 흐름도이다.
도 4은 도 3의 S121에서 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 과정을 설명한 도면이다.
도 5은 도 3에서 조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델의 구성도이다.
도 6은 S125 단계에서, 이물질이 배경에 위치하는 것으로 파악된 경우, 이물질을 배경과 동일한 색상으로 변환하는 과정을 도시한 도면이다.
도 7은 도 1의 S130 단계에서 색 표준화 (stain/color normalization) 알고리즘을 적용하여 조직 병리 영상의 색 또는 색상을 표준화하는 과정을 도시한 도면이다.
도 8은 다른 실시 예에 따른 병리 조직 영상의 처리 장치의 블록도이다.
도 9는 일 실시 예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템을 도시하고 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 병리 조직 영상의 처리 방법의 흐름도이다.
도 1을 참조하면, 일 실시 예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 조직 병리 영상의 색을 표준화한다.
구체적으로, 일 실시 예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계(S110), 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120) 및 조직 병리 영상의 색을 표준화하는 단계(S130)를 포함한다. 다만, S130 단계는 S110 단계 및 S120 단계의 전후에 수행될 수 있고, 생략될 수도 있다.
도 2는 도 1의 S110 단계에서 조직 병리 디지털 영상에 대해 조직 병리 영상의 흐름 여부를 판단하는 과정을 설명한 도면이다.
도 2를 참조하면, 조직 병리 영상의 흐림 여부를 판단할 때, 먼저 추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화한다.
조직 병리를 디지털화하는 방법은 일정한 영역을 일정한 배율의 광확대 조건에서 사진을 찍는 순간촬영 (snapshot) 방식과 유리 슬라이드 내용의 일부 또는 전부를 디지털화하는 전체슬라이드 영상화 (whole slide imaging: WSI) 방식이 있고, 후자를 가리켜 흔히 가상현미경이라고도 부른다. 순간촬영 방식은 카메라가 이용되고, 전체 슬라이드 영상화는 디지털 스캐너가 이용될 수 있다.
본 명세서는 조직 병리를 디지털화하는 방법으로 디지털 스캐너를 이용하여 전체 슬라이드 영상화하는 것을 예시적으로 설명하나 이에 제한되지 않는다.
이후 조직 병리 디지털 영상에 대해 저장된 영상의 초점이 맞는지 확인하기 위해 조직 병리 영상의 흐림 여부를 판단하는 다양한 방법이나 알고리즘을 사용할 수 있다.
예를 들어, 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산할 수 있다.
도 2에 도시한 바와 같이, 조직 병리 영상에 대해 수학식 1과 같은 커넬 매트릭스를 활용하여 라플라시안 분산을 계산할 수 있다.
Figure PCTKR2021017402-appb-M000001
라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 오류 메시지를 생성한다. 예를 들어, 라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 생성된 오류 메시지를 통해 재스캔이나 재촬영을 요구할 수 있다.
라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치와 같거나 큰 경우 다음 단계를 진행한다.
도 3은 도 1의 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)의 흐름도이다.
도 3을 참조하면, 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)는 조직 병리 영상에서 물체를 검출하고(S121), 이물질을 확인하고(S122), 이물질이 조직과 겹치는가 판단하고(S123), 이물질이 조직과 겹친다고 판단되는 경우 재스캔 또는 재촬영을 요청하고(S124), 이물질이 조직과 겹치지 않는다고 판단되는 경우 이물질을 제거한다(S125).
S121에서 물체를 검출할 때, 조직 병리 영상에 대해 도 4에 도시한 바와 같이 윤곽 지도(contour map)을 통해 물체를 검출할 수 있다.
S122에서 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 조직 병리 영상에 예를 들어 머리카락이나 먼지 등 이물질(artifact)이 포함되었는지를 확인할 수 있다.
도 5은 도 3에서 조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델의 구성도이다.
도 5를 참조하면, 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델(deep learning model, 221)을 이용하여 다량의 조직 병리 영상들을 학습시킴으로써 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 다층의 네트워크를 학습시켜, 조직 병리 영상에 이물질이 포함되었는지를 확인할 수 있다.
조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델(221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. 즉, 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태의 모델이다.
전술한 딥 러닝 모델(221)은 CNN (Convolutional Neural Network), DHN (Deep Hierachical Network), CDBN (Convolutional Deep Belief Network), DDN (Deconvolutional Deep Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network) 등일 수 있으나, 본 발명은 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 모델을 이용할 수 있다.
전술한 딥 러닝 모델(221)은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델(221)을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델(221)은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
다시 도 5를 참조하면, 딥 러닝 모델(221)은 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part, 222)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part, 224)을 포함한다.
컨벌루션(convolution)은 컨볼루션 레이어(convolution lalyer)에서 의료영상의 각 영역을 복수의 필터를 이용하여 픽쳐 맵(feature map)를 만들어낸다. 서브샘플링(subsampling) 또는 폴링(pooling)은 서브샘플링 레이어(subsampling layer)에서 픽쳐 맵(feature map)의 크기를 줄여 위치나 회전의 변화에 불변하는 이미지 영상에 대한 픽쳐(feature)를 추출한다.
픽쳐 추출 영역(222)은 컨벌루션(convolution) 및/ 또는 서브샘플링(subsampling)을 반복함으로써 의료영상에서 점, 선, 면 등의 저수준의 픽쳐에서부터 복잡하고 의미 있는 고수준의 픽쳐까지 다양한 수준의 픽쳐를 추출할 수 있다.
딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델에서는 데이터의 순서가 초기 파라미터의 값을 결정하게 된다.
딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 랜덤 샘플링은 학습 데이터 셋에서 학습되는 학습 데이터들의 순서가 다르다는 것을 의미한다.
규제화 기술은 노이즈까지 포함된 학습 데이터에 과도하게 학습된 딥 러닝 모델이 테스트나 진단에서 정확성이 오히려 떨어지는 오버피팅을 줄이는 기술이다. 규제화 기술은 예를 들어 드롭 아웃 기술이나 드롭 커넥티드 기술 등일 수 있다.
드롭 아웃 기술은 특정 노드에 대해 확률적으로 파라미터의 값을 0으로 지정하고 학습시키는 방법이다. 드롭 커넥티드 기술은 노드들 간의 커넥티드를 드롭하고 학습시키는 방법이다. 이하에서 규제화 기술로 이하에서, 드롭 아웃 기술을 예시적으로 설명하나, 현재 또는 장래에 오버피팅을 줄이는 어떠한 기술 또는 알고리즘일 수 있다.
다시 도 3을 참조하면, S123에서, 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크(binary mask)로 표현한 이미지를 생성하여 이물질이 조직과 겹쳐있는지 또는 배경에 위치하는지 파악할 수 있다.
S124에서 이물질이 조직과 겹친다고 판단되는 경우 오류 메시지를 통하여 재스캔 또는 재촬영을 요청하여 처음 단계부터 다시 시작할 수 있다.
S125에서, 이물질이 배경에 위치하는 것으로 파악된 경우, 도 6에 도시한 바와 같이, 이물질을 배경과 동일한 색상으로 변환할 수 있다.
S110 단계 및 S120 단계에 의하여, 조직 병리 영상을 염색 후에 스캔 후 CAD 혹은 딥러닝 모델을 적용 했을 시에 가장 객관적이고 일관적인 결과를 도출할 수 있도록 스캔 결과에 초점이 맞지 않거나, 이물질이 있는 경우, 기존 조직 병리 영상에서 제거하거나 오류 메시지를 띄워 재촬용 또는 재스캔을 유도할 수 있다.
다시 도 1을 참조하면, 조직 병리 영상의 색을 표준화하는 단계(S130)에서 기관/병원에서 사용하는 장비 및 염색체를 일관성 있게 변환하기 위해 도 7에 도시한 바와 같이 색 표준화 (stain/color normalization) 알고리즘을 적용하여 조직 병리 영상의 색 또는 색상을 표준화할 수 있다.
S130 단계에 의해, 색 표준화 (stain/color normalization) 알고리즘도 적용하므로 기관/병원에서 사용하는 장비 및 염색체에 관계없이 조직 병리 영상의 일관성을 유지할 수 있다.
전술한 실시예들에 따른 조직 병리 영상의 방법에 의하면, 초점이 맞고 이물질이 제거되며 색이 표준화된 조직 병리 영상을 제공하므로, 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.
전술한 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계(S110), 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120) 및 조직 병리 영상의 색을 표준화하는 단계(S130)를 포함한다.
그러나, 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 S110 단계와 S120 단계, S130 단계를 모두 포함할 뿐만 아니라 S110 단계와 S120 단계, S130 단계 중 하나만 포함하거나, 이들 중 둘만을 포함할 수도 있다.
예를 들어 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 도 3을 참조하여 설명한 S120단계만으로 구성될 수도 있다.
이상 도 1 내지 도 7을 참조하여 일 실시예에 따른 병리 조직 영상의 처리 방법을 설명하였다. 이하 도 8을 참조하여 다른 실시예에 따른 병리 조직 영상의 처리 장치에 대해 설명한다.
도 8은 다른 실시예에 따른 병리 조직 영상의 처리 장치의 블록도이다.
다른 실시예에 따른 병리 조직 영상의 처리 장치(200)는 추출된 조직 병리 영상을 입력받는 입력부(210), 추출된 조직 병리 영상의 흐림 여부를 판단하고 상기 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고 상기 이물질을 제거하고, 상기 조직 병리 영상의 색을 표준화하는 제어부(S220) 및 오류 메시지를 출력하거나 표준화된 조직 병리 영상을 출력하는 출력부(S230)를 포함한다.
조직 병리 영상의 흐림 여부를 판단할 때, 제어부(220)는 추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 오류 메시지를 생성할 수 있다.
제어부(220)는 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출할 수 있다.
제어부(220)는 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 조직 병리 영상에 이물질이 포함되었는지를 확인할 수 있다.
전술한 바와 같이, 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델(221)을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인할 수 있다.
도 5를 참조하여 전술한 바와 같이, 딥 러닝 모델(221)은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(222)과, 추출된 픽쳐를 이용하여 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(224)을 포함할 수 있다.
조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 제어부(220)는 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악할 수 있다.
제어부(220)는 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환할 수 있다.
제어부(220)는 지속적으로 수집된 학습용 영상 이미지와 누적된 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 인공 지능이 영상 이미지를 판독할 수 있다.
표시부(230)는 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 상기 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 차트가 출력된다.
도 8을 참조하여 전술한 바와, 제어부(220)에서 사용될 수 있는 딥 러닝 모델(deep learning model, 221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다.
도 8을 참조하여 전술한 바와 같이, 딥 러닝 모델(221)은, 픽쳐 추출 영역(222)과, 출력 영역(224)을 포함한다. 딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 딥 러닝 모델들(221)은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다.
전술한 다른 실시예에 따른 조직 병리 영상의 장치에 의하면 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.
이상 도 8을 참조하여 다른 실시예에 따른 병리 조직 영상의 처리 장치에 대해 설명하였다. 이하, 도 9을 참조하여, 일실시예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템에 대해 설명한다.
도 9는 일실시예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템을 도시하고 있다.
도 9를 참조하면, 도 1에 도시한 병리 조직 영상의 처리 방법(100)이 실행되는 병리 조직 영상 처리 시스템(300)은 스캐너(310)와, 케이블(330)로 스캐너(310)와 연결되고 병리 조직 영상의 처리 방법(100)을 수행하고 그 결과를 표시하는 컴퓨터 장치(320)를 포함한다. 컴퓨터 장치(320)는 컴퓨터로 읽을 수 있는 기록매체에 포함된, 전술한 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 지시들을 구현하는 컴퓨터 장치일 수 있다.
이때 스캐너(310)와 컴퓨터 장치(320)를 통합하여 병리 조직 처리 시스템(300)을 구성할 수도 있다.
전술한 일실시예에 따른 병리 조직 영상의 처리 방법(100)은, 컴퓨터 장치(320)에 기본적으로 설치된 애플리케이션에 의해 실행될 수 있고, 또한, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 컴퓨터 장치(320)의 운영체제와 호환 가능하고 컴퓨터 장치(320)에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 여기서, 컴퓨터 장치(320)의 운영체제는, 데스크 탑 등의 일반 PC에 설치되는 윈도우(Window), 매킨토시(Macintosh) 등의 운영체제이거나, 스마트폰, 태블릿 PC 등의 모바일 단말기에 설치되는 iOS, 안드로이드(Android) 등의 모바일 전용 운영체제 등일 수도 있다.
이러한 의미에서, 일실시예에 따른 병리 조직 영상의 처리 방법(100)은 컴퓨터 장치(320)에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고, 컴퓨터 장치(320)로 읽을 수 있는 기록매체(322)에 기록될 수 있다.
일실시예에 따른 병리 조직 영상의 처리 방법(100)을 구현한 컴퓨터 프로그램(124)은, 전술한 본 발명의 일실시예에 따른 신호발생수단의 존재 하에서 수행된 증폭 반응으로부터 얻은 증폭곡선을 보정하는 방법에 대응되는 모든 기능을 실행할 수 있다.
이러한 컴퓨터 프로그램(324)은 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 프로세서를 구성하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램 지시들을 포함하는 컴퓨터 프로그램이다.
컴퓨터 장치(320)로 읽을 수 있는 기록매체(322)는 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 프로세서를 구현하는 지시들을 포함하는 컴퓨터로 읽을 수 있는 기록매체이다.
이와 같이, 컴퓨터 장치(320)의 컴퓨터가 기록매체에 기록된 컴퓨터 프로그램을 읽어 들여 프로그램으로 구현된 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, Visual basic, VBScript, JavaScript, Perl, XML 또는 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
전술한 병리 조직 영상의 처리 방법(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치(320)는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 병리 조직 영상의 처리 방법(100)는, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시 예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시 예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시 예들에 따른 딥 러닝 모델을 활용한 병리 조직 영상의 처리 방법(100)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시 예들에 따른 병리 조직 영상의 처리 방법(100)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시 예들에 따른 병리 조직 영상의 처리 방법(100)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시 예들에 따른 병리 조직 영상의 처리 방법(100)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
병리 조직 영상의 처리 방법(100)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 병리 조직 영상의 처리 방법(100)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 녹내장 수술 결과 진단 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2021년 01월 22일 한국에 출원한 특허출원번호 제 10-2021-0009672호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (16)

  1. 추출된 조직 병리 영상의 흐림 여부를 판단하고, 상기 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계;
    상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 상기 이물질을 제거하는 단계; 및
    상기 조직 병리 영상의 색을 표준화하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 조직 병리 영상의 흐림 여부를 판단할 때,
    추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 상기 오류 메시지를 생성하는 방법.
  3. 제1항에 있어서,
    상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 방법.
  4. 제1항에 있어서,
    상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 방법.
  5. 제4항에 있어서,
    상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 방법.
  6. 제5항에 있어서,
    상기 딥 러닝 모델은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part)을 포함하는 방법.
  7. 제1항에 있어서,
    상기 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 상기 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 상기 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악하는 방법.
  8. 제7항에 있어서,
    상기 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환하는 방법.
  9. 추출된 조직 병리 영상을 입력받는 입력부;
    추출된 조직 병리 영상의 흐림 여부를 판단하고 상기 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고 상기 이물질을 제거하고, 상기 조직 병리 영상의 색을 표준화하는 제어부; 및
    상기 오류 메시지를 출력하거나, 표준화된 상기 조직 병리 영상을 출력하는 출력부를 포함하는 장치.
  10. 제9항에 있어서,
    상기 조직 병리 영상의 흐림 여부를 판단할 때,
    추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 상기 오류 메시지를 생성하는 장치.
  11. 제9항에 있어서,
    상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 장치.
  12. 제9항에 있어서,
    상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 장치.
  13. 제12항에 있어서,
    상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 장치.
  14. 제13항에 있어서,
    상기 딥 러닝 모델은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part)을 포함하는 장치.
  15. 제11항에 있어서,
    상기 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 상기 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 상기 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악하는 장치.
  16. 제15항에 있어서,
    상기 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환하는 장치.
PCT/KR2021/017402 2021-01-22 2021-11-24 병리 조직 영상의 처리 방법 및 그 장치 WO2022158694A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0009672 2021-01-22
KR1020210009672A KR20220106582A (ko) 2021-01-22 2021-01-22 병리 조직 영상의 처리 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2022158694A1 true WO2022158694A1 (ko) 2022-07-28

Family

ID=82549527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017402 WO2022158694A1 (ko) 2021-01-22 2021-11-24 병리 조직 영상의 처리 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR20220106582A (ko)
WO (1) WO2022158694A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297336B1 (ko) * 2011-03-30 2013-08-14 인하대학교 산학협력단 점액성 낭성종양 진단 장치
KR101704690B1 (ko) * 2015-09-02 2017-02-09 선문대학교 산학협력단 세포 분석 장치 및 방법
KR101789513B1 (ko) * 2016-07-11 2017-10-26 주식회사 인피니트헬스케어 디지털 병리 시스템의 이미지 품질 평가 방법
JP2017199026A (ja) * 2012-07-04 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
US20190197362A1 (en) * 2016-08-30 2019-06-27 Memorial Sloan Kettering Cancer Center System, method and computer-accessible medium for quantification of blur in digital images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297336B1 (ko) * 2011-03-30 2013-08-14 인하대학교 산학협력단 점액성 낭성종양 진단 장치
JP2017199026A (ja) * 2012-07-04 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
KR101704690B1 (ko) * 2015-09-02 2017-02-09 선문대학교 산학협력단 세포 분석 장치 및 방법
KR101789513B1 (ko) * 2016-07-11 2017-10-26 주식회사 인피니트헬스케어 디지털 병리 시스템의 이미지 품질 평가 방법
US20190197362A1 (en) * 2016-08-30 2019-06-27 Memorial Sloan Kettering Cancer Center System, method and computer-accessible medium for quantification of blur in digital images

Also Published As

Publication number Publication date
KR20220106582A (ko) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110909780B (zh) 一种图像识别模型训练和图像识别方法、装置及系统
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021210796A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2021210797A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
US20220375610A1 (en) Multi-Variable Heatmaps for Computer-Aided Diagnostic Models
WO2023155488A1 (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2022265197A1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
WO2022158694A1 (ko) 병리 조직 영상의 처리 방법 및 그 장치
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
KR102036052B1 (ko) 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치
WO2021261727A1 (ko) 캡슐 내시경 영상 판독 시스템 및 방법
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
CN116029968A (zh) 猴痘感染皮肤图像检测方法和装置、电子设备及存储介质
WO2021246625A1 (ko) 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
KR20220078495A (ko) 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램
JP7443929B2 (ja) 医療診断支援装置、医療診断支援プログラム、および医療診断支援方法
WO2024053996A1 (ko) 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치
CN112991266A (zh) 用于小样本医疗影像的语义分割方法及系统
WO2022119364A1 (ko) 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921453

Country of ref document: EP

Kind code of ref document: A1