WO2022103122A1 - 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
WO2022103122A1
WO2022103122A1 PCT/KR2021/016249 KR2021016249W WO2022103122A1 WO 2022103122 A1 WO2022103122 A1 WO 2022103122A1 KR 2021016249 W KR2021016249 W KR 2021016249W WO 2022103122 A1 WO2022103122 A1 WO 2022103122A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
area
neural network
super
Prior art date
Application number
PCT/KR2021/016249
Other languages
English (en)
French (fr)
Inventor
백인영
문의거
정채윤
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Publication of WO2022103122A1 publication Critical patent/WO2022103122A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method of converting a partial region of a pathological slide image to high resolution using a high resolution conversion technology based on super resolution using deep learning, and a computing system for performing the same.
  • the existing pathology diagnosis method consists of a pathologist visually observing and reading a pathology slide for diagnosis prepared from a specimen through an optical microscope.
  • the method of converting pathological slides into digital images using a microscope camera connected to a computer and then observing and reading them on a monitor can be said to be the beginning of digital pathology.
  • a general super-resolution technique consists of forcibly converting an image of the restoration target resolution to a low resolution, and then learning a deep learning model to generate an image that is as similar to the original image as possible from the transformation result. In this case, it is possible to create a high-resolution image that is sufficiently satisfactory to the naked eye in this way.
  • the high-resolution conversion of the pathological slide image has a higher acceptance criterion for image detail restoration compared to the conversion of other images.
  • the reason is that the purpose of observing high-resolution (high magnification) pathological slide images is to be influenced by the details of the image, such as mainly observing the nucleoli of the cell nucleus. Therefore, a super-resolution-based high-resolution conversion technology specialized for pathological slide images is required, and it is judged that pathology specialists can perform more accurate pathology diagnosis in a digital pathology environment only when a pathology slide image viewer using this is provided.
  • the first is a method of generating the entire high-resolution image in advance and providing a portion corresponding to the view area upon request
  • the second method is a method of providing a portion corresponding to the view area by performing high-resolution conversion in real time upon request.
  • the super-resolution-based high-resolution conversion technology performs conversion in consideration of the surrounding area of the conversion target area, determining the conversion target area in consideration of only the high-resolution view area may result in deterioration of the conversion result. Also, in the viewer, the view area moves continuously according to user input, and whenever the view area is determined as a result of the movement, converting the entire area to provide it has a problem of slowing down. It may provide inconvenience to the user. Therefore, a high-performance pathological slide image viewer needs to implement a high-resolution conversion strategy considering these factors.
  • the technical problem to be achieved by the present invention is to provide a method for converting a partial region of a pathological slide image to high resolution using a super-resolution-based high-resolution conversion technology using deep learning and a computing system for performing the same.
  • a method performed in a computing system including a pre-trained Super Resolution Neural Network to convert an input original image into a high-resolution image, wherein the entire area of the original pathological slide image is provided.
  • a high-resolution conversion target area which is a partial area to be converted into high-resolution
  • an extended area extending the high-resolution conversion target area by p pixels above, below, left and right (here, p is an integer greater than or equal to 1)
  • a high-resolution conversion method comprising inputting to a super-resolution neural network, obtaining a high-resolution image corresponding to the high-resolution conversion target region, and outputting the obtained high-resolution image.
  • the step of specifying a high-resolution conversion target region, which is a partial region to be converted to high resolution, from among the original pathological slide image includes specifying a view region, which is a partial region that the user wants to display, from among the original pathological slide image and specifying, as the high-resolution conversion target area, an untransformed area excluding a previously converted area that has already been converted to a high resolution among the view areas.
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • a computer-readable recording medium in which a computer program for performing the above-described method is recorded.
  • a computing system comprising a processor and a memory, wherein the memory, when executed by the processor, causes the computing system to perform the above-described method.
  • a storage module for storing a pre-learned Super Resolution Neural Network (Super Resolution Neural Network) to convert an input original image into a high-resolution image, among the entire area of the original pathological slide image, high-resolution A specific module for specifying a high-resolution conversion target area, which is a partial area to be converted, and the super-resolution neural
  • a computing system including a conversion module for inputting into a network, obtaining a high-resolution image corresponding to the high-resolution conversion target region, and an output module for outputting the obtained high-resolution image.
  • the specific module specifies, among the original pathological slide images, a view area that is a partial area that the user wants to display, and, among the view areas, excludes a pre-converted area that has already been converted to high resolution.
  • the conversion area may be specified as the high-resolution conversion target area.
  • the p may be a value determined based on a structural characteristic of a convolutional layer included in the super-resolution neural network.
  • p may be a value less than or equal to Z determined by the following [Equation 1].
  • a pathology slide image viewer equipped with super-resolution-based high-resolution conversion technology specialized for pathological slide images can be provided to pathologists. You can provide a viewer.
  • FIG. 1 is a diagram illustrating a schematic configuration of a computing system for performing a method for high-resolution conversion of a pathological slide image according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a relationship between a high-resolution conversion target region and an extended region.
  • 3A to 3C are diagrams illustrating a relationship between a view region, a high-resolution conversion target region, and an extension region.
  • FIG. 4 is a flowchart illustrating a high-resolution conversion method for a pathological slide image according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram illustrating a schematic configuration of a computing system for performing a method for high-resolution conversion of a pathological slide image according to an embodiment of the present invention.
  • a computing system for performing the high-resolution pathological slide image conversion method according to the technical spirit of the present invention may be referred to as a pathological slide image high-resolution conversion system.
  • the pathological slide image high-resolution conversion method according to the technical spirit of the present invention may be performed by the pathological slide image high-resolution conversion system 100 .
  • the high resolution conversion method of the pathology slide image may be a method of converting a part of the digital pathology slide image to a high resolution (high magnification).
  • the pathological slide image high-resolution conversion system 100 may be a computing system that is a data processing device having arithmetic capability for implementing the technical idea of the present invention. It may include a computing device such as a personal computer or a portable terminal.
  • the high-resolution pathological slide image conversion system 100 may be implemented with any one physical device, but if necessary, a plurality of physical devices are organically coupled to the pathological slide image high-resolution conversion system 100 according to the technical concept of the present invention. An average expert in the technical field of the present invention can easily infer that it can be implemented.
  • the high-resolution pathological slide image conversion system 100 may include a display device 150, and the result of converting some of the digital pathological slide images to high resolution (high magnification) is displayed on the display device 150 . can be printed through
  • the high-resolution pathological slide image conversion system 100 is connected to a predetermined terminal 200 through a network, and at the request of the terminal 200, a part of the digital pathological slide image is transferred to the terminal 200. Conversion results can be transmitted in high resolution (higher magnification).
  • the high resolution conversion system 100 for pathological slide images may be in the form of a sub-system of a predetermined parent system, and the parent system is a pathological slide image, unlike that shown in FIG. 1 . It may be a server that performs a function such as performing digital image processing for the .
  • the pathological slide image high-resolution conversion system 100 includes a storage module 110 , a region information acquisition module 120 , a specific module 130 , a conversion module 140 , and an output module 150 . can do. According to the embodiment of the present invention, some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and according to the embodiment, the pathological slide image high-resolution conversion system ( 100) may include more components than this, of course.
  • the system 100 includes other components of the pathological slide image high-resolution conversion system 100 (eg, a storage module 110, a region information acquisition module 120, a specific module 130, a conversion module ( 140), and may further include a control module (not shown) for controlling functions and/or resources of the output module 150, etc.).
  • a storage module 110 e.g., a storage module 110, a region information acquisition module 120, a specific module 130, a conversion module ( 140), and may further include a control module (not shown) for controlling functions and/or resources of the output module 150, etc.
  • the pathological slide image high-resolution conversion system 100 may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and must have one physical component. It does not mean or imply a single device. That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the storage module 110 , the area information acquisition module 120 , the specific module 130 , the conversion module 140 , and the output module 150 may be located in different physical devices, or the same physical device. may be located in In addition, the combination of software and/or hardware constituting each of the storage module 110 , the area information acquisition module 120 , the specific module 130 , the conversion module 140 , and the output module 150 depending on the embodiment Also, each of the modules may be implemented by organically combining components located in different physical devices and located in different physical devices.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, which necessarily means physically connected code or means one type of hardware. It can be easily deduced to an average expert in the art of the present invention.
  • the storage module 110 may store various data necessary to implement the technical idea of the present invention.
  • the storage module 150 may store a super-resolution neural network.
  • the super-resolution neural network is an artificial neural network for converting an input original image into a high-resolution image, and is a neural network trained in advance before the pathological slide image high-resolution conversion method according to the technical idea of the present invention is performed.
  • a neural network includes a multilayer perceptron model, and may refer to a set of information representing a series of design items defining an artificial neural network.
  • the super-resolution neural network may be a convolutional neural network.
  • a convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer).
  • the convolutional neural network may be defined by a function, filter, stride, weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer.
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, well-known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and implement the technical spirit of the present invention Separately defined functions may be used to do this.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device.
  • a weight factor corresponding to each layer may be specified. That is, learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is learned, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the pathological slide image is an image in which pixel clusters having the same or very similar color or brightness are contrasted and combined, rather than gradually changing in color or brightness. That is, there is a feature that the boundary is sharper than other images.
  • a deep learning model that performs super-resolution for pathological slide images that is, the super-resolution neural network
  • gains sharpness of the image that is, the super-resolution neural network
  • the deep learning model that performs super-resolution ie, the super-resolution neural network
  • the pathological slide image viewer that is not equipped with the learned pathological slide image-specific high-resolution conversion model does not provide a high-magnification (high-resolution) image that is higher than the standard magnification of the normal image, or provides a blurry image even if it is provided.
  • a pathological slide image viewer equipped with a high-resolution transformation model can provide an image in which details are not crushed.
  • the region information acquisition module 120 may acquire information on a view region, which is a partial region desired by the user to display, from among the original pathological slide image.
  • a pathology slide image viewer may be installed and provided to the user in the high resolution conversion system 100 or the terminal 200 for the pathological slide image, and the pathological slide image viewer converts some of the original pathological slide image and the original pathological slide image. It is possible to display an enlarged image in high resolution. The user can designate an area to be enlarged in high resolution while navigating a specific part of the original slide image in the pathological slide image viewer. Then, the region information acquisition module 120 may acquire region information (eg, location, horizontal size, vertical size, etc.) of a user-specified view region (ie, a region that the user desires to display in high resolution).
  • region information eg, location, horizontal size, vertical size, etc.
  • the specific module 130 may specify a high-resolution conversion target area, which is a partial area to be converted to high-resolution, from among the original pathological slide image.
  • the pathological slide image may be various biological images including a tissue image, and may be a slide image obtained by scanning a glass slide stained with a living tissue with a digital scanner or an image extracted from a part of the slide image.
  • the specific module 130 may specify the view area designated by the user as the high-resolution conversion target area.
  • the specific module 130 specifies, among the original pathological slide images, a view area, which is a partial area that the user wants to display, and, among the view areas, a pre-transformation that has already been converted to high resolution.
  • An untransformed area excluding the area may be specified as the high-resolution conversion target area. In this way, it is possible to prevent overlapping regions that have been previously converted to high resolution from being converted to high resolution.
  • the transformation module 140 inputs an extension region extending by p pixels (here, p is) to the top, bottom, left and right of the boundary of the high-resolution transformation target region to the super-resolution neural network, and the high-resolution transformation A high-resolution image corresponding to the target region may be acquired.
  • p is an integer greater than or equal to 1, and is a value determined by reflecting the characteristics of the super-resolution neural network.
  • the p which is a parameter for determining how much to expand the target region to be converted into high resolution, may be a value determined based on structural characteristics of a convolutional layer included in the super-resolution neural network.
  • p may be a Z value determined by the following [Equation 1].
  • C is a set including all convolutional layers included in the super-resolution neural network
  • f i is the filter size of the i-th convolutional layer included in the super-resolution neural network.
  • p may be a value less than or equal to Z determined by Equation 1 above.
  • FIG. 2 is a diagram illustrating a relationship between a high-resolution conversion target region and an extended region. 2 shows an example in which p is set to 3.
  • the conversion module 140 performs 3 pixels up, down, left and The extended region 12 may be determined by extending to the right, and the extended region 12 may be input to the super-resolution neural network to obtain a high-resolution image corresponding to the high-resolution transformation target region 11 .
  • 3A to 3C are diagrams illustrating a relationship between a view region, a high-resolution conversion target region, and an extension region.
  • the user can navigate to the original slide image 10 in the pathological slide image viewer.
  • the user may view the enlarged image of the first portion 13 of the original slide image 10 and then move the portion to be enlarged to the second portion 14 . That is, the view area may be changed from the first part 13 to the second part 14 by the user.
  • the specific module 130 corresponds to the part that has already been converted to high resolution in the changed view area 14 , that is, the intersection of the changed view area 14 and the previous view area 13 .
  • the region 16 other than the region 15 may be specified as a high-resolution conversion target region.
  • the high-resolution conversion target region 16 is displayed in gray.
  • the conversion module 140 may determine the extension area 17 by extending up, down, left and right by 2 pixels in the high-resolution conversion target area 16, By inputting the extended region 17 to the super-resolution neural network, a high-resolution image corresponding to the high-resolution transformation target region 16 may be obtained.
  • the output module 150 may output the acquired high-resolution image.
  • the output module 150 may output the high-resolution image to the display device 150 or the terminal 200, and in particular, may output the high-resolution image through the pathological slide image viewer.
  • FIG. 4 is a flowchart illustrating a high-resolution conversion method for a pathological slide image according to an embodiment of the present invention.
  • the pathological slide image high-resolution conversion method is performed in the computing system 100 including a pre-trained Super Resolution Neural Network to convert an input original image into a high-resolution image.
  • the computing system 100 may specify a high-resolution conversion target area, which is a partial area to be converted to high-resolution, from among the original pathological slide image ( S10 ).
  • the computing system 100 specifies, among the original pathological slide images, a view area that is a partial area desired by the user to display, and among the view areas, unconverted except for a pre-transformed area that has already been converted to high resolution.
  • the region may be specified as the high-resolution conversion target region.
  • the computing system 100 inputs an extended area extending by p pixels (here, p is an integer greater than or equal to 1) to the top, bottom, left, and right of the high-resolution transformation target region to the super-resolution neural network, and the high-resolution A high-resolution image corresponding to the conversion target region may be acquired (S20), and the acquired high-resolution image may be output (S30).
  • the computing system 100 may include a processor and a storage device.
  • the processor may mean an arithmetic device capable of driving a program for implementing the technical idea of the present invention, and may perform the method defined by the program and the technical idea of the present invention.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the storage device may mean a data storage means capable of storing a program and various data necessary for implementing the technical idea of the present invention, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device may include not only the main storage device included in the computing system 100 , but also a temporary storage device or memory that may be included in the processor.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks, and hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by an apparatus for electronically processing information using an interpreter or the like, for example, a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be used in a deep learning-based pathological slide image high-resolution conversion method and a computing system performing the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

딥러닝을 이용한 수퍼 레졸루션(Super Resolution) 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템에서 수행하는 방법으로서, 원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계, 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 단계 및 획득한 상기 고해상도 이미지를 출력하는 단계를 포함하는 고해상도 변환 방법이 제공된다.

Description

딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
본 발명은 딥러닝을 이용한 수퍼 레졸루션(Super Resolution) 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
기존의 병리 진단 방법은 검체로부터 제작된 진단용 병리 슬라이드를 광학 현미경을 통해 병리 전문의가 육안으로 관찰, 판독하는 방식으로 이루어진다. 컴퓨터에 연결된 현미경 카메라를 활용하여 병리 슬라이드를 디지털 영상으로 변환한 후 모니터로 관찰하며 판독하는 방식이 디지털 병리학의 시초라고 할 수 있다.
근래에는 디지털 슬라이드 스캐너가 등장하여 병리 슬라이드 전체를 하나의 디지털 영상으로 변환한 후 이를 컴퓨터 모니터를 통해 관찰하여 판독하는 방식이 널리 확산되고 있다. 이때, 디지털 영상화된 병리 슬라이드를 육안으로 관찰, 판독함에 있어서 기존의 광학 현미경 기반 진단법과 동일하게 여러 배율에서 슬라이드 영상을 관찰할 수 있어야 한다. 현재의 디지털 슬라이드 스캐너는 200배 또는 400배의 단일 배율로 확대된 영상을 스캔할 수 있도록 기능을 제공한다.
단일 배율의 병리 슬라이드 영상을 여러 배율로 관찰할 수 있으려면, 병리 슬라이드 영상 뷰어에서 영상의 확대 축소 기능을 제공하여야 한다.
저배율의 영상을 제공하기 위해 영상을 축소하는 경우, 영상 품질이 일부 하락하더라도 관찰 시 크게 영향을 주지 않는다. 이는 저배율 관찰은 영상에서 검체의 디테일보다는 전체적인 모양 또는 구조를 보기 위한 목적이기 때문이다. 스캔 기준 배율보다 고배율의 영상을 제공하기 위해 픽셀 보간법 등을 활용한 기존의 방법으로 영상을 확대하는 경우 영상의 디테일이 뭉개지며 품질이 하락하고, 이는 관찰 및 판독에 영향을 주므로 디테일을 유지하는 배율 확대 방법이 필요하다.
최근 딥러닝의 발달로 이미지 분석 및 생성과 관련된 기술적 발전이 이루어졌으며, 저해상도 또는 저품질의 영상을 고해상도 또는 고품질의 영상으로 변환하는 수퍼 레졸루션(super-resolution) 용도의 딥러닝 모델을 학습하고 활용하는 연구가 진행되었다. 이 기술은 저해상도에서 장면을 생성한 후 고해상도로 변환하여 화면에 표시하는 등의 방법으로 최신의 그래픽 카드 또는 드라이버에서 제공하기도 한다.
일반적인 수퍼 레졸루션 기술은 복원 타겟 해상도의 이미지를 저해상도로 강제 변환한 후, 변환 결과로부터 원본 이미지와 최대한 유사한 이미지를 생성하도록 딥러닝 모델을 학습하는 방법으로 이루어지며, 인물, 사물, 경치 등 일반적인 사진의 경우는 이러한 방법으로 충분히 육안으로 만족할만한 수준의 고해상도 영상을 만들 수 있다.
그러나 병리 슬라이드 영상에 대한 고해상도 변환은 다른 영상의 변환 대비 영상 디테일의 복원에 대한 허용 기준이 더 높다. 그 이유는 고해상도(고배율) 병리 슬라이드 영상의 관찰 목적이 주로 세포핵의 핵소체들(nucleoli)을 관찰하는 등 영상의 디테일에 영향을 받는 것이기 때문이다. 따라서 병리 슬라이드 영상에 특화된 수퍼 레졸루션 기반의 고해상도 변환 기술이 필요하며, 이를 활용한 병리 슬라이드 영상 뷰어가 제공되어야 디지털 병리 환경에서 병리 전문의들이 좀 더 정확한 병리 진단을 수행할 수 있을 것으로 판단된다.
병리 슬라이드 영상 뷰어에서 원본 영상의 기준 해상도(배율)보다 고해상도의 영상을 제공하는 방법에는 크게 두 가지 방법을 들 수 있다. 첫째는 고해상도 영상 전체를 미리 생성하고, 요청 시 뷰 영역에 해당하는 부분을 제공하는 방법이며, 둘째는 요청 시 실시간으로 고해상도 변환을 수행하여 뷰 영역에 해당하는 부분을 제공하는 방법이다.
고해상도 영상 전체를 미리 생성하는 것은 기준 영상의 크기가 수백MB에서 수GB에 이르는 현실을 감안할 때 수GB에서 수십GB에 이르는 영상 파일을 미리 생성하여 저장하게 되므로 적절하지 않다. 요청 시 실시간으로 고해상도 변환을 수행하는 경우, 영상 변환에 소요되는 시간이 뷰어의 응답 시간에 포함되므로, 변환 대상 영역을 어떻게 지정하여 변환을 수행하는지가 뷰어의 사용성에 큰 영향을 주게 된다. 따라서, 가장 효율적인 방법은 고해상도 뷰 영역을 고려하여 필요한 만큼 변환 대상 영역을 정하는 것이 될 것이다.
수퍼 레졸루션 기반의 고해상도 변환 기술은 변환 대상 영역의 주변 영역을 고려하여 변환을 수행하므로, 고해상도 뷰 영역만을 고려하여 변환 대상 영역을 정하는 것은 변환 결과의 품질 하락을 초래할 수 있다. 또한 뷰어에서는 사용자 입력에 따라 뷰 영역이 지속적으로 이동하게 되며, 이동 결과로 뷰 영역이 결정될 때마다 전체 영역을 변환하여 제공하는 것은 속도 하락 문제도 있거니와 중첩 영역의 변환 결과가 완전히 일치하지 않는 경우 사용자에게 불편함을 제공할 수 있다. 따라서, 고성능의 병리 슬라이드 영상 뷰어는 이러한 요소들을 고려한 고해상도 변환 전략을 구현할 필요가 있다.
본 발명이 이루고자 하는 기술적인 과제는 딥러닝을 이용한 수퍼 레졸루션(Super Resolution) 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템에서 수행하는 방법으로서, 원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계, 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 단계 및 획득한 상기 고해상도 이미지를 출력하는 단계를 포함하는 고해상도 변환 방법이 제공된다.
일 실시예에서, 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계는, 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하는 단계 및 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 저장하는 저장모듈, 원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 특정모듈, 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 변환모듈 및 획득한 상기 고해상도 이미지를 출력하는 출력모듈을 포함하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 특정모듈은, 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.
일 실시예에서, 상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 할 수 있다.
[수식 1]
Figure PCTKR2021016249-appb-I000001
(여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)
본 발명의 일 실시예에 따르면, 딥러닝을 이용한 수퍼 레졸루션 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템을 제공할 수 있다.
또한 이를 통하여 병리 슬라이드 이미지에 특화된 수퍼 레졸루션 기반의 고해상도 변환 기술을 탑재한 병리 슬라이드 영상 뷰어를 병리 전문의들에게 제공할 수 있으며, 뷰 영역 이동 시에도 최적으로 동작하는 고해상도 변환 전략을 구현한 병리 슬라이드 영상 뷰어를 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.
도 3a 내지 도 3c는 뷰 영역, 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 도시한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다. 본 명세서에서는 경우에 따라, 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템을 병리 슬라이드 이미지 고해상도 변환 시스템으로 칭할 수 있다.
본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법은 병리 슬라이드 이미지 고해상도 변환 시스템(100)에 의해 수행될 수 있다.
상기 병리 슬라이드 이미지 고해상도 변환 방법은 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환하는 방법일 수 있다.
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 디스플레이 장치(150)를 구비할 수 있으며, 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환한 결과를 상기 디스플레이 장치(150)를 통해 출력할 수 있다.
다른 일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 소정의 단말(200)과 네트워크를 통해 연결되어 단말(200)의 요청에 의해 상기 단말(200)로 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환 결과를 전송할 수 있다.
한편, 일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 도 1에 도시된 바와 달리, 소정의 모(母) 시스템의 서브 시스템의 형태일 수 있으며, 상기 모 시스템은 병리 슬리이드 이미지에 대한 디지털 영상 처리를 수행하는 등의 기능을 수행하는 서버일 수 있다.
도 1을 참조하면, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)의 다른 구성(예를 들면, 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다.
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 저장모듈(110)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 데이터를 저장할 수 있다. 예를 들어 상기 저장모듈(150)은 수퍼 레졸루션 뉴럴 네트워크를 저장할 수 있다.
상기 수퍼 레졸루션 뉴럴 네트워크는 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 인공 뉴럴 네트워크이며, 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법이 수행되기 전에 미리 학습된 뉴럴 네트워크이다.
본 명세서에서 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 수퍼 레졸루션 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다. 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다.
복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다. 컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다. 이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다.
그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다. 즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
한편, 병리 슬라이드 이미지는 색상이나 밝기가 점진적으로(gradually) 변하기보다는 동일하거나 매우 유사한 색상이나 밝기를 갖는 픽셀 클러스터들이 서로 대비되며 결합한 형태의 영상이다. 즉, 다른 영상들에 비해 경계가 좀 더 sharp한 특징이 있다, 이러한 특징을 고려하여 병리 슬라이드 영상 용도의 수퍼 레졸루션을 수행하는 딥러닝 모델(즉, 상기 수퍼 레졸루션 뉴럴 네트워크)은 영상의 sharpness에 이득이 되는 방향으로 학습이 되어야 하며, 따라서 수퍼 레졸루션을 수행하는 딥러닝 모델(즉, 상기 수퍼 레졸루션 뉴럴 네트워크)은 sharpness에 이득이 되는 특정한 손실(loss)를 활용하여 미리 학습된다. 이와 같이 학습된 병리 슬라이드 영상 특화 고해상도 변환 모델을 탑재하지 않은 병리 슬라이드 영상 뷰어는 보통 영상의 기준 배율 이상의 고배율(고해상도) 영상을 제공하지 않거나 제공하더라도 디테일이 뭉개진 (blurry) 영상을 제공한다. 하지만 고해상도 변환 모델을 탑재한 병리 슬라이드 영상 뷰어는 디테일이 뭉개지지 않은 영상을 제공할 수 있다.
한편 상기 영역정보 획득모듈(120)은 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역의 정보를 획득할 수 있다.
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100) 또는 상기 단말(200)에는 병리 슬라이드 영상 뷰어가 설치되어 사용자에게 제공될 수 있으며, 상기 병리 슬라이드 영상 뷰어는 원본 병리 슬라이드 이미지 및 상기 원본 병리 슬라이드 이미지 중 일부를 고해상도로 확대한 영상을 디스플레이할 수 있다. 사용자는 병리 슬라이드 영상 뷰어에서 원본 슬라이드 이미지의 특정 부분을 네비게이팅하면서 고해상도로 확대할 영역을 지정할 수 있다. 그러면 상기 영역정보 획득모듈(120)은 사용자가 지정한 뷰 영역(즉, 사용자가 고해상도로 디스플레이하기를 원하는 영역)의 영역 정보(예를 들어 위치, 가로 크기, 세로 크기 등)를 획득할 수 있다.
상기 특정모듈(130)은 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정할 수 있다.
병리 슬라이드 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있으며, 생체 조직을 염색한 유리 슬라이드를 디지털 스캐너로 스캔한 슬라이드 이미지 혹은 슬라이드 이미지의 일부를 발췌한 이미지일 수 있다.
일 실시예에서, 상기 특정모듈(130)은 사용자가 지정한 상기 뷰 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.
또는 다른 일 실시예에서, 상기 특정모듈(130)은 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다. 이렇게 함으로써 이전에 고해상도로 변환된 적이 있는 영역이 중복하여 고해상도로 변환되는 것을 방지할 수 있다.
상기 변환모듈(140)은 상기 고해상도 변환 대상 영역의 경계를 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득할 수 있다. 이때 p는 1 이상의 정수이며, 상기 슈퍼 레졸루션 뉴럴 네트워크의 특징을 반영하여 결정되는 값이다.
한편, 고해상도로 변환될 대상 영역을 얼마만큼 확장할 지를 결정하는 파라미터인 상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값일 수 있다. 특히, 상기 p는, 하기 [수식 1]에 의해 결정되는 Z 값일 수 있다.
[수식 1]
Figure PCTKR2021016249-appb-I000002
여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기이다.
또한 실시예에 따라서, 상기 p는 상기 [수식 1]에 의해 결정되는 Z 이하의 값일 수도 있다.
도 2는 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다. 도 2에서는 p가 3으로 설정된 예를 도시하고 있다. 도 2를 참조하면, 원본 병리 슬라이드 이미지(10) 중 일부인 고해상도 변환 대상 영역(11)이 특정되면, 상기 변환모듈(140)은 고해상도 변환 대상 영역(11)에서 3 픽셀만큼 위, 아래, 좌 및 우로 확장하여 확장 영역(12)을 결정할 수 있으며, 상기 확장 영역(12)을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역(11)에 상응하는 고해상도 이미지를 획득할 수 있다.
도 3a 내지 도 3c는 뷰 영역, 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.
먼저 도 3a를 참조하면, 상술한 바와 같이 사용자는 병리 슬라이드 영상 뷰어에서 원본 슬라이드 이미지(10)를 네비게이팅할 수 있다. 예를 들어 사용자는 원본 슬라이드 이미지(10)의 제1부분(13)의 확대 영상을 보고 있다가 제2부분(14)으로 확대할 부분을 이동할 수 있다. 즉, 사용자에 의해 뷰 영역이 제1부분(13)에서 제2부분(14)으로 변경될 수 있다.
도 3b를 참조하면, 상기 특정모듈(130)은 변경된 뷰 영역(14)에서 이미 고해상도로 변환된 적이 있는 부분, 즉, 변경된 뷰 영역(14)과 종전의 뷰 영역(13)의 교집합에 해당하는 영역(15)을 제외한 나머지 영역(16)을 고해상도 변환 대상 영역으로 특정할 수 있다. 도 3b에서 고해상도 변환 대상 영역(16)은 회색으로 표시되어 있다.
p를 2라고 가정하고, 도 3c를 참조하면, 상기 변환모듈(140)은 고해상도 변환 대상 영역(16)에서 2 픽셀만큼 위, 아래, 좌 및 우로 확장하여 확장 영역(17)을 결정할 수 있으며, 상기 확장 영역(17)을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역(16)에 상응하는 고해상도 이미지를 획득할 수 있다.
다시 도 1을 참조하면, 상기 출력모듈(150)은 획득한 상기 고해상도 이미지를 출력할 수 있다. 상기 출력모듈(150)은 상기 디스플레이 장치(150) 또는 상기 단말(200)로 상기 고해상도 이미지를 출력할 수 있으며, 특히, 상기 병리 슬라이드 영상 뷰어를 통해 상기 고해상도 이미지를 출력할 수 있다.
도 4는 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 도시한 흐름도이다. 상기 병리 슬라이드 이미지 고해상도 변환 방법은 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템(100)에서 수행된다.
도 4를 참조하면, 상기 컴퓨팅 시스템(100)은 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정할 수 있다(S10). 특히, 상기 컴퓨팅 시스템(100)은 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.
이후 상기 컴퓨팅 시스템(100)은 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득할 수 있으며(S20), 획득한 상기 고해상도 이미지를 출력할 수 있다(S30).
한편, 상기 컴퓨팅 시스템(100)은 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 컴퓨팅 시스템(100)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템에 이용될 수 있다.

Claims (11)

  1. 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템에서 수행하는 방법으로서,
    원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계;
    상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 단계; 및
    획득한 상기 고해상도 이미지를 출력하는 단계를 포함하는 고해상도 변환 방법.
  2. 제1항에 있어서,
    원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계는,
    상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하는 단계; 및
    상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값인 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 하는 방법.
    [수식 1]
    Figure PCTKR2021016249-appb-I000003
    (여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)
  5. 데이터 처리장치에 설치되며 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  6. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  7. 컴퓨팅 시스템으로서,
    프로세서 및 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
  8. 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 저장하는 저장모듈;
    원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 특정모듈;
    상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 변환모듈; 및
    획득한 상기 고해상도 이미지를 출력하는 출력모듈을 포함하는 컴퓨팅 시스템.
  9. 제8항에 있어서,
    상기 특정모듈은,
    상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고,
    상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 컴퓨팅 시스템.
  10. 제8항에 있어서,
    상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값인 것을 특징으로 하는 컴퓨팅 시스템.
  11. 제10항에 있어서,
    상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 하는 방법.
    [수식 1]
    Figure PCTKR2021016249-appb-I000004
    (여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)
PCT/KR2021/016249 2020-11-10 2021-11-09 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템 WO2022103122A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200149130A KR102254755B1 (ko) 2020-11-10 2020-11-10 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
KR10-2020-0149130 2020-11-10

Publications (1)

Publication Number Publication Date
WO2022103122A1 true WO2022103122A1 (ko) 2022-05-19

Family

ID=76157380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016249 WO2022103122A1 (ko) 2020-11-10 2021-11-09 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (2)

Country Link
KR (1) KR102254755B1 (ko)
WO (1) WO2022103122A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254755B1 (ko) * 2020-11-10 2021-05-21 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068647A (ko) * 2015-10-29 2016-06-15 한국과학기술원 골격계 영상 재구성 장치 및 방법
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
JP2020141908A (ja) * 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル
KR102254755B1 (ko) * 2020-11-10 2021-05-21 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068647A (ko) * 2015-10-29 2016-06-15 한국과학기술원 골격계 영상 재구성 장치 및 방법
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
JP2020141908A (ja) * 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル
KR102254755B1 (ko) * 2020-11-10 2021-05-21 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALBAWI SAAD; MOHAMMED TAREQ ABED; AL-ZAWI SAAD: "Understanding of a convolutional neural network", 2017 INTERNATIONAL CONFERENCE ON ENGINEERING AND TECHNOLOGY (ICET), IEEE, 21 August 2017 (2017-08-21), pages 1 - 6, XP033327277, DOI: 10.1109/ICEngTechnol.2017.8308186 *

Also Published As

Publication number Publication date
KR102254755B1 (ko) 2021-05-21

Similar Documents

Publication Publication Date Title
US9014443B2 (en) Image diagnostic method, image diagnostic apparatus, and image diagnostic program
JP6378701B2 (ja) ホール・スライド画像レジストレーションおよび画像間注釈デバイス、システム、ならびに方法
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
CN104011581A (zh) 图像处理装置、图像处理系统、图像处理方法和图像处理程序
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
US7215467B2 (en) System and method for controlling microscope
CN107122826A (zh) 用于卷积神经网络的处理方法和系统、和存储介质
US20190304409A1 (en) Image processing apparatus and image processing method
CN111275717B (zh) 不同染色切片的对比展示方法、电子设备及可读介质
JP2013152699A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US20140301665A1 (en) Image data generating apparatus, image data display system, and image data generating method
US20140306992A1 (en) Image processing apparatus, image processing system and image processing method
JP2013152426A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2013167798A (ja) 画像生成装置及びその制御方法
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2022103122A1 (ko) 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
US20220237790A1 (en) Image display method and apparatus based on artificial intelligence, device, and medium
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
JP2013200640A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
WO2013100026A1 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
CN113792807B (zh) 皮肤病分类模型训练方法、系统、介质和电子设备
CN115410693B (zh) 一种数字病理切片的存储系统、浏览系统及方法
US20230237617A1 (en) Microscope-based super-resolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21892290

Country of ref document: EP

Kind code of ref document: A1