KR102254755B1 - Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same - Google Patents
Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same Download PDFInfo
- Publication number
- KR102254755B1 KR102254755B1 KR1020200149130A KR20200149130A KR102254755B1 KR 102254755 B1 KR102254755 B1 KR 102254755B1 KR 1020200149130 A KR1020200149130 A KR 1020200149130A KR 20200149130 A KR20200149130 A KR 20200149130A KR 102254755 B1 KR102254755 B1 KR 102254755B1
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- image
- region
- converted
- super
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001575 pathological effect Effects 0.000 title abstract description 13
- 238000013135 deep learning Methods 0.000 title abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract description 82
- 230000007170 pathology Effects 0.000 claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 딥러닝을 이용한 수퍼 레졸루션(Super Resolution) 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.The present invention relates to a method for converting a partial region of a pathology slide image to a high resolution using a high resolution conversion technology based on a super resolution using deep learning, and a computing system for performing the same.
기존의 병리 진단 방법은 검체로부터 제작된 진단용 병리 슬라이드를 광학 현미경을 통해 병리 전문의가 육안으로 관찰, 판독하는 방식으로 이루어진다. 컴퓨터에 연결된 현미경 카메라를 활용하여 병리 슬라이드를 디지털 영상으로 변환한 후 모니터로 관찰하며 판독하는 방식이 디지털 병리학의 시초라고 할 수 있다.The conventional pathology diagnosis method consists of a method in which a pathologist observes and reads a diagnostic pathology slide made from a specimen with the naked eye through an optical microscope. It can be said that the beginning of digital pathology is a method of converting a pathological slide into a digital image using a microscope camera connected to a computer and then observing and reading it with a monitor.
근래에는 디지털 슬라이드 스캐너가 등장하여 병리 슬라이드 전체를 하나의 디지털 영상으로 변환한 후 이를 컴퓨터 모니터를 통해 관찰하여 판독하는 방식이 널리 확산되고 있다. 이때, 디지털 영상화된 병리 슬라이드를 육안으로 관찰, 판독함에 있어서 기존의 광학 현미경 기반 진단법과 동일하게 여러 배율에서 슬라이드 영상을 관찰할 수 있어야 한다. 현재의 디지털 슬라이드 스캐너는 200배 또는 400배의 단일 배율로 확대된 영상을 스캔할 수 있도록 기능을 제공한다.Recently, digital slide scanners have appeared, and a method of converting the entire pathological slide into a single digital image and observing and reading it through a computer monitor is widely spreading. At this time, in observing and reading the digitally imaged pathological slide with the naked eye, it is necessary to observe the slide image at various magnifications, similar to the conventional optical microscope-based diagnostic method. Current digital slide scanners provide a function to scan an enlarged image at a single magnification of 200 or 400 times.
단일 배율의 병리 슬라이드 영상을 여러 배율로 관찰할 수 있으려면, 병리 슬라이드 영상 뷰어에서 영상의 확대 축소 기능을 제공하여야 한다.In order to be able to observe a pathology slide image of a single magnification at multiple magnifications, the pathology slide image viewer must provide an image enlargement/reduction function.
저배율의 영상을 제공하기 위해 영상을 축소하는 경우, 영상 품질이 일부 하락하더라도 관찰 시 크게 영향을 주지 않는다. 이는 저배율 관찰은 영상에서 검체의 디테일보다는 전체적인 모양 또는 구조를 보기 위한 목적이기 때문이다. 스캔 기준 배율보다 고배율의 영상을 제공하기 위해 픽셀 보간법 등을 활용한 기존의 방법으로 영상을 확대하는 경우 영상의 디테일이 뭉개지며 품질이 하락하고, 이는 관찰 및 판독에 영향을 주므로 디테일을 유지하는 배율 확대 방법이 필요하다.When an image is reduced to provide a low magnification image, even if the image quality is partially deteriorated, it does not significantly affect the observation. This is because the low magnification observation is for viewing the overall shape or structure rather than the detail of the specimen in the image. In order to provide an image with a higher magnification than the scan standard magnification, when an image is enlarged using a conventional method that utilizes pixel interpolation, the detail of the image is crushed and the quality is degraded, which affects observation and reading. I need a way to enlarge.
최근 딥러닝의 발달로 이미지 분석 및 생성과 관련된 기술적 발전이 이루어졌으며, 저해상도 또는 저품질의 영상을 고해상도 또는 고품질의 영상으로 변환하는 수퍼 레졸루션(super-resolution) 용도의 딥러닝 모델을 학습하고 활용하는 연구가 진행되었다. 이 기술은 저해상도에서 장면을 생성한 후 고해상도로 변환하여 화면에 표시하는 등의 방법으로 최신의 그래픽 카드 또는 드라이버에서 제공하기도 한다.Recent developments in deep learning have led to technological advances related to image analysis and generation, and research on learning and utilizing deep learning models for super-resolution that convert low-resolution or low-quality images into high-resolution or high-quality images. Went on. This technology is sometimes provided by the latest graphics card or driver by creating a scene at low resolution, converting it to high resolution, and displaying it on the screen.
일반적인 수퍼 레졸루션 기술은 복원 타겟 해상도의 이미지를 저해상도로 강제 변환한 후, 변환 결과로부터 원본 이미지와 최대한 유사한 이미지를 생성하도록 딥러닝 모델을 학습하는 방법으로 이루어지며, 인물, 사물, 경치 등 일반적인 사진의 경우는 이러한 방법으로 충분히 육안으로 만족할만한 수준의 고해상도 영상을 만들 수 있다.In general, super-resolution technology is performed by forcibly converting an image of the restoration target resolution to a low resolution, and then learning a deep learning model to generate an image that is as similar as possible to the original image from the conversion result. In this case, it is possible to create a high-resolution image that is satisfactory with the naked eye in this way.
그러나 병리 슬라이드 영상에 대한 고해상도 변환은 다른 영상의 변환 대비 영상 디테일의 복원에 대한 허용 기준이 더 높다. 그 이유는 고해상도(고배율) 병리 슬라이드 영상의 관찰 목적이 주로 세포핵의 핵소체들(nucleoli)을 관찰하는 등 영상의 디테일에 영향을 받는 것이기 때문이다. 따라서 병리 슬라이드 영상에 특화된 수퍼 레졸루션 기반의 고해상도 변환 기술이 필요하며, 이를 활용한 병리 슬라이드 영상 뷰어가 제공되어야 디지털 병리 환경에서 병리 전문의들이 좀 더 정확한 병리 진단을 수행할 수 있을 것으로 판단된다.However, high-resolution conversion of a pathological slide image has a higher acceptance criterion for reconstruction of image detail compared to conversion of other images. The reason is that the purpose of observing the high-resolution (high magnification) pathology slide image is mainly to be influenced by the details of the image, such as observing the nucleoli of the cell nucleus. Therefore, a super-resolution-based high-resolution conversion technology specialized for pathology slide images is required, and pathology slide image viewers using this are required to be provided for pathology specialists to perform more accurate pathology diagnosis in a digital pathology environment.
병리 슬라이드 영상 뷰어에서 원본 영상의 기준 해상도(배율)보다 고해상도의 영상을 제공하는 방법에는 크게 두 가지 방법을 들 수 있다. 첫째는 고해상도 영상 전체를 미리 생성하고, 요청 시 뷰 영역에 해당하는 부분을 제공하는 방법이며, 둘째는 요청 시 실시간으로 고해상도 변환을 수행하여 뷰 영역에 해당하는 부분을 제공하는 방법이다.There are two methods of providing an image having a higher resolution than the reference resolution (magnification) of the original image in the pathology slide image viewer. The first is a method of generating the entire high-resolution image in advance and providing a portion corresponding to the view area upon request, and the second is a method of providing a portion corresponding to the view area by performing high-resolution conversion in real time upon request.
고해상도 영상 전체를 미리 생성하는 것은 기준 영상의 크기가 수백MB에서 수GB에 이르는 현실을 감안할 때 수GB에서 수십GB에 이르는 영상 파일을 미리 생성하여 저장하게 되므로 적절하지 않다. 요청 시 실시간으로 고해상도 변환을 수행하는 경우, 영상 변환에 소요되는 시간이 뷰어의 응답 시간에 포함되므로, 변환 대상 영역을 어떻게 지정하여 변환을 수행하는지가 뷰어의 사용성에 큰 영향을 주게 된다. 따라서, 가장 효율적인 방법은 고해상도 뷰 영역을 고려하여 필요한 만큼 변환 대상 영역을 정하는 것이 될 것이다.Generating the entire high-resolution image in advance is not appropriate because image files ranging from several GB to several tens of GB are created and stored in advance given the reality that the size of the reference image ranges from several hundred MB to several GB. In the case of performing high-resolution conversion in real time upon request, since the time required for video conversion is included in the response time of the viewer, how to perform the conversion by designating the conversion target region greatly affects the usability of the viewer. Therefore, the most efficient method will be to determine the conversion target area as necessary in consideration of the high-resolution view area.
수퍼 레졸루션 기반의 고해상도 변환 기술은 변환 대상 영역의 주변 영역을 고려하여 변환을 수행하므로, 고해상도 뷰 영역만을 고려하여 변환 대상 영역을 정하는 것은 변환 결과의 품질 하락을 초래할 수 있다. 또한 뷰어에서는 사용자 입력에 따라 뷰 영역이 지속적으로 이동하게 되며, 이동 결과로 뷰 영역이 결정될 때마다 전체 영역을 변환하여 제공하는 것은 속도 하락 문제도 있거니와 중첩 영역의 변환 결과가 완전히 일치하지 않는 경우 사용자에게 불편함을 제공할 수 있다. 따라서, 고성능의 병리 슬라이드 영상 뷰어는 이러한 요소들을 고려한 고해상도 변환 전략을 구현할 필요가 있다.Since the super-resolution-based high-resolution conversion technology performs conversion in consideration of the surrounding area of the conversion target area, determining the conversion target area in consideration of only the high-resolution view area may lead to deterioration in the quality of the conversion result. In addition, the viewer continuously moves the view area according to the user input. Whenever the view area is determined as a result of the movement, converting the entire area and providing the entire area has a problem of speed drop. It can provide discomfort to the user. Therefore, a high-performance pathology slide image viewer needs to implement a high-resolution conversion strategy in consideration of these factors.
본 발명이 이루고자 하는 기술적인 과제는 딥러닝을 이용한 수퍼 레졸루션(Super Resolution) 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템을 제공하는 것이다.A technical problem to be achieved by the present invention is to provide a method for converting a partial region of a pathology slide image into a high resolution using a super resolution-based high resolution conversion technology using deep learning and a computing system for performing the same.
본 발명의 일 측면에 따르면, 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템에서 수행하는 방법으로서, 원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계, 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 단계 및 획득한 상기 고해상도 이미지를 출력하는 단계를 포함하는 고해상도 변환 방법이 제공된다.According to an aspect of the present invention, a method performed in a computing system including a pre-learned Super Resolution Neural Network to convert an input original image into a high-resolution image, comprising: an entire area of an original pathology slide image Among them, the step of specifying a region to be converted to high resolution, which is a partial region to be converted to high resolution, an extended region in which the region to be converted to high resolution is extended by p pixels (wherein p is an integer greater than or equal to 1) There is provided a high-resolution conversion method including inputting to a super-resolution neural network, obtaining a high-resolution image corresponding to the high-resolution conversion target region, and outputting the obtained high-resolution image.
일 실시예에서, 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계는, 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하는 단계 및 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 단계를 포함할 수 있다.In one embodiment, the step of specifying a region to be converted to high resolution, which is a partial region to be converted to high resolution, from among the original pathology slide images, includes specifying a view region, which is a partial region desired to be displayed by a user, from the original pathology slide image. And specifying an unconverted region of the view region, excluding a previously converted region that has already been converted to high resolution, as the region to be converted to high resolution.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.According to another aspect of the present invention, a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method is provided.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable recording medium on which a computer program for performing the above-described method is recorded.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.According to another aspect of the present invention, a computing system is provided, including a processor and a memory, wherein the memory, when executed by the processor, causes the computing system to perform the above-described method.
본 발명의 다른 일 측면에 따르면, 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 저장하는 저장모듈, 원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 특정모듈, 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 변환모듈 및 획득한 상기 고해상도 이미지를 출력하는 출력모듈을 포함하는 컴퓨팅 시스템이 제공된다.According to another aspect of the present invention, a storage module for storing a pre-learned Super Resolution Neural Network to convert an input original image into a high-resolution image, among the entire regions of the original pathology slide image, in high resolution. A specific module that specifies a region to be converted to high resolution, which is a partial region to be converted, and extends the region to be converted by p pixels (where p is an integer greater than or equal to 1) to the top, bottom, left, and right, and the super-resolution neural There is provided a computing system including a conversion module for inputting to a network and obtaining a high-resolution image corresponding to the high-resolution conversion target region, and an output module for outputting the obtained high-resolution image.
일 실시예에서, 상기 특정모듈은, 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.In one embodiment, the specific module specifies a view area, which is a partial area desired to be displayed by the user, among the original pathology slide image, and among the view areas, the image excluding a previously converted area that has already been converted to high resolution. The conversion area may be specified as the high resolution conversion target area.
일 실시예에서, 상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값인 것을 특징으로 할 수 있다.In an embodiment, p may be a value determined based on structural characteristics of a convolutional layer included in the super-resolution neural network.
일 실시예에서, 상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 할 수 있다.In one embodiment, p may be characterized in that it is a value less than or equal to Z determined by the following [Equation 1].
[수식 1][Equation 1]
(여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)(Here, C is a set including all convolutional layers included in the super-resolution neural network, and f i is the filter size of the i-th convolutional layer included in the super-resolution neural network)
본 발명의 일 실시예에 따르면, 딥러닝을 이용한 수퍼 레졸루션 기반의 고해상도 변환 기술을 이용하여 병리 슬라이드 이미지의 일부 영역을 고해상도로 변환하는 방법 및 이를 수행하는 컴퓨팅 시스템을 제공할 수 있다.According to an embodiment of the present invention, a method for converting a partial region of a pathology slide image to a high resolution using a super resolution-based high resolution conversion technology using deep learning and a computing system for performing the same can be provided.
또한 이를 통하여 병리 슬라이드 이미지에 특화된 수퍼 레졸루션 기반의 고해상도 변환 기술을 탑재한 병리 슬라이드 영상 뷰어를 병리 전문의들에게 제공할 수 있으며, 뷰 영역 이동 시에도 최적으로 동작하는 고해상도 변환 전략을 구현한 병리 슬라이드 영상 뷰어를 제공할 수 있다.In addition, through this, a pathology slide image viewer equipped with a super-resolution-based high-resolution conversion technology specialized for pathology slide images can be provided to pathology specialists, and a pathology slide image that implements a high-resolution conversion strategy that works optimally even when moving the view area. You can provide a viewer.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.
도 3a 내지 도 3c는 뷰 영역, 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 도시한 흐름도이다.A brief description of each drawing is provided in order to more fully understand the drawings cited in the detailed description of the present invention.
1 is a diagram showing a schematic configuration of a computing system that performs a method for converting a pathology slide image to high resolution according to an embodiment of the present invention.
2 is a diagram illustrating a relationship between a high-resolution conversion target region and an extended region.
3A to 3C are diagrams illustrating a relationship between a view area, a high-resolution conversion target area, and an extended area.
4 is a flowchart illustrating a method of converting a pathology slide image to high resolution according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all conversions, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, and one or more other It is to be understood that the presence or addition of features, numbers, steps, actions, components, parts, or combinations thereof, does not preclude the possibility of preliminary exclusion.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.In addition, in the present specification, when one component'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail based on embodiments of the present invention with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members.
도 1은 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다. 본 명세서에서는 경우에 따라, 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 수행하는 컴퓨팅 시스템을 병리 슬라이드 이미지 고해상도 변환 시스템으로 칭할 수 있다.1 is a diagram illustrating a schematic configuration of a computing system that performs a method for converting a pathology slide image to high resolution according to an embodiment of the present invention. In the present specification, in some cases, a computing system that performs a method for converting a pathology slide image in high resolution according to the technical idea of the present invention may be referred to as a pathology slide image high-resolution conversion system.
본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법은 병리 슬라이드 이미지 고해상도 변환 시스템(100)에 의해 수행될 수 있다.The pathology slide image high resolution conversion method according to the technical idea of the present invention may be performed by the pathology slide image high
상기 병리 슬라이드 이미지 고해상도 변환 방법은 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환하는 방법일 수 있다.The pathology slide image high resolution conversion method may be a method of converting some of the digital pathology slide images into high resolution (high magnification).
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.The pathology slide image high-
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.The pathology slide image high-
일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 디스플레이 장치(150)를 구비할 수 있으며, 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환한 결과를 상기 디스플레이 장치(150)를 통해 출력할 수 있다.In one embodiment, the pathology slide image high-
다른 일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 소정의 단말(200)과 네트워크를 통해 연결되어 단말(200)의 요청에 의해 상기 단말(200)로 디지털 병리 슬라이드 이미지 중 일부를 고해상도(고배율)로 변환 결과를 전송할 수 있다.In another embodiment, the pathology slide image high-
한편, 일 실시예에서, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 도 1에 도시된 바와 달리, 소정의 모(母) 시스템의 서브 시스템의 형태일 수 있으며, 상기 모 시스템은 병리 슬리이드 이미지에 대한 디지털 영상 처리를 수행하는 등의 기능을 수행하는 서버일 수 있다.Meanwhile, in an embodiment, the pathology slide image high-
도 1을 참조하면, 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)의 다른 구성(예를 들면, 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다.Referring to FIG. 1, the pathological slide image high-
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 영역정보획득모듈(120), 특정모듈(130), 변환모듈(140), 출력모듈(150) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.The pathological slide image high-
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, in the present specification, a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may mean a predetermined code and a logical unit of a hardware resource for executing the predetermined code, and necessarily means a physically connected code, or means one type of hardware. It can be easily inferred by the average expert in the technical field of the present invention.
상기 저장모듈(110)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 데이터를 저장할 수 있다. 예를 들어 상기 저장모듈(150)은 수퍼 레졸루션 뉴럴 네트워크를 저장할 수 있다.The
상기 수퍼 레졸루션 뉴럴 네트워크는 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 인공 뉴럴 네트워크이며, 본 발명의 기술적 사상에 따른 병리 슬라이드 이미지 고해상도 변환 방법이 수행되기 전에 미리 학습된 뉴럴 네트워크이다.The super-resolution neural network is an artificial neural network for converting an input original image into a high-resolution image, and is a neural network that has been learned in advance before a pathological slide image high-resolution conversion method according to the technical idea of the present invention is performed.
본 명세서에서 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.In the present specification, a neural network includes a multilayer perceptron model and may mean a set of information representing a series of design items defining an artificial neural network.
일 실시예에서, 상기 수퍼 레졸루션 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다. 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다.In an embodiment, the super-resolution neural network may be a convolutional neural network. As is well known, the convolutional newelul network may include an input layer, a plurality of hidden layers, and an output layer.
복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer). The convolutional newelite network may be defined by a function, a filter, a stride, a weight factor, or the like for defining each of these layers. In addition, the output layer may be defined as a fully connected feedforward layer.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다. 컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다. 이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다.The design details of each layer constituting the convolutional newelul network are widely known. For example, known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and implement the technical idea of the present invention. Separately defined functions may be used for this. An example of a convolution function is a discrete convolution sum. As an example of the pooling function, max pooling, average pooling, or the like may be used. An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like. When the design items of such a convolutional neural network are defined, the convolutional neural network in which the design items are defined may be stored in a storage device.
그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다. 즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.In addition, when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified. That is, learning of the convolutional newelul network may refer to a process in which weight factors of each layer are determined. In addition, when the convolutional neural network is trained, the learned convolutional neural network may receive input data into an input layer and output output data through a predefined output layer.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.The neural network according to an embodiment of the present invention may be defined by selecting any one or a plurality of widely known design items as described above, or an independent design item may be defined for the neural network.
한편, 병리 슬라이드 이미지는 색상이나 밝기가 점진적으로(gradually) 변하기보다는 동일하거나 매우 유사한 색상이나 밝기를 갖는 픽셀 클러스터들이 서로 대비되며 결합한 형태의 영상이다. 즉, 다른 영상들에 비해 경계가 좀 더 sharp한 특징이 있다, 이러한 특징을 고려하여 병리 슬라이드 영상 용도의 수퍼 레졸루션을 수행하는 딥러닝 모델(즉, 상기 수퍼 레졸루션 뉴럴 네트워크)은 영상의 sharpness에 이득이 되는 방향으로 학습이 되어야 하며, 따라서 수퍼 레졸루션을 수행하는 딥러닝 모델(즉, 상기 수퍼 레졸루션 뉴럴 네트워크)은 sharpness에 이득이 되는 특정한 손실(loss)를 활용하여 미리 학습된다. 이와 같이 학습된 병리 슬라이드 영상 특화 고해상도 변환 모델을 탑재하지 않은 병리 슬라이드 영상 뷰어는 보통 영상의 기준 배율 이상의 고배율(고해상도) 영상을 제공하지 않거나 제공하더라도 디테일이 뭉개진 (blurry) 영상을 제공한다. 하지만 고해상도 변환 모델을 탑재한 병리 슬라이드 영상 뷰어는 디테일이 뭉개지지 않은 영상을 제공할 수 있다.On the other hand, the pathology slide image is an image in which pixel clusters having the same or very similar color or brightness are contrasted and combined, rather than gradually changing color or brightness. That is, there is a characteristic that the boundary is sharper than that of other images. A deep learning model (ie, the super-resolution neural network) that performs super-resolution for pathology slide images in consideration of this characteristic is advantageous in the sharpness of the image. The learning should be performed in this direction, and therefore, the deep learning model (ie, the super-resolution neural network) performing super-resolution is pre-trained by using a specific loss that benefits sharpness. A pathology slide image viewer that does not have a specialized high-resolution conversion model for a pathology slide image learned as described above does not provide a high-magnification (high-resolution) image that is more than the standard magnification of a normal image, or provides a blurry image. However, a pathology slide image viewer equipped with a high-resolution conversion model can provide an image that is not crushed in detail.
한편 상기 영역정보 획득모듈(120)은 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역의 정보를 획득할 수 있다.Meanwhile, the region
상기 병리 슬라이드 이미지 고해상도 변환 시스템(100) 또는 상기 단말(200)에는 병리 슬라이드 영상 뷰어가 설치되어 사용자에게 제공될 수 있으며, 상기 병리 슬라이드 영상 뷰어는 원본 병리 슬라이드 이미지 및 상기 원본 병리 슬라이드 이미지 중 일부를 고해상도로 확대한 영상을 디스플레이할 수 있다. 사용자는 병리 슬라이드 영상 뷰어에서 원본 슬라이드 이미지의 특정 부분을 네비게이팅하면서 고해상도로 확대할 영역을 지정할 수 있다. 그러면 상기 영역정보 획득모듈(120)은 사용자가 지정한 뷰 영역(즉, 사용자가 고해상도로 디스플레이하기를 원하는 영역)의 영역 정보(예를 들어 위치, 가로 크기, 세로 크기 등)를 획득할 수 있다.The pathology slide image high
상기 특정모듈(130)은 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정할 수 있다.The
병리 슬라이드 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있으며, 생체 조직을 염색한 유리 슬라이드를 디지털 스캐너로 스캔한 슬라이드 이미지 혹은 슬라이드 이미지의 일부를 발췌한 이미지일 수 있다.The pathological slide image may be various biological images including tissue images, and may be a slide image obtained by scanning a glass slide stained with a biological tissue with a digital scanner or an image obtained by extracting a part of the slide image.
일 실시예에서, 상기 특정모듈(130)은 사용자가 지정한 상기 뷰 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.In an embodiment, the
또는 다른 일 실시예에서, 상기 특정모듈(130)은 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다. 이렇게 함으로써 이전에 고해상도로 변환된 적이 있는 영역이 중복하여 고해상도로 변환되는 것을 방지할 수 있다.Alternatively, in another embodiment, the
상기 변환모듈(140)은 상기 고해상도 변환 대상 영역의 경계를 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득할 수 있다. 이때 p는 1 이상의 정수이며, 상기 슈퍼 레졸루션 뉴럴 네트워크의 특징을 반영하여 결정되는 값이다.The
한편, 고해상도로 변환될 대상 영역을 얼마만큼 확장할 지를 결정하는 파라미터인 상기 p는, 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 컨볼루션 레이어의 구조적 특성에 기초하여 결정되는 값일 수 있다. 특히, 상기 p는, 하기 [수식 1]에 의해 결정되는 Z 값일 수 있다.Meanwhile, the parameter p, which is a parameter that determines how much the target region to be converted to high resolution is to be expanded may be a value determined based on a structural characteristic of a convolution layer included in the super-resolution neural network. In particular, p may be a Z value determined by the following [Equation 1].
[수식 1] [Equation 1]
여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기이다.Here, C is a set including all convolutional layers included in the super-resolution neural network, and f i is a filter size of the i-th convolutional layer included in the super-resolution neural network.
또한 실시예에 따라서, 상기 p는 상기 [수식 1]에 의해 결정되는 Z 이하의 값일 수도 있다.In addition, according to an exemplary embodiment, p may be a value equal to or less than Z determined by [Equation 1].
도 2는 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다. 도 2에서는 p가 3으로 설정된 예를 도시하고 있다. 도 2를 참조하면, 원본 병리 슬라이드 이미지(10) 중 일부인 고해상도 변환 대상 영역(11)이 특정되면, 상기 변환모듈(140)은 고해상도 변환 대상 영역(11)에서 3 픽셀만큼 위, 아래, 좌 및 우로 확장하여 확장 영역(12)을 결정할 수 있으며, 상기 확장 영역(12)을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역(11)에 상응하는 고해상도 이미지를 획득할 수 있다.2 is a diagram illustrating a relationship between a high-resolution conversion target region and an extended region. 2 shows an example in which p is set to 3. Referring to FIG. 2, when a high resolution
도 3a 내지 도 3c는 뷰 영역, 고해상도 변환 대상 영역과 확장 영역 간의 관계를 도시한 도면이다.3A to 3C are diagrams illustrating a relationship between a view area, a high-resolution conversion target area, and an extended area.
먼저 도 3a를 참조하면, 상술한 바와 같이 사용자는 병리 슬라이드 영상 뷰어에서 원본 슬라이드 이미지(10)를 네비게이팅할 수 있다. 예를 들어 사용자는 원본 슬라이드 이미지(10)의 제1부분(13)의 확대 영상을 보고 있다가 제2부분(14)으로 확대할 부분을 이동할 수 있다. 즉, 사용자에 의해 뷰 영역이 제1부분(13)에서 제2부분(14)으로 변경될 수 있다.First, referring to FIG. 3A, as described above, the user can navigate the
도 3b를 참조하면, 상기 특정모듈(130)은 변경된 뷰 영역(14)에서 이미 고해상도로 변환된 적이 있는 부분, 즉, 변경된 뷰 영역(14)과 종전의 뷰 영역(13)의 교집합에 해당하는 영역(15)을 제외한 나머지 영역(16)을 고해상도 변환 대상 영역으로 특정할 수 있다. 도 3b에서 고해상도 변환 대상 영역(16)은 회색으로 표시되어 있다.Referring to FIG. 3B, the
p를 2라고 가정하고, 도 3c를 참조하면, 상기 변환모듈(140)은 고해상도 변환 대상 영역(16)에서 2 픽셀만큼 위, 아래, 좌 및 우로 확장하여 확장 영역(17)을 결정할 수 있으며, 상기 확장 영역(17)을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역(16)에 상응하는 고해상도 이미지를 획득할 수 있다.Assuming that p is 2, and referring to FIG. 3C, the
다시 도 1을 참조하면, 상기 출력모듈(150)은 획득한 상기 고해상도 이미지를 출력할 수 있다. 상기 출력모듈(150)은 상기 디스플레이 장치(150) 또는 상기 단말(200)로 상기 고해상도 이미지를 출력할 수 있으며, 특히, 상기 병리 슬라이드 영상 뷰어를 통해 상기 고해상도 이미지를 출력할 수 있다.Referring back to FIG. 1, the
도 4는 본 발명의 일 실시예에 따른 병리 슬라이드 이미지 고해상도 변환 방법을 도시한 흐름도이다. 상기 병리 슬라이드 이미지 고해상도 변환 방법은 입력된 원본 이미지를 고해상도 이미지로 변환하기 위하여 미리 학습된 수퍼 레졸루션 뉴럴 네트워크(Super Resolution Neural Network)를 포함하는 컴퓨팅 시스템(100)에서 수행된다.4 is a flowchart illustrating a method of converting a pathology slide image to high resolution according to an embodiment of the present invention. The pathological slide image high-resolution conversion method is performed in the
도 4를 참조하면, 상기 컴퓨팅 시스템(100)은 원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정할 수 있다(S10). 특히, 상기 컴퓨팅 시스템(100)은 상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고, 상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정할 수 있다.Referring to FIG. 4, the
이후 상기 컴퓨팅 시스템(100)은 상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득할 수 있으며(S20), 획득한 상기 고해상도 이미지를 출력할 수 있다(S30).Thereafter, the
한편, 상기 컴퓨팅 시스템(100)은 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 컴퓨팅 시스템(100)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.Meanwhile, the
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium. It can be stored in a readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the recording medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in the software field.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like are included. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include not only machine language codes such as those produced by a compiler, but also devices that process information electronically using an interpreter, for example, high-level language codes that can be executed by a computer.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .
Claims (11)
원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계;
상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 단계; 및
획득한 상기 고해상도 이미지를 출력하는 단계를 포함하되,
상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 하는 고해상도 변환 방법.
[수식 1]
(여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)
As a method performed in a computing system including a pre-trained Super Resolution Neural Network to convert an input original image into a high-resolution image,
Specifying a region to be converted to high resolution, which is a partial region to be converted to high resolution, from the entire region of the original pathology slide image;
A high-resolution image corresponding to the high-resolution conversion target region by inputting an extended region in which the high-resolution conversion target region is extended by p pixels (here, p is an integer greater than or equal to 1) to the top, bottom, left, and right. Obtaining a; And
Including the step of outputting the obtained high-resolution image,
The high-resolution conversion method, wherein p is a value less than or equal to Z determined by the following [Equation 1].
[Equation 1]
(Here, C is a set including all convolutional layers included in the super-resolution neural network, and f i is the filter size of the i-th convolutional layer included in the super-resolution neural network)
원본 병리 슬라이드 이미지 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 단계는,
상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하는 단계; 및
상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 단계를 포함하는 고해상도 변환 방법.
The method of claim 1,
In the original pathology slide image, the step of specifying a region to be converted to high resolution, which is a partial region to be converted to high resolution,
Specifying a view region, which is a partial region desired to be displayed by a user, from the original pathology slide image; And
And specifying an unconverted region of the view region, excluding a previously converted region that has already been converted to high resolution, as the region to be converted to high resolution.
A computer program installed on a data processing device and recorded on a medium for performing the method according to claim 1 or 2.
A computer-readable recording medium on which a computer program for performing the method according to claim 1 or 2 is recorded.
프로세서 및 메모리를 포함하되,
상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제1항 또는 제2항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
As a computing system,
Including processor and memory,
The memory, when performed by the processor, causes the computing system to perform the method of claim 1 or 2.
원본 병리 슬라이드 이미지의 전체 영역 중에서, 고해상도로 변환될 일부 영역인 고해상도 변환 대상 영역을 특정하는 특정모듈;
상기 고해상도 변환 대상 영역을 위, 아래, 좌 및 우로 p 픽셀(여기서, 상기 p는 1 이상의 정수임)만큼 확장한 확장 영역을 상기 수퍼 레졸루션 뉴럴 네트워크에 입력하여, 상기 고해상도 변환 대상 영역에 상응하는 고해상도 이미지를 획득하는 변환모듈; 및
획득한 상기 고해상도 이미지를 출력하는 출력모듈을 포함하되,
상기 p는, 하기 [수식 1]에 의해 결정되는 Z 이하의 값인 것을 특징으로 하는 컴퓨팅 시스템.
[수식 1]
(여기서, C는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 모든 컨볼루션 레이어를 포함하는 집합이며, fi는 상기 수퍼 레졸루션 뉴럴 네트워크에 포함된 i번째 컨볼루션 레이어의 필터 크기임)
A storage module that stores a pre-trained Super Resolution Neural Network to convert the input original image into a high-resolution image;
A specific module for specifying a region to be converted to high resolution, which is a partial region to be converted to high resolution, from the entire region of the original pathology slide image;
A high-resolution image corresponding to the high-resolution conversion target region by inputting an extended region in which the high-resolution conversion target region is extended by p pixels (here, p is an integer greater than or equal to 1) to the top, bottom, left, and right. A conversion module for acquiring; And
Including an output module for outputting the obtained high-resolution image,
The computing system, wherein p is a value less than or equal to Z determined by the following [Equation 1].
[Equation 1]
(Here, C is a set including all convolutional layers included in the super-resolution neural network, and f i is the filter size of the i-th convolutional layer included in the super-resolution neural network)
상기 특정모듈은,
상기 원본 병리 슬라이드 이미지 중에서, 사용자가 디스플레이하기를 원하는 일부 영역인 뷰 영역을 특정하고,
상기 뷰 영역 중에서, 이미 고해상도로 변환된 적이 있는 기 변환 영역을 제외한 미변환 영역을 상기 고해상도 변환 대상 영역으로 특정하는 컴퓨팅 시스템.
The method of claim 8,
The specific module,
Among the original pathology slide images, a view area, which is a partial area desired to be displayed by the user, is specified,
A computing system for specifying an unconverted area excluding a previously converted area that has already been converted to high resolution among the view areas as the high-resolution conversion target area.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149130A KR102254755B1 (en) | 2020-11-10 | 2020-11-10 | Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same |
| PCT/KR2021/016249 WO2022103122A1 (en) | 2020-11-10 | 2021-11-09 | Deep learning-based method for high-resolution conversion of pathology slide image, and computing system for performing same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149130A KR102254755B1 (en) | 2020-11-10 | 2020-11-10 | Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102254755B1 true KR102254755B1 (en) | 2021-05-21 |
Family
ID=76157380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200149130A KR102254755B1 (en) | 2020-11-10 | 2020-11-10 | Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102254755B1 (en) |
| WO (1) | WO2022103122A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022103122A1 (en) * | 2020-11-10 | 2022-05-19 | 주식회사 딥바이오 | Deep learning-based method for high-resolution conversion of pathology slide image, and computing system for performing same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160068647A (en) * | 2015-10-29 | 2016-06-15 | 한국과학기술원 | Apparatus and method for reconstructing skeletal image |
| KR20180066983A (en) * | 2016-12-11 | 2018-06-20 | 주식회사 딥바이오 | System and method for medical diagnosis using neural network |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7302988B2 (en) * | 2019-03-07 | 2023-07-04 | 富士フイルムヘルスケア株式会社 | Medical imaging device, medical image processing device, and medical image processing program |
| KR102254755B1 (en) * | 2020-11-10 | 2021-05-21 | 주식회사 딥바이오 | Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same |
-
2020
- 2020-11-10 KR KR1020200149130A patent/KR102254755B1/en active IP Right Grant
-
2021
- 2021-11-09 WO PCT/KR2021/016249 patent/WO2022103122A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160068647A (en) * | 2015-10-29 | 2016-06-15 | 한국과학기술원 | Apparatus and method for reconstructing skeletal image |
| KR20180066983A (en) * | 2016-12-11 | 2018-06-20 | 주식회사 딥바이오 | System and method for medical diagnosis using neural network |
Non-Patent Citations (1)
| Title |
|---|
| Albawi et al. Understanding of Convolutional Neural Network. ICET2017, 2017년 8월, pp.1-6. 1부.* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022103122A1 (en) * | 2020-11-10 | 2022-05-19 | 주식회사 딥바이오 | Deep learning-based method for high-resolution conversion of pathology slide image, and computing system for performing same |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022103122A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Learning warped guidance for blind face restoration | |
| WO2019229486A1 (en) | Generating a displacement map of an input dataset pair of image or audio data | |
| Jeong et al. | Ssecrett and neurotrace: interactive visualization and analysis tools for large-scale neuroscience data sets | |
| EP2583240B1 (en) | An image processing method in microscopy | |
| CN104011581A (en) | Image Processing Device, Image Processing System, Image Processing Method, and Image Processing Program | |
| CN108197629B (en) | Multi-modal medical image feature extraction method based on label correlation constraint tensor decomposition | |
| KR100924689B1 (en) | Apparatus and method for transforming an image in a mobile device | |
| JP2022510622A (en) | Image processing model training methods, image processing methods, network equipment, and storage media | |
| CN102081496A (en) | Information processing apparatus, method, and computer-readable medium | |
| US20060038144A1 (en) | Method and apparatus for providing optimal images of a microscope specimen | |
| CN104025150A (en) | Image processing device, image display system, image processing method, and image processing program | |
| CN104185806A (en) | Image processing device, image processing system, image processing method, and image processing program | |
| Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
| KR102254755B1 (en) | Method for converting pathological slide image to super resolution image based on deep learning and computing system performing the same | |
| Song et al. | S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network | |
| JP2013125519A (en) | Image processing apparatus, data structure, and image generating apparatus | |
| US20220343463A1 (en) | Changing the size of images by means of a neural network | |
| CN113269672B (en) | Super-resolution cell image construction method and system | |
| US20230260083A1 (en) | Computer-implemented method, computer program product and system for processing images | |
| Fatima | AI in photography: scrutinizing implementation of super-resolution techniques in photo-editors | |
| CN110162351A (en) | A kind of software systems of 3-D scanning optical microscopy imaging | |
| Ma et al. | STSRNet: Self-texture transfer super-resolution and refocusing network | |
| JPWO2006033257A1 (en) | Image conversion method, image conversion apparatus, server client system, portable device, and program | |
| US20230237617A1 (en) | Microscope-based super-resolution | |
| CN115410693B (en) | Storage system, browsing system and method for digital pathological section |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |