KR102462847B1 - 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법 - Google Patents

음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법 Download PDF

Info

Publication number
KR102462847B1
KR102462847B1 KR1020210013232A KR20210013232A KR102462847B1 KR 102462847 B1 KR102462847 B1 KR 102462847B1 KR 1020210013232 A KR1020210013232 A KR 1020210013232A KR 20210013232 A KR20210013232 A KR 20210013232A KR 102462847 B1 KR102462847 B1 KR 102462847B1
Authority
KR
South Korea
Prior art keywords
image
distortion
shadow
shadow distortion
module
Prior art date
Application number
KR1020210013232A
Other languages
English (en)
Other versions
KR20220109789A (ko
Inventor
박안진
엄종현
최장훈
탁윤오
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210013232A priority Critical patent/KR102462847B1/ko
Publication of KR20220109789A publication Critical patent/KR20220109789A/ko
Application granted granted Critical
Publication of KR102462847B1 publication Critical patent/KR102462847B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 본 발명은 조직(또는 병리) 슬라이드의 전체 영역을 초고해상도 디지털 영상으로 변환하는 전체 슬라이드 이미징(WSI: Whole Slide Imaging) 처리 기술에 관한 것으로서, 더욱 상세하게는 대물렌즈와 카메라를 통해 슬라이드 전체 영역을 스캔하면서 촬영하는 전체 슬라이드 이미징 장치에 있어서, 상기 카메라에서 촬영한 영상을 전달받는 입력층(input layer), 상기 입력층으로부터 입력되는 음영 왜곡 정보가 포함된 영상을 재구성하여 변환하는 N개의 잔차 블록(residual block), 상기 잔차 블록의 결과값과 잔차 볼록의 입력값을 픽셀 단위로 합하여 출력값을 계산하는 합산 모듈(Summation, SUM) 및 상기 합산 모듈을 통해 음영 왜곡이 보정된 영상을 출력하는 출력층(output layer)으로 이루어져 딥러닝 학습 기반 이미지 변환 네트워크(network)를 수행하여 음영 왜곡을 보정하는 영상 처리부를 포함하는 전체 슬라이드 이미징 장치에 관한 것이다.

Description

음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법{WHOLE SLIDE IMAGING DEVICE FOR CORRECTING SHADOW DISTORTION AND METHOD THEREFOR}
본 발명은 조직(또는 병리) 슬라이드 전체 영역을 초고해상도 디지털 영상으로 변환하는 전체 슬라이드 이미징(WSI: Whole Slide Imaging) 처리 기술에 관한 것으로서, 더욱 상세하게는 고배율 대물렌즈로 촬영한 영상을 이어 붙이는 정합(stitching) 과정에서의 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법에 관한 것이다.
전체 슬라이드 이미징(WSI: whole slide imaging)이란 조직(또는 병리) 슬라이드 전체 영역을 스캔하고 정합하여 하나의 초고해상도 디지털 영상으로 변환하는 장치에 적용되는 기술로서, 디지털 병리학(digital pathology) 실현을 위한 핵심 기술 중 하나이다.
전체 슬라이드 이미징을 위한 장치는 슬라이드 전체 영역을 스캔하면서 고배율 대물렌즈와 카메라를 통해 샘플에 대한 마이크로 미터(μm) 분해능의 영상을 촬영하여 전체 영역을 이미지로 변환할 시, 고배율 대물렌즈를 이용하여 영상을 촬영하면, 균일하지 못한 광원(light source)의 밝기 또는 광원을 전달하는 광학계의 수차(aberration) 등의 원인으로 인해 중심부에서 주변부로 갈수록 어두워지는 음영 왜곡이 발생한다. 이에 음영 왜곡된 영상을 정합하면 전체 슬라이드 영상에 격자 무늬가 형성되며, 이는 영상 화질 문제뿐만 아니라 영상 분석 및 정량화(quantitative analysis)와 같은 후속 작업에 부정적 영향을 초래하게 된다.
이에 전체 슬라이드 이미징 장치에 적용된 기존 음영왜곡 보정방법은 크게 전향적(prospective) 방법과 후향적(retrospective) 방법으로 분류할 수 있다.
전향적 방법은 일반적으로 다수의 빈 슬라이드를 다양한 각도에서 촬영한 영상으로부터 음영정보를 미리 계산하고 이를 이용하여 왜곡을 보정하는 방법이라 할 수 있으며, 후향적 방법은 슬라이드를 스캔하는 동안 촬영된 영상을 기반으로 ‘스캔이 완료된 후’음영정보를 계산하고, 이를 이용하여 왜곡을 보정하는 방법이라 할 수 있다.
전향적 방법은 미리 계산된 음영정보를 활용하기 때문에 빠르고 정확하게 음영보정을 수행할 수 있지만, 음영정보에 영향을 미치는 슬라이드 두께, 광원의 밝기, 카메라 초점 등 스캔 환경 변화에 따라 매번 다수의 빈 슬라이드를 재촬영해야 하기 때문에 전체 슬라이드 이미징 장치를 가동하는 대부분 연구자들이 불편함을 느낄 수 있다.
또한, 후향적 방법은 슬라이드를 스캔하는 동안 획득한 영상만으로 음영정보를 계산하기 때문에 빈 슬라이드를 미리 촬영해야 하는 불편함은 없지만, 정확한 음영정보를 계산하기 위해서는 “충분한 수의”스캔 영상이 필요하며 영상 수에 비례해서 계산 량이 늘어나기 때문에 처리시간(음영 보정 시간)이 길어지는 단점이 있다.
결론적으로 사용자의 개입(불편함)을 최소화하고 동시에 높은 “정확도”의 음영보정을 빠르게 수행할 수 있는 음영 왜곡 보정 방법이 요구되고 있다.
대한민국 공개특허공보 제10-2013-0092637호(2013.08.20.) 대한민국 공개특허공보 제10-2019-0017352호(2019.02.20.)
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로, 본 발명의 목적은, 전체 슬라이드 이미징(WSI: whole slide imaging) 장치에서 초고해상도 영상 생성을 위해 고배율 대물렌즈로 촬영한 영상(고배율 영상)을 이어 붙이는 과정(정합, stitching)에서의 격자 무늬(불연속성)를 형성하는 음영 왜곡을 보정하고자 하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 대물렌즈와 카메라를 통해 슬라이드 전체 영역을 스캔하면서 촬영하는 전체 슬라이드 이미징 장치는 상기 카메라에서 촬영한 영상을 전달받는 입력층(input layer), 상기 입력층으로부터 입력되는 음영 왜곡 정보가 포함된 영상을 재구성하여 변환하는 N개의 잔차 블록(residual block), 상기 잔차 블록의 결과값과 잔차 볼록의 입력값을 픽셀 단위로 합하여 출력값을 계산하는 합산 모듈(Summation, SUM) 및 상기 합산 모듈을 통해 음영 왜곡이 보정된 영상을 출력하는 출력층(output layer)으로 이루어져 딥러닝 학습 기반 이미지 변환 네트워크(network)를 수행하여 음영 왜곡을 보정하는 영상 처리부를 더 포함할 수 있다.
또한, 본 발명의 상기 잔차 블록(residual block)은 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN), ReLu 모듈(Rectified Linear Unit), 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN) 순으로 배열되어 연산을 수행하고, 상기 연산의 결과값과 상기 잔차 블록의 입력값을 픽셀 단위로 합하여 잔차 블록의 출력을 계산하는 특징이 있다.
또한, 본 발명의 상기 합산 모듈은 입력층의 영상에 대한 x, y 좌표의 음영 왜곡 정보를 skip connection으로 전달받아 반영하여 출력층으로 전달하는 역할을 수행하는 특징이 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 대물렌즈와 카메라를 통해 슬라이드 전체 영역을 스캔하면서 촬영하는 전체 슬라이드 이미징 장치의 영상 처리부에서 동작되는 음영 왜곡 보정 방법은 다양한 스캔환경에서 미리 취득한 음영 왜곡 영상과 그에 해당하는 왜곡 보정 이미지 쌍(pair)으로 구성된 학습 데이터 집합을 수집하는 단계, 수집된 학습 데이터를 기반으로 이미지 변환 네트워크가 왜곡 보정 영상으로의 이미지 재구성을 위한 딥러닝 학습을 진행하는 단계, 상기 카메라 촬영을 통해 입력층에 전달되는 음영 왜곡 영상을 이어 붙이는 정합(stitching) 과정에서 학습된 상기 이미지 변환 네트워크가 출력 영상의 음영 왜곡을 보정하는 단계 및 상기 입력층의 영상에 대한 x, y 좌표의 음영 왜곡 정보를 skip connection으로 전달받아 출력층을 합하는 skip connection을 반영하여 출력층으로 음영 왜곡이 보정된 영상을 출력하는 단계를 포함하여 이루어질 수 있다.
또한, 본 발명의 상기 이미지 변환 네트워크는 상기 카메라에서 촬영한 영상을 전달받는 입력층(input layer), 상기 입력층으로부터 입력되는 음영 왜곡 정보가 포함된 영상을 재구성하여 변환하는 N개의 잔차 블록(residual block), 상기 잔차 블록의 결과값과 잔차 볼록의 입력값을 픽셀 단위로 합하여 출력값을 계산하는 합산 모듈(Summation, SUM) 및 상기 합산 모듈을 통해 음영 왜곡이 보정된 영상을 출력하는 출력층(output layer)으로 구성되는 네트워크인 것을 특징으로 할 수 있다.
전술한 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법에 의한 본 발명은 사용자의 개입(불편함)을 최소화하고 동시에 높은 정확도의 음영 보정을 빠르게 수행할 수 있는 음영보정 방법을 제공함으로써, 전향적 방법의 장점(높은 정확도의 음영 보정)과 후향적 방법의 장점(사용자의 불편함을 최소화)을 동시에 만족하는 효과가 있다.
또한, 본 발명은 다양한 스캔 환경으로부터 학습 데이터를 충분히 확보하고 이를 통해 제안된 음영 보정 네트워크를 학습하면, 음영 정보를 다시 계산해야 하는 불편함 없이 학습에 사용된 모든 스캔 환경에 음영 보정을 수행할 수 있는 효과가 있다.
도 1은 전체 슬라이드 이미징 장치의 기본 구성을 보여주는 예시도이다.
도 2는 슬라이드 전체 영역을 스캔하기 위해 스테이지를 스네이크 순서로 이동하는 것을 나타내는 예시도이다.
도 3은 전체 슬라이드 영상의 정합 시 격자 무늬가 형성되어 음영 왜곡된 이미지를 보여주는 예시도이다.
도 4는 도 3의 음영 왜곡된 이미지에서 음영 왜곡 보정 작업을 거친 후 사용자에게 제공할 영상을 보여주는 예시도이다.
도 5는 본 발명에 따른 전체 슬라이드 이미징 장치에 대한 실물 예시도이다.
도 6은 본 발명에 따른 영상 처리부에서 수행하는 이미지 변환 네트워크(network)의 개략도이다.
도 7은 본 발명에 따른 이미지 변환 네트워크의 학습 데이터 예시도이다.
도 8은 본 발명에 따른 학습이 완료된 이미지 변환 네트워크를 이용하여 촬영한 음영 왜곡 영상과 이를 보정한 결과의 예를 보여주는 예시도이다.
도 9는 본 발명에 따른 전체 슬라이드 이미징 장치의 음영 왜곡 보정 방법의 순서를 나타내는 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.
도 1은 전체 슬라이드 이미징 장치의 기본 구성를 보여주는 예시도이고, 도 2는 슬라이드 전체 영역을 스캔하기 위해 스테이지를 스네이크 순서로 이동하는 것을 나타내는 예시도이며, 도 3은 전체 슬라이드 영상의 정합 시 격자 무늬가 형성되어 음영 왜곡된 이미지를 보여주는 예시도이고, 도 4는 도 3의 음영 왜곡된 이미지에서 음영 왜곡 보정 작업을 거친 후 사용자에게 제공할 영상을 보여주는 예시도 이다.
즉 도 1 내지 도 4는 전체 슬라이드를 초고해상도 디지털 영상으로 변환하는 과정을 보여주는 것이라 할 수 있다.
일반적으로 초고해상도 영상을 쵤영하기 위해 20x, 40x 또는 그 이상의 고배율 대물렌즈(101)를 이용한다. 고배율 대물렌즈는 고분해능(high-resolution) 이미지를 촬영할 수 있지만, 시야각(FOV: field of view)이 매우 제한적이기(좁기) 때문에 슬라이드 전체 영역(102) 중 극히 일부분만을 영상으로 촬영하게 된다.
전체 슬라이드 이미징 장치는 고배율 대물렌즈로 슬라이드 전체 영역을 이미지로 변환하기 위해 현미경 스캔용 동작 테이블로서 2축(XY) 스테이지(103)를 추가 이용한다.
이에 상기 스테이지(103)를 스네이크 순서(snake scanning order, 104)로 이동하며 슬라이드 전체 영역을 스캔하게 되고, 스캔 된 여러 장의 고배율 영상(105)들을 정합(stitching)하여 최종 고해상도의 전체 슬라이드 영상(106)을 생성하게 되는 것이다.
고배율 대물렌즈를 이용하여 영상을 촬영하면, 균일하지 못한 광원(light source)의 밝기 또는 광원을 전달하는 광학계의 수차(aberration) 등의 원인으로 인해 중심부에서 주변부로 갈수록 어두워지는 음영 왜곡이 발생한다.
음영 왜곡된 영상을 정합하면 전체 슬라이드 영상에서 도 3과 같이 격자 무늬(106)가 형성되며, 이는 영상 화질 문제뿐만 아니라 영상 분석 및 정량화(quantitative analysis)와 같은 후속 작업에도 부정적 영향을 초래한다.
이를 위하여 사용자에게 제공할 영상의 화질, 정량적 평가를 위한 음영 왜곡 보정과 같은 후속 작업 등을 수행함으로써, 격자 무늬를 제거한 영상(107)을 생성할 필요가 있다.
본 발명은 전향적 방법의 문제점인 사용자 개입(불편함)을 최소화하는 방법에 관한 것으로, 다양한 스캔 환경에서 미리 취득한 음영 왜곡 영상들을 기반으로 왜곡 보정 영상으로 변환하는 음영보정 네트워크를 학습하고, 학습된 “다양한 스캔환경에 강인한 네트워크”를 통해 스캔 과정에서 음영 정보를 계산하는 추가작업(후처리)없이 음영 왜곡을 보정할 수 있는 방법을 제공하고자 하는 것이다.
도 5는 본 발명에 따른 전체 슬라이드 이미징 장치에 대한 실물 예시도로서, 슬라이드(220) 전체 영역을 스캔하기 위해 스네이크 순서로 움직이는 2축 스테이지(210), 상기 슬라이드 샘플(220)의 스캔 영역의 확대를 위한 고배율 대물렌즈(230), 스캔 영역의 영상을 마이크로 미터(μm) 분해능으로 촬영하기 위한 고해상 카메라(240). 상기 슬라이드(220)에 빛을 투사(projection)하는 광원(250) 및 이미지의 음영 왜곡을 보정하기 위해 이미지 변환 네트워크(network)를 수행하는 영상 처리부(300)를 포함하여 이루어질 수 있다.
그러나 설치된 상기 광원(250)은 밝기 강도가 일반적으로 광축(optical axis)에서 멀어질수록 감쇠하기 때문에 촬영된 영상의 색상이 가장자리로 갈수록 어두워지는 경향이 발생할 수 있으며, 이를 본 발명에서는 음영 왜곡(shading distortion)이라 부른다. 즉 본 발명은 광원(250)의 빛의 특성과 대물렌즈의 특성으로 인해 영상의 밝기가 줄어드는(어두워지는) 경향을 보정하기 위하여 이미지 변환 네트워크(network)를 수행하는 영상 처리부(300)를 구성하는 것이다.
상기 이미지 변환 네트워크(network)를 수행하는 영상 처리부(300)는 논리회로, 프로그래밍 로직 컨트롤러, 마이컴, 마이크로프로세서 등에서 선택되는 적어도 어느 하나의 컴퓨팅 장치를 통하여 구현될 수 있을 것이다.
즉 상기 영상 처리부(300)는 수집된 학습 데이터를 기반으로 음영 왜곡을 보정하여 왜곡 보정 영상으로의 이미지 재구성을 위해 딥러닝(Deep Learning)을 수행하기 위한 신경망(Artificial Neural Network) 알고리즘을 구현하는 장치라 할 수 있다.
음영 왜곡을 수식으로 표현하면 다음의 식 1과 같다.
Figure 112021012143851-pat00001
----- (식 1)
여기서,
Figure 112021012143851-pat00002
는 카메라가 촬영한 영상의
Figure 112021012143851-pat00003
좌표 픽셀 값을,
Figure 112021012143851-pat00004
는
Figure 112021012143851-pat00005
좌표의 음영 왜곡 정보를,
Figure 112021012143851-pat00006
는
Figure 112021012143851-pat00007
좌표의 카메라 자체 노이즈 정보를 각각 나타내며, 카메라가 촬영한 영상은 왜곡이 없는 영상에 음영 정보와 카메라 자체 노이즈가 추가된 결과이다.
카메라 촬영한 영상(음영 왜곡 영상)
Figure 112021012143851-pat00008
로부터 왜곡이 제거된 영상
Figure 112021012143851-pat00009
를 획득하기 위해 기존 방법들은
Figure 112021012143851-pat00010
와
Figure 112021012143851-pat00011
를 먼저 계산한다.
기존 방법 중 전향적 방법은 빈 슬라이드를 통해 음영 정보
Figure 112021012143851-pat00012
와 카메라 자체 노이즈
Figure 112021012143851-pat00013
에 대한 정보를 계산하기 때문에 후향적 방법보다 “정확하게”음영 보정을 수행할 수 있지만, 단일 스캔 환경만을 모델링할 수 있기 때문에 환경 변화에 따라
Figure 112021012143851-pat00014
와
Figure 112021012143851-pat00015
를 매번 다시 계산해야 한다.
이에 본 발명에서는 다양한 스캔환경에서 획득한 학습 데이터와 이미지 변환 네트워크(network)를 기반으로 음영 왜곡 영상을 왜곡 보정 영상으로 변환하는 방법을 제공한다.
도 6은 본 발명에 따른 영상 처리부에서 수행하는 이미지 변환 네트워크에 대한 개략도(schematic drawing)를 보여주는 예시도로서, 본 발명의 이미지 변환 네트워크는 크게 입력층(input layer, 301), 출력층(output layer, 302), 상기 입력층(301)의 이미지를 재구성하여 변환하는 N개의 잔차 블록(residual block, 304), 그리고 입력층(301)과 출력층(302)을 합하는 skip connection(306)으로 구성된다.
잔차 블록(304)은 크게 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN), ReLu 모듈(Rectified Linear Unit), 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN) 순으로 배열되어 연산을 수행하고, 5개 연산의 결과값과 잔차 블록(304)의 입력값을 픽셀 단위로 합하는 합산 모듈(Summation, SUM)(305)에 의하여 잔차 블록(304)의 출력을 계산한다.
이에 따라 입력층(301)으로 카메라가 촬영한 영상(음영 왜곡 영상)이 전달되면, 출력층(302)으로 음영 왜곡이 보정된 영상이 출력될 수 있다.
또한, 본 발명은 음영 왜곡 정보
Figure 112021012143851-pat00016
를 네트워크에 반영하기 위해 “skip connection”을 추가하였다.
본 발명의 “skip connection”은 입력층에 전달된 영상(음영 왜곡 영상)과 N개의 전치 블록을 통과한 영상을 픽셀단위로 합하여 출력층으로 전달하는 역할을 수행하기 위함이다.
상기 입력층(301)에 전달된 영상을
Figure 112021012143851-pat00017
, N개의 전치 블록을 통과한 영상을
Figure 112021012143851-pat00018
라고 하면 출력층(302)으로 출력된 영상은 다음과 같이 식 (2)로 표현될 수 있다.
Figure 112021012143851-pat00019
----- (식 2)
식 (2)로부터 입력층과 출력층의 사이의 네트워크
Figure 112021012143851-pat00020
를 학습하는 것은 왜곡 보정 영상
Figure 112021012143851-pat00021
와 음영 왜곡 영상
Figure 112021012143851-pat00022
의 차이(
Figure 112021012143851-pat00023
)를 학습하는 것을 의미한다.
이는 음영 왜곡 영상과 왜곡 보정 영상의 차이가 음영 정보
Figure 112021012143851-pat00024
를 의미하기 때문에 제안된 방법은 음영 왜곡 정보가 반영된 음영 보정 네트워크이다.
이미지 변환 네트워크가 음영 보정을 제대로 수행하기 위해서는 네트워크를 학습해야 하며, 학습을 성공적으로 수행하기 위해서는 음영 왜곡 영상과 그에 해당하는 왜곡 보정 이미지 쌍(pair)으로 구성된 학습 데이터 집합이 필요하다.
도 7은 본 발명에 따른 이미지 변환 네트워크의 학습 데이터 예를 보여주며, 음영 왜곡 영상(401)과 왜곡 보정 영상(402)으로 구성된다. 음영 왜곡 보정 영상(402)은 전향적 또는 후향적 방법 중 하나를 선택할 수 있다.
도 7의 왜곡 보정 영상(402)은 현시점에서 Golden Standard로 여겨지는 전향적 방법을 사용하여 음영 왜곡 영상을 보정한 결과이다.
도 7과 같이 충분한 수의 학습 데이터가 수집되면 이미지 재구성을 위한 변환 네트워크를 수행하여 학습하게 된다.
여기서 학습은 음영 왜곡 영상을 입력층에 전달할 때 출력층이 왜곡 보정 영상을 출력할 수 있게 네트워크 가중치(weight)를 미세 조정하는 과정이라 할 수 있다.
즉 학습은 네트워크의 출력층이 출력한 이미지와 정답 이미지를 비교해서 오차(예. 모든 픽셀의 차이 평균)를 계산하고, 이 오차를 기반으로 출력층의 가중치부터 입력층의 가중치까지 모두 순차적으로 미세 조정하는 것으로서, 여기서 상기 “정답 이미지”는 입력층에 전달된 이미지와 쌍을 이루는 왜곡 보정 영상을 의미한다.
도 8은 본 발명에서 학습이 완료된 변환 네트워크를 이용하여 다양한 스캔환경에서 촬영한 음영 왜곡 영상들을 보정한 결과(501, 503, 505)의 예를 보여주는 것이다.
도시에서와 같이 네트워크를 통해 보정한 결과 영상(501, 503, 505)과 학습을 위해 사용된 음영 보정 영상(502, 504, 506)이 거의 유사함(차이가 없음)을 확인할 수 있다.
또한, 도 9는 본 발명에 따른 전체 슬라이드 이미징 장치의 음영 왜곡 보정 방법의 순서를 나타내는 흐름도로서, 학습 데이터 집합을 수집하는 단계(S100), 이미지 변환 네트워크를 통해 학습하는 단계(S200), 이미지 변환 네트워크가 출력 연산을 수행하여 출력 영상의 음영 왜곡을 보정하는 단계(S300) 및 출력층으로 음영 왜곡이 보정된 영상을 출력하는 단계(S400)를 포함하여 대물렌즈와 카메라를 통해 슬라이드 전체 영역을 스캔하면서 촬영하는 전체 슬라이드 이미징 장치의 영상 처리부에서 동작되는 음영 왜곡 보정 방법을 제공할 수 있다.
이에 상기 학습 데이터 집합을 수집하는 단계(S100)는 음영 보정을 제대로 수행하기 위한 학습을 위해 이미지 변환 네트워크로 다양한 스캔환경에서 미리 취득한 음영 왜곡 영상과 그에 해당하는 왜곡 보정 이미지 쌍(pair)으로 구성된 학습 데이터 집합을 수집한다.
이후 이미지 변환 네트워크를 통해 학습하는 단계(S200)에서는 충분한 수의 학습 데이터가 수집되면 전향적 또는 후향적 방법 중 하나를 선택하여 수집된 학습 데이터를 기반으로 이미지 변환 네트워크가 왜곡 보정 영상으로의 이미지 재구성을 위한 신경망(Artificial Neural Network) 알고리즘을 적용하는 딥러닝 학습(Deep Learning Training)을 진행한다.
이후 이미지 변환 네트워크가 출력 영상의 음영 왜곡을 보정하는 단계(S300)는 상기 카메라 촬영을 통해 입력층에 전달되는 음영 왜곡 영상을 이어 붙이는 정합(stitching) 과정에서 학습된 상기 이미지 변환 네트워크가 음영 왜곡 영상과 정답 이미지(왜곡 보정 영상)를 비교해서 오차(예. 모든 픽셀의 차이 평균)를 계산하고, 이 오차를 기반으로 출력층의 가중치부터 입력층의 가중치까지 모두 순차적으로 미세 조정하게 된다.
이후 출력층으로 음영 왜곡이 보정된 영상을 출력하는 단계(S400)는 상기 이미지 변환 네트워크를 통해 보정된 영상에 상기 입력층의 영상에 대한 x, y 좌표의 음영 왜곡 정보를 전달받아 합하는 skip connection을 반영하여 출력층으로 음영 왜곡이 보정된 영상을 출력하는 단계이다.
이러한 방법을 통하여 다양한 스캔 환경으로부터 학습 데이터를 충분히 확보하고 이를 통해 제안된 음영 보정 네트워크를 학습하면, 음영 정보를 다시 계산해야 하는 불편함 없이 학습에 사용된 모든 스캔 환경에 음영 보정을 수행할 수 있다.
전술한 바와 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

Claims (5)

  1. 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치에 있어서,
    슬라이드의 전체 영역을 스캔하기 위해 스네이크 순서로 이동하는 2축 스테이지;
    상기 슬라이드 상의 샘플의 스캔 영역의 확대를 위한 고배율 대물렌즈;
    상기 스캔 영역의 영상을 마이크로 미터(μm) 분해능으로 촬영하기 위한 고해상 카메라;
    상기 슬라이드에 빛을 투사하는 광원; 및
    딥러닝 학습 기반 이미지 변환 네트워크(network)를 수행하여 음영 왜곡을 보정하는 영상 처리부를 포함하며,
    상기 이미지 변환 네트워크는
    상기 카메라에서 촬영한 영상을 전달받는 입력층(input layer),
    상기 입력층으로부터 입력되는 음영 왜곡 정보가 포함된 영상을 재구성하여 변환하는 N개의 잔차 블록(residual block),
    상기 잔차 블록의 결과값과 잔차 볼록의 입력값을 픽셀 단위로 합하여 출력값을 계산하는 합산 모듈(Summation, SUM) 및
    상기 합산 모듈을 통해 음영 왜곡이 보정된 영상을 출력하는 출력층(output layer)으로 이루어지며,
    상기 N개의 잔차 블록(residual block) 각각은 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN), ReLu 모듈(Rectified Linear Unit), 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN) 순으로 배열되어 연산을 수행하고, 상기 연산의 결과값과 상기 잔차 블록의 입력값을 픽셀 단위로 합하여 잔차 블록의 출력을 계산하며,
    상기 이미지 변환 네트워크는 상기 카메라 촬영을 통해 입력층에 전달되는 음영 왜곡 영상을 이어 붙이는 정합 과정에서 음영 왜곡 영상과 정답 이미지를 비교해서 오차를 계산하고, 상기 오차를 기반으로 상기 출력층의 가중치부터 입력층의 가중치까지 모두 순차적으로 미세 조정하는 것을 특징으로 하는 전체 슬라이드 이미징 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 합산 모듈은 입력층의 영상에 대한 x, y 좌표의 음영 왜곡 정보를 skip connection으로 전달받아 반영하여 출력층으로 전달하는 것을 특징으로 하는 전체 슬라이드 이미징 장치.
  4. 대물렌즈와 카메라를 통해 슬라이드 전체 영역을 스캔하면서 촬영하는 전체 슬라이드 이미징 장치의 영상 처리부에서 동작되는 음영 왜곡 보정 방법에 있어서,
    다양한 스캔환경에서 미리 취득한 음영 왜곡 영상과 그에 해당하는 왜곡 보정 이미지 쌍(pair)으로 구성된 학습 데이터 집합을 수집하는 단계,
    수집된 학습 데이터를 기반으로 이미지 변환 네트워크가 왜곡 보정 영상으로의 이미지 재구성을 위한 딥러닝 학습을 진행하는 단계,
    상기 카메라 촬영을 통해 입력층에 전달되는 음영 왜곡 영상을 이어 붙이는 정합(stitching) 과정에서 학습된 상기 이미지 변환 네트워크가 출력 영상의 음영 왜곡을 보정하는 단계 및
    상기 입력층의 영상에 대한 x, y 좌표의 음영 왜곡 정보를 skip connection으로 전달받아 출력층을 합하는 skip connection을 반영하여 출력층으로 음영 왜곡이 보정된 영상을 출력하는 단계를 포함하여 이루어지며,
    상기 이미지 변환 네트워크는 촬영한 영상을 전달받는 입력층(input layer), 상기 입력층으로부터 입력되는 음영 왜곡 정보가 포함된 영상을 재구성하여 변환하는 N개의 잔차 블록(residual block), 상기 잔차 블록의 결과값과 잔차 볼록의 입력값을 픽셀 단위로 합하여 출력값을 계산하는 합산 모듈(Summation, SUM) 및 상기 합산 모듈을 통해 음영 왜곡이 보정된 영상을 출력하는 출력층(output layer)으로 구성되는 네트워크이며,
    상기 N개의 잔차 블록(residual block) 각각은 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN), ReLu 모듈(Rectified Linear Unit), 콘볼루션 모듈(convolution, Conv), 배치 정규화 모듈(Batch Normalization, BN) 순으로 배열되어 연산을 수행하고, 상기 연산의 결과값과 상기 잔차 블록의 입력값을 픽셀 단위로 합하여 잔차 블록의 출력을 계산하며,
    상기 이미지 변환 네트워크가 상기 출력 영상의 음영 왜곡을 보정하는 단계는 상기 카메라 촬영을 통해 입력층에 전달되는 음영 왜곡 영상을 이어 붙이는 정합(stitching) 과정에서 학습된 상기 이미지 변환 네트워크가 음영 왜곡 영상과 정답 이미지를 비교해서 오차를 계산하고, 이 오차를 기반으로 출력층의 가중치부터 입력층의 가중치까지 모두 순차적으로 미세 조정하는 단계를 포함하는 것을 특징으로 하는 전체 슬라이드 이미징 장치의 음영 왜곡 보정 방법.
  5. 삭제
KR1020210013232A 2021-01-29 2021-01-29 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법 KR102462847B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013232A KR102462847B1 (ko) 2021-01-29 2021-01-29 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013232A KR102462847B1 (ko) 2021-01-29 2021-01-29 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220109789A KR20220109789A (ko) 2022-08-05
KR102462847B1 true KR102462847B1 (ko) 2022-11-04

Family

ID=82826441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013232A KR102462847B1 (ko) 2021-01-29 2021-01-29 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102462847B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764888B (zh) * 2024-02-22 2024-05-28 西安好思达康复器具有限公司 一种脊柱侧弯扫描取型的处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2842723C (en) 2009-10-19 2016-02-16 Ventana Medical Systems, Inc. Imaging system and techniques
KR101967992B1 (ko) 2017-08-11 2019-04-11 주식회사 인피니트헬스케어 디지털 병리 시스템의 영상 압축 방법
WO2019191697A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김대성 외 3명, Faster R-CNN 학습데이터 구축과 모델을 이용한 안전모 탐지 연구, 한국방재학회 논문집 20권1호, 119~126쪽, 전체 8쪽, 28 Feb. 2020(2020.02.28.) 1부.*

Also Published As

Publication number Publication date
KR20220109789A (ko) 2022-08-05

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
KR102363030B1 (ko) 광학 시스템 수차들의 디지털 보정
US20120147224A1 (en) Imaging apparatus
JP5489897B2 (ja) ステレオ測距装置及びステレオ測距方法
JP2019121252A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
JP2018084982A (ja) 画像処理装置、情報処理方法及びプログラム
US8294764B2 (en) Extended depth-of-field surveillance imaging system
JP6484706B2 (ja) 画像を記録するための装置および方法
JPH1093808A (ja) 画像合成装置および方法
JP2017526964A (ja) 画像を記録するための装置および方法
CN110517213B (zh) 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
JP6422967B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP2011188083A (ja) 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
Nikonorov et al. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging
JP5437414B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR102462847B1 (ko) 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN114926357A (zh) 计算显微成像系统的led阵列光源位姿自校正方法
JP2019212132A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
US6888958B1 (en) Method and apparatus for inspecting patterns
JPH10248830A (ja) 放射線画像の照射野認識方法および装置
JP2010056992A (ja) 画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体
JP6849735B2 (ja) 画像修正方法
KR102255074B1 (ko) 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant