KR102255074B1 - 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치 - Google Patents

명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치 Download PDF

Info

Publication number
KR102255074B1
KR102255074B1 KR1020200031265A KR20200031265A KR102255074B1 KR 102255074 B1 KR102255074 B1 KR 102255074B1 KR 1020200031265 A KR1020200031265 A KR 1020200031265A KR 20200031265 A KR20200031265 A KR 20200031265A KR 102255074 B1 KR102255074 B1 KR 102255074B1
Authority
KR
South Korea
Prior art keywords
image
distortion
images
candidate
brightfield
Prior art date
Application number
KR1020200031265A
Other languages
English (en)
Inventor
박안진
탁윤오
최장훈
엄종현
엄주범
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020200031265A priority Critical patent/KR102255074B1/ko
Application granted granted Critical
Publication of KR102255074B1 publication Critical patent/KR102255074B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

음영에 대한 사전정보 없이 전체 슬라이드 이미지를 생성하기 위해 획득한 다수의 이미지들만으로 음영 왜곡 정보를 추출하고 이를 기반으로 획득 이미지의 음영을 보정하는 방법 및 장치가 개시된다. 음영 보정 방법은, 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법으로서, 스캔 대상 샘플의 샘플 전체 영역에 대해 X-Y 평면에서 순차적 스캔 이미지들을 획득하는 단계, 스캔 이미지들 각각에 대한 명시야 왜곡에 대한 후보 이미지들을 생성하는 단계, 후보 이미지들 중 최적의 명시야 왜곡 이미지를 각 채널별로 선택하는 단계, 채널들을 병합하여 하나의 단일 명시야 왜곡 모델을 생성하는 단계, 단일 명시야 왜곡 모델을 적용하여 스캔 이미지들 각각의 음영 왜곡을 일괄 보정하는 단계를 포함한다.

Description

명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치{SHADING CORRECTION METHOD AND APPARATUS FOR BRIGHTFIELD WHOLE SLIDE IMAGING}
본 발명은 명시야(brightfield) 전체 슬라이드 이미징(WSI: whole slide imaging) 시스템으로 촬영한 이미지의 음영 왜곡을 보정하는 기술에 관한 것으로, 상세하게는 음영에 대한 사전정보 없이 전체 슬라이드 이미지를 생성하기 위해 획득한 다수의 이미지들만으로 음영 왜곡 정보를 추출하고 이를 기반으로 획득 이미지의 음영을 보정하는 방법 및 장치에 관한 것이다.
기존 광학 현미경은 통상 고배율 렌즈를 사용한다. 고배율 렌즈를 사용하면 상대적으로 시야각(FOV: field of view)이 좁아진다. 시야각을 넓히려면 저배율 렌즈를 사용해야 하나, 그 경우 해상도가 떨어지는 문제점이 있다.
최근 광학 현미경의 상술한 문제점을 해결할 수 있는 하나의 방안으로서 고배율이면서도 넓은 시야각의 이미지를 획득할 수 있는 전체 슬라이드 이미징(WSI: whole slide imaging) 기술이 각광받고 있다.
도 1은 종래의 전체 슬라이드 이미징 시스템의 대략적인 동작 흐름을 보여준다. 전체 슬라이드 이미징 시스템은 제한적 시야각을 가진 고배율 대물렌즈(102)를 이용하여 슬라이드(104)에 도포된 샘플(103)에 대한 이미지를 획득한다. 샘플(103)의 전체 영역에 대한 이미지를 스캔하여 얻기 위해 2축(X-Y) 스테이지(101)를 이용한다.
또한, 도 2의 (a)에 도시한 바와 같이, 종래의 전체 슬라이드 이미징 시스템에서는 통상 스테이지(101)를 스네이크 순서(snake scanning order, 105)로 이동하며 전체 영역을 스캔한다. 그리고 마지막 단계에서 부분적으로 스캔된 여러 장의 고해상도 혹은 고배율 이미지들을 스티칭(stitching)하여 하나의 광시야각(wide field of view)을 가지는 초고해상도 이미지를 생성한다.
한편, 전체 슬라이드 이미징 시스템은 일반적으로 고배율 렌즈를 사용하여 샘플을 이미징하기 때문에 스캔된 각각의 이미지는 중심부에서 주변부로 갈수로 어두워지는 비네팅(vignetting)이라 불리는 음영 왜곡(shading distortion)이 발생한다. 도 2의 (b)에 도시한 바와 같이 음영이 왜곡된 이미지들을 스티칭하면 전체 슬라이드 이미지에 검은색 격자 무늬(106)가 형성되어 화질 저하의 요인이 되며, 영상 분석 및 정량화와 같은 후속작업에 부정적 영향을 미칠 수 있다. 따라서 사용자에게 제공되는 영상의 화질, 후속작업 등을 고려할 때 도 2의 (c)와 같이 검은색 격자 무늬가 제거된 이미지(107)를 제공하기 위해 음영 왜곡 보정 과정이 필요하다.
전체 슬라이드 이미징 시스템을 위한 음영 왜곡 보정 알고리즘은 크게 전향적(prospective) 접근법과 후향적(retrospective) 접근법으로 분류된다. 전향적 접근법은 일반적으로 여러 위치에서 촬영한 다수의 빈 슬라이드(empty slide) 이미지들을 분석하여 음영 왜곡을 추정한다. 예를 들어, 여러 장의 이미지들을 각 픽셀 단위로 계산된 평균 또는 중간값으로 음영 왜곡 영상을 생성하며, 생성된 음영 왜곡 영상을 이용하여 음영 왜곡 보정을 수행한다. 대부분의 상용 제품들은 음영 왜곡 보정을 위해 전향적 접근법 중 하나의 알고리즘을 추가 옵션으로 제공하고 있지만, 광원의 위치나 밝기가 바뀔 경우 매번 다수의 빈 슬라이드 이미지를 재촬영해야 하는 추가작업이 필요하기 때문에 대부분의 연구자들이 불편함을 느낀다.
전향적 접근법과 달리 후향적 접근법은 전체 슬라이드 이미지 생성을 위해 순차적으로 촬영한 이미지만으로 음영 왜곡을 추정하며, 사용자 측면에서 음영 왜곡 보정을 위한 추가작업이 필요없기 때문에 최근 다양하게 연구되고 개발되고 있다.
또한, 도 3에 도시한 바와 같이 종래의 전향적 접근법은 기본적으로 촬영 이미지가 매끄러운(smooth) 음영 왜곡(201, 202)을 가지고 있다고 가정한다. 이런 가정 때문에 촬영 이미지에 고정 패턴 노이즈(203, 204)가 존재하는 경우 음영 왜곡을 보정한 후에도 여전히 그 노이즈(205, 206)가 남아 있다. 이러한 고정 패턴 노이즈 역시 이미지 화질을 저하시키는 요인 중 하나이기 때문에 제거되어야 하며, 사용자에게 고화질, 고해상도 또는 광시야각 슬라이드 이미지를 제공하기 위해, 음영 왜곡 보정과 고정 패턴 노이즈 제거를 동시에 수행할 수 있는 알고리즘 개발이 필요하다.
본 발명은 디지털 슬라이드 이미지 생성을 위해 X-Y 스테이지를 이동하며 순차적으로 촬영한 이미지만으로 음영 왜곡을 보정할 수 있는 후향적 접근법을 제공하고자 하는 것으로, 본 발명의 목적은 조명에 의해 발생하는 음영 왜곡(shading distortion)과 카메라 자체가 가지고 있는 고정 패턴 잡음을 동시에 보정 및 제거하는 알고리즘 또는 이러한 알고리즘에 대응하는 음영 보정 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 음영 보정 방법은, 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법으로서, 스캔 대상 샘플의 샘플 전체 영역에 대해 X-Y 평면에서 순차적 스캔 이미지들을 획득하는 단계; 상기 스캔 이미지들 각각에 대한 명시야 왜곡에 대한 후보 이미지들을 생성하는 단계; 상기 후보 이미지들 중 최적의 명시야 왜곡 이미지를 각 채널별로 선택하는 단계; 채널들을 병합하여 하나의 단일 RGB 명시야 왜곡 모델을 생성하는 단계; 및 상기 RGB 명시야 왜곡 모델을 적용하여 각 후보 이미지의 음영 왜곡을 일괄 보정하는 단계를 포함한다.
일실시예에서, 상기 후보 이미지들을 생성하는 단계는, 상기 스캔 이미지들을 Z축 방향으로 적층하는 단계; 및 상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 후보 이미지들을 생성하는 단계를 포함할 수 있다.
일실시예에서, 상기 선택하는 단계는 상기 후보 이미지들 중 상대적으로 잡음이 가장 적은 후보 이미지를 선택할 수 있다.
일실시예에서, 상기 선택하는 단계는 명시야 왜곡 이미지의 선택을 위해 상기 후보 이미지들 각각에 대한 지역적 변이계수를 계산할 수 있다.
일실시예에서, 상기 지역적 변이계수의 계산은, 하나의 후보 이미지에 포함된 화소를 중심으로 한 일정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하여 후보 이미지들 각각의 매끄러움 정도를 계산하도록 이루어질 수 있다.
일실시예에서, 상기 최적의 명시야 왜곡 이미지를 선택하는 단계는, 상기 후보 이미지들의 각 채널별로 상기 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택할 수 있다.
일실시예에서, 상기 음영 보정 방법은, 상기 일괄 보정하는 단계 전에, 상기 스캔 이미지들을 스티칭하여 하나의 광시야각(wide field of view)를 가진 제1 해상도의 이미지를 생성하는 단계를 더 포함할 수 있다.
일실시예에서, 상기 획득하는 단계는, 스캔 대상 샘플에 대하여 제한적 시야각을 가진 제1 배율의 대물렌즈를 이용하여 샘플 전체 영역에 대해 X-Y 평면에서 순차적으로 촬영한 스캔 이미지들을 획득할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 음영 보정 방법은, 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법으로서, 스캔 대상 샘플에 대하여 제한적 시야각을 가진 제1 배율의 대물렌즈를 이용하여 샘플 전체 영역에 대해 X-Y 평면에서 순차적으로 촬영한 스캔 이미지들을 획득하는 단계; 상기 스캔 이미지들을 Z축 방향으로 적층하는 단계; 상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 후보 이미지들을 생성하는 단계; 상기 후보 이미지들 각각에 대하여 상대적으로 잡음이 가장 적은 매끄러운 후보군을 선택하는 단계; 상기 후보 이미지들 각각의 상기 매끄러운 후보군 중 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택하는 단계; 각 채널별로 선택된 명시야 왜곡 이미지에 기초하여 채널들을 병합한 단일 명시야 왜곡 모델을 생성하는 단계; 상기 스캔 이미지들을 스티칭하여 하나의 광시야각(wide field of view)를 가진 제1 해상도의 이미지를 생성하는 단계; 및 상기 명시야 왜곡 모델을 적용하여 각 스캔 이미지의 음영 왜곡을 일괄 보정하는 단계를 포함한다.
일실시예에서, 상기 명시야 왜곡 이미지를 선택하는 단계는 상기 후보 이미지들 중 i번째 후보 이미지에 대한 지역적 변이계수를 계산하며, 여기서 상기 지역적 변이계수의 계산은 상기 i번째 후보 이미지의 k번째 화소를 중심으로 한 기설정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하여 상기 i번째 후보 이미지의 매끄러움 정도(degree of smoothness)을 계산하고, 계산 결과를 통해 명시야 왜곡 이미지를 선택하도록 이루어질 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 음영 보정 장치는, 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 장치로서, 스캔 대상 샘플의 샘플 전체 영역에 대해 X-Y 평면에서 순차적 스캔 이미지들을 획득하는 이미지 데이터 획득부; 상기 스캔 이미지들을 Z축 방향으로 적층하는 이미지 적층부; 상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 보정을 위한 후보 이미지들을 생성하는 후보 이미지 생성부; 상기 후보 이미지들 중 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택하는 명시야 왜곡 이미지 선택부; 각 채널별로 선택된 명시야 왜곡 이미지에 기초하여 채널들을 병합한 단일 명시야 왜곡 모델을 생성하는 명시야 왜곡 모델 생성부; 및 상기 스캔 이미지들을 스티칭한 제1 해상도의 이미지에 상기 명시야 왜곡 모델을 적용하여 스캔 이미지들 각각의 음영 왜곡을 일괄 보정하는 이미지 일괄 보정부를 포함한다.
일실시예에서, 상기 명시야 왜곡 이미지 선택부는, 상기 후보 이미지들 중 i번째 후보 이미지의 k번째 화소를 중심으로 한 기설정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하고 상기 합에 기초하여 상기 i번째 후보 이미지의 매끄러움 정도를 계산한다.
전술한 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법 및 장치를 사용하면, 조명에 의해 발생하는 음영 왜곡(shading distortion)을 효과적으로 보정할 수 있을 뿐만 아니라 이미지 내 고정 패턴 잡음을 동시에 효과적으로 제거 혹은 저감할 수 있다.
도 1은 일반적인 고해상도 전체 슬라이드 이미징 시스템에 대한 개략적인 구성도.
도 2는 종래의 고해상도 전체 슬라이드 이미지의 생성 과정을 설명하기 위한 도면.
도 3은 종래의 후향적 접근법에 따른 전체 슬라이드 이미지의 생성 결과에 대한 예시도.
도 4는 본 발명의 일실시예에서 따른 음영 보정 방법에서 입력되는 후보 이미지들의 집합으로부터 각 후보 이미지의 명시야 왜곡을 추정하는 과정을 설명하기 위한 도면.
도 5는 도 4의 음영 보정 방법에서 시료 내 굴절로 인해 발생하는 아티팩트와 특정 위치의 라인 프로파일을 고려하는 과정을 설명하기 위한 도면.
도 6은 도 4의 음영 보정 방법에 따른 입력 이미지와 음영 보정 결과 이미지를 비교하여 설명하기 위한 도면.
도 7은 본 발명의 다른 실시예에 따른 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 장치에 대한 개략적인 블록도.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
다만, 이하의 본 발명의 상세한 설명에서 특정 실시예에 대하여 도면을 예시하고 상세히 설명하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아울러, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하기로 한다.
먼저, 본 발명의 일 실시예에 따른 음영 보정 방법에 채용할 수 있는 음영 왜곡 보정을 수학적으로 표현하면 다음과 같다.
전체 슬라이드 이미지 생성을 위해 전체 슬라이드 이미징 시스템을 통해 순차적으로 촬영한 이미지 집합 Y=[Y_1,…,Y_n]와 음영이 보정된 이미지 집합 X=[X_1,…,X_n ]의 관계를 다음과 같이 [수학식 1]과 같이 표현할 수 있다.
Figure 112020026761435-pat00001
위의 [수학식 1]에서, F(k)는 조명에 의해 발생하는 k번째 화소의 명시야 왜곡(flat-field distortion)을, D(k)는 조명이 없을 때 발생하는 암시야 왜곡(darkfield distortion)을 각각 나타낸다.
암시야 왜곡은 일반적으로 거의 균일하고 픽셀 값의 변화가 크지 않기 때문에 계산에서 제외한다. [수학식 1]에서 D(k)을 0으로 설정하여 암시야 왜곡을 계산에서 제외하면 음양 보정된 이미지는 [수학식 2]와 같이 간단하게 표현될 수 있다.
Figure 112020026761435-pat00002
위의 [수학식 2]에서,
Figure 112020026761435-pat00003
는 실제 명시야 왜곡 F(k)의 추정값을 의미하며, 명시야 왜곡 F(k)을 정확히 알지 못하기 때문에 본 실시예에서는 입력 이미지 집합 Y로부터 명시야 왜곡 이미지
Figure 112020026761435-pat00004
를 추정한다.
도 4는 본 발명의 일실시예에 따른 음영 보정 방법에서 입력되는 후보 이미지들의 집합으로부터 각 후보 이미지의 명시야 왜곡을 추정하는 과정을 보여준다. 즉, 도 4에서는 입력 이미지 집합 Y(305)로부터 명시야 왜곡 F(k)(303)를 추정하는 과정을 보여준다.
명시야 왜곡을 추정하는 과정은, 크게 명시야 왜곡에 대한 후보 이미지들을 생성하는 단계와 후보 이미지 중 최적의 명시야 왜곡 이미지를 선택하는 단계로 구분할 수 있다.
첫 번째의 후보 이미지 생성 단계에서는 입력 이미지(305)로부터 명시야 왜곡 후보 이미지들(302, 306)을 생성한다. 이를 위해, 먼저 전체 슬라이드 영역을 스캔한 모든 이미지(305)를 Z축 방향으로 적층(301)하고, 다음으로 Z축으로 적층된 영상을 픽셀 단위로 밝기값(intensity) 정렬을 수행하여 명시야 왜곡 후보 이미지들(306)을 생성한다.
다시 말해서, 명시야 전체 슬라이드 이미징 시스템으로 획득한 이미지는 다음과 같은 특성이 있다. 시료가 없는 위치(배경)의 픽셀은 조명의 빛이 그대로 슬라이드를 투과하므로 상대적으로 밝은 값을 가지고, 시료가 있는 위치의 픽셀은 조명의 빛이 그대로 투과하지 못하므로 상대적으로 어두운 값을 가진다.
또한, 전체 슬라이드 영역을 스캔한 이미지들은 스캔한 위치에 따라 이미지 좌표에서 시료의 위치도 달라진다. 이런 특성을 이용하면, Z축으로 적층된 이미지들에 대하여 대응 픽셀 값들을 정렬하면, 입력 이미지들을 시료가 존재하지 않는 밝은 이미지와 시료들로 구성된 어두운 이미지로 분리하여 재구성할 수 있다(306 참조). 즉, 본 실시예에서는 명시야 전체 슬라이드 이미징 시스템의 특성을 기반으로 Z축으로 적층한 이미지들을 Z축 방향에서 픽셀값을 정렬하여 명시야 왜곡에 대한 후보 이미지들(306)을 생성할 수 있다.
두 번째의 왜곡 이미지 선택 단계에서는 후보 이미지들 중에 최적의 명시야 왜곡 이미지를 선택한다. 시료가 존재하지 않는 가장 밝은 픽셀 값으로 구성된 후보 이미지들을 후보군(309, 310, 311)으로 선택할 수 있다.
한편, 시료에 먼지나 기포, 슬라이드에 긁힘 자국과 같은 아티팩트(artifact)가 존재하는 경우 조명이 아티팩트에 의해 굴절되어 영상에 투과된다. 이러한 인공물이 투과된 픽셀 값들은 슬라이드의 빈 공간이 투영된 픽셀 값보다 더 밝은 값을 가지는 경우가 발생할 수 있다. 따라서, 본 실시예에서는 최적의 명시야 왜곡 이미지를 선택할 때 매끄러운 정도를 계산하여 후보군을 선택하도록 이루어진다.
도 5는 도 4의 음영 보정 방법에서 시료 내 굴절로 인해 발생하는 아티팩트와 특정 위치의 라인 프로파일을 고려하는 과정을 설명하기 위한 도면이다.
도 5에서는 인공물이 반영된 명시야 왜곡 후보 이미지의 일례를 보여준다. 즉, 밝은 픽셀 값들로 구성된 이미지들(309, 310, 311)을 확대한 이미지(401, 402, 403)와 특정 위치(404, 405, 406)의 라인 프로파일(407, 408, 409)를 예시한다.
굴절에 의해 발생하는 아티팩트는 가장 밝은 후보영상(401)에서 가장 두드러지게 나타나며, 나머지 후보영상들(402, 403)에서 점차 그 영향이 줄어든다. 이는 라인 프로파일(407, 408, 409)을 통해서 확인할 수 있다. 이와 같은 이유로, 본 실시예에서는 아티팩트에 강인한 최적의 명시야 왜곡을 선택하기 위하여 잡음이 없는 가장 매끄러운(smooth)을 가진 이미지를 후보군으로 "선택"하도록 이루어진다.
본 실시예에서는 각 후보 이미지의 매끄러움 정도(degree of smoothness)를 계산하기 위해, 지역적 변이계수(LCoV: local coefficient of variation)를 이용한다. 각 후보 이미지 중 i번째 후보 이미지에 대한 지역적 변이 계수는 다음의 [수학식 3]과 같이 계산할 수 있다.
Figure 112020026761435-pat00005
위의 [수학식 3]에서
Figure 112020026761435-pat00006
와
Figure 112020026761435-pat00007
는 각각 지역적 표준 편차와 평균을 나타내며, i번째 후보 이미지의 미리 정해진 화소 순번의 k번째(
Figure 112020026761435-pat00008
) 화소를 중심으로 한 미리 설정된 사이즈(N×N)의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 변이계수를 계산하고 모든 화소에 대한 지역적 변이계수를 합하여 i번째 후보 이미지의 매끄러움 정도를 계산할 수 있다. 위 [수학식 3]에서 R은 컬러 이미지를 구성하는 R, G, B 채널 중 R 채널을 의미한다.
다시 도 4를 참조하면, 본 실시예에서는 각 채널별로 지역적 변이계수의 합이 가장 낮은 후보영상(312, 313, 314)을 명시야 왜곡으로 선택한 후 각 채널을 병합하여 하나의 단일 RGB 명시야 왜곡 모델(303)을 생성한다.
그리고 마지막으로, 앞서 생성된 명시야 왜곡 모델(303)과 [수학식2]를 이용하여 모든 입력 영상(305)의 음영 왜곡을 일괄 보정한다. 일괄 보정된 영상(308)을 보면, 스캔 이미지들 즉 입력 영상 혹은 입력 이미지들(305)의 음영 왜곡이 상당히 보정된 것을 확인할 수 있다.
또한, 입력 이미지들(305)은 음영 왜곡뿐만 아니라 고정 패턴 노이즈에 의해서도 영상 품질이 저하된다. 카메라의 영상 센서로부터 데이터를 불러올 때 발생하는 읽기 잡음(readout noise)이 영상을 획득할 때마다 무작위로 변경되는 것과는 반대로 고정 패턴 잡음은 반복적인 촬영에도 거의 변화하지 않는 노이즈를 의미한다. 본 실시예에서는 음영 왜곡 보정을 통해 고정 패턴 노이즈를 자동으로 보정한다.
도 6은 본 실시예에 따른 음영 보정 방법에 있어서 입력 이미지와 음영 보정 결과 이미지를 비교하여 설명하기 위한 도면이다.
도 6에서는 전체 슬라이드 이미징 시스템으로 획득한 이미지 중 하나의 예 즉, 특정 스캔 이미지 혹은 특정 입력 이미지(501)와 본 실시예의 방법으로 음영 보정된 결과에 따른 보정된 이미지(506)를 보여준다.
입력 이미지(501)의 특정 영역을 확대한 이미지(503)에서 특징 위치(504)의 라인 프로파일(505)을 보면 고정 패턴 노이즈를 확인할 수 있다. 이러한 고정 패턴 노이즈는 화질 저하의 원인 중 하나이다.
한편, 본 실시예의 음영 보정 방법으로 보정된 결과 이미지(506)의 특정 영역을 확대한 이미지(508)에서 특징 위치(509)의 라인 프로파일(510)을 보면 고정 패턴 노이즈가 크게 감소한 것을 확인할 수 있다.
이와 같이, 본 실시예에 의하면, 음영 왜곡 보정과 함께 고정 패턴 노이즈를 제거할 수 있다. 다시 말해서, 기존에는 전체 슬라이드 이미징 시스템으로 획득한 전체 슬라이드 이미지는 고배율/고해상도 이미지이기 때문에 모니터를 통해 슬라이드를 확대해서 관찰하면 고정 패턴 노이즈가 두드러지게 보인다. 하지만, 본 실시예의 음영 보정 기술에 의하면, 음영 왜곡 보정뿐만 아니라 고정 패턴 노이즈를 감소시킴으로써 관찰자의 피로도를 크게 낮출 수 있고 확대와 축소 시 영상 화질 저하를 방지할 수 있으며, 그에 의해 병리학적 응용뿐만 아니라 교육적 목적 등에 전체 슬라이드 이미지를 효과적으로 활용할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 장치에 대한 개략적인 블록도이다.
도 7을 참조하면, 본 실시예에 따른 음영 보정 장치(600)는 음영 보정 모델(100)을 포함한다. 또한, 음영 보정 장치(600)는 프로세서(610), 메모리(620) 및 인터페이스(630)를 구비하고, 디스플레이 장치 등의 출력 장치(650)에 연결될 수 있다.
음영 보정 모델(100)은 기록 매체를 포함하거나, 기록 매체에 저장되는 음영 보정 플랫폼이나 소프트웨어 모듈을 포함할 수 있다. 일실시예에서 음영 보정 모델(100)은 이미지 데이터 획득부(10), 이미지 적층부(20), 후보 이미지 생성부(30), 매끄러운 정도 계산부(40), 명시야 왜곡 이미지 선택부(50), 명시야 왜곡 모델 생성부(60), 타일 데이터 저장부(70) 및 이미지 일괄 보정부(80)를 구비할 수 있다.
이미지 데이터 획득부(10)는 전체 슬라이드 이미징 시스템에 연결되고 스캔 대상 샘플에 대하여 제한적 시야각을 가진 제1 배율의 대물렌즈를 이용하여 샘플 전체 영역에 대해 X-Y 평면에서 순차적으로 촬영한 스캔 이미지들을 획득할 수 있다. 즉, 이미지 데이터 획득부(10)는 전체 슬라이드 이미징 시스템의 저장 장치에 저장되는 스캔 이미지를 읽어내어 저장하거나, 전체 슬라이드 이미징 시스템로부터 전송되는 일련의 스캔 이미지를 수신할 수 있다.
이미지 적층부(20)는 일정 개수 혹은 일정 단위의 스캔 이미지들을 Z축 방향으로 적층할 수 있다.
후보 이미지 생성부(30)는 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 후보 이미지들을 생성한다.
매끄러운 정도 계산부(40)는 후보 이미지들 각각에 대하여 매끄러운 정도를 계산하여 상대적으로 잡음이 가장 적은 매끄러운 후보군(간략히 '후보군'이라고도 한다)을 선택한다. 매끄러운 후보군을 선택하는 단계는 후보 이미지들 중 i번째 후보 이미지에 대한 지역적 변이계수를 계산하도록 이루어질 수 있다. 지역적 변이계수의 계산은 i번째 후보 이미지의 k번째 화소를 중심으로 한 기설정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하고, 이를 통해 i번째 후보 이미지의 매끄러움을 계산하도록 이루어질 수 있다.
명시야 왜곡 이미지 선택부(50)는 후보군 중 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택한다.
명시야 왜곡 모델 생성부(60)는 각 채널별로 선택된 명시야 왜곡 이미지에 기초하여 채널들을 병합한 단일 명시야 왜곡 모델을 생성한다.
타일 데이터 저장부(70)는 스캔 이미지의 적어도 일부 또는 후보 이미지들을 스티칭하여 하나의 광시야각(wide field of view)를 가진 제1 해상도의 이미지를 생성한다.
이미지 일괄 보정부(80)는 스티칭된 이미지 혹은 제1 해상도의 이미지에 대해 명시야 왜곡 모델을 적용하여 각 스캔 이미지의 음영 왜곡을 일괄 보정한다.
프로세서(610)는 메모리(620)에 저장된 프로그램에 의해 소프트웨어 모듈(10 내지 80)의 동작을 제어할 수 있다. 소프트웨어 모듈에서 생성되는 데이터는 메모리(620) 내의 저장영역이나 데이터베이스에 저장될 수 있다. 프로세서(610)는 또한 매끄러운 정도의 계산 결과를 통해 선택하는 후보군 내 이미지의 개수를 미리 설정된 정책에 따라 증감할 수 있다. 이를 위해, 프로세서(610)는 매끄러운 정도의 기준값을 설정하는 사용자 인터페이스를 제공할 수 있다.
출력 장치(650)는 데스크탑 컴퓨터, 노트북 컴퓨터, 모바일 단말 등에 장착되거나 연결되는 디스플레이 장치, 스피커 등을 포함할 수 있다. 물론, 출력 장치(650)는 디스플레이 장치 상에 터치 패드가 장착된 터치 패널 등과 같이 입력 장치를 구비하는 입출력 장치로서 확장하여 대체될 수 있다.
이상에서와 같이 본 발명의 바람직한 실시예를 도면을 참조하여 설명하였지만, 본 발명에 속하는 기술분야의 숙련된 당업자는 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있으므로, 본 발명의 권리범위는 이를 포함함을 이해할 수 있을 것이다.

Claims (12)

  1. 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법으로서,
    스캔 대상 샘플의 샘플 전체 영역에 대해 X-Y 평면에서 순차적 스캔 이미지들을 획득하는 단계;
    상기 스캔 이미지들 각각에 대한 명시야 왜곡에 대한 후보 이미지들을 생성하는 단계;
    상기 후보 이미지들 중 최적의 명시야 왜곡 이미지를 각 채널별로 선택하는 단계;
    채널들을 병합하여 하나의 단일 RGB 명시야 왜곡 모델을 생성하는 단계; 및
    상기 단일 RGB 명시야 왜곡 모델을 적용하여 각 스캔 이미지의 음영 왜곡을 일괄 보정하는 단계;
    를 포함하고,
    상기 후보 이미지들을 생성하는 단계는,
    상기 스캔 이미지들을 Z축 방향으로 적층하는 단계; 및
    상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 후보 이미지들을 생성하는 단계;
    를 포함하는,
    음영 보정 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 선택하는 단계는 상기 후보 이미지들 중 상대적으로 잡음이 가장 적은 이미지를 명시야 왜곡 이미지로 선택하는, 음영 보정 방법.
  4. 청구항 3에 있어서,
    상기 선택하는 단계는 상기 후보 이미지들 각각에 대한 지역적 변이계수를 계산하는, 음영 보정 방법.
  5. 청구항 4에 있어서,
    상기 지역적 변이계수의 계산은, 각 후보 이미지에 포함된 하나의 화소를 중심으로 한 일정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하고, 그에 의해 후보 이미지들 각각의 매끄러움 정도를 계산하는, 음영 보정 방법.
  6. 청구항 4에 있어서,
    상기 선택하는 단계는, 각 채널별로 상기 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택하는, 음영 보정 방법.
  7. 청구항 1에 있어서,
    상기 일괄 보정하는 단계 전에,
    상기 스캔 이미지들을 스티칭하여 하나의 광시야각(wide field of view)을 가진 제1 해상도의 이미지를 생성하는 단계를 더 포함하는, 음영 보정 방법.
  8. 청구항 1에 있어서,
    상기 획득하는 단계는, 스캔 대상 샘플에 대하여 제한적 시야각을 가진 제1 배율의 대물렌즈를 이용하여 샘플 전체 영역에 대해 X-Y 평면에서 순차적으로 촬영한 스캔 이미지들을 획득하는, 음영 보정 방법.
  9. 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 방법으로서,
    스캔 대상 샘플에 대하여 제한적 시야각을 가진 제1 배율의 대물렌즈를 이용하여 샘플 전체 영역에 대해 X-Y 평면에서 순차적으로 촬영한 스캔 이미지들을 획득하는 단계;
    상기 스캔 이미지들을 Z축 방향으로 적층하는 단계;
    상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 보정을 위한 후보 이미지들을 생성하는 단계;
    상기 후보 이미지들 중 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택하는 단계;
    각 채널별로 선택된 명시야 왜곡 이미지에 기초하여 채널들을 병합한 단일 명시야 왜곡 모델을 생성하는 단계;
    상기 스캔 이미지들을 스티칭하여 하나의 광시야각(wide field of view)를 가진 제1 해상도의 이미지를 생성하는 단계; 및
    상기 명시야 왜곡 모델을 스티칭된 이미지에 적용하여 상기 스캔 이미지들 각각의 음영 왜곡을 일괄 보정하는 단계;를 포함하는 음영 보정 방법.
  10. 청구항 9에 있어서,
    상기 선택하는 단계는 상기 후보 이미지들 중 i번째 후보 이미지에 대한 지역적 변이계수를 계산하며,
    상기 지역적 변이계수의 계산은 상기 i번째 후보 이미지의 k번째 화소를 중심으로 한 기설정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하고 그에 의해 상기 i번째 후보 이미지의 매끄러움 정도를 계산하는, 음영 보정 방법.
  11. 명시야(brightfield) 전체 슬라이드 이미징(whole slide imaging, WSI)을 위한 음영 보정 장치로서,
    스캔 대상 샘플의 샘플 전체 영역에 대해 X-Y 평면에서 순차적 스캔 이미지들을 획득하는 이미지 데이터 획득부;
    상기 스캔 이미지들을 Z축 방향으로 적층하는 이미지 적층부;
    상기 Z축 방향으로 적층된 영상을 픽셀 단위로 밝기값 정렬(intensity alignment)을 수행하여 명시야 왜곡 보정을 위한 후보 이미지들을 생성하는 후보 이미지 생성부;
    상기 후보 이미지들 중 지역적 변이계수 합이 가장 낮은 후보 이미지를 명시야 왜곡 이미지로 선택하는 명시야 왜곡 이미지 선택부;
    각 채널별로 선택된 명시야 왜곡 이미지에 기초하여 채널들을 병합한 단일 명시야 왜곡 모델을 생성하는 명시야 왜곡 모델 생성부; 및
    상기 명시야 왜곡 모델을 스티칭한 제1 해상도의 이미지에 적용하여 스캔 이미지들 각각의 음영 왜곡을 일괄 보정하는 이미지 일괄 보정부;
    를 포함하는 음영 보정 장치.
  12. 청구항 11에 있어서,
    상기 명시야 왜곡 이미지 선택부는, 상기 후보 이미지들 중 i번째 후보 이미지의 k번째 화소를 중심으로 한 기설정 사이즈의 윈도우 내 픽셀 값에 대한 표준 편차와 평균을 이용하여 지역적 표준편차를 지역적 평균으로 나눈 값들을 합하고 그에 의해 상기 i번째 후보 이미지의 매끄러움 정도를 계산하는, 음영 보정 장치.
KR1020200031265A 2020-03-13 2020-03-13 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치 KR102255074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200031265A KR102255074B1 (ko) 2020-03-13 2020-03-13 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031265A KR102255074B1 (ko) 2020-03-13 2020-03-13 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102255074B1 true KR102255074B1 (ko) 2021-05-24

Family

ID=76152704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031265A KR102255074B1 (ko) 2020-03-13 2020-03-13 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102255074B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273319A (ja) * 2009-04-23 2010-12-02 Olympus Corp 撮像装置、顕微鏡システム、及びホワイトバランス調整方法
WO2016079853A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
WO2016194234A1 (ja) * 2015-06-05 2016-12-08 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273319A (ja) * 2009-04-23 2010-12-02 Olympus Corp 撮像装置、顕微鏡システム、及びホワイトバランス調整方法
WO2016079853A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
WO2016194234A1 (ja) * 2015-06-05 2016-12-08 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
US20120147224A1 (en) Imaging apparatus
CN102098410B (zh) 信息处理设备和方法及包括光学显微镜的成像设备
KR101194481B1 (ko) 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
US9088729B2 (en) Imaging apparatus and method of controlling same
JP4153108B2 (ja) 画像処理方法、画像処理装置及び記録媒体
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
CN111626936B (zh) 一种显微图像的快速全景拼接方法及系统
US7310450B2 (en) Method of detecting and correcting dust in digital images based on aura and shadow region analysis
JP5940383B2 (ja) 顕微鏡システム
US20080043120A1 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
US20080055433A1 (en) Detection and Removal of Blemishes in Digital Images Utilizing Original Images of Defocused Scenes
US20040047033A1 (en) Microscopic image capture apparatus and microscopic image capturing method
US8310499B2 (en) Balancing luminance disparity in a display by multiple projectors
WO2009029365A1 (en) Systems and methods for determination of a camera imperfection for an image
US9990752B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
US20040208395A1 (en) Image processing method, image processing apparatus, and image processing program
CN110517213A (zh) 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN113724652A (zh) OLED显示面板Mura的补偿方法、装置及可读介质
JPH11102430A (ja) 画像処理装置
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
KR102255074B1 (ko) 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치
US20170243386A1 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium
KR20060068497A (ko) 렌즈 쉐이딩 자동 보정방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant