KR102396261B1 - 이미징 잡음 감소 시스템 및 방법 - Google Patents

이미징 잡음 감소 시스템 및 방법 Download PDF

Info

Publication number
KR102396261B1
KR102396261B1 KR1020197025616A KR20197025616A KR102396261B1 KR 102396261 B1 KR102396261 B1 KR 102396261B1 KR 1020197025616 A KR1020197025616 A KR 1020197025616A KR 20197025616 A KR20197025616 A KR 20197025616A KR 102396261 B1 KR102396261 B1 KR 102396261B1
Authority
KR
South Korea
Prior art keywords
noise
image
pixel
mask
otf
Prior art date
Application number
KR1020197025616A
Other languages
English (en)
Other versions
KR20190113889A (ko
Inventor
팡 후앙
쉥 리우
Original Assignee
퍼듀 리서치 파운데이션
팡 후앙
쉥 리우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퍼듀 리서치 파운데이션, 팡 후앙, 쉥 리우 filed Critical 퍼듀 리서치 파운데이션
Publication of KR20190113889A publication Critical patent/KR20190113889A/ko
Application granted granted Critical
Publication of KR102396261B1 publication Critical patent/KR102396261B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H04N5/3651—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

카메라 이미지 내의 잡음을 감소시키기 위한 시스템이 공개된다. 시스템은 하나 이상의 처리기들 및 처리기에 동작적으로 연결된 카메라를 포함하고, 처리기들은 카메라 이미지들의 잡음을 감소시키도록 구성되고, 처리기들은 복수의 화소들로부터 화소 데이터를 나타내는 입력 이미지 데이터를 카메라로부터 수신하고, 입력 이미지 데이터를 복수의 세그먼트들로 분할하고, 각 세그먼트에 대해서, 초기 세그먼트 이미지를 구축하고, 게인 및 오프셋에 대한 미리결정된 지도를 기초로 각 화소의 전압 오프셋 및 게인을 반영하여 화소 데이터를 수정함으로써 화소 데이터를 사전-교정하고, 비용 함수를 최소화함으로써 출력 이미지의 추정을 획득하고, 추정된 이미지를 출력하여 다른 추정된 및 출력된 이미지 세그먼트들과 스티치(stitch)하고, 스티치된 추정 이미지들을 포함하는 잡음 감소된 이미지를 출력하도록 구성된다.

Description

이미징 잡음 감소 시스템 및 방법
관련 출원들에 대한 상호-참조
본 특허 출원은, 2017년 1월 30일자로 제출된 미국 가특허 출원 번호 제62/452,326호에 관련되고, 그것의 우선권을 주장하며, 그 내용 전체가 여기 본 게시물에 참조로 통합된다.
정부 자금지원에 대한 보고
이 발명은 미국 국립 보건원이 지급하는 보조금 수혜 번호 제GM 119785호 및 미국 국방 첨단기술 과학 연구소가 지급하는 보조금 수혜 번호 제HR0011-62-3-6230호 하의 정부 지원으로 만들어졌다. 이 정부는 본 발명에 일정한 권리를 갖는다.
기술 분야
본 출원은 이미징 장치들에 관한 것으로, 특히 상보성 금속-산화물 반도체(complementary metal-oxide semiconductor; CMOS), 전하-결합 소자(charged-coupled device; CCD), 전자-증배 CCDs(electron-multiplying CCDs; EMCCD) 및 배열형 감지기들을 포함하는 다른 이미징 장치들에 관한 것이다.
이 절은 본 게시물을 보다 잘 이해하는데 도움을 줄 수 있는 양태들을 소개한다. 따라서, 이 설명들은 이러한 관점에서 읽혀야하며, 종래 기술이 무엇인지 또는 아닌지에 대한 인정으로서 이해되어서는 안된다.
과학 상보성 금속-산화물 반도체(scientific complementary metal-oxide semiconductor; sCMOS) 카메라들이 생물과학에서 빠르게 인기를 모으고 있다. sCMOS 감지기는 전하-결합 소자들(CCD) 또는 전자-증배 CCDs(EMCCD)와 같은 종래의 검출기들보다 이미징 속도, 감도, 및 시계(field of view)에서 상당한 진보를 제공한다. 이 두 종류의 감지기들 사이의 주요 차이점은, 광학-전기 변환 처리로부터 각 감지기(즉, 화소)에 의해 생성된 전하를 어떻게 관리하는 지를 포함한다. CCD 및 EMCCD에서는, 각 감지기에 누적된 전하가 감지기들의 배열(array)을 거쳐 전송되는 반면, 일반적으로 sCMOS 및 CMOS 배열들에서는, 몇몇 트랜지스터들(transistors)이 아날로그 신호를 사전-증폭하고 사전-증폭된 아날로그 신호와 관련된 아날로그 신호를 디지털 신호(ADC)로 변환한다. 하나의 기술의 다른 기술에 대한 몇몇 장점은, CCD-기반 기술들이 고품질 저잡음 이미지들을 생성할 수 있는 반면, CMOS-기반 기술들은 잡음에 더 취약하다는 것이다. CMOS-기반 기술들에서는, 몇몇의 영역이 사전-증폭된 및 ADC 트랜지스터들에 의해 점유되므로, 단위 면적당 감지기를 치는(hit) 광자 수가 적다. CCD-기반 기술들은 더 높은 전력을 소비한다(무려 100배). CMOS-기반 감지기들은 다양한 반도체 제조 시설들에서 제조될 수 있는 반면, CCD-기반 기술들은 더욱 발달했다.
CMOS-기반 기술들을 사용하여, CMOS 감지기는 화소-종속 잡음(pixel-dependent noise)을 도입하므로, 각 화소는 자신만의 잡음 통계(주로 오프셋(offset), 게인(gain), 및 분산)를 갖는다. 교정되지 않은 채로 남아 있으면, 이 sCMOS-특정 잡음은 양자화 및 시각화에서 이미징 아티팩트들(artifacts)과 바이어스들(biases)을 생성한다. 각 화소 내의 이 잡음을 특성화하고 단일-분자 위치지정(single-molecule localization)을 위한 우도 함수에 잡음 통계를 통합하기 위해, 한 세트의 알고리즘들이 개발됐다. 그러나, 이들 알고리즘들은 단일-입자 추적(single-particle tracking) 또는 단일-분자-스위칭 나노현미경(single-molecule-switching nanoscopy)과 같이 점 객체들을 갖는 이미지들 상에서만 동작한다. 종래의 현미경 이미지들 또는 이와 달리 임의의 형상들을 가진 일반 이미지들 상에서 작용하는 일반 알고리즘은 존재하지 않는다.
따라서, CCD- 및 CMOS-기반 기술들에 대한 임의의 구조들을 포함하는, 현미경 이미지들로부터 잡음을 상당히 감소시키는 알고리즘 및 시스템이 필요로 된다.
카메라 이미지 내의 잡음을 감소시키기 위한 시스템을 공개한다. 시스템은 하나 이상의 처리기들 및 처리기에 동작적으로 연결된 전자 검출기를 갖는 카메라를 포함하고, 처리기들은 카메라 이미지들의 잡음을 감소시키도록 구성되고, 처리기들은 복수의 화소들로부터 화소 데이터를 나타내는 입력 이미지 데이터를 카메라로부터 수신하고, 입력 이미지 데이터를 복수의 세그먼트들로 분할하고, 각 세그먼트에 대해서, 초기 세그먼트 이미지를 구축하고, 게인 및 오프셋에 대한 미리결정된 지도에 기초하여 각 화소의 전압 오프셋 및 게인을 반영하도록(account for) 화소 데이터를 수정함으로써 화소 데이터를 사전-교정하고, 비용 함수를 최소화함으로써 출력 이미지의 추정을 획득하고, 추정된 이미지를 출력하여 다른 추정된 및 출력된 이미지 세그먼트들과 스티치(stitch)하고, 스티치된 추정 이미지들을 포함하는 잡음 감소된 이미지를 출력하도록 구성된다.
일 실시예에 따르면, 위의 시스템에서, 출력 이미지를 추정하는 단계는 다음을 포함한다: A - 세그먼트에 대한 잡음 마스크를 획득하는 단계; B - 반복되는 세그먼트 이미지의 이산 푸리에 변환(discrete Fourier transform; DFT)을 획득하는 단계; C - 세그먼트의 DFT에 잡음 마스크를 적용함으로써 세그먼트 내의 잡음 기여를 획득하는 단계; D - 화소 값들에 기초하여 세그먼트에 대한 음의 로그-우도 함수(negative log-likelihood function)를 계산하는 단계로서, 음의 로그-우도 함수는 반복되는 세그먼트 이미지와 초기 세그먼트 이미지 사이의 통계를 사용하여 음의 유사성(우도) 측정을 나타내는, 상기 음의 로그-우도 함수 계산 단계; E - 음의 로그-우도 함수에 잡음 기여를 더함으로써 비용 함수를 계산하는 단계; F - 화소 값들을 조정함으로써 비용 함수를 최소화하여, 새로운 반복되는 세그먼트 이미지를 획득하고 반복-최소화 처리에서 단계 B - E를 반복하는 단계; G - 비용 함수가 최소화될 때 잡음 감소된 세그먼트 이미지를 출력하는 단계.
일 실시예에 따르면, 위의 시스템에서, 잡음 마스크는 카메라의 광학 전달 함수(optical transfer function; OTF)에 기초한다.
일 실시예에 따르면, 위의 시스템에서, 잡음 마스크는
Figure 112019089632653-pct00001
로 나타내지는 고역-통과 레이즈드-코사인 필터(high-pass raised-cosine filter)에 기초하는데, 여기서,
Figure 112019089632653-pct00002
이고, M은 잡음 마스크이고, β 및 T는 NA 및
Figure 112019089632653-pct00003
에 기초한 조정가능 매개변수들로, NA는 개구수를 나타내고, λ는 검출 파장을 나타낸다. 두 가지 유형의 OTF 마스크들이 고려된다. 제1 마스크는 OTF-가중 마스크로 언급되는데, 여기서 β = 1 및 T = λ/5.6NA이다. 다른 하나는 잡음-전용 마스크로 언급되는데, 여기서 β = 0.2 및 T = (1 - β)/4NA이다.
일 실시예에 따르면, 위의 시스템에서, 고역-통과 레이즈드-코사인 필터는 β = 1 및 T = λ/5.6NA로 표현되는 OTF-가중 마스크에 기초한다.
일 실시예에 따르면, 위의 시스템에서, 고역-통과 레이즈드-코사인 필터는 β = 0.2 및 T = (1 - β)λ/4NA로 표현되는 OTF 잡음-전용 마스크에 기초한다.
일 실시예에 따르면, 위의 시스템에서, 고역-통과 레이즈드-코사인 필터는
Figure 112019089632653-pct00004
로 표현되는 조정가능 OTF 마스크에 기초하는데, 여기서, 폭 w는 10-6 내지 2에서 조정될 수 있고, 높이 h는 0 내지 1에서 조정될 수 있다.
일 실시예에 따르면, 위의 시스템에서, 고역-통과 레이즈드-코사인 필터는 폭 및 높이의 최소 2개의 매개변수들에 기초하는 조정가능 OTF 마스크에 기초한다.
일 실시예에 따르면, 위의 시스템에서, 폭은 10-6 내지 2NA/λ에서 가변할 수 있고, 높이는 0.7 내지 1에서 가변할 수 있다.
일 실시예에 따르면, 위의 시스템에서, 고역-통과 레이즈드-코사인 필터는 사용자 정의-마스크에 기초한다.
일 실시에에 따르면, 위의 시스템에서, 게인 및 오프셋에 대한 미리결정된 지도는 카메라 제조업자에 의해 제공되거나 복수의 화소들의 각 화소를 특성화함으로써 획득된다.
일 실시예에 따라, 위의 시스템에서, 사전-교정은:
Figure 112019089632653-pct00005
로 수행되는데, 여기서, D i 은 사전-교정된 화소 데이터 i이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타낸다.
일 실시예에 따르면, 위의 시스템에서, LxL 이미지의 DFT는:
Figure 112019089632653-pct00006
로 나타내지는데, 여기서,
Figure 112019089632653-pct00007
이고, m, n, p, q는 1만큼 증분되는 지수들이고, p,
Figure 112019089632653-pct00008
,
Figure 112019089632653-pct00009
및
Figure 112019089632653-pct00010
는 2차원 내에서의 이미지의 화소 크기를 나타낸다.
일 실시예에 따르면, 위의 시스템에서,
Figure 112019089632653-pct00011
는 대체로
Figure 112019089632653-pct00012
와 같다.
일 실시예에 따르면, 위의 시스템에서, 잡음 기여는:
Figure 112019089632653-pct00013
로 나타내진다.
일 실시예에 따르면, 위의 시스템에서, 우도 함수는:
Figure 112019089632653-pct00014
로 나타내지는데, 여기서, i는 화소 색인이고, N은 이미지의 화소들의 수이고,
Figure 112019089632653-pct00015
는 보정량이다.
일 실시예에 따르면, 위의 시스템에서,
Figure 112019089632653-pct00016
는
Figure 112019089632653-pct00017
인데, 여기서,
Figure 112019089632653-pct00018
및
Figure 112019089632653-pct00019
는 각각 화소 i의 분산 및 게인이다.
일 실시예에 따르면, 위의 시스템에서, 음의 로그-우도 함수는:
Figure 112019089632653-pct00020
로 표현되는데, 여기서, D i 는
Figure 112019089632653-pct00021
로 표현되는 사전-교정된 화소 데이터이고, 여기서, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타낸다.
일 실시예에 따르면, 위의 시스템에서, 입력 이미지의 분할은 1x1에서 카메라 검출기의 최대 크기까지의 크기들의 세그먼트들에 기초한다.
일 실시예에 따르면, 위의 시스템에서, 카메라-추가 잡음은 최대 대략 80%까지 감소한다.
카메라 이미지로부터 잡음을 감소시키는 방법이 또한 공개된다. 이 방법은 복수의 화소들로부터 화소 데이터를 나타내는 입력 이미지 데이터를 전자 검출기를 갖는 카메라로부터 수신하는 단계, 입력 이미지 데이터를 복수의 세그먼트들로 분할하는 단계, 복수의 세그먼트들의 각 세그먼트에 대해서: 초기 세그먼트 이미지를 구축하는 단계, 게인 및 오프셋에 대한 미리결정된 지도에 기초하여 각 화소의 전압 오프셋 및 게인을 반영하도록 화소 데이터를 수정함으로써 화소 데이터를 사전-교정하는 단계, 비용 함수를 최소화함으로써 출력 이미지의 추정을 획득하고, 추정된 이미지를 출력하여 다른 추정된 및 출력된 이미지 세그먼트들과 스티치하는 단계, 스티치된 추정 이미지들을 포함하는 잡음 감소된 이미지를 출력하는 단계를 포함한다.
일 실시예에 따르면, 위의 방법에서, 출력 이미지를 추정하는 단계는 다음을 포함한다: A - 세그먼트에 대한 잡음 마스크를 획득하는 단계; B - 반복되는 세그먼트 이미지의 이산 푸리에 변환(DFT)을 획득하는 단계; C - 세그먼트의 DFT에 잡음 마스크를 적용함으로써 세그먼트 내의 잡음 기여를 획득하는 단계; D - 화소 값들에 기초하여 세그먼트에 대한 음의 로그-우도 함수를 계산하는 단계로서, 음의 로그-우도 함수는 반복되는 세그먼트 이미지와 초기 세그먼트 이미지 사이의 통계를 이용하여 음의 유사성(우도) 측정을 나타내는, 상기 음의 로그-우도 함수 계산 단계; E - 음의 로그-우도 함수에 잡음 기여를 더함으로써 비용 함수를 계산하는 단계; F - 화소 값들을 조정함으로써 비용 함수를 최소화하여 새로운 반복되는 세그먼트 이미지를 획득하고 반복-최소화 처리에서 단계 B - E를 반복하는 단계; G - 비용 함수가 최소화될 때 잡음 감소된 세그먼트 이미지를 출력하는 단계.
일 실시예에 따르면, 위의 방법에서, 잡음 마스크는 카메라의 광학 전달 함수(OTF)에 기초한다.
일 실시예에 따르면, 위의 방법에서, 잡음 마스크는
Figure 112019089632653-pct00022
로 표현되는 고역-통과 레이즈드-코사인 필터에 기초하는데, 여기서,
Figure 112019089632653-pct00023
이고, M은 잡음 마스크이고, β 및 T는 NA 및
Figure 112019089632653-pct00024
에 기초한 조정가능 매개변수들로, NA는 개구수를 나타내고, λ는 검출 파장을 나타낸다.
일 실시예에 따르면, 위의 방법에서, 고역-통과 레이즈드-코사인 필터는 β = 1 및 T = λ/5.6NA로 표현되는 OTF-가중 마스크에 기초한다.
일 실시예에 따르면, 위의 방법에서, 고역-통과 레이즈드-코사인 필터는 β = 0.2 및 T = (1 - β)λ/4NA로 표현되는 OTF 잡음-전용 마스크에 기초한다.
일 실시예에 따르면, 위의 방법에서, 고역-통과 레이즈드-코사인 필터는
Figure 112019089632653-pct00025
로 표현되는 조정가능 OTF 마스에 기초하는데, 여기서, 폭 w는 10-6 내지 2에서 조정될 수 있고, 높이 h는 0 내지 1에서 조정될 수 있다.
일 실시예에 따르면, 위의 방법에서, 고역-통과 레이즈드-코사인 필터는 폭 및 높이의 최소 2개의 매개변수들에 기초하는 조정가능 OTF 마스크에 기초한다.
일 실시예에 따르면, 위의 방법에서, 폭은 10-6 내지 2NA/λ에서 가변할 수 있고, 높이는 0.7 내지 1에서 가변할 수 있다.
일 실시예에 따르면, 위의 방법에서, 고역-통과 레이즈드-코사인 필터는 사용자 정의-마스크에 기초한다.
일 실시에에 따르면, 위의 방법에서, 게인 및 오프셋에 대한 미리결정된 지도는 카메라 제조업자에 의해 제공되거나 복수의 화소들의 각 화소를 특성화함으로써 획득된다.
일 실시예에 따라, 위의 방법에서, 사전-교정은:
Figure 112019089632653-pct00026
로 수행되는데, 여기서, D i 은 사전-교정된 화소 데이터 i이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타낸다.
일 실시예에 따르면, 위의 방법에서, LxL 이미지의 DFT는:
Figure 112019089632653-pct00027
로 나타내지는데, 여기서,
Figure 112019089632653-pct00028
이고, m, n, p, q는 1만큼 증분되는 지수들이고, p,
Figure 112019089632653-pct00029
,
Figure 112019089632653-pct00030
, 및
Figure 112019089632653-pct00031
는 2차원 내에서의 이미지의 화소 크기를 나타낸다.
일 실시예에 따르면, 위의 방법에서,
Figure 112019089632653-pct00032
는 대체로
Figure 112019089632653-pct00033
와 같다.
일 실시예에 따르면, 위의 방법에서, 잡음 기여는:
Figure 112019089632653-pct00034
로 나타내진다.
일 실시예에 따르면, 위의 방법에서, 우도 함수는:
Figure 112019089632653-pct00035
로 나타내지는데, 여기서, i는 화소 색인이고, N은 이미지의 화소들의 수이고,
Figure 112019089632653-pct00036
는 보정량이다.
일 실시예에 따르면, 위의 방법에서,
Figure 112019089632653-pct00037
는
Figure 112019089632653-pct00038
인데, 여기서,
Figure 112019089632653-pct00039
및
Figure 112019089632653-pct00040
는 각각 화소 i의 분산 및 게인이다.
일 실시예에 따르면, 위의 방법에서, 음의 로그-우도 함수는:
Figure 112019089632653-pct00041
로 표현되는데, 여기서, D i 는
Figure 112019089632653-pct00042
로 표현되는 사전-교정된 화소 데이터이고, 여기서, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타낸다.
일 실시예에 따르면, 위의 방법에서, 입력 이미지의 분할은 1x1에서 카메라 검출기 최대 크기까지의 크기들의 세그먼트들에 기초한다.
일 실시예에 따르면, 위의 방법에서, 카메라-추가 잡음은 최대 대략 80%까지 감소한다.
도 1a는 원시(raw) 과학 상보성 금속-산화물 반도체(SCMOS) 이미지 및 푸리에 공간 내에서의 그것의 구성요소들을 나타내는 도면으로서, 여기서, 좌측 패널에는 임의의 이미지가 나타나있고, 우측 패널에는 광학 전달 함수(OTF) 경계(OTF boundary)가 나타나있는데, 우측 패널의 안쪽에는 잡음 및 신호 모두가 존재하고, 바깥쪽에는 잡음만 있는, 도면이다.
도 1b는 도 1a의 잡음 교정된 이미지를 나타내는 도면이다.
도 2a는 400 이상의 sCMOS 프레임들(게인 및 오프셋으로 사전-교정됨)의 시간적(temporal) 표준 편차(standard deviation; STD) 지도를 나타내는 도면으로서, 지도 크기는 유효 광자 카운트 단위로 최소(STD 2.3, 검정색) 내지 최대(STD 12.3)인, 도면이다.
도 2b는 sCMOS 카메라 프레임들에 대한 400 이상의 잡음 교정(여기서 대안적으로 NCS로 식별됨)의 시간적 STD 지도를 나타내는 도면이다.
도 2c는 도 2a 및 2b의 영역들 i 및 ii의 줌-인 뷰(zoom-in view)(좌측 패널, 좌측 상단은 i에 대한 것, 좌측 하단은 ii에 대한 것) 및 더욱 줌-인된 이미지들(우측 패널)로서, 잡음 감소 후 높은 분산을 갖는 화소들이 효과적으로 제거된 것을 보여주는 도면이다.
도 2d는 50 이상의 프레임들의 절단된 영역들 i 및 ii에서 선택된 화소들의 화소 강도 추적들(pixel intensity traces)을 나타내는 도면이다.
도 3a 및 3b는 tdEos로 태그되는(tagged) COS-7 세포들 내의 엔드-바인딩(end-binding) 단백질 3이 종래의 광역 형광 현미경(widefield fluorescence microscope) 상에 이미징될 때, 낮은 광자 수준들에서의 잡음 교정 전 및 후에 대한 화소 변동 비교들을 나타내는 도면이다. 도 3a에는, 게인 및 오프셋에 대해 사전-교정된 단일 sCMOS 프레임이 노출시간 10ms 및 시점 t=0에서, 비교 목적으로 제공된다. 도 3b에는, sCMOS 프레임들로부터의 도 3a 내에서 선택된 영역들의 시계열, 및 기초(underlying) 신호는 유지하면서 sCMOS 잡음이 상당히 감소된 것을 보여주는 대응하는 잡음 감소 프레임들이 제공된다.
도 4a, 4b, 및 4c는 본 게시물에 따른 잡음 감소 알고리즘(본 게시물에서 전형적으로 NCS라고 언급됨)의 단계들을 제공하는 개요적 흐름도 및 다른 흐름도이다. 도 4b를 참조하여, 입력 이미지의 개별적인 세그먼트들에 대한 비용 함수를 최소화함으로써 추정들에 기초하여 잡음-감소된 이미지를 생성하기 위한 방법의 흐름도가 표현된다. 도 4c를 참조하여, 도 4b에 나타낸 추정 단계를 나타내는 또다른 흐름도가 표현된다.
도 5a, 5b, 및 5c는 집합적으로 2가지 유형의 OTF 마스크들과 관련된 데이터를 나타내는 도면이다. 도 5a는, 기존의 광역 형광 현미경 상에 이미징된, tdEos로 태그된 COS-7 세포들 내의 퍼옥시좀 막 단백질들(peroxisome membrane proteins)의 프레임들의 세트이다.. 도 5a는 400 이상의 sCMOS 프레임들, OTF 가중 마스크 및 잡음 전용 마스크를 갖는 NCS 프레임들의 시간적 표준 편차 지도를 나타낸다(각각 좌측 패널, 중앙 패널, 및 우측 패널). 도 5b는, 도 5a의 일련의 sCMOS 및 NCS 프레임들의 평균의 프레임과 실제 공간(상단 패널들) 및 푸리에 공간(하단 패널들) 내에서의 그들의 대응하는 진폭들이다. 도 5c는 SCMOS 및 NCS 프레임들(OTF 가중 마스크 및 잡음 전용 마스크를 갖는 NCS 프레임들)으로부터의 푸리에 공간 내에서의 진폭의 반경 평균 대(vs.) 정규화된 주파수의 그래프를 제공한다.
도 6a 및 6b는, 푸리에 공간에서의 실험 데이터와 시뮬레이션된 데이터의 비교에 관한 데이터를 나타낸다. 도 6a는, COS-7 세포들 내의 EB3-tdEos의 종래의 형광 이미지들의 sCMOS 프레임들과 NCS 프레임들의 비교이다. 도 6b는, 시뮬레이션된 미세관(microtubule) 이미지들의 이상적인, sCMOS 프레임들, 및 NCS 프레임들의 비교이다.
도 7a, 7b, 7c, 및 7d는, 실험 데이터 및 시뮬레이션된 데이터 모두를 사용하는 해상도 비교와 관련된 데이터를 나타내는 도면이다. 도 7a는, sCMOS 카메라로부터의 100 nm의 황록색 형광 구슬(bead) 이미지들 및 NCS 교정된 이미지들과 관련된 실험 데이터를 나타낸다. 도 7b는 각 구슬 이미지의 수직 차원에 대한 평균화를 통해 생성되고, 그들의 폭들
Figure 112019089632653-pct00043
및
Figure 112019089632653-pct00044
를 추출하도록 가우스 함수로 맞춰진 강도 프로파일들에 대한, 정규화된 강도 대 화소 수 그래프를 나타낸다. 도 7c는 시뮬레이션 매개변수들에 기초한 시뮬레이션된 데이터를 나타낸다. 도 7d는 시뮬레이션된 데이터에 대한 강도 프로파일들에 대한 정규화된 강도 대 화소 수 그래프들을 나타낸다.
도 8a, 8b, 8c, 8d, 8e, 및 8f는, 데이터 시뮬레이션 절차를 나타내는 도면이다. 64 x 64 화소들을 갖는 미세관의 sCMOS 프레임을 시뮬레이션하기 위해, 지렁이-같은 체인 모델을 사용하여 시뮬레이션된 좌표로부터 이진(512 x 512) 이미지(8a)가 생성되는데, 여기서, 이진 이미지의 화소 크기는 주어진 화소 크기보다 8배 작다. 이진 이미지는 이어서 도 8b에 나타낸 것처럼 정규화된 PSF와 콘벌루션된(convolved) 후, 도 8c에 나타낸 바와 같은 Snorm으로 표시된, 64 x 64 이미지를 생성하도록 8로 비닝된다(binend). 도 8d에 나타낸 바와 같은 이상적인 이미지 Sideal을 생성하기 위해, Snorm 이미지는 주어진 강도 I가 곱해지고 주어진 배경 bg가 더해진다. 그 후, 도 8e에 나타낸 바와 같은 SPoisson을 형성하기 위해, 이상적인 이미지가 포이손 잡음(poisson noise)으로 손상된다. 그 후 SPoisson 이미지는 sCMOS 게인 지도 g가 곱해지고 각 화소에서 가우스 잡음
Figure 112019089632653-pct00045
이 더해지는데, 여기서, 각 화소는 평균이 0이고 분산이
Figure 112019089632653-pct00046
인 가우스 분포로부터 도출된 무작위 값이고,
Figure 112019089632653-pct00047
는 각 화소에서 상이하다. 그 후 도 8f에 나타낸 바와 같이, 오프셋 지도 o가 더해진다.
도 9a, 9b, 및 9c는, 시뮬레이션된 데이터의 로그-우도비(log-likelihood ratio; LLR) 비교를 나타내는 도면이다. 도 9a는, 잡음이 없는(이상적임), 판독 및 포이손 잡음을 갖는(sCMOS), 잡음 교정(NCS) 후의, 및 포이손 잡음만 갖는(포이손) 조건들 하에서 시뮬레이션된 미세관 이미지들이다(각각 최좌측 패널, 좌측 패널, 우측 패널, 및 최우측 패널). 도 9b는, 도 9a의 각 이미지의 로그-우도비 지도이다. 도 9c는 sCMOS, NCS, 및 포이손의 조건들 하의 도 9b의 개별적인 화소들의 LLR들의 히스토그램들(histograms)을 나타낸다.
도 10은 본 게시물의 알고리즘에 사용된 분할 방식을 나타내는 도면이다.
도 11a는 10-6 내지 2의 폭(단위 NA/λ) 및 0.7 내지 1의 높이를 갖는 다양한 조정가능 OTF 마스크들을 나타내는 도면이다.
도 11b는 OTF 마스크들의 상이한 선택들에 대한 반경 평균 플롯(plot)을 나타내는, OTF 마스크의 반경 평균 대 정규화된 주파수의 그래프이다.
도 11c는 폭이 0이고 높이가 검출기의 샘플링 레이트에 종속하는 OTF 가중 마스크를 나타내는 도면이다.
도 11d는 폭이 2이고(단위 NA/λ) 높이가 또한 검출기의 샘플링 레이트에 종속하는 잡음-전용 OTF 마스크를 나타내는 도면이다.
도 12a, 12b, 및 12c는, 본 게시물에 따른, 검출기의 다양한 샘플링 레이트들에서의 NCS 결과들의 비교를 나타내는 도면이다. 도 12a는, 다양한 샘플링 레이트들에서 이미징된, 시뮬레이션된 구슬들의 푸리에 공간 내에서의 진폭을 나타낸다. OTF 반경은 상수로, 2NA/λ(빨간색 원) 이다. OTF-가중 마스크(그레디언트 오버레이(gradient overlay))의 높은 가중을 갖는 화소들의 수는 샘플링 레이트와 함께 감소한다. 도 12b는, 다양한 샘플링 레이트들에서의 OTF 마스크의 반경 평균 플롯이다. 샘플링 레이트가 낮아짐에 따라, OTF 마스크는 중앙으로 더 트런케이트된다(truncated). 도 12c는 다양한 샘플링 레이트들에서의 sCMOS 프레임 및 그것의 대응하는 NCS 프레임을 나타냄.
도 13은 다양한
Figure 112019089632653-pct00048
값들에서의 NCS 결과들의 비교를 보여주는 이미지들의 세트이다.
도 14a, 14b, 14c, 및 14d는, 각각 sCMOS 프레임, NCS 프레임, 시그마(sigma)가 1개의 화소인 2D 가우스 커널(2D Gaussian Kernal)에 의해 블러링된(blurred) sCMOS 프레임, 및 OTF 반경과 같은 차단 주파수(cutoff frequency)를 갖는 저역 통과 필터 후의 sCMOS 프레임의 비교에 기초한, 본 게시물의 알고리즘에 기초한 잡음 감소에 비교되는 저역 통과 필터에 연관된 데이터를 나타낸다.
도 15a 및 15b는, 3가지 분할 크기들 및 2가지 반복 횟수들의 NCS 결과의 비교에 관한 데이터를 나타낸다. 도 15a는, 100개의 sCMOS 프레임들의 시간적 STD 지도이다. 도 15b는, 다양한 조건들에서의 100개의 NCS 프레임들의 시간적 STD 지도이다.
도 16은 알고리즘 결과(이상적인 잡음이 없는 이미지와 비교), 원시(raw) sCMOS 데이터(이상적인 잡음이 없는 이미지와 비교), 및 이상적인 카메라(이상적인 잡음이 없는 이미지와 비교)의 총 측정된 로그 우도비 값들의 비교 그래프이다. Y축은 세 가지 경우들 모두에 대한 1000번의 시도들의 히스토그램 카운트들(counts)을 나타낸다. 따라서, 카메라-추가 잡음이 대략 80%까지 감소된다.
도 17은 일 실시예에 따른 예시적인 이미징 시스템의 구성요소들을 나타내는 도면이다.
본 게시물의 원리들의 이해를 높이기 위해, 이제 도면에 나타낸 실시예들이 참조될 것이며, 같은 것을 기술하기 위해 특수한 언어가 사용될 것이다. 그럼에도 불구하고, 이 게시물의 범위에 대해 어떠한 제한도 의도되지 않는다는 것이 이해될 것이다.
본 게시물에서, "대략(about)"이란 용어는 명시된 값 또는 명시된 제한 범위의, 예를 들어, 10% 내, 5% 내, 또는 1% 내의 값 또는 범위의 변화 정도를 허용할 수 있다.
본 게시물에서, "대체로(substantially)"란 용어는 명시된 값 또는 명시된 제한 범위의, 예를 들어, 90% 내, 95% 내, 또는 99% 내의 값 또는 범위의 변화 정도를 허용할 수 있다.
전하-결합 소자(CCD)-기반 및 상보성 금속-산화물 반도체(CMOS)-기반 기술들 모두에 대한 임의의 구조들을 포함하는, 현미경 이미지들에서 잡음을 상당히 감소시키는 새로운 알고리즘 및 시스템이 여기에 소개된다. 이미지 품질을 상당히 개선시키기 위해, 이 새로운 방법 및 시스템은 다양한 현미경 분야에서 화소-종속(pixel-dependent) 잡음을 교정한다.
과학 상보성 금속-산화물 반도체(sCMOS) 카메라 상에 기록된 이미지는 광의 양자성으로부터 발생되는 포이손 잡음(Poisson noise) 및 카메라의 판독 처리 동안 도입되는 판독 잡음의 2가지 유형의 잡음을 주로 포함한다.
실질적인 판독 잡음은 무시가능하지만 전자 다중화 잡음은 상당한 전자-증배 전하 결합 소자(electron-multiplying charged-coupled device; EMCCD) 카메라들에 비해, 과학 CMOS(sCMOS) 카메라들은 화소-종속 카메라 통계를 갖는다는 특징을 갖는다- 각각의 화소는 자신만의 오프셋, 분산, 및 게인을 가짐. 이는 주로 각 화소에 대해 독립적인 판독 유닛들에 기인하는데, EMCCD 카메라들 내에서는, 각 화소가 같은 판독 유닛을 사용하여 연속으로 처리된다. 따라서, 예상되는 입사 광자들이 없더라도 sCMOS 카메라들 상의 화소들은 "깜빡거림(flicker)"을 보이고, 이 잡음 수준은 화소들에 걸쳐 1-2 ADU2에서 1000-2000 ADU2까지 크게 변한다(ADU는 아날로그 대 디지털 단위, 카메라로부터의 출력 카운트를 의미함). 이 잡음은 특히, 예를 들어, 형광 현미경, 천문학적 및 초분광 검출들에서 낮은 광자수의 검출이 효율적일 필요가 있는 응용분야에서, 이미지 품질을 상당히 감소시키고 sCMOS 카메라들을 사용하는 양적 연구를 도전적으로 만든다.
잡음 교정에서의 과학 CMOS(sCMOS)(CMOS-기반 이미징 장치들 중 한 종류)에 대한 근본적인 과제는 2개의 변수 중 하나를 추정하는 것이다(변수들의 합은 알려져 있음); sCMOS 카메라의 각 화소는 광전자들 및 판독 잡음에 의해 주어지는 2개의 변수들의 합을 나타내는 디지털 카운트를 제공하는데, 이들은 각각 포이손 및 가우스 분포를 따른다. 광전자-기반 잡음(또한 산탄 잡음(shot noise) 또는 포이손의 잡음이라고도 언급됨)은 감지기에 도달하는 소수의 개별적인 광자들의 양자 효과들에 관련된다. 판독 잡음은 전술된 사전-증폭 및 아날로그 대 디지털 변환(analog to digital conversion; ADC) 동안 생성되는 전자 잡음에 관련된다. 포인트 에미터들(point emitters)을 검출하는 경우, 광전자들은 회절-제한된 지점을 형성하고, 예를 들어, 가우스 함수로 모델링된다. 화소-종속 잡음의 경우, 최대-우도 추정기는 이론적인 한계에서 정밀하게 분자 중심들을 추출할 수 있다. 그러나, 임의의 구조들에서, 단일 에미터들에 대한 가정은 상실된다.
본 게시물에 따른 일반화된 잡음-교정 알고리즘은 광학 전달 함수(OTF)를 사용한다. OTF는 이미징 시스템이 상이한 공간 주파수를 어떻게 처리하는 지를 지정한다. 현미경의 개구수 및 검출 파장으로 정의되는 OTF의 지원(support)은 현미경 시스템의 주파수-응답 한계를 나타낸다. 샘플로부터의 광학 신호는 주파수 한계 내에만 존재하지만, 잡음의 기여(contribution)는 이 한계를 벗어난다. 이 주파수 한계의 예는 도 1a에 나타나있다. 도 1a를 참조하여, 원시(raw) sCMOS 이미지 및 푸리에 공간 내에서의 그것의 구성요소들이 나타나있는데, 여기서 좌측 패널에는 임의의 이미지가 나타나 있고, 우측 패널에는 OTF 경계(OTF boundary)가 나타나 있는데, 우측 패널 안쪽에는 잡음 및 신호 모두가 존재하고, 우측 패널 바깥쪽에는 잡음만이 있다. 좌측 패널에 삽입된 이미지는 판독 잡음의 분산 지도(vmap)를 나타낸다. 푸리에 공간 내의 이미지는 잡음 및 신호 모두로부터의 기여들(contri.)을 포함한다. 분산 지도의 지도는 2.8 카메라 카운트 제곱에서 2,000 카메라 카운트 제곱까지(아날로그 대 디지털 단위들(ADU)) 선형적으로 크기조정된다. 독립적인 판독 잡음을 가정하면, 본 게시물에 따른 알고리즘은 잡음 기여(noise contribution)를 최소화하고 판독 잡음 아래에 묻힌 기초 신호를 복원하도록 이미지 추정의 우도를 최대화한다. 이 변화는 도 1b에 나타나있다. 도 1b를 참조하여, 도 1a의 잡음 보정된 이미지를 나타내는 이미지가 제공된다. 본 게시물에 따른 알고리즘은 우선 이론적인 OTF 주변부 외부 또는 근처에서, 푸리에 공간 내의 이미지의 잡음 기여를 추출하는데, 이는 실제 시스템의 효율적인 차단 주파수에 대한 보수적인(conservative) 추정을 나타낸다. 그 후, (화소당 다수의 판독 유닛들을 갖는 감지기들에 대한 화소 종속 오프셋, 게인, 및 분산을 포함하는) sCMOS 잡음 모델에 기초하여, 전체 이미지에 대한 우도 함수가 계산된다. 음의 로그 우도 및 푸리에 공간 내에서의 잡음 기여의 합을 최소화함으로써, 잡음-교정된 이미지가 생성되는데(그 예가 도 1b에 나타나있음), 여기서 화소-종속 잡음이 복구된 이미지 내에서 대부분 검출되지 않는다.
도 2a-2d를 참조하여, 종래의 광역 형광 현미경 상에 tdEos로 태그되는 COS-7 세포들 내의 퍼옥시좀 막 단백질들의 형광 현미경 이미지들의 시간적 변동을 나타내는 예시적인 이미지들의 세트가 제공된다. 특히, 도 2a는 400 이상의 sCMOS 프레임들(게인 및 오프셋에 의해 사전-교정됨)의 시간적 표준 편차(STD) 지도를 나타낸다. 지도 크기는 유효 광자 카운트 단위로 최소(STD 2.3, 검정색)내지 최대(STD 12.3)이다. 도 2b를 참조하여, sCMOS 카메라 프레임들에 대한 400 이상의 잡음 교정(여기서 대안적으로 NCS로 식별됨)의 시간적 STD 지도를 나타낸다. 도 2c를 참조하여, 도 2a 및 2b의 영역들 i 및 ii의 줌-인 뷰(좌측 패널, 좌측 상단은 i에 대한 것, 좌측 하단은 ii에 대한 것) 및 더욱 줌-인된 이미지들(우측 패널)은 잡음 감소 후 높은 분산을 갖는 화소들이 효과적으로 제거된 것을 보여준다(후술됨). 도 2d를 참조하여, 50 이상의 프레임들의 절단된 영역들 i 및 ii에서 선택된 화소들의 화소 강도 추적들을 나타낸다. 높은 판독 잡음을 갖는 화소들에 대해서(화소 1 및 3), 잡음 감소 후 값 변동은 상당히 낮아졌지만, 낮은 판독 잡음을 갖는 화소들에 대해서는(화소 2 및 4), 화소 값 변동이 대략 같게 남아있다. 평균 화소 값들은 잡음 교정 전과 후에 높은 및 낮은 판독 잡음 경우들 모두에 대해서 대략 같게 유지된다.
도 3a 및 3b를 참조하여, tdEos로 태그되는 COS-7 세포들 내의 엔드-바인딩 단백질 3이 종래의 광역 형광 현미경 상에 이미징될 때의, 낮은 광자 수준들에서의 잡음 교정 전 및 후에 대한 화소 변동 비교들이 제공된다. 도 3a를 참조하여, 게인 및 오프셋에 대해 사전-교정된 단일 sCMOS 프레임이 노출시간 10ms 및 시점 t=0에서 비교 목적으로 제공된다. 도 3b를 참조하여, sCMOS 프레임들로부터의 도 3a 내에서 선택된 영역들의 시계열 및 기초 신호는 유지하면서 sCMOS 잡음이 상당히 감소된 것을 보여주는 대응하는 잡음 감소 프레임들이 제공된다.
도 4a 및 4b를 참조하여, 본 게시물에 따른 잡음 감소 알고리즘(본 게시물에서 전형적으로 NCS라고 언급됨)의 단계들을 제공하는 개요적 흐름도 및 흐름도가 보여진다. 일반적으로, 본 게시물의 알고리즘은 다음의 기능들을 수행한다:
1) 사전-교정된 이미지 D를 획득하기 위해 각 화소에 대해 미리-특성화된 값들(일부 CMOS 카메라 제조업자들은 이제 이들 매개변수 지도들을 제공함)을 사용하여 오프셋 및 게인을 교정함. 그렇게 함으로써, 알고리즘은 D 내의 양이 아닌 값들을 갖는 모든 화소들을 10-6과 같이 작지만 0이 아닌 값에 할당함.
2) 입력 이미지를 M x M 화소들을 갖는 하위-이미지들(sub-images)로 분할함. M은 임의의 양의 정수일 수 있음. 일 실시예에 따르면, M의 값은 대략 1 내지 대략 256임.
3) 다음과 같이 제공되는 비용 함수 f를 최소화함으로써 추정을 구함:
Figure 112019089632653-pct00049
,
여기서, LLS는 단순화된 음의 로그-우도를 나타내고,
Figure 112019089632653-pct00050
은 OTF 주변부 근처 및 외부 각각에서의 잡음 기여를 나타내고,
Figure 112019089632653-pct00051
는 원하는 잡음 교정 강도 및 M에 기초하여 변할 수 있는 값을 가질 수 있는 실험 중량 인자임. f를 최소화하기 위해 일반적인 준-뉴튼 루틴(quasi-Newton routine)을 사용할 수 있음. 초기 추정 값들은 세그먼트들의 값들로 설정됨.
4) 각 세그먼트에 대해, 단계 3을 반복함. 모든 세그먼트들은 독립적이므로 그래픽 처리 장치(GPU), 중앙 처리 장치(CPU), 또는 주문형 직접 회로(ASIC)를 통해 병렬로 처리할 수 있음. 전형적으로, 회귀는 대략 20회 반복 내에서 수렴함.
이제 이러한 각 단계들이 보다 자세히 설명된다.
1) 사전-교정
화소-종속 이득 및 오프셋 지도들은 실험실에서 특성화되거나, 감지기 유형 및 그들의 공장-내 보정(calibration) 처리에 따라 제조업자로부터 획득될 수 있다. 이들 지도들을 가짐으로써, 전술된 반복 처리 내의 계산 횟수가 감소한다. 단순함을 위해, 단일의 게인 지도 및 분산 지도가 sCMOS 배열(array)에 연관된다는 것이 인식되야 한다. 이 개념은 다중 증폭기들(예를 들어, 칼럼 증폭기(column amplifier))을 갖는 감지기들로 확장될 수 있다. sCMOS 카메라로부터 획득한 이미지 A는 N개의 화소들을 포함한다. 화소 종속 카메라 오프셋 및 게인은 o 및 g로 표시되며, 여기서, o i 및 g i 는 화소 i에 대한 구체적인 값을 나타낸다. 화소 i의 매개변수 Di는 아래 공식에 기초하여 계산된다:
Figure 112019089632653-pct00052
결과 이미지 D는 후술된 반복 처리에서 추후에 사용된다.
2) 이미지의 잡음 감소
회절 한계 이미징 시스템(diffraction limited imaging system)은 그 보다 높은 주파수 신호들은 수집될 수 없는 기본적인(fundamental) 차단 주파수(cutoff frequency)를 갖는다. 차단 주파수는 이미징 시스템의 개구수(NA) 및 검출 파장(λ)에 의해 정의된다. 이 차단 주파수는 이미지의 잡음 부분을 추출하는데 사용된다. 현미경 이미지의 2D 푸리에 변환에서, 회절 한계 시스템으로부터의 신호는 이미징 시스템의 광학 전달 함수(OTF)에 의해 정의되는 원형 영역에만 포함된다. OTF는 이미징 시스템의 눈동자 함수(pupil function)의 자기상관(autocorrelation)이다. 이상적인 이미징 시스템에 대해서, 눈동자 반경은 NA/λ이며, 따라서 OTF 반경은 이 양의 2배인 2NA/λ이다. L x L(L은 짝수인 양의 정수) 화소들을 갖는 이미지 μ가 주어지면, 그것의 2D 이산 푸리에 변환은 다음으로부터 계산되고,
Figure 112019089632653-pct00053
여기서
Figure 112019089632653-pct00054
는 2D 이미지의 이산 푸리에 변환이고,
Figure 112019089632653-pct00055
,
Figure 112019089632653-pct00056
,
Figure 112019089632653-pct00057
,
Figure 112019089632653-pct00058
이고,
m, n, p, q는 1만큼 증분되고,
p,
Figure 112019089632653-pct00059
,
Figure 112019089632653-pct00060
, 및
Figure 112019089632653-pct00061
는 2차원 내에서의 이미지의 화소 크기를 나타내고, 일반적으로
Figure 112019089632653-pct00062
=
Figure 112019089632653-pct00063
이다. 후술된 바와 같이 OTF 마스크 이미지(kx, ky)는 레이즈드 코사인 필터(raised cosine filter)로부터 생성되고,
Figure 112019089632653-pct00064
내의 잡음 기여는 다음으로부터 계산될 수 있다.
Figure 112019089632653-pct00065
3) OTF 마스크 상에서의 레이즈드 코사인 필터 구현
잡음 교정(NCS) 알고리즘에서 잡음 기여를 계산하기 위한 OTF 마스크를 생성하기 위해 고역-통과 레이즈드-코사인 필터가 사용된다. 레이즈드-코사인 필터는 사용자로 하여금 마스크 경계의 선명도 및 필터링 능력의 정도를 조정할 수 있게 한다. OTF 마스크는 다음으로부터 생성되는데
Figure 112019089632653-pct00066
여기서,
Figure 112019089632653-pct00067
이다. 두 가지 유형의 OTF 마스크들이 고려된다. 제1 마스크는 OTF-가중 마스크라고 언급되며, 여기서 β = 1 및 T = λ/5.6NA이다. 다른 하나는 잡음-전용 마스크라고 언급되며, 여기서 β = 0.2 및 T = (1-β)/4NA이다. OTF-가중 마스크는 잡음 교정에 관련하여 최고의 성능을 제공한다. 그러나, 그것은 소량의 신호 정보를 희생시켜 해상도를 약간 감소(대략 2-5nm 감소)시키는 결과를 가져오는(후술된 도 7a - 7d를 참조) 반면, 잡음-전용 마스크에 대해서는, 신호 부분은 그대로 남겨져 있지만 잡음 교정 효율이 또한 감소한다. 일 실시예에 따라, 이론적인 차단 주파수에 기초한 OTF-가중 마스크가 OTF 마스크로서 사용된다. 본 게시물에 따른 시스템은 사용자로 하여금 전술된 2가지 미리 만들어진 OTF 마스크들 및 사용자에 의해 정의된 다른 2가지 유형의 조정가능 OTF 마스크 중에서 선택할 수 있도록 한다(조정가능 OTF 마스크 및 사용자 정의 OTF 마스크, 아래에서 더욱 설명됨).
도 5a, 5b, 및 5c를 참조하여, 이들 2가지 유형의 OTF 마스크들과 관련된 데이터가 제공된다. 특히, 도 5a를 참조하여, tdEos로 태그되는 COS-7 세포들 내의 퍼옥시좀 막 단백질들이 기존의 광역 형광 현미경 상에 이미징됐다. 도 5a는 400 이상의 sCMOS 프레임들, OTF 가중 마스크 및 잡음 전용 마스크를 갖는 NCS 프레임들에 대한 시간적 표준 편차 지도를 나타낸다(각각 좌측 패널, 중앙 패널, 및 우측 패널). 크기(scale)는 유효 광자 카운트 단위로 최소(STD 2.3, 검정색) 내지 최대(STD 12.3, 흰색)이다. 도 5b를 참조하여, 도 5a의 일련의 sCMOS 및 NCS 프레임들의 평균 및 푸리에 공간 내에서의 그들의 대응하는 진폭들이 제공된다. 평균 이미지들은 sCMOS 및 NCS 프레임들의 공정한 비교를 위해, 또다시 sCMOS 프레임들, OTF 가중 마스크를 갖는 NCS 프레임, 및 잡음 전용 마스크를 갖는 NCS 프레임을 위해 화소 종속 잡음을 상쇄하는데 사용됐다(각각 좌측 패널, 중앙 패널, 및 우측 패널). 도 5c는 SCMOS 및 NCS 프레임들(OTF 가중 마스크 및 잡음 전용 마스크를 갖는 NCS 프레임들)으로부터의 푸리에 공간 내에서의 진폭의 반경 평균 대 정규화된 주파수의 그래프를 제공한다.
도 6a 및 6b를 참조하여, 푸리에 공간에서의 실험 데이터와 시뮬레이션된 데이터의 비교가 제공된다. 푸리에 공간 진폭의 선명한 뷰를 제공하기 위해, 400 이상의 프레임들의 평균 실험 이미지가 화소-종속 잡음를 상쇄하는데 사용되었다. 도 6a를 참조하여, COS-7 세포들 내의 EB3-tdEos의 종래의 형광 이미지들의 sCMOS 프레임들과 NCS 프레임들의 비교가 제공된다. 실제 공간 이미지는 400 이상의 sCMOS 프레임들을 평균화함으로써 획득됐고, 푸리에 공간 내의 이미지들은 실제 공간 이미지들의 푸리에 변환의 진폭 부분이다. NCS 프레임들에 대하여, 푸리에 공간 진폭의 반경 평균은 OTF 차단 주파수(2NA/λ) 이후 상당한 감소를 보인다. 푸리에 공간 이미지의 선명한 시각화를 용이하게 하기 위해, 평균 이미지를 사용하여 화소당 sCMOS 잡음를 상쇄했다. 도 6b를 참조하여, 시뮬레이션된 미세관 이미지들의 이상적인 것, sCMOS 프레임들, 및 NCS 프레임들의 비교가 제공된다. 실제 공간 이미지들은 이상적인 경우(잡음 없음), sCMOS 프레임, 및 잡음 교정된 이미지를 포함한 시뮬레이션된 데이터의 단일 프레임이며, 하단 행은 푸리에 공간 내에서의 그들의 진폭들을 나타낸다. NCS 후 푸리에 공간 이미지의 진폭은 이상적인 이미지에 비해, 전체 주파수 범위에 걸쳐 그 값이 보다 높게 유지되는 채로 바깥 반경에서 떨어진다. 막대(bar)는 유효 광자 카운트를 나타낸다.
도 7a, 7b, 7c, 및 7d를 참조하여, 실험 데이터 및 시뮬레이션된 데이터 모두를 사용하는 해상도 비교와 관련된 데이터가 나타나있다. 특히, 도 7a를 참조하여, sCMOS 카메라로부터의 100 nm의 황록색 형광 구슬 이미지들 및 NCS 교정된 이미지들과 관련된 실험 데이터가 제공된다. sCMOS 프레임들과 NCS 프레임들 간의 공정한 비교를 위해 sCMOS 프레임들 내의 판독 잡음를 상쇄(cancel)하기 위해, 두 경우 모두에 대해 이미지들이 200 프레임 이상 평균화됐다. 도 7b에 제공된 정규화된 강도 대 화소 수 그래프에 나타낸 바와 같이, 강도 프로파일들이 각 구슬 이미지의 수직 차원에 대한 평균화를 통해 생성되고, 그들의 폭들
Figure 112019089632653-pct00068
및
Figure 112019089632653-pct00069
을 추출하도록 가우스 함수와 맞춰졌다. 도 7c를 참조하여, 후술된 시뮬레이션 매개변수들에 관련된 시뮬레이션된 데이터가 제공된다. 시뮬레이션된 구슬 이미지들은 후술된 매개변수들에 기초한다. 시뮬레이션된 구슬 이미지들은 sCMOS 및 NCS 프레임들로부터의 20 프레임 이상 평균화됐다. 실험 데이터 및 시뮬레이션 데이터 모두로부터,
Figure 112019089632653-pct00070
는
Figure 112019089632653-pct00071
보다 약간 더 크므로, 해상도가 5.5 nm 및 4 nm 감소하고, 작은 감소는 대략 250 nm의 회절 한계와 비교하여 무시될 가능성이 있다.
시뮬레이션된 데이터에서, 미세관(microtubule)을 시뮬레이션하기 위해 지렁이 같은 체인(worm-like chain; WLC) 모델이 사용되고, WLC 모델은 x, y 좌표들의 세트를 생성한다. 이들 좌표들에 기초하여, 이진 이미지가 생성되는데, 여기서, 그 화소 내에 하나 이상의 점(point)이 위치하면, 화소 값은 1로 설정될 것이고, 그렇지 않으면, 화소 값은 0으로 설정될 것이다. 이진 이미지는 출력 이미지 화소 크기(100nm)보다 보통 8배 작은, 훨씬 미세한 화소 크기를 가진다. 그런 다음, 이미지는 NA = 1.4, λ = 700 nm의 매개변수들에 기초하여 생성되는, PSF 이미지와 콘벌루션되며, 화소 크기는 12.5 nm이다. PSF 이미지는, 모든 화소 값의 합이 1이 되도록 정규화된다. 결과 이미지는 화소 크기가 12.5 nm인 회절 한계 미세관 이미지(diffraction limited microtubule image)이다. 이어서, 이미지는 Snorm으로 표시되는, 화소 크기가 100 nm인 이미지를 생성하도록, 8로 비닝된다(binned). 강도 I = 100 및 배경 b g = 10이 주어지면, 회절 한계 시스템으로부터의 이상적인 이미지가 다음으로부터 생성된다:
Figure 112019089632653-pct00072
.
그러면 이미지는 SPoisson으로 표시된 포이손 잡음(Poisson noise)으로 손상된다(corrupted). 게인 지도 g, 분산 지도
Figure 112019089632653-pct00073
, 및 오프셋 지도 o가 주어지면, sCMOS 카메라의 최종 이미지는 다음으로부터 생성되는데,
Figure 112019089632653-pct00074
,
여기서,
Figure 112019089632653-pct00075
는 평균이 0이고 분산이
Figure 112019089632653-pct00076
내의 대응하는 값들을 갖는 가우스 분포로부터 무작위 변수들의 이미지를 생성한다. 도 8a, 8b, 8c, 8d, 8e, 및 8f를 참조하여, 데이터 시뮬레이션 절차가 나타나있다. 64 x 64 화소들을 갖는 미세관의 sCMOS 프레임을 시뮬레이션하기 위해, 지렁이-같은 체인 모델을 사용하여 시뮬레이션된 좌표로부터 이진(512 x 512) 이미지(8a)가 생성되는데, 여기서, 이진 이미지의 화소 크기는 주어진 화소 크기보다 8배 작다. 이진 이미지는 이어서 도 8b에 나타낸 것처럼 정규화된 PSF와 콘벌루션된 후, 도 8c에 나타낸 바와 같은 Snorm으로 표시된, 64 x 64 이미지를 생성하도록 8로 비닝된다. 도 8d에 나타낸 바와 같은 이상적인 이미지 Sideal을 생성하기 위해, Snorm 이미지는 주어진 강도 I가 곱해지고 주어진 배경 bg가 더해진다. 그 후, 도 8e에 나타낸 바와 같은 SPoisson을 형성하기 위해, 이상적인 이미지가 포이손 잡음으로 손상된다. 그 후 SPoisson 이미지는 sCMOS 게인 지도 g가 곱해지고 각 화소에서 가우스 잡음
Figure 112019089632653-pct00077
이 더해지는데, 여기서, 각 화소는 평균이 0이고 분산이
Figure 112019089632653-pct00078
인 가우스 분포로부터 도출된 무작위 값이고,
Figure 112019089632653-pct00079
는 각 화소에서 상이하다. 그 후 도 8f에 나타낸 바와 같이, 오프셋 지도 o가 더해진다. 결과 이미지는 시뮬레이션된 sCMOS 프레임으로 SsCMOS로 표시된다.
이미지의 잡음 부분을 추출하기 위해 이론적인 차단 주파수가 사용될 수 있지만, 이 차단 값은 이상적인 이미징 시스템에 기초하여 도출되고, 실제 이미징 시스템에 대하여, 시스템 및 샘플 유도된 수차(aberrations)로 인해, 효과적인 차단 주파수는 2NA/λ보다 작아질 수 있다. 따라서, 본 게시물의 알고리즘은 사용자로 하여금 다음의 옵션들에서 고를 수 있게 한다: OTF-가중 마스크(디폴트), 잡음-전용 OTF 마스크, 조정가능 OTF 마스크, 및 사용자 정의 OTF 마스크. 조정가능 OTF 마스크는 다음에 기초하고
Figure 112019089632653-pct00080
Figure 112019089632653-pct00081
여기서, 폭 w는 10-6 내지 2에서 조정될 수 있고, 높이 h는 0 내지 1에서 조정될 수 있다. 조정가능 OTF 마스크는 2개의 사용자 입력들을 필요로한다: 폭 w 및 높이 h. 이들 2개의 사용자 입력들이 도 11a, 11b, 11c, 및 11d를 참조하여 나타나있다. 특히, 도 11a를 참조하여, 10-6 내지 2의 폭(단위 NA/λ) 및 0.7 내지 1의 높이를 갖는 다양한 조정가능 OTF 마스크들이 나타나있다. 폭은 반드시 0보다 커야만 한다. 도 11b를 참조하여, OTF 마스크들의 상이한 선택에 따른 반경 평균 플롯(plot)을 보여주는, OTF 마스크의 반경 평균 대 정규화된 주파수의 그래프가 제공된다. 도 11c를 참조하여, 폭이 0인 OTF 가중 마스크가 나타나 있으며, 그 높이는 검출기의 샘플링 레이트에 종속한다. 검출기의 다양한 샘플링 레이트에서 NCS 결과들을 비교한 것이 도 12a - 12c에 제공되며, 이는 후술되어 있다. 그것은 OTF 마스크들의 디폴트 및 권장 옵션이다. 도 11d를 참조하여, 폭이 2인(단위 NA/λ) 잡음-전용 OTF 마스크가 나타나 있으며, 그 높이는 또한 검출기의 샘플링 레이트에 종속한다.
나이키스트 샘플링 레이트(Nyquist sampling rate)에 기초하여, 이미지의 화소 크기는 종종 시스템 해상도의 절반 이하로 선택된다. 시스템 해상도는 레일리 기준(Rayleigh criterion)인 0.61λ/NA을 특징으로 할 수 있는데, 이것은 당업자에게 알려져있다. 검출기의 샘플링 레이트는 이미지의 화소 크기로 나눈 레일리 기준으로 정의된다(예를 들어, 2는 최소 나이키스트 샘플링 레이트임). 다양한 샘플링 레이트들 하에서 NCS 알고리즘의 성능이 조사됐다. NCS 알고리즘은 1.4 내지 2.9의 광범위한 샘플링 레이트를 허용한다는 것이 발견됐다. 그러나, 교정 파워(correction power)는 2.0 미만의 샘플링 레이트에서부터 점차적으로 감소하기 시작한다. 이는, 2.0 미만의 샘플링 레이트로는, (도 12a - 12c에 나타낸 바와 같이) OTF 경계가 대부분 푸리에 공간의 이미지 경계 밖에 있어서, 이미지의 잡음 부분으로부터 주요하게 고려되는 화소가 더 적어지고, 결과적으로 비용 함수에서 잡음 기여의 비율이 감소하여, 도 13에 나타낸 바와 같이
Figure 112019089632653-pct00082
값이 감소하는 것과 유사한 효과가 발생하기 때문이다. 도 13을 참조하여, 다양한
Figure 112019089632653-pct00083
값들에서의 NCS 결과들의 비교를 나타내는 이미지들의 세트가 제공된다. 비용 함수에서,
Figure 112019089632653-pct00084
인자는 잡음 기여 부분과 곱해진다.
Figure 112019089632653-pct00085
=0이면, 비용 함수는 이미 최소가 되고, NCS 알고리즘은 원본 이미지에 영향을 미치지 않고 결과 NCS 프레임은 sCMOS 프레임과 같다.
Figure 112019089632653-pct00086
값이 증가하면, 잡음 교정 파워도 증가한다. 그러나,
Figure 112019089632653-pct00087
값이 너무 크면, NCS 알고리즘은 잡음 기여를 지나치게 강조하여, 그 결과 해상도가 낮아질 것이다. 범위는 10-6 내지 106이다. (도 12a - 12c에 나타낸 바와 같이) 1.4와 같은 상당히 낮은-샘플링 레이트로는, OTF-가중 마스크의 높이가 ~0.2로 낮아져, NCS 알고리즘의 최적화 잠재력이 크게 제한될 것이다. 더욱이, 1.73 미만의 샘플링 레이트에 대해서는, OTF 경계 밖에 화소가 없으며, 이 경우, 잡음-전용 마스크보다는 OTF-가중 마스크를 사용하는 것이 권장되는데, 이는 전자가 비용 함수를 최소화 불가능하게 하는, 제로(zero) 잡음 기여를 제공하기 때문이다. 전체적으로, 효율적인 잡음 교정을 위해 샘플링 레이트는 2를 초과할 것이 권장된다.
전술된 바와 같이, 도 12a, 12b, 및 12c를 참조하여, 검출기의 다양한 샘플링 레이트들에서의 NCS 결과들의 비교가 제공된다. 검출기의 샘플링 레이트는 이미지의 화소 크기로 나눈 레일리 기준으로 정의되고(예를 들어, 2는 최소 나이키스트 레이트임), 레일리 기준은 0.61λ/NA이다. 특히, 도 12a에는, 다양한 샘플링 레이트들에서 이미징된, 시뮬레이션된 구슬들의 푸리에 공간 내에서의 진폭이 나타나있다. OTF 반경은 상수로, 2NA/λ(빨간색 원)이다. OTF-가중 마스크(그레디언트 오버레이(gradient overlay))의 더 높은 가중치(weight)를 갖는 화소들의 수는 샘플링 레이트와 함께 감소한다. 도 12b에는, 다양한 샘플링 레이트들에서의 OTF 마스크의 반경 평균 플롯이 제공된다. 샘플링 레이트가 낮아짐에 따라, OTF 마스크는 중앙으로 더 트런케이트된다. 도 12c에는 다양한 샘플링 레이트들에서의 sCMOS 프레임 및 그것의 대응하는 NCS 프레임이 나타나있다. 도 12c는, NCS 알고리즘이 2의 샘플링 레이트까지는 잘 수행되고 2 이후에는 점차 감소한다는 것을 보여준다.
이 2개의 사용자 입력들(반경 w 및 높이 h)은 OTF 마스크의 모양(shape)을 바꾼다. 진보된 사용자들에 대해서는, 사용자 정의 OTF 마스크의 옵션은 추가적인 유연성을 제공하며, 사용자가 생성한 OTF 마스크로 특이한(aberrated) 시스템의 교정 성능을 더욱 향상시킬 것이다.
본 게시물의 알고리즘에 대해서, 완벽한 OTF 함수보다, 알고리즘은 효율적인 차단 주파수(OTF 경계)의 추정만을 필요로 한다. OTF 경계를 어떻게 추정하는 지는 아래에 제공된다. 희박하게 분산된 구슬의 잡음 이미지에 대한 높은 신호를 시작으로, 이 차단 주파수는 다음의 단계들에 의해 추정될 수 있다:
(1) sCMOS 카메라로부터 정적인 이미지 시퀀스의 평균 이미지를 계산하는 단계;
(2) 푸리에 변환의 모듈러스(modulus)를 계산하는 단계(복합 푸리에 계수의 절대값);
(3) (2)의 결과 이미지의 로그의 반경 평균을 계산하는 단계;
(4) 수축창(shrinking window)을 이용하여 반경 평균 곡선을 매끄럽게 하고(예를 들어, 창 내에서 표준 편차를 계산함) 매끄러워진 곡선의 회전점(turning point)에서 차단 주파수를 찾는 단계.
특이한 시스템들(aberrated systems)에 대한 OTF 경계의 정확한 추정을 획득하기 위해, 일 실시예에 따라, 관심 있는 생물학적 샘플의 방출 스펙트럼을 μm2 당 1-3개 구슬의 밀도로 매칭(matching)시키는 스펙트럼 및 직경이 대략 40nm 내지 대략 100nm인 초점에서 형광 구슬을 이미징할 수 있다.
회절 한계의, 최적화된 현미경 시스템에 대하여, 전술된 바와 같은 본 게시물의 일 양태에 따라, 중심에서 가장자리까지 그레디언트가 증가하는 OTF 가중 마스크가 사용될 수 있다. OTF-가중 마스크와 잡음-전용 마스크의 비교는 도 5a - 5c에 관하여 전술되어 있다. 이러한 도면들(figures)을 검사하면, 전술된 바와 같이, OTF-가중 마스크가 이미지 해상도를 유지하면서 잡음을 보다 효율적으로 교정한다는 것을 알 수 있다.
(4) 이미지의 음의 로그-우도
전술된 바와 같이, sCMOS 카메라의 단일 화소로부터의 화소 판독(단위: ADU)은 각각 포이손 및 가우스 분포들을 따르는 2개의 무작위 변수들의 합으로 모델링된다. 따라서, 화소 판독의 확률은 포이손 분포와 가우스 분포의 콘벌루션(convolution)으로 설명될 수 있다. 이 콘벌루션에 의해 필요로 되는 무한 합산의 계산 복잡성을 줄이기 위해, 이 확률 함수의 분석 근사치가 적용된다. 따라서, 추정된 이미지 μ와 이미지 D 사이의 우도가 다음으로부터 계산된다:
Figure 112019089632653-pct00088
여기서, i는 화소 색인이고, N은 이미지의 화소들의 수이며,
Figure 112019089632653-pct00089
는 보정량(calibration quantity)으로
Figure 112019089632653-pct00090
과 같고, 여기서,
Figure 112019089632653-pct00091
및
Figure 112019089632653-pct00092
는 sCMOS 카메라 상의 화소 i의 분산 및 게인이다(단일 또는 다수의 분산 및 게인 지도들로부터 생성될 수 있음).
본 게시물의 알고리즘은 화소 당 다수의 효율적인 판독 단위들을 갖는 감지기들(예를 들어, 어떤 CMOS 감지기들 내의 이중 칼럼 증폭기들)과 호환가능하다. 알고리즘은 ADU-수준의 종속적인 게인 및 분산을 고려하는, 단일 지도 또는 다수의 지도들로부터 생성된 게인 및 분산 지도(들)의 입력들을 허용한다. 소프트웨어 또는 하드웨어에서, 각 화소의 신호 수준들(ADU)에 기초한 다수의 게인 및 분산 지도들을 사용하기 위한 예시적인 코드가 제공된다. 이 코드는 사용자로 하여금, 각 ADU 수준에서의 대응하는 게인 및 분산 지도들과 함께, ADU들의 N(N >1)개의 신호 수준들의 세트를 제공할 것을 요구한다. 예를 들어, 신호 수준들이 0-1500 ADU 및 1500-최대 ADU인 이중 증폭기 감지기들에 대하여(사용자 정의됨; 카메라 제조업자로부터 획득됨), 코드는 2 세트의 대응하는 게인 및 분산 지도들을 취한다. 각 입력 sCMOS 프레임에 대하여, 코드는 그것의 ADU 카운트에 따라 각 화소에 대해 사용할 적절한 게인 및 분산을 결정한다. 입력 sCMOS 프레임 스택(stack)과 크기가 동일한 결과 게인 및 분산 스택들은 본 게시물의 알고리즘의 입력으로 사용될 것이다. 시간-독립적인 잡음 행동을 가정할 때, 본 게시물의 알고리즘은 단일 게인 및 분산 지도를 사용하는 것과 동일한 방식으로 수행될 것이다. 대부분의 상황들에서, 낮은 광자 수준에서의 단일 게인 및 분산 지도(예를 들어, 프레임별 화소당 750 이하의 광자들)을 본 게시물의 알고리즘이 어디에서 가장 효율적인 지를, 낮은 광으로(예를 들어, 실시간 세포 형광 이미징 및 광 시트 현미경(light sheet microscopy))연구하는데 일반적으로 적용할 수 있다.
본 게시물의 알고리즘에서의 우도 함수의 계산은 인접한 프레임들 사이의 화소 값들에 상관관계(correlation)가 없다고 가정한다. 그러한 상관관계의 경우, 알고리즘은 비용 함수를 수정함으로써 이 추가 정보를 통합하도록 적응될 수 있다. 이를 달성하기 위해, 잡음의 상관관계 동작 및 그것의 확률 밀도 함수에 대해 정확히 이해할 필요가 있다. 현재 단일 프레임 기반 운영(operation)을 다수의 프레임들을 사용하여 글로벌 최적화로 확장함으로써, 개발된 알고리즘이 더욱 향상될 수 있다.
최적화를 위해, 음의 로그-우도 함수가 사용되고, 스털링의 근사(Stirling approximation)로, 다음과 같은 관계가 획득된다:
Figure 112019089632653-pct00093
D 및
Figure 112019089632653-pct00094
는 일정하기 때문에, 그들은 목적 함수에서 생략된다. 그 후 상기 관계는 다음으로 축소된다:
Figure 112019089632653-pct00095
여기서, LLs는 단순화된 음의 로그 우도 함수를 나타낸다. μ는 판독 전 광전자에 대한 추정이기 때문에 음이 아니다. 따라서, 각 반복 동안 μ i ≥ 0을 보장하기 위해, D 내의 양이 아닌 값들을 갖는 화소들을 10-6으로 설정함으로써, D i 는 0보다 크도록 제한된다. 본 게시물의 알고리즘의 성능은 상이한 유형의 잡음을 갖는 이미지들과, 로그-우도비 시험에 기초하여 시뮬레이션된 데이터에 대한 이상적인 이미지를 갖는 잡음 교정 후의 이미지를 비교함으로써 시험됐는데, 여기서, 로그-우도비는 다음으로부터 획득되고:
Figure 112019089632653-pct00096
여기서, u는 잡음이 없는 이상적인 이미지를 나타내고, X는 추정된 이미지, 이상적인 이미지, 판독 및 포이손 잡음을 갖는 이미지, 또는 포이손 잡음만 있는 이미지이다.
도 9a, 9b, 및 9c를 참조하여, 시뮬레이션된 데이터의 로그-우도비(LLR) 비교가 제공된다. 특히, 도 9a를 참조하여, 잡음이 없는(ideal), 판독 및 포이손 잡음을 갖는(sCMOS), 잡음 교정 후의(NCS), 포이손 잡음만 있는(포이손)의 조건들 하에서 시뮬레이션된 미세관 이미지들(각각 최좌측 패널, 좌측 패널, 우측 패널, 및 최우측 패널)이 나타나있다. 화소 종속 잡음은 잡음 교정 알고리즘을 사용하여 효과적으로 제거되며; 막대는 유효 광자 카운트를 나타낸다. 도 9b를 참조하여, 도 9a의 각 이미지의 로그-우도비 지도가 나타나있다. 이상적인 경우, LLR은 각 화소에 대해 0이다. 화소 LLR은 잡음 감소 후 상당히 감소하며, 교정 동안 통합되는 추가적인 현미경 정보로 인해 포이손의 경우보다 약간 작다. 도 9c를 참조하여, sCMOS, NCS, 및 포이손의 조건들 하의 도 9b의 개별적인 화소들의 LLR들의 히스토그램이 제공된다.
LLR 값이 작을수록, 이미지 X가 이상적인 이미지 u에 근사하다. 로그-우도비(LLR) 값은 잡음 감소 후 상당히 감소하고, 교정 동안 통합되는 전술된 추가적인 현미경 정보로 인해 포이손-잡음 제한된 이미지보다 약간 작다(2절: 이미지의 잡음 감소를 참조).
(5) 이미지분할
sCMOS 잡음 교정 알고리즘에서, 변수들의 수는 이미지 내의 화소들의 수와 같다. 256 x 256 화소들의 이미지에 대해, 총 65536개의 변수들의 최적화는 계산 집약적이다. 계산 시간을 줄이기 위해, 각 이미지는 작은 하위-이미지들로 분할되며, 각각 M x M 화소들을 포함하고, 따라서 이러한 하위-이미지들은 CPU 또는 GPU를 통해 병렬로 처리될 수 있다.
도 10을 참조하여, 본 게시물의 알고리즘에 사용되는 분할 방식이 나타나있다. 좌측 패널에는, 일반적인 분할 방식이 나타나있다. 입력 sCMOS 프레임은 작은 하위-이미지들로 분할되고, 그 후 병렬화된 잡음 교정 알고리즘으로 공급된다. 그 후 처리된 세그먼트들은 전체 NCS 프레임을 형성하도록 함께 조합된다. 우측 패널에는, 이미지 경계들 상에서의 고속 푸리에 변환(fast fourier transform) 아티팩트들을 피하기 위한 각 세그먼트에 대한 상세한 전-처리 단계들이 나타나있다.
본 게시물의 알고리즘에서 분할 크기는 조정가능 매개변수다.
NCS 알고리즘과 일반적인 잡음 감소에 사용되는 저역-통과 필터 간의 차이가 나타나있다. 저역 통과 필터들은 이미지를 선명한 2D 가우스와 콘벌루션하거나 푸리에 공간 내에서 저역 통과 필터를 곱하여 생성된다. 첫 번째 방법에서는, 시그마가 1개의 화소인 가우스 블러링 커널(Gaussian blurring kernel)을 구현했고, 두 번째 방법에서는, OTF 반경(2NA/λ)과 같은 차단 주파수를 갖는 저역 통과 필터를 사용했다. 저역 통과 필터들 모두가 sCMOS 잡음(sCMOS noise)를 교정하지 못했다는 점에 주의하자(도 14a-14d를 참조, 여기서 NCS 알고리즘과 저역 통과 필터를 비교하기 위해 한 세트의 이미지들이 제공됨). 저역 통과 필터들과 NCS 알고리즘 간의 근본적인 차이를 나타내기 위해, 시뮬레이션된 구슬 데이터는 시뮬레이션된 고분산 지도(3000 ~ 6000 ADU2)를 사용한다. 도 14a, 14b, 14c, 및 14d를 참조하여, sCMOS 프레임, NCS 프레임, 시그마가 1개의 화소인 2D 가우스 커널에 의해 블러링된 sCMOS 프레임, OTF 반경과 같은 차단 주파수를 갖는 저역 통과 필터 후의 sCMOS 프레임이 각각 제공된다. 각 이미지에서 컷아웃(cutout) 영역은 보다 큰 박스(box) 위의, 그 영역의 2배 줌이다. 이는, 가우스 블러(Gaussian blur) 및 OTF 필터(OTF filter)는 모두 sCMOS 잡음(작은 박스들 및 화살표들)을 효과적으로 제거하지 못하는 반면, NCS 알고리즘은 sCMOS 잡음 변동을 상당히 줄일 수 있다는 것을 보여준다. 더욱이, 가우스 블러 방법은 원본 이미지의 해상도도 또한 낮춘다(길쭉한(elongated) 원들). 저역 통과 필터들은 높은 판독-잡음 화소들을 교정하기 보다, 높은 판독-잡음 화소들을 흐릿한 점으로 대체한다. 더욱이, 저역 통과 필터들을 사용함으로써, 이미지 해상도가 상당히 낮아지는 것이 관찰되고(가우스 블러), 필터링된 이미지 내의 울림 아티팩트들(ringing artifacts)(깁스(Gibbs) 현상)이 또한 나타난다. 대조적으로, NCS 알고리즘은, 이미지 해상도를 변경되지 않은 채로 유지하면서 효과적으로 sCMOS 잡음을 줄일 수 있다는 것이 발견됐다.
본 게시물의 알고리즘의 계산 속도는 분할 및 병렬 처리로 상당히 높아질 수 있다. 3.4GHz CPU에서 작동하는 6-코어 상에서의 다양한 분할 크기들 및 반복 횟수들 하에서 본 게시물의 알고리즘의 성능이 연구됐다. 시험된 조건들(아래 표를 참조) 하에서, 분할 크기가 증가할수록, 그리고 예상된 바와 같이 반복 횟수가 증가할수록 속도가 감소한다는 것이 발견됐다. 따라서, 가능한 적게 반복하는 것이 바람직하다. 그러나, 반복 횟수를 줄이면, 특히 판독 분산이 상대적으로 높은 경우에, 잡음 교정 성능이 감소할 것이다. 일 실시예에 따르면, 적어도 대략 10회 반복이 수행된다. 또다른 실시예에 따르면, 디폴트 반복 횟수는 대략 15로 설정된다.
Figure 112019089632653-pct00097
도 15a 및 15b를 참조하여, 3가지 분할 크기들 및 2가지 반복 횟수들의 NCS 결과에 대한 비교가 제공된다. 시뮬레이션된 구슬 데이터는 시뮬레이션된 고분산 지도(3000~6000 ADU2)를 사용한다. 시간적 표준 편차(STD) 지도들은 100개의 sCMOS 프레임들 및 NCS 프레임들로부터 생성된다. 크기는 최소(STD 1.5, 검정색) 내지 최대(STD 6, 흰색)이다. 특히, 도 15a를 참조하여, 100개의 sCMOS 프레임들의 시간적 STD 지도가 나타나있다. 이것은 많은 높은 판독 잡음 화소들(STD > 6)을 보여준다. 도 15b를 참조하여, 다양한 조건들에서의 100개의 NCS 프레임들의 시간적 STD 지도가 나타나있다. 이는 잡음 교정 성능이 분할 크기가 커질수록 서서히 개선되고 반복 횟수에 따라 빠르게 개선되는 것을 보여준다. 그러나, 대부분의 높은 판독 잡음 화소들은 5회 반복 후 제거된다. 본 게시물의 알고리즘의 잡음 교정 성능은 분할 크기에 따라 서서히 증가하지만, 8 x 8 미만의 분할 크기에 대해서는, 비용 함수가 몇 번의 반복에서 국소적인 최소를 달성한다는 것을 알게 되었다.
분할에서 에지 효과(edge effect)를 제거하기 위해, (M+2) x (M+2) 이미지를 형성하도록, 각 세그먼트는 에지 상에서 패딩된다(pad). 패딩된 화소는 다음과 같이 생성된다:
1) 원본 이미지에 관련된 에지가 아닌 화소들에 대하여, 원본 이미지 내의 그것의 인접한 화소로 패딩됨.
2) 원본 이미지에 관련된 에지 화소들에 대하여, 자체로 패딩됨. 이 수정은 푸리에 변환으로부터 에지 효과를 피하기 위한 것이다. 패딩된 이미지는 잡음 감소 알고리즘에서 D로 사용될 것이다. 최종 출력 이미지에서, 패딩된 에지들은 폐기된다. 이 수정을 수행함으로써, 최종 이미지의 에지 화소들을 제외하고 에지 효과가 제거된다.
도 16은 알고리즘 결과(이상적인 잡음이 없는 이미지와 비교), 원시(raw) sCMOS 데이터(이상적인 잡음이 없는 이미지와 비교), 및 이상적인 카메라(이상적인 잡음이 없는 이미지와 비교)의 총 측정된 로그 우도비 값들의 비교 그래프이다. Y축은 세 가지 경우들 모두에 대한 1000번의 시도들의 히스토그램 카운트들을 나타낸다. 알고리즘(NCS) 결과가 이상적인 카메라에 근접하게 다가가고 있는 곳에서, sCMOS의 LLR 분포는 이상적인 카메라 경우(포이손)와는 상당히 떨어져있다. 이는 알고리즘 성능이 sCMOS 감지기를 이상적인 경우(포이손)에 근접하게 만든다는 것을 보여준다. 도 16은 카메라-추가 잡음을 대략 80%까지 잡음 감소시키는 것을 보여준다.
도 17은 데이터를 분석하고 여기에 기술된 다른 분석들을 수행하기 위한 예시적인 이미징 시스템(101)의 구성요소들 및 관련 구성요소들을 나타낸 도면이다. 시스템(101)은 처리기(186), 주변 시스템(120), 사용자 인터페이스 시스템(130), 및 데이터 저장 시스템(140)을 포함한다. 주변 시스템(120), 사용자 인터페이스 시스템(130), 및 데이터 저장 시스템(140)은 처리기(186)에 통신가능하게 접속되어 있다. 처리기(186)는 네트워크(150)(가상(phantom)으로 표시됨), 예를 들어, 인터넷 또는 임대 회선에 통신가능하게 접속될 수 있으며, 이는 후술된 바와 같다. sCMOS 카메라들 또는 이미징을 위한 다른 데이터- 또는 이미지-처리 장치들, 및 다른 장치들은 각각 여기서 하나 이상의 처리기(들)(186) 또는 하나 이상의 시스템들(120, 130, 140)을 포함할 수 있고, 각각 하나 이상의 네트워크들(150)에 접속될 수 있다. 처리기(186) 및 여기에 설명된 다른 처리 장치는 각각 하나 이상의 마이크로처리기들, 마이크로컨트롤러들(microcontrollers), 필드-프로그래밍가능 게이트 어레이들(field-programmable gate arrays; FPGAs), 주문형 집적 회로들(ASICs), 프로그래밍가능 논리 장치들(programmable logic devices; PLDs), 프로그래밍가능 논리 어레이들(Programmable logic arrays; PLAs), 프로그래밍가능 어레이 논리 장치들(programmable array logic devices; PALs), 또는 디지털 신호 처리기들(digital signal processors; DSPs)을 포함할 수 있다.
처리기(186)는 여기에 설명된 다양한 양태들의 처리들을 구현할 수 있다. 처리기(186) 및 관련 구성요소들은, 예를 들어, sCMOS 카메라로부터 수신한 데이터를 sCMOS 이미징 및 처리하기 위한 처리들을 수행할 수 있다.
처리기(186)는, 전기, 자기, 광학, 생물학 구성요소들로 또는 그와 달리 구현되는지에 상관 없이, 데이터 상에서 자동으로 동작하기 위한 하나 이상의 장치(들), 예를 들어, 중앙 처리 장치(CPU), 마이크로컨트롤러(MCU), 데스크톱 컴퓨터, 랩톱 컴퓨터, 메인프레임 컴퓨터, 개인용 디지털 보조 장치, 디지털 카메라, 휴대폰, 스마트폰, 또는 데이터 처리, 데이터 관리, 또는 데이터 조작을 위한 임의의 다른 장치이거나 그들을 포함할 수 있다.
"통신가능하게 접속된"이라는 문구는 장치들 또는 처리기들 간의 데이터 통신을 위한, 임의의 유형의 접속(유선 또는 무선)을 포함한다. 이들 장치들 또는 처리기들은 물리적으로 근접하거나 그렇지 않게 위치할 수 있다. 예를 들어, 주변 시스템(120), 사용자 인터페이스 시스템(130), 및 데이터 저장 시스템(140)과 같은 하위 시스템들은 처리기(186)와 분리되어 나타나 있지만, 처리기(186) 내에서 완전히 또는 부분적으로 내장 또는 통합될 수 있다. 예를 들어, 처리기(186)는 시스템들(120, 130, 또는 140)의 기능(들)을 구현하는 하나 이상의 코어(들)에 온-칩 버스(on-chip bus)를 통해 접속된 중앙 처리 장치를 포함하는 ASIC를 포함한다.
주변 시스템(120)은 처리기(186)에 디지털 콘텐츠 레코드들(digital content records)을 제공하거나 처리기(186)로부터 수신한 신호들 또는 다른 명령들에 응답하여 행동을 취하도록 구성되거나 그와 달리 적응된 하나 이상의 장치들을 포함하거나 그들에 통신가능하게 접속될 수 있다. 예를 들어, 주변장치(120)는 이미징 장치들(sCMOS 카메라들을 포함), 신호 처리기들 및 변환기들, 또는 다른 데이터 처리기들을 포함할 수 있다. 주변 시스템(120) 내의 장치로부터 디지털 콘텐츠 레코드들을 수신하면, 처리기(186)는 이러한 디지털 콘텐츠 레코드들을 데이터 저장 시스템(140)에 저장할 수 있다.
처리기(186)는 주변 시스템(120)을 통해 이미징 시스템의 하위 시스템들을 제어할 수 있다. 예를 들어, 처리기(186)는 관심 객체의 이미징을 지시할 수 있다. 처리기(186)는 이미징된 객체의 데이터를 수신하고 처리할 수 있다.
사용자 인터페이스 시스템(130)은 사용자(138)와 처리기(186) 또는 시스템(101)의 다른 구성요소들 사이에서 단방향 또는 양방향으로 정보를 전달할 수 있다. 사용자 인터페이스 시스템(130)은 마우스, 키보드, 다른 컴퓨터(예를 들어, 네트워크 또는 널-모뎀 케이블(null-modem cable)을 통해 연결됨), 또는 그것으로부터의 데이터가 처리기(186)에 입력되는 임의의 장치나 장치들의 조합을 포함할 수 있다. 사용자 인터페이스 시스템(130)은 또한 표시 장치, 처리기-액세스가능 메모리, 또는 처리기(186)에 의해 데이터가 출력되는 임의의 장치나 장치들의 조합을 포함할 수 있다. 사용자 인터페이스 시스템(130) 및 데이터 저장 시스템(140)은 처리기-액세스가능 메모리를 공유할 수 있다.
다양한 양태들에서, 처리기(186)는 네트워크 링크(116)(가상으로 표시됨)를 통해 네트워크(150)에 연결된 통신 인터페이스(115)를 포함하거나 그것에 접속된다. 예를 들어, 통신 인터페이스(115)는 통합 정보 통신망(integrated service digital network; ISDN) 단말기 어댑터 또는 전화선을 통해 데이터를 전달하는 모뎀; 근거리 네트워크(LAN)(예를 들어, 이더넷 LAN) 또는 광대역 네트워크(WAN)를 통해 데이터를 전달하는 네트워크 인터페이스; 또는 무선 링크, 예를 들어, WIFI 또는 GSM(Global System for Mobile Communications)을 통해 데이터를 전달하는 라디오(radio)를 포함할 수 있다. 통신 인터페이스(115)는 다양한 유형들의 정보를 나타내는 디지털 또는 아날로그 데이터 스트림들을 네트워크 링크(116)를 통해 네트워크(150)에 전달하는 전기, 전자기, 또는 광학 신호들을 송수신할 수 있다. 네트워크 링크(116)는 스위치, 게이트웨이(gateway), 허브(hub), 라우터, 또는 다른 네트워킹 장치를 통해 네트워크(150)에 접속될 수 있다.
다양한 양태들에서, 시스템(101)은, 예를 들어, 네트워크(150)를 통해 다른 데이터 처리 시스템(들)(도시되지 않음)과 통신할 수 있으며, 이 다른 데이터 처리 시스템(들)은 시스템(101)과 동일한 유형의 구성요소들을 포함할 수 있지만, 그 구성요소들과 같을 필요는 없다. 시스템(101) 및 도시되지 않은 다른 시스템들은 네트워크(150)를 통해 통신가능하게 접속된다. 시스템(101) 및 도시되지 않은 다른 시스템들은 여기에 설명된 바와 같이 sCMOS 이미징을 수행하도록 컴퓨터 프로그램 명령들을 실행할 수 있다.
처리기(186)는 네트워크(150), 네트워크 링크(116), 및 통신 인터페이스(115)를 통해 메시지들을 송신하고 프로그램 코드를 포함한 데이터를 수신할 수 있다. 예를 들어, 서버는 응용 프로그램(예를 들어, JAVA 애플릿)을 위해 필요한 코드를, 접속된 유형의 비-휘발성 컴퓨터-판독가능 저장 매체 상에 저장할 수 있다. 서버는 매체로부터 코드를 검색하여 그것을 네트워크(150)을 통해 통신 인터페이스(115)로 전송할 수 있다. 수신된 코드는 수신되는 대로 처리기(186)에 의해 실행되거나, 추후 실행을 위해 데이터 저장 시스템(140)에 저장될 수 있다.
데이터 저장 시스템(140)은 정보를 저장하도록 구성되거나 이와 달리 정보를 저장하도록 적응된 하나 이상의 처리기-액세스가능 메모리들을 포함하거나 그들에 통신가능하게 접속될 수 있다. 메모리들은, 예를 들어, 섀시(chassis) 내에 있거나 분산 시스템의 일부일 수 있다. "처리기-액세스가능 메모리"라는 문구는 처리기(186)가 (예를 들어, 주변 시스템(120)의 구성요소들을 사용하여) 데이터를 전송하거나 전송받을 수 있는 임의의 데이터 저장 장치를 포함하도록 의도된다. 처리기-액세스가능 메모리는 휘발성 또는 비휘발성이거나, 분리형 또는 고정식이거나, 전자, 자기, 광학, 화학, 기계식, 또는 그 밖의 것인, 하나 이상의 데이터 저장 장치(들)를 포함할 수 있다. 예시적인 처리기-액세스가능 메모리는 레지스터들, 플로피 디스크들, 하드 디스크들, 테이프들, 바코드들, 콤팩트 디스크들, DVD들, 판독-전용 메모리들(ROM), 삭제가능 프로그래밍가능 판독-전용 메모리(EPROM, EEPROM, 또는 플래시), 및 랜덤 액세스 메모리(RAM)를 포함하지만, 이에 한정되는 것은 아니다. 데이터 저장 시스템(140) 내의 처리기-액세스가능 메모리들 중 하나는 실행을 위해 처리기(186)에 제공될 수 있는 명령들을 저장하는데 참여하는 유형의 비-휘발성 컴퓨터-판독가능 저장 매체, 즉, 비-휘발성 장치 또는 제조 물품일 수 있다.
예를 들어, 데이터 저장 시스템(140)은 코드 메모리(141)(예를 들어, RAM) 및 디스크(143)(예를 들어, 하드 디스크와 같은, 유형의 컴퓨터-판독가능 회전식 저장 장치 또는 매체)를 포함한다. 이 예에서, 컴퓨터 프로그램 명령들은 디스크(143)에서 코드 메모리(141)로 판독된다. 그 후 처리기(186)는 코드 메모리(141)에 로드된 컴퓨터 프로그램 명령들 중 하나 이상의 시퀀스들을 실행하고, 그 결과 여기에 기술된 처리 단계들을 수행한다. 이 방식으로, 처리기(186)는 컴퓨터 구현 처리를 수행한다. 예를 들어, 여기에 기술된 방법들의 단계들, 여기의 블록도들의 블록들, 및 그들의 조합은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 코드 메모리(141)는 또한 데이터를 저장할 수 있다.
여기에 기술된 다양한 양태들은 시스템들 또는 방법들로 실시될 수 있다. 따라서, 여기의 다양한 양태들은 전체적으로 하드웨어 양태, 전체적으로 소프트웨어 양태(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함), 또는 소프트웨어와 하드웨어 양태들을 조합한 양태의 형태를 취할 수 있다. 이들 양태들은 모두 일반적으로 여기서 "서비스", "회로(circuit)", "회로소자(circuitary)", "모듈", 또는 "시스템"으로 언급될 수 있다.
더욱이, 여기의 다양한 양태들은 컴퓨터-판독가능 매체, 예를 들어, 유형의 비-휘발성 컴퓨터 저장 매체 또는 통신 매체 상에 저장된 컴퓨터 판독가능 프로그램 코드("프로그램 코드")를 포함한 컴퓨터 프로그램 제품들로 실시될 수 있다. 컴퓨터 저장 매체는 컴퓨터-판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보를 저장하기 위한 임의의 방법 또는 기술로 구현된, 휘발성 메모리, 비휘발성 메모리, 또는 다른 영구적이거나 보조적인 컴퓨터 저장 매체, 분리형 및 비-분리형 컴퓨터 저장 매체와 같은 유형의 저장 유닛들을 포함할 수 있다. 컴퓨터 저장 매체는, 예를 들어, CD-ROM을 누르거나 데이터를 플래시 메모리에 전자적으로 기록함으로써 이러한 아티클들에 대한 종래의 방법으로 제조될 수 있다. 컴퓨터 저장 매체와 대조적으로, 통신 매체는 컴퓨터-판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 실시할 수 있다. 여기에 정의된 바와 같이, "컴퓨터 저장 매체"는 통신 매체를 포함하지 않는다. 즉, 컴퓨터 저장 매체는 변조된 데이터 신호, 반송파, 또는 전파 신호로만 이루어진 통신 매체를 포함하지 않는다.
프로그램 코드는 처리기(186)에 (그리고 또한 다른 처리기들에도 가능함) 로드(load)될 수 있고, 처리기(486)에 로드되면, 여기의 다양한 양태들의 기능들, 동작들, 또는 동작 단계들로 하여금 처리기(186)(또는 다른 처리기)에 의해 수행되게 하는 컴퓨터 프로그램 명령들을 포함할 수 있다. 여기에 기술된 다양한 양태들에 대한 동작들을 수행하기 위한 프로그램 코드는 하나 이상의 프로그래밍 언어(들)의 임의의 조합으로 작성될 수 있으며, 실행을 위해 디스크(143)로부터 코드 메모리(141)로 로드될 수 있다. 프로그램 코드는, 예를 들어, 전체적으로 처리기(186) 상에서, 부분적으로 처리기(186) 상에서, 부분적으로 네트워크(150)에 접속된 원격 컴퓨터 상에서, 또는 전체적으로 원격 컴퓨터 상에서 실행될 수 있다.
본 게시물은 여기에 기술된 양태들의 조합들을 포함한다. "특정 양태"(또는 "실시예" 또는 "버전(version)") 및 유사한 것들에 대한 언급은 본 발명의 적어도 하나의 양태에 존재하는 특징들을 의미한다. "양태"(또는 "실시예") 또는 "특정 양태들" 또는 유사한 것들에 대한 개별적인 언급은 반드시 같은 양태 또는 양태들을 의미하는 것은 아니지만; 이러한 양태들은, 이와 달리 명시적으로 언급되지 않는 한, 상호 배타적이지는 않다. “방법” 또는 “방법들” 등에 관한 단수 또는 복수의 사용은 본 명세서를 한정하지 않는다. 본 개시에서 “또는”이라는 용어의 사용은 명시적으로 언급되지 않는 한 비배타적인(non-exclusive) 의미로 쓰인다.
본 게시물에서, 다양한 처리들은 처리기들로 구현되는 것으로 나타내진다. 이들은 범용 처리기들 또는 주문형 반도체들(specific application integrated circuit)일 수 있다는 것이 인식되야 한다. 여기에 기술된 처리들은 필드 프로그래밍가능 게이트 어레이들로 구현될 수 있다는 것도 또한 인식되야 한다. 이들 처리들은 비디오 처리 또는 스틸(still) 이미지들을 위해 이들 다양한 하드웨어 솔루션들 상에서 실시간으로 실행되거나 계산될 수 있다. 주문형 반도체의 경우, 처리들은 당업자에게 알려진 다양한 토폴로지들(topologies)에 기초하여 나뉠 수 있다. 이러한 다양한 주문형 반도체는 여기에서 설명된 처리들 전체를 달성하기 위해 서로 통신할 것이다. 대안적으로, 2개 이상의 필드 프로그래밍가능 게이트 어레이들이 여기에 설명된 처리들을 실행하기 위해 인터페이싱(interface)될 수 있다. 여전히 대안적으로, 범용 처리기들, 필드 프로그래밍가능 게이트 어레이들, 및 주문형 반도체의 조합이 여기에 기술된 처리들의 단계들을 수행하기 위해 사용될 수 있다.
sCMOS가 카메라 플랫폼으로 설명되었지만, 여기에 기술된 기술들은 당업자에게 알려진 다양한 다른 플랫폼에 적용될 수 있다는 것이 또한 인식되야 한다. 예를 들어, 여기에 기술된 기술 및 처리들은 전하 결합 소자 플랫폼에 적용될 수 있다. 판독 잡음은 sCMOS 카메라에 비교하여 전하 결합 소자 플랫폼(charged coupled device platform) 내에서 상이할 수 있지만, 전하 결합 소자 카메라들 내의 잡음을 줄이기 위해 같은 기술들이 적용될 수 있다. 마찬가지로, 다른 카메라 플랫폼들도 본 게시물의 범위 내에 있다. 추가적으로, 현미경이 본 게시물 내내 설명되었지만, 본 게시물은 또한 망원 카메라들(telescope cameras)과 같은 다른 영역들에도 적용된다는 점이 인식되야만 한다.
당업자들은, 전술된 구체적인 구현들에 수많은 수정들이 행해질 수 있다는 것을 인식할 것이다. 구현들은 설명된 특정 제한들에 국한되어서는 안 된다. 다른 구현들이 가능할 수 있다.

Claims (40)

  1. 카메라 이미지 내의 잡음(noise)을 감소시키기 위한 시스템으로서,
    하나 이상의 처리기들; 및
    상기 처리기들에 동작적으로(operatively) 연결된 전자 검출기를 갖는 카메라를 포함하고,
    상기 처리기들은 카메라 이미지들의 잡음을 감소시키도록 구성되고,
    상기 처리기들은:
    복수의 화소들로부터 화소 데이터를 나타내는, 광자의 양자성으로부터 기인하는 포이손 잡음(Poisson noise)을 가지는 입력 이미지 데이터를 상기 카메라로부터 수신하고 - 각 화소는 연관된 화소에 의해 생성되는 가우스 잡음(Gaussian noise)과 연관되고, 상기 카메라는 주파수 도메인에서 그 내부는 신호 및 잡음이 점유하고 외부에는 잡음만 있는 경계를 나타내는 광학 전달 함수(optical transfer function; OTF)를 정의하고, 상기 잡음은 상기 포이손 잡음과 상기 가우스 잡음의 조합임 -,
    상기 입력 이미지 데이터를 복수의 세그먼트들로 분할하고,
    상기 복수의 세그먼트들의 각 세그먼트에 대해서:
    초기 세그먼트 이미지를 구축하고,
    게인(gain) 및 오프셋(offset)에 대한 미리 결정된 지도(map)에 기초하여 각 화소의 전압 오프셋 및 게인을 반영하도록 화소 데이터를 수정함으로써 상기 화소 데이터를 사전-교정(pre-correct)하고,
    상기 OTF-정의된 경계의 외부로부터의 상기 잡음을 감소시켜 비용 함수를 최소화함으로써 출력 이미지의 추정을 획득하고, 상기 추정된 이미지를 출력하여 다른 추정된 및 출력된 이미지 세그먼트들과 스티치하고(stitch),
    상기 스티치된 추정 이미지들을 포함하는 잡음 감소된 이미지를 출력하도록 구성된, 잡음 감소 시스템.
  2. 제1 항에 있어서,
    출력 이미지를 추정하는 단계는:
    A - 상기 세그먼트에 대한 잡음 마스크를 획득하는 단계;
    B - 반복되는 세그먼트 이미지의 이산 푸리에 변환(discrete Fourier transform; DFT)을 획득하는 단계;
    C - 상기 세그먼트의 상기 DFT에 상기 잡음 마스크를 적용함으로써 상기 세그먼트 내의 잡음 기여(noise contribution)를 획득하는 단계;
    D - 화소 값들에 기초하여 상기 세그먼트에 대한 음의 로그-우도 함수(negative log-likelihood function)를 계산하는 단계로서, 상기 음의 로그-우도 함수는 상기 반복되는 세그먼트 이미지와 초기 세그먼트 이미지 사이의 통계를 사용하여 음의 유사성(우도) 측정을 나타내는, 상기 음의 로그-우도 함수 계산 단계;
    E - 상기 음의 로그-우도 함수에 상기 잡음 기여를 더함으로써 비용 함수를 계산하는 단계;
    F - 화소 값들을 조정함으로써 상기 비용 함수를 최소화하여, 새로운 반복되는 세그먼트 이미지를 획득하고, 반복-최소화 처리에서 단계들 B - E를 반복하는 단계;
    G - 상기 비용 함수가 최소화될 때 잡음 감소된 세그먼트 이미지를 출력하는 단계를 포함하는, 잡음 감소 시스템.
  3. 제2 항에 있어서,
    상기 잡음 마스크는 상기 카메라의 상기 OTF에 기초한, 잡음 감소 시스템.
  4. 제3 항에 있어서,
    상기 잡음 마스크는
    Figure 112019089632653-pct00098
    로 나타내지는 고역-통과 레이즈드-코사인 필터(high-pass raised-cosine filter)에 기초하고,
    Figure 112019089632653-pct00099
    이고, M은 상기 잡음 마스크이고, β 및 T는 NA 및
    Figure 112019089632653-pct00100
    에 기초한 조정가능 매개변수들로, NA는 개구수를 나타내고, λ는 검출 파장을 나타내는, 잡음 감소 시스템.
  5. 제4 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 β = 1 및 T = λ/5.6NA로 표현된 OTF-가중 마스크에 기초하는, 잡음 감소 시스템.
  6. 제4 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 β = 0.2 및 T = (1 - β)/4NA로 표현된 OTF 잡음-전용 마스크에 기초하는, 잡음 감소 시스템.
  7. 제4 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는
    Figure 112019089632653-pct00101
    로 표현되는 조정가능 OTF 마스크에 기초하고, 폭 w는 10-6 내지 2에서 조정될 수 있고, 높이 h는 0 내지 1에서 조정될 수 있는, 잡음 감소 시스템.
  8. 제4 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 폭 및 높이의 최소 2개의 매개변수들에 기초하는 조정가능 OTF 마스크에 기초하는, 잡음 감소 시스템.
  9. 제7 항에 있어서,
    상기 폭은 10-6 내지 2NA/λ에서 가변할 수 있고, 상기 높이는 0 내지 1에서 가변할 수 있는, 잡음 감소 시스템.
  10. 제4 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 사용자 정의-마스크에 기초하는, 잡음 감소 시스템.
  11. 제1 항에 있어서,
    상기 게인 및 오프셋에 대한 미리결정된 지도는 카메라 제조업자에 의해 제공되거나 상기 복수의 화소들의 각 화소를 특성화함으로써 획득되는, 잡음 감소 시스템.
  12. 제1 항에 있어서,
    상기 사전-교정은:
    Figure 112019089632653-pct00102
    로 수행되고, D i 은 사전-교정된 화소 데이터 i이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타내는, 잡음 감소 시스템.
  13. 제4 항에 있어서,
    LxL 이미지의 상기 DFT는:
    Figure 112019089632653-pct00103
    로 나타내지고,
    Figure 112019089632653-pct00104
    이고, m, n, p, q는 1만큼 증분되는 지수들이고,
    Figure 112019089632653-pct00105
    ,
    Figure 112019089632653-pct00106
    , 및
    Figure 112019089632653-pct00107
    는 2차원 내에서의 상기 이미지의 화소 크기를 나타내는, 잡음 감소 시스템.
  14. 제13 항에 있어서,
    Figure 112019089632653-pct00108
    는 대체로(substantially)
    Figure 112019089632653-pct00109
    와 같은, 잡음 감소 시스템.
  15. 제13 항에 있어서,
    상기 잡음 기여는:
    Figure 112019089632653-pct00110
    로 나타내지는, 잡음 감소 시스템.
  16. 제15 항에 있어서,
    우도 함수는:
    Figure 112019089632653-pct00111
    로 나타내지고, i는 화소 색인이고, N은 이미지의 화소들의 수이고,
    Figure 112019089632653-pct00112
    는 보정량인, 잡음 감소 시스템.
  17. 제16 항에 있어서,
    Figure 112019089632653-pct00113
    는
    Figure 112019089632653-pct00114
    이고,
    Figure 112019089632653-pct00115
    및
    Figure 112019089632653-pct00116
    는 각각 화소 i의 분산 및 게인인, 잡음 감소 시스템.
  18. 제17 항에 있어서,
    상기 음의 로그-우도 함수는:
    Figure 112019089632653-pct00117
    로 표현되고, D i 는
    Figure 112019089632653-pct00118
    로 표현되는 사전-교정된 화소 데이터이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타내는, 잡음 감소 시스템.
  19. 제18 항에 있어서,
    상기 입력 이미지의 분할은 1x1에서 상기 전자 검출기의 최대 크기까지의 크기들의 세그먼트들에 기초하는, 잡음 감소 시스템.
  20. 제18 항에 있어서,
    카메라-추가 잡음은 최대 대략 80%까지 감소하는, 잡음 감소 시스템.
  21. 카메라 이미지로부터 잡음을 감소시키는 방법으로서,
    복수의 화소들로부터 화소 데이터를 나타내는, 광자의 양자성으로부터 기인하는 포이손 잡음을 가지는 입력 이미지 데이터를 전자 검출기를 갖는 카메라로부터 수신하는 단계 - 각 화소는 연관된 화소에 의해 생성되는 가우스 잡음과 연관되고, 상기 카메라는 주파수 도메인에서 그 내부는 신호 및 잡음이 점유하고 외부에는 잡음만 있는 경계를 나타내는 광학 전달 함수(OTF)를 정의하고, 상기 잡음은 상기 포이손 잡음과 상기 가우스 잡음의 조합임 - ;
    상기 입력 이미지 데이터를 복수의 세그먼트들로 분할하는 단계:
    상기 복수의 세그먼트들의 각 세그먼트에 대해서:
    초기 세그먼트 이미지를 구축하는 단계;
    게인 및 오프셋에 대한 미리결정된 지도에 기초하여 각 화소의 전압 오프셋 및 게인을 반영하도록 화소 데이터를 수정함으로써 상기 화소 데이터를 사전-교정하는 단계;
    상기 OTF-정의된 경계의 외부로부터의 상기 잡음을 감소시켜 비용 함수를 최소화함으로써 출력 이미지의 추정을 획득하고, 상기 추정된 이미지를 출력하여 다른 추정된 및 출력된 이미지 세그먼트들과 스티치하는 단계; 및
    상기 스티치된 추정 이미지들을 포함하는 잡음 감소된 이미지를 출력하는 단계를 포함하는, 잡음 감소 방법.
  22. 제21 항에 있어서,
    출력 이미지를 추정하는 단계는:
    A - 상기 세그먼트에 대한 잡음 마스크를 획득하는 단계;
    B - 반복되는 세그먼트 이미지의 이산 푸리에 변환(DFT)을 획득하는 단계;
    C - 상기 세그먼트의 상기 DFT에 상기 잡음 마스크를 적용함으로써 상기 세그먼트 내의 잡음 기여를 획득하는 단계;
    D - 화소 값들에 기초하여 상기 세그먼트에 대한 음의 로그-우도 함수를 계산하는 단계로서, 상기 음의 로그-우도 함수는 상기 반복되는 세그먼트 이미지와 초기 세그먼트 이미지 사이의 음의 유사성(우도) 측정을 나타내는, 상기 음의 로그-우도 함수 계산 단계;
    E - 상기 음의 로그-우도 함수에 상기 잡음 기여를 더함으로써 비용 함수를 계산하는 단계;
    F - 화소 값들을 조정함으로써 상기 비용 함수를 최소화하여, 새로운 반복되는 세그먼트 이미지를 획득하고, 반복-최소화 처리에서 단계 B - E를 반복하는 단계; 및
    G - 상기 비용 함수가 최소화될 때 잡음 감소된 세그먼트 이미지를 출력하는 단계를 포함하는, 잡음 감소 방법.
  23. 제22 항에 있어서,
    상기 잡음 마스크는 상기 카메라의 상기 OTF에 기초한, 잡음 감소 방법.
  24. 제23 항에 있어서,
    상기 잡음 마스크는
    Figure 112019089632653-pct00119
    로 나타내지는 고역-통과 레이즈드-코사인 필터에 기초하고,
    Figure 112019089632653-pct00120
    이고, M은 상기 잡음 마스크이고, β 및 T는 NA 및
    Figure 112019089632653-pct00121
    에 기초한 조정가능 매개변수들로, NA는 개구수를 나타내고, λ는 검출 파장을 나타내는, 잡음 감소 방법.
  25. 제24 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 β = 1 및 T = λ/5.6NA로 표현된 OTF-가중 마스크에 기초하는, 잡음 감소 방법.
  26. 제24 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 β = 0.2 및 T = (1 - β)/4NA로 표현된 OTF 잡음-전용 마스크에 기초하는, 잡음 감소 방법.
  27. 제24 항에 있어서, 상기 고역-통과 레이즈드-코사인 필터는
    Figure 112019089632653-pct00122
    로 표현되는 조정가능 OTF 마스크에 기초하고, 폭 w는 10-6 내지 2에서 조정될 수 있고, 높이 h는 0 내지 1에서 조정될 수 있는, 잡음 감소 방법.
  28. 제24 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 폭 및 높이의 최소 2개의 매개변수들에 기초하는 조정가능 OTF 마스크에 기초하는, 잡음 감소 방법.
  29. 제28 항에 있어서,
    상기 폭은 10-6 내지 2NA/λ에서 가변할 수 있고, 상기 높이는 0 내지 1에서 가변할 수 있는, 잡음 감소 방법.
  30. 제24 항에 있어서,
    상기 고역-통과 레이즈드-코사인 필터는 사용자 정의-마스크에 기초하는, 잡음 감소 방법.
  31. 제21 항에 있어서,
    상기 게인 및 오프셋에 대한 미리결정된 지도는 카메라 제조업자에 의해 제공되거나 상기 복수의 화소들의 각 화소를 특성화함으로써 획득되는, 잡음 감소 방법.
  32. 제21 항에 있어서,
    상기 사전-교정은:
    Figure 112019089632653-pct00123
    로 수행되고, D i 은 사전-교정된 화소 데이터 i이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타내는, 잡음 감소 방법.
  33. 제24 항에 있어서,
    LxL 이미지의 상기 DFT는:
    Figure 112019089632653-pct00124
    로 나타내지고,
    Figure 112019089632653-pct00125
    이고, m, n, p, q는 1만큼 증분되는 지수들이고,
    Figure 112019089632653-pct00126
    ,
    Figure 112019089632653-pct00127
    , 및
    Figure 112019089632653-pct00128
    는 2차원 내에서의 상기 이미지의 화소 크기를 나타내는, 잡음 감소 방법.
  34. 제33 항에 있어서,
    Figure 112019089632653-pct00129
    는 대체로
    Figure 112019089632653-pct00130
    와 같은, 잡음 감소 방법.
  35. 제33 항에 있어서,
    상기 잡음 기여는:
    Figure 112019089632653-pct00131
    로 나타내지는, 잡음 감소 방법.
  36. 제35 항에 있어서,
    우도 함수는:
    Figure 112019089632653-pct00132
    로 나타내지고, i는 화소 색인이고, N은 이미지의 화소들의 수이고,
    Figure 112019089632653-pct00133
    는 보정량인, 잡음 감소 방법.
  37. 제36 항에 있어서,
    Figure 112019089632653-pct00134
    는
    Figure 112019089632653-pct00135
    이고,
    Figure 112019089632653-pct00136
    및
    Figure 112019089632653-pct00137
    는 각각 화소 i의 분산 및 게인인, 잡음 감소 방법.
  38. 제37 항에 있어서,
    상기 음의 로그-우도 함수는:
    Figure 112019089632653-pct00138
    로 표현되고, D i 는
    Figure 112019089632653-pct00139
    로 표현되는 사전-교정된 화소 데이터이고, A i 는 교정되지 않은 화소를 나타내고, o i 는 화소 i에 대한 오프셋을 나타내고, g i 는 화소 i에 대한 게인을 나타내는, 잡음 감소 방법.
  39. 제38 항에 있어서,
    상기 입력 이미지의 상기 분할은 1x1에서 상기 전자 검출기의 최대 크기까지의 크기들의 세그먼트들에 기초하는, 잡음 감소 방법.
  40. 제38 항에 있어서,
    카메라-추가 잡음은 최대 대략 80%까지 감소하는, 잡음 감소 방법.
KR1020197025616A 2017-01-30 2018-01-29 이미징 잡음 감소 시스템 및 방법 KR102396261B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762452326P 2017-01-30 2017-01-30
US62/452,326 2017-01-30
PCT/US2018/015795 WO2018140900A1 (en) 2017-01-30 2018-01-29 Imaging noise reduction system and method

Publications (2)

Publication Number Publication Date
KR20190113889A KR20190113889A (ko) 2019-10-08
KR102396261B1 true KR102396261B1 (ko) 2022-05-10

Family

ID=62979181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197025616A KR102396261B1 (ko) 2017-01-30 2018-01-29 이미징 잡음 감소 시스템 및 방법

Country Status (4)

Country Link
US (1) US11074674B2 (ko)
JP (1) JP6909379B2 (ko)
KR (1) KR102396261B1 (ko)
WO (1) WO2018140900A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854162B2 (en) * 2019-02-18 2023-12-26 Georgia Tech Research Corporation Microscopy with near-ideal sCMOS camera
CN110246513B (zh) * 2019-07-08 2021-08-24 维沃移动通信有限公司 语音信号的处理方法及移动终端
US11669939B1 (en) * 2019-10-07 2023-06-06 Gopro, Inc. Burst deblurring with kernel estimation networks
CN117941369A (zh) * 2021-09-15 2024-04-26 浜松光子学株式会社 推定方法、推定程序及推定装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110405A1 (en) * 2012-04-30 2015-04-23 Nikon Corporation Point spread function cost function with non-uniform weights

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4795610B2 (ja) * 2000-05-01 2011-10-19 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 放射センサの温度変動を補償するための方法および装置
US7009636B2 (en) * 2001-11-13 2006-03-07 The Board Of Trustees Of The Leland Stanford Junior University Photocurrent estimation from multiple captures for simultaneous SNR and dynamic range improvement in CMOS image sensors
WO2007118097A1 (en) * 2006-04-03 2007-10-18 Omnivision Cdm Optics, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US7623723B2 (en) * 2003-11-26 2009-11-24 GE Medical Systems Global Technology Com. Method for random point and patterned noise reduction in digital images
EP2024902A4 (en) * 2006-02-13 2012-06-13 Univ Chicago IMAGE RECONSTRUCTION FROM INCOMPLETE OR LIMITED NUMBERS
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
DE102009039987A1 (de) * 2009-09-03 2011-03-17 Siemens Aktiengesellschaft Iterativer CT-Bildfilter zur Rauschreduktion
US8665361B1 (en) * 2010-05-21 2014-03-04 Southern Methodist University Enhancing imaging performance through the use of active illumination
EP2974259A4 (en) * 2013-03-15 2016-08-31 Univ Yale TECHNIQUES FOR PROCESSING IMAGE DATA WITH SENSOR DEPENDENT NOISE

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110405A1 (en) * 2012-04-30 2015-04-23 Nikon Corporation Point spread function cost function with non-uniform weights

Also Published As

Publication number Publication date
US11074674B2 (en) 2021-07-27
WO2018140900A1 (en) 2018-08-02
US20190385280A1 (en) 2019-12-19
JP2020524422A (ja) 2020-08-13
KR20190113889A (ko) 2019-10-08
JP6909379B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
KR102396261B1 (ko) 이미징 잡음 감소 시스템 및 방법
US10432861B2 (en) Scene motion correction in fused image systems
Zhou et al. What are good apertures for defocus deblurring?
CN113228628B (zh) 用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法
US20200160493A1 (en) Image filtering based on image gradients
JP4460839B2 (ja) デジタル画像鮮鋭化装置
Zhu et al. Deconvolving PSFs for a better motion deblurring using multiple images
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
US20170069060A1 (en) Temporal Multi-Band Noise Reduction
CN113170030A (zh) 使用神经网络对摄影曝光不足进行校正
US8908989B2 (en) Recursive conditional means image denoising
CN103971331B (zh) 图像处理装置、图像拾取装置和图像处理方法
US20060226337A1 (en) Digital image denoising
JP2003150956A (ja) ノイズ除去、ノイズ推定、又はディジタル画像強調のためにディジタル画像を空間フィルタリングする方法
CN111553867B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
US20240323548A1 (en) Blind image denoising method, electronic device, and storage medium
Trimeche et al. Multichannel image deblurring of raw color components
Zhang et al. INFWIDE: Image and feature space Wiener deconvolution network for non-blind image deblurring in low-light conditions
Yadav et al. Evaluation of image deblurring techniques
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Rabie Adaptive hybrid mean and median filtering of high-ISO long-exposure sensor noise for digital photography
CN109785234B (zh) 一种拉曼成像方法、系统以及装置
CN112767242B (zh) 一种基于频域去卷积的图像处理方法、装置及电子设备
US10748252B2 (en) Method and device for image correction
RU2405200C2 (ru) Способ и устройство быстрого фильтрования шума цифровых изображений

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant