KR101576237B1 - 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법 - Google Patents

이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법 Download PDF

Info

Publication number
KR101576237B1
KR101576237B1 KR1020120080815A KR20120080815A KR101576237B1 KR 101576237 B1 KR101576237 B1 KR 101576237B1 KR 1020120080815 A KR1020120080815 A KR 1020120080815A KR 20120080815 A KR20120080815 A KR 20120080815A KR 101576237 B1 KR101576237 B1 KR 101576237B1
Authority
KR
South Korea
Prior art keywords
image
pixel
pixels
value
noise ratio
Prior art date
Application number
KR1020120080815A
Other languages
English (en)
Other versions
KR20130014025A (ko
Inventor
요한슨 필립
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20130014025A publication Critical patent/KR20130014025A/ko
Application granted granted Critical
Publication of KR101576237B1 publication Critical patent/KR101576237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다수의 이미지 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하는 방법에 관한 것으로, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다. 상기 방법은, 빈들(bins)로 분할된 이미지 히스토그램을 제공하는 단계, 상기 이미지 히스토그램은 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고, 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며; 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화하는 단계; 이미지 히스토그램의 각각의 빈(bin)에 대하여, 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하는 단계; 상기 빈들(bins)의 가중화된 신호대잡음비 값들을 합산하는 단계; 그리고 상기 빈들(bins)의 가중화된 신호대잡음비 값들의 합계를, 상기 출력 이미지의 이미지 픽셀들의 총 개수로 혹은 상기 이미지 히스토그램의 상기 빈들(bins) 내의 이미지 픽셀들의 총 개수로 나누는 단계를 포함한다. 또한, 본 발명은 다수의 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하도록 된 카메라에 관한 발명으로서, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다.

Description

이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법{METHOD AND CAMERA FOR PROVIDING AN ESTIMATION OF A MEAN SIGNAL TO NOISE RATIO VALUE FOR AN IMAGE}
본 발명은 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하는 방법에 관한 것이다. 또한, 본 발명은 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하도록 된 카메라에 관한 것이다.
이미지 센서를 이용하여 카메라로 캡처된 이미지들은 가령, 판독 노이즈 σr 및/또는 포톤 샷 노이즈(photon shot noise) σph 등과 같은 다양한 소스들로부터의 노이즈(이하, '잡음' 또는 '노이즈' 라함)들을 포함할 것이다. 이들 이미지들에 대한 많은 후속 사용예들은, 상기 이미지들 내의 노이즈의 감소를 요구할 것이다. 이미지의 노이즈를 감소시키기 위하여 노이즈 필터링이 사용된다. 노이즈 필터링을 이미지에 적용하는 경우, 이미지 내에 얼마나 많은 노이즈들이 존재하는가에 따라 노이즈 필터링 방법과 노이즈 필터링의 강도를 조절하는 것이 중요하다. 신호대잡음비 값(Signal to Noise Ration value : SNR value)은 이미지 내의 노이즈에 대한 이미지 신호의 강도를 정량화할 수 있으며, 따라서 노이즈 필터링을 이미지에 적용하는 경우 상기 SNR 값은 매우 중요한 파라미터이다. 특히, 이미지에 노이즈 필터링을 적용하는 경우, 전체 이미지에 대한 평균 SNR 값의 추정치(estimation of mean SNR value)는 매우 유용하다. 평균 SNR 값의 다른 활용 분야는, 카메라의 주간(day)/야간(night) 기능을 언제 활성화시킬지를 나타내는 표지(indication)로서 평균 SNR 값을 이용하는 것이다. 이미지 신호에 대하여 노이즈가 큼을(혹은 증가함을) 나타내는 작은(혹은 감소하는) 평균 SNR 값은, 카메라의 야간 기능(night functionality)이 활성화될 필요가 있음을 나타낼 수 있다. 평균 SNR 값의 또 다른 활용 분야는, 허용가능한 노이즈 레벨을 생성하는 노출 시간을 찾아내기 위한 자동노출 알고리즘에 평균 SNR 값을 이용하는 것이다.
확률 변수 S(stochastic variable S)에 대해서 SNR 값은 다음과 같이 정의된다(이미징 분야에서 이용되는 정의).
Figure 112012059244438-pat00001
(A)
여기서, E(S)는 신호 S의 기대값(expectancy value)이며, 그리고 σ는 신호 S의 표준 편차이다. 이미지 프로세싱 파이프라인에서, 수식 (A)를 이용하여 이미지 데이터로부터 SNR 값을 계산하는 것은 처리 용량의 관점에서 매우 고비용인 작업이며, 따라서 추정된 SNR 값이 요구된다. 출력 이미지를 생성하기 위하여 단일 노출을 이용하는 카메라의 경우, 장면(scene)의 평균적인 휘도 값(average luminance value)을 신호의 기대값으로 이용하고 그리고 상기 신호의 표준 편차를 위해서 미리-계산된(pre-calculate) 판독 노이즈 값들을 이용함에 의해서 이러한 것이 종종 수행된다. 하지만, 이러한 방법은 가령, 다중-노출 HDR 이미지들과 같은 다중 노출 이미지들에는 작용하지 않을 것이다. 왜냐하면, 다중 노출 이미지들은 서로 다른 노출 시간들을 갖는 다양한 노출들로부터 스티치된(stitched) 이미지들로 구성되기 때문이며, 이는 곧, 스티치된 이미지의 서로 다른 노출 영역들 사이에서 노이즈 레벨들 및/또는 소스들이 변할 수도 있음을 의미하며, 이는 또한 스티치된 이미지의 서로 다른 노출 영역들에서 SNR 값이 다름을 의미한다.
따라서, 이미지의 평균 SNR 값을 추정하기 위한 대안적인 방법이 요구되고 있다.
전술한 바를 감안한 본 발명의 목적은 이미지에 대한 평균 SNR 값을 추정하는 방법 및 카메라를 제공하는 것이다.
본 발명의 다른 목적은 복수의 이미지들로부터 스티치된 출력 이미지에 대해서 평균 SNR 값을 추정하도록 된 방법 및 카메라를 제공하는 것이다.
특히, 본 발명의 제 1 양상에 따르면, 다수의 이미지 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하기 위한 방법이 제공되는바, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다. 상기 방법은, 빈들(bins)로 분할된 이미지 히스토그램을 제공하는 단계, 상기 이미지 히스토그램은 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고, 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며; 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화(attributing)하는 단계; 이미지 히스토그램의 각각의 빈(bin)에 대하여, 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하는 단계; 상기 빈들(bins)의 가중화된 신호대잡음비 값들을 합산하는 단계; 그리고 상기 빈들(bins)의 가중화된 신호대잡음비 값들의 합계를, 상기 출력 이미지의 이미지 픽셀들의 총 개수로 혹은 상기 이미지 히스토그램의 상기 빈들(bins) 내의 이미지 픽셀들의 총 개수로 나누는 단계를 포함한다.
전술한 바에 따르면, 이미지에 대한 추정된 평균 SNR 값을 제공할 수 있는 방법이 획득된다. 출력 이미지에 대한 추정된 평균 SNR 값을 제공함으로써, 출력 이미지에 대한 노이즈 필터링을 수행하기 위해서 이러한 평균 신호대잡음비 값을 이용하는 것이 가능해질 것이다. 또한, 추정된 평균 SNR 값은, 카메라의 주간/야간 기능을 활성화시키는데에도 이용될 수 있다. 또 다른 활용분야는 평균 SNR 값을 자동 노출 알고리즘에 이용하는 것이다. 전술한 방법에 따른 매우 중요한 장점은, 적은 계산 비용(Low calculation cost)만으로도, 이미지에 대한 추정된 평균 SNR 값을 제공할 수 있다라는 점이다.
출력 이미지는 다수의 이미지 픽셀들로 구성된 임의 종류의 이미지가 될 수 있으며, 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다. 출력 이미지는 복수의 다른 이미지들을 스티칭함에 의해서 획득된 하나의 이미지가 될 수도 있다. 이와 같은 스티치된 출력 이미지는 가령, 다중-노출 HDR 이미지 등과 같은 다중 노출 이미지가 될 수도 있으며, 파노라마 이미지 혹은 2개 이상의 이미지들을 스티칭함에 의해서 얻어진 임의의 유형의 이미지가 될 수도 있다. 또한, 출력 이미지는 이미지의 서브셋이 될 수도 있다. 즉, 출력 이미지는 다른 이미지로부터의 컷아웃(cutout)될 수도 있다.
출력 이미지의 이미지 픽셀의 픽셀 값은 통상적으로 이미지 센서로부터의 출력 신호 혹은 출력 신호들의 조합이다. 일반적으로 이미지 센서는 센서 픽셀들로 분할된다. 이미지 센서의 각각의 센서 픽셀들은 픽셀 값을 출력하도록 배열된다. 픽셀 값은 이미지 센서의 해당 센서 픽셀에서 수신된 광자들의 개수에 대한 함수이다. 예를 들어 상기 픽셀 값은, 이미지 센서로부터 아날로그-디지털 유닛에 의해서 구체화될 수 있으며 혹은, 이미지 센서의 출력을 나타내는 다른 분량들(quantities)이 될 수도 있다. 적어도 일부의 센서 픽셀들에 대한 픽셀 값들은 이미지 센서에 의해서 캡처된 이미지의 대응 이미지 픽셀들의 픽셀 값들을 구성한다. 즉, 몇몇 센서 픽셀들로부터의 픽셀 값들은, 예를 들어, 암전류(dark current) 및/또는 이미지 센서의 다른 특성들을 계산하는데 이용될 수 있으며, 일부 센서 픽셀들로부터의 다른 픽셀 값들은 예컨대 이미지와는 관련이 없는 것으로 간주될 수 있으며 그리고 몇몇 다른 센서 픽셀들로부터의 픽셀 값들은 이미지 센서에 의해서 캡처된 이미지의 픽셀 값들을 유도하는데 이용될 수 있다.
출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고 있는 이미지 히스토그램(image histogram)은, 출력 이미지를 캡처하는데 이용되는 이미지 센서에 의해서 제공될 수 있다. 다중-노출 이미지의 경우, 이미지 히스토그램은 복수의 노출들을 조합한 이후의 픽셀 값들의 분포를 나타낸다. 이미지 히스토그램 내의 각각의 빈(bin)은 픽셀 값들의 범위를 나타낸다. 따라서, 이미지 히스토그램은 각각의 빈(bin) 내에서 픽셀 값을 갖는 이미지 픽셀들의 개수에 관한 정보를 포함한다.
본 발명의 일실시예에 따르면, 상기 출력 이미지는 복수의 이미지들의 이미지 픽셀들로부터 생성되는(originating) 픽셀 값들을 갖는 이미지 픽셀들을 포함한다. 즉, 출력 이미지는 복수의 이미지들을 스티칭함에 의해서 형성되는 하나의 이미지가 될 수도 있다. 따라서, 출력 이미지는 가령, 다중 노출 HDR 이미지 혹은 2개 이상의 이미지들을 조합함으로써 형성되는 파노라마 이미지 등등과 같은 다중 노출 이미지가 될 수 있다.
본 발명의 다른 실시예에 따르면, 상기 복수의 이미지들은 서로 다른 노출 시간들을 가질 수 있다. 이는 다중 노출 HDR 이미지 등과 같은 다중 노출 이미지가 바로 그런 경우이다.
본 발명의 다른 실시예에 따르면, 상기 출력 이미지의 제 1 픽셀에 대한 픽셀 값은 상기 복수의 이미지들 중 제 1 이미지의 픽셀로부터의 픽셀 값이 될 수 있으며 그리고 상기 출력 이미지의 제 2 픽셀에 대한 픽셀 값은 상기 복수의 이미지들 중 제 2 이미지의 픽셀로부터의 픽셀 값이 될 수 있다. 즉, 출력 이미지는, 출력 이미지를 형성하는데 이용되는 상기 복수의 이미지들 중 오직 하나의 이미지로부터의 이미지 데이터를 포함하는 픽셀들을 포함하여 구성될 수 있다. 이러한 것은 임의 유형의 다중 노출 출력 이미지에 대해 동일하게 적용된다.
본 발명의 다른 실시예에 따르면, 상기 출력 이미지의 픽셀들 중 적어도 하나에 대한 픽셀 값은, 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 픽셀들의 픽셀 값들을 조합함에 의해서 획득되는 픽셀 값이 될 수 있다. 즉, 출력 이미지는, 출력 이미지를 형성하는데 이용되는 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 이미지 데이터를 포함하는 픽셀들을 포함하여 구성될 수 있다. 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 픽셀들의 픽셀 값들은, 해당 기술분야의 당업자에게 알려진 수많은 다양한 방식으로 조합될 수 있다. 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터 픽셀들의 픽셀 값들을 조합하는 이러한 방법들 중 하나가 실시예들에 관한 설명 부분에 서술될 것이다. 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 픽셀들의 픽셀 값들을 조합하는 또 다른 방법은 US 2009/0059039 및 US 2010/0310190에 설명된다. 2개 이상의 이미지들로부터 픽셀 값들을 조합하는 것은, 임의의 종류의 다중 노출 이미지에 대해서 수행될 수 있다. 다중-노출 HDR-이미지의 경우, 이것은 천이 영역들(transition regions)에 대응하며, 천이 영역들에서는 출력 이미지의 더 높은 다이내믹 레인지를 획득하기 위해서 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터 이미지 데이터가 이용된다. 파노라마 이미지의 경우 이것은 파노라마 이미지를 구성하는 이미지들 중 적어도 2개로부터의 기여분들(contributions)을 갖는 이미지의 소정 영역에 대응하는바 즉, 파노라마 이미지를 구성하는 적어도 2개의 이미지들의 중첩 영역에 대응한다.
본 발명의 다른 실시예에 따르면, 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 이미지 픽셀들의 픽셀 값들을 결합함에 의해서 획득되는 픽셀 값을 갖는 상기 이미지 픽셀을 포함하는 상기 이미지 히스토그램의 상기 빈들(bins)의 빈(bin)에 대한 신호대잡음비 값을 속성화(attributing)하는 행위는, 상기 복수의 이미지들 중 상기 적어도 2개의 이미지들로부터의 상기 이미지 픽셀들의 상기 픽셀 값들에 대한 신호대잡음비 값들을 결합하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따르면 컴퓨터-판독가능한 기록 매체가 제공된다. 이러한 컴퓨터-판독가능한 기록 매체에는 프로세싱 능력을 갖는 디바이스 상에서 실행되는 때에 전술한 실시예들 중 어느 하나에 따른 방법을 구현할 수 있는 프로그램이 기록되어 있다.
본 발명의 다른 실시예에 따르면, 다수의 이미지 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하도록 된 카메라가 제공되며, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다. 상기 카메라는, 상기 출력 이미지의 이미지 픽셀들의 픽셀 값들을 유도하는데 이용되는 픽셀 값들을 캡처하도록 된 이미지 센서와; 상기 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고 있는 이미지 히스토그램을 제공하도록 된 이미지 히스토그램 제공기, 상기 이미지 히스토그램의 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며; 상기 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화하도록 된 신호대잡음비 값 속성화기(attributor)와; 그리고 상기 이미지 히스토그램의 각각의 빈(bin)에 대하여 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하고, 상기 빈들(bins)의 가중화된 신호대잡음비 값들을 합산하고, 그리고 상기 빈들(bins)의 가중화된 신호대잡음비 값들의 합계를 상기 출력 이미지의 이미지 픽셀들의 총 개수로 혹은 상기 이미지 히스토그램의 상기 빈들(bins) 내의 이미지 픽셀들의 총 개수로 나눔에 의해서, 상기 평균 신호대잡음비 값을 계산하도록 된 계산기를 포함한다.
본 발명의 일실시예에 따르면 상기 카메라는, 상기 출력 이미지를 형성하도록, 상기 이미지 센서에 의해서 캡처된 복수의 이미지들로부터 생성된 이미지 픽셀들의 픽셀 값들을 결합하는 이미지 결합기(image combiner)를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 복수의 이미지들은 서로 다른 노출 시간들을 이용하여 캡처될 수 있다.
본 발명의 일실시예에 따르면 상기 이미지 결합기는 상기 복수의 이미지들 중 제 1 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 1 이미지 픽셀의 픽셀 값을 형성하고 그리고 상기 복수의 이미지들 중 제 2 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 2 이미지 픽셀의 픽셀 값을 형성하도록 구성될 수 있다.
본 발명의 일실시예에 따르면 상기 이미지 결합기는, 상기 출력 이미지의 이미지 픽셀들의 적어도 하나의 이미지 픽셀에 대한 픽셀 값을 형성하도록, 상기 이미지 센서에 의해서 캡처된 상기 복수의 이미지들 중 적어도 2개의 이미지들의 이미지 픽셀들로부터의 픽셀 값들을 결합하도록 구성될 수 있다.
본 발명의 일실시예에 따르면 상기 신호대잡음비 값 속성화기는, 상기 출력 이미지의 이미지 픽셀들의 상기 적어도 하나의 이미지 픽셀을 포함하는 상기 이미지 히스토그램의 상기 빈들(bins)의 빈(bin)에 대한 신호대잡음비 값을 속성화(attribute)하기 위하여, 상기 출력 이미지의 이미지 픽셀들 중 상기 적어도 하나의 이미지 픽셀의 상기 픽셀 값들을 획득하는데 이용되는 상기 복수의 이미지들 중 상기 적어도 2개의 이미지들의 이미지 픽셀들의 픽셀 값들의 신호대잡음비 값들을 결합하도록 구성될 수 있다.
본 발명의 일실시예에 따르면 상기 카메라는, 픽셀 값들의 함수로서 신호대잡음비 값들의 테이블들 혹은 픽셀 값들의 함수로서 신호대잡음 값들을 계산하기 위한 하나 이상의 기결정된 함수들 및 파라미터 값들을 포함하는 메모리를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 이미지 히스토그램의 각각의 빈(bin)에 대한 신호대잡음비 값은 상기 이미지 센서의 온도에 의존한다.
본 발명의 이러한 양상들 및 다른 양상들은 본 발명의 실시예들을 도시하는 첨부된 도면들을 참조하여 상세히 설명될 것이다. 이러한 도면들은 특정한 실시예만으로 본 발명을 제한하는 것으로 의도되어서는 않되며, 그 대신 이들 도면들은 본 발명을 설명 및 이해시키는데 이용된다. 도면들에서 유사한 도면부호들은 유사한 구성요소들을 나타낸다.
도1은 본 발명의 일실시예에 따른 카메라의 개략적인 도면이다.
도2는 본 발명의 일실시예에 따른 방법을 보여주는 순서도의 개략적인 도면이다.
수식 (A)를 이용하여 평균 SNR 값을 계산하는 것은 프로세서 용량의 관점에서 매우 고가의 작업이며 그리고 다중-노출 이미지들과 같은 스티치된 출력 이미지들에 대해서는 정확한 결과를 제공하지 않을 것이다.
본 발명에 따르면, 출력 이미지에 대한 평균 SNR 값의 추정치를 낮은 프로세싱 비용으로 제공할 수 있다라는 장점을 갖는다. 또한, 본 발명은 스티치된 출력 이미지에 대한 추정된 평균 SNR 값을 제공하는데 이용될 수 있으며 특히, 서로 다른 노출 시간들에서 레지스터된(registered) 복수의 이미지들로부터의 이미지 데이터를 포함하는 스티치된 출력 이미지에 대한 추정된 평균 SNR 값을 제공하는데 이용될 수 있다.
스티치된 출력 이미지는, 이미지들의 다이내믹 레인지를 개선하기 위한 다중-노출 기법, High Dynamic Range(HDR)라고도 지칭되는 기법들, Wide Dynamic Range(WDR), 혹은 Extended Dynamic Range 기법을 이용하여 생성될 수 있다. 대안적으로, 스티치된 출력 이미지는 파노라마 기법 즉, 파노라마 뷰를 얻기 위하여 복수의 이미지들을 스티칭하는 기법을 이용하여 생성될 수도 있다. 예를 들어, 서로 다른 노출 시간들을 이용하여 캡처된 이미지 데이터를 포함하는 스티치된 출력 이미지의 성질 때문에(이는 곧 스티치된 이미지의 서로 다른 노출 영역들 사이에서 노이즈 레벨들 및/또는 소스들이 변동할 수 있음을 의미한다), 스티치된 출력 이미지의 서로 다른 이미지 픽셀들 사이에서 SNR 값이 변하게 될 것인바, 이에 대해서는 가령, 다중-노출 이미지 등과 같은 스티치된 출력 이미지의 이미지 픽셀들의 픽셀 값들의 SNR 값들에 관한 다음의 좀더 상세한 설명 부분을 참조하여 설명될 것이다. 따라서, 추정된 평균 SNR 값이 출력 이미지의 SNR을 평균적으로 기술하는데 유용할 것이다. 추정된 평균 SNR 값은 예를 들어, 출력 이미지의 노이즈 필터링에 대한 입력으로서 이용될 수 있으며 및/또는 카메라의 주간/야간 기능을 활성화시키는데 및/또는 자동 노출 알고리즘에서 적절한 노출 시간을 찾아내는데 이용될 수 있다.
본 발명의 중요한 장점들 중 하나는 매우 낮은 계산 비용으로 출력 이미지에 대한 추정된 평균 SNR 값을 제공하는 점이다.
요약하면, 추정된 평균 SNR 값을 계산하기 위한 본 발명의 방법은, 출력 이미지 내의 이미지 픽셀들의 픽셀 값들의 분포를 기술하는 이미지 히스토그램을 이용하고 그리고 이미지 히스토그램의 각각의 픽셀 값 범위에 대한 예측된 SNR 값들 즉, 이미지 히스토그램의 각각의 빈(bin)에 대한 예측된 SNR 값들을 계산하기 위하여, 미리 계산된 테이블들 혹은 하나 이상의 기정의된 함수들 및 파라미터들을 이용한다. 이후, 이미지 히스토그램의 각각의 빈(bin)에 대하여 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하고, 상기 빈(bin)들의 가중화된 신호대잡음비 값들을 합산하고 그리고 출력 이미지의 이미지 픽셀들의 총 개수 혹은 이미지 히스토그램의 상기 빈(bin)들 내의 이미지 픽셀들의 총 개수로 상기 빈(bin)들의 가중화된 신호대잡음비 값들의 합계를 나눔으로써, 추정된 평균 SNR 값이 계산된다.
출력 이미지에서 픽셀 값들의 분포를 기술하는 이미지 히스토그램은 이미지 센서 혹은 이미지 프로세싱 파이프라인에 의해서 제공될 수 있다. 출력 이미지가 가령, 다중 노출 이미지 등과 같은 스티치된 출력 이미지인 경우, 이미지 히스토그램은 복수의 노출들을 조합한 이후의 픽셀 값들의 분포를 나타낸다. 이미지 히스토그램 내의 각각의 빈(bin)은, 픽셀 값들의 범위(range)를 나타낸다. 픽셀 값은, 이미지 센서의 해당 센서 픽셀에서 수신된 광자들의 개수에 대한 함수이다. 예를 들어 상기 픽셀 값은, 아날로그-디지털 유닛에 의해서 이미지 센서로부터 구체화될 수 있으며 혹은, 이미지 센서의 출력을 나타내는 다른 분량들(quantities)이 될 수도 있다.
이미지 히스토그램 내의 각각의 빈(bin)의 SNR 값에 대한 미리 계산된 테이블들 혹은 기정의된 함수들 및 파라미터들은, 이미지 센서의 측정 데이터(calibration data), 이미지 센서의 특질들 및/또는 이미지 센서의 온도를 이용하여 계산되거나 혹은 기정의될 수 있다. 가령, 서로 다른 노출 시간들을 갖는 이미지들처럼 스티치된 출력 이미지가 서로 다른 이미지들로부터의 이미지 데이터를 포함하고 있는 경우, 적어도 2개의 서로 다른 이미지들의 이미지 픽셀들의 픽셀 값들을 조합함에 의해서 형성되는 이미지 픽셀들을 포함하고 있는 빈(bin)/빈들(bins)에 대한 SNR 값은, 상기 빈(bin)의 이미지 픽셀들을 형성하는데 이용되는 적어도 2개의 서로 다른 이미지들의 이미지 픽셀들의 픽셀 값들의 SNR 값들을 조합함에 의해서 즉, 스케일링 및/또는 보간(interpolation)함에 의해서, 계산된다. 가령, 서로 다른 노출 시간들을 이용하여 캡처된 이미지들 등과 같은 서로 다른 이미지들로부터 픽셀들의 픽셀 값들을 어떻게 조합하는지는, 다음에 설명될 것이다. 또한, 서로 다른 이미지들 특히, 서로 다른 노출 시간들을 갖는 이미지들로부터 이미지 픽셀들의 픽셀 값들의 신호대잡음비 값들을 어떻게 조합하는지도 다음에 설명될 것이다.
서로 다른 픽셀 값들의 함수로서 SNR 값들의 미리 계산된 테이블들 및/또는 기정의된 함수들 및 파라미터들은, 카메라의 구동 시간 동안에 계산될 수도 있으며 및/또는 제조 동안에 결정되어 카메라에 저장될 수도 있다.
도1에는 본 발명의 일실시예에 따른, 출력 이미지에 대한 평균 SNR 값의 추정치를 제공하기 위한 카메라(1)가 도시되어 있는데, 상기 출력 이미지는 다수의 이미지 픽셀들을 포함하며, 이미지의 각각의 이미지 픽셀은 픽셀 값을 갖는다.
통상적으로, 카메라(1)는 임의 유형의 디지털 카메라이다. 카메라(1)는, 단일 노출 혹은 다중 노출 기법을 이용하여 정지 화상 및/또는 동영상을 캡처할 수 있다. 또한, 카메라(1)는 디지털 네트워크에 연결될 수 있다. 또한, 카메라(1)는, 휴대용 카메라, 고정형 카메라(stationary camera) 혹은 팬/틸트 기능(pan/tilt functionality)을 구비한 카메라가 될 수도 있다. 또한, 카메라(1)는 예를 들면, 감시 목적, 머신 비전(machine vision), 스토어 컴플라이언스(store compliance), 사업 정보(business information) 등등과 같은 모니터링 용도를 위한 카메라가 될 수도 있다. 본 발명에 대한 이해를 돕기 위하여, 본 발명과 관련이 없는 카메라의 기본 특징들은 설명되지 않는다. 카메라(1)는 하우징(2), 렌즈(3), 이미지 센서(4), 이미지 결합기(image combiner)(6), 이미지 히스토그램 제공기(8), 신호대잡음비 값 속성화기(SNR value attributor)(10), 계산기(12), 프로세서(14) 및 메모리(16)를 포함한다.
프로세서(14)는 카메라의 임의의 다른 구성요소들에 의해서 생성된 데이터를 처리 및/또는 전달한다.
이미지 센서(4)는 이미지들을 캡처한다. 이미지 센서(4)는 예를 들어, 입사되는 빛을 기록(register)하기 위한 전하 결합 소자(CCD) 센서, CMOS 센서 혹은 기타등등이 될 수 있다. 이미지 센서(4)는 다수의 센서 픽셀들을 포함한다. 이미지 센서(4)는 각각의 센서 픽셀에 대해서 픽셀 값을 출력한다. 각각의 센서 픽셀의 픽셀 값은 상기 센서 픽셀에 의해서 수신된 광자들의 개수에 대한 함수이다. 적어도 일부의 센서 픽셀들의 픽셀 값들은 이미지 센서에 의해서 캡처된 이미지의 대응 이미지 픽셀들의 픽셀 값들을 구성한다. 즉, 몇몇 센서 픽셀들의 픽셀 값들은, 예를 들어, 암전류(dark current) 및/또는 이미지 센서의 다른 특성들을 계산하는데 이용될 수 있으며, 일부 센서 픽셀들의 다른 픽셀 값들은 예컨대 이미지와는 관련이 없는 것으로 간주될 수 있으며 그리고 이미지 센서에 의해서 캡처된 이미지의 픽셀 값들로 간주될 수 있다.
본 발명의 몇몇 응용예들의 경우, 이미지 센서(4)에 의해서 캡처된 하나의 이미지가 출력 이미지라고 간주되는데, 이미지 센서에 의해서 캡처된 단일 이미지로부터의 이미지 데이터를 포함하는 출력 이미지에 대한 평균 SNR 값을 추정하기 위해 본 발명이 이용되는 경우가 바로 이런 경우이다.
이미지 센서(4)에 의해서 캡처된 복수의 이미지들로부터 스티치된 출력 이미지를 형성하기 위하여, 상기 카메라(1)는 이미지 결합기(6)를 포함한다. 이미지 결합기(6)는 이미지 센서(4)에 의해서 캡처된 복수의 이미지들로부터 생성되는(originating) 이미지 픽셀들의 픽셀 값들을 결합하도록 구성되는데, 이는 출력 이미지의 이미지 픽셀들을 형성하기 위한 것이며, 이제 출력 이미지는 스티치된 출력 이미지가 된다. 통상적으로, 스티치된 출력 이미지는 복수의 이미지들로부터 유추된 픽셀 값들을 갖는 이미지 픽셀들을 포함한다. 예를 들어, 스티치된 출력 이미지는, 상기 복수의 이미지들 중 오직 제 1 이미지로부터 생성되는 픽셀 값들을 갖는 이미지 픽셀들, 상기 복수의 이미지들 중 오직 제 2 이미지로부터 생성되는 픽셀 값들을 갖는 이미지 픽셀들, 및/또는 상기 복수의 이미지들 중 적어도 2개의 이미지들의 픽셀 값들의 조합으로부터 생성되는 픽셀 값들을 갖는 이미지 픽셀들을 포함할 수 있다. 전형적으로, 다중 노출 HDR-이미지 혹은 다중 노출 파노라마 이미지를 형성하는 경우가 바로 이런 경우이다. 따라서, 상기 이미지 결합기(6)는, 상기 복수의 이미지들 중 제 1 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 1 이미지 픽셀의 픽셀 값을 형성하며, 그리고 상기 복수의 이미지들 중 제 2 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 2 이미지 픽셀의 픽셀 값을 형성한다. 또한, 상기 이미지 결합기(6)는 이미지 센서에 의해서 캡처된 상기 복수의 이미지들 중 적어도 2개의 이미지들의 이미지 픽셀들로부터의 픽셀 값들을 결합하도록 구성되는바 이는, 상기 출력 이미지의 이미지 픽셀들 중 적어도 하나의 이미지 픽셀에 대한 픽셀 값을 형성하기 위한 것이다,
이미지 히스토그램 제공기(8)는 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하는 이미지 히스토그램을 제공하도록 구성된다. 다중 노출 이미지의 경우, 이미지 히스토그램은 복수의 노출들이 결합된 이후의 픽셀 값들의 분포를 나타낸다. 이미지 히스토그램의 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함한다. 따라서, 이미지 히스토그램 내의 각각의 빈(bin)은 픽셀 값들의 범위를 나타낸다. 따라서, 이미지 히스토그램은 각각의 빈(bin) 내의 픽셀 값을 갖는 이미지 픽셀들의 개수에 관한 정보를 포함한다.
신호대잡음비 값 속성화기(attributor)(10)는 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화한다. 전형적으로는, 빈(bin)의 범위 내의 픽셀 값이 선택되며 그리고 그 값에 대하여 대응 SNR 값이 계산된다. 빈(bin)의 범위 내의 어떤 픽셀 값이 이용될지는, 본 발명의 서로 다른 구현예들에 사이에서 변할 수도 있다. 예를 들면, 빈(bin)의 범위 내의 최대값 혹은 최소값이 이용될 수 있다. 또 다른 일례에서는 상기 빈(bin)의 범위에서 중간에 있는 픽셀 값이 이용될 수도 있다.
계산기(12)는 출력 이미지에 대한 평균 신호대잡음비 값을 계산하도록 구성된다. 이러한 계산은, 이미지 히스토그램 내의 각각의 빈(bin)에 대하여 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하고, 상기 빈(bin)들의 가중화된 신호대잡음비 값들을 합산하고, 그리고 출력 이미지의 이미지 픽셀들의 총 개수로 상기 빈(bin)들의 가중화된 신호대잡음비 값들의 합계를 나눔으로써, 수행된다. 대안적으로, 상기 빈(bin)들의 가중화된 신호대잡음비 값들의 합계는, 이미지 히스토그램의 빈(bin)들의 이미지 픽셀들의 총 개수로 나뉘어질 수도 있다. 일반적으로, 이들 두개의 대안들은 동일한 값을 제공한다. 왜냐하면, 출력 이미지에 있는 이미지 픽셀들의 총 개수와 이미지 히스토그램의 빈(bin)들의 이미지 픽셀들의 총 개수가 동일해야만 하기 때문이다.
메모리(16)는 예를 들면, 상기 빈(bin)들의 픽셀 값들에 대해서 픽셀 값 범위들의 함수로서 SNR 값들의 상기 미리계산된 테이블들을 포함한다. 대안적으로, 상기 메모리(16)는 픽셀 값들의 함수로서 신호대잡음비 값들을 계산하기 위한 하나 이상의 기정의된 함수들 및 파라미터 값들을 포함한다. 또한, 상기 미리계산된 테이블들 뿐만 아니라 상기 하나 이상의 기정의된 함수들 및 파라미터들 모두를 포함하도록 메모리(16)가 구현될 수도 있다. 또한, 메모리(16)는 서로 다른 이미지 센서 온도에 대한 서로 다른 테이블들을 포함할 수도 있다. 이러한 것은 SNR 값이 이미지 센서의 온도에 의존하기 때문이다. 이러한 테이블들은 수식 (A)와 함께 다음에 정의되는 바와 같은 수식 (G), (H), (I) 및 (J)를 이용하여 미리계산될 수 있다. 기정의된 함수들은 수식 (A), (G), (H), (I) 및 (J)에 기초하는 함수가 될 수도 있다.
본 발명의 일실시예에 따르면, 이미지 결합기(6) 및/또는 이미지 히스토그램 제공기(8)는 이미지 센서(4)의 필수 부분/부분들이 될 수도 있다.
본 발명의 일실시예에 따르면, 계산기(10)는 카메라(1)의 프로세서(14) 내에 구현될 수도 있다.
도2는 출력 이미지의 평균 SNR 값을 추정하기 위한 방법의 일실시예를 예시한다. 이러한 방법은, 빈(bin)들로 분할된 이미지 히스토그램을 제공하는 단계(100), 상기 이미지 히스토그램은 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고, 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며; 이미지 히스토그램 내의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화(attributing)하는 단계(102); 이미지 히스토그램의 각각의 빈(bin)에 대하여 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하는 단계(104); 상기 빈(bin)들의 가중화된 신호대잡음비 값들을 합산하는 단계(106); 출력 이미지의 이미지 픽셀들의 총 개수로 상기 빈(bin)들의 가중화된 신호대잡음비 값들의 합계를 나누는 단계(108)를 포함한다. 전술한 바와 같이, 대안적으로는 상기 빈(bin)들의 가중화된 신호대잡음비 값들의 합계는, 이미지 히스토그램의 빈(bin)들의 이미지 픽셀들의 총 개수로 나뉘어질 수도 있다.
본 발명의 일실시예에 따르면, 상기 출력 이미지는 복수의 이미지들(가령, 서로 다른 노출 시간들을 갖는 이미지들)의 이미지 픽셀들로부터 생성되는 픽셀 값들을 갖는 이미지 픽셀들을 포함한다. 출력 이미지의 이미지 픽셀들의 픽셀 값들을 획득하기 위하여, 상기 출력 이미지의 일부 이미지 픽셀들에 대한 픽셀 값들은, 상기 복수의 이미지들 중 제 1 이미지의 이미지 픽셀들로부터 취해진다. 상기 복수의 이미지들 중 제 2 이미지의 이미지 픽셀들로부터 픽셀 값들을 취함으로써, 출력 이미지의 이미지 픽셀들의 다른 픽셀 값들이 획득될 수 있다. 그리고 마지막으로, 출력 이미지의 이미지 픽셀들의 픽셀 값들 중 일부는, 상기 복수의 이미지들 중 상기 제 1 이미지와 제 2 이미지 둘다로부터의 이미지 픽셀들의 픽셀 값들을 결합함으로써 획득될 수 있다.
출력 이미지가 복수의 이미지들로부터 스티치된 이미지인 경우, 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 이미지 픽셀들의 픽셀 값들을 결합함에 의해서 획득되는 픽셀 값들을 갖는 이미지 픽셀들을 포함하는 이미지 히스토그램의 상기 빈(bin)들의 빈(bin)에 대해서 신호대잡음비 값을 속성화하는 행위는, 상기 복수의 이미지들 중 상기 적어도 2개의 이미지들로부터의 상기 이미지 픽셀들의 상기 픽셀 값들에 대해 신호대잡음비 값들을 결합하는 것을 포함한다.
다중 노출 이미지들에 대한 추정된 SNR-값
전술한 바와 같이, 확률 변수 S에 대한 SNR 값은 다음과 같이 정의된다(이미징 분야에서 이용되는 정의).
Figure 112012059244438-pat00002
(A)
여기서, E(S)는 신호 S의 기대값(expectancy value)이며 그리고 σ는 신호 S의 표준 편차이다. 상기 신호, 즉 이미지 센서로부터 출력되는 각각의 센서 픽셀의 픽셀 값의 디지털 코드 출력, 혹은 아날로그 투 디지털 유닛(Analog to Digital Units : ADU)은, 센서 고유의 변환 팩터 C f 를 이용하여 생성된 전자들의 대응 개수로 변환된다.
Figure 112012059244438-pat00003
(B)
여기서, G f 는 이미지 히스토그램이 계산되기 전에 상기 신호에 부가된 임의의 아날로그 혹은 디지털 이득이다.
이미지 히스토그램 내의 각각의 빈(bin)의 SNR 값을 계산하는 경우, 각각의 빈에 대응하는 픽셀 값이 상기 기대값(expectancy value)으로 이용될 수도 있다. 빈(bin)의 이미지 픽셀들 중 많은 수가 동일한 픽셀 값을 갖기 때문에 이러한 것은 적절한 가정(fair assumption)이며, 그리고 적은 수의 이미지 픽셀들을 갖는 빈(bin)들에게 발생할 수도 있는 오류있는 기여분들(failure contributions)은, 나중에 출력 이미지에 대한 평균 SNR을 계산하는 때에 가중화(weighted out)될 것이다.
상기 신호의 표준 편차의 경우(상기 일례에서는, 픽셀 값), 판독 노이즈 σr 그리고 포톤 샷 노이즈 σph 만이 고려된다(왜냐하면, 광학적으로 블랙인 참조 센서 픽셀을 이용하여 암전류가 센서에 의해서 종종 제거되기 때문이다). 해당 기술분야의 당업자라면 표준 편차를 추정하는 경우에 더 많은 팩터들이 고려될 수 있음을 능히 이해할 것이다.
통상적으로 판독 노이즈 σr 는 각각의 센서에 대하여 미리 계산되며 그리고 예컨대 이미지를 캡처링하는 이미지 센서의 온도에 의존하는 것이 일반적이다. 센서 픽셀 상에 입사하는 광자들의 개수는 포와송 분포(Poisson distribution)를 따른다는 사실 때문에 포톤 샷 노이즈 σph 가 보여진다. 따라서:
Figure 112012059244438-pat00004
(C)
이들 노이즈 소스들을 집계하면 총 노이즈(total noise)는 다음과 같다.
Figure 112012059244438-pat00005
(D)
스티치된 출력 이미지를 얻기 위하여 복수의 이미지들을 스티치하는 경우, 스티치된 출력 이미지의 이미지 픽셀들의 픽셀 값들은 상기 복수의 이미지들로부터의 이미지 픽셀들의 픽셀 값들을 결합함에 의해서 획득될 수 있다. 예를 들면, 다중 노출 HDR-이미지 등과 같은 다중 노출 이미지를 형성하는 경우, 서로 다른 노출 시간들을 갖는 이미지들로부터 생성된 이미지 픽셀들의 픽셀 값들이 이용된다. 스티치된 출력 이미지의 각각의 이미지 픽셀의 각각의 픽셀 값에 대한 추정된 SNR 값을 계산하기 위해서는, 수행된 이미지 스티칭을 고려할 필요가 있다. 스티치된 출력 이미지의 이미지 픽셀들의 픽셀 값들은, 스티치된 출력 이미지를 구성하는 복수의 이미지들로부터 취해진다.
스티치된 출력 이미지의 몇몇 이미지 픽셀들에 대해서는 상기 복수의 이미지들 중 제 1 이미지로부터의 픽셀 값들이 이용되며, 그리고 스티치된 출력 이미지의 몇몇 다른 이미지 픽셀들에 대해서는 상기 복수의 이미지들 중 제 2 이미지로부터의 픽셀 값들이 이용된다. 또한, 스티치된 출력 이미지의 몇몇 또 다른 이미지 픽셀들에 대해서는, 상기 복수의 이미지들 중 적어도 2개의 이미지들의 이미지 픽셀들로부터 얻어진 픽셀 값들 사이에서 보간된(interpolated) 픽셀 값이 이용될 수 있다. 다중 노출 이미지들의 경우, 2개의 이웃한 노출들(neighboring exposures)의 2개의 이미지 픽셀들 사이에서 보간된 픽셀 값이 이용되는바, 이는 상기 복수의 이미지들 중 2개 이상의 이미지들로부터의 기여분들을 갖는 이미지 픽셀의 픽셀 값을 획득하기 위한 것이다. 상기 복수의 이미지들의 적어도 2개의 이미지 픽셀들로부터의 픽셀 값들을 보간함에 의해서 획득된 픽셀 값을 갖는 이미지 픽셀들의 경우, 상기 복수의 이미지들 중 상기 적어도 2개의 이미지들로부터 획득된 각 픽셀 값의 노이즈가 결합된다. 상기 복수의 이미지들 중 적어도 2개의 이미지들의 이미지 픽셀들로부터의 픽셀 값들을 보간함에 의해서 획득되는 스티치된 출력 이미지의 하나의 이미지 픽셀의 픽셀 값의 노이즈는, 그 특정 이미지 픽셀의 픽셀 값을 획득하는데 이용되는 픽셀 값들의 결합된 노이즈이다.
아래에는, 픽셀 값이 2개의 노출들 T1 및 T2 사이에서 보간되는 다중 노출 이미지의 이미지 픽셀에 대해서 SNR 값을 어떻게 추정하는지에 관한 일례가 예시된다. 픽셀 값은 2개의 노출들 사이에서 가중화된(그리고 스케일링된) 값이 된다라고 가정된다.
Figure 112012059244438-pat00006
(E)
오직 T1 노출에 대한 픽셀 값만이 이용되는 T1 종료점(T1 end point)에서 풀 가중(full weight)이 T1에 부과되도록 가중 팩터 α와 β가 선택되며, 그리고 그 반대의 경우도 같다(vice versa). 노출 시간 비율
Figure 112012059244438-pat00007
은 알고있는 팩터이다. 짧은 노출 시간 T2 내의 신호는 T1 데이터에 매칭되도록 스케일링될 필요가 있다. 또한, 우리는 다음을 가정할 수 있는바,
Figure 112012059244438-pat00008
(F)
즉, 2개의 노출들 사이에서 이미지 뷰(image view)의 움직임이 존재하지 않는다. 이러한 것은 평균적으로 올바른 값을 얻게할 것이다.
따라서, 생성된 전자들의 대응 개수로 변환된 집계된 신호에 대해서, 다음과 같은 결과를 얻게될 것이다(수식 (B), (E), (F)를 이용하여).
Figure 112012059244438-pat00009
(G)
이제 표준 편차에 대해서, 이해를 돕기 위하여, 상관되지 않은 확률적 변수들(uncorrelated stochastic variables)을 위한 표준 편차들의 다음과 같은 속성이 이용된다.
Figure 112012059244438-pat00010
(H)
마지막으로, 수식 (D)와 (G)를 이용하면 다음과 같은 결과를 얻는다.
Figure 112012059244438-pat00011
(I)
그리고 수식 (F)를 이용하면 다음과 같은 결과를 얻는다.
Figure 112012059244438-pat00012
(J)
이후, 수식 (A)와 함께 수식 (G), (H), (I), (J)가 이용되어, 이미지 히스토그램 내의 픽셀 값들에 대해서, 그 픽셀 값을 갖는 스티치된 출력 이미지의 이미지 픽셀들을 포함하는 이미지 히스토그램의 빈에 관련된 SNR-값을 계산할 수 있다.
상기 복수의 이미지들 중 오직 하나의 이미지로부터 생성된 픽셀 값을 갖는 스티치된 출력 이미지의 이미지 픽셀들의 경우, 해당 가중 팩터는 단지 0(zero)으로 설정될 수 있다.
2 이상의 보간 영역(interpolation region)을 초래하는 3개 이상의 노출들이 존재하는 경우, 해당 기술분야의 당업자라면 이 경우도 전술한 바와 동일한 방식으로 처리될 수 있음을 이해할 것이다.
다중 노출 이미지의 이미지 픽셀들에 대한 SNR 값들을 어떻게 결합하는지는 미국공개특허 US 2009/0059039와 US 2010/0310190에 상세히 기술되어 있으며, 이들 2개의 미국공개특허들은 참조로서 본 명세서에 통합된다.
도면 및 명세서에는, 본 발명의 바람직한 실시예들 및 사례들이 개시되었으며, 비록 특별한 용어들이 채용되었다하더라도, 이들 용어들은 오직 일반적이며 서술적인 의미로만 사용된 것이며 본 발명을 제한하고자 하는 의도로 사용된 것이 아니다. 본 발명의 범위는 다음의 청구범위에 서술된다.

Claims (15)

  1. 다수의 이미지 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하는 방법으로서, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 가지며, 상기 방법은,
    이미지 히스토그램 제공기에 의해서, 빈들(bins)로 분할된 이미지 히스토그램을 제공하는 단계 -상기 이미지 히스토그램은 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고, 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며- 와;
    신호대잡음비 값 속성화기에 의해서, 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화(attributing)하는 단계 -상기 속성화하는 단계는 상기 각각의 빈(bin)의 범위 내의 픽셀 값을 선택하는 단계 및 그 값에 대하여 대응 SNR 값을 계산하는 단계를 포함하며- ;
    계산기에 의해서, 이미지 히스토그램의 각각의 빈(bin)에 대하여, 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하는 단계와;
    상기 계산기에 의해서, 상기 빈들(bins)의 가중화된 신호대잡음비 값들을 합산하는 단계와; 그리고
    상기 계산기에 의해서, 상기 빈들(bins)의 가중화된 신호대잡음비 값들의 합계를, 상기 출력 이미지의 이미지 픽셀들의 총 개수로 혹은 상기 이미지 히스토그램의 상기 빈들(bins) 내의 이미지 픽셀들의 총 개수로 나누는 단계
    를 포함하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  2. 제1항에 있어서,
    상기 출력 이미지는 복수의 이미지들의 이미지 픽셀들로부터 생성된(originating) 픽셀 값들을 갖는 이미지 픽셀들을 포함하는 것을 특징으로 하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  3. 제2항에 있어서,
    상기 복수의 이미지들은 서로 다른 노출 시간들을 이용하여 캡처된 것을 특징으로 하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 출력 이미지의 제 1 이미지 픽셀에 대한 픽셀 값은 상기 복수의 이미지들 중 제 1 이미지의 이미지 픽셀로부터의 픽셀 값이며 그리고 상기 출력 이미지의 제 2 이미지 픽셀에 대한 픽셀 값은 상기 복수의 이미지들 중 제 2 이미지의 이미지 픽셀로부터의 픽셀 값인 것을 특징으로 하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  5. 제2항 또는 제3항에 있어서,
    상기 출력 이미지의 적어도 하나의 이미지 픽셀에 대한 픽셀 값은, 상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 이미지 픽셀들의 픽셀 값들을 결합함에 의해서 획득된 픽셀 값인 것을 특징으로 하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  6. 제5항에 있어서,
    상기 복수의 이미지들 중 적어도 2개의 이미지들로부터의 이미지 픽셀들의 픽셀 값들을 결합함에 의해서 획득되는 픽셀 값을 갖는 상기 이미지 픽셀을 포함하는 상기 이미지 히스토그램의 상기 빈들(bins)의 빈(bin)에 대한 신호대잡음비 값을 속성화(attributing)하는 단계는,
    상기 복수의 이미지들 중 상기 적어도 2개의 이미지들로부터의 상기 이미지 픽셀들의 상기 픽셀 값들에 대한 신호대잡음비 값들을 결합하는 단계를 포함하는 것을 특징으로 하는 출력 이미지의 평균 신호대잡음비 값의 추정치를 제공하는 방법.
  7. 프로세싱 능력을 갖는 디바이스 상에서 실행되는 때에 제1항에 따른 방법을 구현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능한 기록 매체.
  8. 다수의 이미지 픽셀들을 포함하는 출력 이미지에 대한 평균 신호대잡음비 값의 추정치를 제공하는 카메라(1)로서, 상기 출력 이미지의 각각의 이미지 픽셀은 픽셀 값을 가지며, 상기 카메라는,
    상기 출력 이미지의 이미지 픽셀들의 픽셀 값들을 유도하는데 이용되는 픽셀 값들을 캡처하도록 된 이미지 센서(4)와;
    상기 출력 이미지의 이미지 픽셀들 간의 픽셀 값들의 분포에 관한 정보를 포함하고 있는 이미지 히스토그램을 제공하도록 된 이미지 히스토그램 제공기(8) -상기 이미지 히스토그램의 각각의 빈(bin)은 기결정된 범위 내의 픽셀 값들을 갖는 이미지 픽셀들의 세트를 포함하며- 와;
    상기 이미지 히스토그램의 각각의 빈(bin)에 대하여 신호대잡음비 값을 속성화하도록 된 신호대잡음비 값 속성화기(attributor)(10) -상기 신호대잡음비 값 속성화기(10)는 상기 각각의 빈(bin)의 범위 내의 픽셀 값을 선택하고 그리고 그 값에 대하여 대응 SNR 값을 계산하며- ; 그리고
    상기 이미지 히스토그램의 각각의 빈(bin)에 대하여 상기 빈(bin)의 이미지 픽셀들의 세트 내의 이미지 픽셀들의 개수로 상기 빈(bin)의 신호대잡음비 값을 가중화하고, 상기 빈들(bins)의 가중화된 신호대잡음비 값들을 합산하고, 그리고 상기 빈들(bins)의 가중화된 신호대잡음비 값들의 합계를 상기 출력 이미지의 이미지 픽셀들의 총 개수로 혹은 상기 이미지 히스토그램의 상기 빈들(bins) 내의 이미지 픽셀들의 총 개수로 나눔에 의해서, 상기 평균 신호대잡음비 값을 계산하도록 된 계산기(12)
    를 포함하는 카메라.
  9. 제8항에 있어서,
    상기 출력 이미지를 형성하도록, 상기 이미지 센서(4)에 의해서 캡처된 복수의 이미지들로부터 생성된 이미지 픽셀들의 픽셀 값들을 결합하는 이미지 결합기(image combiner)(6)
    를 더 포함하는 것을 특징으로 하는 카메라.
  10. 제9항에 있어서,
    상기 복수의 이미지들은 서로 다른 노출 시간들을 이용하여 캡처된 것을 특징으로 하는 카메라.
  11. 제9항 또는 제10항에 있어서,
    상기 이미지 결합기(6)는,
    상기 복수의 이미지들 중 제 1 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 1 이미지 픽셀의 픽셀 값을 형성하고 그리고
    상기 복수의 이미지들 중 제 2 이미지의 이미지 픽셀로부터의 픽셀 값을 이용하여 상기 출력 이미지의 제 2 이미지 픽셀의 픽셀 값을 형성하는 것을 특징으로 하는 카메라.
  12. 제9항 또는 제10항에 있어서,
    상기 이미지 결합기(6)는,
    상기 출력 이미지의 이미지 픽셀들의 적어도 하나의 이미지 픽셀에 대한 픽셀 값을 형성하도록, 상기 이미지 센서에 의해서 캡처된 상기 복수의 이미지들 중 적어도 2개의 이미지들의 이미지 픽셀들로부터의 픽셀 값들을 결합하는 것을 특징으로 하는 카메라.
  13. 제12항에 있어서,
    상기 신호대잡음비 값 속성화기(10)는,
    상기 출력 이미지의 이미지 픽셀들의 상기 적어도 하나의 이미지 픽셀을 포함하는 상기 이미지 히스토그램의 상기 빈들(bins)의 빈(bin)에 대한 신호대잡음비 값을 속성화(attribute)하기 위하여, 상기 출력 이미지의 이미지 픽셀들 중 상기 적어도 하나의 이미지 픽셀의 상기 픽셀 값들을 획득하는데 이용되는 상기 복수의 이미지들 중 상기 적어도 2개의 이미지들의 이미지 픽셀들의 픽셀 값들의 신호대잡음비 값들을 결합하는 것을 특징으로 하는 카메라.
  14. 제9항 또는 제10항에 있어서,
    픽셀 값들의 함수로서 신호대잡음비 값들의 테이블들 혹은 픽셀 값들의 함수로서 신호대잡음 값들을 계산하기 위한 하나 이상의 기결정된 함수들 및 파라미터 값들을 포함하는 메모리
    를 더 포함하는 것을 특징으로 하는 카메라.
  15. 제9항 또는 제10항에 있어서,
    상기 이미지 히스토그램의 각각의 빈(bin)에 대한 신호대잡음비 값은 상기 이미지 센서(4)의 온도에 의존하는 것을 특징으로 하는 카메라.
KR1020120080815A 2011-07-27 2012-07-24 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법 KR101576237B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11175609.4A EP2552099B1 (en) 2011-07-27 2011-07-27 Method and camera for providing an estimation of a mean signal to noise ratio value for an image
EP11175609.4 2011-07-27

Publications (2)

Publication Number Publication Date
KR20130014025A KR20130014025A (ko) 2013-02-06
KR101576237B1 true KR101576237B1 (ko) 2015-12-09

Family

ID=44719211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120080815A KR101576237B1 (ko) 2011-07-27 2012-07-24 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법

Country Status (6)

Country Link
US (1) US8553110B2 (ko)
EP (1) EP2552099B1 (ko)
JP (1) JP5420730B2 (ko)
KR (1) KR101576237B1 (ko)
CN (1) CN102905084B (ko)
TW (1) TWI507999B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5506864B2 (ja) * 2011-06-20 2014-05-28 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9208749B2 (en) * 2012-11-13 2015-12-08 Htc Corporation Electronic device and method for enhancing readability of an image thereof
TWI493508B (zh) * 2013-11-28 2015-07-21 Method and device for detecting object image with improved classification efficiency
CN103888689B (zh) 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN103888679A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
EP2938064B1 (en) * 2014-04-24 2016-10-12 Axis AB Method and apparatus for determining exposure setting
DE102014114328A1 (de) * 2014-10-02 2016-04-07 Connaught Electronics Ltd. Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung
KR102273656B1 (ko) 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
US10360667B2 (en) 2015-08-19 2019-07-23 Battelle Memorial Institute Biological material fouling assessment systems and methods
US9674460B1 (en) * 2015-11-19 2017-06-06 Google Inc. Generating high-dynamic range images using varying exposures
GB2569593B (en) * 2017-12-20 2021-05-26 Apical Ltd Exposure ratio control
JP7129921B2 (ja) 2018-03-05 2022-09-02 株式会社パイロットコーポレーション シャープペンシル
KR102287082B1 (ko) * 2021-05-11 2021-08-25 김관태 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100339368B1 (ko) 2000-07-18 2002-06-03 구자홍 영상 신호의 잡음 크기 추정 방법 및 장치
JP2008204511A (ja) 2007-02-16 2008-09-04 Nippon Hoso Kyokai <Nhk> Ｓｎｒ測定方法、ｓｎｒ測定装置およびｓｎｒ測定プログラム
JP2008228058A (ja) 2007-03-14 2008-09-25 Sony Corp 撮像装置、撮像方法、露光制御方法、プログラム
JP2009004945A (ja) 2007-06-20 2009-01-08 Sony Corp 計測装置および方法、プログラム、並びに記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341344A (ja) 1998-05-26 1999-12-10 Toshiba Corp ダイナミックレンジ拡大機能を備えた電子カメラ
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US6650774B1 (en) * 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
ES2253542T3 (es) 2001-07-12 2006-06-01 Do Labs Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso.
KR20050073565A (ko) 2002-10-23 2005-07-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 샤프니스 개선
DE602004014901D1 (de) * 2004-04-29 2008-08-21 Mitsubishi Electric Corp Adaptive Quantisierung einer Tiefenkarte
JP2006074252A (ja) * 2004-08-31 2006-03-16 Fuji Photo Film Co Ltd 画像読取装置及び暗出力補正方法
US7652788B2 (en) 2006-06-23 2010-01-26 Nokia Corporation Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image
GB2443663A (en) * 2006-07-31 2008-05-14 Hewlett Packard Development Co Electronic image capture with reduced noise
US20090059039A1 (en) 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US8346008B2 (en) 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
KR20120078851A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100339368B1 (ko) 2000-07-18 2002-06-03 구자홍 영상 신호의 잡음 크기 추정 방법 및 장치
JP2008204511A (ja) 2007-02-16 2008-09-04 Nippon Hoso Kyokai <Nhk> Ｓｎｒ測定方法、ｓｎｒ測定装置およびｓｎｒ測定プログラム
JP2008228058A (ja) 2007-03-14 2008-09-25 Sony Corp 撮像装置、撮像方法、露光制御方法、プログラム
JP2009004945A (ja) 2007-06-20 2009-01-08 Sony Corp 計測装置および方法、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
EP2552099B1 (en) 2013-08-28
US20130027589A1 (en) 2013-01-31
CN102905084B (zh) 2015-06-24
EP2552099A1 (en) 2013-01-30
US8553110B2 (en) 2013-10-08
TWI507999B (zh) 2015-11-11
JP5420730B2 (ja) 2014-02-19
JP2013031175A (ja) 2013-02-07
CN102905084A (zh) 2013-01-30
KR20130014025A (ko) 2013-02-06
TW201312472A (zh) 2013-03-16

Similar Documents

Publication Publication Date Title
KR101576237B1 (ko) 이미지에 대한 평균 신호대잡음비의 추정치를 제공하는 카메라 및 방법
US11922639B2 (en) HDR image generation from single-shot HDR color image sensors
US9955071B2 (en) Using captured high and low resolution images
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
EP1924966B1 (en) Adaptive exposure control
EP3046320B1 (en) Method for generating an hdr image of a scene based on a tradeoff between brightness distribution and motion
US7548689B2 (en) Image processing method
US8224082B2 (en) CFA image with synthetic panchromatic image
US8179445B2 (en) Providing improved high resolution image
EP2420051B1 (en) Producing full-color image with reduced motion blur
US8068153B2 (en) Producing full-color image using CFA image
US8150209B2 (en) Method of forming a combined image based on a plurality of image frames
US20100245632A1 (en) Noise reduction method for video signal and image pickup apparatus
JP6227935B2 (ja) 画像処理装置および画像処理方法
JP2008085634A (ja) 撮像装置及び画像処理方法
JP2002112108A (ja) 画像処理装置
US11153467B2 (en) Image processing
JP2011135194A (ja) 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant