KR20040051526A - 낮은 메모리 요구조건들을 갖는 고정 패턴 잡음 보상 - Google Patents

낮은 메모리 요구조건들을 갖는 고정 패턴 잡음 보상 Download PDF

Info

Publication number
KR20040051526A
KR20040051526A KR1020030089370A KR20030089370A KR20040051526A KR 20040051526 A KR20040051526 A KR 20040051526A KR 1020030089370 A KR1020030089370 A KR 1020030089370A KR 20030089370 A KR20030089370 A KR 20030089370A KR 20040051526 A KR20040051526 A KR 20040051526A
Authority
KR
South Korea
Prior art keywords
image sensor
fpn data
fixed pattern
pattern noise
fpn
Prior art date
Application number
KR1020030089370A
Other languages
English (en)
Inventor
요한네슨안데르스
라르쏜잉에마르
Original Assignee
다이얼로그 세미컨덕터 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다이얼로그 세미컨덕터 게엠베하 filed Critical 다이얼로그 세미컨덕터 게엠베하
Publication of KR20040051526A publication Critical patent/KR20040051526A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

디지털 이미지들에서의 고정된 패턴 잡음(FPN)의 보상을 위한 방법 및 시스템이 달성된다. 그 FPN 보상은 상기 이미지들의 생산중에 행해진 처리를 기초로 한다. 그 고정된 패턴 잡음은 본 명세서에서 개개의 픽셀 오프셋들에서 보여지는 고정된 패턴으로서 정의된다. 그 고정된 패턴 잡음은 비상관된 잡음이지만, 모든 이미지들에 적합하게 스케일링될 수 있는 통계 분포를 갖는다. 일반적인 사고는 각각의 개인 카메라에 대한 분포를 측정하고 그것을 압축하여, 모듈에 저장하기 위한 것이다. 이어서 모듈과 함께 취해진 각각의 이미지에 대해 그 잡음 패턴은 그 이미지에 적합하게 복원되고 재스케일링될 수 있다. 덮여진 픽셀들은 현재 프레임에 대해 FPN 데이터를 표준화하기 위해 사용된다. 메모리 요구조건들을 최소화하기 위해, 압축 구성이 사용되어야 한다. 비손실 압축과 양자화 단계를 결합한 방법이 사용된다. 블랙 레벨(black level)이 동작의 부분으로서 수정된다.

Description

낮은 메모리 요구조건들을 갖는 고정 패턴 잡음 보상{Fixed pattern noise compensation with low memory requirements}
(1) 발명 분야
본 발명은 일반적으로 이미지 처리에 관한 것이고, 특히 획득된 이미지 내의 고정 패턴 잡음을 감소시키기 위한 방법에 관한 것이다.
(2) 종래 기술의 설명
CMOS-방식의 카메라(CMOS-based camera)들이 "고정 패턴 잡음(fixed pattern noise)"(FPN)으로 알려져 있는 결함에 의해 성능저하된다(plagued). 이는 개개의 픽셀 증폭기들의 동작시 작은 차이들로부터 생겨난 화상 내의 성가신 고정 배경 패턴이다. FPN(또한 불균일성(nonuniformity)이라고도 함)은 디바이스에 기인한 균일 조명 하에서 픽셀 출력 값들의 공간 변동이며 센서 양단의 상호접속 파라미터 변동들(부정합들)이다. FPN은 주어진 센서에 대해 고정되어 있지만, 센서에서 센서로 변화하므로, (균일한 조명에서) vo가 공칭 픽셀 출력 값이고, (일시적 잡음을 제외한) 그 센서로부터의 출력 픽셀 값들이 1 ≤i ≤n와, 1 ≤j ≤m에 대해서, voij이면, 그 고정 패턴 잡음은 △voij= voij- vo값들의 집합이 된다.
FPN은 오프셋 및 이득 성분들로 이루어지고, 그 오프셋 성분은 낮은 조명에서 더 많은 화질 저하를 야기한다. CMOS(능동 픽셀 센서들-APS- 및 수동 픽셀 센서들-PPS-)는 열 FPN(column FPN)으로부터 손상을 입으며, 이는 이미지에 "스트라이프(stripe)들"로 나타나며, 상당한 이미지 저하를 초래할 수 있다. CCD 이미지 센서들은 단지 광검출기 기하(photodetector geometry) 및 암전류(dark current)에서 공간 변동에 기인한 픽셀 FPN으로부터 손상을 입는다. CMOS 기술의 이미지 센서들을 사용하면, 픽셀 트랜지스터들은 추가의 픽셀 FPN을 야기시키고 열 증폭기들이열 FPN을 야기시킨다.
종래 기술에서, FPN을 감소시키기 위한 보통의 방법은 소위 상관된 더블 샘플링(CDS)을 하는 것이다. 이는 출력을 두 번, 즉 한번은 리셋후에 우측 그리고 두번째는 현재의 신호와 함께 샘플링하는 것을 포함한다. 그 오프셋 및 리셋 잡음들은 차이(difference)를 취함으로써 감소된다. 대부분의 센서들은 진정한 CDS를 구현할 수 없고, 그러므로 오프셋 FPN을 완전히 보상할 수 없다.
암프레임 제거(dark frame subtraction)는 조건들(노출 시간 및 센서 온도)을 취한 실제 픽쳐 하에서 하나 또는 그 이상의 암 프레임들을 캡쳐하는 것을 포함한다. 및 그 프레임 또는 다중 프레임들의 평균은 그 이미지로부터 제거된다. 암 프레임 보상은 외부 셔터 및 완전 프레임 메모리를 사용할 수는 없지만 필요로 하므로, FPN 문제를 감소시키는 것은 고가의 해결책이다.
FPN의 억제를 다루고 있는 특허들이 있다.
미국 특허(Bakhle 등의 제6,061,092호)는 CMOS 센서-방식의 테더링된 비디오 주변기기들용의 암 프레임 소거에 대한 방법 및 장치를 기재한다. 테더링된 CMOS 센서-방식의 디지털 비디오 카메라들에 대한 그 암 고정 패턴 잡음(DFPN)의 제거는 호스트-방식의 다크 이미지 캐쉬를 공급하고 유지함으로써 지지된다. 그 카메라가 PC와 같은 호스트 컴퓨터 시스템에 테더링되기 때문에, 그 캐쉬를 관리하는데 그 호스트의 저장 및 처리 기능들을 이용한다. DFPN 소거 처리에 대한 현재 적용가능한 암 이미지의 업데트를 위해 암 이미지 캐쉬를 사용함으로써, 암 이미지들을 획득하기 위한 카메라 셔터의 동작이 드라마틱하게 감소된다. 암 이미지들은 그 카메라의 다른 적분, 이득, 및 온도 동작 특성들에서 얻어지고, 그 캐쉬 내에 저장된다. 그 캐쉬된 암 이미지들은 그 카메라의 CMOS 센서 이미지 어레이에 의해 생성된 비디오 프레임들 내의 데이터의 고정된 소정의 열에 따라서 그 호스트 상에서 참조된다. 그 암 열 데이터는 DFPN 소거 처리동안 사용하기 위해 영구적으로 그리고 전체적으로 어두워진 CMOS 센서 이미지의 일부를 나타낸다.
미국 특허(Chen 등의 제6,215,113호)가 포토 다이오드, 리셋 스위치, 두 개의 샘플 및 홀드 회로들, 및 두 개의 리드아웃 회로들을 포함한 모션 검출을 갖는 CMOS 능동 픽셀 센서를 기재한다. CMOS 센서 어레이에 부가하여, CMOS 능동 픽셀 센서들(APS)의 행은 처리 변동들에 의해 야기되는 고정된 패턴 잡음을 감소시키기 위해 부가될 수 있다. 이 부가적인 행의 각각의 CMOS APS 셀들은 그의 포토 다이오드 영역이 입사광을 차단하기 위해 금속층에 의해 덮여지는 것을 제외하고는 상기 CMOS 센서 어레이 내의 CMOS APS 셀들과 동일하다. 그러므로, 이 부가적인 행 내의 픽셀들의 판독 신호들은 리셋 처리 후에 신호들이 고정되어야 하고, 입사광에 독립해야 한다. 선택된 APS 셀의 이미지 신호가 판독될 때, 선택된 APS 셀과 동일한 열 내의 차폐된 APS 셀의 신호가 또한 판독된다. 그 최종 이미지는 이들 두 신호들의 차이이다. 이들 두 판독 값들이 드 동일한 판독 회로를 통과하기 때문에, 처리 변동의 효과가 취소될 수 있고, 그 고정된 패턴 잡음은 감소될 수 있다.
미국 특허(Nair 등의 제6,366,320호)가 각각의 센스 앰프 셀이 저장 어레이로부터의 제 1 및 제 2 신호들을 수신하는 것에 응답하여 다른 신호 쌍을 생성하는 아날로그 저장 어레이 및 센스 증폭기 어레이를 갖는 반도체 회로를 기재한다. 그센스 앰프 어레이는 센스 증폭기 셀들의 열이며, 각 열에 대한 하나의 센스 증폭 셀이다. 그 센스 증폭기 셀들은 픽셀 신호들의 상관된 이중 샘플링(CDS)을 구현한다. CDS는 픽셀 신호들 내의 고정된 패턴 잡음을 감소시키는데 사용될 수 있다. 고정된 패턴 잡음은 픽셀들 간의 변동들을 제조함으로써 야기되는 다른 동일한 픽셀 신호 값들에서 에러들을 언급한다. CDS는 각 픽셀 신호의 전-노출 "리셋 값" 및 후-노출 "노출된 값" 둘 모두를 샘플링할 것을 요구한다. 이어서 그 두 값들은 신호 처리 파이프에 차분 신호 쌍(differential signal pair)으로 전달된다. 그 제조된 어레이의 픽셀들 내에 리셋 값들과 회로 간의 차들에 의해 야기되는 에러들을 삭제하기 위해 상관되거나 간단히 제거된다.
발명의 개요
본 발명의 주요 목적은 낮은 메모리 요구조건으로 디지털 이미지 내의 고정된 패턴 잡음의 보상을 달성하기 위한 것이다.
본 발명의 다른 목적은 외부 셔터의 필요없이 디지털 이미지들 내의 고정된 패턴 잡음의 보상을 달성하기 위한 것이다.
본 발명의 목적에 따라서, 외부 셔터의 필요없이 디지털 이미지들 내의 고정된 패턴 잡음을 보상하기 위한 다른 방법이 달성된다. 상기 방법은 먼저, 비휘발성 메모리와, 처리 디바이스와, 교정 프레임들과 이미지 센서를 제공하는 단계를 포함한다. 상기 방법의 단계들은 교정 프레임들을 사용하여 각각의 센서에 대한 FPN 데이터를 얻고, 측정된 FPN 데이터를 저장하고, 취해진 각각의 픽쳐에 대해 FPN 데이터를 검색하고, 고정된 패턴 잡음을 보상하기 위해 취해진 픽쳐들의 각 픽셀 상에 FPN 데이터를 적용시키는 것을 포함한다.
본 발명의 목적들에 따라서, 외부 셔터의 필요없이 그리고 낮은 메모리 요구조건들로 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 다른 방법이 달성된다. 상기 방법은 먼저, 비휘발성 메모리와, 처리 디바이스와, 교정 프레임들과, 이미지 센서를 제공하는 단계를 포함한다. 상기 방법의 제 1 단계들은 교정 프레임들을 사용하여 각각의 센서에 대해 FPN 데이터를 얻고, 얻어진 상기 FPN 데이터를 감소시키고, FPN 데이터 상에 압축을 수행하고, 데이터 감소, 압축된 FPN 데이터, 사용된 압축 테이블 및 상기 비휘발성 메모리에서의 분산 측정 결과들을 위해 사용되는 인자를 저장하는 것을 포함한다. 다른 단계들은 FPN 데이터 상에서 압축해제를 수행하고, 현재 통계 분산 측정을 사용하여 감소된 FPN 데이터의 스케일링을 수행하고, 각 픽셀 상에 개별적인 보상 값을 적용시키는 것을 포함한다.
본 발명의 목적들에 따라서, 외부 셔터의 필요없이 그리고 낮은 메모리 요구조건들로 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 다른 방법이 달성된다. 상기 방법은 먼저 비휘발성 메모리와, 처리 디바이스와, 교정 프레임들과, 이미지 센서들을 제공하는 단계를 포함한다. 상기 방법의 제 1 단계들은 교정 프레임들을 사용하여 각각의 센서에 대한 FPN 데이터를 얻고, 얻어진 상기 FPN 데이터를 양자화하고, 최적화된 허프만 테이블(optimized Huffman table)을 생성하고, 최적화된 허프만 테이블을 사용하여 FPN 데이터 상에서 허프만 압축을 수행하고, 양자화 인자와 압축된 FPN 데이터와 사용된 허프만 압축 테이블과 분산 측정 결과들을 저장하는 것을 포함한다. 다른 단계들은 FPN 데이터 상에서 허프만 압축해제를 수행하고, 현재의 통계 분산 측정을 사용하여 양자화 스케일링을 수행하고, 각각의 픽셀 상에 개별적인 보상 값을 적용시키는 것을 포함한다.
본 발명의 목적들에 따라서, 외부 셔터들의 필요없이 그리고 낮은 메모리 요구조건들로 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 시스템이 달성된다. 상기 시스템은 비휘발성 메모리와 처리 디바이스와, 이미지 센서를 포함한다.
첨부 도면에서 본 명세서의 물질부를 형성한다.
도 1은 고정된 패턴 잡음을 보상하기 위한 시스템의 주 구성요소들을 도시한 도면.
도 2는 외부 셔터의 필요없이 고정된 패턴 잡음을 보상하기 위한 방법의 플로우차트를 도시한 도면.
도 3은 외부 셔터없이 그리고 낮은 메모리 요구조건들로 고정된 패턴 잡음들을 보상하기 위한 방법의 바람직한 실시예의 플로우차트를 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
1: 렌즈 2: 이미지 센서
3: 이미지 버퍼4: 처리 디바이스
5: 비휘발성 메모리 내의 FPN 데이터
6: 수정된 이미지
바람직한 실시예들의 설명
바람직한 실시예는 단지 작은 메모리만을 요구하는 외부 셔터의 필요없이 상관된 더블 샘플링(CDS) 또는 암 프레임 제거를 사용한 종래 기술과 비교되는 고정된 패턴 잡음(FPN)을 감소시키는 시스템 및 방법을 기재한다.
발명된 새로운 방법에서, FPN 보상은 생산동안 행해지는 처리에 기초를 둔다. 본 명세서에서 고정된 패턴 잡음은 개별적인 픽셀 오프셋들에서 보여지는 고정된 패턴으로서 정의된다. 이러한 잡음은 온도와 노출 시간이 증가하면서 진폭도 증가한다.
그 고정된 패턴 잡음은 비상관된 잡음이지만, 모든 이미지들에 대해 적절하도록 스케일링될 수 있는 통계 분산을 갖는다. 그 사상은 생산동안 각각의 개인 카메라에 대해 상기 분산을 한번 측정하고, 그것을 압축하고, 비휘발성 메모리에 그것을 저장하는 것이다. 이어서 그 모듈과 함께 취해진 각각의 이미지에 대해, 잡음패턴은 그 이미지에 적절하게 복원될 수 있고 그 이미지를 적합하도록 리스케일링될 수 있다.
도 1은 발명된 시스템의 기본적인 구성요소들을 기재한다. 상기 시스템은 렌즈 시스템(1), 이미지 센서(2), 선택적 이미지 버퍼(3), 그 센서의 FPN을 제거하기 위해 비휘발성 메모리(5)에 저장된 FPN 데이터를 사용한 처리 디바이스(4)를 포함한다. 번호(6)는 수정된 이미지를 표현한다. 상기 선택적인 이미지 버퍼는 RAM 버퍼에 의해 구현될 수 있다.
도 2는 발명된 방법의 기본 단계들을 기재한다. 단계(20)에서, FPN 데이터의 FPN 분산은 교정 프레임들을 사용하여 각각의 센서에 대해 얻어진다. 상기 FPN 데이터는 단계 21에서 비휘발성 메모리에 저장된다. 단계 20 및 21은 카메라의 생산중에 각각의 센서에 대해 단지 한번만 수행된다. 단계 22에서, 상기 FPN 데이터는 고정된 패턴 잡음을 보상하기 위해 취해진 이미지들의 각각의 픽셀 상에 단계 23에서 취해지고 적용된 각각의 픽쳐에 대해 상기 비휘발성 메모리로부터 복원된다.
바람직한 실시예에서, 양자화는 데이터량을 감소시키는데 사용되고, 비손실 압축 구성이 메모리 요구조건들을 최소화하는데 사용된다. 양자화가 작은 부분들로 분리된 수로 양을 분할한 것이다. 그 양자화 레벨은 양자화 처리시 양자화된 신호의 특정 부범위로 할당된 이산치로서 정의된다. 사용된 양자화 레벨에 따라서, 적당한 압축은 픽셀당 2.5비트의 정도가 된다. 블랙 레벨은 동작의 부분으로서 수정된다.
도 3은 고정된 패턴 잡음(FPN)을 보상하기 위해 본 발명의 바람직한 실시예에 사용된 방법을 기재한다. 단계 30에서, FPN 데이터는 교정 프레임들을 사용하여 각각의 센서에 대해 얻어진다. 상기 교정 프레임들은 카메라 렌즈들이 덮여진 채 긴 노출 시간과 함께 고온에서 획득된다. 상기 FPN 데이터는 그 디바이스를 포함하고 센서 양단에 파라미터 변동들(부정합들)과 상호접속한다. 다음 단계 31에서 상기 FPN 데이터는 FPN 데이터의 상기 파라미터 변동들을 양자화함으로써 감소된다. 상기 FPN 데이터는 이산 수의 카테고리들로 분류된다. 단계 32 및 33은 상기 양자화된 FPN 데이터의 압축을 취급한다. 바람직한 실시예에서, 허프만 압축 알고리즘이 사용되었다. 임의의 다른 비손실 압축 바업이 또한 사용될 수 있다.
허프만 압축 알고리즘은 데이터를 압축하기 위한 알고리즘이다. 보다 작은 코드들을 빈번하게 사용되는 심볼들에 할당하고, 보다 덜 빈번하게 사용되는 심볼들에 대해서는 더 긴 코드들을 할당함으로써, 이를 행한다. 허프만 코드가 2진 트리로 표현될 수 있고, 그 리프들(leaves)은 인코딩된 심볼들이다. 그 트리의 각각의 넌-리프 노드(non-leaf node)에는, 노드 아래에 놓인 리프들 내에 모든 심볼들을 포함하는 집합(set)이 있다. 또한, 각각의 리프에는 (심볼들의 주파수인) 가중치(weight)가 할당되며, 각각의 넌-리프 노드는 그 아래에 놓인 리프들의 모든 가중치들의 합인 가중치를 포함한다. 단계 32에서, 최적화된 허프만 테이블이 생성되고, 다시 말해 트리가 정의되고, 이는 가장 적은 비트들로 그리고 그 심볼들을 저장하기 위해 FPN 데이터를 인코딩할 것이며, 테이블의 형태로 각 코드의 길이를 따라 각각의 심볼에 대한 코드들을 인코딩할 것이다. 단계 33에서, 상기 양자화된 FPN 데이터는 상기 최적화된 허프만 테이블을 사용하여압축된다. 단계 34에서, 단계 31에 사용된 상기 양자화 인자와, 압축된 FPN 데이터와, 단계 32에서 발생되고 압축 단계 33에서 사용된 허프만 테이블과, 분포 측정이 비휘발성 메모리에 저장된다. 바람직한 실시예에서, 표준편차(σ)는 상기 분포를 설명하기 위해 사용된다. 다른 분포 파라미터들이 또한 사용될 수 있다.
단계들 30 내지 34는 교정 단계들이다. 상기 교정은 상기 센서의 생산중에 각각의 센서에 대해 한번만 수행된다. 다음의 단게들은 취해진 각각의 이미지에 대해 수행되는 응용 단계들이다.
단계 35는 메모리에 저장된 FPN 데이터의 허프만 압축해제를 기재한다. 먼저, 그 허프만 트리는 또한 그 메모리에 저장된 테이블로부터 재발생된다. 일단 이 처리가 완료되면, 완전한 허프만 트리가 얻어진다. 상기 트리는 압축된 파일 내의 코드에 의해 표현된 문자를 검색하는데 사용된다. 재발생된 허프만 트리를 사용하면, 그 압축해제가 수행되고, 그 압축해제된 FPN 데이터는 출력 파일에서 직접적으로 사용되고 저장된다.
단계 36에서, 양자화 스케일링이 비휘발성 메모리 및 현재 통계 분포 측정에 저장된 양자화 인자를 사용하여 수행된다. 그 고정된 패턴 잡음 상의 온도 및 노출 시간의 효과는 "덮여진 픽셀들"로부터 얻어진 통계 데이터에 의해 저장된 데이터의 일반화로 고려된다. "덮여진 픽셀들"은 금속 또는 다른 불투명한 재료들로 덮여진 픽셀들이다. 바람직한 실시예에서, 그 데이터는 교정 이미지의 표준편차(σ)에 의해 일반화되고, 타겟 이미지의 표준편차(σ')에 의해 스케일링된다. 또 다른 통계 분포 측정이 또한 사용될 수 있다.
최종적으로, 단계 37에서, 단계 36의 스케일링된 양자화 데이터는 취해진 이미지의 각각의 픽셀들에 적용된다. 타겟 이미지 내의 덮여진 픽셀들의 표준편차(σ)는 앞서 언급된 스케일링을 위해 사용되고, 평균은 블랙 레벨제거를 위해 사용된다. 그 고정된 패턴 잡음은 부가적인 외부 셔터의 필요없이 그리고 낮은 메모리 요구조건들로 보상된다.
본 발명은 외부 셔터의 필요없이 낮은 메모리 요구조건으로 디지털 이미지 내의 고정된 패턴 잡음의 보상을 달성할 수 있다.

Claims (44)

  1. 외부 셔터(external shutter)의 필요없이 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 방법에 있어서,
    비휘발성 메모리, 처리 디바이스, 교정 프레임들(calibration frame) 및 이미지 센서를 제공하는 단계와;
    교정 프레임을 사용하여 각각의 센서에 대한 FPN 데이터를 얻는 단계와;
    측정된 FPN 데이터를 저장하는 단계와;
    취해진 각각의 픽쳐에 대해 FPN 데이터를 복원(retrieve)하는 단계와;
    고정된 패턴 잡음을 보상하기 위해 취해진 화상들의 각각의 픽셀에 FPN 데이터를 적용하는 단계를 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 FPN 데이터는 상기 센서 양단에 상기 디바이스와 상호접속 파라미터 변동들을 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 이미지 센서는 CMOS 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 이미지 센서는 CCD 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 비휘발성 메모리는 플래쉬 메모리(flash memory)인, 고정된 패턴 잡음을 보상하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 비휘발성 메모리는 MRAM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 비휘발성 메모리는 EPROM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 처리 디바이스는 마이크로프로세서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 교정 프레임들은 고온에서 카메라 렌즈들이 덮이는 긴 노출 시간과 함께 얻어지는, 고정된 패턴 잡음을 보상하기 위한 방법.
  10. 외부 셔터의 필요없이 낮은 메모리 요구조건들로 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 방법에 있어서,
    비휘발성 메모리, 처리 디바이스, 교정 프레임들, 및 이미지 센서를 제공하는 단계와;
    교정 프레임들을 사용하여 각각의 센서에 대한 FPN 데이터를 얻는 단계와;
    얻어진 상기 FPN 데이터를 감소시키는 단계와;
    FPN 데이터에서 압축을 수행하는 단계와;
    데이터 감소, 압축된 FPN 데이터, 사용된 압축 테이블, 및 상기 비휘발성 메모리에서의 분포 측정 결과들에 사용된 인자들을 저장하는 단계와;
    FPN 데이터에서 압축해제를 수행하는 단계와;
    현재 통계 분포 측정을 사용하여 감소된 FPN 데이터의 스케일링을 수행하는 단계와;
    각각의 픽셀에 대해 개별적인 보상 값을 적용하는 단계를 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 FPN 데이터는 상기 센서 양단에 상기 디바이스와 상호접속 파라미터 변동들을 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  12. 제 10 항에 있어서,
    상기 데이터 감소는 상기 FPN 데이터의 양자화에 의해 수행되고, 상기 관련된 양자화 인자는 상기 FPN 데이터와 함께 저장되고, 상기 감소된 FPN 데이터의 스케일링은 상기 양자화 인자를 사용하여 수행되는, 고정된 패턴 잡음을 보상하기 위한 방법.
  13. 제 10 항에 있어서,
    상기 표준 편차(standard deviation)는 상기 분포 측정을 위해 사용되는, 고정된 패턴 잡음을 보상하기 위한 방법.
  14. 제 10 항에 있어서,
    상기 양자화 스케일링은 상기 교정 이미지의 표준 편차(σ)에 의한 표준화 및 상기 타겟 이미지의 표준 편차(σ')에 의한 스케일링을 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  15. 제 10 항에 있어서,
    상기 교정 프레임들은 고온에서 카메라 렌즈들이 덮여지는 긴 노출 시간과 함께 얻어지는, 고정된 패턴 잡음을 보상하기 위한 방법.
  16. 제 10 항에 있어서,
    상기 이미지 센서는 CMOS 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  17. 제 10 항에 있어서,
    상기 이미지 센서는 CCD 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  18. 제 10 항에 있어서,
    상기 비휘발성 메모리는 플레쉬 메모리인, 고정된 패턴 잡음을 보상하기 위한 방법.
  19. 제 10 항에 있어서,
    상기 비휘발성 메모리는 MRAM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  20. 제 10 항에 있어서,
    상기 비휘발성 메모리는 EPROM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  21. 제 10 항에 있어서,
    비손실 압축 방법이 상기 FPN 데이터의 압축 및 압축해제에 사용되는, 고정된 패턴 잡음을 보상하기 위한 방법.
  22. 제 21 항에 있어서,
    상기 FPN 데이터의 압축 및 압축해제는 사이 허프만 압축 알고리즘(Huffman compression algorithm)을 사용하여 수행되는, 고정된 패턴 잡음을 보상하기 위한 방법.
  23. 제 10 항에 있어서,
    상기 처리 디바이스는 마이크로프로세서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  24. 외부 셔터의 필요 없이 낮은 메모리 요구조건들로 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 방법에 있어서,
    비휘발성 메모리, 처리 디바이스, 교정 프레임들, 및 이미지 센서를 제공하는 단계와;
    교정 프레임들을 사용하여 각각의 센서에 대해 FPN 데이터를 얻는 단계와;
    얻어진 상기 FPN 데이터를 양자화하는 단계와;
    최적화된 허프만 테이블을 생성하는 단계와;
    최적화된 허프만 테이블을 이용하여 FPN 데이터 상에서 허프만 압축을 수행하는 단계와;
    양자화 인자, 압축된 FPN 데이터, 사용된 허프만 압축 테이블, 및 분포 측정 결과들을 저장하는 단계와;
    FPN 데이터 상에서 허프만 압축해제를 수행하는 단계와;
    현재 통계 분포 측정을 이용하여 양자화 스케일링을 수행하는 단계와;
    각각의 픽셀 상에서 개개의 보상 값을 적용하는 단계를 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  25. 제 24 항에 있어서,
    상기 현재 통계 분포는 덮여진 픽셀들로부터 얻어지는, 고정된 패턴 잡음을 보상하기 위한 방법.
  26. 제 24 항에 있어서,
    상기 표준 편차는 상기 분포 측정을 위해 사용되는, 고정된 패턴 잡음을 보상하기 위한 방법.
  27. 제 24 항에 있어서,
    상기 양자화 스케일링은 상기 교정 이미지의 표준 편차(σ)에 의한 표준화와, 타겟 이미지의 상기 표준 편차(σ')에 의한 스케일링을 포함하는, 고정된 패턴 잡음을 보상하기 위한 방법.
  28. 제 24 항에 있어서,
    상기 교정 프레임들은 고온에서 상기 카메라 렌즈들이 덮여지는 긴 노출 시간과 함께 얻어지는, 고정된 패턴 잡음을 보상하기 위한 방법.
  29. 제 24 항에 있어서,
    상기 이미지 센서는 CMOS 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  30. 제 24 항에 있어서,
    상기 이미지 센서는 CCD 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  31. 제 24 항에 있어서,
    상기 비휘발성 메모리는 플래쉬 메모리인, 고정된 패턴 잡음을 보상하기 위한 방법.
  32. 제 24 항에 있어서,
    상기 비휘발성 메모리는 MRAM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  33. 제 24 항에 있어서,
    상기 비휘발성 메모리는 EPROM인, 고정된 패턴 잡음을 보상하기 위한 방법.
  34. 제 24 항에 있어서,
    상기 처리 디바이스는 마이크로프로세서인, 고정된 패턴 잡음을 보상하기 위한 방법.
  35. 제 24 항에 있어서,
    상기 교정 프레임들은 고온에서 상기 카메라가 덮여지는 긴 노출 시간과 함께 얻어지는, 고정된 패턴 잡음을 보상하기 위한 방법.
  36. 외부 셔터의 필요 없이, 낮은 메모리 요구조건들을 갖는 디지털 이미지들의 고정된 패턴 잡음을 보상하기 위한 시스템에 있어서,
    비휘발성 메모리와;
    처리 디바이스와;
    이미지 센서를 포함하는, 고정된 패턴 잡음을 보상하기 위한 시스템.
  37. 제 36 항에 있어서,
    상기 이미지 센서는 CMOS인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  38. 제 36 항에 있어서,
    상기 이미지 센서는 CCD 이미지 센서인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  39. 제 36 항에 있어서,
    상기 비휘발성 메모리는 플래쉬 메모리인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  40. 제 36 항에 있어서,
    상기 비휘발성 메모리는 MRAM인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  41. 제 36 항에 있어서,
    상기 비휘발성 메모리는 EPROM인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  42. 제 36 항에 있어서,
    상기 처리 디바이스는 마이크로프로세서인, 고정된 패턴 잡음을 보상하기 위한 시스템.
  43. 제 36 항에 있어서,
    광학 이미지 버퍼가 사용되는, 고정된 패턴 잡음을 보상하기 위한 시스템.
  44. 제 43 항에 있어서,
    상기 광학 이미지 버퍼는 RAM인, 고정된 패턴 잡음을 보상하기 위한 시스템.
KR1020030089370A 2002-12-11 2003-12-10 낮은 메모리 요구조건들을 갖는 고정 패턴 잡음 보상 KR20040051526A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02392021A EP1429542A1 (en) 2002-12-11 2002-12-11 Fixed pattern noise compensation with low memory requirements
EP02392021.8 2002-12-11

Publications (1)

Publication Number Publication Date
KR20040051526A true KR20040051526A (ko) 2004-06-18

Family

ID=32319713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030089370A KR20040051526A (ko) 2002-12-11 2003-12-10 낮은 메모리 요구조건들을 갖는 고정 패턴 잡음 보상

Country Status (4)

Country Link
US (1) US6995346B2 (ko)
EP (1) EP1429542A1 (ko)
JP (1) JP2004194337A (ko)
KR (1) KR20040051526A (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221381B2 (en) * 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
EP1263208B1 (en) * 2001-05-29 2014-09-03 STMicroelectronics Limited Method for generating unique image sensor indentification, and image sensor system for use therewith
US7397455B2 (en) * 2003-06-06 2008-07-08 Samsung Electronics Co., Ltd. Liquid crystal display backplane layouts and addressing for non-standard subpixel arrangements
US20040246280A1 (en) * 2003-06-06 2004-12-09 Credelle Thomas Lloyd Image degradation correction in novel liquid crystal displays
US7209105B2 (en) * 2003-06-06 2007-04-24 Clairvoyante, Inc System and method for compensating for visual effects upon panels having fixed pattern noise with reduced quantization error
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7369712B2 (en) * 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
US7340109B2 (en) * 2003-09-30 2008-03-04 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US7330208B2 (en) 2004-03-08 2008-02-12 Eastman Kodak Company Electronic imaging system with adjusted dark floor correction
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
US7609846B2 (en) * 2004-07-13 2009-10-27 Eastman Kodak Company Matching of digital images to acquisition devices
US20060013486A1 (en) * 2004-07-13 2006-01-19 Burns Peter D Identification of acquisition devices from digital images
US7616237B2 (en) * 2005-12-16 2009-11-10 The Research Foundation Of State University Of New York Method and apparatus for identifying an imaging device
WO2007095556A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
CN101455010B (zh) * 2006-04-06 2013-02-13 维夫康姆公司 初始化电子无线电通信模块的方法、压缩和解压缩校准参数的方法、相应的存储装置
JP4238900B2 (ja) * 2006-08-31 2009-03-18 ソニー株式会社 固体撮像装置、撮像装置
US8023013B1 (en) * 2007-03-28 2011-09-20 Ambarella, Inc. Fixed pattern noise correction with compressed gain and offset
US8237824B1 (en) * 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
US8675101B1 (en) * 2007-03-28 2014-03-18 Ambarella, Inc. Temperature-based fixed pattern noise and bad pixel calibration
US7978237B2 (en) * 2007-08-14 2011-07-12 Samsung Electronics Co., Ltd. Method and apparatus for canceling fixed pattern noise in CMOS image sensor
JP5296396B2 (ja) * 2008-03-05 2013-09-25 オリンパスメディカルシステムズ株式会社 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法
US7889256B2 (en) * 2008-06-11 2011-02-15 Aptina Imaging Corporation Method and apparatus for reducing temporal row-wise noise in imagers
US8953848B2 (en) * 2009-07-17 2015-02-10 University Of Maryland, College Park Method and apparatus for authenticating biometric scanners
US8577091B2 (en) * 2009-07-17 2013-11-05 The University Of Maryland Method and apparatus for authenticating biometric scanners
US8942438B2 (en) 2010-07-19 2015-01-27 The University Of Maryland, College Park Method and apparatus for authenticating swipe biometric scanners
US8625005B2 (en) * 2010-11-05 2014-01-07 Raytheon Company First-in-first-out (FIFO) buffered median scene non-uniformity correction method
US9854138B2 (en) 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
US20150043658A1 (en) * 2013-08-06 2015-02-12 Raytheon Company Lower memory bandwidth video non uniformity correction technique
KR20150146308A (ko) 2014-06-23 2015-12-31 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
JP6525756B2 (ja) * 2015-06-15 2019-06-05 キヤノン株式会社 放射線撮像装置及びその制御方法
GB201515615D0 (en) * 2015-09-03 2015-10-21 Functional Technologies Ltd Clustering images based on camera fingerprints
US10469486B2 (en) 2016-04-08 2019-11-05 University Of Maryland Method and apparatus for authenticating device and for sending/receiving encrypted information
CN110574363A (zh) * 2017-11-22 2019-12-13 深圳市大疆创新科技有限公司 图像噪声标定方法及装置、图像降噪方法及装置、图像处理装置
US20190253649A1 (en) * 2018-02-13 2019-08-15 Samsung Electronics Co., Ltd. Image pickup element and method for compensating image
KR20220061351A (ko) 2020-11-06 2022-05-13 삼성전자주식회사 이미지 센서 및 이미지 센싱 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4392157A (en) * 1980-10-31 1983-07-05 Eastman Kodak Company Pattern noise reduction method and apparatus for solid state image sensors
US5065444A (en) * 1988-02-08 1991-11-12 Northrop Corporation Streak removal filtering method and apparatus
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
DE69625398T2 (de) * 1995-02-24 2003-09-04 Eastman Kodak Co Schwarzmuster-Korrektur für einen Ladungsübertragungssensor
JPH0918793A (ja) * 1995-06-26 1997-01-17 Nikon Corp 撮像装置
US6266449B1 (en) * 1995-11-22 2001-07-24 Canon Kabushiki Kaisha Information processing apparatus and method which selectively controls data encoding by monitoring amount of encoded data
GB2314227B (en) * 1996-06-14 1998-12-23 Simage Oy Calibration method and system for imaging devices
US5987156A (en) * 1996-11-25 1999-11-16 Lucent Technologies Apparatus for correcting fixed column noise in images acquired by a fingerprint sensor
US7003168B1 (en) * 1997-03-11 2006-02-21 Vianet Technologies, Inc. Image compression and decompression based on an integer wavelet transform using a lifting scheme and a correction method
US6061092A (en) 1997-12-05 2000-05-09 Intel Corporation Method and apparatus for dark frame cancellation for CMOS sensor-based tethered video peripherals
US6366320B1 (en) 1997-12-08 2002-04-02 Intel Corporation High speed readout architecture for analog storage arrays
US6473124B1 (en) * 1998-04-23 2002-10-29 Micron Technology, Inc. RAM line storage for fixed pattern noise correction
US6538695B1 (en) * 1998-11-04 2003-03-25 Ic Media Corporation On-chip fixed-pattern noise calibration for CMOS image sensors
US6643402B1 (en) * 1999-03-23 2003-11-04 Sanyo Electric Co., Ltd Image compression device allowing rapid and highly precise encoding while suppressing code amount of image data after compression
US6215113B1 (en) 1999-04-22 2001-04-10 National Science Council CMOS active pixel sensor
US6744910B1 (en) * 1999-06-25 2004-06-01 Cross Match Technologies, Inc. Hand-held fingerprint scanner with on-board image normalization data storage
JP2001045380A (ja) * 1999-07-27 2001-02-16 Victor Co Of Japan Ltd 映像データ処理回路
US6748116B1 (en) * 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
KR100361804B1 (ko) * 2001-01-09 2002-11-23 이화트론 주식회사 웨이브렛 이론을 이용한 동영상 압축/복원 장치 및 그 방법
US7016550B2 (en) * 2002-04-19 2006-03-21 Lockheed Martin Corporation Scene-based non-uniformity offset correction for staring arrays

Also Published As

Publication number Publication date
US6995346B2 (en) 2006-02-07
JP2004194337A (ja) 2004-07-08
US20040113052A1 (en) 2004-06-17
EP1429542A1 (en) 2004-06-16

Similar Documents

Publication Publication Date Title
US6995346B2 (en) Fixed pattern noise compensation with low memory requirements
EP2795894B1 (en) Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP4928674B2 (ja) 広いダイナミックレンジを達成するための時間インデックス付け方法を用いた多サンプリング方法
JP5586236B2 (ja) 画像センサのダイナミックレンジ拡大方法及び画像センサ
US8711261B2 (en) Method of controlling semiconductor device, signal processing method, semiconductor device, and electronic apparatus
US6760068B2 (en) Correction of corrupted elements in sensors using analog/multi-level non-volatile memory
JP4496221B2 (ja) 低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ
US7924336B2 (en) Image pickup apparatus including a driving circuit to control a clamping switch so as to hold signals in holding capacitors
CN102625060B (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
GB2317522A (en) Low noise operation of an image sensor
US20080297816A1 (en) Method and system for black-level correction on digital image data
JP2007525070A (ja) 撮像デバイスにおける暗電流及び欠陥画素の影響を減少させる方法及び装置
US9445021B1 (en) Fixed pattern noise correction with compressed gain and offset
JP2006325211A (ja) 推定ダークノイズ・スケールファクタを使用して、画像からダークノイズを取り除くためのシステムおよび方法
EP1475961A1 (en) Combined linear-logarithmic image sensor
US20010009440A1 (en) Memory updating for digital pixel sensors
US8675101B1 (en) Temperature-based fixed pattern noise and bad pixel calibration
US20030214590A1 (en) System and method for adaptively compensating for dark current in an image capture device
JP2008113337A (ja) 撮像装置
US20240089419A1 (en) Encoder, decoder, encoding method, decoding method, and recording medium
US20220210399A1 (en) Anomalous pixel detection systems and methods
JP2003259234A (ja) Ｃｍｏｓイメージセンサ
US6983072B2 (en) Dark frame subtraction using compression
US6956978B2 (en) Multi-pass dark frame subtraction
Lim et al. Gain fixed-pattern-noise correction via optical flow

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid