KR100709854B1 - 이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치 - Google Patents

이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR100709854B1
KR100709854B1 KR1020047019777A KR20047019777A KR100709854B1 KR 100709854 B1 KR100709854 B1 KR 100709854B1 KR 1020047019777 A KR1020047019777 A KR 1020047019777A KR 20047019777 A KR20047019777 A KR 20047019777A KR 100709854 B1 KR100709854 B1 KR 100709854B1
Authority
KR
South Korea
Prior art keywords
signal value
pixel
peripheral pixels
image data
signal
Prior art date
Application number
KR1020047019777A
Other languages
English (en)
Other versions
KR20050008793A (ko
Inventor
마이클 카플린스키
이고르 서보틴
Original Assignee
마이크론 테크놀로지, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크 filed Critical 마이크론 테크놀로지, 인크
Publication of KR20050008793A publication Critical patent/KR20050008793A/ko
Application granted granted Critical
Publication of KR100709854B1 publication Critical patent/KR100709854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

이미지 프로세싱 시스템 및 방법은 이미지 센서 어레이로부터 얻어진 이미지의 각 화소를 필터 어레이의 동일 색상의 적어도 8개 주변 화소와 비교한다. 소정의 화소의 신호가 동일 색상의 8개 주변 화소 모두의 각 신호보다 크면, 그 다음에 그 중앙 화소 신호의 값을 동일 색상의 8개 주변 화소의 신호값 중에서 최대 신호값으로 대체한다. 마찬가지로, 소정의 화소의 신호가 동일 색상의 8개 주변 화소 모두의 각 신호보다 작으면, 그 중앙 화소 신호의 값을 동일 색상의 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체한다.
이미지 센서 어레이, 결함 화소, 주변 화소, 신호값, 동일 색상, 최소값, 최대값, 비교, 보정, 대체

Description

이미지 센서 어레이의 화소 결함을 실시간 인식 및 보정하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR REAL TIME IDENTIFICATION AND CORRECTION OF PIXEL DEFECTS FOR IMAGE SENSOR ARRAYS}
본 발명은 디지털 이미지 환경에서 이미지 센서 어레이의 결함 화소를 실시간 인식 및 보정할 수 있는 방법 및 장치에 관한 것이다.
이미지가 이미지 센서에 노출될 때, 각 화소는 받는(see) 광의 양을, 광이 상기 화소에 도달하지 않는 암(dark) 신호 내지 상기 화소에 의해 검출될 수 있는 광의 최대량을 나타내는 풀 화이트(full white) 신호 사이의 세기(intensity level)로서 기록한다.
상기 이미지 센서에 노출된 이미지의 색상을 검출하기 위해, 상기 이미지 센서의 화소는 컬러 필터의 색상을 제외한 모든 색상의 광 파장(light wavelength)을 흡수하는 각각의 컬러 필터로 커버(cover)되어 있다. 이미지 센서로부터 컬러 정보를 획득하는 전형적인 방법은 이미지 센서의 화소들 상에 컬러 필터 어레이를 배치하는 것이다. 이러한 컬러 필터 어레이의 가장 일반적인 예는 도 1에 도시된 베이 어 모자이크(Bayer mosaic) 필터이다. 상기 베이어 모자이크 필터는 장기판형(checkerboard like) 구조를 갖고, 교호하는 로우(row)의 적색, 녹색, 및 청색, 녹색 필터로 구성된다. 적색과 청색 필터는 2개의 녹색 필터가 인접 로우와 컬럼 사이의 가장자리를 공유하지 못하도록 서로 오프셋(offset)되어 있다. 각 화소의 완전한 색상 정보를 얻기 위해서는 주변 화소의 색상 세기를 기반으로 하여 색상 세기를 보간(interpolate)하는 것이 필요하다.
전형적인 이미지 센서가 이미지의 컬러 필터링된 정보를 집결시키는 적어도 수십 만개의 화소를 가질지라도, 각 화소는 단지 상기 화소에 기록된 신호값에 대해서 뿐만 아니라 기타 주변 화소의 색상 정보를 보간하는데 사용하기 위해 중요하다. 그러므로, 화소가 결함일 때, 그 효과는 이미지의 많은 부분에 영향을 미치는데 포함될 수 있다.
전하결합소자(CCD) 또는 씨모스(CMOS)와 같은 이미지 센서의 제조공정에서의 많은 고유 변이성 때문에, 각 센서의 이미지 어레이의 일부 화소는 항상 어둡거나(종종 회로의 단락으로 인함), 항상 너무 밝다(종종 비정상적으로 높은 누설전류로 인함). 대부분의 경우, 이들 결함은, 이미지 프로세싱 동안에 결함 신호값을 인접한 화소의 신호값으로 대체함으로써 보정될 수 있다. 하지만, 이러한 대체는 결함 화소 위치의 파악을 필요로 한다.
현재 공지된 대부분의 카메라에서, 결함 화소의 위치는 생산단계의 오프라인 테스트 절차 동안에 결정되어 상기 카메라의 비휘발성 메모리에 저장된다. 이러한 종래의 접근방법의 주요 단점은, 보정될 수 있는 결함의 수가 상기 목적을 전용으 로 하는 비휘발성 메모리의 사이즈에 의해 제한되는 것이다. 종래의 접근방법의 또 다른 단점은 결함 위치의 인식 및 저장을 위한 별도의 제조단계를 필요로 하는 것이다.
기존의 다른 카메라 모듈은 각 화소를, 동일 라인의 화소의 양측 상에 위치한 화소들과 같은 인접한 화소들과 비교하고, 문턱(threshold)을 기반으로 한 기준을 사용하여 대체를 함으로써 결함 화소의 보정을 한다. 소정의 문턱을 기반으로 한 비교를 사용하는 상기 결함 보정 방법은, 얇은 수직 라인과 같은 미세한 상세함이 상기 이미지로부터 "제거"됨에 따라 해상도를 저하시키는 경향이 있다.
당업계의 현황에서 볼 때, 결함 화소 보정 공정은, 사전 조정된(pre-calibrated) 결함 맵(map)을 저장하는데 현재 필요로 하는 전용 비휘발성 메모리가 생략될 수 있다면, 그리고 결함 화소의 보정이 문턱 기준을 사용하지 않고 실행될 수 있다면, 상당히 개선되어질 것이다.
본 발명은 종래의 문제점을, 결함 화소를 설명하는 별도의 제조단계 조정이나 사전 조정된 결함 맵을 저장하는 비휘발성 매체의 필요 없이, 이미지 센서 어레이의 임의의 개수의 암(dark) 결함 화소 및 명(bright) 결함 화소의 이미지 데이터를 실시간 보정할 수 있는 방법 및 장치를 제공함으로써 처리한다. 본 발명의 방법 및 장치는 또한 결함의 소정의 정의에 의존하지 않고, 잠재적인 결함이 비교되는 소정의 문턱의 사용을 필요로 하지 않으면서 결함 화소 데이터의 인식을 가능하 게 한다. 본 발명의 방법 및 장치는 또한 이미지 내용에 상관없이 이미지의 결함 화소 데이터의 보정을 가능하게 하고, 이미지의 해상도에 현저하게 영향을 미치지 않은 채 상기 이미지의 결함 화소의 데이터의 보정을 가능하게 하고, 이미지의 결함 화소 데이터의 보정을 가능하게 하는 한편 상기 이미지의 피크 대 피크(peal-to peak) 노이즈 변동을 또한 저감한다.
본 발명의 이미지 프로세싱 시스템 및 방법은 이미지의 각 화소의 신호를, 상기 필터 어레이의 동일 색상의 적어도 8개 주변 화소의 각 신호와 비교한다. 소정의 화소의 신호가 동일 색상의 8개 주변 화소 모두의 각 신호보다 크면, 그 다음에 그 중앙 화소의 신호값은 동일 색상의 8개 주변 화소 중에서 최대 신호값으로 대체한다. 마찬가지로, 소정의 화소의 신호가 동일 색상의 8개 주변 화소 모두의 각 신호보다 작으면, 그 중앙 화소의 신호값은 동일 색상의 8개 주변 화소 중에서 최소 신호값으로 대체한다.
본 발명은 또한, 이미지 센서 화소 어레이의 결함 화소의 클러스터를 검출하는 능력을 포함하는데, 이는 결함 화소 데이터 인식 및 보정 동작 후에 실행될 수 있고, 동일 색상의 2개 인접 화소의 신호값 차이의 절대값은 문턱값에 비교되고, 2개 신호값 차이의 절대값이 상기 문턱보다 큰 것으로 결정되면, 클러스터 결함이 존재한다. 바람직하게는, 이러한 동작은 제조공장에서의 테스트 동안에만 실행되어지나, 또한 결함 화소 데이터 인식 및 보정 동작의 완료 후에 영상장치에서 자동적으로 실행되도록 구성될 수도 있다.
본 발명의 다른 특징 및 이점은 첨부된 도면을 참조하여 다음의 본 발명의 상세한 설명으로부터 명백해질 것이다.
도 1은 이미지 센서에 사용된 공지의 베이어(Bayer) 모자이크 필터 패턴을 나타낸 도면이다.
도 2는 본 발명에 따라 결함 화소 데이터를 인식 및 보정하는 방법을 나타낸 도면이다.
도 3은 본 발명에 따라 이미지 센서 화소 어레이의 결함 화소의 클러스터를 검출하는 방법을 나타낸 도면이다.
도 4는 본 발명의 결함 화소 데이터 인식 및 보정 방법을 구현한 프로세싱 유닛을 나타낸 도면이다.
도 5는 본 발명의 결함 화소 데이터 인식 및 보정 시스템과 방법을 통합한 영상장치의 예시도이다.
도 6은 본 발명의 영상장치와 통신하는 프로세싱 시스템의 예시도이다.
본 발명의 방법에서, 이미지 센서에 의해 얻어진 이미지의 각 화소의 신호값을, 테스트중인 화소에 인접하여 또는 근처에 위치한 동일한 컬러 필터를 가진, 적어도 8개의 최근접 주변 화소의 신호값과 비교한다. 본 발명의 예를, 베이어 모자이크 필터 어레이를 가진 이미지 센서에 의해 얻어진 이미지에 대하여 설명한다. 도 2에 도시된 바와 같이, 중앙 화소(P0)의 신호값을, 동일 색상을 가진 8개의 최근접 주변 화소의 각각의 신호값과 비교한다. 상기 예에서, 이들 8개의 최근접 주변 화소는 테스트중인 화소(P0)로부터 동일한 로우(row)를 따라 배치된 화소(P4,P5 ), 동일한 컬럼(column)을 따라 배치된 화소(P2,P7) 및 대각선방향으로 배치된 화소(P1,P3,P6,P8)이고, 이들 각각은 화소(P0)로부터 관련 방향으로 1개의 화소를 이격하여 배치된다.
화소(P0)의 신호가 8개 모두의 주변 화소(P1,....,P8)의 각 신호보다 크면, 그 다음에, 화소(P0)의 신호값을 화소(P1,....,P8)의 신호값 중에서 최대 신호값으로 대체한다. 마찬가지로, 화소(P0)의 신호가 8개 모두의 주변 화소(P1,....,P8 )의 각 신호보다 작으면, 그 다음에, 화소(P0)의 신호값을 화소(P1,....,P8)의 신호값 중에서 최소 신호값으로 대체한다.
수학식으로 표현하면, P0 ＝ max(P1,....,P8) 또는 P0 ＝ min(P1,....,P8)이면, P0 ＝ Pi 이다. 여기서, Pi는 ｜P0 - Pk｜＝ min｜P0 - Pk｜이고, k는 1,..,8 이다.
상기 방법은 테스트 중인 화소의 각 측의 2개 로우와 컬럼(흑백 필터 어레이의 경우, 각 측의 1개 로우 및 컬럼)의 이미지 데이터를 필요로 하기 때문에, 상기한 바와 같은 본 발명은 필요하다면, 이미지 센서에 의해 얻어진 이미지의 2개의 최외곽 로우와 컬럼의 화소를 체크하여 보정하는 단계를 설명하지 못한다. 이는 이 들 위치의 화소가 주변 화소의 2개의 로우와 컬럼을 갖지 않기 때문이다. 하나의 해결책은 본 발명의 이미지 프로세싱 시스템이 내장된 장치로부터 디스플레이되거나 출력될 것보다 약간 더 큰 이미지 센서의 화소 어레이를 제공하는 것이다. 그러므로, 이미지 센서 화소 어레이의 가장자리부에 있는 1개 또는 2개의 로우와 컬럼의 이들 화소에 포함된 이미지 데이터는 결함에 대해 체크되지 않아 디스플레이되지 않으나, 본 발명에 따라 관련 내부 화소의 기능을 체크하는데 사용된다.
상술한 방법은 바람직하게는, 카메라와 같은 영상장치에서 상기 영상장치에 구비된 이미지 센서에 의해 캡쳐(capture)된 각 이미지에 대해 자동적으로 실행되며, 이미지 센서 상의 컬러 필터 어레이의 각 컬러 채널을 위한 8비트, 10비트, 12비트 등의 비트 깊이의 화소 컬러에 효과적이다. 본 발명의 동작은 상기 장치의 최종 사용자에게 명백하여 사용자가 초기 결함이 없는 보정 이미지를 보게만 될 것이다. 더욱이, 상기 영상장치가 제조공장에서 실시되는 품질관리 테스트를 통과하였고 상기 최종 사용자에 의해 작동되고 있다면, 클러스터 결함 검출 방법은 클러스터 결함이 존재하지 않음을 나타내는 부정적인 결과를 항상 만들어야만 한다는 것을 주목하여야 한다.
하지만, 상기 방법은 각 화소를 테스트하는데 필요한 3x3 또는 5x5 또는 여타 서브어레이 사이즈 당 1개로 빈번하게 발생하는 분리된(isolated) 결함을 보정하기에 적합하기만 하다. 결함 화소의 클러스터 경우, 상기 방법은 보정하지 못하고, 상기 소자는 생산 테스트 단계에서 불량으로 처리되어야만 한다. 클러스터는 서로 이웃하여 배치된 2개 이상의 동일 색상의 결함으로 정의한다. 베이어 모자이 크 필터 어레이에서, 클러스터는 또 다른 색상의 개재 화소에 의해 서로 이격하여 배치된 2개 이상의 동일 색상의 결함 화소를 포함한다.
선택적으로, 다음의 동작을 실행하는 성능은 상기한 결함 보정 방법의 실행 후에 클러스터의 존재를 결정하는데 도움을 주기 위해 상기 영상장치에 구비될 수 있다. 상기 선택(option) 동작에 있어서, 이미지 센서는 결함 화소 인식 및 보정 프로세스를 따르며 균일하게 조사되고, 도 3에 도시된 바와 같이, 2개의 인접한 동일 색상 화소(P0+),(P6+)의 값 차이에 대한 절대값을 문턱값(threshold value)과 비교한다. 상기 문턱 레벨 이상의 차이는 보정 불가한 클러스터 결함이 상기 이미지 센서에 있을 경우에만 검출된다. 수학적으로 표현하면, 결함 보정 프로세스의 실행 후에 ｜P0+ - P6+｜＞Tth 이면, 결함 화소의 클러스터가 존재한다.
클러스터 결함 검출 동작은 결함 화소 데이터 인식 및 보정 동작의 완료 후에 영상장치에서 자동적으로 실행되도록 설정할 수 있으나, 바람직하게는, 상기 결함 화소 데이터 인식 및 보정 동작의 완전한 테스트 실행 후에 생산 단계에서 동작되도록, 시스템 하드웨어의 스위치에 의해서와 같이 제어한다. 생산단계 또는 품질관리 절차 동안에 제조공장에서 실행될 때, 상기 클러스터 검출 테스트의 성공적인 실행은 상기 이미지 센서가 클러스터 결함이 없다는 증명으로서 작용한다. 하지만, 상기 테스트가 문턱값보다 큰 결과를 만들어내면, 결함 화소의 클러스터가 존재하고, 상기 이미지 센서는 폐기하여야 한다.
상기한 결함 화소 데이터 인식 및 보정 방법은 이미지 센서의 화소 어레이의 적어도 3x3 서브세트(subset), 바람직하게는 5x5 서브세트로부터 얻어진 이미지 정보를 홀딩(holding)할 수 있는 메모리 구조를 포함하는 시스템에서 구현된다. 예를 들어, 이미지 센서의 아키텍처(architecture)가 전체 화소 어레이 상의 흑백 필터를 갖거나 이미지를 그레이스케일(grayscale)로 형성함과 같은 것에 의해 흑백 이미지를 제공하면, 각 화소는 테스트될 화소의 색상과 동일한 색상의 8개의 화소에 의해 인접하여 둘러싸이기 때문에 메모리 프레임(frame)에 단지 3개 라인의 저장(storage)이 필요하다. 반면에, 이미지 센서 아키텍처가 적색 화소와 녹색 화소가 교호하는 로우가 도 1에 도시된 바와 같이, 청색 화소와 녹색 화소가 교호하는 화소의 로우와 교호로 배열된 베이어 모자이크 필터와 같은 멀티컬러 필터 어레이를 포함하면, 그 다음에, 본 발명의 메모리 구조는 적어도 5개 라인의 이미지 정보를 홀딩할 수 있다. 또한, 메모리 구조는 모든 다른 형태의 이미지 센서 필터 배열을 수용하는데 필요한 모든 다른 사이즈이어도 좋다. 또 다른 대안으로서, 버퍼 메모리는 전체 이미지의 화소 정보를 홀딩할 수 있는 전체 프레임 버퍼 메모리이어도 좋다.
도 4는 이미지 프로세서에 내장되며, 상기한 보정 방법을 구현하는 프로세싱 유닛(100)의 바람직한 실시예를 나타낸 도면이다. 바람직한 실시예에서, 상기 프로세싱 유닛(100)은 이미지 데이터를 입력하기 위한 6개 로우의 시프트 레지스터(SR)(108), 6개 로우 중 1개 로우의 시프트 레지스터(108)에 가장 최근 라인의 이미지 데이터를 다른 로우의 시프트 레지스터로의 데이터 입력에 컬럼 동기화하여 전송하기 위한 디레이(delay) 회로(112), 앞서 리드(read)되어진 5개 라인의 이미 지 데이터를 저장하기 위한 5개 뱅크(bank)의 랜덤 억세스 메모리(RAM)(102), 상기 램 뱅크(102)로의 데이터 입력 또는 상기 램 뱅크(102)로부터의 데이터 출력을 제어하기 위한 리드/라이트 어드레스 제너레이터(read/write address generator)(110), 상기 리드/라이트 어드레스 제너레이터(110)에 의해 결정된 해당 램에 상기 이미지 데이터를 입력하기 위한 입력 멀티플렉서(104), 상기 리드/라이트 어드레스 제너레이터(110)에 의해 결정된 해당 로우의 시프트 레지스터(108)에 상기 램 뱅크(102)의 이미지 데이터를 출력하기 위한 출력 멀티플렉서(106), 상기한 바와 같은 결함 화소 데이터 인식 및 보정을 실행하기 위한 결함 보정 회로 및 선택적으로, 적색, 녹색, 청색 출력 신호를 생성하기 위한 제2의 2차원 보간(Interpolation) 이미지 프로세싱 동작 회로(116)를 포함한다.
흑백 이미지 센서 어레이의 경우, 결함 화소 데이터 인식 및 보정 동작을 실행하는데 단지 3개 로우의 시프트 레지스터가 필요하기 때문에 더 적은 개수의 램 뱅크(102) 및 로우의 시프트 레지스터(108) 예를 들면, 3개의 램 뱅크(102)와 4개 로우의 시프트 레지스터(108)가 필요하다.
바람직한 실시예에서, 각 메모리 뱅크는 동시 리드/라이트 접속을 가능하게 하는 듀얼포트형 에스램(static RAM: SRAM)이다. 하지만, 예를 들어, 파스트 페이지 모드 디램(fast page mode DRAM: FPM DRAM), 확장 데이터 출력 디램(expanded data out DRAM: EDO DRAM), 버스트 확장 데이터 출력 디램(burst EDO DRAM), 동기식 디램(synchronous DRAM: SDRAM), 더블 데이터 레이트 디램(double data rate DRAM: DDR DRAM), 램버스 디램(Rambus DRAM: RDRAM) 등을 포함한 다수의 상이한 변 형 디램(DRAM)과 같은, 다른 형태의 램을 사용하여도 좋다.
덧붙여, 상기 디레이 회로는 램 또는 여타 장치로서 구현될 수 있거나, 입력되는 라인의 이미지 데이터를, 램 뱅크(102)를 거쳐 상기 시프트 레지스터에 입력하는 이미지 데이터와 컬럼 동기화하여 상기 시프트 레지스터로 직접 전송할 수 있는 여타 메커니즘으로 대체하여도 좋다. 하지만, 바람직한 실시예에서, 상기 디레이 회로(112)는, 램 뱅크(102)에서부터 잔여 로우의 시프트 레지스터로의 화소 데이터 입력과 화소 컬럼 동기화를 유지하기 위해, 상측 로우의 시프트 레지스터(108)로 새로운 라인의 이미지 데이터가 입력되는 것을 디레이하는 디레이 레지스터로서 간단히 구비된다.
6개 세트의 시프트 레지스터(108)는, 결함 보정에 사용되는 것과 동일한 시프트 레지스터 하드웨어를 공유하는 한, 화소 결함 보정과 또 다른 2차원 보간 처리 기능 모두를 실행할 수 있도록 하기 위해, 6개 라인의 이미지 데이터(흑백 이미지 어레이의 경우, 더 적은 개수의 라인이 필요함)에 동시 접속을 제공한다. 상술한 바와 같이, 가장 최근 라인의 이미지 데이터는 도 4에 도시된 상측 로우의 시프트 레지스터에 전송되는 반면에, 그 다음의 가장 최근 라인의 이미지 데이터는 램 뱅크(102) 등 중의 하나로부터 제2 로우의 시프트 레지스터에 입력되며, 제6의 가장 최근 라인의 이미지 데이터는 도 4에 도시된 마지막 로우의 시프트 레지스터에 입력된다.
데이터가 해당 로우의 시프트 레지스터(108)의 각각으로 전송 중에 있는 특정 램 뱅크는 출력 멀티플렉서(106)에 구비된 스위치를 동작시키는 어드레스 제너 레이터(110)의 포인터(pointer)에 의해 결정된다. 상기 램 뱅크(102)의 데이터는 FIFO(first in first out) 순서로 1개 화소씩 시프트 레지스터(108)에 독출된다. 또한, 상기 디레이 레지스터에 의해 1개 세트의 시프트 레지스터로 공급되는 이미지 데이터가 5개 뱅크의 메모리에서 나머지 5개 세트의 시프트 레지스터로 독출되는 화소 정보와 동일한 컬럼의 이미지 어레이에서 출력되도록, 상기 디레이 레지스터(112)의 이미지 데이터는 메모리 뱅크(102)의 출력과 동기화한다.
상기한 아키텍처는 이미지 프로세서의 후속 프로세싱 단계 전에 결함 보정을 화소 클럭 속도로 실행하게 한다. 결함 화소의 인식 및 보정은 결함 보정(defect correction) 회로(114)에 의해 시프트 레지스터에서 이루어지고, 제1의 5개 로우의 시프트 레지스터로 리드되어 입력되는 데이터를 사용하여 제3의 로우의 시프트 레지스터의 화소 데이터에 대해 시계열적으로 실행한다. 구체적으로, 메모리 뱅크(102)의 각 라인의 이미지 데이터로부터의 화소 데이터는 상기 화소 클럭 속도에 동기화하여 해당 시프트 레지스터에 해석(parse)되고, 결함 화소에 대한 데이터의 검출 및 보정은 상기 시프트 레지스터 어레이의 결함 보정 회로(114)에 도시된 중앙 화소(122)에 대해 실행한다. 상기 결함 보정 회로(114)의 중앙에 현재 위치하는 화소의 데이터가 일단 체크되어 보정되었으면, 필요하다면, 상기 시프트 레지스터의 데이터가 우측으로 시프트하며, 동일한 라인의 좌측으로 그 다음 화소의 화소 데이터를 체크하기 위해 새로운 화소 데이터가 각각의 램 뱅크(102)와 디레이 레지스터(112)로부터 최좌측 컬럼의 시프트 레지스터로 리드되어 입력된다.
상기 프로세스는 필요하다면, 관련 이미지 라인, 즉 제3의 로우의 시프트 레 지스터의 모든 화소 데이터가 체크되어 보정될 때까지 반복한다. 각 라인의 이미지 데이트가 상기 시프트 레지스터를 통하여 전송함에 따라, 제6의 로우의 시프트 레지스터를 통하여 전송하는 가장 오래된 라인의 이미지 데이터를 포함하는 램 뱅크에는 또한, 입력 멀티플렉서(104)와 어드레스 제너레이터(110)의 제어 하에 제1의 로우의 시프트 레지스터에 입력되는 새로운 라인의 화소 데이터가 로드(load)된다. 그러므로, 상기 오래된 이미지 데이터는, 상기 출력 멀티플렉서(106)를 통하여 제 6의 라인의 시프트 레지스터에 독출됨에 따라 덮어 쓰여지게 된다. 따라서, 가장 오래된 라인의 이미지 데이터를 독출하는 램 뱅크에는 상기 제1의 로우의 시프트 레지스터에 현재 입력하는 가장 새로운 라인의 이미지 데이터가 로드된다. 그러므로, 상기 램은 그 다음 라인의 이미지 데이터를 보정하기 위한 제2의 로우의 시프트 레지스터로 로드되어질 화소 이미지 데이터를 포함할 것이다.
상기 이미지 데이터 라인의 끝에 도달하자마자, 상기 리드/라이트 어드레스 제너레이터(110)는 상기 출력 멀티플렉서(106)를 업데이트하고 그 결과, 상기 결함 보정 회로(114)에 의해 방금 체크되는 라인의 이미지 데이터를 포함하는 램 뱅크(102)는 그 내용을 도 4에 도시된 제4 로우의 시프트 레지스터에 독출하도록 리라우트(reroute)하는 한편, 상기 이미지 데이터를 제 4 로우의 시프트 레지스터로 앞서 출력하는 램 뱅크(102)는 이제 제 5 로우의 시프트 레지스터에 출력하도록 구성된다. 마찬가지로, 상기 라인의 이미지 데이터를 제 5 로우의 시프트 레지스터로 독출하도록 앞서 구성된 램 뱅크는 이제 제 6 로우의 시프트 레지스터에 출력하도록 리라우트된다. 상술한 바와 같이, 제1 로우의 시프트 레지스터에 앞서 리드되 는 이미지 데이터는 가장 오래된 라인의 이미지 데이터를 앞서 홀딩하는 램 뱅크(102)에 현재 존재하고, 제 2 로우의 시프트 레지스터에 현재 리라우트된다.
상기 램 뱅크(102)의 이미지 데이터는 그 다음에, 제 3 로우의 시프트 레지스터(108)에 이제 존재하는 라인의 화소 데이터에 대해 상기 프로세스를 새로이 시작하기 위해, 앞서의 반복과 같이, 좌측에서 우측으로 상기 시프트 레지스터에 독출된다. 또한, 그 다음 입력하는 라인의 이미지 데이터는, 램 뱅크(102)로부터 제 2 내지 제 6 로우의 시프트 레지스터를 거쳐 입력하는 이미지 데이터와 컬러 동기화하여 상기 제 1 로우의 시프트 레지스터에 리드된다. 바람직한 실시예에서, 잔여 로우에 관련한 제 1 로우의 시프트 레지스터에 리드되는 이미지 데이터의 컬럼 동기화가 도 4에 도시된 바와 같은 디레이 레지스터(112)에 의해 실현될 지라도, 상기 컬럼 동기화는 다른 수단을 사용하여 실현될 수 있다.
상기 메모리 뱅크에 버퍼된(buffered) 데이터가 반복적으로, 즉 5개의 램 뱅크(흑백 이미지 어레이의 경우 3개)의 각 라인에 대해 1회씩 사용되기 때문에, 일단 결함이 발견되어 보정되었으면 메모리 내용을 업데이트하는 것이 필요하다. 상기 보정된 값은 결함 보정 회로(114)의 중앙 시프트 레지스터(122)에 라이트되고, 또한 입력결함 보정이 이루어지는(도 4의 120) 로우의 시프트 레지스터에 대응하는 램 뱅크(102)의 적절한 화소 위치에 멀티플렉서(104)를 거쳐 다시 라이트된다.
일단 결함 보정이 실행되면, 동일한 세트의 시프트 레지스터는 예를 들어 도 4의 회로(116)로 표시된, 색상 보간과 같은 다른 2차원 이미지 프로세싱 동작을 실행하는데 (1개 라인과 1개 화소의 디레이와 함께) 사용될 수 있다. 샤프니스 필터 링(sharpness filtering), 화이트 밸런싱(white balancing) 등과 같은 다른 이미지 프로세싱 동작은 또한 적색, 녹색 및 적색 출력 신호(124)를 생성하기 위해 회로(116)에 의해 실행될 수 있다.
흑백 이미지 센서 어레이의 경우, 프로세싱 유닛(processing unit)(100)의 동작은 더 적은 개수의 램 뱅크와 로우의 시프트 레지스터가 구비되고, 2차원 이미지 프로세싱 회로(116)의 출력 신호(124)가 흑백 이미지의 색상을 가지기만 할 것이라는 점을 제외하고, 상기한 바와 같이 동일하다.
상술한 본 발명의 특징을 포함하는 영상장치(200)의 예는 도 5에 도시되어 있고, 광을 이미지화될 객체로부터 이미지 센서를 포함하는 이미지 센싱 유닛(image sensing unit)(204)에 입사하기 위한 렌즈 시스템(202); 상기 이미지 센싱 유닛(204)에 입사된 이미지 신호를 디지털 신호로 변환하기 위한 아날로그/디지털 변환기(206); 상기한 바와 같은 결함 화소의 데이터 보상을 포함한 이미지 보정 프로세스를 실행하고 또한 색상 보간, 샤프니스 필터링, 화이트 밸런싱 등을 실행하기 위한 이미지/컬러 프로세싱 유닛(208); 상기 이미지 데이터를, 사용자에게 출력되거나 디스플레이되기 위한 적절한 파일 포맷으로 변환하기 위한 출력 포맷 변환/압축 유닛(out format conversion/compression unit)(210); 및 전체 영상장치(200)의 동작을 제어하기 위한 제어기(212)를 포함한다.
상기 이미지 센싱 유닛(204)의 이미지 센서는 바람직하게는, 실리콘과 같은 감광성(photosensitive) 물질로 형성된 화소를 포함하는 집적회로로서 구성된다. 상기 이미지 센서는 CMOS 센서로서 형성될 수 있고, 단일 집적회로에 씨피유(CPU), 디지털 시그널 프로세서 또는 마이크로프로세서와 같은 프로세서와 통합될 수 있다. 또한, 상기 이미지 센싱 유닛(204)의 이미지 센서는 고체촬상소자(charge coupled device: CCD)로서 구성될 수 있다.
제한이 없으면, 상기 영상장치(200)는 컴퓨터 시스템, 카메라 시스템, 스캐너, 머신 비전(machine vision) 시스템, 차량 네비게이션(vehicle navigation) 시스템, 비디오 전화기, 감시(surveillance) 시스템, 자동 포커스 시스템, 별 추적기(star tracker) 시스템, 동작 검출 시스템, 이미지 안정화 시스템 및 고선명 텔레비전용 데이터 압축 시스템의 일부분이 될 수 있고, 이들 모두가 본 발명을 사용할 수 있다.
영상장치(200)가 연결될 수 있는 전형적인 프로세서 시스템(400)은 도 6에 도시되어 있다. 예를 들어 컴퓨터 시스템과 같은 프로세서 시스템(400)은 일반적으로, 버스(452)를 통하여 입/출력장치(446)와 통신하는 중앙처리장치(CPU)(444)를 포함한다. 상기 영상장치(200)는 버스(452) 또는 포트 연결(ported connection)을 통하여 상기 시스템과 통신한다. 상기 프로세서 시스템(400) 또한 랜덤 억세스 메모리(random access memory: RAM)(448)를 포함하고, 컴퓨터 시스템의 경우, 상기 버스(452)를 통하여 상기 CPU(444)와 또한 통신하는 플로피 디스크 드라이브(454) 및 콤팩트디스크(CD) 롬 드라이브(456)와 같은 주변장치를 포함할 수 있다.
본 발명이 특정 실시예에 관하여 설명하였을지라도, 많은 다른 변형과 수정 및 사용은 당업자에게 자명하다. 그러므로, 본 발명은 상세한 설명에 의해 한정되는 것이 아니라 첨부된 특허청구범위에 의해서만 한정되는 것이 바람직하다.

Claims (61)

  1. 이미지 센서 어레이에서 얻어진 이미지로부터 복수개의 라인의 이미지 데이터를 수신하며, 각각의 라인은 상기 어레이의 라인의 화소에 해당하는 신호값 데이터를 포함할 수 있는 메모리 회로;
    상기 메모리 회로로부터 이미지 데이터를 수신하며, 상기 어레이의 테스트 화소의 신호값을 8개 이상의 주변 화소의 신호값 데이터와 비교하고, 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값으로 대체하거나, 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체하기 위한 보정 회로를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치; 및
    상기 라인의 이미지 데이터의 각 화소의 신호값을 순차적으로 테스트하기 위해, 상기 이미지 데이터를 상기 보정 회로로 독출하도록 상기 메모리 회로를 제어하는 제어기를 포함하고,
    상기 제어기는, 상기 메모리 회로로의 이미지 데이터 입력을 제어할 수 있어서, 가장 오래된 라인의 이미지 데이터가 독출될 수 있을 때, 새로운 라인의 이미지 데이터가 상기 메모리 회로에 라이트(write)되고, 상기 가장 오래된 라인의 이미지 데이터를 대체할 수 있으며,
    라인의 이미지 데이터의 각 화소의 신호값을 테스트 완료하자마자 상기 업데이트된 이미지 데이터를 독출하도록 상기 메모리 회로를 추가로 제어할 수 있어서, 상기 보정 회로가 다음 라인의 이미지 데이터의 화소의 신호값을 순차적으로 테스트하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  2. 제1항에 있어서, 상기 8개 주변 화소는 상기 테스트 화소에, 흑백 이미지를 위한 2차원 영역의 수평, 수직 및 대각선 방향으로 인접하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  3. 제1항에 있어서, 상기 8개 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직 및 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 갖는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 테스트 화소가 테스트되어진 후 상기 이미지 데이터의 테스트 화소에 이미지 프로세싱 동작을 실행하는 이미지 프로세싱 회로를 더 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  7. 제6항에 있어서, 상기 이미지 프로세싱 회로는 색상 프로세싱 동작을 실행할 수 있는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  8. 제6항에 있어서, 상기 이미지 프로세싱 회로는 색상 보간 동작을 실행할 수 있는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  9. 제6항에 있어서, 상기 이미지 프로세싱 회로는 화이트 밸런싱 동작을 실행할 수 있는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  10. 제6항에 있어서, 상기 이미지 프로세싱 회로는 샤프니스 필터링 동작을 실행할 수 있는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 각각이 이미지 센서 어레이로부터 얻어진 이미지의 소정의 라인의 이미지 데이터를 수신하여 일시적으로 저장하고, 각 라인이 상기 어레이의 라인의 화소에 해당하는 신호값 데이터를 각각 갖는 복수개의 메모리 뱅크;
    각각의 메모리 뱅크에 대하여, 상기 복수개의 메모리 뱅크로부터 이미지 데이터를 수신하는 복수개 세트의 시프트 레지스터;
    상기 세트 중 1개 세트의 시프트 레지스터의 이미지 데이터에서 테스트 화소의 신호값을 테스트하여 상기 테스트 화소의 신호값이 결함이 있는지 여부를 결정하고, 결함이 있는 것으로 판정되면, 상기 이미지의 테스트 화소의 신호값을 8개 이상의 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값 또는 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체함으로써, 상기 결함이 있는 신호값을 보정하는 보정회로; 및
    상기 메모리 뱅크로부터 복수개 세트 중 1개 세트의 시프트 레지스터에 입력되는 이미지 데이터와 컬럼 동기화하여 상기 이미지 센서 어레이로부터 상기 시프트 레지스터에 직접 라인의 이미지 데이터를 입력하는 딜레이 레지스터를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 각각이 이미지 센서 어레이로부터 얻어진 이미지의 소정의 라인의 이미지 데이터를 수신하여 일시적으로 저장하고, 각 라인이 상기 어레이의 라인의 화소에 해당하는 신호값 데이터를 각각 갖는 복수개의 메모리 뱅크;
    각각의 메모리 뱅크에 대하여, 상기 복수개의 메모리 뱅크로부터 이미지 데이터를 수신하는 복수개 세트의 시프트 레지스터;
    상기 세트 중 1개 세트의 시프트 레지스터의 이미지 데이터에서 테스트 화소의 신호값을 테스트하여 상기 테스트 화소의 신호값이 결함이 있는지 여부를 결정하고, 결함이 있는 것으로 판정되면, 상기 이미지의 테스트 화소의 신호값을 8개 이상의 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값 또는 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체함으로써, 상기 결함이 있는 신호값을 보정하는 보정회로; 및
    이미 테스트된 이미지 데이터의 화소에 이미지 프로세싱 동작을 실행하는 이미지 프로세싱 회로를 포함하고,
    상기 이미지 프로세싱 회로는 상기 테스트 화소가 테스트된 시프트 레지스터로부터 오프셋된 시프트 레지스터의 일부분을 사용하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  22. 제21항에 있어서, 상기 이미지 프로세싱 회로는 색상 프로세싱 동작을 실행하기 위하여 추가로 구비되는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  23. 제21항에 있어서, 상기 이미지 프로세싱 회로는 색상 보간 동작을 실행하기 위하여 추가로 구비되는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  24. 제21항에 있어서, 상기 이미지 프로세싱 회로는 화이트 밸런싱 동작을 실행하기 위하여 구비되는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  25. 제21항에 있어서, 상기 이미지 프로세싱 회로는 샤프니스 필터링 동작을 실행하기 위하여 구비되는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  26. 삭제
  27. 삭제
  28. 삭제
  29. a) 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를 얻는 단계;
    b) 3개 이상 라인의 신호값 중에서 테스트 화소의 신호값을, 상기 3개 이상 라인의 신호값 중에서 8개 이상 화소의 각 신호값과 비교하며, 상기 8개 화소는 상기 테스트 화소 주변에 위치하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상을 갖는 단계;
    c) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 재정의하는 단계; 및
    d) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 재정의하는 단계를 포함하고,
    상기 이미지 센서 화소 어레이의 최외곽 2개 로우 및 컬럼의 화소의 신호값에 대해 상기 비교 단계를 실행하지 않는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  30. 삭제
  31. 삭제
  32. a) 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를 얻는 단계;
    b) 3개 이상 라인의 신호값 중에서 테스트 화소의 신호값을, 상기 3개 이상 라인의 신호값 중에서 8개 이상 화소의 각 신호값과 비교하며, 상기 8개 화소는 상기 테스트 화소 주변에 위치하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상을 갖는 단계;
    c) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 재정의하는 단계;
    d) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 재정의하는 단계;
    e) 상기 테스트되는 화소와 같은 동일한 라인의 이미지 데이터의 다음 화소에 대해 상기 단계 a) 내지 상기 단계 d)를 상기 라인의 모든 화소가 테스트 완료될 때까지 반복하는 단계;
    f) 상기 이미지 센서 화소 어레이의 새로운 라인의 이미지 데이터에 대해 새로운 라인의 신호값을 얻는 단계;
    g) 다음 라인의 이미지 데이터에 상기 단계 e)를 반복하고, 또한 각 라인의 이미지 데이터의 각 화소에 대한 모든 신호값이 테스트 완료될 때까지 상기 단계 f)를 반복하는 단계;
    h) 각 라인의 이미지 데이터의 각 화소를 테스트한 후 결함 화소의 클러스터가 존재하지 않음을 입증하는 단계
    i) 상기 테스트되는 이미지 데이터 중에서 제1 화소를 선택하는 단계;
    j) 상기 제1 화소에 대해 최근접한 주변 화소 중에서 제2 화소를 선택하고, 상기 제2 화소는 상기 제1 화소와 같은 동일한 색상을 갖는 단계;
    k) 상기 제1 화소와 제2 화소 사이의 신호값 차이를 얻는 단계;
    l) 상기 차이의 절대값을 문턱값에 비교하되, 상기 차이의 절대값이 상기 문턱값보다 크면, 결함 화소의 클러스터가 존재하는 것으로 결정하는 단계; 및
    m) 상기 테스트되는 이미지 데이터의 각 화소에 대해 상기 단계 i) 내지 상기 단계 l)를 반복하는 단계를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  33. 삭제
  34. 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를, 복수개의 메모리 뱅크에 라이트하는 단계;
    상기 메모리 뱅크의 이미지 데이터를 복수개 세트의 시프트 레지스터에 순차적으로 입력하는 단계;
    상기 시프트 레지스터의 테스트 화소의 신호값을, 상기 시프트 레지스터의 8개 이상 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상 필터 유형을 갖는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 보정하는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 보정하는 단계; 및
    복수개의 메모리 뱅크로부터 어느 한 세트의 시프트 레지스터에 라인의 이미지 데이터를 개별적으로 직접 입력하되, 상기 메모리 뱅크로부터 상기 시프트 레지스터에 입력되는 상기 라인의 이미지 데이터와 컬럼 동기화되고, 상기 테스트 화소의 신호값과 비교되기 위한 상기 8개 이상 주변 화소의 신호값의 일부분을 상기 시프트 레지스터에 직접 입력되는 이미지 데이터 중에서 선택하는 단계를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  35. 삭제
  36. 삭제
  37. 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를, 복수개의 메모리 뱅크에 라이트하는 단계;
    상기 메모리 뱅크의 이미지 데이터를 복수개 세트의 시프트 레지스터에 순차적으로 입력하는 단계;
    상기 시프트 레지스터의 테스트 화소의 신호값을, 상기 시프트 레지스터의 8개 이상 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상 필터 유형을 갖는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 보정하는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 보정하는 단계; 및
    상기 테스트 화소의 신호값을 보정하자마자, 해당 메모리 뱅크의 해당 위치에 보정값을 대체하는 단계를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  38. 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를, 복수개의 메모리 뱅크에 라이트하는 단계;
    상기 메모리 뱅크의 이미지 데이터를 복수개 세트의 시프트 레지스터에 순차적으로 입력하는 단계;
    상기 시프트 레지스터의 테스트 화소의 신호값을, 상기 시프트 레지스터의 8개 이상 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상 필터 유형을 갖는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 보정하는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 보정하는 단계; 및
    상기 테스트 화소의 신호값을 보정하자마자, 상기 시프트 레지스터의 해당 위치에 보정값을 대체하는 단계를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  39. 삭제
  40. 삭제
  41. 삭제
  42. 이미지 센서의 화소 어레이로부터 얻어진 3개 이상 라인의 이미지에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를, 복수개의 메모리 뱅크에 라이트하는 단계;
    상기 메모리 뱅크의 이미지 데이터를 복수개 세트의 시프트 레지스터에 순차적으로 입력하는 단계;
    상기 시프트 레지스터의 테스트 화소의 신호값을, 상기 시프트 레지스터의 8개 이상 주변 화소의 신호값과 비교하고, 상기 8개 주변 화소가 상기 테스트 화소와 같은 동일한 색상 필터 유형을 갖는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값과 동일하도록 보정하는 단계;
    상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 8개 주변 화소의 신호값은 변경 없이 유지하면서, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값과 동일하도록 보정하는 단계; 및
    상기 비교단계와, 필요하다면, 상기 보정단계를 상기 테스트 화소에 대해 실행한 후에, 상기 테스트 화소를 테스트하는데 사용된 시프트 레지스터로부터 상기 시프트 레지스터의 오프셋 부분을 사용하여 후속의 이미지 프로세싱 기능을 실행하는 단계를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  43. 제42항에 있어서, 상기 후속의 이미지 프로세싱 기능은 색상 프로세싱 기능인 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  44. 제42항에 있어서, 상기 후속의 이미지 프로세싱 기능은 색상 보간 기능인 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  45. 제42항에 있어서, 상기 후속의 이미지 프로세싱 기능은 샤프니스 필터링 기능인 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  46. 제42항에 있어서, 상기 후속의 이미지 프로세싱 기능은 화이트 밸런싱 기능인 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  47. 각각이 이미지 센서 어레이로부터 얻어진 이미지의 라인의 이미지 데이터를 수신하여 일시적으로 저장하고, 각 라인이 상기 어레이의 라인의 화소에 해당하는 신호값 데이터를 갖는 복수개의 메모리 뱅크; 및
    상기 복수개의 메모리 뱅크로부터 이미지 데이터를 수신하고, 상기 어레이의 테스트 화소의 신호값을 8개 이상 주변 화소의 신호값과 비교하고, 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값으로 대체하는 보정부를 포함하고,
    5개의 메모리 뱅크를 포함하며, 상기 8개 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직, 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 갖는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  48. 삭제
  49. 삭제
  50. 각각이 이미지 센서 어레이로부터 얻어진 이미지의 소정의 라인의 이미지 데이터를 수신하여 일시적으로 저장하고, 각 라인이 상기 어레이의 라인의 화소에 해당하는 신호값 데이터를 갖는 복수개의 메모리 뱅크; 및
    상기 복수개의 메모리 뱅크로부터 이미지 데이터를 수신하고, 상기 어레이의 테스트 화소의 신호값을 8개 이상 주변 화소의 신호값과 비교하고, 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체하는 보정 회로를 포함하고,
    5개의 메모리 뱅크를 포함하며, 상기 8개의 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직, 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 갖는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  51. 삭제
  52. 삭제
  53. a) 이미지 센서의 화소 어레이로부터 얻어진 이미지의 3개 이상 라인의 이미지 데이터에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를 얻는 단계;
    b) 3개 이상 라인의 이미지 데이터 중에서 테스트 화소의 신호값을, 상기 3개 이상 라인의 이미지 데이터 중에서 8개 이상 화소의 각 신호값과 비교하고, 상기 8개 화소는 상기 테스트 화소 주변에 위치하고, 상기 8개 주변 화소는 상기 테스트 화소와 같은 동일한 색상을 갖는 단계; 및
    c) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값으로 대체하는 단계를 포함하고,
    상기 8개 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직 및 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 가지는 것을 특징으로 하는 화소 이미지 데이터 보정 방법.
  54. 삭제
  55. 삭제
  56. a) 이미지 센서의 화소 어레이로부터 얻어진 이미지의 3개 이상 라인의 이미지 데이터에 대한 신호값을 갖는 3개 이상 라인의 이미지 데이터를 얻는 단계;
    b) 3개 이상 라인의 이미지 데이터 중에서 테스트 화소의 신호값을, 상기 3개 이상 라인의 이미지 데이터 중에서 8개 이상 화소의 각 신호값과 비교하고, 상기 8개 화소는 상기 테스트 화소 주변에 위치하고, 상기 8개 주변 화소는 상기 테스트 화소와 같은 동일한 색상을 갖는 단계; 및
    c) 상기 테스트 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체하는 단계를 포함하고,
    상기 8개 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직 및 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 가지는 것을 특징으로 하는 이미지 센서 어레이의 결함 화소로 인한 이미지 데이터를 보정하는 방법.
  57. 삭제
  58. 삭제
  59. 각각이 이미지 센서 어레이로부터 얻어진 라인의 이미지 데이터를 수신하여 일시적으로 저장하고, 각 라인이 상기 어레이의 라인의 화소에 해당하는 신호값을 갖는 복수개의 메모리 뱅크; 및
    사전 결정되어 저장된 결함 화소 위치의 맵을 사용함 없이 또한 문턱값을 사용함 없이, 상기 어레이의 결함 화소에 의해 만들어진 신호값을 인식하여 보정하는 보정회로를 포함하는 것을 특징으로 하는 화소 이미지 데이터 보정 장치.
  60. 이미지를 얻고, 상기 이미지의 각 라인의 신호값을 갖는 화소 이미지 데이터를 포함하는 이미지 신호를 출력하는 이미지 센싱 유닛;
    상기 이미지 신호를 프로세싱하는 이미지 프로세서; 및
    상기 이미지 센싱 유닛과 상기 이미지 프로세서를 제어하는 제어기를 포함하며,
    상기 이미지 프로세서는 상기 화소 이미지 데이터를 수신하여, 테스트 화소의 신호값을 상기 이미지의 테스트 화소 주위의 8개 이상 화소의 신호값과 비교하고, 상기 테스트되는 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 크면 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값으로 대체하고, 상기 테스트되는 화소의 신호값이 상기 8개 주변 화소의 신호값 모두 보다 작으면 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체하는 결함 화소 데이터 보정회로를 포함하고,
    상기 8개의 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직, 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개의 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 갖는 것을 특징으로 하는 이미지 프로세싱 장치.
  61. 이미지 데이터를 수신하고, 프로세싱하는 프로세서; 및
    상기 이미지 데이터를 상기 프로세서에 공급하는 이미지 데이터 제너레이터를 포함하되,
    상기 이미지 데이터 제너레이터는,
    이미지를 얻어 이미지 신호를 출력하는 이미지 센싱 유닛,
    상기 이미지 신호를 프로세싱하는 이미지 프로세서, 및
    상기 이미지 센싱 유닛과 상기 이미지 프로세서를 제어하는 제어기를 포함하며,
    상기 이미지 프로세서는 상기 화소 이미지 데이터를 수신하여, 테스트 화소의 신호값을 상기 이미지의 테스트 화소 주위에 있는 8개 이상 화소의 신호값과 비교하고, 상기 테스트 화소의 신호값을 상기 8개 주변 화소의 신호값 중에서 최대 신호값 또는 상기 8개 주변 화소의 신호값 중에서 최소 신호값으로 대체하는 결함 화소 데이터 보정회로를 포함하고,
    상기 8개의 주변 화소는 상기 테스트 화소로부터 2차원 영역의 수평, 수직, 대각선 방향으로 1개 화소를 이격하여 배치되고, 상기 8개의 주변 화소는 컬러 필터 어레이에서 상기 테스트 화소와 같은 동일한 색상을 갖는 것을 특징으로 하는 프로세싱 시스템.
KR1020047019777A 2002-06-04 2003-06-04 이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치 KR100709854B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/160,556 2002-06-04
US10/160,556 US7202894B2 (en) 2002-06-04 2002-06-04 Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
PCT/US2003/017471 WO2003103275A1 (en) 2002-06-04 2003-06-04 Method and apparatus for real time identification and correction of pixel defects for image sensor arrays

Publications (2)

Publication Number Publication Date
KR20050008793A KR20050008793A (ko) 2005-01-21
KR100709854B1 true KR100709854B1 (ko) 2007-04-23

Family

ID=29583189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047019777A KR100709854B1 (ko) 2002-06-04 2003-06-04 이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치

Country Status (7)

Country Link
US (2) US7202894B2 (ko)
EP (1) EP1518397A1 (ko)
JP (1) JP2005528857A (ko)
KR (1) KR100709854B1 (ko)
CN (1) CN1692630A (ko)
AU (1) AU2003237354A1 (ko)
WO (1) WO2003103275A1 (ko)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803958B1 (en) * 1999-03-09 2004-10-12 Micron Technology, Inc. Apparatus and method for eliminating artifacts in active pixel sensor (APS) imagers
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
WO2007118097A1 (en) * 2006-04-03 2007-10-18 Omnivision Cdm Optics, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
JP4194336B2 (ja) * 2002-07-25 2008-12-10 富士通マイクロエレクトロニクス株式会社 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
JP2004363853A (ja) * 2003-06-04 2004-12-24 Casio Comput Co Ltd 画像信号のノイズ低減方法及びノイズ低減装置
US7388609B2 (en) * 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
JP4624054B2 (ja) * 2004-03-29 2011-02-02 三洋電機株式会社 ノイズ低減装置及びノイズ低減方法及び撮像装置
US7796169B2 (en) * 2004-04-20 2010-09-14 Canon Kabushiki Kaisha Image processing apparatus for correcting captured image
JP4244969B2 (ja) * 2004-08-04 2009-03-25 セイコーエプソン株式会社 画素の検査方法および画素の補正方法、並びに処理装置、プログラムおよび記録媒体
US7609302B2 (en) 2004-08-11 2009-10-27 Micron Technology, Inc. Correction of non-uniform sensitivity in an image array
JP4709514B2 (ja) * 2004-09-16 2011-06-22 オリンパス株式会社 カプセル型内視鏡システム
TWI244330B (en) * 2004-10-21 2005-11-21 Novatek Microelectronics Corp Image sensing device with pixel correction function and method for correcting pixel sensing-information in an image sensing device
US7450167B2 (en) * 2005-02-11 2008-11-11 Hewlett-Packard Development Company, L.P. Method for improving image quality
KR100861621B1 (ko) * 2005-09-12 2008-10-07 삼성전기주식회사 1판넬 광학 장치의 데이터 변환 장치
KR100861622B1 (ko) * 2005-09-12 2008-10-07 삼성전기주식회사 3판넬 광학 장치의 데이터 변환 장치
WO2007036055A1 (en) * 2005-09-30 2007-04-05 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
DE102006050864B4 (de) * 2005-10-31 2015-08-20 Hitachi Kokusai Electric Inc. Verfahren und Vorrichtung zur Korrektur fehlerhafter Pixel für eine bildgebende Festkörpervorrichtung
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
KR101193460B1 (ko) * 2005-12-15 2013-03-25 삼성전자주식회사 디지털 영상 처리 장치에서의 매트릭스 필터링 방법
US8737832B1 (en) * 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US7969490B2 (en) 2006-08-25 2011-06-28 Micron Technology, Inc. Method, apparatus, and system providing an imager with pixels having extended dynamic range
GB2442050A (en) * 2006-08-29 2008-03-26 Micron Technology Inc Image pixel value correction
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
JP4978214B2 (ja) * 2006-10-13 2012-07-18 ソニー株式会社 撮像システムおよび画素欠陥補正装置
KR100793920B1 (ko) 2006-11-27 2008-01-16 삼성전기주식회사 실시간 불량 화소 검출 및 보정 장치 및 그 방법
US7800661B2 (en) * 2006-12-22 2010-09-21 Qualcomm Incorporated Programmable pattern matching device
US8723969B2 (en) * 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
CN100573315C (zh) * 2007-04-04 2009-12-23 鸿富锦精密工业（深圳）有限公司 相机模块污点测试系统及方法
JP4703601B2 (ja) 2007-04-27 2011-06-15 株式会社東芝 撮像装置
US20080273102A1 (en) * 2007-05-01 2008-11-06 Hoya Corporation Detection device for defective pixel in photographic device
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US20090091644A1 (en) * 2007-10-05 2009-04-09 Mackey Jeffrey L Metallic nanostructure color filter array and method of making the same
US8570634B2 (en) * 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) * 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
US7940315B2 (en) * 2008-01-07 2011-05-10 Aptina Imaging Corporation Method and apparatus for identification and correction of aberrant pixels in an image sensor
GB0801443D0 (en) * 2008-01-25 2008-03-05 Micron Technology Inc Methods, systems and apparatuses for pixel signal correction using elliptical hyperbolic cosines
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
JP5244644B2 (ja) * 2008-03-07 2013-07-24 オリンパス株式会社 固体撮像装置及びその応用装置
US9379156B2 (en) * 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8026964B2 (en) * 2008-07-08 2011-09-27 Aptina Imaging Corporation Method and apparatus for correcting defective imager pixels
US8208044B2 (en) * 2008-09-18 2012-06-26 Qualcomm Incorporated Bad pixel cluster detection
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8749662B2 (en) * 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8154632B2 (en) * 2009-08-24 2012-04-10 Lifesize Communications, Inc. Detection of defective pixels in an image sensor
JP5060535B2 (ja) 2009-09-24 2012-10-31 株式会社東芝 画像処理装置
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
KR101696672B1 (ko) * 2010-05-10 2017-01-17 삼성전자주식회사 영상 신호 처리 방법 및 이를 이용하는 영상 촬영 방법
US8817136B2 (en) 2010-06-23 2014-08-26 Raytheon Company Image processing utilizing spatially-displaced image data
US9066072B2 (en) * 2010-07-20 2015-06-23 Semiconductor Components Industries, Llc Systems and methods for calibrating image sensors
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
KR20120114021A (ko) 2011-04-06 2012-10-16 삼성디스플레이 주식회사 불량 픽셀 보정 방법
KR101811637B1 (ko) 2011-05-02 2017-12-26 삼성전자주식회사 선택적인 픽셀 비닝 장치 및 방법
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
CN103024303B (zh) * 2011-09-20 2016-03-30 比亚迪股份有限公司 图像像素阵列
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
CN102881016B (zh) * 2012-09-19 2016-06-29 中科院微电子研究所昆山分所 基于车联网的车辆周围360°环境重构方法
TWI495862B (zh) * 2012-10-04 2015-08-11 Pixart Imaging Inc 檢測影像感測器的方法以及相關裝置
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9467681B2 (en) * 2013-03-25 2016-10-11 Microsoft Technology Licensing, Llc Representation and compression of depth data
US9202591B2 (en) * 2013-05-10 2015-12-01 Omnivision Technologies, Inc. On-line memory testing systems and methods
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US10447823B2 (en) * 2014-01-08 2019-10-15 Marvell Semiconductor, Inc. Packet parsing engine
US10319067B2 (en) * 2014-05-21 2019-06-11 Sony Semiconductor Solutions Corporation Sensor module, method of controlling the same, and electronic apparatus
CN104202504B (zh) * 2014-08-19 2017-06-06 昆明理工大学 一种基于fpga的实时电子稳像电路系统的处理方法
TWI538515B (zh) * 2014-10-31 2016-06-11 晶相光電股份有限公司 影像感測裝置與缺陷像素檢測與補償方法
CN104363391B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
GB2545198A (en) * 2015-12-08 2017-06-14 Thermoteknix Systems Ltd Identification of faulty sensing elements in sensing element arrays
US11122221B2 (en) 2016-02-26 2021-09-14 Shenzhen Xpectvision Technology Co., Ltd. Semiconductor image detector having redundant memory and/or memory bypass
CN106303312B (zh) * 2016-08-12 2019-04-30 中国科学院上海高等研究院 用于压缩感知cmos图像传感器的二维随机序列产生电路
CN109357687B (zh) * 2018-09-07 2022-07-08 上海集成电路研发中心有限公司 一种cmos图像传感器的缺陷检测方法
CN109470236B (zh) * 2018-11-26 2021-01-15 中国科学院长春光学精密机械与物理研究所 一种星敏感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4541116A (en) * 1984-02-27 1985-09-10 Environmental Research Institute Of Mi Neighborhood image processing stage for implementing filtering operations
KR20030023294A (ko) * 2001-09-13 2003-03-19 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63232579A (ja) * 1987-03-19 1988-09-28 Mitsubishi Electric Corp 固体撮像装置
JPH04160883A (ja) 1990-10-25 1992-06-04 Sony Corp 固体撮像素子の欠陥補正回路
US5392070A (en) * 1991-11-26 1995-02-21 Kabushiki Kaisha Toshiba Apparatus for correcting faulty pixel signals by replacing the faulty pixel signals with normal pixel signals
US5644366A (en) * 1992-01-29 1997-07-01 Canon Kabushiki Kaisha Image reproduction involving enlargement or reduction of extracted contour vector data for binary regions in images having both binary and halftone regions
JP3125124B2 (ja) * 1994-06-06 2001-01-15 松下電器産業株式会社 欠陥画素傷補正回路
US5504504A (en) 1994-07-13 1996-04-02 Texas Instruments Incorporated Method of reducing the visual impact of defects present in a spatial light modulator display
KR100189178B1 (ko) 1995-05-19 1999-06-01 오우라 히로시 패널 화질 검사 장치 및 화질 보정 방법
JP3363735B2 (ja) 1996-06-26 2003-01-08 松下電器産業株式会社 Ｘ線画像装置
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
JP3955383B2 (ja) * 1998-04-03 2007-08-08 富士フイルム株式会社 表示装置およびその制御方法
EP1119966B1 (de) 1998-09-30 2002-05-02 Infineon Technologies AG Verfahren und vorrichtung zur korrektur defekter bildpunkte eines bildsensors
GB9825086D0 (en) 1998-11-17 1999-01-13 Vision Group Plc Defect correction in electronic imaging systems
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
US6806902B1 (en) * 1999-06-08 2004-10-19 Chrontel, Inc. System and method for correcting bad pixel data in a digital camera
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP3717725B2 (ja) * 1999-10-07 2005-11-16 三洋電機株式会社 画素欠陥検出方法及び画像処理装置
US6724945B1 (en) * 2000-05-24 2004-04-20 Hewlett-Packard Development Company, L.P. Correcting defect pixels in a digital image
JP2002010274A (ja) 2000-06-20 2002-01-11 Olympus Optical Co Ltd カラー画像処理装置
JP4497759B2 (ja) 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
US20020005904A1 (en) 2000-07-12 2002-01-17 Mendis Sunetra K. Method for pixel correction
US6879721B2 (en) * 2001-01-02 2005-04-12 Hewlett-Packard Development Company, L.P. Pixel processing system for image production
JP4485087B2 (ja) * 2001-03-01 2010-06-16 株式会社半導体エネルギー研究所 半導体装置の動作方法
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4541116A (en) * 1984-02-27 1985-09-10 Environmental Research Institute Of Mi Neighborhood image processing stage for implementing filtering operations
KR20030023294A (ko) * 2001-09-13 2003-03-19 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법

Also Published As

Publication number Publication date
US20070058056A1 (en) 2007-03-15
US7202894B2 (en) 2007-04-10
JP2005528857A (ja) 2005-09-22
US7893972B2 (en) 2011-02-22
CN1692630A (zh) 2005-11-02
US20030222995A1 (en) 2003-12-04
EP1518397A1 (en) 2005-03-30
WO2003103275A1 (en) 2003-12-11
AU2003237354A1 (en) 2003-12-19
KR20050008793A (ko) 2005-01-21

Similar Documents

Publication Publication Date Title
KR100709854B1 (ko) 이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치
US6965395B1 (en) Methods and systems for detecting defective imaging pixels and pixel values
US8310577B1 (en) Method and apparatus for color compensation
US7133073B1 (en) Method and apparatus for color interpolation
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US8274579B2 (en) Image processing apparatus and imaging apparatus
US8284287B2 (en) Image sensor and method for reading out pixels of the image sensor
JPS5919513B2 (ja) 固体撮像方式
US7286171B2 (en) Apparatus and method for concealing defective pixels in image sensors having test mode
EP1067777B1 (en) Image sensing device, image processing apparatus and method, and memory medium
JP2005101829A (ja) 信号処理装置
JP2000059799A (ja) 画素欠陥補正装置及び画素欠陥補正方法
JP3257131B2 (ja) 固体撮像装置の自動欠陥検出装置及び固体撮像装置
JP5446955B2 (ja) 撮像装置
JP2004015191A (ja) 固体撮像素子の欠陥補正装置及び方法
JP5410158B2 (ja) 撮像システムおよび電子情報機器
JP2002359783A (ja) 撮像装置及び画素欠陥補正方法
JP3331666B2 (ja) 固体撮像装置及び固体撮像装置の欠陥検出補正方法
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP3360346B2 (ja) 固体撮像装置
KR20150107563A (ko) 화상 처리 장치 및 고체 촬상 장치
JPH04142183A (ja) 撮像装置
JP2002185861A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 13