KR20010015840A - 디지털 픽셀 출력 신호 처리 방법 및 장치 - Google Patents

디지털 픽셀 출력 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20010015840A
KR20010015840A KR1020007005837A KR20007005837A KR20010015840A KR 20010015840 A KR20010015840 A KR 20010015840A KR 1020007005837 A KR1020007005837 A KR 1020007005837A KR 20007005837 A KR20007005837 A KR 20007005837A KR 20010015840 A KR20010015840 A KR 20010015840A
Authority
KR
South Korea
Prior art keywords
pixel output
digital pixel
output signal
image
digital
Prior art date
Application number
KR1020007005837A
Other languages
English (en)
Other versions
KR100380201B1 (ko
Inventor
사시 케이 쿠마
아슈토시 제이 베클
Original Assignee
피터 엔. 데트킨
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피터 엔. 데트킨, 인텔 코오퍼레이션 filed Critical 피터 엔. 데트킨
Publication of KR20010015840A publication Critical patent/KR20010015840A/ko
Application granted granted Critical
Publication of KR100380201B1 publication Critical patent/KR100380201B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명의 일실시예에 따른 디지털 카메라는, 다수의 픽셀을 포함하는 디지털 촬상 어레이 및 이 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기 위한 영상 처리 회로를 포함한다. 이 영상 처리 회로는 포화된 디지털 픽셀 출력 신호를 비포화(non-saturated) 디지털 픽셀 출력 신호와 다르게 처리하기에 적합하게 되어 있다. 본 발명의 다른 실시예에 따르면, 적어도 하나의 집적회로가 영상 처리 회로를 포함한다. 이 영상 처리 회로는 디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기에 적합하게 되어 있다. 또한, 영상 처리 회로는 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하기에 적합하게 되어 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하는 방법은 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하는 단계를 포함한다.

Description

디지털 픽셀 출력 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING DIGITAL PIXEL OUTPUT SIGNALS}
디지털 기술에서의 진보에 따라, 비트와 같이 2진 디지털 신호 포맷으로 영상의 소정의 픽셀 위치의 광의 세기(intensity)를 표현하는 카메라, 즉, 디지털 카메라가 널리 보급되고 있다. 그러나, 이러한 카메라를 사용하는데 있어 한가지 단점은 전하 결합 소자 센서(CCD 센서) 또는 상보형 금속-산화막 반도체 센서(CMOS 센서)를 사용한 어레이와 같은, 디지털 촬상 어레이(digital imaging arrays)의 이용에 따라 때때로 나타나는 잡음 또는 오프셋이다. 이러한 소위 고정 패턴 잡음(fixed pattern noise)(FPN)을 해결하기 위해 사용되었던 한가지 기술은 예를 들어, 어레이의 센서들이 노출, 온도 및 이득 계수를 포함하여 실질적으로 미리 결정된 파라미터 셋트에서 광에 노출되는 것을 방지하고, 그 결과로서 생성되는 디지털 픽셀 출력 신호를 저장함으로써 "암영상(dark image)"을 메모리 내로 판독하는 것이다. 다음에, 저장된 암영상은 디지털 촬상 어레이를 이용하여 생성된 관련 영상으로부터 감산(subtract)된다. 통상적으로, 하드웨어 또는 소프트웨어에 의해, 디지털 카메라는 원하는 영상 및 암영상에 대한 대응하는 픽셀 출력 신호들이 관련되어 적절하게 감산 또는 비교될 수 있도록 보장한다. 그러나, 이러한 잡음의 존재 및 그것을 해결하기 위해 사용되는 방법은 영상을 처리하는데 있어서 2진 디지털 신호 포맷이 아닌 다른 포맷으로 픽셀의 세기에 대한 신호 값을 저장하는 카메라에는 존재하지 않는 추가적인 복잡성을 도입하게 된다. 그러므로, 이들 센서를 사용하는 디지털 카메라가 제공하는 복잡성을 해결하기 위한 기술이 요구된다.
본 발명은 픽셀 출력 신호의 처리에 관한 것으로서, 특히 디지털 픽셀 출력 신호의 처리에 관한 것이다.
본 발명으로서 간주되는 주제는 명세서의 결론 부분에 특별하게 교시되어 있고 명백하게 청구되어 있다. 그러나, 방법 및 구성 모두에 관해, 그 목적, 특징 및 장점과 함께 본 발명은 첨부도면을 참조한 다음의 상세한 설명으로부터 잘 이해될 것이다.
도1은 본 발명에 따라 디지털 픽셀 출력 신호를 처리하기 위한 장치의 일실시예의 논리적 연산을 예시한 블록도.
도2는 본 발명에 따라 디지털 픽셀 출력 신호를 처리하는 방법의 일실시예를 예시한 흐름도.
도3은 본 발명에 따라 디지털 픽셀 출력 신호를 처리하기 위한 장치의 하드웨어 실시예를 예시한 블록도.
발명의 요약
본 발명의 일실시예에 따른 디지털 카메라는, 다수의 픽셀을 포함하는 디지털 촬상 어레이 및 이 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기 위한 영상 처리 회로를 포함한다. 이 영상 처리 회로는 포화된 디지털 픽셀 출력 신호를 비포화(non-saturated) 디지털 픽셀 출력 신호와 다르게 처리하기에 적합하게 되어 있다.
본 발명의 다른 실시예에 따르면, 적어도 하나의 집적회로가 영상 처리 회로를 포함한다. 이 영상 처리 회로는 디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기에 적합하게 되어 있다. 또한, 영상 처리 회로는 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하기에 적합하게 되어 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하는 방법은 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하는 단계를 포함한다.
다음의 상세한 설명에서는, 본 발명의 완전한 이해를 제공하기 위해 다양한 특정 세부사항들이 설명된다. 그러나, 이 기술분야에 통상의 지식을 가진 자는 본 발명이 이들 특정 세부사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 예로서, 본 발명을 모호하게 만들지 않기 위해, 잘 알려진 방법, 절차, 구성요소 및 회로에 대해서는 상세하게 설명되지 않는다.
전술한 바와 같이, 디지털 카메라는 적어도 부분적으로는 디지털 기술의 향상으로 인해 더욱 일반적인 것이 되고 있다. 그러므로, CCD 및 CMOS 센서를 포함하는 촬상 어레이가 널리 사용되고 있다. 그러나, 이러한 센서들의 사용과 관련된 한가지 관점은 고정 패턴 잡음(FPN)의 존재이다. 이러한 센서를 포함하는 촬상 어레이를 사용하여 생성되는 최종적인 영상의 품질을 향상시키기 위해 사용되는 한가지 기술은 암영상을 획득하고, 그것을 랜덤 억세스 메모리(RAM)와 같은 메모리에 저장하고, 관련 영상을 획득하기 위해 촬상 어레이를 이용하고, 상기 관련 영상으로부터 상기 저장된 암영상을 감산 또는 제거하는 것이다. 그러므로, FPN은 바람직하게는 관련 영상을 생성하기 위해 사용되는 노출, 온도 및 이득 계수와 같은 파라미터 셋트와 가능한 한 근접하게 센서들이 광에 노출되는 것을 제한하고, 그 결과로서 생성된 디지털 픽셀 출력 신호를 저장함으로써 수집된다. 일반적으로, 관련 영상에 대한 조건을 가능한 한 근접하게 모방한(mimic) 조건 하에서 암영상을 획득하는 것이 바람직하다. 마찬가지로, 영상 처리를 포함하는 디지털 카메라도 역시 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기 적합한 디지털 카메라 또는 촬상 어레이 회로를 포함하게 된다. 그러므로, 이 회로는 관련 영상 및 암영상이 서로로부터 감산되거나 또는 비교될 수 있도록 이들에 대해 발생되는 대응하는 디지털 픽셀 출력 신호를 동기시키게 된다. 물론, 이 기술분야에 통상의 지식을 가진 자는 이러한 처리가 순수하게 하드웨어로 구현되거나, 또는 대안으로 예를 들어, 마이크로프로세서나 디지털 신호 처리기와 같은 프로세서를 포함하는 하드웨어 플랫폼 상에서 실행되는 소프트웨어로 구현될 수 있다는 것을 이해할 것이다. 이와 관련하여, 용어 "회로"는 그것이 특수 목적 하드웨어든지, 특수 목적 소프트웨어를 포함하는 범용 하드웨어든지 또는 이들의 조합이든지 간에 소정의 하드웨어를 언급하기 위한 것이며, 이러한 하드웨어를 포함하는 것을 말한다.
전술한 바와 같이, 이러한 접근방법 또는 기술과 관련된 한 가지 문제점은 그것이 2진 디지털 신호 또는 비트를 사용하지 않는 접근방법과 비교하여 추가적인 복잡성을 도입한다는 것이다. 예를 들어, 고정 길이의 2진 디지털 신호를 사용하는 경우에, 촬상 어레이의 하나의 픽셀에 의해 수신되는 광의 세기에 대한 동적인 범위가 고유적으로 제한된다. 그러므로, 픽셀이 이러한 동적 범위를 초과하는 광의 세기에 노출되면, 디지털 픽셀 출력 신호가 포화되거나 또는 클리핑되기(clipped) 때문에 영상의 품질이 영향을 받게 되며, 따라서, 픽셀의 출력 신호가 그 픽셀이 노출된 광의 세기의 정확한 표현이 되지 못한다. 이러한 현상이 발생할 수 있는 전형적인 상황을 예를 들어, "정반사(specular reflection)"라고 한다. 이와 관련하여, 정반사는 예를 들어, 태양과 같이 매우 강렬하거나 밝은 광원으로부터 센서 내로 광이 직접 반사되는 것을 말한다. 결과적으로, 모든 영상 부분들에 대한 광 세기의 동적 범위가 통상적으로 디지털 센서의 성능을 초과하게 되어, 신호 클리핑을 유발하게 된다. 따라서, 촬상 어레이의 픽셀들의 일부분이 포화되거나 또는 클리핑된 픽셀 출력 신호를 생성하는 상황에서는, 암영상을 감산하는 것에 관해 전술한 기술은 원하는 결과대로 잡음의 존재를 감소시키는 것이 아니라 영상 내로 추가적인 잡음을 도입할 수도 있다.
비록 CCD와 CMOS 센서가 모두 FPN을 발생하지만, 현재의 기술 수준에 있어서는 CMOS 센서가 통상적으로 더 많은 양을 발생한다. FPN의 소스는 다양한 요인으로부터 올 수 있지만, CMOS 센서의 제조 공정에서의 미소한 결함으로부터 올 수도 있다. 이러한 잡음을 발생할 수 있는 다른 요인으로는, 촬상 어레이 회로 설계 또는 어레이의 기하학적 형태가 있다.
도3의 실시예(300)에 의해 도시된 바와 같이, 본 발명에 따른 디지털 카메라의 일실시예는 예를 들어, CCD 및 CMOS 센서와 같은 센서들로 이루어진 다수의 픽셀을 구비한 디지털 촬상 어레이(310)를 포함한다. 또한, 디지털 카메라(300)는 촬상 어레이의 픽셀들에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기 위한 영상 처리 회로를 포함한다. 예를 들어, 도3에 도시된 바와 같이, 이 실시예에서는 10 비트를 각각 포함하는 디지털 픽셀 출력 신호가 12 MHz로 포착 인터페이스 회로(capture interface circuitry)(320)로 제공되며, 본 발명은 이와 관련하여 범위가 제한되지는 않는다. 이와 같이 2진 디지털 신호의 형태로 된 미가공(raw) 영상 데이터는 다음에 암영상 고정 패턴 잡음(dark fixed pattern noise)(DFPN) 감소 또는 제거 유닛(340)으로 제공된다. 이 제거 유닛(340)에서는, 원하는 영상에 대한 디지털 픽셀 출력 신호가 암영상에 대한 디지털 픽셀 출력 신호와 비교가 이루어진다. 암영상에 대한 디지털 픽셀 출력 신호는 전술한 바와 같이 촬상 어레이(310)를 이용하여 생성되며, 이들 디지털 픽셀 출력 신호는 이 실시예에서 DMA(direct memory addressing) 제어기(390) 및 DRAM 제어기(380)와 같은 데이터 흐름 제어기를 이용하여 RAM 테이블(330)에 의해 저장된다. 물론 본 발명의 범위는 이러한 메모리 아키텍처에 제한되지 않는다. 암영상이 발생되어 저장되면, 감산을 수행하는 제거 유닛의 관점은 무시된다. 그러므로, 원하는 영상이 생성되면, 암영상은 메모리(330)로부터 회수되고, 원하는 영상으로부터 암영상을 감산함으로써 생성되는 최종적인 2진 디지털 신호가 콤팬더 (compander) 조사 테이블(look-up table:LUT)(350)로 제공된다. 도3에 도시된 바와 같이, 2진 디지털 신호는 10 비트로서 콤팬더 LUT(350)로 제공되고, 다음에 잔여 영상 처리를 위해 콤팬더로부터 8비트로서 제공된다. 또한, 도3은 이 실시예에서 칼라 태그(color tag)가 제공된다는 것을 보여주고 있다. 이러한 특정 실시예에서, 제공되는 칼라 태그는 디지털 픽셀 출력 신호에 대한 칼라 평면을 지정하며, 본 발명의 범위는 이와 관련하여 제한되지 않는다. 가능한 칼라 공간 중 어느 것도 사용될 수 있지만, 이러한 칼라 공간은 RGB(적색-녹색-청색) 칼라 공간이다. 그러므로, 단일 영상이 아니라 서로 다른 칼라를 표현하는 3개의 영상이 생성되어 처리되며, 이 실시예에서는 각각의 영상에 칼라 태그가 제공된다. 콤팬더 LUT를 이용하는 본 실시예에서는, 각각의 칼라에 대응하는 하나씩 3개의 콤팬더 LUT가 사용된다. 물론 본 발명은 칼라 영상의 생성 또는 RGB 칼라 공간에 제한되지 않는다는 것을 이해할 것이다.
본 발명에 따른 디지털 카메라의 일실시예의 한가지 관점은 촬상 어레이 회로가 비포화 디지털 픽셀 출력 신호와 다르게 포화 디지털 픽셀 출력 신호를 처리하기 적합하게 되어 있다는 것이다. 이러한 특정 실시예의 관점이 도1에 상세하게 도시되어 있으며, 본 발명의 범위는 역시 이러한 특정 실시예에 제한되지 않는다. 도1에 도시된 바와 같이, 먼저, 영상을 포착 또는 획득한다(블록 110). 다음에는 교정되지 않은(uncorrected) 디지털 픽셀 출력 신호가 포화 검출 및 제어 로직(120)으로 제공된다. 만일 특정 디지털 픽셀 출력 신호가 포화되지 않으면, 포착된 교정되지 않은 신호 값이 노드(130)로 제공되어, 암영상의 대응하는 신호 값이 감산될 수 있게 된다. 그러나, 포화 검출 및 제어 로직이 원하는 영상의 특정 디지털 픽셀 출력 신호가 포화되었다는 것을 나타내는 경우에, 이러한 감산은 이루어질 수 없다. 이 실시예에서, 포화 검출 및 제어 로직은 암영상 고정 패턴 잡음 제거 유닛(340)에 포함된다. 전술한 바와 같이, 암영상은 원하는 영상을 생성하고 저장하기 이전에 획득되어 저장된다. 그러므로, 도1에 도시된 바와 같이, DRAM 제어기(160) 및 DMA(170)는 각각 이 특정 실시예에서 저장된 디지털 픽셀 출력 신호 및 그 대응하는 어드레스를 제공한다. 물론 본 발명의 범위는 이와 관련하여 제한되지 않는다. 그러므로, 이 실시예에서 라인 버퍼(150)는 블록(110)으로 도시된 바와 같이 포착된 원하는 영상의 교정되지 않은 디지털 픽셀 출력 신호와 함께 처리될 암영상의 대응하는 디지털 픽셀 출력 신호를 제공한다. 일단 감산이 이루어지면, 도1에 도시된 바와 같이, 교정된 디지털 픽셀 출력 신호가 콤팬더 LUT(140)로 제공된다.
이 특정 실시예에서는, 전술한 바와 같이 세기 레벨을 표현하기 위해 10개의 2진 디지털 신호 또는 비트가 이용되며, 본 발명의 범위는 이와 관련하여 제한되지 않는다. 그러므로, 10개의 1(ones) 또는 16진법의 신호 값 "3FF"가 검출되면, 디지털 픽셀 출력 신호가 클리핑 또는 포화된다. 따라서, 본 발명에 따른 디지털 카메라 또는 디지털 카메라 회로의 특정 실시예에서, 원하는 영상의 특정 픽셀에 대한 디지털 픽셀 출력 신호로서 신호 값 "3FF"가 검출되면, 그 픽셀에 대한 암영상의 대응하는 디지털 픽셀 출력 신호를 감산하는 대신에, 예를 들어, 도1에 도시된 바와 같이 감산이 무시 또는 턴오프된다. 포화된 신호 값은 콤팬더 LUT(도1의 140 또는 도3의 350)로 제공된다.
이 실시예는 또한 도2에 흐름도로 예시되어 있다. 이 실시예에서, 교정되지 않은 디지털 픽셀 출력 신호는 블록(210)에서 제거 유닛에 의해 수신된다. 다음에 블록(220)에서는, 암영상 고정 패턴 잡음 감소 또는 제거 기능이 턴온되어 있는지 여부에 관한 판단이 이루어진다. 이러한 기능은 예를 들어, 암영상이 획득되어 저장되는 경우에는 턴온되지 않게 된다. 이 경우에, 도2에 도시된 바와 같이 블록(270)에서, 이들 처리된 2진 디지털 신호가 다음 스테이지로 전달되어, 본 실시예에서는 이들 신호를 콤팬더로 인가하는 결과를 초래한다. 그러나, 이러한 기능이 턴온되고 "포화"라는 특수한 경우를 만나게 되면, 본 실시예에서 회로는 블록(240)으로 도시된 바와 같이 그 신호 값이 "3FF"와 동일한지 여부를 검출하게 된다. 만일 동일하지 않으면, 블록(260)에 도시된 바와 같이 암영상으로부터 대응하는 신호 값이 감산된다. 그러나, 만일 이 2진 디지털 신호 값, 즉 이 실시예에서 "3FF"가 검출되면, 감산을 수행하는 대신에, 블록(250)에 도시된 바와 같이 이 특정 2진 디지털 신호 값이 2진 디지털 신호 값 "3FF"로서 통과된다.
본 발명에 따른 디지털 카메라의 또 다른 실시예에서, 포화된 디지털 픽셀 출력 신호는 비포화 디지털 픽셀 출력 신호와 다르게 처리된다. 그러나, 이러한 상이한 처리는 암영상의 대응하는 디지털 픽셀 출력 신호의 감산을 바이패스하는 것 이상을 포함한다. 예를 들어, 일실시예에서 모든 포화된 2진 디지털 신호 값으로부터 평균 암영상 고정 패턴 잡음 레벨이 감산될 수 있다. 이러한 접근방법은 몇 가지 장점을 제공한다. 고정 패턴 잡음의 속성으로 인해, 통상적으로 본 발명의 이 실시예가 없는 경우에 감산되게 되는 암영상 신호 값이 균일하지 못하게 되며, 따라서 포화된 신호 값으로부터 감산되는 경우에 불균일한 또는 부조화스런 외관을 제공하게 된다. 특히, 사람의 눈은 이 영역내의 영상이 균일하거나 클리핑될 것을 기대하게 되며, 암영상 신호 값을 감산함으로써 잡음이 도입되게 된다. 그러므로, 대응하는 포화된 신호 값으로부터 암영상의 특정 신호 값을 감산하기보다는 평균값을 감산하는 것이 바람직할 수 있다. 또한, 포화된 신호 값이 나타나는 경우에, 비포화 값과 비교하여 이러한 포화된 값의 상대적 세기는 암영상 신호 값이 단지 비포화 신호 값으로부터 감산된 경우에 원하는 것 보다 커지게 된다. 이것은 관찰자에게 영상의 외관에 대해 바람직하지 못한 영향을 줄 수 있다. 그러므로, 이러한 상대적 세기를 감소시키기 위해 포화된 신호 값으로부터 소정의 값이 감소될 수 있는 것이 바람직할 수 있다. 이러한 감산은 상대적으로 높은 세기에서 오는 이용가능한 동적 범위의 낭비를 감소시키거나 없앨 수 있다.
포화된 신호 값으로부터 감산될 평균 신호 값을 얻기 위한 많은 기술 중 하나가 사용될 수 있다. 이 특정 실시예에서는, 암영상의 신호 값이 평균 및 표준 편차(deviation)를 생성하도록 샘플링되며, 그에 따라 고정 패턴 잡음의 레벨에 가까워지게 된다. 물론, 서로 다른 실시예에서 다양한 서로 다른 샘플링 기술이 사용될 수 있다. 예를 들어, 단지 원하는 영상의 포화 영역에서만 샘플링하는 것이 바람직할 수 있다. 대안으로, 표준 편차를 검사하고, 그 표준 편차의 값에 따라 표준 편차를 감소시키기 위해 영상의 영역들을 서브샘플링(subsample)하는 것이 바람직할 수 있다. 마찬가지로, 예를 들어 영상의 한 부분이 다른 부분에서 보다 평균 및/또는 편차가 더 커질 수 있는 경우와 같이 암영상의 선택된 부분들을 처리함으로써 잡음의 경향(trends)이 관찰될 수 있다.
마찬가지로, 본 발명의 다른 실시예에서, 평균 고정 패턴 암레벨 신호 값(average dark fixed pattern level signal value)으로서 결정되는 값의 감산이 콤팬더 조사 테이블에 의해 구현되는 처리에 포함될 수 있으며, 그에 따라 이러한 감산 동작이 감마 동작(gamma operation)으로 불리는, 센서와 사람의 눈의 칼라 응답 사이의 차를 조정하기 위한 동작 및 콤팬더 동작과 같은 다른 동작과 함께 조합될 수 있다. 특히, 일실시예에서는 콤팬더 동작시 10 비트가 수신되고, 그로부터 8 비트가 생성된다. 이것은 조사 테이블을 이용하여 구현되는 실질적으로 비선형 동작이다. 특정 동작이 실질적으로 비선형이 되는 이유는 이러한 동작이 광에 대한 사람의 눈의 응답을 반영 또는 그에 대응하도록 의도된 것이기 때문이다. 그러므로, 이 특정 실시예에서, LUT에 대한 값은 이 응답의 분석 모델(analytical model)과 함께 시작하여 그것을 경험적으로 조정함으로써 도달된다. 마찬가지로, 감마 동작도 역시 최종 영상의 칼라 응답을 조정하기 위해 사용된다. 특히, 이 특정 실시예에서는, 촬상 어레이 센서에 칼라 필터 어레이(CFA)가 본래부터 포함되며, 이것은 다양한 방식으로 수행될 수 있으며, 본 발명의 범위는 CFA를 사용하는 것에 관해 제한되지 않는다. 그러므로, 감마 동작은 최종 영상에서 보정 칼라에 도달하는데 있어서의 이러한 칼라 필터 어레이의 영향을 반전시키거나 제거하기 위해 이용된다. 또한, 이 특정 실시예에서는 전술한 바와 같이, 암영상 고정 패턴 잡음의 레벨이 되도록 또는 그것을 표현하도록 결정된 신호 값도 역시 감산될 수 있다. 그리고, 이 실시예에서는 클리핑되거나 포화된 디지털 픽셀 출력 신호 값이 알려져 있기 때문에, 감산될 신호 값을 단지 저장함으로써 감산이 구현될 수 있다. 물론, 본 발명은 이와 관련하여 그 범위가 제한되지 않는다. 잘 알려진 바와 같이, 전술한 3가지 동작은 단일 조사 테이블을 이용하여 조합되거나 구현될 수 있다. 비록 여기에서는 이를 수행하기 위한 명확한 단계들에 대해 설명되지 않지만, 이러한 기술은 본 발명이 속한 기술분야에 통상의 지식을 가진 자에게 명백한 것이다. 또한, 전술한 바와 같이, 이 실시예에서는 각각의 칼라 평면에 대해 다른 조사 테이블이 사용되며, 본 발명은 이와 관련하여 그 범위가 제한되지 않는다.
본 발명에 따른 디지털 카메라의 또 다른 실시예에서, 영상 처리 회로는 비포화 디지털 픽셀 출력 신호와 다르게 포화된 디지털 픽셀 출력 신호를 처리하기 이전에 영상의 포화 영역을 식별하기 위한 기능을 포함할 수 있다. 특히, 일실예에서는 예를 들어, 제거 유닛이 바로 인접하는 모든 픽셀 출력 신호도 역시 포화되어 있는지 확인하기 위해 포화된 출력 신호를 생성하는 픽셀에 인접하고 있는 픽셀의 출력 신호를 검사할 수 있다. 일실시예에서, 모든 출력 신호가 포화된 것은 아닌 경우에, 이 포화된 신호 값은 다르게 처리되지 않을 수도 있다. 대안으로, 만일 주위 영역의 특정 수의 신호 값들이 포화된 것으로 검출되면, 그 영역에 있고 포화된 픽셀들에 대한 출력 신호는 다르게 처리될 수 있다. 포화된 디지털 픽셀 출력 신호 값의 영역을 판단 및/또는 지정하기 위한 다른 실시예가 사용될 수 있다. 마찬가지로, 어떤 포화된 디지털 출력 신호 값이 식별된 경우에, 영상 처리 회로는 그 신호 값이 포화된 신호 값의 영역 내에 있지 않은지 판단하기 위한 기능을 포함할 수 있다. 예를 들어, 상기 포화된 신호 값이 격리된(isolated) 포화 신호 값이면, 비포화 픽셀 출력 신호와 비교한 다른 처리가 사용되지 않을 수 있다. 다른 접근방법도 역시 사용될 수 있다.
물론 전술한 바와 같이, 다양한 방식으로 실시예들이 구현될 수 있다. 예를 들어, 전술한 바와 같이, 처리가 고정배선(hardwired) 방식으로 이루어질 수도 있으며, 또는 대안으로, DSP 또는 마이크로프로세서와 같은 프로세서가 프로세서 상에서 실행될 때 원하는 연산을 수행하는 소프트웨어를 갖출 수도 있다. 이와 달리, 실시예가 펌웨어로 구현될 수도 있다. 비교적 많은 수의 2진 디지털 신호 값 또는 비트가 처리되어야 하기 때문에 고속 처리가 가능한 방식으로 실시예를 구현하는 것이 바람직하며, 본 발명은 이와 관련하여 그 범위가 제한되지 않는다.
비록 본 발명의 소정의 특징이 도시 및 설명되었지만, 이 기술분야에 통상의 지식을 가진 자에게는 많은 변형, 대체 및 변경이 이루어질 수 있다. 따라서, 첨부된 청구범위는 이러한 모든 변형 및 변경을 본 발명의 진정한 사상에 속하는 것으로 커버하도록 의도된 것이다.

Claims (24)

  1. 적어도 하나의 집적회로에 있어서,
    디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기에 적합하고, 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하기에 적합한 영상 처리 회로
    를 포함하는 집적회로.
  2. 제 1 항에 있어서,
    상기 촬상 어레이는 촬상 어레이 센서를 포함하고,
    상기 영상 처리 회로는 상기 영상 어레이 센서에 대한 암영상 고정 패턴 잡음의 추정치(estimate)를 감산함으로써 상기 포화된 디지털 픽셀 출력 신호를 처리하기에 적합한
    집적회로.
  3. 제 2 항에 있어서,
    상기 영상 처리 회로는 저장된 디지털 픽셀 출력 신호를 포함하는 암영상으로부터 샘플링에 의해 암영상 고정 패턴 잡음을 추정하기에 적합한
    집적회로.
  4. 제 3 항에 있어서,
    상기 영상 처리 회로는 관련 영상 내의 포화된 디지털 픽셀 출력 신호의 영역에 대응하는 영역 내의 암영상을 샘플링하기에 적합한
    집적회로.
  5. 제 2 항에 있어서,
    상기 영상 처리 회로는 CCD 센서와 CMOS 센서 중 적어도 하나를 포함하는 촬상 어레이 센서들과 함께 사용하기 적합한
    집적회로.
  6. 제 1 항에 있어서,
    상기 영상 처리 회로는 고정 패턴 잡음 감소 회로를 포함하는
    집적회로.
  7. 제 6 항에 있어서,
    상기 고정 패턴 잡음 감소 회로는 앙영상 고정 패턴 잡음 감소 회로를 포함하는
    집적회로.
  8. 제 1 항에 있어서,
    상기 영상 처리 회로는 관련 영상 내의 포화된 디지털 픽셀 출력 신호의 영역을 검출하기에 적합한
    집적회로.
  9. 디지털 카메라에 있어서,
    다수의 픽셀을 포함하는 디지털 촬상 어레이; 및
    상기 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하기 위한 영상 처리 회로
    를 포함하고,
    상기 영상 처리 회로는 포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하기에 적합한
    디지털 카메라.
  10. 제 9 항에 있어서,
    상기 촬상 어레이는 촬상 어레이 센서들을 포함하고,
    상기 영상 처리 회로는 상기 촬상 어레이 센서에 대한 암영상 고정 패턴 잡음의 추정치를 감산함으로써 상기 포화된 디지털 픽셀 출력 신호를 처리하기에 적합한
    디지털 카메라.
  11. 제 10 항에 있어서,
    상기 영상 처리 회로는 저장된 디지털 픽셀 출력 신호를 포함하는 암영상으로부터 샘플링에 의해 암영상 고정 패턴 잡음을 추정하기에 적합한
    디지털 카메라.
  12. 제 11 항에 있어서,
    상기 영상 처리 회로는 관련 영상 내의 포화된 디지털 픽셀 출력 신호의 영역에 대응하는 영역 내의 암영상을 샘플링하기에 적합한
    디지털 카메라.
  13. 제 10 항에 있어서,
    상기 영상 처리 회로는 CCD 센서와 CMOS 센서 중 적어도 하나를 포함하는 촬상 어레이 센서들과 함께 사용하기에 적합한
    디지털 카메라.
  14. 제 9 항에 있어서,
    상기 영상 처리 회로는 고정 패턴 잡음 감소 회로를 포함하는
    디지털 카메라.
  15. 제 14 항에 있어서,
    상기 고정 패턴 잡음 감소 회로는 암영상 고정 패턴 잡음 감소 회로를 포함하는
    디지털 카메라.
  16. 제 9 항에 있어서,
    상기 영상 처리 회로는 관련 영상 내의 포화된 디지털 픽셀 출력 신호의 영역을 검출하기에 적합한
    디지털 카메라.
  17. 디지털 촬상 어레이에 의해 생성되는 디지털 픽셀 출력 신호를 처리하는 방법에 있어서,
    포화된 디지털 픽셀 출력 신호를 비포화 디지털 픽셀 출력 신호와 다르게 처리하는 단계
    를 포함하는 디지털 픽셀 출력 신호 처리 방법.
  18. 제 17 항에 있어서,
    상기 촬상 어레이는 촬상 어레이 센서를 포함하고,
    상기 방법은,
    상기 촬상 어레이 센서에 대한 암영상 고정 패턴 잡음을 추정하는 단계를 더 포함하고,
    상기 포화된 디지털 픽셀 출력 신호를 다르게 처리하는 단계는 상기 촬상 어레이 센서에 대한 암영상 고정 패턴 잡음의 추정치를 감산하는 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  19. 제 18 항에 있어서,
    상기 암영상 고정 패턴 잡음을 추정하는 단계는 저장된 디지털 픽셀 출력 신호를 포함하는 암영상으로부터 샘플링하는 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  20. 제 19 항에 있어서,
    상기 암영상으로부터 샘플링하는 단계는 관련 영상 내의 포화된 디지털 픽셀 출력 신호의 영역에 대응하는 영역 내의 암영상을 샘플링하는 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  21. 제 18 항에 있어서,
    상기 촬상 어레이 센서는 CCD 센서와 CMOS 센서 중 적어도 하나를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  22. 제 17 항에 있어서,
    상기 포화된 디지털 픽셀 출력 신호를 처리하는 단계는 고정 패턴 잡음 감소 처리 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  23. 제 22 항에 있어서,
    상기 고정 패턴 잡음 감소 처리 단계는 암영상 고정 패턴 감소 처리 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
  24. 제 17 항에 있어서,
    상기 포화된 디지털 픽셀 출력 신호를 처리하는 단계는 관련 영상 내의 상기 포화된 디지털 픽셀 출력 신호의 영역을 검출하는 단계를 포함하는
    디지털 픽셀 출력 신호 처리 방법.
KR10-2000-7005837A 1997-12-03 1998-11-06 디지털 픽셀 출력 신호 처리 방법 및 장치 KR100380201B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/984,005 1997-12-03
US08/984,005 US7173656B1 (en) 1997-12-03 1997-12-03 Method and apparatus for processing digital pixel output signals

Publications (2)

Publication Number Publication Date
KR20010015840A true KR20010015840A (ko) 2001-02-26
KR100380201B1 KR100380201B1 (ko) 2003-04-11

Family

ID=25530232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-7005837A KR100380201B1 (ko) 1997-12-03 1998-11-06 디지털 픽셀 출력 신호 처리 방법 및 장치

Country Status (8)

Country Link
US (1) US7173656B1 (ko)
JP (1) JP4243427B2 (ko)
KR (1) KR100380201B1 (ko)
AU (1) AU1310999A (ko)
DE (1) DE19882871B4 (ko)
GB (1) GB2347041B (ko)
TW (1) TW401711B (ko)
WO (1) WO1999029118A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803958B1 (en) * 1999-03-09 2004-10-12 Micron Technology, Inc. Apparatus and method for eliminating artifacts in active pixel sensor (APS) imagers
US7280141B1 (en) * 2003-09-23 2007-10-09 Pixim Inc Fixed pattern noise subtraction in a digital image sensor
US8797392B2 (en) * 2005-01-05 2014-08-05 Avantis Medical Sytems, Inc. Endoscope assembly with a polarizing filter
US8182422B2 (en) 2005-12-13 2012-05-22 Avantis Medical Systems, Inc. Endoscope having detachable imaging device and method of using
US8289381B2 (en) * 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US20060149129A1 (en) * 2005-01-05 2006-07-06 Watts H D Catheter with multiple visual elements
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
JP4322258B2 (ja) * 2005-02-04 2009-08-26 三洋電機株式会社 ノイズ処理装置および撮像装置
JP4794978B2 (ja) * 2005-10-25 2011-10-19 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
WO2007087421A2 (en) 2006-01-23 2007-08-02 Avantis Medical Systems, Inc. Endoscope
US8287446B2 (en) * 2006-04-18 2012-10-16 Avantis Medical Systems, Inc. Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope
JP2009537283A (ja) 2006-05-19 2009-10-29 アヴァンティス メディカル システムズ インコーポレイテッド ビデオアーチファクトの影響を低減するための装置および方法
US20090231419A1 (en) * 2007-02-06 2009-09-17 Avantis Medical Systems, Inc. Endoscope Assembly and Method of Performing a Medical Procedure
US8064666B2 (en) 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
WO2009049324A1 (en) * 2007-10-11 2009-04-16 Avantis Medical Systems, Inc. Method and device for reducing the fixed pattern noise of a digital image
US9131136B2 (en) * 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US8963063B2 (en) 2011-05-03 2015-02-24 The Charles Stark Draper Laboratory, Inc. Systems and methods for adding or subtracting pixels
US8817120B2 (en) * 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
CN104735369B (zh) * 2015-03-25 2017-11-28 北京空间机电研究所 一种航天超大面阵ccd视频信号实时处理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4216503A (en) * 1979-03-26 1980-08-05 Xerox Corporation Signal restoration and gain control for image viewing devices
JPS5977776A (ja) 1982-10-25 1984-05-04 Mitsubishi Electric Corp 固体撮像素子
FR2561025B1 (fr) 1984-03-06 1986-09-19 Thomson Csf Accumulateur analogique
JPH0799868B2 (ja) * 1984-12-26 1995-10-25 日本放送協会 固体撮像装置
US5293239A (en) * 1988-03-30 1994-03-08 Canon Kabushiki Kaisha Camera apparatus
JPH0276481A (ja) * 1988-08-26 1990-03-15 Nec Eng Ltd 撮像装置
US5247366A (en) * 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
JPH04219063A (ja) * 1990-05-15 1992-08-10 Ricoh Co Ltd 画像読取装置
DE4117020C2 (de) * 1990-05-25 1993-12-02 Asahi Optical Co Ltd Steuervorrichtung für einen Bildsensor
US5243215A (en) 1990-05-31 1993-09-07 Fuji Electric Co., Ltd. Semiconductor photodiode device with reduced junction area
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
US5734424A (en) 1990-08-08 1998-03-31 Canon Kabushiki Kaisha Image pickup apparatus capable of providing moving video signal and still video signal
US5303064A (en) * 1991-02-20 1994-04-12 Kent Johnson Image scanner with calibration mechanism to obtain full dynamic range and compensated linear output
JPH04295978A (ja) * 1991-03-25 1992-10-20 Eastman Kodak Japan Kk 画像読み取り装置
JPH0779345A (ja) 1993-06-30 1995-03-20 Rohm Co Ltd イメージセンサ出力補正回路
JP3677116B2 (ja) 1996-05-21 2005-07-27 株式会社東芝 画像入力装置
US5886659A (en) * 1996-08-21 1999-03-23 California Institute Of Technology On-focal-plane analog-to-digital conversion for current-mode imaging devices
JPH10191178A (ja) 1996-10-29 1998-07-21 Seiko Epson Corp 信号処理方法および信号処理装置
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers

Also Published As

Publication number Publication date
JP4243427B2 (ja) 2009-03-25
AU1310999A (en) 1999-06-16
JP2001525641A (ja) 2001-12-11
WO1999029118A3 (en) 1999-07-22
US7173656B1 (en) 2007-02-06
GB0013353D0 (en) 2000-07-26
TW401711B (en) 2000-08-11
GB2347041A (en) 2000-08-23
DE19882871T1 (de) 2001-11-08
GB2347041B (en) 2002-07-24
KR100380201B1 (ko) 2003-04-11
WO1999029118A2 (en) 1999-06-10
DE19882871B4 (de) 2006-10-12

Similar Documents

Publication Publication Date Title
KR100380201B1 (ko) 디지털 픽셀 출력 신호 처리 방법 및 장치
US8804011B2 (en) Imaging device
JP2003101887A (ja) 撮像装置およびノイズ除去方法
JP2008072450A (ja) 画像処理装置及び画像処理方法
JP2002044688A (ja) 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置
JP2000152033A (ja) 画像処理装置及び画像処理方法
JP2006238060A (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
US8102444B2 (en) Method and apparatus for post noise reduction black level correction
JP4639031B2 (ja) カラーイメージピックアップデバイス
JP2921973B2 (ja) 特定物体の画像抽出方法及び画像抽出装置
US7352397B2 (en) Circuit and method for contour enhancement
JP4190221B2 (ja) 画像輪郭強調装置
JPH06303531A (ja) 固体撮像素子の画素欠陥補正装置
CN110876042B (zh) 用以控制图像捕获设备的电路及相关的控制方法
JP2007208642A (ja) 画像信号処理回路および撮像システム
US10841553B2 (en) Circuit for controlling image capturing device and associated control method
JP2004064512A (ja) 欠陥画素の検出方法および装置、並びに撮像装置
JP3238968B2 (ja) 固体撮像装置
JP4550090B2 (ja) 画像処理装置及び画像処理方法
JP4903246B2 (ja) 撮像素子の輝度補正回路
JP2003169258A (ja) 撮像装置
JP4725052B2 (ja) 撮像装置
JPH08251408A (ja) 画像処理装置
JP2002125155A (ja) 固体撮像装置
JP2007037199A (ja) 撮像装置およびノイズ除去方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
LAPS Lapse due to unpaid annual fee