KR101031386B1 - 이미지 캡처 장치에서의 자동 플릭커 보정 - Google Patents

이미지 캡처 장치에서의 자동 플릭커 보정 Download PDF

Info

Publication number
KR101031386B1
KR101031386B1 KR1020087019127A KR20087019127A KR101031386B1 KR 101031386 B1 KR101031386 B1 KR 101031386B1 KR 1020087019127 A KR1020087019127 A KR 1020087019127A KR 20087019127 A KR20087019127 A KR 20087019127A KR 101031386 B1 KR101031386 B1 KR 101031386B1
Authority
KR
South Korea
Prior art keywords
flicker
image
derivative
differential signal
illumination source
Prior art date
Application number
KR1020087019127A
Other languages
English (en)
Other versions
KR20080085198A (ko
Inventor
잉 노이에스
징퀴앙 리
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20080085198A publication Critical patent/KR20080085198A/ko
Application granted granted Critical
Publication of KR101031386B1 publication Critical patent/KR101031386B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

본 명세서는 비디오 또는 스틸 이미지들과 같은, 캡처된 상의 품질을 개선하는 플릭커(flicker) 검출 및 보정 기술들을 기재한다. 특히, 본 명세서는 상이한 이미지 프레임들을 비교하여 플릭커를 검출하는 플릭커 보정 기술들을 기재한다. 일부 실시예들에서, 상기 비교는 프레임들 내의 로우(row)들에 관련되는 명암도(intensity) 값들을 합산하는 것과 상기 로우 합(row sum)들을 비교하여 차분 신호(difference signal)를 생성하는 것을 수반한다. 플릭커의 검출 및 보정은 상기 차분 신호의 제 1 도함수(derivative)를 이용하여 수행될 수 있다. 상기 차분 신호의 제 1 도함수는 플릭커를 검출 및 보정하기 위해 다양한 방식으로 이용될 수 있다.

Description

이미지 캡처 장치에서의 자동 플릭커 보정{AUTOMATIC FLICKER CORRECTION IN AN IMAGE CAPTURE DEVICE}
본 명세서는 이미지 캡처 장치들 그리고, 더 특정하게는, 이미지 캡처 장치들 내에서의 플릭커의 보정에 관한 것이다.
디지털 비디오 카메라들 또는 디지털 스틸 사진 카메라들과 같은, 이미지 캡처 장치들은 상이한 애플리케이션들 및 환경들에서 이용된다. 이미지 캡처 장치는 다양한 조명 조건들 하에서 고 품질 상(imagery)을 생성할 수 있어야 한다. 예를 들어, 이미지 캡처 장치들은 실내 환경들과 같은, 백열 또는 형광들에 의해 조명되는 환경들 뿐 아니라, 실외 환경들과 같은, 자연광에 의해 조명되는 환경들에서 효과적으로 동작할 수 있어야 한다.
그러나, 실내 환경에서, 실내 조명의 명암도(intensity)의 변동들은 캡처된 이미지의 품질을 열화시킬 수 있다. 상기 변동들은 실내 광원의 교류(AC) 전력 주파수의 함수(function)이다. 상보성 금속 산화막 반도체(COMS) 장치와 같은, 고체 소자(solid state) 이미지 캡처 장치는, 프레임을 기록하는데 이용되는 이미지 정보 모두를 순간적으로 캡처하지 않는 이미지 센서들의 어레이를 포함한다. 결과적으로, 이미지 캡처 동안의 광 명암도의 변동들은 이미지 프레임의 일부분들로 하여 금 상이한 명암도 레벨들을 나타내게 하며, 이는 상기 이미지에서의 가시 밴드(visible band)들을 야기한다. 본 밴딩 현상은 흔히 플릭커(flicker)로 지칭된다.
플릭커는 이미지 캡처 장치의 적분(integration) 시간을 조명원의 주기의 정수배로 세팅함으로써 제거될 수 있다. 적분 시간은 센서 어레이가 각 프레임에 대한 광을 캡처하는 시간 제한을 지칭한다. 일반적으로, 플릭커는 더 짧은 적분 시간들에 대해서 더욱 심각하다. 실내 조명의 AC 전력 주파수의 변동들은 세계 어느 곳에나 존재한다. 일부 국가들은, 예를 들어, 60 헤르츠(Hz) 전력을 이용하는 한편, 다른 국가들은 50 Hz 전력을 이용한다. 60 Hz 조명원은 120 Hz에서의 밴딩을 야기하는 반면, 50 Hz 조명원은 100 Hz에서 밴딩을 야기한다. 일부 국가들은, 일부의 경우 동일한 빌딩 내에서 조차, 50 및 60 Hz AC 전력 모두를 이용한다.
플릭커는 조명원이 예상되는 주파수와 다른 주파수에서 동작 중인 환경에서 이미지 캡처 장치가 이용될 때 발생할 수 있다. 예를 들어, 이미지 캡처 장치의 적분 시간이 60 Hz 조명원의 주기의 정수배로서 세팅된다면, 플릭커는 50 Hz 조명 환경에서 상을 캡처할 때 발생할 수 있으며, 그 반대도 마찬가지이다.
본 명세서는 비디오 또는 스틸 이미지들과 같은, 캡처된 상의 품질을 개선하기 위한 자동 플릭커 검출 및 보정 기술들을 기재한다. 특히, 본 명세서는 상이한 이미지 프레임들을 비교하여 플릭커를 검출하는 플릭커 보정 기술들을 기재한다. 일부 실시예들에서, 상기 비교는 프레임들 내의 로우들에 관련되는 명암도 값들을 합산하는 것과 상기 로우 합들을 비교하여 차분 신호를 생성하는 것을 수반한다. 플릭커의 검출 및 보정은 상기 차분 신호의 제 1 도함수를 이용하여 수행될 수 있다. 상기 차분 신호의 제 1 도함수는 플릭커를 검출 및 보정하기 위해 다양한 방식으로 이용될 수 있다.
예를 들어, 플릭커 보정은 상기 차분 신호의 제 1 도함수에 기초하여 조명원의 동작 주파수를 결정하여, 상기 결정된 주파수에 기초하여 플릭커를 보정할 수 있다. 이 경우, 플릭커 보정 유닛은 상기 차분 신호의 제 1 도함수의 영 교차 점(zero crossing point)들 간의 거리들을 계산하여, 상기 계산된 거리들에 기초하여 상기 조명원의 주파수를 결정한다. 그리고 나서 상기 플릭커 보정 유닛은 상기 결정된 조명원 주파수에 기초하여 플릭커를 보정한다. 예를 들어, 플릭커 보정 유닛은 이미지 캡처 장치의 센서 어레이의 적분 시간을, 상기 검출된 주파수에 의해 결정되는 바대로, 상기 조명원의 주기의 정수배로 조정할 수 있다.
대안으로, 플릭커 보정 유닛은 플릭커의 존재를 지시하는 주기적 패턴을 식별하고, 상기 주기적 패턴을 식별시 플릭커를 보정할 수 있다. 이 경우, 이미지 캡처 장치는 상기 차분 신호의 제 1 도함수의 영 교차 점들 간의 거리들을 계산할 수 있다. 상기 영 교차점들 간의 거리들의 표준 편차(standard deviation)에 기초하여, 상기 플릭커 보정 유닛은, 예컨대, 상기 표준 편차가 임계치 미만일 때, 플릭커를 지시하는 주기적 패턴이 존재한다고 결정한다. 주기적 패턴이 존재할 시, 이미지 캡처 장치는 적분 시간을 제 1 가능한 조명원의 주기의 정수배로, 예컨대 60 Hz로, 세팅할 수 있다. 상기 주기적 패턴이 계속하여 존재한다면, 이미지 캡처 장치는 상기 적분 시간을 제 2 가능한 조명원의 주기의 정수배로, 예컨대 50 Hz로, 세팅할 수 있다. 이 경우, 상기 조명원의 실제 주파수를 결정할 필요가 없다.
일 실시예로, 본 명세서는 이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하는 단계, 상기 비교에 기초하여 차분 신호를 생성하는 단계, 상기 차분 신호의 도함수를 계산하는 단계, 및 상기 도함수에 기초하여 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임에서의 플릭커를 보정하는 단계를 포함하는 방법을 제시한다.
다른 실시예로, 본 명세서는 제 1 이미지 프레임 및 제 2 이미지 프레임을 캡처하는 이미지 센서 어레이, 상기 제 1 이미지 프레임을 상기 제 2 이미지 프레임에 비교하고, 상기 비교에 기초하여 차분 신호를 생성하고, 상기 차분 신호의 도함수를 계산하고, 그리고 상기 도함수에 기초하여 상기 센서 어레이에 의해 캡처되는 제 3 이미지 프레임의 플릭커를 보정하는 플릭커 보정 유닛을 포함하는 장치를 제시한다.
추가적인 실시예로, 본 명세서는 이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임에 비교하는 단계, 상기 제 1 및 제 2 이미지 프레임들의 비교에 기초하여 제 1 차분 신호를 생성하는 단계, 상기 차분 신호에 기초하여 상기 제 1 및 제 2 이미지 프레임들의 플릭커를 검출하는 단계, 만일 플릭커가 상기 제 1 및 제 2 이미지 프레임들에서 검출되면 상기 이미지 캡처 장치의 적분 시간을 제 1 조명원의 주기의 정수배로 조정하는 단계, 상기 적분 시간의 조정 후에 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 4 이미지 프레임에 비교하는 단계, 상기 제 3 및 제 4 이미지 프레임들의 비교에 기초하여 제 2 차분 신호를 생성하는 단계, 상기 제 2 차분 신호에 기초하여 상기 제 3 및 제 4 이미지 프레임들에 플릭커를 검출하는 단계, 및 플릭커가 상기 제 3 및 제 4 이미지 프레임들에서 검출되면 상기 이미지 캡처 장치의 상기 적분 시간을 제 2 조명원의 주기의 정수배로 조정하는 단계를 포함하는 방법을 제시한다.
추가 실시예로, 본 명세서는 제 1 이미지 프레임 및 제 2 이미지 프레임을 캡처하는 이미지 센서 어레이, 및 상기 제 1 이미지 프레임을 캡처되는 상기 제 2 이미지 프레임과 비교하고, 상기 제 1 및 제 2 이미지 프레임들의 비교에 기초하여 제 1 차분 신호를 생성하고, 상기 차분 신호에 기초하여 상기 제 1 및 제 2 이미지 프레임들에서 플릭커를 검출하고, 그리고 플릭커가 상기 제 1 및 제 2 이미지 프레임들에서 검출되면 상기 이미지 센서 어레이의 적분 시간을 제 1 조명원의 주기의 정수배로 조정하는 플릭커 보정 유닛을 포함하는 장치를 제시하며, 여기서 상기 이미지 센서 어레이는 상기 적분 시간의 조정 후에 제 3 이미지 프레임과 제 4 이미지 프레임을 캡처하고, 그리고 상기 플릭커 보정 유닛은 상기 제 3 및 제 4 이미지 프레임들을 비교하고, 상기 제 3 및 제 4 이미지 프레임들의 비교에 기초하여 제 2 차분 신호를 생성하고, 상기 제 2 차분 신호에 기초하여 상기 제 3 및 제 4 이미지 프레임들에서 플릭커를 검출하고, 그리고 플릭커가 상기 제 3 및 제 4 이미지 프레임들에서 검출되면 상기 이미지 캡처 장치의 적분 시간을 제 2 조명원의 주기의 정수배로 조정한다.
다른 실시예로, 본 명세서는 이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하는 단계, 상기 비교에 기초하여 차분 신호를 생성하는 단계, 저역 통과 필터를 상기 차분 신호에 적용하는 단계, 상기 필터링된 차분 신호의 제 1 도함수를 계산하는 단계, 및 상기 필터링된 차분 신호의 상기 제 1 도함수에 기초하여 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임에서 플릭커를 보정하는 단계를 포함하는 방법을 제시한다.
본 명세서의 하나 이상의 실시예들의 세부사항들은 첨부되는 도면들 및 이하의 실시예에서 제시된다. 본 개시물의 다른 특징들, 목적들, 및 이점들은 실시예와 도면들, 및 청구의 범위들로부터 명백해질 것이다.
도 1은 이미지 정보를 캡처하기 위한 예시적인 이미지 캡처 장치를 도시하는 블록도이다.
도 2는 도 1의 이미지 캡처 장치에 유용한 예시적인 플릭커 보정 유닛을 도시하는 블록도이다.
도 3은 자동으로 플릭커를 검출 및 보정하기 위한 기술을 도시하는 흐름도이다.
도 4는 자동으로 플릭커를 검출 및 보정하기 위한 다른 기술을 도시하는 흐름도이다.
도 5는 두 개의 연속적인 이미지 프레임들에 대한 예시적인 로우 합 플롯들을 도시하는 그래프이다.
도 6은 도 5의 프레임들 간의 차분을 나타내는 예시적인 차분 신호를 도시하는 그래프이다.
도 7은 예시적인 이미지 프레임들의 쌍에 대한 차분 신호, 평탄화(smooth)된 차분 신호 및 상기 평탄화된 차분 신호의 제 1 도함수를 도시하는 그래프이다.
도 8은 다른 예시적인 이미지 프레임들의 쌍에 대한 차분 신호, 평탄화된 차분 신호 및 상기 평탄화된 차분 신호의 제 1 도함수를 도시하는 그래프이다.
도 1은 이미지 정보를 캡처하기 위한 예시적인 이미지 캡처 장치(10)를 도시하는 블록도이다. 도 1에 도시된 바와 같이, 이미지 레코딩 장치(10)는 이미지 센서 어레이(12), 이미지 캡처 제어 유닛(14), 플릭커 보정 유닛(16), 이미지 프로세서(18), 및 이미지 스토리지 장치(20)를 포함한다. 도 1에 도시되는 특징들은 하드웨어 및/또는 소프트웨어 컴포넌트들의 임의의 적절한 조합으로써 구현될 수 있다. 상이한 특징들의 유닛들로서의 표시는 이미지 캡처 장치(12)의 상이한 기능적 특징들을 강조하기 위한 것이며, 그러한 유닛들이 반드시 별개의 하드웨어 및/또는 소프트웨어 컴포넌트들로써 구현되어야 한다는 것을 암시하는 것은 아니다. 오히려, 하나 이상의 유닛들에 관련되는 기능성은 공통 하드웨어 및/또는 소프트웨어 컴포넌트들 내에서 통합될 수 있다.
이미지 캡처 장치(10)는 디지털 비디오 카메라, 디지털 스틸 이미지 카메라, 또는 양자의 조합과 같은, 디지털 카메라일 수 있다. 추가로, 이미지 캡처 장치(10)는 독립형(stand-alone) 카메라와 같은, 독립형 장치이거나, 또는 무선 통신 장치와 같은, 다른 장치에 통합될 수 있다. 예로써, 이미지 캡처 장치(10)는 이동 전화에 통합되어 소위 카메라 폰을 형성할 수 있다. 바람직하게는 이미지 캡처 장치(10)가 장착되어 컬러 상(imagery), 흑-백(black-and-white) 상, 또는 양자를 캡처한다. 본 명세서에서, 용어들 "이미지", "상(imagery)", "이미지 정보", 또는 유사한 용어들은 비디오 또는 스틸 화상(picture)들을 상호교환적으로 지칭할 수 있다. 유사하게, 용어 "프레임"은 이미지 캡처 장치(10)에 의해 획득되는 비디오의 프레임 또는 스틸 화상 프레임 중 하나를 지칭할 수 있다.
센서 어레이(12)는 관심 장면(scene)에 대한 이미지 정보를 획득한다. 센서 어레이(12)는, 예컨대 로우(row)들 및 컬럼(column)들로 정렬되는, 개별 이미지 센서들의 2-차원 어레이를 포함한다. 센서 어레이(12)는, 예를 들어, 상보성 금속-산화막 반도체(CMOS) 센서들과 같은 고체(solid-state) 센서들의 어레이를 포함할 수 있다. 센서 어레이(12) 내의 이미지 센서들은 이미지 장면에 순차적으로 노출되어 이미지 정보를 캡처한다. 이미지 캡처 장치(10)는 센서 어레이(12)에 대한 적분 시간을 세팅하여, 상기 센서 어레이가 주어진 프레임의 캡처에 대한 광에 노출되는 시간량을 제한한다. 센서 어레이(12)는 캡처된 이미지 정보를 이미지 프로세서(18)에 제공하여 이미지 스토리지 장치(20)로의 저장을 위한 이미지 정보의 하나 이상의 프레임들을 형성한다.
센서 어레이(12) 내의 상기 고체 센서들은 프레임을 기록하는데 이용되는 이미지 정보 모두를 순간적으로 캡처하지 않는다. 대신, 상기 센서들은 순차적으로 스캐닝되어 이미지 정보의 전체 프레임을 획득한다. 결과적으로, 실내 조명은 센서 어레이(12)에 의해 획득되는 상기 이미지들 내의, 플릭커로 지칭되는, 가시 밴딩(visible banding)을 생성할 수 있다. 센서 어레이(12)의 적분 시간은 주어진 AC 주파수로 동작하는 조명원에 의해 야기되는 플릭커를 제거하도록 제어될 수 있다. 특히, 상기 적분 시간은 상기 조명원의 주기의 정수배가 되도록 조정될 수 있다. 그러나, 조명원의 주파수는, 예컨대 50 Hz 또는 60 Hz로 상이할 수 있다. 따라서, 플릭커를 제거하는데 요구되는 적분 시간은 이미지 캡처 장치(10)가 이용되는 환경에 따라 달라질 수 있다.
캡처 제어 유닛(14)은 센서 어레이(12)를 제어하여 하나 이상의 프레임들의 형태로 이미지 정보를 캡처한다. 특히, 캡처 제어 유닛(14)은 선택된 적분 시간 및 프레임 레이트(frame rate)에 기초하여 이미지 장면에 대한 센서 어레이(12)의 노출을 제어한다. 센서 어레이(12)가 프레임들을 캡처하는 프레임 레이트는 상기 플릭커가 "롤링(roll)"하는 것을 보장하도록 제어될 수 있다. 플릭커는 밴드들의 위치들이 프레임 마다 약간 변경될 때 "롤링(roll)"한다. 플릭커가 롤링하지 않는다면, 플릭커는 마치 스틸 이미지인 것처럼 나타난다. 플릭커가 롤링하는 것을 보장하기 위해, 프레임 레이트는 플릭커 주파수가 상기 프레임 레이트로 나누어지지 않는 값으로 세팅되어야 한다. 60 Hz 전력원으로 특징지워지는 조명 환경에서, 예를 들어, 캡처 제어 유닛(14)은, 15.03의 프레임 레이트에서와 같은, 15.00 보다 약간 높거나 또는 낮은 프레임 레이트로 이미지 정보를 캡처할 수 있다.
캡처 제어 유닛(14)은 적분 시간 세트를 이용하여 초기에 이미지들을 캡처하여 특정 조명 환경에서 플릭커를 제거할 수 있다. 예를 들어, 미국에서 판매되는 이미지 레코딩 장치들에 대해, 캡처 제어 유닛(14)은 8.33 밀리초(1/120)의 정수배인 디폴트 적분 시간을 가질 수 있으며, 이는 60 Hz 전력원에 의해 특징지워지는 조명 환경에 의해 생성되는 변동(variation)의 주기이다. 이하에서 더 상세히 설명되는 바와 같이, 플릭커 보정 유닛(16)은 플릭커의 존재를 검출시 캡처 제어 유닛(14)의 적분 시간을 세팅할 수 있다. 일 실시예로, 예를 들어, 플릭커 보정 유닛(16)은 조명원의 검출된 주파수에 기초하여 캡처 제어 유닛(14)의 적분 시간을 세팅한다. 다른 실시예로, 플릭커 검출시, 플릭커 보정 유닛(16)은 상기 플릭커가 제거될 때까지 상이한 조명원 주파수들에 대해 적절한 상이한 적분 시간들을 선택한다.
이미지 프로세서(18)는 센서 어레이(12)로부터 상기 캡처된 이미지 데이터를 수신하고 상기 이미지 정보에 임의의 필요한 프로세싱을 수행한다. 프로세서(18)는, 예를 들어, 센서 어레이(12)에 의해 캡처되는 상기 이미지 정보의 필터링, 크로핑(cropping), 디모자이킹(demosaicing), 압축, 이미지 향상(enhancement), 또는 다른 프로세싱을 수행할 수 있다. 프로세서(18)는 마이크로프로세서, 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 임의의 등가 이산 또는 집적 논리 회로로써 구현될 수 있다. 일부 실시예들에서, 이미지 프로세서(18)는 MPEG-2, MPEG-4, ITU H.263, ITU H.264, JPEG 등과 같은 특정한 인코딩 기술 또는 포맷에 따라 상기 이미지 정보를 인코딩하는 인코더-디코 더(CODEC)의 일부를 형성할 수 있다.
프로세서(18)는 상기 이미지 정보를 스토리지 장치(20)에 저장한다. 프로세서(18)는 로(raw) 이미지 정보, 프로세싱된 이미지 정보, 또는 인코딩된 정보를 스토리지 장치(20)에 저장할 수 있다. 상기 상(imagery)에 오디오 정보가 수반된다면, 오디오도, 상기 비디오 정보와 독립적으로 또는 함께, 스토리지 장치(20)에 저장될 수 있다. 스토리지 장치(20)는 판독-전용 메모리(ROM), 전기적 소거가능 프로그래머블 판독-전용 메모리(EEPROM), 또는 플래시 메모리와 같은, 또는 자기 데이터 스토리지 장치나 광 데이터 스토리지 장치와 같은, 임의의 휘발성 또는 비-휘발성 메모리나 스토리지 장치를 포함할 수 있다.
플릭커 보정 유닛(16)은 센서 어레이(12)에 의해 캡처되는 이미지 정보 내의 플릭커를 검출하고 이미지 품질을 개선하기 위해 이후의 이미지들에 대한 플릭커를 보정한다. 이하에서 더 상세히 설명되는 바와 같이, 플릭커 보정 유닛(16)은 이미지 정보의 프레임들의 쌍을 이용하여 상기 이미지 정보 내의 플릭커를 검출한다. 플릭커 보정 유닛(16)은, 마이크로프로세서, DSP 등과 같은, 독립 하드웨어 컴포넌트로서 또는 논리 장치의 프로그램가능한 형태로서 구현될 수 있다. 일부 실시예들에서, 플릭커 보정 유닛(16)은 이미지 프로세서(18)를 구현하는 논리 장치의 프로그램가능 또는 집적된 형상일 수 있다. 특히, 플릭커 보정 유닛(16)은 그러한 논리 장치에 의해 실행되는 하나 이상의 소프트웨어 프로세스들로서 구현될 수 있다.
플릭커 보정 유닛(16)은 이미지 캡처 장치(10)가 초기에 파워 업(power up)될 때 플릭커 검출을 수행할 수 있다. 예를 들어, 플릭커 보정 유닛(16)은 이미지 캡처 장치(10)의 자동 노출 제어(auto exposure control, AEC)가 특정한 휘도(brightness) 레벨 범위에 도달할 때 초기에 플릭커 검출을 수행할 수 있다. 추가로, 플릭커 보정 유닛(16)은 이미지 캡처 장치(10)가, 예컨대 수 초 또는 수 분의 인터벌들로 동작중일 때, 주기적으로 플릭커 검출을 수행할 수 있다. 일례로, 플릭커 보정 유닛(16)은 대략적으로 매 이십초마다 플릭커 검출을 수행할 수 있다. 이러한 방식으로, 플릭커 검출은 플릭커의 발생 또는 플릭커 주파수의 변경을 야기할 수 있는, 이미지 캡처 장치(10)가 이용되는 환경이 변경되는 이벤트 발생시 수행될 수 있다.
플릭커 보정 유닛(16)은 센서 어레이(12)에 의해 획득되는 두 개의 프레임들을 비교하여 플릭커를 검출한다. 바람직하게는, 플릭커 보정 유닛(16)은, 비디오 시퀀스 내의 연속적인 비디오 프레임들 또는 연속적인 스틸 이미지들과 같은, 연속적인 프레임들을 비교한다. 그러나, 상기 프레임들이 연속될 필요는 없다. 어느 경우이던, 플릭커 보정 유닛(16)은 상기 프레임 비교를 이용하여 플릭커를 지시하는 주기적 패턴을 식별하거나 또는 조명원의 동작 주파수를 식별한다. 플릭커 보정 유닛(16)은 상기 프레임들 모두에 대해 센서 어레이(12) 내의 로우(row)들의 적어도 일부의 센서들 중의 적어도 일부분에 걸친 명암도 값들을 합산한다.
예를 들어, 플릭커 보정 유닛(16)은 센서 어레이(12)에 의해 생성되는 YCbCr 휘도(luminance) 및 색차(chrominance) 데이터를 이용할 수 있다. 더 특정하게는, 플릭커 보정 유닛(16)은 YCbCr 데이터의 Y 휘도 성분을 각 센서에 대한 명암도 값 으로서 이용하여, 상기 로우들에 걸친 Y 값들을 합산하여 로우 합(row sum) 명암도 값들을 생성할 수 있다. 플릭커 보정 유닛(16)에 의해 이용되는 YCbCr 데이터는 이미지 캡처 장치(10)에 관련되는 뷰파인더(viewfinder) 또는 다른 디스플레이를 구동하는데 이용되는 동일한 데이터일 수 있으며, 크롭핑(crop) 및 스케일링(scale)될 수 있다. 플릭커 보정 유닛(16)은 제 1 프레임의 로우 합들을 제 2 프레임의 대응하는 로우 합들로부터 차감(subtract)하여 차분 신호(difference signal)를 획득하고 이어 모든 음(negative)의 값들을 영(zero)으로 클리핑(clip)한다. 또한 양의 값들도 영으로 클리핑될 수 있다. 일부 실시예들에서, 플릭커 보정 유닛(16)은 저역 통과 필터를 상기 차분 신호에 적용하여 프레임들 간의 손 떨림(hand jitter) 또는 모션(motion)을 제거하여, 평탄화된(smoothed) 차분 신호를 생성할 수 있다.
플릭커 보정 유닛(16)은 상기 필터링된 차분 신호의 제 1 도함수(derivative)를 계산하고 상기 도함수 신호의 영 교차 점(zero crossing point)들을 알아낸다(locate). 상기 도함수 신호의 영 교차점들을 이용하여, 플릭커 보정 유닛(16)은 플릭커를 지시하는 주기적 패턴이 상기 이미지 프레임들에 존재하는지를 결정한다. 대안적으로, 플릭커 보정 유닛(16)은 상기 도함수 신호의 영 교차 점들을 이용하여 조명원의 동작 주파수를 결정한다. 플릭커 보정 유닛(16)은 이러한 결정들에 기초하여 플릭커를 보정한다. 플릭커 보정 유닛(16)은, 예를 들어, 상기 캡처 제어 유닛(14)의 적분 시간을 상기 조명원의 주기의 정수배로 조정하여 플릭커를 제거할 수 있다.
도 2는 더 상세히 예시적인 플릭커 보정 유닛(16)을 도시하는 블록도이다. 플릭커 보정 유닛(16)은 로우 합 계산기(22), 프레임 비교기(23), 저역 통과 필터(24), 도함수 계산기(26) 및 플릭커 보정 모듈(28)을 포함한다. 플릭커 보정 유닛(16)의 다양한 컴포넌트들은 상이한 하드웨어 및/또는 소프트웨어 컴포넌트들, 또는 공통 하드웨어 및/또는 소프트웨어 컴포넌트들로써 구현될 수 있다. 일부 실시예들에서, 그러한 컴포넌트들은 마이크로프로세서 또는 DSP와 같은, 공통 논리 장치의 프로그램가능한 기능성으로서 구현될 수 있다. 전술한 바와 같이, 플릭커 보정 유닛(16)은 이미지 정보의 프레임들의 비교에 기초하여 상기 이미지 정보 내의 플릭커를 검출 및 보정한다. 플릭커 보정 유닛(16)은, 이미지 캡처 장치(10)가 동작 중인 동안 주기적으로 뿐만 아니라, 이미지 캡처 장치(10)가 초기에 파워 업 될 때도 플릭커 검출을 수행할 수 있다.
로우 합 계산기(22)는 센서 어레이(12)에 의해 캡처되는 프레임들의 쌍(도 2에서 "프레임 1" 및 "프레임 2"로 라벨링됨)에 대한 명암도 값들을 수신한다. 플릭커 보정 유닛(16)은 센서 어레이(12)로부터, 스토리지 장치(20)로부터, 또는 이들의 조합으로부터 직접 프레임들의 쌍에 대한 상기 명암도 값들을 수신할 수 있다. 로우 합 계산기(22)는 한 번에 하나의 프레임을 처리하거나 또는 두 개의 버퍼링된 프레임들을 처리할 수 있다. 예를 들어, 로우 합 계산기는 먼저 프레임 1을 프로세싱하고, 상기 결과들을 버퍼링(buffer)하고, 그리고나서 프레임 2를 프로세싱할 수 있다. 일 실시예로, 프레임 1 및 프레임 2는 연속적으로 캡처되는 프레임들이다. 그러나, 일부 실시예들에서, 여기 기재되는 기술들은 비-연속적인 프레 임들에 적용될 수도 있다.
로우 합 계산기(22)는 각 프레임의 로우들의 적어도 일부에서의 상기 센서들의 적어도 일부에 걸친 센서 명암도 값들을 합산한다(도 2에서 "로우 합 1" 및 "로우 합 2"로 라벨링됨). 따라서, 센서 어레이(12)의 모든 센서들 또는 모든 로우(row)들에 대한 명암도 값들을 합산할 필요가 없다. 로우 합 계산기(22)가 1200 개의 로우(row)들을 갖는 센서 어레이(12)에 의해 출력되는 프레임들의 로우들 각각을 합산한다면, 로우 합 계산기(22)는 1200 개의 데이터 포인트들을 갖는 로우 합 데이터를 계산한다. 대안적으로, 로우 합 계산기(22)가 다수의 로우들을 함께 그룹화하고 전체 그룹에 대한 단일 로우 합을 계산할 수 있다. 1200개의 로우들을 구비하는 센서 어레이에 대해, 예를 들어, 로우 합 계산기(22)는 4개의 로우들의 그룹들을 생성하여 각 그룹에 대한 단일 로우 합을 계산할 수 있으며, 이는 300개의 데이터 포인트들을 갖는 로우 합 데이터를 산출한다. 이 경우, 4개의 로우들의 그룹이 결합되어 단일 로우 합을 생성한다.
추가로, 로우 합 계산기(22)에 의해 수행되는 계산량을 감소시키기 위해, 상기 그룹들 각각의 로우들의 일부는 상기 로우 합 계산에서 이용되지 않을 수 있다. 예시로서 상기 기재된 4개의 로우 그룹들을 이용하여, 로우 합 계산기(22)는 상기 그룹의 첫 두 개의 로우들의 명암도 값들을 합산할 수 있으며 상기 그룹의 나머지 두 개의 로우들은 생략할 수 있다. 추가적인 대안으로, 로우 합 계산기(22)는 상기 로우 합 계산에서 센서 출력들 각각을 이용할 수 있거나 또는 센서 어레이(12)의 센서 출력들의 일부만을 이용할 수 있다. 예를 들어, 로우 합 계산기(22)는 센 서 어레이(12)의 각 로우 또는 로우 그룹의 센서들의 서브셋을 이용할 수 있다. 센서들의 서브셋은 센서 어레이(12)의 컬럼(column)들의 서브셋에 대응한다. 로우 합 계산기(22)는 로우 합들을 연속으로 또는 병행하여 계산할 수 있다.
프레임 비교기(23)는 프레임 1 및 프레임 2에 대한 로우 합 계산기(22)에 의해 계산되는 로우 합 값들 간의 차분들을 계산하여 "차분 신호"(도 2에서 DIFF SIGNAL로 라벨링됨)를 획득한다. 특히, 프레임 비교기(23)는 프레임 1에 대한 로우 합들(로우 합 1)을 프레임 2에 대한 대응하는 로우 합들(로우 합 2)로부터 차감한다. 연속적인 프레임들의 로우 합들의 차분을 계산하는 것은 장면(scene) 정보를 제거하지만, 플릭커 정보를 유지한다. 또한 프레임 비교기(23)는 상기 차분 신호의 임의의 음 또는 양 부분을 영으로 클리핑할 수 있다.
도 2에서 추가로 도시되는 바와 같이, 플릭커 보정 유닛(16)은 저역 통과 필터를 상기 차분 신호에 적용할 수 있다. 저역 통과 필터(24)는 원치않는 고주파 패턴들을 상기 차분 신호로부터 제거한다. 예를 들어, 저역 통과 필터(24)는 손 떨림(hand jitter) 또는 두 개의 프레임들 간의 모션에 의해 야기되는 효과들을 감소시킬 수 있어서, 필터링된, 평탄화된(smoothed) 차분 신호를 가져온다. 저역 통과 필터(24)는 상기 차분 신호를 평탄화하여 스퓨리어스(spurious) 정보를 제거하도록 기능한다. 도함수 계산기(26)는 상기 필터링된 차분 신호(도 2에서 "FILT DIFF SIGNAL"로 라벨링됨)의 도함수를 계산한다.
플릭커 보정 모듈(28)은 제 1 도함수를 이용하여 플릭커를 보정한다. 특히, 플릭커 보정 모듈(28)은 상기 도함수 신호의 영 교차점들을 찾아내며(locate), 이는 필터링된 차분 신호의 피크(peak) 값들에 대응하고, 그리고 상기 영 교차점들을 이용하여 플릭커 보정 신호(도 2에서 "플릭커 보정 신호"로 라벨링됨)를 발생시킨다. 상기 플릭커 보정 신호는 이미지 캡처 제어 유닛(14)에 의해 이용되어 센서 어레이(12)의 적분 시간을 조정하여, 플릭커를 제거한다.
일 실시예로, 플릭커 보정 모듈(28)은 상기 영 교차 점들 간의 거리들을 계산하고 상기 계산된 거리들에 기초하여 조명원의 주파수를 결정한다. 플릭커 보정 모듈(28)은 식별된 조명원 주파수에 기초하여 플릭커를 보정한다. 특히, 플릭커 보정 신호는 캡처 제어 유닛(14)(도 1)의 적분 시간이 조명원의 주기의 정수배로 세팅될 것이라는 것을 특정한다. 60 Hz 조명원에 대해, 플릭커 보정 모듈(28)은 캡처 제어 유닛(14)의 적분 시간을 대략 8.33 밀리초(1/120)의 정수배로 세팅한다. 50 Hz 조명원에 대해, 플릭커 보정 모듈(28)은 캡처 제어 유닛(14)의 적분 시간을 대략 10 밀리초(1/100)의 정수배로 세팅한다.
다른 실시예로, 플릭커 보정 모듈(28)은 상기 영 교차 점들 간의 거리들과 영 교차점들 간의 거리들의 표준 편차(standard deviation)를 계산한다. 플릭커 보정 모듈(28)은 상기 계산들에 기초하여 플릭커를 지시하는 주기적인 패턴이 존재하는지를 결정한다. 플릭커 보정 모듈(28)은, 예를 들어, 상기 표준 편차를 임계치와 비교하고 상기 표준 편차가 상기 임계치보다 작을 때 플릭커를 나타내는 주기적 패턴이 존재한다고 결정한다.
주기적 패턴이 존재할 때, 플릭커 보정 모듈(28)은 플릭커 보정 신호를 전송하여 캡처 제어 유닛(14)의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 세팅한다. 이 경우, 상기 조명원의 실제 주파수는 미지이다. 그러나, 플릭커가 존재하며, 아마도 분명 60 Hz 또는 50 Hz 조명원 중 하나에 의해 야기된다는 점은 명백하다. 플릭커 보정 모듈(28)은 먼저 플릭커 보정 신호를 전송하여 캡처 제어 유닛(14)의 적분 시간을 60 Hz 조명원의 주기의 정수배(즉, 8.33 밀리초의 정수배)로 세팅할 수 있다. 플릭커가 검출될 때, 상기 60 Hz 조명원이 첫 시도에서 플릭커를 제거하기 위해 적분 시간을 세팅하는데 이용된다. 대안적으로, 50 Hz 조명원이 상기 첫 시도에서 이용될 수 있다.
적분 시간을 세팅한 후, 플릭커 보정 유닛(16)은 상기 새로이 프로그래밍된 적분 시간을 이용하여 캡처되는 프레임들의 다른 쌍을 이용하여 주기적 패턴이 아직 존재하는지를 결정한다. 상기 표준 편차가 상기 적분 시간의 초기 세팅에 따라 주기적 패턴이 존재하지 않는다고 지시한다면, 이미지 캡처 장치(10)(도 1)는 계속하여 상기 적분 시간을 이용한다. 그러나, 주기적 패턴이 여전히 존재한다면, 상기 조명원은 상기 가정한(예컨대, 60 Hz) 주파수와 다른 주파수를 갖는다고 가정할 수 있다. 이 경우, 플릭커 보정 모듈(28)은 캡처 제어 유닛(14)의 적분 시간을 제 2 가능한 조명원, 예컨대, 50 Hz 조명원의 주기의 정수배로 세팅한다. 다시금, 적분 시간들이 상이한 조명원들에 대해 선택되는 순서는 바뀔 수 있어서, 50 Hz 조명원에 대한 적분 시간이 먼저, 그리고 플릭커가 여전히 검출된다면 60 Hz 조명원에 대한 적분 시간이 이어서 시도된다.
플릭커를 검출하기 위해 상이한 프레임들을 비교함으로써, 본 명세서에 기재된 기술들은 일반적으로 장면(scene) 독립적이다. 달리 말하면, 이미지 장면의 상 대적 복잡도는 플릭커 보정의 효율성에 크게 영향을 미치지 않는다. 상이한 프레임들, 그리고 특히 시간적으로 근접하게 얻어지는 연속적인 프레임들의 비교는, 장면(scene) 정보를 억제(suppress)하지만 플릭커 정보를 강화한다. 특히, 두 개의 연속적인 또는 비-연속적인 프레임들의 차감(subtraction)은 장면 정보를 제거하지만 플릭커를 남기는 경향이 있다. 예를 들어, 밴딩(banding)이 롤링(roll)할 때, 플릭커 신호만이 프레임 간에 이동한다. 그러나, 물체들, 예컨대 손, 얼굴 또는 입술들의 이동을 제외하고, 장면 정보는 일반적으로 이동하지 않는다. 본 플릭커 보정 기술들은 사용자 개입 없이 자동적으로 수행될 수 있으며, 이미지 캡처 장치(10)의 정상적인 뷰파인더 동작의 어떠한 중단도 요구하지 않는다. 나아가, 일부 실시예들에서, 플릭커 검출 및 보정에 필요한 동작들은 추가적인 하드웨어 보조에 대한 필요없이 소프트웨어로 수행될 수 있다.
도 3은 플릭커를 보정 및 검출하기 위한 예시적인 기술을 도시하는 흐름도이다. 도 3에 도시되는 기술들은 도 2의 플릭커 보정 유닛(16)에 의해 수행될 수 있다. 플릭커 보정 유닛(16) 그리고, 더 특정하게는, 로우 합 계산기(22)는 센서 어레이(12)에 의해 캡처되는 프레임들의 쌍을 프로세싱한다. 전술한 바와 같이, 로우 합 계산기(22)는 센서 어레이(12)로부터 직접, 프로세서(18)로부터 상기 프레임들을 수신할 수 있거나 또는 스토리지 장치(20) 나 일부 다른 버퍼로부터 상기 프레임들을 검색(retrieve)할 수 있다.
로우 합 계산기(22)는 프레임들(32) 모두에 대한 로우들의 적어도 일부의 센서들의 적어도 일부에 걸쳐 명암도 값들을 합산한다. 로우 합 계산기(22)는 상기 로우 합들을 순차적으로 또는 동시에 계산할 수 있다. 전술한 바와 같이, 로우 합 계산기(22)는 센서 어레이(12)에 의해 출력되는 프레임들의 로우들 각각을 합산하거나 또는 다수의 로우들의 그룹을 함께 합산하여 전체 그룹에 대한 단일 로우 합을 계산할 수 있다. 대안적으로, 또는 추가적으로, 로우 합 계산기(20)는 상기 로우 합을 계산하는데 있어서 로우의 모든 센서 출력들을 이용할 수 있거나 또는 상기 로우의 센서 출력들의 일부만을 이용할 수 있다.
프레임 비교기(23)는 상기 두 개의 프레임들(34)의 로우 합들 간의 차분들을 결정한다. 프레임 비교기(23)는, 예를 들어, 제 1 프레임의 각 로우 합을 제 2 프레임의 대응하는 로우 합으로부터 차감하여 두 개의 프레임들 간의 로우 합 차분들을 지시하는 차분 신호를 획득할 수 있다. 전술한 바와 같이, 연속적인 프레임들의 로우 합들의 차분을 계산하는 것은 장면 정보를 제거하는 한편, 플릭커 정보를 유지한다. 플릭커 보정 유닛(16)은 상기 차분 신호의 음 또는 양 부분을 영(zero)으로 클리핑한다(36).
플릭커 보정 유닛(16)은 저역 통과 필터(24)를 프레임 비교기(23)에 의해 생성되는 차분 신호에 적용한다(38). 저역 통과 필터(24)는 상기 차분 신호로부터 원치 않는 고 주파 패턴들을 제거하여, 손 떨림 또는 두 개의 프레임들 간의 모션에 의해 야기되는 영향들을 감소시킨다. 도함수 계산기(26)는 상기 필터링된 차분 신호의 도함수를 계산한다(40). 플릭커 보정 모듈(28)은 상기 도함수 신호의 영 교차 점들을 결정하고(42) 상기 영 교차점들 간의 거리들을 계산한다(44). 상기 영 교차 점들 간의 거리들은 필터링된 차분 신호의 피크 값들 간의 거리들에 대응 한다.
플릭커 보정 모듈(28)은 상기 영 교차 값들 간의 계산된 거리들에 기초하여 조명원의 주파수를 결정한다(46). 플릭커 보정 모듈(28)은, 예를 들어, 본 공식에 따라 조명원의 주파수(F)를 계산할 수 있다:
F=(1/(peak_distance*row_time))/2 (1)
상기 공식(1)에서, 값 "peak_distance"는 도함수 신호의 영 교차점들에 의해 결정되는, 필터링된 거리 신호의 피크들 간의, 로우들에서의, 거리를 나타낸다. 값 "row_time"은 개별 로우를 해독(readout)하기 위해 이미지 캡처 장치(10)에 의해 요구되는 시간, 즉 로우 당 스캔 시간(scan time)을 나타낸다.
예시적인 실시예로, 조명원의 주파수 F는 다음 공식에 따라 계산될 수 있다:
F=((viewfinderRows*scale+croppedRows)/(peak_distance*scale*frame_rate))/2 (2)
상기 공식(2)에서, 공식(1)에서 처럼, 값 "peak_distance"는 도함수 신호의 영 교차점들에 의해 결정되는 바와 같이, 필터링된 거리 신호의 피크들 간의, 로우들에서의, 거리를 나타낸다. 값 "frame_rate"는 프레임들이 이미지 캡처 장치(10)에 의해 얻어지는 레이트, 예컨대 초당 프레임(frame per second)을 나타낸다. 공식(2)에서, 값 "viewfinderRows"는 이미지 캡처 장치에 관련되는 뷰파인더 또는 다른 이미지 디스플레이 장치를 구동하는데 상기 이미지 캡처 장치(10)에 의해 이용되는 로우들의 수를 나타낸다. 뷰파인더를 구동하는데 이용되는 로우들의 수는 통상 이미지 캡처 장치(10)에 의해 획득되는 프레임의 로우들의 총 개수보다 작을 것 이다.
공식 (2)의 값 "scale"은 뷰파인더 비디오 프레임을 생성하기 위해 이미지 캡처 장치(10)에 의해 획득되는 로우들의 개수에 적용되는 다운샘플링(downsampling) 팩터(factor)를 나타낸다. 값 "croppedRows"은 상기 뷰파인더를 구동하기 위해 전체 프레임으로부터 크롭(crop)되는 로우들의 수를 나타낸다. 더 특정하게는, 값 "croppedRows"은 스케일링에 관련되는 크롭되는 로우들의 수, 디모자이크(demosaic) 함수(function)에 의해 크롭되는 로우들의 개수, VBLT(vertical blanking time)에 이용되는 로우들의 수, 및 장면 정보를 포함하지 않는 "더미(dummy)" 로우들의 임의의 수의 합을 나타낼 수 있다. 이러한 방식으로, 값 공식 (2)의 "viewfinderRows*scale+croppedRows"은 캡처되는 프레임의 모든 로우들을 나타낸다.
플릭커 보정 모듈(28)은 식별된 조명원 주파수(F)에 기초하여 플릭커를 보정한다(48). 일 실시예로, 플릭커 보정 모듈(28)은 신호를 전송하여 캡처 제어 유닛(14)(도 1)의 적분 시간을 조명원의 주기의 정수배로 세팅한다. 예를 들어, 플릭커 보정 모듈(28)은 상기 적분 시간을 60 Hz 조명원에 대해 대략 8.33 밀리초의 정수배로, 그리고 50 Hz 조명원에 대해 대략적으로 10 밀리초의 정수배로 세팅한다.
도 4는 플릭커를 검출 및 보정하기 위한 다른 예시적인 기술들 나타내는 흐름도이다. 도 2의 플릭커 보정 유닛(16)은 도 4의 기술을 수행하도록 구성될 수 있다. 조명원의 실제 주파수를 결정하는 대신, 도 4의 기술은 단순히 플릭커를 나타내는 주기적 패턴이 존재하는지를 결정한다. 그렇다면, 플릭커 보정 유닛(16)은 주기적 패턴이 제거될 때까지 상이한 적분 시간들(예컨대, 60 Hz 또는 50 Hz에 대해)을 선택한다.
로우 합 계산기(22)는 센서 어레이(12)에 의해 캡처되는 프레임들의 쌍에 대한 로우 합들을 계산한다(52). 로우 합 계산기(22)는 상기 프레임들 모두에 대한 로우들의 적어도 일부에서 상기 센서의 적어도 일부에 걸쳐 명암도 값들을 합산한다. 프레임 비교기(23)는 상기 두 개의 프레임들의 로우 합들 간의 차분들을 결정하고(54) 상기 차분 신호의 음 또는 양 부분을 영으로 클리핑한다(56). 플릭커 보정 유닛(16)은 저역 통과 필터(24)를 프레임 비교기(23)에 의해 생성되는 상기 차분 신호에 적용하여(58) 상기 차분 신호를 평탄화(smooth)시킨다.
도함수 계산기(26)는 상기 필터링된 차분 신호의 도함수를 계산한다(60). 플릭커 보정 모듈(28)은 상기 도함수 신호의 영 교차점들을 식별하고(62), 상기 영 교차점들 간의 거리들과 영 교차점들 간의 거리들의 표준 편차를 계산한다(64). 플릭커 보정 모듈(28)은 상기 계산된 표준 편차를 임계치에 비교하여 플릭커를 지시하는 주기적 패턴이 존재하는지를 결정한다(66).
표준 편차가 상기 임계치보다 크다면, 플릭커를 지시하는 주기적 패턴이 존재하지 않으며 이미지 캡처 장치(10)는 계속하여 현재의 적분 시간을 이용하여 동작한다(68). 그러나, 표준 편차가 상기 임계치보다 작다면, 플릭커를 지시하는 주기적 패턴이 존재한다. 주기적 패턴이 존재할 때, 플릭커 보정 모듈(28)은 플릭커 보정 신호를 전송하여 캡처 제어 유닛(14)의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 세팅한다(70). 플릭커 보정 모듈(28)은, 예를 들어, 플릭커 보정 신호를 생성하여 캡처 제어 유닛(14)의 적분 시간을 60 Hz 조명원의 주기의 정수배, 즉 8.33 밀리초의 정수배로 세팅할 수 있다.
플릭커 보정 유닛(16)은 새로이 프로그래밍된 적분 시간을 이용하여 캡처되는 프레임들의 쌍을 이용하여 상기 주기적 패턴이 여전히 존재하는지를 결정한다. 플릭커 보정 유닛(16)은 상기 새로운 프레임들의 쌍에 대해 계산되는 차분 신호의 제 1 도함수를 이용하여 상기 주기적 패턴이 여전히 존재하는지를 결정한다. 특히, 플릭커 보정 유닛(16)은 52-66로 라벨링된 박스들에 의해 식별되는 계산들을 반복할 수 있다.
주기적 패턴이 존재하지 않는다면, 이미지 캡처 장치(10)는 계속하여 현재의 적분 시간을 이용한다(68). 그러나, 주기적 패턴이 여전히 존재하면, 플릭커 보정 모듈(28)은 캡처 제어 유닛(14)의 적분 시간을 가능한 조명원, 예컨대 50 Hz 조명원의 주기의 정수배로 세팅한다(74). 예를 들어, 플릭커 보정 모듈(28)은 신호를 전송하여 캡처 제어 유닛(14)의 적분 시간을 10 밀리초의 정수배로 세팅할 수 있다.
도 5는 두 개의 연속적인 프레임들의 예시적인 로우 합 플롯들(80A 및 80B)을 도시하는 그래프이다. 로우 합 플롯(80A)은 제 1 프레임에 대한 로우 합 계산기(22)의 출력에 대응하며 로우 합 플롯(80B)은 제 2 프레임에 대한 로우 합 계산기(22)의 출력에 대응한다. 상기 제 1 및 제 2 프레임들은, 연속적인 프레임들이 바람직할 수 있기는 하지만, 이미지 캡처 장치(10)에 의해 획득되는 연속적 또는 비-연속적 프레임들일 수 있다. 도 5에 도시되는 그래프에서, 로우 합 데이터(row sum data) 플롯들 각각은 300 개의 로우 합 데이터 포인트들을 갖는다. 도 5의 x축은 로우 인덱스(row index)에 대응하며, 이는 각 데이터 포인트에 대한 특정한 로우 또는 로우들의 그룹을 식별한다. 도 5의 y 축은 로우 합 명암도 값에 대응한다.
각 데이터 포인트는 센서 어레이(12)의 특정한 로우 또는 로우들의 그룹에 대한 로우 합을 나타낸다. 1200 개의 로우들을 갖는 센서 어레이에 대해, 예를 들어, 로우 합 계산기(22)는 4개의 로우들의 그룹들에 대해 로우 합들 명암도(예컨대, YCbCr 데이터로부터 Y)를 계산할 수 있으며, 이는 300 개의 로우 합 데이터 포인트들의 계산이 된다. 센서 어레이가 1200개의 로우들씩(by) 1200개의 컬럼(column)들이라면, 300개의 로우들 각각은 1200개의 픽셀들을 포함한다. 전술한 바와 같이, 로우 합 계산기(22)에 의해 수행되는 계산량을 감소시키기 위해, 상기 그룹 내의 로우들의 일부는 로우 합 계산에서 이용되지 않을 수 있다. 각 로우 합 데이터 포인트에서의 4개의 로우들의 그룹에 대해, 로우 합 계산기(22)는 상기 그룹의 처음 두 개의 로우들을 합산하고 상기 그룹의 나머지 두 개의 로우들은 스킵할 수 있다. 추가로, 로우 합 계산기(22)는 로우 합 계산에서 센서 출력들 각각을 이용할 수 있거나 또는 센서 어레이(12)의 센서 출력들 중 일부만을 이용할 수 있다.
도 6은 예시적인 차분 신호(90)를 나타내는 그래프이다. 차분 신호(90)는 로우 합 플롯(80B)으로부터 로우 합 플롯(80A)(도 5)을 감산하고 상기 신호의 음의 부분을 영으로 클리핑(36)한 결과이다. 도 6에서, x 축은 로우 인덱스에 대응하며, 이는 각 데이터 포인트에 대한 특정한 로우 또는 로우들의 그룹을 식별한다. 도 6의 y 축은 로우 합 차분 명암도 값에 대응한다.
도 7은 예시적인 이미지 프레임들의 쌍에 대한 본래의 풀(full) 프레임으로부터 서브샘플링(subsample)되는 뷰파인더 비디오 프레임의 예시적인 차분 신호(100), 평탄화된 차분 신호(102) 및 상기 평탄화된 차분 신호의 제 1 도함수(104)를 나타내는 그래프이다. 차분 신호(10)는 프레임 비교기(23)에 의해 생성될 수 있다. 평탄화된 차분 신호(102)는 저역 통과 필터(24)에 의해 생성될 수 있다. 제 1 도함수(104)는 도함수 계산기(26)에 의해 생성될 수 있다. 도 7의 신호들이 대응하는 상기 예시적인 상(imagery)은 색상(color) 및/또는 공간 디테일(detail)을 갖지 않는 상대적으로 단순한 이미지이다. 차분 신호(100)는 영으로 클리핑되는 음의 값들을 갖는 두 개의 연속적인 프레임들의 로우 합 플롯들 간의 차분을 도시하는 신호이다. 평탄화된 차분 신호(102)는 저역 통과 필터(24)의 적용 후의 차분 신호를 나타내는 신호이다. 도함수 신호(104)는 평탄화된 차분 신호(102)의 제 1 도함수이다.
도 7에 도시된 바와 같이, 도함수 신호(104)의 영 교차 점들은 평탄화된 차분 신호(102)의 피크 값들에 대응한다. 플릭커 보정 유닛(16)은 영 교차점들 간의 거리를 이용하여 프레임들 내의 플릭커를 보정한다. 일 실시예로, 예를 들어, 플릭커 보정 유닛(14)은 상기 영 교차점들 간의 거리들을 이용하여 광원의 전력 주파수를 계산하고, 상기 계산된 광원의 주파수에 기초하여 적분 시간을 조정한다. 다른 실시예로, 플릭커 보정 유닛(14)은 상기 영 교차점들 간의 거리의 표준 편차를 이용하여 주기적 패턴이 존재하는지를 결정하고, 상기 주기적 패턴이 더 이상 존재하지 않을 때까지 적분 시간을 조정한다. 도 7에서, x축은 4로 나누어지는 로우 인덱스에 대응하며, y 축은 로우 합 차분 명암도(row sum difference intensity) 값에 대응한다. 도 7의 예시에서, 영 교차점들 간의 거리의 표준 편차는 대략적으로 3 퍼센트이다.
도 8은 뷰파인더 이미지 프레임들의 다른 예시적인 쌍에 대한 차분 신호(110), 평탄화된 차분 신호(112) 및 상기 평탄화된 차분 신호의 제 1 도함수(114)를 나타내는 그래프이다. 상기 신호들이 대응하는 이미지는 상당한 색상 및 공간 디테일을 갖는 상대적으로 복잡한 이미지이다. 차분 신호(110)는 영으로 클리핑되는 음의 값들을 갖는 상기 이미지의 두 개의 연속적인 프레임들의 로우 합 플롯들 간의 차분을 나타내는 신호이다. 평탄화된 차분 신호(112)는 저역 통과 필터(24)의 적용 후의 상기 차분 신호를 나타내는 신호이다. 도함수 신호(114)는 평탄화된 차분 신호(112)의 제 1 도함수이다. 도 8에서, x축은 4로 나누어지는 로우 인덱스에 대응하며, y 축은 로우 합 차분 명암도 값에 대응한다. 도 8의 예시에서, 영 교차 점들 간의 거리의 표준 편차는 대략적으로 6 퍼센트이다.
여기 기재된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 본 기술들은 장치에서 실행될 때 이미지들을 캡처하고, 여기 기재된 하나 이상의 기술들을 수행하는, 기계-실행가능 명령들을 제공하는 프로그램 코드를 포함하는 컴퓨터-판독가능 매체에 대한 것일 수 있다. 그러한 경우, 상기 컴퓨터-판독가능 매체는 동기식 동적 랜덤 액세스 메모리(SDRAM), 판독-전용 메모리(ROM), 비-휘발성 랜덤 액세스 메모리(NVRAM), 전기적 소거가능 프로그래머블 판독-전용 메모리(EEPROM), FLASH 메모리 등과 같은 랜덤 액세스 메모리(RAM)를 포함할 수 있다.
상기 프로그램 코드는 컴퓨터 판독가능 명령들의 형태로 메모리에 저장될 수 있다. 그러한 경우, 마이크로프로세서 또는 디지털 신호 처리기(DSP)와 같은 프로세서는 여기 기재된 하나 이상의 기술들을 수행하기 위해 메모리에 저장되는 명령들을 실행할 수 있다. 일부의 경우, 본 기술들은 다양한 하드웨어 컴포넌트들을 호출(invoke)하는 DSP에 의해 실행될 수 있다. 다른 경우들에 있어서, 본 명세서에 기재된 기술들은 마이크로프로세서, 하나 이상의 주문형 반도체(ASIC)들, 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA)들, 또는 다른 어떠한 하드웨어-소프트웨어 조합으로써 구현될 수 있다.
본 명세서의 다양한 실시예들이 기재되었다. 이러한 그리고 다른 실시예들은 다음의 청구의 범위들의 범위에 속한다.

Claims (48)

  1. 플릭커(flicker)를 보정(correct)하기 위한 방법으로서,
    이미지 캡처(capture) 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하는 단계;
    상기 비교에 기초하여 차분 신호(difference signal)를 발생시키는 단계;
    상기 차분 신호의 도함수(derivative)를 계산하는 단계; 및
    상기 도함수에 기초하여 센서들의 어레이의 적분 시간(integration time)을 조정(adjust)함으로써 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임의 플릭커를 보정하는 단계를 포함하는,
    플릭커를 보정하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 이미지 캡처 장치는 이미지 센서들의 어레이(array)를 포함하고,
    상기 방법은 상기 제 1 및 제 2 이미지 프레임들에 대한 로우(row) 합(sum) 값들을 생성하기 위해 상기 어레이의 로우들의 상기 센서들로부터의 명암도(intensity) 값들을 합산하는 단계를 더 포함하며,
    상기 제 1 및 제 2 이미지 프레임들을 비교하는 단계는 상기 제 1 및 제 2 이미지 프레임들에 대한 상기 로우 합 값들을 비교하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  3. 제 1 항에 있어서,
    필터링된 차분 신호를 생성하기 위해 저역 통과 필터를 상기 차분 신호에 적용하는 단계를 더 포함하며, 상기 차분 신호의 도함수를 계산하는 단계는 상기 필터링된 차분 신호의 도함수를 계산하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 플릭커를 보정하는 단계는:
    상기 차분 신호의 도함수에 기초하여 조명원(illumination source)의 주파수를 결정하는 단계; 및
    상기 조명원의 결정된 주파수에 기초하여 플릭커를 보정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 이미지 캡처 장치는 이미지 센서들의 어레이를 포함하며,
    상기 플릭커를 보정하는 단계는 상기 차분 신호의 도함수에 기초하여 상기 센서들의 어레이의 적분 시간을 조정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 적분 시간을 조정하는 단계는 상기 적분 시간이 상기 조명원의 주기(period)의 정수배가 되도록 조정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  8. 제 5 항에 있어서,
    상기 조명원의 주파수를 결정하는 단계는:
    상기 차분 신호의 도함수의 영 교차점(zero crossing point)들 간의 거리(distance)들을 결정하는 단계; 및
    상기 조명원의 주파수를 결정된 거리들의 함수(function)로서 결정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  9. 제 5 항에 있어서,
    상기 플릭커를 보정하는 단계는:
    상기 차분 신호의 도함수의 영 교차 점들간의 거리들을 결정하는 단계;
    상기 영 교차점들 간의 거리들의 표준 편차(standard deviation)를 결정하는 단계; 및
    상기 표준 편차에 기초하여 플릭커가 존재하는지를 결정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  10. 제 6 항에 있어서,
    상기 플릭커를 보정하는 단계는, 플릭커가 존재한다고 결정할때, 상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정한 후 플릭커가 계속하여 존재한다면 상기 센서들의 어레이의 적분 시간을 제 2 가능한 조명원의 주기의 정수배로 조정하는 단계를 더 포함하는, 플릭커를 보정하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정하는 상기 단계는 상기 적분 시간을 8.33 밀리초 및 10 밀리초 중 하나의 정수배로 조정하는 단계를 포함하며, 상기 센서들의 어레이의 적분 시간을 제 2 가능한 조명원의 주기의 정수배로 조정하는 상기 단계는 상기 적분 시간을 8.33 밀리초 및 10 밀리초 중 다른 하나의 정수배로 조정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 프레임들은 상기 이미지 캡처 장치에 의해 연속적으로 캡처되는, 플릭커를 보정하기 위한 방법.
  14. 제 1 항에 있어서,
    상기 플릭커를 보정하는 단계는 이미지 캡처 장치의 파워 업(power up) 시 플릭커를 보정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  15. 제 1 항에 있어서,
    상기 플릭커를 보정하는 단계는 상기 이미지 캡처 장치의 동작 동안 주기적으로 플릭커를 보정하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  16. 플릭커를 보정하기 위한 장치로서,
    제 1 이미지 프레임 및 제 2 이미지 프레임을 캡처하는 이미지 센서 어레이; 및
    상기 제 1 이미지 프레임을 상기 제 2 이미지 프레임과 비교하고, 상기 비교에 기초하여 차분 신호를 발생시키고, 상기 차분 신호의 도함수를 계산하고, 그리고 상기 도함수에 기초하여 상기 센서 어레이의 적분 시간을 조정함으로써 캡처되는 제 3 이미지 프레임의 플릭커를 보정하는 플릭커 보정 유닛(flicker correction unit)을 포함하는,
    플릭커를 보정하기 위한 장치.
  17. 제 16 항에 있어서,
    상기 센서 어레이는 이미지 센서들의 어레이를 포함하며, 상기 플릭커 보정 유닛은 상기 제 1 및 제 2 이미지 프레임들에 대한 로우 합 값들을 생성하기 위해 상기 어레이의 로우들의 상기 센서들로부터의 명암도 값들을 합산하고, 상기 제 1 및 제 2 이미지 프레임들에 대한 상기 로우 합 값들을 비교하고, 그리고 상기 로우 합 값들의 비교에 기초하여 상기 차분 신호를 발생시키는, 플릭커를 보정하기 위한 장치.
  18. 제 16 항에 있어서,
    상기 플릭커 보정 유닛은 필터링된 차분 신호를 생성하기 위해 상기 차분 신호를 필터링하는 저역 통과 필터를 포함하며, 상기 차분 신호의 도함수는 상기 필터링된 차분 신호의 도함수인, 플릭커를 보정하기 위한 장치.
  19. 삭제
  20. 제 16 항에 있어서,
    상기 플릭커 보정 유닛은 상기 차분 신호의 도함수에 기초하여 조명원의 주파수를 결정하고, 그리고 상기 조명원의 결정된 주파수에 기초하여 플릭커를 보정하는, 플릭커를 보정하기 위한 장치.
  21. 제 20 항에 있어서,
    상기 센서 어레이는 이미지 센서들의 어레이를 포함하며, 상기 플릭커 보정 유닛은 상기 차분 신호의 도함수에 기초하여 상기 센서들의 어레이의 적분 시간을 조정하는, 플릭커를 보정하기 위한 장치.
  22. 제 21 항에 있어서,
    상기 플릭커 보정 유닛은 상기 적분 시간이 상기 조명원의 주기의 정수배가 되도록 조정하는, 플릭커를 보정하기 위한 장치.
  23. 제 20 항에 있어서,
    상기 플릭커 보정 유닛은 상기 차분 신호의 도함수의 영 교차점들 간의 거리들을 결정하고, 그리고 상기 조명원의 주파수를 결정된 거리들의 함수로서 결정하는, 플릭커를 보정하기 위한 장치.
  24. 제 20 항에 있어서,
    상기 플릭커 보정 유닛은 상기 차분 신호의 도함수의 영 교차점들 간의 거리들을 결정하고, 상기 영 교차점들 간의 거리들의 표준 편차를 결정하고, 그리고 상기 표준 편차에 기초하여 플릭커가 존재하는지를 결정하는, 플릭커를 보정하기 위한 장치.
  25. 제 24 항에 있어서,
    상기 플릭커 보정 유닛은, 플릭커가 존재한다고 결정할때, 상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정하는, 플릭커를 보정하기 위한 장치.
  26. 제 25 항에 있어서,
    상기 플릭커 보정 유닛은 상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정한 후에 플릭커가 계속하여 존재한다면 상기 센서들의 어레이의 적분 시간을 제 2 가능한 조명원의 주기의 정수배로 조정하는, 플릭커를 보정하기 위한 장치.
  27. 제 26 항에 있어서,
    상기 플릭커 보정 유닛은 상기 적분 시간을 8.33 밀리초 및 10 밀리초 중 하나의 정수배로 조정하고, 그리고 플릭커가 계속하여 존재한다면 상기 적분 시간을 8.33 밀리초 및 10 밀리초 중 다른 하나의 정수배로 조정하는, 플릭커를 보정하기 위한 장치.
  28. 제 16 항에 있어서,
    상기 제 1 및 제 2 이미지 프레임들은 상기 센서 어레이에 의해 연속적으로 캡처되는, 플릭커를 보정하기 위한 장치.
  29. 제 16 항에 있어서,
    상기 플릭커 검출 유닛은 상기 장치의 파워 업 시 플릭커를 보정하는, 플릭커를 보정하기 위한 장치.
  30. 제 16 항에 있어서,
    상기 플릭커 검출 유닛은 상기 센서 어레이의 동작 동안 주기적으로 플릭커를 보정하는, 플릭커를 보정하기 위한 장치.
  31. 플릭커를 보정하기 위한 방법으로서,
    이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하는 단계;
    상기 제 1 및 제 2 이미지 프레임들의 상기 비교에 기초하여 제 1 차분 신호를 발생시키는 단계;
    상기 제 1 차분 신호의 제 1 도함수를 계산하는 단계;
    상기 제 1 차분 신호의 제 1 도함수에 기초하여 상기 제 1 및 제 2 이미지 프레임들에서 플릭커를 검출하는 단계;
    상기 제 1 및 제 2 이미지 프레임들에서 플릭커가 검출된다면 상기 이미지 캡처 장치의 적분 시간을 제 1 조명원의 주기의 정수배로 조정하는 단계;
    상기 적분 시간의 조정 후에 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 4 이미지 프레임과 비교하는 단계;
    상기 제 3 및 제 4 이미지 프레임들의 상기 비교에 기초하여 제 2 차분 신호를 발생시키는 단계;
    상기 제 2 차분 신호의 제 1 도함수를 계산하는 단계;
    상기 제 2 차분 신호의 제 1 도함수에 기초하여 상기 제 3 및 제 4 이미지 프레임들에서 플릭커를 검출하는 단계; 및
    상기 제 3 및 제 4 이미지 프레임들에서 플릭커가 검출된다면 상기 이미지 캡처 장치의 적분 시간을 제 2 조명원의 주기의 정수배로 조정하는 단계를 포함하는,
    플릭커를 보정하기 위한 방법.
  32. 삭제
  33. 제 31 항에 있어서,
    저역 통과 필터를 상기 제 1 및 제 2 차분 신호들에 적용하는 단계를 더 포함하며, 상기 제 1 차분 신호의 제 1 도함수를 계산하는 상기 단계 및 상기 제 2 차분 신호의 제 1 도함수를 계산하는 상기 단계는 필터링된 제 1 차분 신호와 필터링된 제 2 차분 신호의 제 1 도함수들을 계산하는 단계를 포함하는, 플릭커를 보정하기 위한 방법.
  34. 플릭커를 보정하기 위한 장치로서,
    제 1 이미지 프레임 및 제 2 이미지 프레임을 캡처하는 이미지 센서 어레이; 및
    상기 제 1 이미지 프레임을 캡처된 상기 제 2 이미지 프레임과 비교하고, 상기 제 1 및 제 2 이미지 프레임들의 상기 비교에 기초하여 제 1 차분 신호를 발생시키고, 상기 제 1 차분 신호의 제 1 도함수를 계산하며, 상기 제 1 차분 신호의 제 1 도함수에 기초하여 상기 제 1 및 제 2 이미지 프레임들에서 플릭커를 검출하고, 그리고 상기 제 1 및 제 2 이미지 프레임들에서 플릭커가 검출된다면 상기 이미지 센서 어레이의 적분 시간을 제 1 조명원의 주기의 정수배로 조정하는 플릭커 보정 유닛을 포함하며,
    상기 이미지 센서 어레이는 상기 적분 시간의 조정 후에 제 3 이미지 프레임 및 제 4 이미지 프레임을 캡처하고,
    상기 플릭커 보정 유닛은 상기 제 3 및 제 4 이미지 프레임들을 비교하고, 상기 제 3 및 제 4 이미지 프레임들의 상기 비교에 기초하여 제 2 차분 신호를 발생시키고, 상기 제 2 차분 신호의 제 1 도함수를 계산하며, 상기 제 2 차분 신호의 제 1 도함수에 기초하여 상기 제 3 및 제 4 이미지 프레임들에서 플릭커를 검출하고, 그리고 상기 제 3 및 제 4 이미지 프레임들에서 플릭커가 검출된다면 상기 이미지 센서 어레이의 상기 적분 시간을 제 2 조명원의 주기의 정수배로 조정하는,
    플릭커를 보정하기 위한 장치.
  35. 삭제
  36. 제 34 항에 있어서,
    상기 제 1 및 제 2 차분 신호들을 필터링하는 저역 통과 필터를 더 포함하며, 상기 플릭커 보정 유닛은 필터링된 제 1 차분 신호와 필터링된 제 2 차분 신호의 제 1 도함수들을 계산하는, 플릭커를 보정하기 위한 장치.
  37. 플릭커를 보정하기 위한 방법으로서,
    이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하는 단계;
    상기 비교에 기초하여 차분 신호를 발생시키는 단계;
    저역 통과 필터를 상기 차분 신호에 적용하는 단계;
    필터링된 차분 신호의 제 1 도함수를 계산하는 단계; 및
    상기 필터링된 차분 신호의 상기 제 1 도함수에 기초하여 센서들의 어레이의 적분 시간을 조정함으로써 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임의 플릭커를 보정하는 단계를 포함하는,
    플릭커를 보정하기 위한 방법.
  38. 플릭커를 보정하기 위한 장치로서,
    이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하기 위한 수단;
    상기 비교에 기초하여 차분 신호를 발생시키기 위한 수단;
    저역 통과 필터를 상기 차분 신호에 적용하기 위한 수단;
    필터링된 차분 신호의 제 1 도함수를 계산하기 위한 수단; 및
    상기 필터링된 차분 신호의 상기 제 1 도함수에 기초하여 센서들의 어레이의 적분 시간을 조정함으로써 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임의 플릭커를 보정하기 위한 수단을 포함하는,
    플릭커를 보정하기 위한 장치.
  39. 플릭커를 보정하기 위한 명령(instruction)들을 포함하는 컴퓨터-판독가능 매체로서,
    상기 명령들은, 프로세서로 하여금,
    이미지 캡처 장치에 의해 캡처되는 제 1 이미지 프레임을 상기 이미지 캡처 장치에 의해 캡처되는 제 2 이미지 프레임과 비교하고;
    상기 비교에 기초하여 차분 신호를 발생시키고;
    차분 신호의 도함수를 계산하고; 그리고
    상기 도함수에 기초하여 센서들의 어레이의 적분 시간을 조정함으로써 상기 이미지 캡처 장치에 의해 캡처되는 제 3 이미지 프레임의 플릭커를 보정하게 하는,
    컴퓨터-판독가능 매체.
  40. 제 39 항에 있어서,
    상기 명령들은 추가로 상기 프로세서로 하여금 상기 제 1 및 제 2 이미지 프레임들에 대한 로우 합 값들을 생성하기 위해 상기 어레이의 로우들의 상기 센서들로부터의 명암도 값들을 합산하게 하며,
    상기 제 1 및 제 2 이미지 프레임들의 비교는 상기 제 1 및 제 2 이미지 프레임들에 대한 상기 로우 합 값들의 비교를 포함하는, 컴퓨터-판독가능 매체.
  41. 제 39 항에 있어서,
    상기 프로세서로 하여금 필터링된 차분 신호를 생성하기 위해 저역 통과 필터를 상기 차분 신호에 적용하게 하는 명령들을 더 포함하며, 상기 차분 신호의 도함수의 계산은 상기 필터링된 차분 신호의 도함수의 계산을 포함하는, 컴퓨터-판독가능 매체.
  42. 삭제
  43. 제 39 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 차분 신호의 도함수에 기초하여 조명원의 주파수를 결정하고; 그리고
    상기 조명원의 결정된 주파수에 기초하여 플릭커를 보정하게 하는, 컴퓨터-판독가능 매체.
  44. 제 43 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 상기 차분 신호의 도함수의 영 교차점들 간의 거리들을 결정하고 조명원의 주파수를 계산되는 거리들의 함수로서 결정함으로써 상기 조명원의 상기 주파수를 결정하게 하는, 컴퓨터-판독가능 매체.
  45. 제 39 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 차분 신호의 도함수의 영 교차 점들 간의 거리들을 결정하고;
    상기 영 교차점들 간의 거리들의 표준 편차를 결정하고;
    상기 표준 편차에 기초하여 플릭커가 존재하는지를 결정하고; 그리고
    플릭커가 존재한다고 결정할때, 상기 플릭커를 보정하게 하는, 컴퓨터-판독가능 매체.
  46. 제 45 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 플릭커가 존재한다면 상기 센서들의 어레이의 적분 시간을 제 1 가능한 조명원의 주기의 정수배로 조정하게 하고, 그리고 상기 센서들의 어레이의 적분 시간을 상기 제 1 가능한 조명원의 주기의 정수배로 조정한 후 플릭커가 계속하여 존재한다면 상기 센서들의 어레이의 적분 시간을 제 2 가능한 조명원의 주기의 정수배로 조정하게 하는, 컴퓨터-판독가능 매체.
  47. 제 39 항에 있어서,
    상기 제 1 및 제 2 이미지 프레임들은 상기 이미지 캡처 장치에 의해 연속적으로 캡처되는, 컴퓨터-판독가능 매체.
  48. 제 39 항에 있어서,
    상기 명령들은 상기 프로세서로 하여금 이미지 캡처 장치의 파워 업 시, 및 상기 이미지 캡처 장치의 동작 동안 주기적으로 플릭커를 보정하게 하는, 컴퓨터-판독가능 매체.
KR1020087019127A 2006-01-05 2007-01-05 이미지 캡처 장치에서의 자동 플릭커 보정 KR101031386B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/327,824 US8068148B2 (en) 2006-01-05 2006-01-05 Automatic flicker correction in an image capture device
US11/327,824 2006-01-05

Publications (2)

Publication Number Publication Date
KR20080085198A KR20080085198A (ko) 2008-09-23
KR101031386B1 true KR101031386B1 (ko) 2011-04-26

Family

ID=38223920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019127A KR101031386B1 (ko) 2006-01-05 2007-01-05 이미지 캡처 장치에서의 자동 플릭커 보정

Country Status (6)

Country Link
US (1) US8068148B2 (ko)
EP (1) EP1969835A2 (ko)
JP (1) JP4809443B2 (ko)
KR (1) KR101031386B1 (ko)
CN (1) CN101366271B (ko)
WO (1) WO2007120944A2 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4335849B2 (ja) * 2005-06-13 2009-09-30 富士通マイクロエレクトロニクス株式会社 フリッカ検出可能な撮像装置
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
DE102006053837A1 (de) * 2006-11-14 2008-05-15 Robert Bosch Gmbh Integrierter Schaltkreis
US20080156989A1 (en) * 2006-12-28 2008-07-03 O2Micro Inc. Motion sensing/recognition by camera applications
EP2119220A1 (en) * 2007-03-05 2009-11-18 NEC Electronics Corporation Imaging apparatus and flicker detection method
KR20080098864A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 이미지 센서의 플리커 감소 방법 및 장치
KR100891434B1 (ko) * 2007-05-16 2009-04-03 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체
JP4836896B2 (ja) * 2007-08-27 2011-12-14 三洋電機株式会社 ビデオカメラ
US7847834B2 (en) * 2007-11-19 2010-12-07 Omnivision Technologies, Inc. Light source frequency detection circuit using bipolar transistor
TW200926767A (en) * 2007-12-07 2009-06-16 Sunplus Mmedia Inc Automatic flicker detection and correction apparatus and method in a video capture device
JP5111100B2 (ja) * 2007-12-28 2012-12-26 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2010021645A (ja) * 2008-07-08 2010-01-28 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP5106283B2 (ja) * 2008-07-15 2012-12-26 三洋電機株式会社 ビデオカメラ
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
JP5218239B2 (ja) * 2009-04-14 2013-06-26 ソニー株式会社 画像データ処理装置および撮像装置
EP2262228A1 (en) * 2009-06-09 2010-12-15 Global IP Solutions (GIPS) AB Detection and supression of flicker in a sequence of images
JP2011064637A (ja) * 2009-09-18 2011-03-31 Olympus Corp 光源検出装置
JP2011091775A (ja) * 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
NO331527B1 (no) * 2009-12-23 2012-01-23 Cisco Systems Int Sarl Metode for a fjerne flimring i videoopptak
CN102118549B (zh) * 2009-12-31 2013-02-27 敦南科技股份有限公司 影像感测装置检测闪频光的方法及其影像感测装置
US20110186714A1 (en) * 2010-01-29 2011-08-04 Chip Goal Electronics Corporation, R.O.C. Adaptive De-Flicker Device and Method For Adaptive De-Flicker
US8441549B2 (en) * 2010-02-03 2013-05-14 Microsoft Corporation Video artifact suppression via rolling flicker detection
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
TW201138286A (en) * 2010-04-30 2011-11-01 Hon Hai Prec Ind Co Ltd Sample frequency adjusting system and method thereof
CN102237875A (zh) * 2010-05-06 2011-11-09 鸿富锦精密工业（深圳）有限公司 采样频率调节系统及方法
US8804003B2 (en) * 2011-01-28 2014-08-12 Aptina Imaging Corporation Flicker detection for imaging devices with high frame rates
US9418270B2 (en) 2011-01-31 2016-08-16 Hand Held Products, Inc. Terminal with flicker-corrected aimer and alternating illumination
CN102164278B (zh) * 2011-02-15 2013-05-15 杭州海康威视数字技术股份有限公司 用于去除i帧闪烁的视频编码方法及其装置
US8711245B2 (en) * 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
CN102256062A (zh) * 2011-05-06 2011-11-23 钰创科技股份有限公司 自动侦测影像闪烁的电路及其方法
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
GB201110157D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
JP5945395B2 (ja) * 2011-10-13 2016-07-05 オリンパス株式会社 撮像装置
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
CN103108132B (zh) * 2011-11-15 2016-06-15 慧荣科技股份有限公司 抗闪烁摄录装置与摄录方法
KR20140109668A (ko) 2013-03-06 2014-09-16 삼성전자주식회사 플리커를 검출하기 위한 방법 및 시스템
US9083887B2 (en) * 2013-04-08 2015-07-14 Samsung Electronics Co., Ltd. Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same
CN104184952B (zh) * 2013-05-24 2018-02-02 原相科技股份有限公司 光学侦测装置及其同步调整方法
CN104184954B (zh) * 2013-05-27 2017-11-03 原相科技股份有限公司 光学侦测装置及其同步调整方法
US20140354859A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Automatic banding correction in an image capture device
CN104301618B (zh) * 2013-07-19 2017-11-14 富士通株式会社 闪烁检测方法和闪烁检测设备
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
US9838622B2 (en) 2015-03-13 2017-12-05 Apple Inc. Flicker detection using semiconductor light source
US9571749B2 (en) * 2015-05-26 2017-02-14 Novatek Microelectronics Corp. Flicker detecting method for image capturing device
US9813636B2 (en) 2015-07-24 2017-11-07 Mediatek Inc. Processor and apparatus capable of reducing image flicker and a related method
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
CN106385526A (zh) * 2016-09-28 2017-02-08 上海斐讯数据通信技术有限公司 一种数码拍照装置及抗噪拍照方法
GB2565590B (en) * 2017-08-18 2021-06-02 Apical Ltd Method of flicker reduction
GB2568924B (en) * 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
EP3496031B1 (en) * 2017-12-11 2020-07-08 Uponor Oyj Detecting microscopic objects in fluids
CN109326263B (zh) * 2018-12-12 2020-10-16 惠科股份有限公司 显示驱动方法、显示驱动装置和显示装置
US11032486B2 (en) 2019-10-11 2021-06-08 Google Llc Reducing a flicker effect of multiple light sources in an image
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
CN112351216B (zh) * 2020-10-10 2022-04-05 深圳开阳电子股份有限公司 检测和消除视频闪烁的方法及图像处理设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201729A1 (en) 2001-10-02 2004-10-14 Dwight Poplin Automatic flicker frequency detection device and method
EP1566962A1 (en) * 2002-11-18 2005-08-24 Sony Corporation Flicker reduction method, image pickup device, and flicker reduction circuit

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69118616T2 (de) * 1990-08-08 1996-09-19 Canon Kk Elektronische Stehbild-Videokamera
DK0835585T3 (da) * 1995-06-26 1999-05-17 Phase One Denmark A S Fremgangsmåde og system til billedoptagelse med et digitalt kamera
JPH09284634A (ja) * 1996-04-17 1997-10-31 Sony Corp 撮像装置
JPH1188780A (ja) * 1997-09-05 1999-03-30 Hitachi Ltd 撮像装置
US6501518B2 (en) * 1998-07-28 2002-12-31 Intel Corporation Method and apparatus for reducing flicker effects from discharge lamps during pipelined digital video capture
US6271884B1 (en) * 1999-09-28 2001-08-07 Conexant Systems, Inc. Image flicker reduction with fluorescent lighting
CN1156152C (zh) * 1999-10-08 2004-06-30 松下电器产业株式会社 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP2003198932A (ja) 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
US20050237394A1 (en) * 2004-04-21 2005-10-27 Behnam Katiblan Flicker detection for image sensing devices
JP4335849B2 (ja) * 2005-06-13 2009-09-30 富士通マイクロエレクトロニクス株式会社 フリッカ検出可能な撮像装置
US20070065102A1 (en) * 2005-09-16 2007-03-22 Laughlin Richard H System and method for detecting real-time change in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201729A1 (en) 2001-10-02 2004-10-14 Dwight Poplin Automatic flicker frequency detection device and method
EP1566962A1 (en) * 2002-11-18 2005-08-24 Sony Corporation Flicker reduction method, image pickup device, and flicker reduction circuit

Also Published As

Publication number Publication date
US8068148B2 (en) 2011-11-29
EP1969835A2 (en) 2008-09-17
US20070153094A1 (en) 2007-07-05
KR20080085198A (ko) 2008-09-23
WO2007120944A2 (en) 2007-10-25
CN101366271B (zh) 2011-12-14
JP2009522948A (ja) 2009-06-11
JP4809443B2 (ja) 2011-11-09
CN101366271A (zh) 2009-02-11
WO2007120944A3 (en) 2008-01-24

Similar Documents

Publication Publication Date Title
KR101031386B1 (ko) 이미지 캡처 장치에서의 자동 플릭커 보정
US9270875B2 (en) Dual image capture processing
US7860334B2 (en) Adaptive image filter for filtering image information
US8872937B2 (en) Image capture apparatus and image capturing method
US9344640B2 (en) Imaging device, integrated circuit, and flicker reduction method
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US8502893B2 (en) Imaging apparatus, flash determination method, and recording medium
US9589339B2 (en) Image processing apparatus and control method therefor
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
KR20100048856A (ko) 노이즈 저감 장치, 노이즈 저감 방법 및 컴퓨터 판독가능 저장매체
JP2009017213A (ja) 撮像装置
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
US20140354859A1 (en) Automatic banding correction in an image capture device
US8717457B2 (en) Adaptive spectral imaging for video capture
US20240089419A1 (en) Encoder, decoder, encoding method, decoding method, and recording medium
JP2010183460A (ja) 撮像装置およびその制御方法
JP2010183461A (ja) 撮像装置およびその制御方法
JP2016040879A (ja) 制御システム、撮像装置、制御方法およびプログラム
JP2008103928A (ja) 撮像装置
JP2006050031A (ja) 撮影装置
JP5597124B2 (ja) 画像信号処理装置
KR20100075730A (ko) 노이즈 저감 장치 및 노이즈 저감 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee