KR101734604B1 - 사진 플리커 검출 및 보상 - Google Patents

사진 플리커 검출 및 보상 Download PDF

Info

Publication number
KR101734604B1
KR101734604B1 KR1020127019993A KR20127019993A KR101734604B1 KR 101734604 B1 KR101734604 B1 KR 101734604B1 KR 1020127019993 A KR1020127019993 A KR 1020127019993A KR 20127019993 A KR20127019993 A KR 20127019993A KR 101734604 B1 KR101734604 B1 KR 101734604B1
Authority
KR
South Korea
Prior art keywords
frequency
camera
samples
intensity
scalar product
Prior art date
Application number
KR1020127019993A
Other languages
English (en)
Other versions
KR20120108036A (ko
Inventor
로이 고
앤드류 유엔거
이 헤
스튜어트 윌리엄 밀튼
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20120108036A publication Critical patent/KR20120108036A/ko
Application granted granted Critical
Publication of KR101734604B1 publication Critical patent/KR101734604B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Picture Signal Circuits (AREA)

Abstract

하나의 개시된 실시예는 포토그래픽 세팅(photographic setting)에 있어서의 플리커(flicker)를, 광(light)이 카메라에 입사하도록 카메라를 세팅에 개입시킴으로써, 검출하는 단계를 포함한다. 복수의 샘플이 카메라의 광 검출기 회로로부터 캡쳐되며, 각각은 카메라에 입사된 광의 세기에 의존한다. 방법은 하나 이상의 미리 선택된 주파수에서 입사광의 세기가 변화하고 있는지를 식별하도록 샘플을 프로세싱하는 단계를 더 포함한다. 프로세싱 단계는 스칼라 곱 출력(scalar product output)을 생성하도록 하나 이상의 주기 신호와 샘플을 곱하는 단계(multiplying)와 주기적 플리커의 존재를 확인하기 위하여 스칼라 곱 출력을 분석하는 단계를 포함할 수 있다.

Description

사진 플리커 검출 및 보상{PHOTOGRAPHIC FLICKER DETECTION AND COMPENSATION}
형광등은 통상적으로 광 출력의 세기가 형광등에 공급되는 교류(AC) 전원의 주파수의 두 배의 속도로 변화시키는 밸러스트 메커니즘(ballast mechanism)을 채용한다. 형광등의 세기의 변화 또는 플리커는 일반적으로 인간의 눈에 의해서는 검출할 수 없지만, 카메라의 이미지 센서에는 영향을 줄 수 있다. 일부 경우에, 플리커는, 변동하는 밝기나 비정적인 밴딩(non-static banding)과 같은, 심각한 아티팩트(artifact)가 비디오 이미지에 나타나게 할 수 있다. 카메라는 형광등에 공급되는 AC 주파수에 매칭되는 노출 타이밍의 세트를 사용하여 이러한 아티팩트를 상당 부분 줄일 수 있다. 그러나, 두 개의 주요 AC 주파수, 50 Hz와 60 Hz가 전세계적으로 사용되는데, 이는 매칭된 노출 타이밍을 통해 바람직하지 않은 아티팩트를 감소시키는 시도를 어렵게 할 수 있다.
따라서 포토그래픽 세팅(photographic setting)에 있어서 주기적 플리커(periodic flicker)의 존재를 검출하고 보상하는 것과 관련된 다양한 실시예들이 여기서 개시된다.
예를 들어, 하나의 개시되는 실시예는 광(light)이 카메라와 카메라의 광 검출 회로에 입사되도록 카메라를 포토그래픽 세팅에 도입(introduce)하는 단계를 포함한다. 복수의 샘플이 광 검출 회로로부터 캡쳐되며, 이들 샘플 각각은 카메라가 받는 광의 세기에 어느 정도 의존한다. 이 방법은 하나 이상의 미리 선택된 주파수에서 입사광의 세기가 변화하고 있는지를 식별하도록 샘플을 프로세싱하는 단계를 더 포함한다. 프로세싱 단계는 하나 이상의 주기 신호와 샘플을 곱하여 스칼라 곱 출력(scalar product output)을 생성하는 단계(multiplying)와 스칼라 곱 출력을 분석하여 주기적 플리커의 존재를 확인하는 단계를 포함할 수 있다.
본 요약은 아래의 상세한 설명에서 상술되는 개념의 일부를 간략한 형태로 소개하기 위해 제공되는 것이다. 본 요약은 청구된 주제의 주요 특징 또는 필수 특징을 식별하기 위한 의도가 아니며, 청구된 주제의 범위를 제한하기 위해 사용되려는 의도도 아니다. 더욱이, 청구된 주제는 본 명세서의 임의의 부분에서 개시된 임의의 또는 모든 단점을 해결하는 구현예에 제한되지 않는다.
도 1은 광 검출 회로를 포함하는 카메라의 실시예를 도시한다.
도 2는 광 검출 회로의 노드로부터의 신호의 타이밍도를 도시한다.
도 3은 주변광 세기(ambient light intensity)에 응답하여 변하는 전기 신호를 샘플링하기 위한 방법의 실시예를 도시한다.
도 4는 샘플과 연관된 주변광이 복수의 미리 선택된 주파수 중 하나에서 세기가 변화하는지를 식별하도록 샘플을 프로세싱하는 방법의 실시예를 도시한다.
전술한 바와 같이, 주변광 환경에서 주기적 변화를 감안하도록 비디오 녹화 장치 및 기타 다른 카메라를 구성하는 것이 종종 바람직할 것이다. 예를 들어, 형광등 소스의 주기적 세기 변화에 의해 생성되는 아티팩트를 감소시키기 위해, 카메라의 노출 타이밍이 주변광의 주기적 세기 변화와 동기화될 수도 있다. 두 개의 주요 AC 주파수, 50Hz와 60Hz가 세계적으로 사용되고 있고, 각각 100Hz와 120Hz에서 세기 변화를 야기하므로, 로컬 AC 전력 주파수에 상관되는 노출 타이밍으로 카메라를 구성하는 것이 종종 바람직할 것이다.
카메라를 구성하는 하나의 솔루션은 카메라의 사용자가 카메라를 로컬 AC 전력 주파수로 수동으로 설정하도록 하는 것이다. 예를 들어, 사용자는 카메라의 디스플레이에 표시되는 메뉴로부터 로컬 AC 전력 주파수를 설정할 수 있다. 두 번째 솔루션은 카메라의 하나의 모델을 50 Hz AC 전력용으로 제작하고 두 번째 모델을 60 Hz AC 전력용으로 제작하는 것이다. 상이한 모델은 상이한 재고 관리 코드(stock keeping unit, SKU)에 의해서 식별될 수 있다.
대안적인 솔루션으로, 카메라는 주변광의 세기 변화를 자동적으로 검출하기 위한 검출기를 포함할 수 있다. 이러한 솔루션의 하나의 가능한 이점은 사용자가 우연히 카메라를 잘못된 AC 전력 주파수로 설정할 수 없다는 것이다. 다른 가능한 이점은 상이한 카메라 모델을 만들 필요를 제거한다는 것이다. 또 다른 장점은 장치가 상이한 플리커 환경에 놓여졌을 때, 예컨대, 카메라의 사용자가 상이한 AC 전력 주파수를 사용하는 지역으로 여행을 가는 경우, 장치가 자동적으로 조절하고 올바르게 동작할 수 있다는 것이다. 따라서 자동적으로 주기적 플리커를 검출하고 조절하거나 보상하기 위한 다양한 시스템 및 방법이 개시된다.
도 1은 광학 시스템(10), 이미지 센서(20), 광 검출 회로(40) 및 프로세서(32)와 같은 로직 서브시스템을 포함하는 카메라(100)의 예시적 실시예를 도시한다. 카메라(100)는 형광등(110)과 같은 명멸하는 광원을 포함하는 주변광 환경에서 동작할 수 있다. 카메라가 그러한 포토그래픽 세팅에 도입될 때, 형광등(110)으로부터의 광이 이미지 센서(20)와 광 검출 회로(40)에, 각각 선(112) 및 선(114)로 표시된 바와 같이, 입사될 수 있다.
광학 시스템(10)은 이미지를 이미지 센서(20)상에 집속시키는 렌즈 시스템을 포함할 수 있다. 광학 시스템(10)은 적외선 차단 필터 또는 적, 녹 및 청색광을 이미지 센서(20)의 선택된 픽셀 쪽으로 지시하는 컬러 필터와 같은 필터를 예를 들어 포함할 수 있다. 이미지 센서(20)는 광학 시스템(10)으로부터의 이미지를 프로세서(32)로 전송되는 전기적 신호의 세트로 변환한다. 이미지 센서(20)는 CCD(charge-coupled device), CMOS(complementary metal-oxide-semiconductor) 활성 픽셀 센서, 또는 다른 임의의 적절한 장치일 수 있다. 이미지 센서(20)는 통상 행과 열의 연속으로 배열된 픽셀 어레이를 포함한다.
이미지 센서(20)는 프로세서(32)에 의해 제어되는 전자 셔터(electronic shutter) 또는 픽셀의 각 열(row)의 통합 시간(integration time)을 제어하는 다른 메커니즘을 포함할 수도 있다. 픽셀의 통합 시간이 주변광에 존재하는 플리커와 동기화되지 않을 때, 변동하는 밝기나 비정적인 밴딩과 같은, 아티팩트가 비디오 이미지에서 발생한다. 플리커의 하나의 원인(source)은 형광등에 공급되는 교류 (AC) 전력의 주파수의 두 배의 속도로 깜빡이는 형광등일 수 있다. 플리커의 또 다른 원인은 모니터의 리프레시(refresh)의 속도로 깜빡이는 컴퓨터 모니터로부터의 빛일 수 있다. 녹화 환경이 특정 주파수(예컨대, 형광등 소스로부터 발생하는 주기적인 플리커)로 변하는 광 세기를 포함하도록 결정될 수 있다면, 픽셀의 통합 시간(integration time)은 잠재적인 아티팩트를 감소 또는 제거하도록 조절될 수도 있다.
카메라(100)는 통상적으로 프로세서(32)와 동작적으로 접속되어 플리커 검출/보상을 수행하고 다른 작업을 실행하는 컴포넌트를 포함한다. 예시로써, 카메라(100)는 범용 입출력 로직(General Purpose input and output logic, GPIO)(33)(예컨대, 칩 또는 칩셋)과 비-휘발성 저장소(30), RAM(34) 및/또는 이동가능 매체(removable media)(35)를 포함할 수 있는 데이터-유지 서브시스템을 포함할 수도 있다. 카메라(100)의 일 실시예에서, 전기 컴포넌트들은 ASIC(application specific integrated circuit)이나 SOC(system on a chip)과 같은, 하나 이상의 공통 디바이스 상에 집적될 수도 있다. 카메라(100)는 선택적으로 디스플레이(36) 및/또는 도 1에 도시되지 않은 다른 컴포넌트를 포함할 수도 있다.
프로세서(32)는 비휘발성 저장소(30)와 같은 데이터-유지 서브시스템에 저장된 하나 이상의 인스트럭션을 실행하도록 구성될 수 있다. 예를 들어, 프로세서(32)는 샘플링된 광을 처리하고, 이에 대한 응답으로, 이미지 센서(20)의 노출 타이밍을 조절 또는 제어하도록 구성될 수 있다. 비휘발성 저장소(30)의 제한적이지 않은 예는 플래시 메모리와 하드 디스크 드라이브를 포함한다. RAM(34)은 프로세서(32)에 의한 실행을 위한 인스트럭션을 유지하도록 구성될 수도 있다. 프로세서(32)는 이미지 센서(20)로부터의 이미지 데이터가 RAM(34), 비휘발성 저장소(30) 및/또는 이동가능 매체(35)에 저장되도록 하도록 구성될 수도 있다. 이동가능 매체의 제한적이지 않은 예는 비디오테이프, 레코딩가능 광학 디스크 및 메모리 카드를 포함한다. 대안적인 실시예에서, 프로세서(32)는 이미지 센서(20)로부터의 이미지 데이터가 비디오 케이블 및/또는 유선 또는 무선 네트워크를 통해 컴퓨팅 장치에 전송되게 하도록 구성될 수도 있다.
디스플레이 서브시스템(36)은, 포함될 때, 데이터-유지 서브시스템에 의해 유지되는 데이터의 시각적 표현을 표현하도록 사용될 수도 있다. 예를 들어, 디스플레이 서브시스템(36)은 이미지 센서(20)로부터의 이미지 데이터를, 예를 들어 디스플레이 스크린 상에 및/또는 광학 뷰파인더를 통해서, 디스플레이하도록 사용될 수도 있다. 다른 예에서, 디스플레이 서브시스템(36)은 이동가능 매체(35)에 저장되어 있는 이미지 데이터를 디스플레이하도록 사용될 수도 있다. 이러한 방식으로, 뷰어(viewer)는 카메라에 저장되어 있는 이미지를 볼 수 있다. 디스플레이 서브시스템(36)은, 전술한 바와 같은, 광학 컴포넌트나, LCD(liquid crystal display)와 같은 사실상 임의의 유형의 기술을 활용하는 하나 이상의 디스플레이 장치를 포함할 수 있다.
카메라(100)의 로직 서브시스템은 GPIO(33)의 하나 이상의 신호 핀을 경유하여 통신하도록 구성될 수도 있다. 예를 들어, GPIO(33)는 제 1 GPIO 신호 핀(GPIO1), 및 제 2 GPIO 신호 핀(GPIO2)에 접속된 로직을 포함한다. GPIO 신호 핀은 입력부 또는 출력부가 되도록 프로그램될 수도 있다. 출력부로서 프로그램 되었을 때, GPIO(33)는 신호 핀상에 논리 영(logic zero)나 논리 일(logic one)을 제공할 수 있다. 예를 들어, 그라운드에서의 전압은 논리 영이고, 로직 서브시스템의 전력 공급 전압(VDD)는 논리 일일 수 있다. 입력부로서 프로그램 되었을 때, GPIO(33)는 신호 핀으로부터 논리 영 또는 논리 일을 판독할 수도 있다. GPIO 신호 핀 상의 전압은 그라운드와 VDD 사이일 수 있다. GPIO 신호 핀이 입력부로서 구성될 때, GPIO 신호 핀 상의 전압은 전압이 VIH 전압을 초과하였을 때 논리 일로서, 다른 경우에는 논리 영으로서 해석될 수 있다. VDD와 VIH 파라미터는 로직 서브시스템을 구현하는데 사용되는 장치의 함수이다. 애리조나 챈들러의, 주식회사 Microchip Technology에 의해 제조되는 PIC18F2550은 GPIO 로직과 신호 핀을 포함하는 저렴한 제어기의 예이다.
일반적으로, 광 검출 회로(40)는 카메라(예를 들어 비디오 녹화 장치)상에 입사하는 광의 세기에 반응한다. 예를 들어, 회로는 입사 광의 세기에 비례하는 전기 신호를 산출함으로써 주변 광 세기에 응답하도록 구성될 수 있다. 이러한 방식으로, 주변 광의 세기가 측정될 수 있다. 일 예에서, 광 검출 회로(40)의 출력은 시간상의 상이한 지점들에서 샘플링될 수 있다. 샘플은 이후 입사 광의 주기적인 세기 변화를 식별하도록 처리될 수 있다. 보다 구체적으로, 복수의 미리 선택된 분산 주파수(discrete frequency) 중 하나에서 발생하는 세기의 변화를 식별하도록 시도하는 프로세싱을 채용하는 것이 바람직할 수 있다. 그러한 접근법은 효율성 관점에서 유용할 수 있고, 저비용 컴포넌트와 최소의 리소스를 소모하는 연산 방법의 사용을 가능하게 할 수 있다.
광 검출기 회로(40)는 통상적으로 입사하는 광의 세기에 따라 변화하는 출력을 갖는 광 센서를 포함한다. 광 센서의 비-제한적인 예는 포토트랜지스터, 포토다이오드, 포토레지스터 및 CCD(charge-coupled device)를 포함한다. 광 센서는 저-비용 분산 컴포넌트일 수 있고, 카메라(100)가 파워 온 되고 곧바로 출력을 산출한다. 예를 들어, 광 센서는 카메라(100)의 다른 컴포넌트가 초기화되기 전에 출력을 산출할 수 있다. 이러한 방식에서, 광 센서 출력은, 스타트-업 이후 신속하게, 사용자가 카메라(100)를 조작하기 전에, 이미지 센서(20)의 노출 타이밍을 결정하는데 사용될 수 있다. 대안적인 실시예에서, 광 센서는 카메라(100)의 다른 전자 컴포넌트와 함께 하나 이상의 공통 디바이스, 예를 들어 ASIC 또는 SOC에 집적될 수 있다.
도 1의 예시적 실시예에서, 광 검출 회로(40)는 GPIO 신호 핀, GPIO1 및 GPIO2를 통해서, GPIO(33)에 접속되어 있다. 포토트랜지스터(42)는 광을 포토트랜지스터(42)에 입사하는 광의 세기에 비례하는 전기 신호로 변환한다. 광은 광학 시스템(10)에 의해서 포토트랜지스터(42)로 향할 수도 있고, 또는 광은 직접 노출을 통해서 또는 광학 시스템(10)과 무관하게 포토트랜지스터(42)에 도달할 수도 있다. 포토트랜지스터는 상이한 광의 파장에 변화하는 민감도를 갖도록 제조될 수 있다. 포토트랜지스터(42)는 대략 380 나노미터(nm)부터 750 nm의 광의 가시 스펙트럼에 민감하도록 제조될 수 있다. 포토트랜지스터는 베이스, 콜렉터, 이미터 및 콜렉터와 이미터 사이의 기생 캐패시터를 포함하는 양극성 접합 트랜지스터(bipolar junction transistor)의 특별한 형태일 수 있다. 독일 레겐스부르크의 OSRAM Opto Semiconductors에 의해 제조되는 SFH(310)가, 예를 들어, 포토트랜지스터(42)에 적합할 수 있다.
저항(44 및 46)은 포토트랜지스터(42)를 바이어스(bias)하여 포토트랜지스터(42)의 베이스-콜렉터 영역에 부딪히는 광에 의해 발생하는 전류가 콜렉터(C)로부터 이미터(E)로 전류가 흐름에 따라 증폭되도록 한다. 저항(44)은 GPIO1 신호 핀과 포토트랜지스터(42)의 콜렉터 사이에 접속되어 있다. 저항(46)은 일 측에서 그라운드에, 다른 측에서 포토트랜지스터(42)의 이미터 및 GPIO2 신호 핀에 접속되어 있다. 저항(46)의 저항값(resistance)은 저항(44)의 저항값보다 훨씬 클 수 있다. 예를 들어, 저항(44 및 46)의 값은 각각 10옴과 510킬로옴일 수 있다.
도 2는 광 검출 회로(40)가 어떻게 포토레지스터(42)에 입사하는 광의 세기를 검출하는데 사용될 수 있는지의 하나의 예를 도시하는 타이밍도이다. 도 2의 예에서, 광 검출 회로(40)는 번갈아 가면서 방전되고 충전되어 광 검출 회로(40)의 상승 시점이 연속적으로 측정되어 복수의 상승 시점 샘플을 생성할 수 있다. 광 검출 회로(40)의 상승 시점은 광 검출 회로(40)에 입사하는 광의 세기에 비례한다. 대안적인 실시예에서, 포토트랜지스터(42)를 흐르는 전류 또는 저항(46) 양단의 전압과 같은, 광 검출 회로(40)의 다른 속성이 측정될 수 있다. 전술한 바와 같이, 주변 광 세기에 응답하여 변하는 전기 신호를 생성하고 샘플링하기 위한 다양한 가능성이 존재한다.
도 2의 예를 계속하면, 시간 T0에서, 광 검출 회로(40)는 방전 상태이다. GPIO 신호 핀 GPIO1 및 GPIO2는 논리 영으로 구동된 출력으로 구성된다. 시간 T1에서, 광 검출 회로(40)는 충전 상태로 스위칭된다. GPIO1은 논리 일을 구동하는 출력으로 그리고 GPIO2는 입력으로 구성된다. 정상 상태(steady-state)에서, 충분한 광이 포토트랜지스터(42)에 입사할 때, GPIO2의 전압은 저항(44및 46)에 의해 형성되는 전압 분배기에 의해 주어질 것이다. 저항(46)이 저항(44)보다 훨씬 큰 경우, GPIO2의 전압은 VIH를 초과할 것이고 GPIO2의 입력은 논리 일로 해석될 것이다.
그러나, 시간 T1에서 시작되는 전이 상태(transient state)에서, 포토트랜지스터(42)의 기생 캐패시터가 전압이 포토트랜지스터(42)의 콜렉터와 이미터를 걸쳐서 순간적으로 변하는 것을 방지한다. 기생 캐패시터는 그의 캐패시턴스, 저항(44 및 46)의 저항값, VDD 및 포토트랜지스터(42)에 입사하는 광의 세기에 의해 결정되는 비율로 충전한다. 캐패시터가 충전됨에 따라, GPIO2의 전압은 회로가 정상 상태에 도달할 때까지, 또는 GPIO1의 전압이 논리 영으로 구동될 때까지 증가한다. 도 2에서 GPIO2의 전압은 정상 상태에 도달하고 GPIO2의 전압은 시간 T2에서 VIH를 초과한다. 시간 T2와 T1의 차이인, 상승 시간(210)이 포토트랜지스터(42)에 부딪히는 광의 양(세기)의 표현으로서 측정된다. 포토트랜지스터(42)에 부딪히는 광이 증가할 때(즉, 높은 세기), 기생 캐패시터는 보다 빠르게 충전하고 상승 시간(210)은 감소한다. 따라서, 주변 광의 세기와 상승 시간(210) 사이에 역관계(inverse relationship)가 존재한다. 시간 T3와 T1의 차이인, 충전 시간(220)은. 예상된 범위의 주변 광 세기 저항(44 및 46)의 저항값의 허용오차(tolerance), VDD, 및 포토트랜지스터(42)의 캐피시턴스에 대하여, 상승 시간(210)이 충전 시간(220)보다 작도록 설정된다.
시간 T3에서, 광 검출 회로(40)는 방전 상태로 복귀한다. GPIO1 및 GPIO2는 논리 영을 구동하는 출력으로 구성된다. 이는 포토트랜지스터(42)의 기생 캐패시터가 작은 저항(44)를 통해 신속하게 방전할 수 있도록 한다. 기생 캐패시터를 방전함으로써, 광 검출 회로(40)는 시간 T4에서 다음 충전 상태에 대하여 가능하다. 시간 T4와 T3의 차이인, 방전 시간(230)은 충전 시간(220)보다 짧을 수 있다. 샘플 기간(240)은 충전 시간(220)과 방전 시간(230)의 합이다.
상술한 바로부터, 도 2의 타이밍도가 각각의 샘플이 어떻게 광 검출 회로로부터 캡쳐되는지의 예를 제공함을 이해할 수 있을 것이다. 그러나, 통상적으로 복수의 샘플이 캡쳐됨을 이해하여야 한다. 구체적으로, 전술한 충전 및 방전 동작의 복수의 순환을 통해서 광 검출 회로(40)로부터 일련의 샘플들이 수집될 수도 있다. 샘플은 각 상승 시간(210)을 발생함에 따라 녹화하여, 예를 들어 상시 시간을 저장 장소(예컨대, RAM(34) 또는 비-휘발성 저장소(30))에 기록함으로써, 유지될 수 있다.
이제 도 3을 보면, 복수의 샘플을 획득하기 위한 예시적 방법이 서술된다. 방법은 임의의 원하는 수의 샘플을 획득하는데 적용 가능하다. 이하에서 보다 상세히 서술되는 바와 같이, 원하는 수의 샘플과 다른 샘플링 파라미터는 다양한 요소에 의존할 수 있다. 일반적으로, 샘플링의 수를 최소화하면서도, 동시에 높은 신뢰도의 출력을 제공하고, 플리커 세기를 확인할 수 있도록 채용되는 연산 방법에 적합한 수의 샘플을 제공하는 것이 바람직하다. 또한, 적절한 수의 샘플을 채용하는 것은 일부 경우에 샘플을 처리하는데 관련되는 복잡도 및 시간을 감소시키는 효율적인 방법 및 프로세스의 사용을 촉진시킬 것이다.
도 3은 광 검출 회로(40)로부터 복수의 상승 시간 샘플을 캡쳐하는 방법의 예시적 실시예를 도시한다. 도 3을 설명함에 있어서, 도 1 및 2에 도시된 컴포넌트 및 신호 요소에 대해 또한 많은 인용이 사용될 것이다. 310에서, 샘플 수는 영(zero)으로 설정되고, GPIO 신호 핀 GPIO1 및 GPIO2는 논리 영을 구동하는 출력으로 구성된다. 이러한 방식에서, 포토트랜지스터(42)의 기생 캐패시터는 도 2의 T0에서 도시된 바와 같이 방전될 수 있다. 샘플 타이며, 충전 타이머 및 방전 타이머는 그들이 시작 값으로 초기화된다. 예시적 실시예에서, 타이머는 영(zero)으로 설정되어서 타이머가 시간의 추이(passage)를 보여주도록 증가할 수 있다. 대안적 실시예에서, 타이머는 타이밍 간격과 관련되는 소망의 값으로 기록되어 타이머가 시간의 추이를 보여주도록 감소할 수도 있다.
다음으로, 315에서, 샘플 수는 최대 샘플 수와 비교된다. 샘플 수가 최대 샘플 수와 일치한다면, 모든 샘플이 캡쳐된 것이고 프로세스가 종료된다. 샘플 수가 최대 샘플 수보다 작다면, 보다 많은 샘플이 캡쳐될 필요가 있으며 방법(300)은 320으로 계속된다.
320에서, GPIO1은 논리 일을 구동하는 출력으로, GPIO2는 입력으로 구성된다. 충전 타이머 및 샘플 타이머가 시작된다. 타이머는 예를 들어, 전용 하드웨어 타이머 또는 소프트웨어 루프로 구현될 수 있다. 이러한 방식에서, 광 검출 회로(40)는, 도 2의 시간 T1에서와 같이, 충전 상태를 시작할 수 있다. 325에서, GPIO2상의 전압이 VIH를 초과하고 논리 일인지 판단된다. GPIO2가 논리 일이라면, 방법(300)은 330에서 계속된다. GPIO2가 논리 일이 아니라면, 루틴(300)은 327에서 계속된다. 327에서, 방법(300)은 325로 계속되기 전에 대기한다. 단계 325 및 327은, 예를 들어, GPIO2 값에 대하여 능동적으로 확인(poll)하거나 또는 GPIO2 값과 관련된 인터럽트를 대기함으로써 수행될 수 있다.
330에서, GPIO2 신호 핀 상의 전압은 VIH보다 크거나 같고 샘플 타이머 값은 저장될 수 있다. 이는 도 2의 시간 T2에 대응한다. 샘플 타이머의 값은 논리 영으로부터 논리 일로의 GPIO2 신호의 상승 시간을 측정한다. 샘플 타이머 값은 주변 광 세기 신호의 단일 샘플로 사용될 수 있다. 335에서, 충전 타이머가 충전 타이머의 최종 값과 동일한지 판단된다. 충전 타이머의 최종 값은 타이머가 시간의 추이를 보여주기 위해 감소하는 경우에 영(zero)일 수 있다. 대안적인 실시예에서, 타이머가 시간의 추이를 보여주기 위해 증가하는 경우에 충전 타이머의 최종 값은 다른 값일 수 있다. 충전 타이머 값은 충전 시간(220)이 경과하였을 때 그의 최종 값에 충전 타이머가 도달하도록 선택될 수 있으며, 도 2의 시간 T3에 대응한다. 충전 타이머가 최종 충전 타이머 값과 동일한 경우, 방법(300)은 340로 계속된다. 충전 타이머가 최종 충전 타이머 값과 동일하지 않은 경우, 방법(300)은 337로 계속된다. 337에서, 방법(300)은 335로 계속되기 전에 대기한다. 단계(335 및 337)은 예를 들어, 소프트웨어에 의해서 또는 하드웨어 타이머에 의해서 생성되는 값에 대하여 능동적으로 확인하거나 또는 하드웨어 타이머와 관련된 인터럽트를 대기함으로써 수행될 수 있다.
340에서, GPIO1 및 GPIO2는 논리 영을 구동하는 출력으로 구성된다. 방전 타이머가 시작될 수 있다. 이러한 방식에서, 광 검출 회로(40)는 도 2의 시간 T3와 같은, 방전 상태를 시작할 수 있다. 방전 상태 동안에, 포토트랜지스터(42)의 기생 캐패시터는 방전될 수 있다. 345에서, 방전 타이머가 방전 타이머의 최종 값과 동일한지 판단된다. 방전 타이머 값은 방전 시간(230)이 경과하였을 때 그의 최종 값에 방전 타이머가 도달하도록 선택될 수 있으며, 도 2의 시간 T4에 대응한다. 방전 타이머가 최종 방전 타이머 값과 동일한 경우, 방법(300)은 350로 계속된다. 그렇지 않은 경우, 방법(300)은 347로 계속되며, 방법(300)은 345로 계속되기 전에 대기한다.
350에서, 방법(300)은 샘플 루프의 다른 반복을 위한 타이머를 준비한다. 샘플 타이머, 충전 타이머 및 방전 타이머는 그들의 초기값으로 초기화된다. 샘플 수는 증가되고 방법(300)은 315로 계속된다. 이러한 방식에서, 광 검출기(40)로부터의 복수의 상승 시간 샘플들이 캡쳐될 수 있다.
복수의 상승 시간 샘플들은 주기적 세기 변화를 식별하기 위하여 도 4의 예시적 실시예에서 도시된 바와 같이 처리될 수 있다. 보다 구체적으로, 예시는 검출기에 입사한 광이 그 세기가 미리 선택된 복수의 주파수 중 하나에서 변화하고 있는지를 판단하기 위해 사용되는 프로세싱을 도시한다. 예를 들어, 형광등으로부터의 광의 플리커는 형광등이 50 Hz AC 전력 공급으로 또는 60 Hz AC 전력 공급으로 전원이 들어왔는지를, 각각 100 Hz 또는 120 Hz로 발생하는 결과적인 세기 변화를 가지고, 판단하도록 분석될 수 있다.
410에서, 신호는, 예를 들어 도 1-3과 관련하여 서술된 시스템 및 방법을 사용하여, 샘플링되고 캡쳐된다. 일 실시예에서, N개의 신호 샘플이 프로세싱(415)이 처리되기 전에 전체 타이밍 창에 대하여 캡쳐된다. 대안적 실시예에서, 신호를 샘플링하고 캡쳐하는 것은 프로세싱(415)과 병렬적으로 발생할 수 있다. 적어도 하나의 샘플이 프로세싱(415)가 시작하기 전에 캡쳐될 수 있고 N개의 샘플은 프로세싱(415)이 종료하기 전에 캡쳐된다. 신호의 샘플들은 다음 프로세싱을 위하여 블록(430, 432, 434 및 436)으로 전달된다.
420, 422, 424 및 426에서, 구형파(square wave)가 스칼라 곱의 세트를 계산하기 위해 생성된다. 본 예제에서, 두 개의 구형파가 검출되는 세기 변화의 각각의 분산 주파수에 대하여 채용된다. 각각의 구형파는 검출되는 주파수에서 영과 일 사이를 교번한다. 일부 실시예에서, 파형의 듀티 사이클(duty cycle)은, 주기의 절반에서는 하이(예컨대, 일)이고 주기의 절반에서는 로우(예컨대, 영)이도록, 50%일 수 있다. 대안적인 실시예에서, 구형파는 양(positive) 및 음(negative)의 값(예컨대, 양의 일 및 음의 일) 사이를 교번할 수 있다. 통상적으로, 소정 주파수에서 사용되는 두 개의 구형파는 서로에 대하여 위상이 90도 차이로 배치된다. 일부 실시예에서, 이러한 위상-시프트 파형의 사용은 임의의 위상에서의 주파수 검출을 가능하게 하는데, 이는 소스 플리커와 카메라의 샘플링이 일반적으로 비동기(asynchronous)이기 때문이다.
본 예제는 근방의 형광등이 50 Hz 또는 60 Hz 전력으로 전원이 들어왔는지를 식별하는 상황에서 제시된다. 따라서, 네 개의 구형파 - 100Hz에서 두 개, 120 Hz에서 두 개 - 가 사용된다. 구체적으로, 420에서, 제 1 구형파가 100 Hz의 주파수로 생성된다. 422에서, 제 2 구형파가 제 1 구형파와 동일한 주파수를 가지나 90도의 위상 차로 생성된다. 424에서, 제 3 구형파가 120 Hz의 주파수로 생성된다. 426에서, 제 4 구형파가 제 3 구형파와 동일한 주파수를 가지나 90도의 위상 차로 생성된다. 블록(430, 432, 434 및 436)에서 도시된 바와 같이, 구형파는 샘플(410)과 혼합(mix)되어 스칼라 곱을 생성한다.
구체적으로, 430, 432, 434 및 436에서, 스칼라 곱은 샘플을 개별적으로 네 개의 구형파 각각과 혼합(곱함(multiplying))하여 계산된다. 합계(summation)(즉, S0, S1, S2 및 S3 스칼라 곱)의 결과 값은, 예컨대, 구형파의 로우 부분(low portion)이 음인지, 영인지 또는 다른 값인지와 같은, 구형파의 특정 구현에 의존한다.
440과 442에서, 중간 합(intermediate)이 각 주파수에서 스칼라 곱에 대하여 생성된다. 구체적으로, 440에서, 스칼라 곱 S0의 절대값을 스칼라 곱 S1의 절대값에 더함으로써 100 Hz 스칼라 곱 출력이 계산된다. 442에서, 스칼라 곱 S2의 절대값을 스칼라 곱 S3의 절대값에 더함으로써 120 Hz 스칼라 곱 출력이 계산된다. 100 Hz 중간 합과 120 Hz 중간 합의 상대적 규모(relative magnitude)는 기초 광 소스(underlying light source)가 세기 면에서 100 Hz 또는 120 Hz로 변화하고 있는지(플리커링) 또는 아닌지를 나타낼 수 있다. 이 분석은, 예를 들어, 블록(450)에서 수행될 수 있다.
구체적으로, 450에서, 중간 합이 비교되어 기초 광 소스가 미리 선택된 주파수 중 하나에서, 즉, 현재 예에서 100 Hz 또는 120 Hz에서, 세기가 변화하고 있는지를 판단한다. 예를 들어, 상대적으로 큰 중간 합은 플리커가 그 중간 합과 관련된 주파수에서 발생하고 있음을 나타낸다. 보다 구체적으로, 샘플의 수와 실험적 관찰에 따라, 100 Hz 중간 합이 언제나 120 Hz 중간 합보다 4배 이상 크다면, 설정이 50 Hz AC 환경이라고 입증할 수 있다. 역으로, 120 Hz 중간 합이 100 Hz 중간 합보다 4배 이상 크다면, 60 Hz AC 환경이라고 추론할 수 있다. 두 가지 조건이 다 존재하지 않는다면, 예를 들어, 광 환경이 인지할 수 있을만한 플리커를 포함하지 않는다고 (예를 들어, 근방에 형광등 소스가 없음) 추론할 수 있다.
전술한 예는 블록(450)에서 수행되는 비교에 대한 하나의 가능성일 뿐이다. 각각의 중간 합은 미리 결정된 임계값이나 또는 상대역(relative threshold)과 비교될 수 있다. 전술한 바와 같이, 임계값이나 다른 트리거링 값은 실험을 통해서 도출될 수도 있다. 이론적 방법이 또한 사용될 수도 있다.
상대역은 소정 광 환경에서 검출 정확성을 향상시킬 수 있다. 소정 설정에서, 예를 들어, 발명자는 중간 합들 사이의 보다 큰 차이(discrepancy)가 특정 세기에서 플리커의 존재와 강하게 상관(correlate)한다는 것을 관찰하였다. 구체적으로, 녹화 장치가 60 Hz AC로 구동되는 형광등을 구비한 환경에 노출되는 경우, 본 방법의 사용은 100 Hz 중간 합보다 훨씬 큰 120 Hz 중간 합의 결과를 나타낸다. 위에서 간략히 언급한 바와 같이, 4배라는 요소는 다음과 같이 상대역을 설립하도록 일 실시예에서 사용되었다: (1) 100 Hz 중간 합이 120 Hz 중간 합보다 적어도 4배 이상 클 경우, 주변 환경은 100 Hz 플리커(예컨대, 50 Hz AC 전력)를 포함하는 것으로 간주된다 (2) 120 Hz 중간 합이 100 Hz 중간 합보다 적어도 4배 이상 클 경우, 주변 환경은 120 Hz 플리커(예컨대, 60 Hz AC 전력)를 포함하는 것으로 간주된다.
위의 예제로부터 알 수 있듯이, 일부 경우에 블록(450)의 비교는 결정적이지 않다. 하나의 중간 합이 다른 하나보다 매우 크지 않을 수도 있다. 보다 구체적으로, 비디오 녹화 장치는 외부에서, 또는 형광등 또는 다른 플리커링 소스에 의해 생성되는 것보다 자연관이 훨씬 강한 방안에서 사용될 수도 있다. 이러한 경우에, 450에서의 비교는 인지할만한 플리커가 존재하지 않는다는 판단으로 결론 내릴 수 있다.
판단이 이루어지는 특정 방법에 관계없이, 노출 시간의 적절한 설정이 450에서의 비교에 후속한다. 예를 들어, 광원이 100 Hz에서 깜빡이고 있다는 블록(450)에서의 결정에 따라, 노출 시간이 블록(460)에서 이에 따라, 이미지 센서의 통합 시간을 조절함으로써, 조절된다. 이전에 논의한 바와 같이, 공지의 플리커를 처리하기 위하여 노출 타이밍을 조절하는 것은 실질적으로 녹화된 이미지에서 시각적 아티팩트를 감소시킬 수 있다.
전술한 예제들이 주로 100 Hz 및 120 Hz 플리커의 상황에서 논의되었지만, 많은 다른 가능성이 존재한다. 두 개의 미리 선택된 주파수 중 하나에서 세기 변화를 찾는 것 대신에, 변화는 단일의 미리 선택된 주파수만에서, 또는 세 개 이상의 주파수에서 검색될 수 있다. 단일의 주파수에서 검색의 예는 컴퓨터 모니터에 의해 기인하는 광 세기 변화를 보상하기 위하여, 컴퓨터 모니터의 새로고침 속도의 주파수에 대한 검색일 수 있다. 또한, 복수의 상이한 주파수에서의 플리커의 검색은 단일 주파수 검색의 복수의 반복을 수행하되, 상이한 주파수에서 연속적으로, 수행함으로써 이루어질 수 있다. 사실, 전술한 예들은 대안적으로 우선 100 Hz 플리커에 대한 단일의 주파수 검색을 행하고, 다음에 연속적으로 120 Hz 플리커에 대한 검색을 행함으로써 수행될 수 있다.
도 3 및 4에 서술된 방법은 디지털 신호 프로세서(DSP) 또는 다른 적절한 디바이스 상에서 구현될 수 있다. DSP는 통상적으로 이러한 특성의 신호를 효율적으로 처리하기 위한 특수 목적 하드웨어 및 인스트럭션을 사용한다. 그러나, 특수 목적 하드웨어 및 인스트럭션은 증가된 비용 및/또는 예컨대, PIC18F2550와 같은, 다른 프로세서보다 높은 전력을 사용할 수 있다. 도 3 및 4에 서술된 방법은 하나 이상의 구체적인 미리 선택된 분산 주파수를 검출하는 것과 관련된다. 이러한 동작은 통상 파형의 샘플을 캡쳐하고 샘플의 세트로부터 파형을 복원하는 것보다 연산적으로 비용이 작다. 복잡도는 또한, 종합적, 복수-주파수 검출 및 분석에 맞춰진 방법을 사용하는 것과 대비할 때, 제한된 수의 주파수에 대해서 검색하는 것에 의해서 감소할 수도 있다. 따라서, 도 3 및 4에 서술된 방법은 그들이 저비용 및/또는 상대적으로 단순한 프로세서상에서 구현될 수 있다는 점에서 부가적인 이점을 가질 수 있다.
구형파의 사용은 또한 다양한 효율-관련 혜택을 산출한다. 구형파는 다른 파형과 비교하여 연산을 단순화할 수 있고, 이는 소프트웨어/펌웨어 구현이 감소된 코드 공간 및 실행 시간을 사용하여 동작을 수행할 수 있도록 할 수 있다. 구형파는 또한 일부 경우에, 예를 들어, 사인 또는 코사인 파에 비교하여 합성(synthesize)하기가 보다 쉬울 수 있다.
샘플링 동작의 상세는 주변 광에서 플리커를 검출하는 능력에 영향을 줄 수 있다. 통상적으로, 샘플링 비율(sampling rate)은 나이퀴스트-새넌 샘플링 이론(Nyquist-Shannon sampling theorem)을 만족하도록 선택되며, 이는 검출되는 가장 높은 주파수의 두 배보다 큰 비율로 샘플링이 일어날 것을 요구한다. 따라서, 광 검출기 회로(40)(도 1)의 컴포넌트 및 관련된 프로세싱은 120 Hz 세기 변화를 식별하기 위해서 적어도 240 Hz의 비율로 샘플링하도록 구성되어야 한다. 부가적으로, 전술한 스칼라 곱 기술의 성능은 도 3의 방법에서 수집되고 410(도4)에서 사용되는 샘플의 수에 영향을 받을 수 있다. 일반적으로, 컴퓨팅 리소스를 보존하고 프로세싱 시간을 줄이기 위하여 보다 적은 샘플을 사용하는 것이 바람직할 것이다. 한편, 샘플은 의미 있고 신뢰성 있는 결과를 생성할 만큼 충분히 많아야 한다.
전술한 스칼라 곱 방법의 문맥에서, 바람직한 샘플의 수는 관심있는 미리 선택된 주파수의 제수/인수(divisor/factor)에 기초하여 계산될 수 있음이 결정되었다. 구체적으로, 두 개의 주파수의 경우에, 최대 공약수(greatest common factor)가 식별되었다. 이후, 두 개의 주파수의 나머지 인수는 같이 곱해져서 그 결과가 4로 곱해진다. 이 예시적인 방법은, 잠재적으로 스펙트럼 누설 및 스퓨리어스 주파수(spurious frequency)의 출현을 피할 수 있는, 관심있는 양 주파수에 대한 정수의 주기(whole number of period)를 산출할 수 있다. 이하에서 N으로 표시되는, 결과적인 수치는 유익한 수의 샘플(beneficial number of sample)에 대한 하나의 기초를 형성한다. 보다 구체적으로, 대략적으로 N개의 샘플이 (또는 이의 배수가) 사용되면, 스칼라 곱 계산은 효율적으로 신속하게 수행되고 결과가 강하고 정확하게 플리커가 두 개의 주파수 중 하나에 존재하는지를 식별한다는 점을 발견하였다. 부가적으로, 일부 경우에 샘플의 기존 샘플 수를 배로 하면 향상된 신호 대 잡음 비를 제공할 수 있다.
50 Hz 또는 60 Hz AC에 의해 전력을 공급받는 형광등 소스를 포함할 수 있는 주변광 환경의 특정 상황을 다시 한 번 참조하면, 잠재적 세기 변화는 100 Hz 또는 120 Hz에서 발생할 수 있다. 따라서 방법은 입사광이 세기에 있어서 100 Hz 또는 120 Hz에서 변화하는지를 판단하도록 샘플을 처리하는 것을 수반한다. 위의 방법론을 사용하면 최대 공약수는 20인다. 100 Hz에 대해 나머지 인수는 5(즉, 100/20)이고 120 Hz에 대해 나머지 인수는 6(즉, 120/20)이다. 나머지 인수는 서로 곱해지고 또한 4가 곱해져서, 120을 산출한다. 따라서, 샘플의 기본 수 N은 120이다.
보다 일반적으로, 제 1 주파수 f1 또는 제 2 주파수 f2에서 발생하는 세기 변화를 식별하려고 시도할 때, 샘플의 기본 수 N은 이하와 같이 계산될 수 있다: 정수 주파수에 대해서, 각 주파수는 최대 공약수 e(즉, 각 주파수 f1 및 f2에 공통되는)와 나머지 인수로 인수 분해될 수 있다. 보다 구체적으로 f1=c * a 이고 f2= c * b이면, a와 b가 나머지 인수이다. 샘플의 수는 나머지 인수에 4를 곱하여 계산될 수 있다: 샘플의 수 = a * b * 4. 일부 설정에서, N 샘플의 배수의 근사치(approximate multiple of N samples)(예컨대, N 샘플의 배수의 10% 또는 15% 내)를 사용하여 적절한 결과를 얻는데 충분할 수도 있다.
소정 예제에서 4의 곱셈이 사용된 것은 360도를 90도로 나눈 것이 4이기 때문인데, 이는 90도 위상차의 구형파의 계산을 단순화할 수 있다.
위에서 도 1에서 서술된 바와 같이, 카메라(100)는 전술한 방법 및 프로세스의 하나 이상을 수행할 수 있는 컴퓨팅 시스템 타입 컴포넌트를 포함할 수 있다. 예를 들어, 카메라는 논리 서브시스템 및 데이터-유지 서브시스템을 포함할 수도 있다.
포함될 경우, 논리 서브시스템은 하나 이상의 인스트럭션을 실행하기 위한 하나 이상의 물리 디바이스를 포함할 수 있다. 예를 들어, 논리 서브시스템은 하나 이상의 프로그램, 루틴, 객체, 컴포넌트, 데이터 구조 또는 다른 논리적 구성체의 일부인 하나 이상의 인스트럭션을 실행하도록 구성될 수 있다. 이러한 인스트럭션은 동작을 수행하고, 데이터 타입을 구현하고, 하나 이상의 장치의 상태를 변형하고, 또는 소망하는 결과에 도달하도록 구현될 수도 있다. 논리 서브시스템은 소프트웨어 인스트럭션을 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 부가적으로 또는 대안적으로, 논리 서브시스템은 하드웨어 또는 펌웨어 인스트럭션을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어를 포함할 수 있다. 논리 서브시스템은 카메라(100)의 회로와 통신하기 위한 범용 입력 및 출력 로직을 포함할 수도 있다.
포함될 때, 데이터-유지 서브시스템은 본 명세서에서 서술된 방법 및 프로세스를 구현하기 위한 논리 서브시스템에 의해 실행가능한 데이터 및/또는 인스트럭션을 유지하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터-유지 서브시스템의 상태가 변형(예컨대, 상이한 데이터를 유지하도록)될 수 있다. 데이터-유지 서브시스템은 이동가능 매체 및/또는 내장(built-in) 장치를 포함할 수 있다. 데이터-유지 서브시스템은 다른 것들 중에서도, 광학 메모리 장치, 반도체 메모리 장치, 및/또는 자기 메모리 장치를 포함할 수 있다. 데이터-유지 서브시스템은 이하의 특성의 하나 이상을 갖는 장치를 포함할 수도 있다: 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기 전용, 랜덤 액세스, 순차적 액세스, 위치 지정 가능(location addressable), 파일 지정가능, 및 콘텐트 지정가능. 일부 실시예에서, 논리 서브시스템 및 데이터-유지 서브시스템은 ASIC(application specific integrated circuit) 또는 SOC(system on a chip)와 같은 하나 이상의 공통 장치로 통합될 수도 있다.
본 명세서에서 기술된 구성 및/또는 접근은 사실상 예시적인 것이며, 다양한 변형이 가능하므로, 이들 특정 실시예 또는 예제는 제한의 관점으로 고려되지 않아야 함이 이해되어야 한다. 본 명세서에 기술된 특정 루틴 또는 방법은 임의의 수의 프로세싱 전략의 하나 이상을 표현할 수 있다. 따라서, 도시된 다양한 동작들은 도시된 순서대로, 다른 순서대로, 병렬적으로, 또는 일부 경우에는 생략되어 수행될 수도 있다. 유사하게, 전술한 프로세스의 순서는 변경될 수도 있다
본 개시물의 청구물은 다양한 프로세스, 시스템 및 구성 및 다른 특징, 기능, 동작, 및/또는 여기서 서술된 속성의 모든 신규하고 진보한 조합 및 서브조합뿐만 아니라 임의의 모든 이들의 균등물을 포함한다.

Claims (18)

  1. 카메라의 프로세서에 의해 수행되는, 포토그래픽 세팅(photographic setting)에서 플리커(flicker)를 검출하는 방법으로서,
    상기 카메라의 광 검출기 회로로부터 N의 정수 배의 상승 시간 샘플(rise time sample)을 획득하는 단계 - N은 제 1 주파수 및 제 2 주파수의 최대 공약수(greatest common factor)를 이용하여 도출되고, 상기 상승 시간 샘플의 각각의 값은 상기 카메라에 입사하는 광에 의존함 -와,
    상기 카메라에 입사하는 상기 광이 상기 제 1 주파수 및 상기 제 2 주파수를 포함하는 복수의 주파수 중 하나에서 세기의 변화를 겪고 있는지 여부를 판단하도록 상기 상승 시간 샘플을 처리하는 단계를 포함하는
    플리커 검출 방법.
  2. 제 1 항에 있어서,
    상기 상승 시간 샘플의 각각은, 상기 광 검출기 회로를 충전하고 상기 광 검출기 회로의 상승 시간을 측정함으로써 생성되는
    플리커 검출 방법.
  3. 제 1 항에 있어서,
    상기 제 1 주파수는 100 Hz이고 상기 제 2 주파수는 120 Hz인
    플리커 검출 방법.
  4. 제 1 항에 있어서,
    N은 4(four), 제 1 나머지 인수 및 제 2 나머지 인수의 곱과 같으며, 상기 제 1 나머지 인수는 상기 제 1 주파수를 상기 최대 공약수로 나눈 값이며, 상기 제 2 나머지 인수는 상기 제 2 주파수를 상기 최대 공약수로 나눈 값인
    플리커 검출 방법.
  5. 제 1 항에 있어서,
    상기 상승 시간 샘플을 처리하는 단계는 상기 상승 시간 샘플을 상기 제 1 주파수와 동일한 주파수를 갖는 주기적 신호와 곱함으로써 제 1 스칼라 곱 출력(scalar product output)을 생성하는 단계와, 상기 상승 시간 샘플을 상기 제 2 주파수와 동일한 주파수를 갖는 주기적 신호와 곱함으로써 제 2 스칼라 곱 출력을 생성하는 단계를 포함하는
    플리커 검출 방법.
  6. 제 5 항에 있어서,
    상기 제 1 주파수와 동일한 주파수를 갖는 상기 주기적 신호는 구형파이며, 상기 제 2 주파수와 동일한 주파수를 갖는 상기 주기적 신호는 구형파인
    플리커 검출 방법.
  7. 제 5 항에 있어서,
    상기 상승 시간 샘플을 처리하는 단계는 상기 카메라에 입사하는 상기 광이 상기 제 1 주파수 또는 상기 제 2 주파수에서 세기의 변화를 겪고 있는지 여부를 판단하도록 상기 제 1 스칼라 곱 출력을 상기 제 2 스칼라 곱 출력과 비교하는 단계를 더 포함하는
    플리커 검출 방법.
  8. 제 1 항에 있어서,
    상기 카메라에 입사하는 상기 광이 상기 복수의 주파수 중 하나에서 세기의 변화를 겪고 있는지 여부를 판단하는 것에 응답하여 상기 카메라의 노출 타이밍을 설정하는 단계를 더 포함하는
    플리커 검출 방법.
  9. 카메라의 프로세서에 의해 수행되는, 포토그래픽 세팅에서 플리커를 검출하는 방법으로서,
    상기 카메라의 광 검출기 회로로부터 복수의 샘플을 획득하는 단계 - 상기 복수의 샘플의 각각의 값은 상기 카메라가 노출되는 광의 세기에 의존함 -와,
    상기 복수의 샘플을 제 1 주파수를 갖는 구형파와 곱함으로써 제 1 스칼라 곱 출력을 생성하는 단계와,
    상기 복수의 샘플을 제 2 주파수를 갖는 구형파와 곱함으로써 제 2 스칼라 곱 출력을 생성하는 단계와,
    상기 카메라에 입사하는 상기 광이 상기 제 1 주파수 또는 상기 제 2 주파수에서 세기의 변화를 겪고 있는지 여부를 판단하도록 상기 제 1 스칼라 곱 출력과 상기 제 2 스칼라 곱 출력을 비교하는 단계와,
    상기 카메라에 입사하는 상기 광이 상기 제 1 주파수 또는 상기 제 2 주파수에서 세기의 변화를 겪고 있는지 여부를 판단하는 것에 응답하여 상기 카메라의 노출 타이밍을 설정하는 단계
    를 포함하는 플리커 검출 방법.
  10. 제 9 항에 있어서,
    상기 복수의 샘플의 각각은 상기 광 검출기 회로의 정전 용량 충전과 연관된 측정된 상승 시간인
    플리커 검출 방법.
  11. 제 9 항에 있어서,
    상기 제 1 스칼라 곱 출력을 생성하는 단계는 상기 복수의 샘플을 100 Hz 구형파와 곱하는 단계를 포함하고, 상기 제 2 스칼라 곱 출력을 생성하는 단계는 상기 복수의 샘플을 120 Hz 구형파와 곱하는 단계를 포함하는
    플리커 검출 방법.
  12. 제 11 항에 있어서,
    상기 제 1 스칼라 곱 출력을 생성하는 단계는 상기 복수의 샘플을 90도 위상 시프트된 추가의 100 Hz 구형파와 곱하는 단계를 더 포함하고, 상기 제 2 스칼라 곱 출력을 생성하는 단계는 상기 복수의 샘플을 90도 위상 시프트된 추가의 120 Hz 구형파와 곱하는 단계를 더 포함하는
    플리커 검출 방법.
  13. 제 9 항에 있어서,
    상기 광 검출기 회로는 상기 복수의 샘플이 얻어질 수 있는 포토트랜지스터를 포함하는
    플리커 검출 방법.
  14. 광 세기의 주기적 변화에 대하여 자동적으로 보상하도록 구성된 카메라로서,
    광 검출기 회로와,
    상기 광 검출기 회로에 동작가능하게 연결된 논리 서브시스템과,
    상기 논리 서브시스템에 의해서 실행 가능한 명령어를 포함하는 데이터-유지 서브시스템을 포함하며,
    상기 명령어는
    상기 광 검출기 회로로부터 복수의 샘플을 획득 - 상기 복수의 샘플의 각각의 값은 상기 카메라가 노출되는 광의 세기에 의존함 - 하고,
    상기 복수의 샘플을 미리 선택된 주파수를 갖는 주기적 신호와 곱함으로써 스칼라 곱 출력을 생성하고,
    상기 광 검출기 회로에 입사하는 광이 상기 미리 선택된 주파수에서 세기의 변화를 겪고 있는지 여부를 판단하도록 상기 스칼라 곱 출력을 처리하도록 구성되는
    카메라.
  15. 제 14 항에 있어서,
    상기 명령어는 상기 복수의 샘플을 미리 선택된 주파수의 그룹에서 선택된 주파수를 갖는 복수의 주기적 신호의 각각과 곱함으로써 복수의 스칼라 곱 출력을 생성하도록 더 구성되는
    카메라.
  16. 제 15 항에 있어서,
    상기 복수의 주기적 신호 각각은 구형파인
    카메라.
  17. 제 15 항에 있어서,
    상기 명령어는 상기 광 검출기 회로에 입사하는 광이 상기 미리 선택된 주파수 중 임의의 주파수에서 세기의 변화를 겪고 있는지 여부를 판단하도록 상기 복수의 스칼라 곱 출력을 처리하도록 구성되는
    카메라.
  18. 제 14 항에 있어서,
    상기 명령어는 상기 스칼라 곱 출력의 처리에 응답하여 상기 카메라의 노출 타이밍을 설정하도록 더 구성되는
    카메라.
KR1020127019993A 2009-12-31 2010-12-09 사진 플리커 검출 및 보상 KR101734604B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29160709P 2009-12-31 2009-12-31
US61/291,607 2009-12-31
US12/755,952 US8330829B2 (en) 2009-12-31 2010-04-07 Photographic flicker detection and compensation
US12/755,952 2010-04-07
PCT/US2010/059595 WO2011081817A2 (en) 2009-12-31 2010-12-09 Photographic flicker detection and compensation

Publications (2)

Publication Number Publication Date
KR20120108036A KR20120108036A (ko) 2012-10-04
KR101734604B1 true KR101734604B1 (ko) 2017-05-11

Family

ID=44187081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127019993A KR101734604B1 (ko) 2009-12-31 2010-12-09 사진 플리커 검출 및 보상

Country Status (9)

Country Link
US (1) US8330829B2 (ko)
EP (1) EP2520079B1 (ko)
JP (1) JP5658764B2 (ko)
KR (1) KR101734604B1 (ko)
CN (1) CN102668542B (ko)
CA (1) CA2780348C (ko)
MY (1) MY160303A (ko)
RU (1) RU2536173C2 (ko)
WO (1) WO2011081817A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI492610B (zh) * 2011-03-10 2015-07-11 Realtek Semiconductor Corp 影像控制裝置
US9426430B2 (en) * 2012-03-22 2016-08-23 Bounce Imaging, Inc. Remote surveillance sensor apparatus
US9046738B2 (en) * 2012-06-28 2015-06-02 International Business Machines Corporation Digital image capture under conditions of varying light intensity
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
KR20140109668A (ko) * 2013-03-06 2014-09-16 삼성전자주식회사 플리커를 검출하기 위한 방법 및 시스템
JP6108946B2 (ja) * 2013-05-10 2017-04-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6296697B2 (ja) * 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
CN104301618B (zh) * 2013-07-19 2017-11-14 富士通株式会社 闪烁检测方法和闪烁检测设备
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9747867B2 (en) * 2014-06-04 2017-08-29 Mediatek Inc. Apparatus and method for performing image content adjustment according to viewing condition recognition result and content classification result
GB201418619D0 (en) * 2014-10-20 2014-12-03 Apical Ltd Method
KR20160058541A (ko) * 2014-11-17 2016-05-25 현대모비스 주식회사 차량용 카메라 시스템 및 그 동작방법
EP3280132B1 (en) * 2015-03-31 2020-03-11 Nikon Corporation Image processing apparatus, imaging apparatus, program, and computer storage medium
JP6525757B2 (ja) * 2015-06-17 2019-06-05 キヤノン株式会社 撮像装置、光量変化特性の算出方法、プログラム及び記憶媒体
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
WO2018010149A1 (zh) * 2016-07-14 2018-01-18 广东虚拟现实科技有限公司 闪烁光源的识别方法以及装置
EP3516692B1 (en) 2016-09-23 2022-02-16 Apple Inc. Stacked backside illuminated spad array
CN110235024B (zh) 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10816397B2 (en) * 2017-06-05 2020-10-27 Osram Sylvania Inc. Device and system for measuring flicker
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US11991808B2 (en) 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
WO2020151465A1 (zh) * 2019-01-25 2020-07-30 欧普照明股份有限公司 一种检测电路、一种光源频闪的检测装置、方法及光电检测设备
DE102020202400A1 (de) * 2020-02-25 2021-08-26 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische sensorvorrichtung, detektor und elektronisches gerät sowie verfahren zum betreiben einer derartigen sensorvorrichtung bzw. eines derartigen detektors
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236456A (ja) 1999-02-16 2000-08-29 Sony Corp フリッカ検出方法、フリッカ検出装置及び撮像装置
JP2004104741A (ja) 2002-09-09 2004-04-02 Honda Motor Co Ltd イメージセンサ
US20090128660A1 (en) 2007-11-19 2009-05-21 Omnivision Technologies, Inc. Light source frequency detection circuit using bipolar transistor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687670B2 (ja) * 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
JP3404754B2 (ja) 1990-12-22 2003-05-12 ソニー株式会社 ビデオカメラ
RU15440U1 (ru) * 1999-09-08 2000-10-10 Немцова Светлана Рафаиловна Устройство для автоматического выключения телевизионного приемника при появлении в изображениях вредных для здоровья пользователя мельканий
JP3370979B2 (ja) 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP4608766B2 (ja) * 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
US7187405B2 (en) 2001-10-02 2007-03-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Automatic flicker frequency detection device and method
JP3823314B2 (ja) 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP4337353B2 (ja) 2002-03-25 2009-09-30 セイコーエプソン株式会社 フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP4172216B2 (ja) * 2002-07-16 2008-10-29 ソニー株式会社 撮像装置
KR100460755B1 (ko) * 2002-10-10 2004-12-14 매그나칩 반도체 유한회사 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법
US7502054B2 (en) * 2004-12-20 2009-03-10 Pixim, Inc. Automatic detection of fluorescent flicker in video images
US7538799B2 (en) 2005-01-14 2009-05-26 Freescale Semiconductor, Inc. System and method for flicker detection in digital imaging
JP4377840B2 (ja) * 2005-03-31 2009-12-02 イーストマン コダック カンパニー デジタルカメラ
JP2006332917A (ja) * 2005-05-25 2006-12-07 Renesas Technology Corp 撮像装置
US7777787B2 (en) 2005-10-17 2010-08-17 Nokia Corporation Preventing flicker effects in video electronic devices
JP5147302B2 (ja) 2007-06-13 2013-02-20 株式会社エルモ社 ビデオカメラおよびビデオカメラにおけるフリッカ低減方法
US7605359B2 (en) * 2007-09-14 2009-10-20 Omnivision Technologies, Inc. Light source frequency detection circuit for image sensor
TW200926767A (en) * 2007-12-07 2009-06-16 Sunplus Mmedia Inc Automatic flicker detection and correction apparatus and method in a video capture device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236456A (ja) 1999-02-16 2000-08-29 Sony Corp フリッカ検出方法、フリッカ検出装置及び撮像装置
JP2004104741A (ja) 2002-09-09 2004-04-02 Honda Motor Co Ltd イメージセンサ
US20090128660A1 (en) 2007-11-19 2009-05-21 Omnivision Technologies, Inc. Light source frequency detection circuit using bipolar transistor

Also Published As

Publication number Publication date
RU2536173C2 (ru) 2014-12-20
JP5658764B2 (ja) 2015-01-28
US20110157415A1 (en) 2011-06-30
JP2013516838A (ja) 2013-05-13
RU2012132636A (ru) 2014-02-20
KR20120108036A (ko) 2012-10-04
CA2780348A1 (en) 2011-07-07
MY160303A (en) 2017-02-28
US8330829B2 (en) 2012-12-11
CN102668542A (zh) 2012-09-12
EP2520079A4 (en) 2014-01-22
WO2011081817A3 (en) 2011-09-22
CN102668542B (zh) 2015-04-01
CA2780348C (en) 2017-01-03
EP2520079B1 (en) 2017-08-30
WO2011081817A2 (en) 2011-07-07
EP2520079A2 (en) 2012-11-07

Similar Documents

Publication Publication Date Title
KR101734604B1 (ko) 사진 플리커 검출 및 보상
US9470802B2 (en) Radiographic image capturing apparatus and control method thereof
JP4195197B2 (ja) パイプライン式ディジタル・ビデオ・キャプチャの間に放電灯からのフリッカ効果を低減するための方法および装置
KR101085802B1 (ko) 촬상 장치 및 플리커 검출 방법
US20190058868A1 (en) Three-Dimensional Image Sensors
JP4337353B2 (ja) フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
US7667740B2 (en) Elimination of modulated light effects in rolling shutter CMOS sensor images
US6295085B1 (en) Method and apparatus for eliminating flicker effects from discharge lamps during digital video capture
US20160021290A1 (en) Radiation image capturing apparatus and method of driving the same
KR102227284B1 (ko) 디스플레이 장치 및 그 제어 방법
RU2643861C1 (ru) Устройство обнаружения светофоров и способ обнаружения светофоров
CN109903324B (zh) 一种深度图像获取方法及装置
US9232148B2 (en) Image capture apparatus and zooming method
JP2011501841A (ja) 光学的タッチセンサー式装置における周囲光の補正
TW200302027A (en) Flicker correction apparatus and flicker correction method, and recording medium storing flicker correction program
JP2003189129A (ja) 撮像信号処理装置及びフリッカ検出方法
US10205886B2 (en) Imaging apparatus, control method, and storage medium
EP3040754B1 (en) Imaging device, method, and program
US20160249003A1 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
CN106131445A (zh) 一种拍摄方法和装置
JP2009287977A (ja) 光強度検出装置、そのような装置を備えたディスプレイ装置、光強度検出方法、プログラム及びその記録媒体
US10104308B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
ES2649561T3 (es) Detección y compensación del centelleo fotográfico
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
JPH07336586A (ja) 撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant