KR101659058B1 - 롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로 - Google Patents

롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로 Download PDF

Info

Publication number
KR101659058B1
KR101659058B1 KR1020117013223A KR20117013223A KR101659058B1 KR 101659058 B1 KR101659058 B1 KR 101659058B1 KR 1020117013223 A KR1020117013223 A KR 1020117013223A KR 20117013223 A KR20117013223 A KR 20117013223A KR 101659058 B1 KR101659058 B1 KR 101659058B1
Authority
KR
South Korea
Prior art keywords
frame
flicker
column
captured
circuit
Prior art date
Application number
KR1020117013223A
Other languages
English (en)
Other versions
KR20110082628A (ko
Inventor
그레이엄 씨.에이치. 그린랜드
밀리보우지 알렉제크
써지오 고마
Original Assignee
에이티아이 테크놀로지스 유엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이티아이 테크놀로지스 유엘씨 filed Critical 에이티아이 테크놀로지스 유엘씨
Publication of KR20110082628A publication Critical patent/KR20110082628A/ko
Application granted granted Critical
Publication of KR101659058B1 publication Critical patent/KR101659058B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

회로, 장치 및 방법들이 영상 센서들을 채용하는 디지털 카메라들에 대하여 플리커 검출과 개선된 영상 생성을 제공한다. 한 예에서, 회로와 방법들은 제1 캡쳐된 프레임과 예컨대 순차적이고 연속되거나 원한다면 불연속일 수 있는 제2 캡쳐된 프레임 사이에 장면 내용의 오정렬(misalignment)을 판별하기 위하여 상기 제1 캡쳐된 프레임을 상기 제2 캡쳐된 프레임과 비교하도록 동작한다. 상기 프레임들이 오정렬된 것으로 판별되면 상기 제2 프레임을 상기 제1 프레임과 재정렬함으로써 재정렬된(realigned) 제2 프레임이 만들어진다. 상기 재정렬된 제2 프레임으로부터의 루미넌스(luminance) 데이터와 상기 제1 프레임의 픽셀들로부터의 루미넌스 데이터가 원치않는 플리커 조건이 존재하는지를 판별하는데 이용된다. 만일 상기 원치않는 플리커 조건이 검출되면, 플리커를 감소시키기 위하여 노출 시간 제어 정보가 상기 프레임을 캡쳐한 이미징 센서로 출력되도록 생성된다. 이 동작은 예를 들어 디지털 카메라의 미리 보기 모드(preview mode) 동안에 행하여질 수도 있고, 또는 어떤 다른 적합한 시간에 수행될 수도 있다.

Description

롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로{FLICKER DETECTION CIRCUIT FOR IMAGING SENSORS THAT EMPLOY ROLLING SHUTTERS}
본 특허 출원은 "FLICKER DETECTION CIRCUIT FOR IMAGING SENSORS THAT EMPLOY ROLLING SHUTTERS" 라는 제목으로 2008년 11월 14일 출원된 미국 가특허 출원(U.S. Provisional Patent Application) 제61/114,748호에 대한 우선권을 주장하며, 상기 특허 출원은 본 명세서에서 그 전체가 참조로서 포함된다.
본 개시는 개괄적으로 플리커 검출(flicker detection) 회로들과 이 회로들을 이용하는 장치들에 관한 것이다.
CMOS 이미징 센서(imaging sensor)들은 많은 핸드헬드(handheld) 장치들에서 아주 흔히 이용된다. 이 기술의 난점들 중 하나는 형광 조명(fluorescent lighting)과 센서의 전자식 롤링 셔터(electronic rolling shutter)의 상호 작용에 의해 발생하는 영상 플리커(image flicker)이다. 시변 시퀀스(non stationary sequence)들은 다중 프레임 프로세스(multi frame process)들에 대해 도전적인 문제를 부과한다. 이러한 제한들을 해결하기 위해 프레임 정렬(frame alignment)을 이용함으로써 플리커 검출 성능을 개선하는 새로운 프로세스가 제안된다. 이 방법은 손떨림(handshake)이나 수직 패닝(vertical panning) 조건들에 있어서 성능을 상당히 개선한다.
이미징 디바이스(imaging device)들은 많은 디지털 핸드헬드 장치들에 있어서 점점 더 흔하게 사용된다. 이들 장치들 중 많은 것들이 전자식 롤링 셔터를 갖는 CMOS 이미징 센서들을 이용한다. 기계식(mechanical) 롤링 셔터와 달리 이 롤링 셔터는 영상의 서로 다른 부분들이 서로 다른 시간 간격들 동안 노출될 것을 요구한다. 구체적으로, 영상의 각각의 연속되는 행은 시간 옵셋을 가진다. 이 접근법의 하나의 결과는 각각의 행이 서로 다른 양의 총 조도(total illuminance)에 노출되기 때문에 형광 조명 아래에서 공간 플리커(spatial flicker)가 영상 안에 발생한다는 것이다. 아티팩트(artifact)들을 제거하도록 카메라를 적절하게 설정하기 위해서는 이런 플리커를 강건하게 검출하는 것(robust detection)이 필수적이다. 실시간 이미징 시스템은 플리커 검출에 추가적인 제한 조건들을 둔다. 실제적인 이미징 시스템들은 15나 30 fps에서 동작해야 할 필요가 있으며, 이는 그 검출 프로세스를 더욱 도전적으로 만드는 영상에 있어서 공간 플리커 주파수들을 크게 감소시킨다.
이 문제에 대한 다양한 접근법들이 제안되었다. Baer 등은 R.L. Baer과 R. Kakarala의 미국 특허 제7,397,503호, "Systems and methods for reducing artifacts caused by illuminant flicker" 에서 서술된 바와 같이 플리커의 외관을 감소시키기 위하여 각각의 픽셀들을 정반대의 순서들로 두번 읽어서 그 결과를 더하도록 센서 구조를 수정하는 것을 제안하였다. 다른 방법들은 플리커를 검출하기 위해 캡쳐(capture)된 영상이나 영상 시퀀스를 이용한다. D. Poplin의 "An Automatic Flicker Detection Method for Embedded Camera Systems," IEEE Transactions on Consumer Electronics, 52(2), 308-311 (2006); T.Tajbakhsh과 R.R. Grigat의 "Illumination Flicker Frequency Classification in Rolling Shutter Camera Systems," Proceedings of IASTED 2007, Signal and Image Processing, 288-293 (2007); 그리고 M. Kaplinsky과 I. Subbotin의 "Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter," 미국특허 제7,142,234호에서 서술되어 있는 바와 같이, 많은 이러한 방법들은 플리커를 검출하기 위하여 순차적 프레임들을 필요로 한다. 이러한 문헌들에서 장면(scene)은 항상 시불변인(stationary) 것으로 가정되지만, 이는 실제로 거의 드문 경우이다.
형광 광원으로부터의 조도는 전원의 교류 공급으로 인해 시간에 따라 변화(variation)한다는 것으로 밝혀졌다. 지리적 위치에 따라 전원 공급은 60이나 50 Hz 중 하나이다. 광원으로 전달되는 전력은 전원 공급 주파수의 2배로 진동하여 그 결과 조도가 120이나 100 Hz 중 하나로 변화하게 된다. 광원으로부터의 조도는 다음 함수에 의해 모델링된다.
Figure 112011043485448-pct00001
여기서 A는 광원에 전력이 전달되고 있지 않을 때 전원에서 전압의 영교차점(zero crossing)에서의 DC 조도이다. 조도의 DC 부분은 어떠한 플리커도 포함하고 있지 않으므로 단순함을 위해 A는 0으로 설정된다. B는 주어진 광원에서 플리커의 크기를 결정하는 스칼라(scalar)이고 전압이 최대값에서 상수 A를 뺀 상태에 있을 때 조도와 동일하다. A와 B는 둘 다 광원마다 변화하게 될 상수들이다. T는 플리커 주기이다. 이 주파수에서의 플리커는 인간의 시력으로 인지할 수 없지만 롤링 셔터 CMOS 센서는 이 변화를 집어낼 수 있다.
단순함을 위해 F=120 Hz, A=0, B=1로 하여 식 (1)을 도시한 도 1을 고려해보자. 전형적인 전자식 롤링 셔터가 그 아래에 도시되어 있다. 롤링 셔터에서, 각각의 행은 다른 시간 순간들에서 집광(integration)을 시작하고 끝마친다. 임의의 두 행들 사이의 차는 Δr에 의해 주어진다. 1행의 신호는 집광 시간(integration time) 동안 곡선 아래의 내림 사선(descending hatching)으로 도시된 영역에 비례한다. 따라서, n행의 신호는 오름 사선(rising hatching)으로 도시된 영역에 비례한다. 사선이 교차된 영역은 1행과 n행이 함께 집광되고 있는 시간에 해당한다. 이 도면은 1행에 대한 전체 영역(따라서 1행에 대한 신호)이 n행에 대한 영역보다 큰 것으로 도시하고 있다. 노출(exposure)에 있어서 이런 상대적인 차이는 영상 상에서 어두운 빛의 띠로서 나타난다. 모든 집광 시간이 플리커를 만들어내는 것은 아닐 것이다. 집광 시간이 플리커 주파수의 배수들로 설정되면 곡선 아래의 영역은 옵셋 Δr과 관계없이 일정하다. 이러한 경우들에서는 플리커가 존재하지 않는다. 그러므로 집광 시간은 다음 식에 의해 표현된다.
Figure 112011043485448-pct00002
여기서 N은 전체 플리커 주기들의 개수이고 Δt는 N개의 플리커 주기들과 실제 집광 시간과의 시간 차이이다.
센서에서 각각의 행의 센서 응답은 집광 시간 동안 각 행이 받는 조도에 비례한다. 플리커 조도에 대한 센서 응답을 행 시작 시간에서의 옵셋 Δr과 집광 시간 ti의 함수로서 유도할 수 있다.
Figure 112011043485448-pct00003
A=0으로 하여 식 (1)을 식 (4)에 대입하면 다음과 같다.
Figure 112011043485448-pct00004
이 식은 Δr에 의해 행 옵셋의 응답을 기술한다. 이 식은 다음 관계를 이용하여 n행의 응답을 기술하는 것으로 일반화될 수 있다.
Figure 112011043485448-pct00005
여기서 Δrd는 2개의 인접 행들 사이의 행 지연(row delay)이다. 식 (6)을 식 (5)에 대입함으로써 행 응답을 행 번호의 함수로서 나타내는 다음 식이 만들어진다.
Figure 112011043485448-pct00006
최종 모델에서, 응답은 오로지 집광 시간에 의해 결정되고 행과는 독립적인 선형 항 B(NT+Δt)를 포함한다. 그로부터 변조된 고조파(modulated harmonic) 항이 빼진다. 이 항에서 코사인 고조파(cosine harmonic)는 행 번호와 행 지연의 함수이다. 이 고조파는 그 주파수가 Δt에 따라 결정되는 정현파(sinusoid)에 의해 변조된다. 이 변조의 효과는 명확하다. 집광 시간이 플리커 주파수의 배수일 때 Δt=0이고 식 (7)은 다음으로 줄어든다.
Figure 112011043485448-pct00007
예상되는 바와 같이 응답은 행들 사이에서 더 이상 변화하지 않고 오로지 집광 시간에만 의존한다. 이러한 경우에, 영상에서 플리커는 존재하지 않을 것이다. 또한 변조도(modulation factor)는 Δt=T/2 일 때 최대일 것이라는 것을 유의하는 것이 중요하다. 도시될 바와 같이, 플리커 신호의 크기는 일반적으로 약하므로 그 신호의 크기를 최대화하는 것이 검출에 도움을 줄 것이다.
행 지연 Δrd는 영상에서 플리커의 주파수에 영향을 줄 것이다. 도 2는 3개의 서로 다른 행 지연들에서의 이론적인 응답을 도시한 것이다. 인접 행들 사이의 지연이 증가할수록, 영상에서 보여지는 플리커 주파수도 또한 증가한다. 영상에서 광원의 플리커 주기(flicker period, Tflicker)와 플리커의 공간 주기(spatial period, Tspatial) 사이의 관계는 다음과 같다.
Figure 112011043485448-pct00008
실시간 플리커 검출 시스템의 중대한 난점들 중 하나는 영상에서 낮은 플리커의 공간 주파수(spatial frequency)이다. 30 fps에서 프레임 시간은 단지 33.33 μs이고, 이는 50 Hz에서는 단지 3.3 주기들만이 있고 60 Hz에서는 단지 4 주기들만이 있음을 의미한다.
총 집광 시간도 또한 영상에서 플리커의 신호 세기에 영향을 준다. 플리커 비율(flicker ratio)(Fratio)은 최대 신호를 갖는 행으로부터의 응답을 최소 신호를 갖는 행으로부터의 응답으로 나누는 것으로 정의된다.
Figure 112011043485448-pct00009
도 3은 60 Hz 플리커 주파수에 대하여 상기 비율을 전체 집광 시간의 함수로서 도시한 것이다. 상기 비율은 플리커 주파수의 배수들에서 1을 향하여 이동하고 Δt=T/2 일 때 피크(peak)들을 가진다. 하지만, 피크들은 N이 증가함에 따라 더 작아진다. 플리커 비율과 따라서 영상의 플리커는 T보다 작은 집광 시간들에 대해서는 무한대로 증가한다.
D. Poplin의 "An Automatic Flicker Detection Method for Embedded Camera Systems," IEEE Transactions on Consumer Electronics, 52(2), 308-311 (2006)과; M. Kaplinsky과 I. Subbotin의 미국특허 제7,142,234호, "Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter"와 같은 이전 문헌들은 영상에서의 장면 내용이 연속되는 프레임들을 감산(subtract)함으로써 상당히 감소될 수 있음을 증명하였다. 그 결과들은 정적 장면들을 이용하여 얻어졌고 더 실제적인 경우들은 장면 내용이 동적이라는 점을 고려하지 않았다. 플리커 신호의 크기는 바탕이 되는 장면의 신호에 비하여 매우 작을 수 있기 때문에 정렬이 조금만 어긋나더라도 감산한 후에 장면으로부터의 신호들이 남아있게 될 것이다. C.K. Liang, L.W. Chang, H.H. Chen의 "Analysis and Compensation of Rolling Shutter Effect," IEEE Transactions on Image Processing, 17(8), 1323-1330 (2008)에서 제시된 바와 같이 이전 문헌들은 롤링 셔터의 쉬어링 효과(shearing effect)들을 감소시키기 위하여 프레임 대 프레임의 정렬 문제를 다루었다. 하지만, 위의 문헌들은 롤링 셔터 구성을 채용하는 이미징 센서에 대하여 적합한 플리커 검출과 정정 방식(correction scheme)을 제공하지 않는다.
간단히 말하자면, 회로, 장치 및 방법들이 영상 센서들을 채용하는 디지털 카메라들에 대하여 플리커 검출과 개선된 영상 생성을 제공한다. 한 예에서, 회로와 방법들은 제1 캡쳐된 프레임과 예컨대 순차적이고 연속되거나 원한다면 불연속일 수 있는 제2 캡쳐된 프레임 사이에 장면 내용의 오정렬(misalignment)을 판별하기 위하여 상기 제1 캡쳐된 프레임을 상기 제2 캡쳐된 프레임과 비교하도록 동작한다. 상기 프레임들이 오정렬된 것으로 판별되면 상기 제2 프레임을 상기 제1 프레임과 재정렬함으로써 재정렬된(realigned) 제2 프레임이 만들어진다. 상기 재정렬된 제2 프레임으로부터의 루미넌스(luminance) 데이터와 상기 제1 프레임의 픽셀들로부터의 루미넌스 데이터가 원치않는 플리커 조건이 존재하는지를 판별하는데 이용된다. 원치않는 플리커 조건이 검출되면, 플리커를 감소시키기 위하여 노출 시간 제어 정보가 상기 프레임을 캡쳐한 이미징 센서로 출력되도록 생성된다. 이 동작은 예를 들어 디지털 카메라의 미리 보기 모드(preview mode) 동안에 행하여질 수도 있고, 또는 어떤 다른 적합한 시간에 수행될 수도 있다.
한 예에서, 스마트 폰, 휴대폰과 같은 장치, 또는 롤링 셔터 구성을 갖는 CMOS 이미징 센서와 같은 이미징 센서를 갖는 디지털 카메라를 채용하는 어떤 다른 적합한 장치는 CMOS 이미징 센서에 의해 캡쳐된 제1 프레임과 CMOS 이미징 센서에 의해 캡쳐된 제2 프레임 사이의 장면 내용의 오정렬을 판별하기 위하여 상기 제1 프레임을 상기 제2 프레임과 비교하도록 동작하는 회로를 채용한다. 회로는 그들이 오정렬된 것으로 판별되면 제1 프레임에 대하여 동일한 위치에 있도록 그들을 재위치(reposition)시키기 위하여 상기 제2 프레임의 픽셀들을 이동시킴으로써 재정렬된 제2 프레임을 만들어내도록 동작한다. 상기 재정렬된 제2 프레임(그 픽셀들로부터)으로부터의 루미넌스 데이터와 상기 제1 프레임으로부터의 루미넌스 데이터가 원치않는 플리커 조건이 존재하는지를 판별하는데 이용된다. 원치않는 플리커 조건이 존재하면, CMOS 이미징 센서의 노출 시간이 플리커를 감소시키도록 조정된다. 제어 로직(control logic)은 전술된 동작들을 수행하도록 동작하는 회로를 포함하는 회로를 포함할 수 있고, 이산 로직(discrete logic)을 포함할 수 있고, 상기 동작들을 수행하도록 구조가 만들어진 스테이트 머신(state machine)들을 포함할 수 있고, 하나 이상의 디지털 신호처리 프로세서들(digital signal processors, DSPs)을 포함할 수 있고, 명령어들이 실행될 때 마이크로프로세서가 본 명세서에서 서술된 바와 같이 동작하게 하도록 컴퓨터 판독가능한 메모리에 저장되는 실행가능한 명령어들을 실행하는 하나 이상의 마이크로프로세서들을 포함할 수 있다. 어떤 다른 적합한 구조도 또한 채용될 수 있다.
본 개시는 아래의 도면들을 동반하여 다음의 설명을 볼 때 더욱 쉽게 이해될 것이며, 여기서 유사한 참조 번호들은 유사한 요소들을 나타낸다.
도 1은 A=0, B=1인 60 Hz 형광 광원의 조도 모델과 전자식 롤링 셔터의 영향의 예이다.
도 2는 행 지연(row delay)이 영상 플리커 주파수에 미치는 영향의 예이다.
도 3은 집광 시간(integration time)이 플리커 크기에 미치는 영향의 예이다.
도 4는 본 개시의 하나의 실시예에 따른 장치의 하나의 예를 예시하는 블록도이다.
도 5는 본 개시의 하나의 예에 따라 전자식 장치에 의해 수행되는 방법의 하나의 예를 예시하는 순서도(flowchart)이다.
도 6은 본 개시에서 제시된 하나의 예에 따라 롤링 셔터들을 채용하는 이미징 센서에 의해 플리커를 검출하기 위한 방법의 하나의 예를 예시하는 순서도이다.
도 7은 본 개시의 하나의 실시예에 따라 2개의 연속되는 프레임들로부터 열 투영들(column projections)의 예이다.
도 8은 본 개시의 하나의 실시예에 따라 2개의 연속되는 열 투영들의 교차-상관도(cross-correlation)의 예이다.
도 9는 12.5 ms, 15 fps의 플랫 필드 장면(flat field scene)의 예이고, 검출된 플리커를 보여준다.
도 10은 12.5 ms, 15 fps의 복잡한 장면(complex scene)의 예이고, 그 안에 플리커를 가지고 있다.
도 11은 15 fps에서 12.5 ms의 집광 시간으로 찍은 2개의 연속되는 플랫 필드 영상들의 차이 신호(difference signal)의 예이다.
도 12는 차이 신호의 파워 스펙트럼(power spectrum)의 예이다.
도 13은 본 개시의 한 실시예에 따라 SNR 대 열 투영에서 이용되는 열들의 퍼센트의 예이다.
도 14는 정렬된 파워 스펙트럼의 예이다.
도 15는 정렬되지 않은 파워 스펙트럼의 예이다.
도 16은 본 개시의 한 실시예에 따라 수직 시프트(vertical shift)의 함수로서 SNR 개선의 예이다.
다른 장점들 중에서, 개시된 회로, 장치 및 방법은 플리커 검출 성능을 개선하기 위해 프레임들 사이의 정렬을 이용하는 다중-프레임 접근법(multi-frame approach)을 제공한다. 프레임들 간의 정렬을 이용하는 다중-프레임 접근법은 특히 시불변(stationary) 및 시변(non-stationary) 영상 시퀀스들 모두에 있어서 플리커를 검출할 수 있는 강건한(robust) 플리커 검출을 가능하게 해주기 때문에 유리하다. 이는 예컨대 손떨림, 수직 패닝(vertical panning), 수평 패닝(horizontal panning) 이미징 시나리오들에서 개선된 플리커 검출을 제공한다. 형광 조명과 CMOS 이미징 센서의 롤링 셔터 사이의 상호 작용에 의해 유발되는 원치않는 영향들을 감소시키기 위해 성공적인 플리커 검출은 필수적이다. 다른 장점들도 당해 기술분야의 통상의 기술을 가진 자들에 의해 인지될 수 있을 것이다.
도 4는 오로지 예시적인 목적만으로 디지털 카메라 서브시스템(402), 무선 서브시스템들을 포함하여 필수적인 휴대폰 서브시스템들과 같은 필수 장치 서브시스템(404), 디스플레이, 키패드들, 또는 당해 기술분야의 주지의 어떤 다른 서브시스템들을 포함하는 휴대폰이나 스마트폰으로서 서술될 장치(400)의 하나의 예를 예시하는 블록도이다. 게다가, 장치(400)는 예컨대 FIFO 메모리, 프레임 버퍼 메모리와 같은 RAM, 또는 어떤 다른 적합한 유형의 메모리일 수도 있는 메모리(406)를 포함한다. 장치(400)는 또한 더 큰 집적 회로의 일부일 수 있고, 실행될 때 마이크로프로세서가 제시된 동작들을 수행하게 하는 실행가능한 명령어들을 그 상에 저장하는 RAM, ROM, 인터넷 서버들에서의 분산 메모리 또는 어떤 다른 적합한 메모리와 같은 메모리(미도시됨)에 저장되는 실행가능한 명령어들(앞서 언급된 바와 같은)을 실행하는 마이크로프로세서로서 만들어질 수도 있는 회로(408)를 포함하는 것으로 도시되어 있다.
이 예에서 카메라 서브시스템(402)은 롤링 셔터 구성을 갖는 CMOS 이미징 센서인 것으로 도시되어 있다. 하지만, 롤링 셔터 동작을 이용하는 임의의 이미징 센서들도 또한 본 명세서에서 서술되는 동작들로부터 이득을 볼 수 있다. 예를 들면, 카메라 서브시스템(402)은 미리 보기 모드 동안에 임시적으로 메모리(406)에 저장되는 캡쳐된 프레임들의 스트림(406)을 캡쳐하고 제공한다. 이 예에서 도시된 바와 같이, 프레임 N(412)은 현재 프레임이고, 프레임 N+1은 시간상 다음에 캡쳐되는 프레임이며, 기타 이와 같다. 회로(408)(또한 컨트롤러라고 지칭됨)는 움직임 추정(motion estimation) 회로(416), 움직임 보상(motion compensation) 회로(418), 루미넌스 기반의 프레임 감산(frame subtraction) 회로(420), 플리커 신호 검출 회로(422), 그리고 카메라 노출 시간 제어 정보(camera exposure time control information) 생성 회로(424)를 포함한다.
움직임 추정 회로(416)는 현재 프레임의 픽셀들과 후속의 순차적(이 예에서는) 프레임(414) 모두를 받아들이고, 프레임에서 움직임이 검출되는지를 판별한다. 예를 들면, 픽셀 값들이 변화되었는지를 판별하고 예를 들어 임의의 적합한 기법을 이용하여 영상이 하나의 행이나 열의 픽셀들이나 복수의 열들의 픽셀들만큼 왼쪽이나 오른쪽으로 시프트하였는지를 판별하기 위하여 각각의 프레임들로부터 동일한 위치들에서 픽셀들이 비교된다. 오정렬 검출의 하나의 예가 아래에서 추가로 서술된다. 도시된 바와 같이, 프레임들 사이의 장면 내용의 오정렬을 검출하기 위하여 움직임 추정 로직은 예컨대 픽셀 단위로, 블록 단위로, 또는 어떤 다른 적합한 단위로 현재 프레임(412)을 다음 프레임(414)과 비교한다. 움직임 추정 회로(416)는 x 방향으로의 옵셋 양을 나타내는 정렬 옵셋 정보(430)를 제공하고, 또한 이 예에서는 오정렬 내지 옵셋 정보로 도시된 y 방향으로의 옵셋 양(432)도 제공한다. 하지만, 단지 x나 y 중 어느 한 방향으로의 변화를 검출하는 것도 또한 채용될 수 있다는 것이 인지될 것이다. 옵셋 정보(430, 432)는 제2 프레임(414)이 제1 프레임(412)의 대응되는 위치들과 매치(match)되게 재정렬될(장면 내용이) 수 있도록 제2 프레임(414)과 함께 움직임 보상 회로(418)에 의해 수신된다. 그 결과는 옵셋 정보(430, 432)에 의거하여 오정렬이 판별되면 제2 프레임(414)을 제1 프레임과 정렬하는 재정렬된 제2 프레임(434)을 만드는 것이다.
루미넌스 기반의 프레임 감산 회로(420)는 현재 프레임(412)과 재정렬된 제2 프레임(424)에 대하여 픽셀 단위로 루미넌스 정보를 결정하고, 프레임들의 양 세트들로부터 루미넌스 데이터를 이용하고(재정렬된 제2 프레임과 제1 프레임 각각으로부터 픽셀 위치들에 대응되는 루미넌스 데이터를 감산함), 플리커 영상을 나타내는 데이터(438)(정렬된 프레임 차이)를 만든다. 플리커 신호 검출 회로(422)는 플리커가 검출되었는지를 판별하기 위해 데이터(438)의 에너지 레벨을 평가한다. 플리커 검출 신호(440)가 카메라 노출 조절 로직(424)에 제공되며, 이는 카메라 노출 시간 제어 정보(426)를 카메라 서브시스템(402)으로 전송하여 카메라 서브시스템은 플리커를 감소시키기 위해 카메라 노출 시간을 변화시킨다.
또한 도 5를 참조하면, 블록(500)에 도시된 것으로서 예컨대 회로(408)에 의해 수행될 수 있는 방법은 예컨대 움직임 추정 회로(416)를 이용하여 프레임들 사이의 장면 내용의 오정렬을 판별하기 위하여 제1 캡쳐된 프레임(412)을 제2 캡쳐된 프레임(414)과 비교한다. 블록(502)에 도시된 바와 같이, 상기 방법은 프레임들이 오정렬된 것으로 판별되면 제2 프레임을 제1 프레임과 재정렬함으로써 움직임 보상 회로(418)에 의해서와 같이 재정렬된 제2 프레임(434)을 만드는 것을 포함한다. 블록(504)에 도시된 바와 같이, 상기 방법은 플리커 신호 검출 회로(422)에 의해서와 같이 원치않는 플리커 조건이 존재하는지를 검출하기 위하여 예컨대 루미넌스 기반의 프레임 감산 회로(420)에 의해서와 같이 재정렬된 프레임의 루미넌스 데이터와, 제1 프레임으로부터의 루미넌스 데이터를 이용하는 것을 포함한다. 만일 상기 원치않는 플리커 조건이 존재한다면, 상기 방법은 플리커를 감소시키기 위하여 카메라의 이미징 센서에 대하여 노출 시간 제어 정보(426)를 생성하는 것을 포함한다.
도 6은 회로(408)에 의해 플리커를 검출하기 위하여 도 4에서 도시된 x 방향과 y 방향 모두와는 대조적으로 오직 y 방향으로만 픽셀들의 행들을 활용하는 하나의 예를 예시하는 것이다. 이 예에서 도시된 바와 같이, 그리고 아래에서 더 서술되는 바와 같이, 프레임들(412, 414)로부터의 픽셀들은 블록들(602, 604)에 의해 도시된 것처럼 RGB 포맷으로부터 루미넌스 값들로 변환된다(예컨대 아래의 식 (11)을 볼 것). 이 예에서는, 프레임들 각각에 대하여 전체 프레임이 블록들(606, 608)에서 도시된 것처럼 단일의 열(single column)로 투영된다(예컨대 아래의 식 (12)를 볼 것). 예를 들어 아래의 식들 (13)과 (14)를 수행함으로써 움직임 추정이 이루어지고, 아래에서 서술되는 바와 같이 열 시프트(column shift) 함으로써 움직임 보상(418)이 이루어진다. 플리커 검출 회로(422)가 좀 더 상세히 도시되고, 아래에서 더 상세히 서술된다. 원한다면 임의의 적합한 검출 회로도 또한 이용될 수 있다는 것이 인지될 것이다.
아래에서 추가로 제시되는 바와 같이, 다중-프레임 접근법은 장면으로부터 신호를 제거하고 플리커 검출 성능을 개선하기 위하여 프레임들 사이의 정렬을 이용한다.
먼저 I(x,y,d,i)를 영상 시퀀스라고 하고, 여기서 x와 y는 각각 열과 행 인덱스들을 나타낸다. d를 영상의 평면(plane)이라고 하고 i를 시퀀스에서 프레임 번호라고 하자. 모든 프레임은 다음과 같이 RGB로부터 루미넌스로 변환된다.
Figure 112011043485448-pct00010
영상에서 플리커 신호의 엄밀한 수직방향 성질이 주어지면 각 프레임의 열들은 다음의 열 투영(column projection)을 제공하기 위해 평균이 계산된다.
Figure 112011043485448-pct00011
여기서 M은 평균을 구할 열들의 총 개수이고 Y는 영상에서 열들의 총 개수이며, 표 1에 의해 주어지는 바와 같이 전체 프레임 정보와 비교하여 더 적게 처리하는 결과가 된다. 하지만, 원한다면 열 투영 접근법을 채용할 필요가 없다는 것이 인지될 것이다. 2개의 연속되는 프레임들의 열 투영들이 도 7에 도시되어 있다. 연속되는 프레임들이 시변(non-stationary) 시퀀스로부터 취해졌으므로 이들 프레임들간의 오정렬을 눈으로 볼 수 있다. 이 오정렬을 해결하기 위해 블록(610)에서 도시된 바와 같이 연속되는 투영들의 교차-상관도(cross-correlation)가 계산된다.
Figure 112011043485448-pct00012
도 7의 투영들의 교차 상관도가 도 8에 도시되어 있다. 이 함수의 피크의 인덱스는 프레임들 사이의 수직 시프트(vertical shift)에 해당하는 것으로 가정된다. 블록(612)은 이 수직 시프트를 결정하는 것을 도시한 것이다.
Figure 112011043485448-pct00013
프레임들 사이의 시프트는 감산하기 전에 2개의 투영들을 정렬하는데 이용된다.
Figure 112011043485448-pct00014
블록(614)에서 도시된 바와 같이 열 투영차가 해밍 윈도우(hamming window) W(D(y))를 이용하여 윈도우되고(windowed), 그 뒤의 신호가 블록(616)에서 도시된 바와 같이 ω가 공간 주파수라고 할 때 신호의 푸리에(Fourier) 표현 F(ω)를 산출하기 위해 FFT를 이용하여 주파수 영역으로 변환된다. 블록(618)에서 도시된 바와 같이 신호의 파워 스펙트럼(power spectrum)이 다음에 의해 구해진다.
Figure 112011043485448-pct00015
블록(620)에서 도시된 바와 같이, 플리커는 플리커 주파수에 가장 가까운 빈(bin)의 신호 파워 S(ω0)를 주위 주파수 빈들의 평균 신호 파워와 비교함으로써 검출된다. 주위 빈들은 0.25ω0<ω<0.75ω0 그리고 1.25ω0<ω<1.75ω0 에 의해 정의된다. 블록(622)에서 도시된 바와 같이, 주위 빈들의 평균은 잡음 레벨 N으로서 정의된다. 그러므로, 신호 대 잡음 비(signal to noise ratio)는 아래의 식 (17)에서 정의되고 블록(624)에서 도시되어 있다. 본 명세서에서 SNR은 다양한 조건들 하에서 검출된 플리커 신호의 세기를 평가하는데 이용된다. 식 (17)의 역치(threshold)를 적용함으로써, 그것은 또한 간단한 분류기로서 이용될 수 있다. 블록(626)은 신호를 분류하는 것을 도시한 것이다. SNR이 역치를 초과하면, 블록(424)에서 도시된 바와 같이 신호는 플리커로서 분류된다. SNR이 역치를 초과하지 않으면, 블록(628)에서 도시된 바와 같이 신호는 플리커로서 분류되지 않고 다음 프레임이 평가된다.
Figure 112011043485448-pct00016
실험 영상 시퀀스들에 대한 테스트 결과들
5 메가 픽셀(mega pixel) CMOS 센서가 도시된 영상들의 시퀀스들을 캡쳐하는 실시간 이미징 시스템으로 이용되었다. 도 9와 도 10에서 도시된 바와 같이 시퀀스들은 2개의 서로 다른 장면들, 플랫 필드와 복잡한 장면으로 캡쳐된다. 양 장면들은 60 Hz 전원에 의해 전력이 공급되는 5400K 형광 소스(source)에 의해 45도 각도에서 조명이 되었다. 양 장면들의 전반적인 빛의 레벨은 1000 룩스(lux)이다.
이 시퀀스들은 실제 이미징 조건들을 재현하도록 설계되고 다양한 조건들에서 절차의 효율성을 탐색한다. 시퀀스들은 실시간 이미징 시스템에서 요구되는 실제 프레임 레이트(frame rate)를 나타내는 15 fps와 30 fps 모두에서 캡쳐된다. 카메라와 이미징 시스템의 대역폭의 제한들로 인해 이들 프레임 레이트에서 전체 5 메가 픽셀을 모으는 것은 피하였다. 각 프레임 레이트에서 캡쳐되는 영상 크기(dimension)들은 아래의 표 1에서 도시되어 있다.
제안된 플리커 모델의 성질들을 고려한 후에 추가적인 제한 조건들이 센서 프로그래밍에 부과된다. 앞서 논의된 바와 같이, 영상 플리커는 집광 시간 식(식 (2))에서 Δt=T/2 일 때 최대값들을 가진다. 결과적으로 60 Hz 소스의 플리커 크기를 최대화하기 위해 12.5 ms와 29.2 ms의 집광 시간들이 이용된다. 또한, 제안된 절차는 연속되는 프레임들 사이의 차이를 계산한다. 플리커가 시불변(stationary)이면 프레임 감산은 전체 플리커 신호를 제거할 것이다. 이를 방지하고 차이 영상(difference image)에서 고조파(harmonic)의 크기를 최대화하기 위해 프레임들 사이에 T/2의 위상차가 도입된다. 이들 제한 조건들을 이용하여 센서가 표 1에서 도시된 행 지연들로 프로그램된다. 30 fps 시퀀스의 크기들이 15 fps 시퀀스의 1/2이기 때문에 15 fps와 30 fps 사이의 행 지연들은 유사하다. 결과적으로 15 fps의 프레임 각각이 2배 많은 주기들을 포함하겠지만 픽셀들에서 측정되는 공간 주기는 두 프레임 레이트 사이에서 유사하다.
영상 시퀀스의 성질들
15 fps 30 fps
행 지연(μs) 64.92 67.98
공간 주기 128.36 122.59
주파수 8.11×10-3 7.79×10-3
X: 폭(픽셀들) 1296 648
Y: 높이(픽셀들) 965 427
시불변 장면들(stationary scenes)
개시된 절차는 장면 내용에 움직임이 없는 시불변 장면들을 이용하여 평가될 수 있다. 플랫 필드 영상 시퀀스는 플리커 신호의 검출에 방해가 되는 어떤 장면 데이터도 존재하지 않기 때문에 가장 간단한 경우에 해당한다. 결과적으로 도 9의 영상들에서 플리커 신호를 쉽게 볼 수 있다. 본 절차가 영상들의 시퀀스에 적용된다. 이 실험을 위하여 각 프레임의 모든 열들이 이용되므로, M=Y이다. 도 11은 시퀀스에서 두 프레임들의 차이 신호를 도시한 것이다. 차이 신호는 명확히 주기 신호를 보여준다. 상기 신호의 파워 스펙트럼은 도 12에서 도시되어 있고, 명확히 0.0078의 플리커 주파수를 보여준다.
4개의 영상 시퀀스들이 처리되었고 그 시퀀스들에 대한 평균 SNR이 기록되었다. 그 결과들이 표 2에 보여져 있다. 높은 평균 SNR은 플랫 필드 장면에서 플리커를 검출하는 것이 15 fps 및 30 fps 모두에서 대수롭지 않음을 확인시켜준다. SNR이 30 fps에서 약간 감소하지만 일반적으로 4개의 시퀀스들 모두에서 쉽게 검출된다.
본 절차를 이용한 플랫 필드 영상 시퀀스들의 플리커 신호의 평균 SNR
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
25.13 25.02 22.01 22.58
좀 더 도전적인 시불변 조건이 복잡한 장면의 시퀀스들을 이용하여 평가된다. 이들 시퀀스의 평균 SNR은 아래의 표 3에서 도시되어 있다. 또 다시 SNR이 매우 높고 플리커가 쉽게 검출될 수 있다. 양 장면들에서 집광 시간이 증가함에 따라 SNR에서 약간의 감소가 있다. 이는 집광 시간이 증가함에 따라 플리커의 크기가 감소한다는 사실과 일치한다. 게다가 평균 SNR은 더 빠른 프레임 레이트들에 대하여 실질적으로 더 낮다. 빠른 프레임 레이트들에서 영상의 플리커는 더 긴 파장을 가지고 더 적은 개수의 주기들을 가진다. 결과적으로 플리커 주파수는 DC 항에 매우 가깝게 놓이기 때문에 FFT에서 해결하기가 더욱 어렵다.
복잡한 시불변 장면 영상 시퀀스들에서 플리커 신호의 평균 SNR
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
28.13 27.26 19.67 18.42
이들 결과는 전체 프레임을 감산한 결과가 되는 각 영상의 모든 열들을 이용하여 만들어졌다. 전체 프레임을 감산하는 것이 항상 실용적인 것은 아닐 수 있다. 차에 있어서 열들의 개수를 제한하는 것의 영향이 도 13에 도시되어 있다. 더 적은 개수의 열들이 열 투영 P(y,i)에 포함될수록 SNR은 감소한다. 일반적으로, 40 퍼센트의 열들로 절차를 수행하면 수확체감(diminishing returns)을 만들어내는 지점을 뛰어넘어 받아들일 만한 SNR을 만들어낸다. 이런 이유로 각 프레임에서 중앙 40 퍼센트의 열들이 이용된다.
시변 장면들(non-stationary scenes)
시변 장면들은 실제 플리커 검출 성능의 더욱 현실적인 평가를 제공한다. 3개의 전형적으로 이용되는 경우들은 손떨림(handshake), 수직 패닝(vertical panning), 그리고 수평 패닝(horizontal panning)일 수 있다. 테스트를 함에 있어, 손떨림 시퀀스들이 본 절차 중 정렬 단계를 거치는 절차와 정렬 단계를 거치지 않는 절차를 이용하여 처리되었다. 평균 SNR 결과들이 아래의 표 4와 표 5에 요약되어 있다. 표 4의 결과로부터 15 fps에서 정렬이 없는 경우에 SNR이 크게 감소된다는 것이 자명하다. SNR의 감소는 30 fps에서 훨씬 덜 심하다. 이는 더 빠른 프레임 레이트로 인해 프레임들 사이에 장면이 너무 멀리 시프트하는 것이 방지되기 때문일 가능성이 높다. 15 fps에서 장면은 프레임들 사이에 훨씬 더 많이 시프트하고, SNR은 정적인 장면의 경우로부터 약 16dB 정도 떨어졌다. 표 5에서는, 정렬 절차를 이용할 때 그 결과들이 평균 SNR에 있어 상당한 증가를 보여준다. SNR에 있어 가장 상당한 감소를 보여줬던 15 fps에서 5-6 dB의 개선이 이루어졌다.
정렬하지 않은 시변 손떨림 장면들에서 플리커 신호의 평균 SNR (dB)
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
12.59 11.01 18.39 14.90
정렬한 시변 손떨림 장면들에서 플리커 신호의 평균 SNR (dB) 및 결과적인 dB 이득
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
18.79 16.20 19.35 15.52
평균 SNR 개선
6.20 5.19 0.97 0.62
위의 SNR 결과들은 전체 시퀀스에 대한 평균이다. 실제에서는 그래도 손떨림에 의해 생성되는 랜덤한 움직임으로 인해 프레임들마다의 개별 결과들에 있어 상당한 변동성이 존재한다. 시변 장면들의 영향이 도 14와 도 15에서 명확히 보여진다. 도 14와 도 15는 정렬을 한 경우와 정렬을 하지 않은 경우에 28 픽셀들의 큰 시프트를 가진 2개의 연속되는 열 투영들(column projections) 사이의 차의 파워 스펙트럼을 보여주는 것이다. 도 14는 정렬을 하지 않은 경우 0.01에서 더 지배적인 피크가 존재하기 때문에 플리커 주파수가 검출될 수 없다는 것을 보여준다. 도 15는 정렬을 한 경우 절차가 쉽게 0.0078 근처에서 플리커 주파수를 분리할 수 있음을 보여준다.
수평 및 수직 패닝 시퀀스들도 또한 정렬을 하는 절차와 정렬을 하지 않는 절차를 통해 처리된다. 평균 SNR 결과들이 표 6과 표 7에서 보여진다. 표 6의 수평 패닝 결과들은 제안된 절차가 플리커 검출 성능을 개선하지 못함을 나타낸다. 일부 조건들에서 작은 개선이 있긴 하지만, 개별 프레임들을 더 면밀히 살펴보면 높은 SNR을 달성한 경우에서 수직 이동이 드러났다. 수직으로 정렬을 확장하기 위해 추가의 작업이 수행될 수 있을 것이다. 단지 40 퍼센트의 열들이 선택되고 있다고 할 때 각각의 프레임으로부터 정렬된 열들을 선택함으로써 정렬이 얻어질 수 있을 것이다.
수평 패닝 장면들에서 플리커 신호의 평균 SNR (dB)
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
정렬 안됨 10.60 3.53 13.29 4.57
정렬됨 12.22 3.16 14.41 5.23
수직 패닝 장면들에서 플리커 신호의 평균 SNR (dB)
15 fps 30 fps
12.5 ms 29.2 ms 12.5 ms 29.2 ms
정렬 안됨 8.74 4.65 4.07 -1.45
정렬됨 12.99 6.48 11.40 7.98
표 7에서 수직 패닝의 결과들은 정렬 단계가 모든 조건들에서 상당한 개선을 제공함을 나타낸다. 평균 SNR에 있어 가장 상당한 개선은 30 fps에서 일어난다. 개별 프레임마다의 결과들을 더 면밀히 살펴보면 이 개선의 정도가 드러난다. 거짓 증거들을 감소시키기 위해 역치 SNR이 5로 설정되어 검출들을 분류하는데 이용된다. 이 역치를 30 fps의 경우에 적용하여 표 8에서 보여지는 검출 비율들을 만들어낸다. 검출 비율이 정렬된 절차에서 상당히 증가하는 것이 자명하다.
도 16의 수직 시프트에 대한 SNR 개선은 성능이 30 fps에서 더 크게 증가하는 이유를 나타낸다. 도 16에서 교차 상관도에 의해 판별되는 수직 시프트가 수평축 상에 도시된다. 열 투영들을 정렬함으로써 구해지는 SNR의 증가는 수직축 상에 도시된다. 15 fps에서는 약 20의 시프트의 경우에 최대의 개선이 생기며, 이 지점에서 SNR의 증가는 정렬이 60 부근에서 SNR을 실제로 악화시킬 때까지 감소한다. 15 fps에서 플리커의 공간 주기는 128 픽셀들이기 때문에 주기의 대략 절반의 시프트는 연속되는 프레임들 사이에 발생된 위상차가 사라지도록 할 것이다. 결과적으로 60 부근에서 플리커 신호는 차이를 구하는 단계 동안에 상쇄될 것이다. 15 fps 및 29 ms 에서 정렬 안된 절차에 대하여 SNR의 개선은 없다. 15 fps 및 12.5 ms 에서 정렬된 절차는 실제로 더 나쁜 성능을 가진다. 이는 12.5 ms에서 플리커 신호 크기가 매우 크며 장면 내용과 동일 차수의 크기라는 사실 때문일 가능성이 있다. 그러므로 정렬 안된 감산은 여전히 상대적으로 강한 플리커 신호를 검출할 수 있다. 30 fps에서 가장 자명한 차이는 처리되는 시퀀스들에서 25 픽셀들보다 큰 수직 시프트는 없다는 것이다. 더 높은 프레임 레이트로 인해 장면은 프레임들 사이에 절반의 크기만큼 시프트한다. 결과적으로 정렬 시프트는 30 fps에서 122 픽셀 주기의 절반보다 많이 아래이고 SNR의 개선은 강건한 검출을 가능하게 해준다.
정렬한 경우와 정렬하지 않은 경우에 30 fps에서의 검출 비율들
12 ms 29 ms
정렬 안됨 0.37 0.05
정렬됨 0.68 0.74
시변(non-stationary) 장면들을 다루기 위하여, 다중-프레임 검출 절차가 SNR을 증가시키는 수직 정렬(및/또는 원한다면 수평 정렬)과 함께 이용된다. 개시된 절차는 공간 주파수의 절반보다 작은 프레임들 사이의 시프트에 대하여 강건하고 구현하기 쉬운 검출 시스템을 제안한다. 하지만, 상관도가 변하지 않는 한 시프트된 프레임들도 또한 이용될 수 있다.
앞서 언급된 바와 같이, 다른 장점들 중에서, 개시된 회로, 장치 및 방법은 플리커 검출 성능을 개선하기 위해 프레임들 사이의 정렬을 이용하는 다중-프레임 접근법을 제공한다. 프레임들 사이의 정렬을 이용하는 다중-프레임 접근법은 특히 시불변(stationary) 및 시변(non-stationary) 영상 시퀀스들 모두에 있어서 플리커를 검출할 수 있는 강건한 플리커 검출을 가능하게 하기 때문에 유리하다. 이는 예컨대 손떨림, 수직 패닝, 수평 패닝 이미징 시나리오들에서 개선된 플리커 검출을 제공한다. 형광 조명과 CMOS 이미징 센서의 롤링 셔터 사이의 상호 작용에 의해 유발되는 원치않는 영향들을 감소시키기 위해 성공적인 플리커 검출은 필수적이다.
다른 장점들도 당해 기술분야의 통상의 기술을 가진 자들에 의해 인지될 수 있을 것이다.본 개시의 앞선 상세한 설명과 본 명세서에서 서술된 예들은 예시와 설명만을 위한 목적들로 제공된 것이고 제한 사항으로서 제공된 것은 아니다. 그러므로 본 개시는 앞서 개시되고 본 명세서에서 청구되는 기본적인 바탕 원리들의 정신과 범위 내에 들어오는 임의의 그리고 모든 수정들, 변경들 또는 균등물들을 커버(cover)하는 것으로 고려된다.

Claims (21)

  1. 롤링 셔터 구성(rolling shutter configuration)을 갖는 CMOS 이미징 센서(imaging sensor)와 그리고 회로를 포함하는 장치로서,
    상기 회로는,
    상기 CMOS 이미징 센서에 의해 캡쳐(capture)되는 제1 프레임과 상기 CMOS 이미징 센서에 의해 캡쳐되는 제2 프레임 사이의 장면 내용(scene content)의 오정렬(misalignment)을 판별하기 위해 상기 제1 프레임을 상기 제2 프레임과 비교하고;
    오정렬이 있는 것으로 판별되면 상기 제2 프레임을 상기 제1 프레임에 대해 재정렬(realign)함으로써 재정렬된 제2 프레임을 만들며;
    원치않는 플리커 조건(flicker condition)이 존재하는지를 판별하기 위해 상기 재정렬된 제2 프레임으로부터의 루미넌스 데이터(luminance data)와 상기 제1 프레임으로부터의 루미넌스 데이터를 이용하고, 만일 원치않는 플리커 조건이 존재한다면 플리커를 감소시키기 위하여 상기 CMOS 이미징 센서의 노출 시간(exposure time)을 조절하고; 그리고
    제1 열 투영(column projection)을 만들기 위해 상기 제1 프레임을 열(column)에 투영시키고, 제2 열 투영을 만들기 위해 상기 제2 프레임을 열에 투영시키고, 그리고 상기 제1 열 투영과 상기 제2 열 투영 사이의 교차-상관 값(cross-correlation value)을 계산함으로써, 상기 프레임들 사이의 장면 내용의 오정렬을 판별하도록 동작가능한 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 회로는 오로지 y-방향에서의 픽셀(pixel)들의 행(row)들만을 활용함으로써 오정렬을 판별하기 위하여 상기 제1 프레임을 상기 제2 프레임과 비교하는 것을 특징으로 하는 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 회로는, 상기 제1 프레임과 관련된 복수의 열 값(column value)들을 평균화함으로써 상기 제1 열 투영을 만들고, 그리고 상기 제2 프레임과 관련된 복수의 열 값들을 평균화함으로써 상기 제2 열 투영을 만들도록 동작가능한 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    상기 회로는 상기 제1 프레임과 관련된 적어도 일 블록의 픽셀들을 상기 제2 프레임과 관련된 대응하는 적어도 일 블록의 픽셀들과 비교함으로써 상기 프레임들 사이의 장면 내용의 오정렬을 판별하도록 동작가능한 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 회로는 상기 제1 열 투영에 대해 재정렬되게 상기 제2 열 투영을 열-시프트(column-shift)시킴으로써 상기 재정렬된 제2 프레임을 만들도록 동작가능한 것을 특징으로 하는 장치.
  7. 제1항에 있어서,
    상기 회로는 플리커 주파수(flicker frequency)에 가장 가까운 빈(bin)에서의 신호 파워(signal power)를 주위의 주파수 빈들의 평균 신호 파워와 비교함으로써 원치않는 플리커 조건이 존재하는지를 판별하도록 동작가능한 것을 특징으로 하는 장치.
  8. 전자 장치에 의해 수행되는 방법으로서,
    이미징 센서에 의해 캡쳐되는 제1 프레임과 상기 이미징 센서에 의해 캡쳐되는 제2 프레임 사이의 장면 내용의 오정렬을 판별하기 위해 상기 제1 프레임을 상기 제2 프레임과 비교하는 단계와;
    오정렬이 있는 것으로 판별되면 상기 제2 프레임을 상기 제1 프레임에 대해 재정렬함으로써 재정렬된 제2 프레임을 만드는 단계와;
    원치않는 플리커 조건이 존재하는지를 판별하기 위해 상기 재정렬된 제2 프레임으로부터의 루미넌스 데이터와 상기 제1 프레임으로부터의 루미넌스 데이터를 이용하는 단계와;
    만일 원치않는 플리커 조건이 존재한다면 플리커를 감소시키기 위하여 상기 이미징 센서의 노출 시간을 조절하는 단계와;
    제1 열 투영을 만들기 위해 상기 제1 프레임을 열에 투영시키는 단계와;
    제2 열 투영을 만들기 위해 상기 제2 프레임을 열에 투영시키는 단계와; 그리고
    상기 프레임들 사이의 장면 내용의 오정렬을 판별하기 위해 상기 제1 열 투영과 상기 제2 열 투영 사이의 교차-상관 값을 계산하는 단계를 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  9. 제8항에 있어서,
    상기 프레임들 사이의 장면 내용의 오정렬을 판별하기 위하여 상기 이미징 센서에 의해 캡쳐되는 상기 제1 프레임을 상기 이미징 센서에 의해 캡쳐되는 상기 제2 프레임과 비교하기 위해 오로지 y-방향에서의 픽셀들의 행들만을 활용하는 단계를 더 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 제1 프레임과 관련된 복수의 열 값들을 평균화함으로써 상기 제1 열 투영을 만드는 단계와; 그리고
    상기 제2 프레임과 관련된 복수의 열 값들을 평균화함으로써 상기 제2 열 투영을 만드는 단계를 더 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  12. 제8항에 있어서,
    상기 프레임들 사이의 장면 내용의 오정렬을 판별하기 위하여 상기 제1 프레임과 관련된 적어도 일 블록의 픽셀들을 상기 제2 프레임과 관련된 대응하는 적어도 일 블록의 픽셀들과 비교하는 단계를 더 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  13. 제8항에 있어서,
    상기 재정렬된 제2 프레임을 만들기 위해 상기 제1 열 투영에 대해 재정렬되도록 상기 제2 열 투영을 열-시프트(column-shift)시키는 단계를 더 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  14. 제8항에 있어서,
    플리커 주파수에 가장 가까운 빈에서의 신호 파워를 주위의 주파수 빈들의 평균 신호 파워와 비교하는 단계와; 그리고
    원치않는 플리커 조건이 존재하는지를 판별하는 단계를 더 포함하는 것을 특징으로 하는 전자 장치에 의해 수행되는 방법.
  15. 회로를 포함하는 집적 회로로서,
    상기 회로는,
    캡쳐된 제1 프레임과 캡쳐된 제2 프레임 사이의 장면 내용의 오정렬을 판별하기 위해 상기 제1 프레임을 상기 제2 프레임과 비교하고;
    오정렬이 있는 것으로 판별되면 상기 제2 프레임을 상기 제1 프레임에 대해 재정렬함으로써 재정렬된 제2 프레임을 만들며;
    원치않는 플리커 조건이 존재하는지를 판별하기 위해 상기 재정렬된 제2 프레임으로부터의 루미넌스 데이터와 상기 제1 프레임으로부터의 루미넌스 데이터를 이용하고, 만일 원치않는 플리커 조건이 존재한다면 플리커를 감소시키기 위하여 카메라의 이미징 센서에 출력되는 노출 시간 제어 정보를 생성하고; 그리고
    제1 열 투영을 만들기 위해 상기 캡쳐된 제1 프레임을 열에 투영시키고, 제2 열 투영을 만들기 위해 상기 캡쳐된 제2 프레임을 열에 투영시키고, 그리고 상기 제1 열 투영과 상기 제2 열 투영 사이의 교차-상관 값을 계산함으로써, 상기 프레임들 사이의 장면 내용의 오정렬을 판별하도록 동작가능한 것을 특징으로 하는 집적 회로.
  16. 제15항에 있어서,
    상기 회로는 오로지 y-방향에서의 픽셀들의 행들만을 활용함으로써 오정렬을 판별하기 위하여 상기 캡쳐된 제1 프레임을 상기 캡쳐된 제2 프레임과 비교하는 것을 특징으로 하는 집적 회로.
  17. 삭제
  18. 제15항에 있어서,
    상기 회로는, 상기 캡쳐된 제1 프레임과 관련된 복수의 열 값들을 평균화함으로써 상기 제1 열 투영을 만들고, 그리고 상기 캡쳐된 제2 프레임과 관련된 복수의 열 값들을 평균화함으로써 상기 제2 열 투영을 만들도록 동작하는 것을 특징으로 하는 집적 회로.
  19. 제15항에 있어서,
    상기 회로는 상기 캡쳐된 제1 프레임과 관련된 적어도 일 블록의 픽셀들을 상기 캡쳐된 제2 프레임과 관련된 대응하는 적어도 일 블록의 픽셀들과 비교함으로써 상기 프레임들 사이의 장면 내용의 오정렬을 판별하도록 동작가능한 것을 특징으로 하는 집적 회로.
  20. 제15항에 있어서,
    상기 회로는 상기 제1 열 투영에 대해 재정렬되게 상기 제2 열 투영을 열-시프트시킴으로써 상기 재정렬된 제2 프레임을 만들도록 동작가능한 것을 특징으로 하는 집적 회로.
  21. 제15항에 있어서,
    상기 회로는 플리커 주파수에 가장 가까운 빈에서의 신호 파워를 주위의 주파수 빈들의 평균 신호 파워와 비교함으로써 원치않는 플리커 조건이 존재하는지를 판별하도록 동작가능한 것을 특징으로 하는 집적 회로.
KR1020117013223A 2008-11-14 2009-11-13 롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로 KR101659058B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11474808P 2008-11-14 2008-11-14
US61/114,748 2008-11-14
US12/616,617 US8441551B2 (en) 2008-11-14 2009-11-11 Flicker detection circuit for imaging sensors that employ rolling shutters
US12/616,617 2009-11-11
PCT/CA2009/001652 WO2010054484A1 (en) 2008-11-14 2009-11-13 Flicker detection circuit for imaging sensors that employ rolling shutters

Publications (2)

Publication Number Publication Date
KR20110082628A KR20110082628A (ko) 2011-07-19
KR101659058B1 true KR101659058B1 (ko) 2016-09-23

Family

ID=42169572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117013223A KR101659058B1 (ko) 2008-11-14 2009-11-13 롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로

Country Status (6)

Country Link
US (1) US8441551B2 (ko)
EP (1) EP2356811B1 (ko)
JP (1) JP5866200B2 (ko)
KR (1) KR101659058B1 (ko)
CN (1) CN102273194B (ko)
WO (1) WO2010054484A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
US8462229B2 (en) 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
US8804003B2 (en) 2011-01-28 2014-08-12 Aptina Imaging Corporation Flicker detection for imaging devices with high frame rates
US9088727B2 (en) 2011-04-06 2015-07-21 Pelco, Inc. Spatially-varying flicker detection
US9723676B2 (en) 2011-07-26 2017-08-01 Abl Ip Holding Llc Method and system for modifying a beacon light source for use in a light based positioning system
US9287976B2 (en) * 2011-07-26 2016-03-15 Abl Ip Holding Llc Independent beacon based light position system
US9444547B2 (en) * 2011-07-26 2016-09-13 Abl Ip Holding Llc Self-identifying one-way authentication method using optical signals
US8334898B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
US9787397B2 (en) 2011-07-26 2017-10-10 Abl Ip Holding Llc Self identifying modulated light source
US8416290B2 (en) * 2011-07-26 2013-04-09 ByteLight, Inc. Method and system for digital pulse recognition demodulation
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
US8736711B2 (en) * 2012-03-19 2014-05-27 Htc Corporation Camera with anti-flicker capability and image capturing method with anti-flicker capability
WO2013165377A1 (en) * 2012-04-30 2013-11-07 Hewlett-Packard Development Company, L. P. A system and method of modifying the dynamic range
IL224200A (en) * 2013-01-13 2017-05-29 Opgal Optronic Ind Ltd Optimization of known light sources is known
JP5790949B2 (ja) * 2013-02-14 2015-10-07 カシオ計算機株式会社 カメラ、撮影制御プログラム及び撮影制御方法、並びにカメラシステム
JP6108946B2 (ja) * 2013-05-10 2017-04-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US9705600B1 (en) 2013-06-05 2017-07-11 Abl Ip Holding Llc Method and system for optical communication
CN104301617B (zh) * 2013-07-19 2017-09-22 富士通株式会社 闪烁检测方法和闪烁检测设备
JP6220225B2 (ja) * 2013-10-30 2017-10-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
JP6247530B2 (ja) * 2013-12-27 2017-12-13 キヤノン株式会社 撮像装置
US9686505B2 (en) * 2014-01-03 2017-06-20 Mediatek Singapore Pte. Ltd. Method for flicker detection and associated circuit
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2016132615A1 (ja) * 2015-02-16 2016-08-25 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
CN104994309B (zh) * 2015-07-07 2017-09-19 广东欧珀移动通信有限公司 一种消除相机光斑的方法及系统
KR102615091B1 (ko) * 2016-01-13 2023-12-19 삼성전자주식회사 촬영 장치 및 그 동작 방법
EP3625764A4 (en) * 2017-05-16 2021-03-03 Technion Research & Development Foundation Limited COMPUTER-BASED IMAGING OF THE ELECTRIC GRID
JP7224839B2 (ja) * 2018-10-09 2023-02-20 キヤノン株式会社 撮像装置およびその制御方法
US10798298B1 (en) * 2019-02-05 2020-10-06 Facebook Technologies, Llc Flicker detector
US11889199B2 (en) * 2019-06-04 2024-01-30 Sony Group Corporation Imaging device, signal processing device, signal processing method, program, and imaging apparatus
US10863106B1 (en) * 2019-10-21 2020-12-08 GM Global Technology Operations LLC Systems and methods for LED flickering and banding detection
CN110855901B (zh) * 2019-11-28 2021-06-18 维沃移动通信有限公司 摄像头的曝光时间控制方法及电子设备
CN113592754A (zh) * 2021-07-28 2021-11-02 维沃移动通信有限公司 图像生成的方法和电子设备
US11877071B1 (en) * 2022-09-22 2024-01-16 Apple Inc. Flicker and proximity detection in image sensors with embedded low power readout circuitry

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180493A (ja) * 2004-12-20 2006-07-06 Pixim Inc ビデオ画像における蛍光フリッカの自動検出
JP2007174678A (ja) * 2005-12-22 2007-07-05 Magnachip Semiconductor Ltd イメージセンサのフリッカー検出回路及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687670B2 (ja) * 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
CA2322593C (en) * 1999-10-08 2004-02-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detection and correction of illumination flicker
US7298401B2 (en) * 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images
US7187405B2 (en) * 2001-10-02 2007-03-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Automatic flicker frequency detection device and method
JP3823314B2 (ja) * 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP2004088720A (ja) * 2002-06-26 2004-03-18 Yokogawa Electric Corp カメラシステム
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7142234B2 (en) * 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
US7397503B2 (en) * 2003-07-28 2008-07-08 Micron Technology, Inc. Systems and methods for reducing artifacts caused by illuminant flicker
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
KR100557660B1 (ko) * 2004-07-29 2006-03-10 매그나칩 반도체 유한회사 영상 신호에서의 플리커 검출 방법
JP2006287362A (ja) * 2005-03-31 2006-10-19 Eastman Kodak Co デジタルカメラおよびホワイトバランス調整方法
JP4904749B2 (ja) * 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
JP4320677B2 (ja) * 2007-01-31 2009-08-26 三菱電機株式会社 手ぶれ補正装置
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180493A (ja) * 2004-12-20 2006-07-06 Pixim Inc ビデオ画像における蛍光フリッカの自動検出
JP2007174678A (ja) * 2005-12-22 2007-07-05 Magnachip Semiconductor Ltd イメージセンサのフリッカー検出回路及び方法

Also Published As

Publication number Publication date
CN102273194B (zh) 2015-08-19
KR20110082628A (ko) 2011-07-19
EP2356811B1 (en) 2014-09-17
JP5866200B2 (ja) 2016-02-17
EP2356811A4 (en) 2012-12-12
JP2012508998A (ja) 2012-04-12
CN102273194A (zh) 2011-12-07
US8441551B2 (en) 2013-05-14
US20100123810A1 (en) 2010-05-20
EP2356811A1 (en) 2011-08-17
WO2010054484A1 (en) 2010-05-20

Similar Documents

Publication Publication Date Title
KR101659058B1 (ko) 롤링 셔터들을 채용하는 이미징 센서들을 위한 플리커 검출 회로
US8068148B2 (en) Automatic flicker correction in an image capture device
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
US8890975B2 (en) Image processing apparatus, signal processing method and computer-readable medium for image flicker correction
JP5644451B2 (ja) 画像処理装置および画像処理方法、ならびに、撮像装置
KR101950396B1 (ko) 촬상장치 및 촬상방법
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
EP1324598A2 (en) Flicker correction apparatus, method and recording medium storing flicker correction program
KR101678547B1 (ko) 영상 시퀀스에서 플리커의 검출 및 억제
US20100329518A1 (en) Dynamic image compression method for human face detection
EP1763228A3 (en) Flicker reduction method, flicker reduction circuit and image pickup apparatus
US8462229B2 (en) Detection of flicker within captured imaged frames
US20080278603A1 (en) Method and apparatus for reducing flicker of image sensor
US20090147103A1 (en) Automatic flicker detection and correction apparatus and method in a video capture device
US9589339B2 (en) Image processing apparatus and control method therefor
JP2011193065A (ja) 撮像装置
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
CN102256062A (zh) 自动侦测影像闪烁的电路及其方法
US20140354859A1 (en) Automatic banding correction in an image capture device
JP2012235465A (ja) デジタルカメラ装置における画像処理装置及び方法
JP6401473B2 (ja) 撮像システムおよび撮像装置
KR101004623B1 (ko) 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법
US11012630B1 (en) Image processor and image processing method
Tajbakhsh et al. Illumination flicker correction and frequency classification methods
JP2008103928A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right