KR101919479B1

KR101919479B1 - 카메라 모듈에서 플리커를 검출하는 장치 및 방법

Info

Publication number: KR101919479B1
Application number: KR1020120046493A
Authority: KR
Inventors: 문성환; 이용구; 박민규
Original assignee: 삼성전자주식회사
Priority date: 2012-05-02
Filing date: 2012-05-02
Publication date: 2018-11-19
Also published as: US20130293742A1; KR20130123221A; US8988551B2

Abstract

본 발명은 카메라 모듈에서 플리커를 검출하는 장치 및 방법에 관한 것으로,연속되는 제1 및 제2이미지 프레임들을 생성하며, 상기 제1 및 제2이미지 프레임들에 제1 및 제2샘플링 영역들을 설정하며, 상기 제1 및 제2샘플링 영역들 각각에 포함된 전체 가로 라인 중에서 복수의 가로 라인들을 샘플링하고, 상기 샘플링된 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인별로 누적하여 제1이미지 프레임에 대한 제1누적 밝기값들과 제2이미지 프레임에 대한 제2누적 밝기값들을 생성하며, 상기 제1누적 밝기값들과 상기 제2누적 밝기값들을 이용하여 플리커를 검출하고, 상기 제1 및 제2샘플링 영역들은 서로 동일한 크기와 가로 시작 위치를 가지고 서로 다른 세로 시작 위치를 가지는 것을 특징으로 한다.

Description

카메라 모듈에서 플리커를 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING FLICKER IN A CAMERA MODULE}

본 발명은 카메라 모듈에 관한 것으로, 특히, 카메라 모듈에서 플리커를 검출하는 장치 및 방법에 관한 것이다.

최근에, 사용자는 카메라에 의해 촬상되는 이미지에 대한 만족도가 점차 높아지고 있다. 이러한 만족도를 감소시키는 요인으로는 여러 가지 요인이 있는데, 여러 가지 요인 중에서 한 가지는 이미지에 플리커가 발생하는 것이다. 여기서, 플리커는 이미지 프레임에 녹색 가로줄이 생성되는 현상을 말한다.

이러한 플리커를 검출하기 위해, 카메라 모듈은 연속하는 이미지 프레임들 간의 차 연산을 함으로써 플리커와 관련된 성분을 도출하고, 도출된 플리커와 관련된 성분을 이용하여 플리커를 제거하는 방식을 사용하였다.

그러나 이러한 방식은 연속하는 이미지 프레임간에 플리커에 대한 세로 위상 차가 일정 기준 미만인 경우, 플리커와 관련된 성분을 도출하기 어렵기 때문에, 이미지 프레임에 플리커가 발생되어도 플리커를 검출할 수 없는 문제점이 있었다. 그러므로 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.

따라서, 본 발명은 프레임간에 플리커에 대한 세로 위상 차가 일정 기준 미만인 경우에도 플리커를 검출할 수 있는 장치 및 방법을 제안한다.

상기한 과제를 해결하기 위한, 본 발명의 장치는, 카메라 모듈에서 플리커를 검출하는 장치에 있어서, 연속되는 제1 및 제2이미지 프레임들을 생성하는 카메라부와, 상기 제1 및 제2이미지 프레임들에 제1 및 제2샘플링 영역들을 설정하고, 상기 제1 및 제2샘플링 영역들 각각에 포함된 전체 가로 라인 중에서 복수의 가로 라인들을 샘플링하고, 상기 샘플링된 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인별로 누적하여 제1이미지 프레임에 대한 제1누적 밝기값들과 제2이미지 프레임에 대한 제2누적 밝기값들을 생성하고, 상기 제1누적 밝기값들과 상기 제2누적 밝기값들을 이용하여 플리커를 검출하는 제어부를 포함하고, 상기 제1 및 제2샘플링 영역들은 서로 동일한 크기와 가로 시작 위치를 가지고 서로 다른 세로 시작 위치를 가지는 것을 특징으로 한다.

상기한 과제를 해결하기 위한, 본 발명의 방법은, 카메라 모듈에서 플리커를 검출하는 방법에 있어서, 연속되는 제1 및 제2이미지 프레임들을 생성하며, 상기 제1 및 제2이미지 프레임들에 제1 및 제2샘플링 영역들을 설정하며, 상기 제1 및 제2샘플링 영역들 각각에 포함된 전체 가로 라인 중에서 복수의 가로 라인들을 샘플링하고, 상기 샘플링된 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인별로 누적하여 제1이미지 프레임에 대한 제1누적 밝기값들과 제2이미지 프레임에 대한 제2누적 밝기값들을 생성하며, 상기 제1누적 밝기값들과 상기 제2누적 밝기값들을 이용하여 플리커를 검출하고, 상기 제1 및 제2샘플링 영역들은 서로 동일한 크기와 가로 시작 위치를 가지고 서로 다른 세로 시작 위치를 가지는 것을 특징으로 한다.

본 발명은 연속하는 이미지 프레임들에 서로 다른 샘플링 영역을 설정하고, 설정된 샘플링 영역에 포함된 복수의 가로 라인들의 픽셀들에 대한 누적 밝기값들을 이용하여 플리커를 검출함으로써, 프레임간에 플리커에 대한 세로 위상 차가 일정 기준 미만인 경우에도 플리커를 검출할 수 있는 효과를 가진다.

도 1은 본 발명의 실시 예에 따른 휴대 단말기의 블록 구성도,
도 2는 본 발명의 실시 예에 따른 플리커 검출부의 블록 구성도,
도 3은 본 발명의 실시 예에 따른 휴대 단말기에서 플리커를 검출하는 흐름도,
도 4는 본 발명의 실시 예에 따른 두 영상에서 플리커를 검출하는 화면,
도 5는 본 발명의 실시 예에 따른 샘플링 라인에 대응되는 FFT 결과값을 나타내는 그래프이다.

이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명의 실시 예에 따른 카메라 모듈은 휴대 단말기에 구비될 수 있다. 여기서, 휴대 단말기는 휴대가 용이하게 이동 가능한 전자기기로서, 화상전화기, 휴대폰, 스마트 폰(smart phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA 단말기, UMTS(Universal Mobile Telecommunication Service) 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 단말기, E-Book, 휴대용 컴퓨터(Notebook, Tablet 등) 또는 디지털 카메라(Digital Camera) 등이 될 수 있다.

도 1은 본 발명의 실시 예에 따른 휴대 단말기의 블록 구성도이다.

도 1을 참조하면, 휴대 단말기는 제어부(101)와 표시부(105)와 키입력부(107)와 카메라부(109)와 메모리부(111)와 오디오 처리부(113)와 RF부(115)와 데이터 처리부(117)를 포함한다.

각 구성요소를 설명하면, RF부(115)는 휴대 단말기의 무선 통신 기능을 수행한다. 좀 더 자세히 설명하면, RF부(115)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 수신기 등을 포함한다. 그리고 데이터 처리부(117)는 송신되는 신호를 부호화 및 변조하는 송신기 및 수신되는 신호를 복조 및 복호화하는 수신기 등을 포함한다. 여기서, 데이터 처리부(117)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함할 수 있다.

그리고 오디오 처리부(113)는 데이터 처리부(117)에서 출력되는 수신 오디오 신호를 스피커를 통해 재생하거나 마이크로부터 발생되는 송신 오디오 신호를 데이터 처리부(117)로 전송하는 기능을 수행한다. 그리고 키입력부(107)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비하고, 표시부(105)는 영상 신호를 화면으로 표시하며, 제어부(101)로부터 출력 요청되는 데이터를 표시한다. 만약에, 표시부(105)가 정전식 또는 감압식 등의 터치 표시 화면 방식으로 구현될 경우, 키입력부(107)는 미리 설정된 최소한의 키만을 포함할 수 있으며 표시부(105)는 키입력부(107)의 키입력 기능을 일부 대체할 수 있다.

그리고 카메라부(109)는 피사체의 영상을 촬상하여 이미지 프레임을 생성하고, 생성된 이미지 프레임을 제어부(101)로 출력한다. 특히, 카메라부(109)는 연속하는 제1 및 제2이미지 프레임들을 제어부(101)로 출력한다. 그리고 메모리부(111)는 프로그램 메모리와 데이터 메모리를 포함한다. 여기서, 프로그램 메모리는 휴대 단말기의 일반적인 동작을 제어하기 위한 부팅(booting) 및 운영 시스템(Operating System, 이하 'OS'라 한다)을 저장하고, 데이터 메모리는 휴대 단말기 동작 중에 발생되는 각종 데이터들을 저장한다.

특히, 메모리부(111)는 복수의 광원에 대한 주파수(이하 '광원 주파수'라 한다)와 광원 주파수에 대응되는 플리커 개수를 저장한다. 여기서, 광원은 빛이 나오는 물체 혹은 도구를 말한다. 예를 들면, 광원은 복수의 형광등이 될 수 있다. 그리고 플리커 개수는 한 영상에서 검출 가능한 플리커의 개수를 나타내고, 플리커는 영상 내에서 녹색 가로줄이 발생하는 현상을 말한다.

이때, 메모리부(111)는 광원이 복수의 형광등인 경우, 표 1과 같이, 광원 주파수에 대한 플리커 개수를 저장할 수 있다.

광원 주파수	플리커 개수
50 Hz	a
60 Hz	b

여기서, a는 광원 주파수 50Hz에 대응되는 플리커 개수를 나타내고, b는 광원 주파수 60Hz에 대응되는 플리커 개수를 나타낸다. 한편, 플리커 개수는 인터그레이션 타임(intergration time)을 플리커 주기로 나눔으로써 계산된다. 예를 들면, 광원 주파수 50 Hz에 대한 플리커 주기가 10 ms이고 인터그레이션 타임이 27.5 ms인 경우, a는 2.75가 될 수 있다. 또 다른 예로, 광원 주파수 60 Hz에 대한 플리커 주기가 8.333 ms이고 인터그레이션 타임이 27.5 ms인 경우, b는 3.3이 될 수 있다. 여기서, 인터그레이션 타임은 이미지 프레임에 빛을 비추는 시간을 나타낸다.

그리고 제어부(101)는 휴대 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 특히, 제어부(101)는 카메라부(109)로부터 연속하는 제1 및 제2이미지 프레임들을 수신하고, 수신된 제1 및 제2이미지 프레임들 각각에 샘플링 영역을 서로 다르게 설정하고, 설정된 샘플링 영역들 각각에 포함된 가로 라인들 중에서 미리 지정된 개수의 라인을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적하고, 누적된 픽셀들의 밝기값들을 이용하여 플리커를 검출한다. 여기서, 픽셀의 밝기값은 녹색에 대한 밝기값이 될 수 있다.

좀 더 자세히 설명하면, 제어부(101)는 플리커 검출부(103)를 포함한다. 도 2는 본 발명의 실시 예에 따른 플리커 검출부(103)의 블록 구성도이다.

도 2를 참조하면, 플리커 검출부(103)는 제1이미지 샘플링 위치 설정부(201)와 제1라인 누적부(203)와 제2이미지 샘플링 위치 설정부(205)와 제2라인 누적부(207)와 셈플링 결과 저장부(209)와 감산부(substractor)(211)와 고속 푸리에 변환부(Fast Fourier Transform, 이하 'FFT'라 한다)(213)와 비교부(comparator)(215)를 포함한다.

각 구성 요소를 살펴보면, 제1이미지 샘플링 위치 설정부(201)는 카메라부(109)로부터 제1이미지 프레임을 수신하고, 제1이미지 프레임에 제1샘플링 영역을 설정하고, 제2이미지 샘플링 위치 설정부(205)는 카메라부(109)로부터 제2이미지 프레임을 수신하고, 제2이미지 프레임에 제2샘플링 영역을 설정한다. 이때, 제1샘플링 영역과 제2샘플링 영역은 서로 동일한 폭과 너비를 가진다. 단지, 제1이미지 샘플링 위치 설정부(201)와 제2이미지 샘플링 위치 설정부(205)는 제1샘플링 영역과 제2샘플링 영역의 가로 시작 위치가 동일하지만 제1샘플링 영역과 제2샘플링 영역의 세로 시작 위치가 다르도록 설정한다.

이와 같이, 제1 및 제2샘플링 영역의 폭과 너비를 동일하게 설정하는 이유는　동일한 크기 영역에서 제1이미지 프레임과 제2이미지 프레임간에 픽셀의 밝기값에 대한 차 연산을 실행해야 플리커의 주기가 검출되기 때문이다. 그리고 제1 및 제2 샘플링 영역의 가로 시작 위치가 동일해야 하는 이유는 이미지 프레임에서 가로줄로 발생하는 플리커를 제1 및 제2샘플링 영역 간에 세로 방향의 위상 변화 차이를 이용하여 검출하기 위해, 제1 및 제2샘플링 영역 각각에 포함된 라인들 간의 가로 위상 차를 없애기 위함이다. 한편, 제1 및 제2샘플링 영역의 세로 시작 위치를 다르게 설정하는 이유는 제1 및 제2샘플링 영역 간에 세로 방향의 위상 변화 차이가 작아서 플리커의 주기를 검출하기 어려운 경우를 방지하기 위함이다.

따라서,　제1 및 제2샘플링 영역의 크기와 가로 시작 위치를 동일하게 하고, 세로 시작 위치를 다르게 설정한다면, 제1 및 제2샘플링 영역에 포함된 라인 간의 밝기값들에 대한 차 연산을 수행하고 차 연산 결과에 대한 고속 푸리에 변환을 수행한 결과값은 플리커에 대한 주기 및 주파수 정보를 포함할 수 있다.

도 4를 예로 들어 설명하면, 401은 제1이미지 프레임을 나타내고, 403은 제1샘플링 영역을 나타내고, 405는 제2이미지 프레임을 나타내고, 407은 제2샘플링 영역을 나타낸다. 이때, 제1이미지 샘플링 위치 설정부(201)는 제1이미지 프레임(401)에 제1샘플링 영역(403)을 설정하고, 제2이미지 샘플링 위치 설정부(205)는 제2이미지 프레임(405)에 제1샘플링 영역(403)의 크기와 가로 시작 위치가 동일하지만 세로 시작 위치가 다른 제2샘플링 영역(407)을 설정한다.

그리고 제1라인 누적부(203)은 제1샘플링 영역에 포함된 가로 라인들 중에서 미리 지정 방식으로 복수의 라인들을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적함으로써 샘플링된 라인들에 대응되는 누적 밝기값들을 생성하고, 제1이미지 프레임의 샘플링 라인들에 대응되는 제1누적 밝기값들을 샘플링 결과 저장부(209)로 출력한다. 그리고 제2라인 누적부(207)는 제2샘플링 영역에 포함된 가로 라인들 중에서 미리 지정된 방식으로 복수의 라인들을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적함으로써 샘플링된 라인들에 대응되는 누적 밝기값들을 생성하고, 제2이미지 프레임의 샘플링 라인들에 대응되는 제2누적 밝기값들을 샘플링 결과 저장부(209)로 출력한다. 여기서, 미리 지정된 방식은 균일하게 샘플링하는 균일 방식을 포함한다.

이때, 제1라인 누적부(203)와 제2라인 누적부(207)는 FFT(213)의 입력 단자의 개수와 동일하게 제1 또는 제2샘플링 영역에 포함된 라인들을 샘플링할 수 있다. 예를 들면, FFT(213)의 입력 단자의 개수가 32개인 경우, 제1라인 누적부(203)와 제2라인 누적부(207)는 샘플링에 포함된 전체 라인들 중에서 32개의 라인을 샘플링할 수 있다.

그리고 제1라인 누적부(203)와 제2라인 누적부(207)는 제1 및 제2샘플링 영역에 포함된 라인들 중에서 동일한 위치에 존재하는 복수의 라인들을 샘플링한다. 예를 들면, 제1 또는 제2샘플링 영역에 320개의 라인이 포함되어 있고, FFT(213)의 입력 개수가 32개인 경우, 제1라인 누적부(203)는 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들을 샘플링하고, 제2라인 누적부(207)도 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들을 샘플링할 수 있다.

또 다른 예로, 제1 또는 제2샘플링 영역에 100개의 라인이 포함되어 있고, FFT(213)의 입력 개수가 32개인 경우, 제1라인 누적부(203)는 3번째와 4번째, 6번째와 7번째, 9번째와 10번째, ..., 100번째 라인들을 샘플링할 수 있다. 그리고 제2라인 누적부(207)도 제1라인 누적부(203)와 동일하게 라인들을 샘플링할 수 있다.

그리고 제1라인 누적부(203)와 제2라인 누적부(207)는 샘플링된 라인들에 포함된 픽셀의 밝기값들 각각을 누적함으로써 누적 밝기값들을 계산할 수 있다.

예를 들면, 제1라인 누적부(203)와 제2라인 누적부(207)가 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들을 각각 샘플링한 경우, 제1라인 누적부(203)는 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들에 포함된 픽셀들의 밝기값들을 라인별로 누적함으로써 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들 각각에 대한 최종 누적 밝기값들을 계산할 수 있다. 그리고 제2라인 누적부(207)도 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들에 포함된 픽셀들의 밝기값들을 누적함으로써 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인들 각각에 대한 최종 누적 밝기값들을 계산할 수 있다.

또 다른 예로, 제1라인 누적부(203)와 제2라인 누적부(207)가 3번째와 4번째, 6번째와 7번째, 9번째와 10번째, ..., 100번째 라인들을 각각 샘플링한 경우, 제1라인 누적부(203)와 제2라인 누적부(207) 각각은 3번째와 4번째, 6번째와 7번째, 9번째와 10번째, ..., 100번째 라인들에 포함된 픽셀들의 밝기값들을 라인별로 누적함으로써 3번째와 4번째, 6번째와 7번째, 9번째와 10번째, ..., 100번째 라인들에 대한 누적 밝기값들을 계산할 수 있다.이때, 누적 밝기값에 대한 비트(bit) 수가 미리 지정된 값 이상인 경우, 제1라인 누적부(203)와 제2라인 누적부(207) 각각은 누적 밝기값들 각각을 미지 지정된 값으로 나누거나 누적 밝기값에 소수점을 곱하거나 누적 밝기값을 쉬프트 연산함으로써 누적 밝기값의 비트 수를 줄인다.

예를 들면, 누적 밝기값이 23비트인 경우, 제1라인 누적부(203)와 제2라인 누적부(207) 각각은 누적 밝기값의 23비트 중에서 하위 비트 8비트를 버리는 쉬프트 연산을 수행함으로써 누적 밝기값의 비트 수를 줄일 수 있다.

그리고 샘플링 결과 저장부(209)는 제1라인 누적부(203)와 제2라인 누적부(207)로부터 수신된 제1누적 밝기값들과 제2누적 밝기값들을 저장하고, 저장된 제1누적 밝기값들과 제2누적 밝기값들을 감산부(211)로 출력한다. 그리고 감산부(211)는 제1 및 제2샘플링 영역 내에서 동일한 위치에 존재하는 라인간의 차이값들이 계산되도록 제1누적 밝기값들과 제2누적 밝기값들간의 차이값들을 계산하고, 계산된 누적 밝기 차이값들을 FFT(213)로 출력한다. 예를 들면, 샘플링된 라인의 개수가 32개인 경우, 감산부(211)는 제1누적 밝기값들 중에서 첫 번째 누적 밝기값과 제2누적 밝기값들 중에서 첫 번째 누적 밝기값간의 차이값을 계산하고, 이러한 방식을 반복하여 1 내지 32번째 누적 밝기값간의 차이값들을 계산할 수 있다.

그리고 FFT(213)는 누적 밝기값들간의 차이값들을 수신하고, 수신된 누적 밝기값들간의 차이값들에 대한 고속 푸리에 변환을 수행하여 차이값들에 대한 FFT 결과값들을 생성하고, 생성된 FFT 결과값들을 비교부(215)로 출력한다. 그리고 비교부(215)는 FFT(213)로부터 FFT 결과값들을 수신하고, 메모리부(111)에 저장된 복수의 광원 주파수들에 대한 플리커 주파수들 중에서 어느 하나와 FFT 결과값들을 비교하고, 비교 결과, FFT 결과값들 중 최대 FFT 결과값이 특정 광원 주파수에 대응되는 플리커 개수와 동일한지 여부를 확인한다. 여기서, 최대 FFT 결과값은 FFT 결과값들 중에서 가장 큰 값을 가지는 FFT 결과값을 나타낸다.

도 5를 예로 들어 설명하면, 60Hz의 플리커 개수가 3.1이고, 50Hz의 플리커 개수가 2.35이고, FFT 결과값들이 0.8, 0.6(507), 0.6(503), 3(501), 1(505), 0.4(509), 0.6인 경우, 비교부(215)는 FFT 결과값들 각각과 60 Hz의 플리커 개수를 비교함으로써, FFT 결과값들 중에서 최대 FFT 결과값이 60 Hz의 플리커 개수와 50 Hz의 플리커 개수 중 어느 하나와 일치하는지 여부를 확인한다. 만약에, 플리커 개수가 실수인 경우, 비교부(215)는 소수 첫 번째 자리에서 반올림된 플리커 개수와 최대 FFT 결과값을 비교할 수 있다.비교 결과, FFT 결과값들 중에서 4번째 FFT 결과값(501)이 3으로 가장 크고 60 Hz 플리커 개수와 일치하므로, 비교부(215)는 플리커가 발생한 것으로 결정할 수 있다.

만약에, 플리커가 발생된 것으로 결정하면, 비교부(215)는 인터그레이션 타임을 해당 광원 주파수에 동기화한다. 이때, 비교부(215)는 메모리부(111)에 저장된 플리커 개수들 중에서 최대 FFT 결과값과 동일한 것으로 확인된 플리커 개수를 확인하고, 메모리부(111)에 저장된 광원 주파수들 중에서 확인된 플리커 개수에 대응되는 광원 주파수를 확인하고, 인터그레이션 타임을 상기 광원 주파수에 동기화한다.

추가적으로, 최대 FFT 결과값이 특정 광원 주파수에 대응되는 플리커 개수와 일치하면, 비교부(215)는 해당 FFT 결과값과 그 주변의 FFT 결과값들 간의 차이가 미리 지정된 기준값 이상인지 여부를 확인한다. 여기서, 미리 지정된 기준값은 해당 FFT 결과값의 50 % 내지 90% 범위 내에서 결정될 수 있다. 그리고 해당 FFT 결과값과 그 주변의 FFT 결과값들 간의 차이가 미리 지정된 기준값 이상이면, 비교부(215)는 제1 및 제2이미지 프레임 내에 플리커가 발생된 것으로 결정하고, 그렇지 않으면, 제1 및 제2이미지 프레임 내에 플리커가 발생되지 않은 것으로 결정한다.

도 5를 예로 들어 설명하면, 4번째 FFT 결과값(501)과 60 Hz의 플리커 개수가 일치하므로, 비교부(215)는 4번째 FFT 결과값(501)과 3번째 FFT 결과값(503)간의 제1차이값(2.5)과 4번째 FFT 결과값과 5번째 FFT 결과값(505)간의 제2차이값(2.0)을 계산한다. 그리고 제1차이값과 제2차이값이 미리 지정된 기준값(예를 들면, 미리 지정된 기준값이 3번째 FFT 결과값의 60%인 1.8이라고 가정한다.)이상이므로, 비교부(215)는 플리커가 발생한 것으로 결정한다.

위의 예에서는 비교부(215)가 해당 FFT 결과값과 해당 FFT 결과값과 가장 가까운 두 개의 FFT 결과값들간의 차이를 고려하여 플리커 발생 여부를 확인하였지만, 비교부(215)는 해당 FFT 결과값과 주변의 네 개의 FFT 결과값들간의 차이를 고려하여 플리커 발생 여부를 확인할 수 있다.

도 3은 본 발명의 실시 예에 따른 휴대 단말기에서 플리커를 검출하는 흐름도이다.

도 3을 참조하면, 301 단계에서, 제어부(101)는 카메라부(109)로부터 제1 및 제2이미지 프레임을 수신하고, 제1이미지 프레임에 제1샘플링 영역을 설정하고, 제2이미지 프레임에 제2샘플링 영역을 설정한 후, 303 단계로 진행한다. 이때, 제1샘플링 영역과 제2샘플링 영역은 서로 동일한 폭과 너비를 가진다. 단지, 제어부(101)는 제1샘플링 영역과 제2샘플링 영역의 가로 시작 위치가 동일하지만 제1샘플링 영역과 제2샘플링 영역의 세로 시작 위치가 다르도록 설정한다.

그리고 303 단계에서, 제어부(101)는 제1 또는 제2샘플링 영역 내에서 복수의 라인들을 샘플링하고, 샘플링된 라인들에 포함된 픽셀들의 밝기값을 누적한 후, 305 단계로 진행한다.

좀 더 자세히 설명하면, 제어부(101)는 제1샘플링 영역에 포함된 가로 라인들 중에서 미리 지정 방식으로 복수의 라인들을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적함으로써 샘플링된 라인들에 대응되는 누적 밝기값들을 생성한다. 그리고 제어부(101)는 제2샘플링 영역에 포함된 가로 라인들 중에서 미리 지정된 방식으로 복수의 라인들을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적함으로써 샘플링된 라인들에 대응되는 누적 밝기값들을 생성한다. 여기서, 미리 지정된 방식은 균일하게 샘플링하는 균일 방식을 포함한다.

이때, 제어부(101)는 FFT(213)의 입력 단자의 개수와 동일하게 제1 또는 제2샘플링 영역에 포함된 라인들을 샘플링할 수 있다. 예를 들면, FFT(213)의 입력 단자의 개수가 32개인 경우, 제어부(101)는 샘플링에 포함된 전체 라인들 중에서 32개의 라인을 샘플링할 수 있다.

그리고 제어부(101)는 제1 및 제2샘플링 영역에 포함된 라인들 중에서 동일한 위치에 존재하는 복수의 라인들을 샘플링한다. 예를 들면, 제1 또는 제2샘플링 영역에 320개의 라인이 포함되어 있고, FFT(213)의 입력 개수가 32개인 경우, 제어부(101)는 제1샘플링 영역 내의 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인을 샘플링하고, 제2샘플링 영역 내의 1번째, 11번째, 21번째, 31번째, ..., 311번째 라인을 샘플링할 수 있다.

그리고 305 단계에서, 제어부(101)는 제1 및 제2샘플링 영역　 내에서 동일한 위치에 존재하는 누적 밝기값들간의 차이값들을 계산한 후, 307 단계로 진행한다. 예를 들면, 샘플링된 라인의 개수가 32개인 경우, 제어부(101)는 제1누적 밝기값들 중에서 첫 번째 누적 밝기값과 제2누적 밝기값들 중에서 첫 번째 누적 밝기값간의 차이값을 계산하고, 이러한 방식을 반복하여 1 내지 32번째 누적 밝기값간의 차이값들을 계산할 수 있다.

그리고 307 단계에서, 제어부(101)는 누적 밝기값들간의 차이값들에 대한 고속 푸리에 변환을 수행하여 차이값들에 대한 FFT 결과값들을 생성한 후, 309 단계로 진행한다. 그리고 309 단계에서, 제어부(101)는 FFT(213)로부터 FFT 결과값들을 수신하고, 메모리부(111)에 저장된 복수의 광원 주파수들에 대한 플리커 주파수들 중에서 어느 하나와 FFT 결과값들을 비교한다. 그리고 비교 결과, FFT 결과값들 중에서 최대 FFT 결과값과 특정 광원 주파수에 대응되는 플리커 개수가 동일한지 여부를 확인한다.

만약에, 최대 FFT 결과값이 플리커 개수와 동일하면, 제어부(101)는 311 단계로 진행하고, 그렇지 않으면, 313 단계로 진행한다.

만약에, 311 단계로 진행하면, 제어부(101)는 제1 및 제2이미지 프레임 내에 플리커가 발생된 것으로 결정한 후, 315 단계로 진행한다. 그리고 315 단계에서, 제어부(101)는 인터그레이션 타임을 해당 광원 주파수에 동기화한다. 이때, 제어부(101)는 메모리부(111)에 저장된 플리커 개수들 중에서 고속 푸리에 변환 결과값들 중 최대 FFT 결과값과 일치하는 플리커 개수를 확인하고, 메모리부(111)에 저장된 광원 주파수들 중에서 확인된 플리커 개수에 대응되는 광원 주파수를 확인하고, 인터그레이션 타임을 상기 광원 주파수에 동기화한다.

만약에, 313 단계로 진행하면, 제어부(101)는 제1 및 제2이미지 프레임 내에 플리커가 발생되지 않은 것으로 결정한다.

도 4는 본 발명의 실시 예에 따른 두 영상에서 플리커를 검출하는 화면이다.

도 4를 참조하면, 401은 제1이미지 프레임을 나타내고, 403은 제1샘플링 영역을 나타내고, 405는 제2이미지 프레임을 나타내고, 407은 제2샘플링 영역을 나타낸다. 그리고 409는 제1이미지 프레임(401)과 제2이미지 프레임(405)으로부터 검출된 플리커 주파수를 나타낸다.

제어부(101)는 제1이미지 프레임(401) 내에 제1샘플링 영역(403)을 설정하고 제2이미지 프레임(405) 내에 제2샘플링 영역(407)을 설정한다. 이때, 제어부(101)는 제2이미지 프레임(405)에 제1샘플링 영역(403)의 크기와 가로 시작 위치가 동일하지만 세로 시작 위치가 다른 제2샘플링 영역(407)을 설정한다. 그리고 제어부(101)는 제1 및 제2샘플링 영역들 각각에 포함된 가로 라인들 중에서 미리 지정된 개수의 라인을 샘플링하고, 샘플링된 가로 라인에 포함된 픽셀들의 밝기값들을 가로 방향으로 누적하고, 누적된 픽셀들의 밝기값들간의 차이값들을 이용하여 플리커 주파수(409)를 검출한다.

이와 같은 동작을 통해, 본 발명은 연속하는 이미지 프레임들에 서로 다른 샘플링 영역을 설정하고, 설정된 샘플링 영역에 포함된 복수의 가로 라인들의 픽셀들에 대한 누적 밝기값들을 이용하여 플리커를 검출함으로써, 프레임간에 플리커에 대한 세로 위상 차가 일정 기준 미만인 경우에도 플리커를 검출할 수 있는 효과를 가진다.

상술한 본 발명의 설명에서는 이동통신단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

101: 제어부 103: 플리커 검출부
105: 표시부 107: 키입력부
109: 카메라부 111: 메모리부
113: 오디오 처리부 115: RF부
117: 데이터 처리부

Claims

플리커를 검출하는 장치에 있어서,
제1이미지 프레임 및 제2이미지 프레임을 생성하는 카메라부; 및
제어부를 포함하고, 상기 제어부는,
상기 제1이미지 프레임에 제1샘플링 영역을 설정하고, 상기 제1샘플링 영역은, 상기 제1이미지 프레임의 적어도 일부 영역이고,
상기 제2이미지 프레임에 제2샘플링 영역을 설정하고, 상기 제2샘플링 영역은, 상기 제2이미지 프레임의 적어도 일부 영역이고,
상기 제1샘플링 영역에 포함된 전체 가로 라인들(horizontal lines) 중에서 복수의 가로 라인들을 샘플링하고,
상기 제1샘플링 영역에 상기 샘플링된 복수의 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인 별로 누적하여 상기 제1이미지 프레임에 대한 제1누적 밝기값들을 생성하고,
상기 제2샘플링 영역에 포함된 전체 가로 라인들 중에서 복수의 가로 라인들을 샘플링하고,
상기 제2샘플링 영역에 상기 샘플링된 복수의 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인 별로 누적하여 상기 제2이미지 프레임에 대한 제2누적 밝기값들을 생성하고,
상기 제1누적 밝기값들과 상기 제2누적 밝기값들의 차이값들에 기반하여 상기 플리커를 검출하도록 설정되고,
상기 제1샘플링 영역 및 상기 제2샘플링 영역은, 서로 동일한 크기 및 서로 동일한 가로 시작 위치를 가지고, 상기 제1이미지 프레임 및 상기 제2 이미지 프레임에서 서로 다른 세로 시작 위치를 가지는 것을 특징으로 하는 검출 장치.
제1항에 있어서,
상기 제어부는, 상기 제1샘플링 영역 내에서 복수의 가로 라인들을 샘플링하고, 상기 제2샘플링 영역 내에서 상기 샘플링된 복수의 가로 라인들과 동일한 위치에 존재하는 복수의 가로 라인들을 샘플링하는 것을 특징으로 하는 검출 장치.
제1항에 있어서,
복수의 광원 주파수들과 상기 복수의 광원 주파수들에 대응되는 복수의 플리커 개수들을 저장하는 메모리부를 더 포함하며,
상기 제어부는, 상기 제1누적 밝기값들과 상기 제2누적 밝기값들간의 상기 차이값들을 계산하고, 상기 차이값들을 고속 푸리에 변환함으로써 고속 푸리에 변환 결과값들을 생성하고, 상기 고속 푸리에 변환 결과값들 중 최대 고속 푸리에 변환 결과값이 상기 복수의 플리커 개수들 중에서 어느 하나와 일치하는지 여부를 확인하고, 상기 확인 결과, 상기 최대 고속 푸리에 변환 결과값이 상기 복수의 플리커 개수들 중에서 어느 하나와 동일하면, 상기 플리커가 발생된 것으로 결정하는 것을 특징으로 하는 검출 장치.
제3항에 있어서,
상기 제어부는, 상기 복수의 플리커 개수들 중에서 상기 최대 고속 푸리에 변환 결과값과 동일한 플리커 개수를 확인하고, 상기 복수의 광원 주파수들 중에서 상기 플리커 개수에 대응되는 광원 주파수를 확인하고, 인터그레이션 타임을 상기 광원 주파수에 동기화하는 것을 특징으로 하는 검출 장치.
제3항에 있어서,
상기 제어부는, 상기 최대 고속 푸리에 변환 결과값이 상기 복수의 플리커 개수들 중에서 어느 하나와 동일하지 않으면, 상기 플리커가 발생되지 않은 것으로 결정하는 것을 특징으로 하는 검출 장치.
플리커를 검출하는 방법에 있어서,
연속되는 제1이미지 프레임 및 제2이미지 프레임을 생성하는 과정과,
상기 제1이미지 프레임에 제1샘플링 영역을 설정하고 상기 제2이미지 프레임에 제2샘플링 영역을 설정하는 과정과, 상기 제1샘플링 영역은, 상기 제1이미지 프레임의 적어도 일부 영역이며, 상기 제2샘플링 영역은, 상기 제2이미지 프레임의 적어도 일부 영역이고,
상기 제1샘플링 영역에 포함된 전체 가로 라인들(horizontal lines) 중에서 복수의 가로 라인들을 샘플링하고 상기 제2샘플링 영역에 포함된 전체 가로 라인들 중에서 복수의 가로 라인들을 샘플링하는 과정과,
상기 제1샘플링 영역의 상기 샘플링된 복수의 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인 별로 누적하여 상기 제1이미지 프레임에 대한 제1누적 밝기값들을 생성하고 상기 제2샘플링 영역의 상기 샘플링된 복수의 가로 라인들에 포함된 픽셀들의 밝기값들을 가로 라인 별로 누적하여 상기 제2이미지 프레임에 대한 제2누적 밝기값들을 생성하는 과정과,
상기 제1누적 밝기값들과 상기 제2누적 밝기값들의 차이값들에 기반하여 상기 플리커를 검출하는 과정을 포함하고,
상기 제1샘플링 영역 및 상기 제2샘플링 영역은 서로 동일한 크기 및 서로 동일한 가로 시작 위치를 가지고, 상기 제1이미지 프레임 및 상기 제2이미지 프레임에서 서로 다른 세로 시작 위치를 가지는 것을 특징으로 하는 검출 방법.
제6항에 있어서,
상기 샘플링하는 과정은, 상기 제1샘플링 영역 내에서 복수의 가로 라인들을 샘플링하는 과정과,
상기 제2샘플링 영역 내에서 상기 샘플링된 복수의 가로 라인들과 동일한 위치에 존재하는 복수의 가로 라인들을 샘플링하는 과정을 포함하는 것을 특징으로 하는 검출 방법.
제6항에 있어서,
상기 플리커를 검출하는 과정은, 상기 제1누적 밝기값들과 상기 제2누적 밝기값들간의 상기 차이값들을 계산하는 과정과,
상기 차이값들을 고속 푸리에 변환함으로써 고속 푸리에 변환 결과값들을 생성하는 과정과,
상기 고속 푸리에 변환 결과값들 중에서 최대 고속 푸리에 변환 결과값이 미리 저장된 플리커 개수들 중에서 어느 하나와 동일한지 여부를 확인하는 과정과,
상기 확인 결과, 상기 최대 고속 푸리에 변환 결과값이 상기 미리 저장된 플리커 개수들 중에서 어느 하나와 동일하면, 상기 플리커가 발생된 것으로 결정하는 과정을 포함하는 것을 특징으로 하는 검출 방법.
제8항에 있어서,
상기 미리 저장된 플리커 개수들 중에서 상기 최대 고속 푸리에 변환 결과값과 동일한 플리커 개수를 확인하는 과정과,
미리 저장된 광원 주파수들 중에서 상기 플리커 개수에 대응되는 광원 주파수를 확인하는 과정과,
인터그레이션 타임을 상기 광원 주파수에 동기화하는 과정을 더 포함하는 것을 특징으로 하는 검출 방법.
제8항에 있어서,
상기 최대 고속 푸리에 변환 결과값이 상기 미리 저장된 플리커 개수들 중에서 어느 하나와 동일하지 않으면, 상기 플리커가 발생되지 않은 것으로 결정하는 과정을 더 포함하는 것을 특징으로 하는 검출 방법.