KR101085802B1

KR101085802B1 - 촬상 장치 및 플리커 검출 방법

Info

Publication number: KR101085802B1
Application number: KR1020097012306A
Authority: KR
Inventors: 겐타로우 니이쿠라
Original assignee: 르네사스 일렉트로닉스 가부시키가이샤
Priority date: 2007-03-05
Filing date: 2007-09-27
Publication date: 2011-11-22
Also published as: EP2119220A1; JP4856765B2; JP2010520673A; US20100013953A1; US20120320233A1; KR20090086103A; CN101622859A; US8279303B2; US20120229671A1; CN101622859B; WO2008108025A1

Abstract

노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간을 제어한다. CMOS 센서 (10) 는 전하 축적 시간 T1 으로 화상 P1 및 전하 축적 시간 T2 로 화상 P2 를 촬영한다. 전하 축적 시간 T1 은 제 1 명멸 주기에서 명멸하는 광원하에서 화상의 플리커를 야기하지 않는다. 전하 축적 시간 T2 는 전하 축적 시간 T1 과 상이하다. 차분 화상 생성부 (17) 는 화상 P1 및 화상 P2 의 휘도의 차이를 나타내도록 강조하는 차분 화상 DP 를 생성한다. 플리커 검출부 (18) 는 차분 화상 DP 에 나타나는 화상 P1 및 화상 P2 간의 휘도의 차이에 기초하여 화상 P2 의 플리커 발생을 검출한다.

플리커, 전하 축적 시간, 명멸 주기, 촬상 센서, 촬상 장치, 차분 화상

Description

촬상 장치 및 플리커 검출 방법{IMAGING APPARATUS AND FLICKER DETECTION METHOD}

기술분야

본 발명은 디지털 스틸 카메라 등에 통합된 촬상 장치에 관한 것으로, 특히 형광등과 같은 광원의 조도 변동 때문에 촬영 화상에 발생된 플리커에 대한 검출 기능을 갖는 촬상 장치에 관한 것이다.

배경기술

고체 이미지 센서들 중 하나인 CMOS (Complementary Metal Oxide Semiconductor) 센서는 소위 라인 노광을 실시한다. 그러므로, CMOS 센서의 촬영면을 구성하는 각 화소 (포토다이오드) 의 전하 축적을 위한 타이밍에서는 각 화소의 주사 타이밍에 따라 각 라인 (주사선) 마다 차이가 있다. 이로써, 인버터 방식이 아닌 형광등을 구비한 실내와 같이, 피사체의 명도가 주기적으로 변화하는 환경에서 CMOS 센서를 이용하여 화상을 촬영하는 경우, 촬영된 화상에서 명암의 가로 줄무늬들이 생성될 수도 있다. 촬영된 화상에서 가로 줄무늬들이 발생되는 현상이 플리커로 불린다.

촬영된 화상에서의 플리커의 발생을 억제하는 방법들 중 하나로서, CMOS 센서의 전하 축적 시간 (셔터 속도) 을 광원의 명멸 주기 (blink cycle) 의 정수배로 설정하는 방법이 있다 (예를 들어, 특허 문헌 1 참조). 전하 축적 시간을 조정한 촬상 장치에서, 비록 전하 축적을 위한 타이밍이 각 화소에 따라 상이하더라도 각 화소의 전하 축적 시간 내의 광원의 광 강도 (light intensity) 변동은 균일화된다. 이로써, 플리커의 발생은 억제될 수 있다.

예를 들어, 상술한 인버터 방식이 아닌 형광등의 명멸 주기는 상용 교류 전원의 전원 주파수의 2 배이다. 즉, 형광등의 명멸 주기는 전원 주파수가 50㎐ 인 지역에서 1/100 초이고, 전원 주파수가 60㎐ 인 지역에서 1/120 초이다. 따라서, 전원 주파수가 50㎐ 인 지역에서 전하 축적 시간은 N/100 초일 수도 있고, 전원 주파수가 60㎐ 인 지역에서 전하 축적 시간은 M/120 초일 수도 있다. 여기서, N 및 M 은 양의 정수이다. 그러나, 특허 문헌 1 에서는, 플리커 자체를 검출하는 방법 및 플리커의 검출에 응답하여 CMOS 센서의 전하 축적 시간을 최적화하는 방법과 같은 방법이 개시되어 있지 않다.

특허 문헌 2 에서는, CMOS 센서에 의해 획득된 화상에 기초해 산출된 플리커 지수값을 이용하여 플리커 발생을 검출하고 그 검출된 결과에 따라 전하 축적 시간을 전환하는 촬상 장치가 개시되어 있다.

보다 구체적으로, 특허 문헌 2 에 개시된 촬상 장치는 CMOS 센서의 전하 축적 시간을 제 1 전원 주파수 (예를 들어, 50㎐) 에 대응하는 제 1 전하 축적 시간 (예를 들어, N/100 초) 과, 제 2 전원 주파수 (예를 들어, 60㎐) 에 대응하는 제 2 전하 축적 시간 (예를 들어, M/120 초) 에 의해 전환하는 것이 가능하다. 또한, 특허 문헌 2 의 촬상 장치는 CMOS 센서에 의한 촬영 화상 중 소정 라인에 포함 된 복수의 화소에 대한 화소값의 적산인 투영값 D 를 계산하고 투영 출력값 D 의 복수 프레임 간에서의 변화량을 표시하는 플리커 지수값 I 를 산출한다. 예를 들어, 4 프레임의 화상을 이용해 계산된 플리커 지수값 I 는 다음 식 (1) 로부터 산출된다. 식 (1) 에 있어서, D(n) 은 n 번째 프레임에서의 소정 라인의 투영 출력값이다.

특허 문헌 2 에 개시된 촬상 장치에 의해 전하 축적 시간을 전환하는 것은, 플리커 지수값 I1 를 플리커 지수값 I2 과 비교함으로써 실시된다. 플리커 지수값 I1 은 제 1 전하 축적 시간으로 촬영된 화상으로부터 획득된다. 플리커 지수값 I2 는 제 2 전하 축적 시간으로 촬영된 화상으로부터 획득된다. 특허 문헌 2 에 개시된 촬상 장치는 전하 축적 시간을 보다 작은 플리커 지수값으로 선택한다. 또한, 예를 들어, 제 1 전하 축적 시간으로 설정되어 있을 때 플리커 지수값 I1 이 소정 임계치보다 크게 증가한 경우, 제 1 전하 축적 시간으로부터 제 2 전하 축적 시간으로의 전환이 실시된다.

[특허 문헌 1]

일본 특허공개공보 제 2003-189172 호

[특허 문헌 2]

일본 특허공개공보 제 2002-84466 호

발명의 개시

본 발명이 해결하고자 하는 과제

상술한 바와 같이, 특허 문헌 2 에 개시된 촬상 장치는 연속적으로 촬영된 복수의 화상의 소정 라인에 관한 화소값의 적산값 (투영값) 을 산출한다. 또한, 특허 문헌 2 에 개시된 촬상 장치는 2 개의 화상에서의 투영 출력값의 차분을 소정 프레임의 수에 걸쳐 측정함으로써 플리커 지수값을 획득한다. 또한, 특허 문헌 2 에 개시된 촬상 장치는 획득된 플리커 지수값을 이용하여 플리커를 검출한다. 그러나, 특허 문헌 2 에 개시된 촬상 장치에 의한 플리커 검출 방법에서는, 다음에 서술되는 바와 같이 프레임 레이트에 대한 의존성이 크다는 문제가 있다.

특허 문헌 2 에 개시된 플리커 판정 방법은 촬영된 화상의 소정 라인의 각 화소의 광전 변환을 위한 타이밍이 광원의 명멸 주기에 동기화되지 않는 점을 이용하여 촬영된 화상의 플리커를 검출한다 (예를 들어, 특허 문헌 2 의 단락 43 내지 단락 46 참조). 따라서, 예를 들어, 1 프레임 기간이 광원의 명멸 주기에 동기화되는 경우, 즉 1 프레임 기간이 광원의 명멸 주기의 정수배인 경우, 화상의 소정 라인의 각 화소의 축적된 전하량은 연속적으로 촬영된 복수의 화상 간에서 변동되지 않는다. 즉, 이러한 경우, 특허 문헌 2 에 개시된 방법에 의해 플리커를 검출하는 것이 곤란하다. 상술한 바와 같이, 특허 문헌 2 에 개시된 촬상 장치에 의한 플리커 검출 방법은 프레임 레이트에 대한 의존성이 크다는 문제가 있다.

과제 해결 수단

본 발명의 일 실시형태에서, 촬상 장치는 촬상 센서, 제어부 및 플리커 검출 부를 포함한다. 제어부는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것, 및 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 제어한다. 제 1 전하 축적 시간은 제 1 명멸 주기에서 명멸하는 광원하에서의 촬영된 화상의 플리커를 야기하지 않는다. 제 2 전하 축적 시간은 제 1 전하 축적 시간과 상이하다. 플리커 검출부는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 촬영된 제 1 화상과, 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 촬영된 제 2 화상 간의 휘도의 차이에 기초하여 제 2 화상에서의 플리커의 발생을 검출한다.

위에서 구성된 촬상 장치를 이용해 제 1 명멸 주기에서 명멸하는 광원하에서 촬영을 실시하는 경우, 제 1 전하 축적 시간에서 획득된 제 1 화상에는 플리커가 출현하지 않는다. 한편, 제 2 전하 축적 시간에서 획득된 제 2 화상에는, 제 2 화상의 1 프레임 기간이 광원의 제 1 명멸 주기의 정수배인지 아닌지 여부와 관계 없이, 제 2 전하 축적 시간이 제 1 명멸 주기에 동기화되지 않는 경우 플리커에 의한 가로 줄무늬가 출현한다. 그러므로, 제 1 화상 및 제 2 화상의 휘도 차이를 이용함으로써, 제 1 화상 및 제 2 화상의 1 프레임 기간이 광원의 명멸 주기의 정수배인지 아닌지 여부와 관계 없이, 플리커 검출이 가능하다. 이로써, 본 발명의 일 실시형태에 따른 촬상 장치의 경우, 플리커 검출 정확도의 프레임 레이트에 대한 의존성을 저감시키고 플리커 검출 정확도를 향상시키는 것이 가능하다.

본 발명의 또다른 실시형태에서, 플리커 검출 방법이 제공된다. 보다 구체적으로, 촬상 센서의 전하 축적 시간은 제 1 전하 축적 시간과 제 2 전하 축적 시간에 의해 전환되어 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것과 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 실행한다. 제 1 전하 축적 시간은 광원의 제 1 명멸 주기에 동기화되고 제 1 명멸 주기에서 명멸하는 광원하에서의 촬영된 화상에 플리커를 발생시키지 않는다. 제 2 전하 축적 시간은 제 1 전하 축적 시간과 상이하다. 또한, 제 2 화상에서의 플리커 발생은 제 1 화상과 제 2 화상 간의 휘도 차이에 기초하여 검출된다.

본 발명의 또다른 실시형태에 따른 플리커 검출 방법의 경우, 제 1 화상 및 제 2 화상의 휘도 차이를 이용함으로써, 제 1 화상 및 제 2 화상의 1 프레임 기간이 광원의 명멸 주기의 정수배인지 아닌지 여부에 관계 없이 플리커 검출이 가능하다. 이로써, 플리커 검출 정확도의 프레임 레이트에 대한 의존성을 감소시키고 플리커 검출 정확도를 개선시키는 것이 가능하다.

본 발명은 플리커 검출 정확도의 프레임 레이트에 대한 의존성을 감소시키고 플리커 검출 정확도를 개선시키는 촬상 장치를 제공하는 것이 가능하다.

도면의 간단한 설명

[도 1] 본 발명의 제 1 실시형태에 따른 촬상 장치 (1) 의 블록도이다.

[도 2] 제 1 실시형태에 따른 촬상 장치 (1) 에 있어서 차분 화상 생성의 예시적 실시예를 설명하는 도면이다.

[도 3A] 제 1 실시형태에 따른 촬상 장치 (1) 에 의해 발생된 차분 화상을 설명하는 개념도이다.

[도 3B] 제 1 실시형태에 따른 촬상 장치 (1) 에 의해 발생된 차분 화상을 설명하는 개념도이다.

[도 4] 제 1 실시형태에 따른 촬상 장치 (1) 에 의한 플리커 검출 순서의 실시예를 도시하는 흐름도이다.

[도 5] 본 발명의 제 2 실시형태에 따른 촬상 장치 (1) 에 의한 플리커 검출 순서를 도시하는 흐름도이다.

[도 6] 제 2 실시형태에 따른 촬상 장치 (1) 에 의한 플리커 검출 순서를 나타내는 흐름도이다.

[도 7] 본 발명의 제 3 실시형태에 따른 촬상 장치 (2) 의 블록도이다.

[도 8A] 제 3 실시형태에 따른 촬상 장치 (2) 에 의해 차분 화상을 이용하여 플리커의 검출 및 플리커 주파수의 검출을 설명하는 도면이다.

[도 8B] 제 3 실시형태에 따른 촬상 장치 (2) 에 의해 차분 화상을 이용하여 플리커의 검출 및 플리커 주파수의 검출을 설명하는 도면이다.

[도 8C] 제 3 실시형태에 따른 촬상 장치 (2) 에 의해 차분 화상을 이용하여 플리커의 검출 및 플리커 주파수의 검출을 설명하는 도면이다.

[도 9] 제 3 실시형태에 따른 촬상 장치 (2) 에 의한 플리커 검출 순서를 나타내는 도면이다.

참조 부호의 설명

1, 2: 촬상 장치

10: CMOS 센서

11: 상관 이중 샘플링 (CDS: Correlated double sampling) 회로

12: 증폭기

13: A/D 변환기

14: 화소값 적산부

15: 노광 제어부

16: 타이밍 발생기

17: 차분 화상 생성부

18, 28: 플리커 검출부

바람직한 실시형태들에 대한 설명

본 발명은 이하에서 예시적인 실시형태들을 참조하여 본 명세서에서 서술될 것이다. 당업자는 본 발명의 교시를 이용하여 많은 다른 실시형태들이 달성될 수 있고, 예시적인 목적을 위해 설명된 실시형태들에 본 발명이 제한되지 않음을 인식할 것이다.

이하에서는, 본 발명을 포함한 구체적 실시형태들이 도면을 참조하여 상세하게 기술된다. 각 도면에서는, 동일한 구성요소들이 그 대해 동일한 참조부호에 의해 지정되고, 반복하는 상세한 설명은 설명의 명확함을 위해 적절하게 생략된다.

제 1 실시형태

도 1 은 본 발명에 따른 촬상 장치 (1) 의 블록도이다. 도 1 에서, CMOS 센서 (10) 는 CMOS 집적 회로의 제조 프로세스를 유용함으로써 제조되는 고체 이미지 센서이다. CMOS 센서 (10) 는 각 화소에 대응하는 포토다이오드가 매트릭스 상으로 형성된 촬영면을 갖는다. 또한, CMOS 센서 (10) 의 각 화소에는, 각 화소에 축적된 신호 전하를 선택적으로 판독하는 트랜지스터 및 각 화소에 축적된 신호 전하를 리셋하는 트랜지스터가 배치되어 있다. 위에서와 같이 형성된 CMOS 센서 (10) 에서, CCD 이미지 센서와는 대조적으로, 촬영면을 형성하는 각 화소의 전하 축적 타이밍이 각 화소의 주사 타이밍에 따라 상이하고, 전하 축적은 각 화소에 대해 상이한 타이밍으로 실시되어 화상 신호를 생성한다.

CDS 회로 (11) 는 상호연관 이중 샘플링을 실시함으로써 CMOS 센서 (10) 에 의해 생성된 화상 신호의 노이즈를 제거한다. 증폭기 (12) 는 CDS 회로 (11) 에 의해 노이즈가 제거된 화상 신호를 증폭한다. 증폭기 (12) 의 이득은 CMOS 센서에 의한 화상이 원하는 휘도를 갖도록 하기 위해서 CMOS 센서 (10) 의 전하 축적 시간과 함께 후술되는 노광 제어부 (15) 에 의해 제어된다.

A/D 변환기 (13) 는 증폭기 (12) 에 의해 증폭된 화상 신호를 샘플링하여 디지털 신호로 변환한다. A/D 변환기 (13) 로부터 출력된 디지털 화상 신호는 화상 처리부 (미도시) 로 입력되고, 화상 처리부 (미도시) 에 의해 칼라 신호 보간, 칼라 보정 및 화이트 밸런스 조정 등이 실시된다.

화소값 적산부 (14) 는 A/D 변환기 (13) 로부터의 출력 신호를 입력하고, 각 화상 프레임 마다 화상면의 전체 또는 화상면의 일부에 포함된 화소들의 화소값을 적산하며, 획득된 적산값을 노광 제어부 (15) 에 공급한다. 화소값 적산부 (14) 는 화소값들의 적산값을 이용하여 화상 프레임의 화소값들에 대한 평균값을 계산할 수도 있고, 획득된 평균값을 노광 제어부 (15) 에 공급할 수도 있다.

노광 제어부 (15) 는 화소값 적산부 (14) 로부터 공급되는 화상의 화소값들의 적산값 또는 평균값에 기초하여 CMOS 센서 (10) 의 전하 축적 시간 (셔터 속도) 및 증폭기 (12) 의 이득을 결정한다. 노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간이 결정된 값으로 되도록 CMOS 센서 (10) 를 제어하기 위하여 타이밍 발생기 (16) 에 대해 설정 신호를 출력한다. 또한, 노광 제어부 (15) 는 증폭기 (12) 의 이득을 설정하기 위하여 설정 신호를 증폭기 (12) 에 대해 출력한다.

또한, 노광 제어부 (15) 는 본 실시형태의 플리커 검출을 실행하도록 후술되는 차분 화상 (difference image) 생성부 (17) 에 의해 생성되는 차분 화상 DP 의 기초가 되는 화상 P1 및 화상 P2 를 획득하기 위하여 CMOS 센서 (10) 의 전하 축적 시간을 제어한다.

보다 구체적으로, 노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간을 T1 및 T2 의 2 개의 전하 축적 시간 간에 교대로 전환함으로써 화상 촬영을 실행한다. 일방의 전하 축적 시간 T1 은 형광등과 같은 광원의 제 1 명멸 주기에 동기화되고 제 1 명멸 주기에서 명멸하는 광원하에서 CMOS 센서 (10) 의 촬영된 화상의 플리커를 발생시키지 않는 제 1 전하 축적 시간이다. 타방의 전하 축적 시간 T2 는 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시간이다. 제 2 전하 축적 시간의 실례에 대해서는 후술되는 복수의 실시예들이 있다.

예를 들어, 광원의 제 1 명멸 주기가 1/100 초 (명멸 주파수 100㎐) 인 경우, 제 1 전하 축적 시간 T1 은 광원의 제 1 명멸 주기의 정수배, 즉 N/100 초일 것이고, 제 2 전하 축적 시간 T2 는 광원의 제 1 명멸 주기의 정수배 이외의 값일 것이다. 또한, 예를 들어, 광원의 제 1 명멸 주기가 1/120 초 (명멸 주파수 120㎐) 인 경우, 제 1 전하 축적 시간 T1 은 광원의 제 1 명멸 주기의 정수배, 즉 N/120 초일 것이고, 제 2 전하 축적 시간 T2 는 N/120 초이외의 값일 것이다. 여기서, N 은 양의 정수이다. 이하, 본 실시형태에서는 광원의 제 1 명멸 주기가 1/100 초인 것으로서 설명한다.

타이밍 발생기 (16) 는 CMOS 센서 (10) 의 각 화소의 전하 축적 시간이 노광 제어부 (15) 에 의해 표시되는 값이 되도록 각 화소에 축적된 전하의 리셋 타이밍을 정의하는 펄스 신호 및 각 화소에 축적된 신호 전하를 판독해 내기 위한 수직 선택을 정의하는 펄스 신호를 CMOS 센서 (10) 로 출력한다.

차분 화상 생성부 (17) 는 노광 제어부 (15) 의 제어에 따라 상이한 2 개의 전하 축적 시간 T1 및 T2 로 촬영된 2 프레임의 화상 P1 및 화상 P2 에 관한 화상 신호를 입력한다. 차분 화상 생성부 (17) 는 화상 P1 및 화상 P2 의 이들 2 프레임 사이의 차분 화상 DP 를 생성한다. 여기서, 차분 화상 DP 는 2 프레임의 화상 사이에서의 촬영면에 있어서의 수평 위치 및 수직 위치에 대응하는 화소들의 화소값의 차분을 계산함으로써 획득된 화상이다.

차분 화상 생성부 (17) 에 의한 프로세스의 예시적인 실시예는 도 2를 참조하여 서술된다. 도 2 의 실시예는 1 프레임의 화상 (21) 을 수직 방향으로 24 개로 나누고 수평 방향으로 8 개로 나누어 합계 192 개의 블록으로 나누고, 각 블록에 있어서 화소값을 적산한다. 또한, 각 블록의 적산값을 수평 방향으로 집계함으로써 획득되는 합계 24 개의 블록 (도 2 의 참조부호 22) 에 대한 화소값의 평균값을 산출한다. 2 프레임의 화상 P1 및 화상 P2 각각에 대해서 도 2 에 도시된 평균값을 산출한 후에, 2 프레임들의 간에서 각 블록의 평균값의 차분을 산출함으로써 플리커 검출용 차분 화상 DP 를 생성한다. 즉, 도 2 의 실시예에서 산출을 실시함으로써, 수평 방향이 1 블록으로 집약되고 수직 방향이 24 블록으로 집약되는 차분 화상 DP 가 생성된다.

도 2 의 실시예는 차분 화상 DP 의 생성 프로세스에 대한 실시예만인 것을 말할 필요도 없음을 주목한다. 즉, 차분 화상 DP 는 1 프레임의 화상의 화면의 전체 또는 화면의 일부에 대해서 생성될 수도 있다. 화상의 화면의 일부에 대해서 차분 화상을 생성하는 경우, 1 화상 내에서의 플리커에 의해 명암 줄무늬들의 주기에 대응하는 적어도 명암 줄무늬의 1 주기를 포함한 라인의 수가 이용될 수도 있다. 1 화상 내에서의 플리커에 의한 명암 줄무늬의 주기는 광원의 명멸 주기 (또는 명멸 주파수) 및 촬상 장치 (1) 의 1 프레임 기간 (또는 프레임 레이트) 를 이용하여 산출될 수 있다.

또한, 차분 화상 DP 는 도 2 를 이용하여 서술되는 바와 같이, 화소값들의 직접 차분 대신에, 소정의 부분 영역을 단위로서 화소값들을 적산함으로써 획득된 적산값 사이의 차분이나 화소값들의 평균값 사이의 차분에 의해 생성될 수도 있다. 또한, 차분 화상 DP 는 예를 들어, 화상 P1 및 화상 P2 에 대한 휘도값들의 차분으로부터 생성될 수도 있다. 각 화소에 대한 휘도값은 베이어 (Bayer) 배열의 색 정보를 갖는 화상 신호로부터 생성된다. 또한, RGB 신호 중에서 휘도 신호에 가장 가까운 G 신호에 기초하여, 차분 화상 DP 는 화상 P1 및 화상 P2 에 대 한 G 신호값들 사이의 차분으로부터 생성될 수도 있다.

도 1 에 돌아가 설명을 계속한다. 도 1 에서, 플리커 검출부 (18) 는 차분 화상 생성부 (17) 에 의해 생성된 차분 화상 DP 를 입력한다. 플리커 검출부 (18) 는 화상 P1 및 화상 P2 의 주사 방향에 대한 수직 방향, 즉 차분 화상 DP 의 화면의 수직 방향에 있어서 차분 화상 DP 의 화소값의 변동 (휘도 변동) 에 따라 제 2 화상 P2 의 플리커 발생을 검출한다. 따라서, 플리커 검출부 (18) 는 차분 화상 DP 의 화면의 수직 방향에서의 휘도 변동 검출부를 구비하는 것이라고 말할 수 있다. 바꿔 말하면, 플리커 검출부 (18) 는 차분 화상 DP 에 대한 명암 줄무늬 검출부를 구비하는 것이라고 말할 수 있다.

여기서, 차분 화상 DP 를 이용한 플리커 검출의 원리는 도 3A 및 도 3B 를 참조하여 서술된다. 도 3A 는 촬상 장치 (1) 의 촬영 환경이 실외 일광에서와 같이 명멸 광원하에서가 아닌 경우, 전하 축적 시간 T1 으로 촬영된 화상 P1 및 전하 축적 시간 T2 로 촬영된 화상 P2 의 차분 화상 DP 를 나타내다. 도 3A 의 경우, 화상 P1 및 화상 P2 에서 플리커가 발생하지 않기 때문에, 피사체의 이동 및 노이즈를 제외하면 화상 P1 및 화상 P2 는 동일한 화상이다. 따라서, 차분 화상 DP 의 화소값이나 휘도값은 이상적으로 화면 전체에 걸쳐서 0 이고, 차분 화상 DP 의 화면의 수직 방향의 휘도 변동이 검출되지 않는다.

한편, 도 3B 는 제 1 명멸 주기에서 명멸하는 명멸 광원하에서 촬영된 화상 P1 및 화상 P2 에 대한 차분 화상 DP 를 나타낸다. 도 3B 의 경우, 화상 P1 의 전하 축적 시간 T1 이 광원의 명멸 주기에 동기화되기 때문에, 화상 P1 에서는 플 리커가 발생하지 않는다. 그러나, 화상 P2 의 전하 축적 시간 T2 가 광원의 제 1 명멸 주기에 동기화되지 않는다면, 화상 P2 에서는 플리커가 발생한다. 이로써, 차분 화상 DP 에서는 화상 P2 에 포함된 플리커에 의한 명암 가로 줄무늬들이 강조되어 출현한다. 즉, 차분 화상 DP 에서는, 수직 방향에 따라 휘도 변동이 출현된다. 따라서, 플리커 검출부 (18) 에 의해 차분 화상 DP 의 수직 방향의 휘도 변동을 검출하는 것에 따라, 제 2 화상 P2 에서의 플리커의 발생이 검출될 수 있다.

차분 화상 DP 의 수직 방향에서의 휘도 변동의 검출은 다양한 방법들에 의해 가능할 수 있다. 예를 들어, 플리커 검출부 (18) 는 차분 화상 DP 의 휘도값의 통계적 해석 결과를 이용하여 휘도 변동을 검출할 수도 있다. 보다 구체적으로, 플리커 검출부 (18) 는 차분 화상 DP 의 수직 방향에서 휘도값의 평균값과 표준 편차 또는 분산을 산출할 수도 있고, 산출된 평균값과 표준 편자가 플리커가 없는 차분 화상 DP 에 대한 휘도값의 평균값들 및 표준 편차, 또는 플리커가 있는 차분 화상 DP 에 대한 휘도값의 평균값 및 표준 편차 중 어느 하나에 가깝다는 것을 판정할 수도 있다.

또한, 차분 화상 DP 의 수직 방향에서의 휘도 변동의 검출은 디지털 매칭 필터를 이용하는 것이 가능할 수 있다. 광원의 명멸 주기 (명멸 주파수) 및 촬상 장치 (1) 의 1 프레임 기간 (또는 프레임 레이트) 에 기초하여, 1 화상 프레임에 포함된 플리커에 의한 가로 줄무늬의 수는 이론적으로 산출될 수 있다. 예를 들어, 광원의 명멸 주기는 100㎐ 이고, 촬상 장치 (1) 의 촬영 프레임 레이트가 20 프레임/초인 경우에는, 1 화상 프레임에 포함된 플리커 줄무늬의 갯수가 이론적으로 5 이다. 이 경우, 플리커 줄무늬에 의해 기인하는 차분 화상 DP 의 휘도 변동을 표시하는 기준 파형은 이론적으로 산출되어 기준 파형과 관측된 차분 화상 DP 의 휘도 변동 파형 사이의 상호 상관이 디지털 매칭 필터를 이용하여 계산될 수 있다. 유사하게, 플리커에 의한 휘도 변동이 없는 기준 파형 (즉, 직류 파형) 과 관측된 차분 화상 DP 의 휘도 변동 파형 사이의 상호 상관이 디지털 매칭 필터를 이용하여 산출될 수 있다. 이것은 관측된 차분 화상 DP 의 휘도 변동이 플리커가 있는 경우에 가까운지 또는 플리커가 없는 경우에 가까운지를 판정할 수 있게 한다.

또한, 다른 방법으로, 차분 화상 DP 에 퓨리에 변환을 실행하여 차분 화상 DP 의 공간 주파수 스펙트럼에 기초하여 차분 화상 DP 의 휘도 변동을 검출할 수도 있다.

이하, 촬상 장치 (1) 에 의한 플리커 검출 순서는 도 4 의 흐름도를 참조하여 기술된다. 단계 S101 에서, 노광 제어부 (15) 의 제어에 의해, CMOS 센서 (10) 가 전하 축적 시간 T1 로 화상 촬영을 실행하여 제 1 화상 P1 을 얻는다. 다음으로, 단계 S102 에서, 노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간을 전하 축적 시간 T2 로 전환하고, CMOS 센서 (10) 가 전하 축적 시간 T2 로 화상 촬영을 실행하여 제 2 화상 P2 를 얻는다. 단계 S103 에서, 차분 화상 생성부 (17) 는 화상 P1 및 화상 P2 사이의 차분 화상 DP 를 생성한다. 단계 S104 에서는, 플리커 검출부 (18) 는 차분 화상 DP 의 수직 방향에서의 휘도 변동을 검 출한다.

단계 S104 에서 수직 방향에서의 휘도 변동이 검출되지 않는다면, 화상 P1 및 화상 P2 에서 플리커가 없고, 바꿔 말하면, 광원의 명멸에서 기인된 플리커를 발생시키는 촬영 환경이 아닌 것이 검출된다 (단계 S105). 한편, 단계 S104 에서 차분 화상 DP 의 휘도 변동이 검출되면, 화상 P2 에서 광원의 명멸에서 기인된 플리커가 발생하고, 바꿔 말하면, 광원의 명멸에서 기인된 플리커를 생성하는 촬영 환경인 것이 검출된다 (단계 S106).

도 4 의 흐름도에서, 화상 P1 및 화상 P2 의 획득 순서에 제한은 없다. 즉, 제 2 전하 축적 시간 T2 에 의한 화상의 촬영은 제 1 전하 축적 시간 T1 에 의한 화상의 촬영 전에 실시될 수도 있다.

상술한 바와 같이, 본 실시형태에 따른 촬상 장치 (1) 는 상이한 전하 축적 시간에서 촬영되는 2 개의 화상 P1 및 화상 P2 를 획득하고, 화상 P1 과 화상 P2 간의 휘도의 차이를 추출하기 위해 화상 P1 과 화상 P2 간의 차분 화상 DP 를 발생시키며, 화상 DP 의 수직 방향 (화상 P1 및 화상 P2 의 주사 방향에 수직한 방향) 에서의 휘도 변동에 의해서 플리커를 검출한다.

제 2 전하 축적 시간 T2 에서 획득된 화상 P2 에서, 화상 P2 의 1 프레임 기간이 광원의 명멸 주기의 정수배인 경우에도 플리커에 의해 가로 줄무늬가 출현한다. 따라서, 본 실시형태의 촬상 장치 (1) 의 경우, 화상 P1 및 화상 P2 간의 휘도의 차이를 이용함으로써, 플리커는 화상 P1 및 화상 P2 의 1 프레임 기간이 광원의 명멸 주기의 정수배인지 여부와 무관하게 검출될 수 있다. 따라서, 촬상 장치 (1) 는 프레임 레이트에 대한 플리커 검출 정확도의 의존성을 감소시키고 플리커 검출 정확도를 향상시키는 것이 가능하다.

특허 문헌 2 에 개시된 촬상 장치는 플리커를 검출하는데 필요한 화상 프레임 수가 많기 때문에 플리커를 검출하는데 필요한 시간이 길어지는 또다른 문제점을 갖는 것을 주목한다. 식 (1) 에 표시되는 바와 같이, 특허 문헌 2 에 개시된 촬상 장치는 화상 프레임들 간에서의 화소값의 변화량을 적산하고, 변화량의 적산값을 플리커 지수값으로 하여 플리커 지수값에 대한 임계치 판정을 실시한다. 따라서, 특허 문헌 2 에 개시된 촬상 장치는 플리커를 검출하기 위하여 적어도 3 프레임의 화상을 요구한다. 또한, 플리커를 검출하기 위하여 많은 화상 프레임을 요구하는 특허 문헌 2 의 방법은 피사체의 이동에 의한 화소값의 변화에 의해 오검출 (false detection) 을 발생시키는 것이 쉬울 것으로 고려된다. 또한, 플리커 지수값의 변동이 플리커에 의해 기인하는지 또는 피사체 이동에 의해 기인하는지 여부를 판정하기 위하여, 플리커 지수값이 더 많은 프레임들에 걸쳐 측정되어야 한다는 것이 특허 문헌 2 에 기재되어 있다 (예를 들어, 특허 문헌 2 의 63 단락 내지 79 단락). 이러한 방식으로 판정 정확도를 향상시킨다면, 상술한 플리커 검출 시간의 길이에 관한 문제점을 악화시키는 경향이 있다.

이에 비해, 본 실시형태의 촬상 장치 (1) 는 상이한 전하 축적 시간에서 촬영된 적어도 2 화상 프레임에 기초하여 플리커를 검출하는 것이 가능하다. 즉, 플리커를 검출하는데 필요한 화상 프레임의 수가 적기 때문에, 플리커를 검출하는데 필요한 시간은 단축될 수 있고, 피사체의 이동에 의한 화소값의 변화에 의해 야 기된 오검출을 발생하는 것이 어려운 이점이 있다.

촬상 장치 (1) 를 탑재한 디지털 스틸 카메라 등에서는, 촬상 장치 (1) 에 의한 플리커 검출은 전원 기동시 CMOS 센서 (10) 에 의한 촬영 화상의 휘도가 크게 변화하는 경우 그리고 사용자의 조작에 의한 노출 조정과 같은 디지털 스틸 카메라에 미리 설정되는 촬영 모드가 변경되는 경우 실시되는 것이 바람직하다는 것을 주목한다. 또한, 촬상 장치 (1) 를 탑재한 디지털 스틸 카메라 등이 동작하면서, 전하 축적 시간을 교대로 전환하여 화상 P1 및 화상 P2 이 반복적으로 획득되어, 촬상 장치 (1) 에 의해 플리커를 검출하는 것을 반복한다. 이러한 구성의 경우, 촬영 환경의 변화에 신속하게 대응하는 것이 가능하다.

또한, 촬상 장치 (1) 는 화상 P1 및 화상 P2 를 복수 회 획득하여 복수의 차분 화상 DP 들을 생성하고 복수의 차분 화상 DP 에 기초하여 플리커의 발생을 검출할 수도 있다. 예를 들어, 차분 화상 DP 는 4 회 생성될 수도 있고, 차분 화상 DP 의 수직 방향에서의 휘도 변동이 4 회 연속적으로 검출되는 경우에, 촬상 장치 (1) 는 플리커의 발생을 검출할 수도 있다. 이러한 구성의 경우, 플리커의 존재의 검출 정확도는 향상될 수 있다.

제 2 실시형태

제 1 실시형태에 따라 촬상 장치 (1) 를 구비한 디지털 스틸 카메라 등이, 광원의 명멸 주기가 제 1 명렬 주기 (본 실시형태에서 1/100 초) 인 환경 및 지역에서만 사용된다면, 도 4 에 도시된 플리커 검출 순서에 의해 100㎐ 플리커의 발생을 검출하는 것이 가능하다. 그러나, 촬상 장치 (1) 를 구비한 디지털 카메라 등이, 광원의 명멸 주기가 상이한 몇몇 환경 및 지역에 이용되는 경우를 고려하면, 도 4 의 절차에 의한 플리커 발생이 검출될 수 있으나, 광원의 어느 명멸 주파수로부터 플리커가 발생되는지를 검출하는 것이 가능하지 않다. 따라서, 도 4 의 절차만에 의해서는, 플리커의 발생을 방지하기 위하여 CMOS 센서 (10) 의 전하 축적 시간 및 증폭기 (12) 의 이득과 같은 구성이 변경될 수 없다. 이로써, 도 4 에 도시된 플리커 검출 순서의 다양한 실시형태는 도 5 및 도 6 을 참조하여 기술된다.

도 5 및 도 6 의 흐름도는 광원의 명멸 주파수를 식별함으로써 플리커의 발생을 회피하기 위한 CMOS 센서 (10) 및 증폭기 (12) 의 구성을 변경하는 것을 가능하게 하는 플리커 검출 순서의 실시예를 도시한다. 도 5 및 도 6 의 실시예에서는, 광원의 명멸 주기가 제 1 명멸 주기 (1/100 초) 또는 제 2 명멸 주기 (1/120 초) 중 어느 하나인 환경을 일례로서 기술한다.

단계 S201 에서, CMOS 센서 (10) 는 제 1 명멸 주기 (1/100 초) 와 제 2 명멸 주기 (1/120 초) 의 공배수인 전하 축적 시간 T1 로 화상의 촬영을 실행하여 제 1 화상 P1 을 획득한다. 즉, 제 1 전하 축적 시간 T1 은 제 1 명멸 주기에서 명멸하는 광원 및 제 2 명멸 주기에서 명멸하는 광원 중 어느 하나의 환경에서 CMOS 센서 (10) 의 촬영 화상에 플리커를 발생시키지 않는 시간이다. 보다 구체적으로, 제 1 전하 축적 시간 T1 은 10N/100 초, 예를 들어 10/100 초로 설정된다.

단계 S202 에서, CMOS 센서 (10) 는 제 1 명멸 주기 (1/100 초) 의 배수이며 제 2 명멸 주기 (1/120 초) 의 배수가 아닌 전하 축적 시간 T2 로 화상의 촬영을 실시하여 제 2 화상 P2 를 획득한다. 즉, 제 2 전하 축적 시간 T2 는 제 1 명멸 주기에서 명멸하는 광원하의 촬영 화상에 플리커를 발생시키지 않으나, 제 2 명멸 주기에서 명멸하는 광원하의 촬영 화상에 플리커를 발생시킨다. 예를 들어, 제 2 전하 축적 시간 T2 는 12/100 초로 설정된다.

단계 S203 에서는, 차분 화상 생성부 (17) 가 화상 P1 및 화상 P2 간의 차분 화상 DP1 을 생성시킨다. 단계 S204 에서는, 플리커 검출부 (18) 가 차분 화상 DP1 의 수직 방향의 휘도 변동의 존재를 검출한다.

여기서, 제 1 케이스로서, 화상 P1 및 화상 P2 의 촬영이 제 1 명멸 주기 (1/100 초) 에서 명멸하는 광원하에서 실시되는 경우를 고려한다. 제 1 케이스에서는, 화상 P1 및 화상 P2 의 양자 모두에 플리커가 발생하지 않는다. 따라서, 피사체의 이동 및 노이즈를 제외하면 화상 P1 및 화상 P2 는 동일한 화상임으로 차분 화상 DP1 의 수직 방향의 휘도 변동이 검출되지 않는다. 따라서, 제 1 케이스에서는, 플리커가 없음으로 검출된다 (단계 S205). 이것은 현재 촬영 환경이 전하 축적 시간을 적어도 N/100 초로 하면 촬영 화상에 플리커를 생성하지 않는 환경 (제 1 명멸 주기에서 명멸하는 광원하에서 또는 플리커 없는 실외와 같은 환경) 인 것을 판정할 수 있게 한다.

다음으로, 제 2 케이스로서, 화상 P1 및 화상 P2 의 촬영이 제 2 명멸 주기 (1/120 초) 에서 명멸하는 광원하에서 실시되는 경우를 고려한다. 제 2 케이스에서는, 화상 P1 에서 플리커가 발생하지 않으나 화상 P2 에서 플리커가 발생한다. 그러므로, 단계 S204 에서는 차분 화상 DP1 의 수직 방향의 휘도 변동이 검출된다. 따라서, 제 2 케이스에서 플리커 발생이 검출된다 (단계 S206). 본 경우의 플리커가 제 1 명멸 주기 (1/100 초) 에서 명멸하는 광원에 의해 기인하지 않는 것은 플리커의 발생의 원리로부터 명백하다. 그러므로, 광원의 명멸 주기의 옵션이 제 1 명멸 주기 (1/100 초) 및 제 2 명멸 주기 (1/120 초) 의 2 가지 방식만이 있다면, 화상 P1 및 화상 P2 의 촬영 환경이 제 2 명멸 주기 (1/120 초) 의 광원하에 있는 것으로 판정될 수 있다.

따라서, 상술한 단계 S201 내지 단계 S206 에서 플리커의 발생이 검출되지 않는 경우는, 사용자로부터의 지시에 의해 통상의 촬영을 실시할 때의 CMOS 센서 (10) 의 전하 축적 시간이 N/100 초로 설정될 수도 있다. 또한, 이미 통상의 촬영 시의 CMOS 센서 (10) 의 전하 축적 시간이 N/100 초로 설정되어 있다면, 본 구성은 계속될 수 있다. 한편, 상술한 단계 S201 내지 단계 S206 에서 플리커의 발생이 검출되는 경우는, 통상의 촬영 시의 CMOS 센서 (10) 의 전하 축적 시간이 M/120 초로 설정될 수도 있다. 여기서, N 및 M 은 양의 정수이다.

상술한 바와 같이, 광원의 명멸 주기의 후보가 제 1 명멸 주기 (1/100 초) 및 제 2 명멸 주기 (1/120 초) 의 2 가지만이라면, 플리커 발생의 검출에 의해 (단계 S206), 화상 P1 및 화상 P2 의 촬영 환경이 제 2 명멸 주기 (1/120 초) 의 광원하에 있다고 판정될 수 있다. 이로써, 단계 S207 에서는, 통상의 촬영 시의 CMOS 센서 (10) 의 전하 축적 시간을 M/120 초로 설정한다. 그 후, 단계 S208 이후의 확인 프로세스가 불필요하다고 판정되는 경우는, 여기서 플리커 검출 프로 세스가 종료될 수도 있다.

한편, 단계 S208 에 있어서, 추가적 확인 프로세스가 필요하다고 판정되는 경우는, 도 6 에 도시된 확인 프로세스로 프로세스가 진행된다. 단계 S209 및 단계 S210 에서는, CMOS 센서 (10) 가 전하 축적 시간을 M/120 초 및 W/120 초로 화상의 촬영을 실행하여 화상 P3 및 화상 P4 를 획득한다. 여기서, M 및 W 은 양의 정수이다. 또한, 도 5 에 서술되는 바와 같이, M/120 초 또는 W/120 초 중 어느 하나는 1/100 초 및 1/120 초의 공배수이고, 다른 하나가 1/100 초 및 1/120 초의 공배수가 아닌 것으로 선택하는 것이 바람직하다.

단계 S211 에서는, 화상 P3 및 화상 P4 간의 차분 화상 DP2 가 생성된다. 단계 S212 에서는, 생성된 차분 화상 DP2 의 수직 방향의 휘도 변동이 검출된다. 이 경우, 촬상 장치 (1) 에서 고장 등이 없다면, 차분 화상 DP2 의 수직 방향의 휘도 변동은 검출되지 않고, 플리커 검출 프로세스가 종료된다 (단계 S213). 한편, 차분 화상 DP2 의 수직 방향의 휘도 변동이 검출되는 예외적 경우에는, 다시 단계 S201 로 돌아가 플리커 검출 프로세스를 다시 실행한다 (단계 S214). 플리커 검출 프로세스의 재실행의 결과, 다시 단계 S213 에서 휘도 변동이 검출되는 경우, 촬상 장치 (1) 의 고장과 같은 어떤 종류의 비정상적 사건이 발생하고 있는 것으로서 고려된다. 그러므로, 촬상 장치 (1) 의 외부에 어떤 종류의 통지 신호가 출력된다. 여기서 통지 신호는 외부의 프로세서에 비정상 사건의 발생을 통지하기 위한 전기적 신호일 수도 있고 사용자에게 통지하기 위한 표시 또는 음성 출력을 위한 신호일 수도 있다.

도 5 및 도 6 은 플리커의 발생 원인인 것으로서 가정되는 광원의 명멸 주기가 2 가지인 경우를 가정하여 설명된다. 그러므로, 플리커의 발생 원인이 되는 광원의 명멸 주기가 3 가지 이상의 경우, 도 6 의 단계 S212 에서, 차분 화상 DP2 의 수직 방향의 휘도 변동이 검출될 수도 있다. 이 경우에, CMOS 센서 (10) 의 전하 축적 시간은 제 3 명멸 주기에 대응하는 시간으로 설정되고 제 3 명멸 주기에 대응하는 전하 축적 시간에 플리커가 발생되지 않는 것의 추가 확인 프로세스가 도 6 의 절차와 동일한 방식으로 실시될 수도 있다.

위에서 설명된 순서에 의해 플리커 검출 프로세스를 실시하여 플리커의 발생 원인이 아닌 전하 축적 시간을 획득한 후, 노광 제어부 (15) 가 플리커를 발생시키지 않는 전하 축적 시간에 의해 통상의 촬영을 실시하기 위하여 타이밍 발생기 (16) 의 펄스 송출 타이밍과 증폭기 (12) 의 이득을 설정함으로써, 플리커 없이 화상을 획득하는 것이 가능하다. 이것은 촬상 장치 (1) 를 탑재한 디지털 스틸 카메라 등의 사용자 편이성을 향상시키는 것을 가능하게 한다. 플리커의 검출 프로세스를 실시하는 타이밍은 전원 기동 시에서와 같이 본 발명의 제 1 실시형태에 기술된 다양한 타이밍일 수도 있음을 주목한다.

또한, 도 5 에서는, 2 회의 촬영으로 획득된 화상 P1 및 화상 P2 의 차분 화상 DP1 의 휘도 변동을 검출함으로써 플리커의 존재가 검출되는 실례를 기술한다. 그렇지만, 상술한 본 발명의 제 1 실시형태에서와 같이, 화상 P1 및 화상 P2 는 플리커 검출을 반복하도록 반복적으로 획득될 수도 있다. 이러한 구성에 의하면, 촬영 환경의 변화에 빠르게 반응하는 것이 가능하다. 다른 방법으로, 상술 한 본 발명의 제 1 실시형태에서와 같이, 화상 P1 및 화상 P2 가 복수회 획득되어 복수의 차분 화상 DP1 를 생성하고 복수의 차분 화상 DP1 에 기초하여 플리커의 발생을 검출할 수도 있다. 이러한 구성에 의하면, 플리커의 발생의 검출 정확도는 개선될 수 있다. 도 5 에 한정되지 않고 또한 도 6 에도 적용되는 것은 말할 필요도 없음을 주목한다.

제 3 실시형태

상술한 본 발명의 제 1 실시형태 및 제 2 실시형태에 따른 촬상 장치 (1) 는 상이한 전하 축적 시간에서 촬영된 2 개의 화상 P1 및 화상 P2 를 이용하여 생성된 차분 화상 DP 의 휘도 변동의 존재에 의해 플리커를 검출하는 구성으로 설명된다. 본 실시형태의 촬상 장치 (2) 는 차분 화상 DP 의 화면의 수직 방향에 있어서 휘도 변동의 주기 (화소값의 변동 주기) 에 기초하여 광원의 명멸 주파수, 즉 플리커 주파수를 더 검출하도록 구성된다. 이러한 구성은 촬상 장치 (2) 를 구비한 디지털 스틸 카메라 등이 CMOS 센서 (10) 의 화상에서 플리커를 발생시키는 광원의 명멸 주파수가 일본 국내에서와 같이 2 가지인 지역에서 사용되는 경우 특히 효과적이다. 상용 전원은 일본 국내에서 50㎐ 또는 60㎐ 의 주파수를 갖는다. 이하에서는, 본 실시형태에 따른 촬상 장치 (2) 의 구성 및 플리커 검출 순서를 상세히 기술한다.

촬상 장치 (2) 의 블럭도를 도 7 에서 도시한다. 도 7 에서, 플리커 검출부 (28) 를 제외한 구성요소들은 상술한 촬상 장치 (1) 내에 포함된 구성요소들과 동일하고, 이로써 그 구성요소들은 도 1 의 참조 부호에 의해 지정되고 그 구성 요소에 대한 상세한 설명을 생략한다. 촬상 장치 (2) 에 포함된 노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간을 T1 및 T2 의 2 개의 전하 축적 시간 간에서 교대로 전환함으로써 촬영을 실시하는 점에서 촬상 장치 (1) 와 유사하다는 것을 주목한다. 그러나, 이 때의 전하 축적 시간 T1 및 전하 축적 시간 T2 는 각각 광원의 제 1 명멸 주기 (예를 들어, 1/100 초) 및 제 2 명멸 주기 (예를 들어, 1/120 초) 에 대응하게 설정된다. 이하, 본 실시형태에서는, 광원의 제 1 명멸 주기가 1/100 초이고, 이에 대응하는 제 1 전하 축적 시간 T1 이 N/100 초인 것을 설명한다. 또한, 광원의 제 2 명멸 주기가 1/120 초이고, 이에 대응하는 제 2 전하 축적 시간 T2 가 M/120 초인 것을 설명한다. 여기서, N 및 M 은 양의 정수이다. 그렇지만, 제 2 전하 축적 시간 T2 는 광원의 제 1 명멸 주기 "1/100 초" 의 정수배 이외의 값이 되도록 결정된다.

플리커 검출부 (28) 는 차분 화상 생성부 (17) 에 의해 생성된 차분 화상 DP 를 입력하여 차분 화상 DP 의 화면의 수직 방향에 있어서의 화소값의 변동 (휘도 변동) 에 따라 제 1 화상 P1 또는 제 2 화상 P2 의 플리커 발생을 검출한다. 또한, 차분 화상 DP 의 화면의 수직 방향에 있어서의 휘도 변동의 주기를 해석함으로써, 플리커 검출부 (28) 는 화상 P1 및 화상 P2 중 어느 화상에서 플리커가 발생되는지, 바꿔 말하면, 촬영 환경이 제 1 명멸 주기 (1/100 초) 또는 제 2 명멸 주기 (1/120 초) 중 어느 하나의 광원하에 있는 지를 검출한다. 즉, 플리커 검출부 (28) 는 차분 화상 DP 의 휘도 변동의 주파수 (즉, 플리커 주파수) 를 검출하는 플리커 주파수 검출부를 포함하는 것으로 말할 수 있다. 그러므로, 도 7 에서 는, 도 1 에서와의 차이를 명료하게 하기 위하여, 플리커 검출부 (28) 의 블록 내에 플리커 주파수 검출부를 내장하여 기재하고 있다.

제 1 전하 축적 시간 T1 를 N/100 초 및 제 2 전하 축적 시간 T2 를 M/120 초로서 차분 화상 DP 를 발생시키는 경우, 본 발명의 제 1 실시형태에서 기술된 바와 같이, 차분 화상 DP 의 화면의 수직 방향의 휘도 변동의 존재를 검출하는 것에 의해, 플리커가 발생되는지 여부를 검출하는 것을 가능하게 한다. 그렇지만, 차분 화상 DP 의 휘도 변동의 존재를 검출하는 것만에 의해, 촬상 장치 (2) 의 촬영 환경이 100㎐ 플리커의 광원하에 있는지 또는 120㎐ 플리커의 광원하에 있는지 여부를 판정하는 것은 불가능하다. 그러므로, 본 실시형태에서는, 차분 화상 DP 의 휘도 변동의 주기 또는 주파수를 다음의 방식으로 해석함으로써, 촬영 환경의 플리커 주파수를 판정한다.

도 8A 내지 도 8C 는 차분 화상 DP 의 스크린 수직 방향에 있어서의 휘도 변동의 파형들을 나타내는 개념도이다. 도 8A 는 화상 P1 및 화상 P2 중 어느 하나에서도 플리커가 발생되지 않는 경우의 차분 화상 DP 의 휘도 변동을 나타낸다. 이 경우, 화상 P1 및 화상 P2 는 피사체의 이동 및 노이즈를 제외하면 동일한 화상들이다. 그러므로, 차분 화상의 화소값 (휘도) 은 도 8A 에서와 같이 직류 파형을 나타낸다.

도 8B 는 광원의 명멸 주파수가 100㎐ 이고 화상 P2 에서 플리커가 발생되는 경우에 있어서의 차분 화상 DP 의 휘도 변동을 나타낸다. 이 경우의 차분 화상 DP 의 화소값 (휘도) 의 변동 주파수는 광원의 명멸 주파수 (100㎐) 및 화상 P1 및 화상 P2 의 촬영 시의 프레임 레이트에 따라 정해진다.

또한, 도 8C 는 광원의 명멸 주파수가 120㎐ 이고 화상 P1 에서 플리커가 발생되는 경우에 있어서의 차분 화상 DP 의 휘도 변동을 나타낸다. 이 경우의 차분 화상 DP 의 화소값 (휘도) 의 변동 주파수는 광원의 명멸 주파수 (120㎐) 및 화상 P1 및 화상 P2 의 촬영 시의 프레임 레이트에 따라 결정된다.

도 8B 및 도 8C 에 도시되는 바와 같이, 차분 화상 DP 의 휘도 변동의 주파수는 광원의 명멸 주파수에 비례한다. 그러므로, 차분 화상 DP 의 휘도 변동의 주기 또는 주파수를 해석함으로써 100㎐ 플리커 및 120㎐ 플리커 중 어느 것이 발생되는지를 판정할 수 있다.

플리커 검출부 (28) 에 의해 차분 화상 DP 의 수직 방향의 휘도 변동 주파수의 해석은 디지털 매칭 필터를 이용하여 실시될 수 있다. 보다 구체적으로는, 광원의 명멸 주파수가 100㎐ (100㎐ 플리커) 인 경우의 차분 화상 DP 의 휘도 변동을 표시하는 기준 파형 A 와, 광원의 명멸 주파수가 120㎐ (120㎐ 플리커) 인 경우의 차분 화상 DP 의 휘도 변동을 표시하는 기준 파형 B 가 미리 준비된다. 다음으로, 관측된 차분 화상 DP 의 휘도 변동과, 기준 파형 A 및 기준 파형 B 사이의 상호 상관을 디지털 매칭 필터에 의해 산출한다. 이후, 관측된 차분 화상 DP 의 휘도 변동 파형이 기준 파형 A 및 기준 파형 B 중 어느 것에 가까운지를 산출된 상호 상관 값에 따라 평가할 수도 있다.

또한, 다른 방법으로, 플리커 검출부 (28) 는 차분 화상 DP 의 퓨리에 변환을 실행하고, 차분 화상 DP 의 공간 주파수 스펙트럼에 기초하여 차분 화상 DP 의 휘도 변동을 검출하도록 구성될 수도 있다. 또한, CMOS 센서 (10) 의 프레임 레이트가 큰 경우, 화상 P1 및 화상 P2 에 포함된 플리커에 의해 기인된 가로 줄무늬의 수가 상대적으로 작아지게 된다. 이러한 경우, 플리커 검출부 (28) 는 차분 화상 DP 에 포함된 가로 줄무늬의 수직 방향의 화소 수를 측정할 수도 있고, 100㎐ 플리커에 의한 가로 줄무늬 및 120㎐ 플리커에 의한 가로 줄무늬가 중 그 수에 대응하는 것에 의해 플리커 주파수를 평가할 수도 있다.

이하, 촬상 장치 (2) 에 있어서 플리커 검출 순서를 도 9 의 흐름도를 참조하여 설명한다. 단계 S301 에서, 노광 제어부 (15) 의 제어에 의해, CMOS 센서 (10) 는 전하 축적 시간 T1 (N/100 초) 로서 화상의 촬영을 실행하여 제 1 화상 P1 을 얻는다. 다음으로, 단계 S302 에서, 노광 제어부 (15) 는 CMOS 센서 (10) 의 전하 축적 시간을 제 2 전하 축적 시간 T2 (M/120 초) 로 전환하고, CMOS 센서 (10) 는 전하 축적 시간 T2 로서 화상의 촬영을 실행하여 제 2 화상 P2 를 획득한다. 단계 S303 에서, 차분 화상 생성부 (17) 는 화상 P1 및 화상 P2 간의 차분 화상 DP 를 생성시킨다. 단계 S304 에서, 플리커 검출부 (28) 는 차분 화상 DP 의 수직 방향의 휘도 변동 주파수 fs 를 측정한다.

플리커 검출부 (28) 는 측정된 휘도 변동 주파수가 거의 0, 즉 차분 화상 DP 의 휘도 변동 파형이 직류 파형에 가까운 경우는 "플리커가 없음" 을 검출한다 (단계 S305 및 단계 S306). 또한, 측정된 휘도 변동 주파수 fs 가 광원의 100㎐ 플리커에 상응한 주파수인 경우, 플리커 검출부 (28) 는 광원의 명멸에 의해 기인한 100㎐ 플리커가 화상 P2 에서 발생되는 것, 바꿔 말해, 광원의 명멸에 의해 기 인한 100㎐ 플리커가 발생하는 촬영 환경인 것을 검출한다 (단계 S305 및 S307). 또한, 측정된 휘도 변동 주파수 fs 가 광원의 120㎐ 플리커에 상응한 주파수인 경우, 플리커 검출부 (28) 는 광원의 명멸에 의해 기인한 120㎐ 플리커가 화상 P1 에서 발생되는 것, 바꿔 말해, 광원의 명멸에 의해 기인한 120㎐ 플리커가 발생하는 촬영 환경인 것을 검출한다 (단계 S305 및 S308).

상술한 바와 같이, 본 실시형태의 촬상 장치 (2) 는 광원의 2 가지 명멸 주파수의 각각에 동기화되는 2 개의 전하 축적 시간 T1 및 전하 축적 시간 T2 에 의해 화상 P1 및 화상 P2 를 획득하고, 화상 P1 및 화상 P2 간의 차분 화상 DP 를 생성한다. 또한, 촬상 장치 (2) 는 화상 P1 및 화상 P2 의 주사 방향에 대해 수직인 방향인 차분 화상 DP 의 화면의 수직 방향의 휘도 변동의 주기 또는 주파수를 해석함으로써 2 가지의 명멸 주파수 (예를 들어, 100㎐ 및 120㎐) 중 어느 하나에 기인하는 플리커인지를 검출하도록 구성된다. 플리커를 검출한 후 노광 제어부 (15) 등에 있어서 구성 변경 및 통상의 촬영에 대한 응답은 상술한 제 1 실시형태 및 제 2 실시형태에 서술된 내용과 거의 동일하기 때문에 여기서는 새로운 설명을 생략한다.

이러한 구성이라면, 플리커의 검출뿐만 아니라 플리커 주파수의 검출도 실시될 수 있다. 또한, 이러한 구성이라면, 50㎐ 및 60㎐ 의 2 가지의 전원 주파수가 사용되는 일본에서와 같은 지역에서뿐만 아니라 전원 주파수가 오직 50㎐ 인 유럽과 전원 주파수가 오직 60㎐ 인 북 아메리카에서와 같은 지역에서도, 플리커 검출이 가능하다. 그러므로, 촬상 장치 (2) 는 사용 지역에 무관하게 범용적으로 사용될 수 있다.

촬상 장치 (2) 를 탑재한 디지털 스틸 카메라 등에 있어서 플리커의 검출 프로세스를 실시하는 타이밍은 전원 기동 시에서와 같이 본 발명의 제 1 실시형태에 기술된 다양한 타이밍일 수도 있음을 주목한다.

또한, 촬상 장치 (2) 는 화상 P1 및 화상 P2 를 복수회 획득하여 복수의 차분 화상 DP 를 생성함으로써 복수의 차분 화상 DP 에 기초하여 플리커의 발생을 검출할 수도 있다. 예를 들어, 차분 화상 DP 는 4 회 생성되고, 만약 차분 화상 DP 의 수직 방향의 휘도 변동이 4 회 연속하여 검출되고 플리커 주파수가 일정하다면, 촬상 장치 (2) 는 플리커의 발생을 검출할 수도 있다. 이러한 구성이라면, 플리커의 존재 및 플리커 주파수에 대한 오판정을 억제하고 플리커의 존재 및 플리커 주파수의 검출 정확도를 향상시키는 것이 가능하다.

본 발명은 위의 실시형태들에 제한되지 않으나, 본 발명의 범위 및 사상으로부터 일탈함 없이 수정되고 변경될 수도 있음이 명백하다.

본 발명의 상술한 실시형태들에 의해 지지되는 본 발명의 범위에서, 다음에서 열거된 장치 및 방법들이 포함되는 것을 주목한다.

본 발명의 다른 실시형태 1

촬상 센서;

제 1 명멸 주기에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상의 플리커를 야기하지 않는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것을 제어하고 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시 간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 제어하도록 구성된 제어부;

제 1 화상과 제 2 화상 사이에서 차분 화상을 생성하도록 구성된 차분 화상 생성부; 및

제 1 화상 및 제 2 화상의 주사 방향에 대한 수직한 방향의 차분 화상의 화소값의 변동에 기초하여 제 2 화상에 플리커의 발생을 검출하도록 구성된 플리커 검출부를 포함하고,

차분 화상은 제 1 화상의 수평 방향의 화소값의 적산값 및, 제 2 화상의 수평 방향의 화소값의 적산값의 차분을 산출함으로써 발생되는, 촬상 장치.

본 발명의 다른 실시형태 2

차분 화상 생성부에 의해 차분 화상의 발생이 제 1 화상 및 제 2 화상의 일부에 대해 실시되는, 본 발명의 다른 실시형태 1 에 따른 촬상 장치.

본 발명의 다른 실시형태 3

촬상 센서;

제 1 명멸 주기에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상에 플리커를 야기하지 않는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것을 제어하고 제 1 명멸 주기에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상에 플리커가 야기되는 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 제어하도록 구성된 제어부; 및

제 1 화상과 제 2 화상 사이의 휘도의 차이에 기초하여 제 2 화상에서의 플 리커 발생을 검출하도록 구성된 플리커 검출부를 포함하고,

제 1 전하 축적 시간은 1/100 초의 정수배이고, 제 2 전하 축적 시간은 1/120 초의 정수배인, 촬상 장치.

본 발명의 다른 실시형태 4

플리커를 검출하는 방법으로서,

광원의 제 1 명멸 주기에 동기화되고 제 1 명멸 주기에서 명멸하는 광원하에서 촬영된 화상에 플리커를 야기하지 않는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것과, 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 실행하도록 촬상 센서의 전하 축적 시간을 제 1 전하 축적 시간 및 제 2 전하 축적 시간에 의해 전환시키는 단계; 및

제 1 화상 및 제 2 화상 간의 휘도의 차이에 기초하여 제 2 화상에서의 플리커 발생을 검출하는 단계를 포함하고,

제 1 전하 축적 시간에 의한 촬영 및 제 2 전하 축적 시간에 의한 촬영은 교대로 반복되고,

제 2 화상에서의 플리커 발생의 검출은 교대로 반복적으로 촬영된 제 1 화상 및 제 2 화상을 이용하여 반복되는, 플리커 검출 방법.

본 발명의 다른 실시형태 5

플리커를 검출하는 방법으로서,

광원의 제 1 명멸 주기에 동기화되고 제 1 명멸 주기에서 명멸하는 광원하에 서 촬영된 화상에 플리커를 야기하지 않는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것과 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 실행하도록 촬상 센서의 전하 축적 시간을 제 1 전하 축적 시간 및 제 2 전하 축적 시간에 의해 전환시키는 단계; 및

제 1 화상 및 제 2 화상 간의 차분 화상을 발생시키는 단계; 및

제 1 화상 및 제 2 화상의 주사 방향에 대한 수직한 방향의 차분 화상의 화소값의 변동에 기초하여 제 2 화상에서의 플리커 발생을 검출하는 단계를 포함하는, 플리커 검출 방법.

본 발명의 다른 실시형태 6

차분 화상은 제 1 화상 및 제 2 화상에 대한 각각의 대응 화소 사이의 화소값의 차분을 산출함으로써 발생되는, 본 발명의 다른 실시형태 5 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 7

차분 화상은 제 1 화상의 수평 방향의 화소값의 적산값 및 제 2 화상의 수평 방향의 화소값의 적산값의 차이를 산출함으로써 발생되는, 본 발명의 다른 실시형태 5 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 8

차분 화상은 제 1 화상 및 제 2 화상의 일부에 대해 발생되는, 본 발명의 다른 실시형태 6 또는 다른 실시형태 7 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 9

제 2 전하 축적 시간은 제 1 명멸 주기에서 명멸하는 광원하에서 촬영된 화상에 플리커를 야기하고, 제 2 전하 축적 시간은 광원의 제 2 명멸 주기에 동기화되며 제 2 명멸 주기에서 명멸하는 광원하에서 촬영된 화상에 플리커가 야기되지 않는, 본 발명의 다른 실시형태 5 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 10

제 1 전하 축적 시간은 1/100 초의 정수배이고, 제 2 전하 축적 시간은 1/120 초의 정수배인, 본 발명의 다른 실시형태 9 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 11

플리커 발생을 검출하는 단계는 제 1 화상 및 제 2 화상의 주사 방향에 대한 수직한 방향의 차분 화상의 화소값의 변동 기간 또는 변동 주파수에 따라 플리커가 제 1 화상 및 제 2 화상 중 어느 것에 발생되는지를 검출하는 것을 포함하는, 본 발명의 다른 실시형태 9 에 따른 플리커 검출 방법.

본 발명의 다른 실시형태 12

촬상 센서;

제 1 명멸 주기에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상에 플리커를 야기하지 않는 제 1 전하 축적 시간으로 조정된 촬상 센서에 의해 제 1 화상을 촬영하는 것, 및 제 1 명멸 주기에 동기화되지 않고 제 1 명멸 주기에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상의 플리커가 야기되는 제 2 전하 축적 시간으로 조정된 촬상 센서에 의해 제 2 화상을 촬영하는 것을 제어하는 수 단;

제 1 화상 및 제 2 화상 간의 차분 화상을 생성하는 수단; 및

차분 화상에 기초하여 제 2 화상에 플리커의 발생을 검출하는 수단을 포함하는, 촬상 장치.

Claims

촬상 센서;

제 1 명멸 주기 (blink cycle) 에서 명멸하는 광원하에서 상기 촬상 센서에 의해 촬영된 화상에 플리커 (flicker) 를 야기하지 않는 제 1 전하 축적 시간으로 조정된 상기 촬상 센서에 의해 제 1 화상을 촬영하는 것, 및 상기 제 1 명멸 주기에서 명멸하는 광원하에서 촬영된 화상에 플리커를 야기하며 상기 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시간으로 조정된 상기 촬상 센서에 의해 제 2 화상을 촬영하는 것을 제어하도록 구성된 제어부; 및

상기 제 1 화상과 상기 제 2 화상 간의 휘도의 차이에 기초하여 상기 제 1 화상 또는 상기 제 2 화상의 플리커 발생을 검출하도록 구성된 플리커 검출부를 포함하는, 촬상 장치.
제 1 항에 있어서,

상기 제어부는 상기 촬상 센서가 반복적으로 상기 제 1 전하 축적 시간에 의해 촬영하는 것과 상기 제 2 전하 축적 시간에 의해 촬영하는 것을 교대로 실행하는 것을 제어하는, 촬상 장치.
제 1 항에 있어서,

상기 제 1 화상과 상기 제 2 화상 간의 차분 화상 (difference image) 을 생성하도록 구성된 차분 화상 생성부를 더 포함하고,

상기 플리커 검출부는 상기 제 1 화상 및 상기 제 2 화상의 주사 방향에 대한 수직한 방향의 상기 차분 화상의 화소값의 변동에 기초하여 상기 제 1 화상 또는 상기 제 2 화상의 플리커 발생을 검출하는, 촬상 장치.
제 3 항에 있어서,

상기 차분 화상은 상기 제 1 화상 및 상기 제 2 화상에 각각 대응하는 화소 간의 화소값의 차분을 계산함으로써 생성되는, 촬상 장치.
제 2 항에 있어서,

상기 제 1 화상과 상기 제 2 화상 사이의 차분 화상을 생성하도록 구성된 차분 화상 생성부를 더 포함하고,

상기 플리커 검출부는 상기 제 1 화상 및 상기 제 2 화상의 주사 방향에 대한 수직한 방향의 상기 차분 화상의 화소값의 변동에 기초하여 상기 제 1 화상 또는 상기 제 2 화상의 플리커 발생을 검출하는, 촬상 장치.
제 5 항에 있어서,

상기 차분 화상은 상기 제 1 화상 및 상기 제 2 화상에 각각 대응하는 화소 간의 화소값의 차분을 계산함으로써 생성되는, 촬상 장치.
제 1 항에 있어서,

상기 제 2 전하 축적 시간은 상기 광원의 제 2 명멸 주기에 동기화되고 상기 제 2 명멸 주기에서 명멸하는 상기 광원하에서 촬영된 화상에 플리커를 야기하지 않는, 촬상 장치.
제 7 항에 있어서,

상기 제 1 화상과 상기 제 2 화상 간의 차분 화상을 생성하도록 구성된 차분 화상 생성부를 더 포함하고,

상기 플리커 검출부는 상기 제 1 화상 및 상기 제 2 화상의 주사 방향에 대한 수직한 방향의 상기 차분 화상의 화소값의 변동 기간 및 변동 주파수 양자 중 적어도 하나에 따라 상기 제 1 화상 및 상기 제 2 화상 중 어느 화상에 플리커가 발생되는 지를 검출하는, 촬상 장치.
제 1 명멸 주기 (blink cycle) 에서 명멸하는 광원하에서 촬상 센서에 의해 촬영된 화상에 플리커 (flicker) 를 야기하지 않는 제 1 전하 축적 시간으로 조정된 상기 촬상 센서에 의해 제 1 화상을 촬영하는 것을 실행하는 단계;

상기 제 1 명멸 주기에서 명멸하는 광원하에서 촬영된 화상에 플리커를 야기하며 상기 제 1 전하 축적 시간과 상이한 제 2 전하 축적 시간으로 조정된 상기 촬상 센서에 의해 제 2 화상을 촬영하는 것을 실행하는 단계; 및

상기 제 1 화상과 상기 제 2 화상 간의 휘도의 차이에 기초하여 상기 제 1 화상 또는 제 2 화상의 플리커 발생을 검출하는 단계를 포함하는, 플리커 발생을 검출하는 방법.