KR101007427B1

KR101007427B1 - 촬상 장치 및 플리커 저감 방법

Info

Publication number: KR101007427B1
Application number: KR1020040052235A
Authority: KR
Inventors: 기노시따마사야
Original assignee: 소니 주식회사
Priority date: 2003-07-08
Filing date: 2004-07-06
Publication date: 2011-01-12
Also published as: US20050046704A1; EP1496690A2; JP2005033616A; TWI239212B; EP1496690A3; TW200509690A; KR20050006045A; CN1577040A; JP3826904B2; US7705893B2; CN100423555C

Abstract

본원 발명은, CMOS 촬상 장치 등의 XY 어드레스 주사형의 촬상 장치에서, 형광등을 구동하는 전원의 주파수를 검출하지 않고, 전원 주파수와 촬상 장치의 수직 동기 주파수와의 조합의 여하와 무관하게, 형광등 플리커 성분을 저감할 수 있음과 함께, 전자식의 손떨림 보정에 불가결한 고속 셔터를 실현할 수 있도록 하는 것을 목적으로 한다. 본원 발명의 촬상 장치는, 수직 동기 주파수를 fv(㎐)로 하고, N을 양의 정수로 할 때, 120/fv가 정수인 경우에는, 셔터 속도를 N/120(초)로 하고, 100/fv가 정수인 경우에는, 셔터 속도를 N/100(초)로 한다. NTSC 방식의 경우에는, 손떨림 보정 ON 시에는 셔터 속도를 1/120초로 하고, 손떨림 보정 OFF 시에는 셔터 속도를 1/60초로 한다. PAL 방식의 경우에는, 손떨림 보정 ON 시에는 셔터 속도를 1/100초로 하고, 손떨림 보정 OFF 시에는 셔터 속도를 1/50초로 한다. 프로그레시브 방식의 경우도, 마찬가지로 한다.

손떨림 보정, 촬상 장치, 전원의 주파수, 플리커 성분

Description

촬상 장치 및 플리커 저감 방법{IMAGE PICKUP DEVICE AND FLICKER DECREASING METHOD}

도 1은 CCD 촬상 장치에서의 형광등 플리커의 설명에 제공하는 도면.

도 2는 CMOS 촬상 장치에서의 형광등 플리커의 설명에 제공하는 도면.

도 3은 CMOS 촬상 장치에서의 형광등 플리커의 1 화면 내의 줄무늬 모양을 도시하는 도면.

도 4는 CMOS 촬상 장치에서의 형광등 플리커가 연속하는 3 화면에 걸친 줄무늬 모양을 도시하는 도면.

도 5는 시간축 상에서 연속성을 갖는 플리커를 발생하는 경우의 설명에 제공하는 도면.

도 6은 고속 셔터 시에 1 화면에서 완결하는 플리커를 발생하는 경우의 설명에 제공하는 도면.

도 7은 수직 동기 주파수와 전원 주파수의 조합의 각 경우에 대한 플리커 발생 양태를 도시하는 도면.

도 8은 본 발명의 촬상 장치의 제1 실시예의 시스템 구성을 도시하는 도면.

도 9는 원색계 시스템의 디지털 신호 처리부의 일례를 도시하는 도면.

도 10은 셔터 제어부가 실행하는 셔터 제어 처리의 일례의 일부를 도시하는 도면.

도 11은 셔터 제어부가 실행하는 셔터 제어 처리의 일례의 일부를 도시하는 도면.

도 12는 셔터 제어부가 실행하는 셔터 제어 처리의 일례의 일부를 도시하는 도면.

도 13은 형광등 조명 하인지의 여부를 검출하는 방법의 일례의 설명에 제공하는 도면.

도 14는 형광등 조명 하인지의 여부를 검출하는 방법의 일례의 설명에 제공하는 도면.

도 15는 셔터 제어부가 실행하는 셔터 제어 처리의 다른 예의 일부를 도시하는 도면.

도 16은 본 발명의 방법에서의 셔터 속도 설정 양태를 도시하는 도면.

도 17은 플리커 저감부의 일례를 도시하는 도면.

도 18은 구체예의 플리커 저감 방법의 설명에 제공하는 식을 도시하는 도면.

도 19는 구체예의 플리커 저감 방법의 설명에 제공하는 식을 도시하는 도면.

도 20은 구체예의 플리커 저감 방법의 설명에 제공하는 식을 도시하는 도면.

도 21은 구체예의 플리커 저감 방법의 설명에 제공하는 식을 도시하는 도면.

도 22는 구체예의 플리커 저감 방법의 설명에 제공하는 식을 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

11 : 촬상 광학계

12 : CMOS 촬상 소자

13 : 아날로그 신호 처리부

14 : 시스템 컨트롤러

20 : 디지털 신호 처리부

본 발명은, CMOS(상보형 금속 산화물 반도체) 촬상 소자 등의 XY 어드레스 주사형의 촬상 소자(이메이져, 이미지 센서)를 이용한 비디오 카메라나 디지털 스틸 카메라 등의 촬상 장치, 및 그 촬상 장치에 의해 형광등의 조명 하에서 피사체를 촬영한 경우에 촬상 소자로부터 얻어지는 영상 신호에 발생하는 형광등 플리커를 저감시키는 방법에 관한 것이다.

상용 교류 전원에 의해 점등되는 형광등의 조명 하에서, 비디오 카메라에 의해 피사체를 촬영하면, 형광등의 휘도 변화(광량 변화)의 주파수(상용 교류 전원 주파수의 2배)와 카메라의 수직 동기 주파수(촬상 주파수)와의 차이에 의해, 촬영 출력의 영상 신호에 시간적인 명암의 변화, 소위 형광등 플리커를 발생한다.

예를 들면, 상용 교류 전원 주파수가 50㎐인 지역에서, 비인버터 방식의 형광등의 조명 하에서(인버터 방식의 형광등의 경우에도, 정류가 충분하지 않은 경우에는 플리커를 발생하므로, 비인버터 방식의 형광등의 경우에 한하지 않지만), NTSC 방식(수직 동기 주파수(이 경우에는 필드 주파수)는 60㎐)의 CCD 카메라에 의 해 피사체를 촬영하는 경우에 대해 설명한다. 이 경우에는, 도 1에 도시한 바와 같이, 1 필드의 주기가 1/60초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/100초로 되므로, 형광등의 휘도 변화에 대하여 각 필드의 노광 타이밍이 어긋나, 각 화소의 노광량이 필드마다 변화한다.

그 때문에, 예를 들면, 노광 시간이 1/60초일 때에는, 기간 a1, a2, a3에서는, 동일한 노광 시간이라도 노광량이 서로 다르다. 또, 노광 시간이 1/60초보다 짧을 때(단, 후술한 바와 같이 1/100초가 아닐 때)에는, 기간 b1, b2, b3에서는, 동일한 노광 시간이라도 노광량이 서로 다르다.

형광등의 휘도 변화에 대한 노광 타이밍은, 3 필드마다 원래의 타이밍으로 되돌아가기 때문에, 플리커에 의한 명암 변화는, 3 필드마다 반복하게 된다. 즉, 각 필드의 휘도비는, 노광 기간에 따라 변하지만, 플리커의 주기는 변하지 않는다.

단, 디지털 스틸 카메라 등, 프로그레시브 방식의 카메라로, 수직 동기 주파수(이 경우에는 프레임 주파수)가 30㎐인 경우에는, 3 프레임마다 명암 변화가 반복된다.

또한, 형광등은, 백색광을 발광하기 위해, 통상, 복수의 형광체, 예를 들면, 적, 녹, 청의 형광체가 이용되고 있다. 그러나, 이들 형광체는, 각각이 고유의 잔광 특성을 갖고, 휘도 변화의 주기 중에 존재하는 방전 정지로부터 다음 방전 개시까지의 기간은, 각각의 잔광 특성으로 감쇠 발광한다. 그 때문에, 이 기간에서는, 시작은 백색이던 광이, 점차로 색상을 바꾸면서 감쇠하게 되므로, 상기한 바와 같이 노광 타이밍이 어긋나면, 명암 변화뿐만 아니라, 색상 변화를 발생한다. 또한, 형광등은, 특정한 파장에 강한 피크가 존재하는 특유의 분광 특성을 가지고 있기 때문에, 색에 따라 신호의 변동 성분이 서로 다르다.

그리고, 이러한 색상 변화, 및 색마다의 변동 성분의 차에 의해, 소위 색 플리커가 발생한다.

이것에 대하여, 도 1과 같이 전원 주파수가 50㎐, 촬상 장치의 수직 동기 주파수가 60㎐인 경우, 도 1의 최하단에 도시한 바와 같이, 노광 시간을 형광등의 휘도 변화의 주기인 1/100초로 설정하면, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 플리커를 발생하지 않는다.

또한, 이와 같이 셔터 속도를 규정하지 않고, 형광등 플리커를 저감시키는 방법도 있겠다. CCD 촬상 장치와 같이 1 화면 내의 모든 화소가 동일한 노광 타이밍에서 노광되는 촬상 장치인 경우에는, 플리커에 의한 명암 변화 및 색 변화가 필드 사이에서만 나타나기 때문에, 플리커를 저감하는 것은 비교적 용이하게 실현할 수 있다.

예를 들면, 도 1의 경우, 노광 시간이 1/100초가 아니면, 플리커는 3 필드의 반복 주기로 되므로, 각 필드의 영상 신호의 평균값이 일정하게 되도록 3 필드 전의 영상 신호로부터 현재의 휘도 및 색의 변화를 예측하고, 그 예측 결과에 따라 각 필드의 영상 신호의 게인을 조정함으로써, 플리커를 실용상 문제없는 레벨까지 억압할 수 있다.

그러나, CMOS 촬상 소자 등의 XY 어드레스 주사형의 촬상 소자에서는, 화소 마다의 노광 타이밍이 화면 수평 방향에서 판독 클럭(화소 클럭)의 1 주기분씩 순차적으로 어긋나고, 모든 화소에서 노광 타이밍이 상이하기 때문에, 상기한 방법으로는 플리커를 충분히 억압할 수는 없다.

도 2에, 그 양태를 도시한다. 상기한 바와 같이 화면 수평 방향에서도 각 화소의 노광 타이밍이 순차적으로 어긋나지만, 형광등의 휘도 변화의 주기와 비교하여 1수평 주기는 충분히 짧으므로, 동일 라인 상의 화소는 노광 타이밍이 동시라고 가정하여, 화면 수직 방향에서의 각 라인의 노광 타이밍을 도시한다. 실제로, 이와 같이 가정해도 문제는 없다.

도 2에 도시한 바와 같이, XY 어드레스 주사형의 촬상 장치, 예를 들면 CMOS 촬상 장치에서는, 라인마다 노광 타이밍이 다르고(F0은, 임의의 필드에서의, 그 양태를 도시함), 각 라인에서 노광량에 차를 발생하기 때문에, 플리커에 의한 명암 변화 및 색 변화가, 필드 사이뿐만 아니라 필드 내에서도 발생하여, 화면 상에서는 줄무늬 모양(줄무늬 자체의 방향은 수평 방향, 줄무늬의 변화의 방향은 수직 방향)으로서 나타난다.

도 3에, 피사체가 균일한 패턴인 경우의, 이 면내(화면내) 플리커의 양태를 도시한다. 줄무늬 모양의 1 주기(1 파장)가 1/100초이므로, 1 화면 내에는 1.666 주기분의 줄무늬 모양이 발생하게 되어, 1 필드당 판독 라인수를 M으로 하면, 줄무늬 모양의 1 주기는 판독 라인수로는 L=M*60/100에 상당한다. 또, 명세서 및 도면에서는, 별표(*)를 승산의 기호로서 이용한다.

도 4에 도시한 바와 같이, 이 줄무늬 모양은, 3 필드(3 화면)에서 5 주기(5 파장)분이 되어, 연속적으로 보면 수직 방향으로 흐르는 것처럼 보인다.

도 3 및 도 4에는, 플리커에 의한 명암 변화만을 도시하지만, 실제로는 상술한 색 변화도 추가되어, 화질이 현저히 열화한다. 특히 색 플리커는, 셔터 속도가 빠르게 되면(노광 시간이 짧아지면) 열화가 현저하게 됨과 함께, XY 어드레스 주사형의 촬상 장치에서는, 그 영향이 화면 내에 나타나기 때문에, 화질 열화가 눈에 더 띄게 된다.

이러한 XY 어드레스 주사형의 촬상 장치인 경우에도, 도 2와 같이 전원 주파수가 50㎐, 촬상 장치의 수직 동기 주파수가 60㎐인 경우, 노광 시간을 형광등의 휘도 변화의 주기인 1/100초로 설정하면, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 형광등 플리커를 발생하지 않는다.

또한, 이와 같이 셔터 속도를 규정하지 않고, CMOS 촬상 장치 등의 XY 어드레스 주사형의 촬상 장치에 고유한 형광등 플리커를 저감시키는 방법이 제안되고 있다.

구체적으로 설명하면, 일본 특개2000-350102호 공보 또는 일본 특개2000-23040호 공보에는, 수광 소자나 측광 소자에 의해 형광등의 광량을 측정함으로써 플리커 성분을 추정하고, 그 추정 결과에 따라 촬상 소자로부터의 영상 신호의 이득을 제어하는 방법이 기재되어 있다.

그러나, CMOS 촬상 장치 등의 XY 어드레스 주사형의 촬상 장치에 의해 형광등 조명 하에서 피사체를 촬영한 경우에, 촬상 소자로부터의 영상 신호에 발생하는 플리커의 양태는, 촬상 장치의 영상 방식(구체적으로는 수직 동기 주파수), 형광등 을 구동하는 상용 교류 전원의 주파수, 및 전자 셔터의 셔터 속도(노광 시간)의 조합에 따라, 크게 변화한다.

구체적으로, 촬상 장치의 영상 방식으로는, 방송 방식에 대응하여, NTSC 방식(수직 동기 주파수는 60㎐)과 PAL 방식(수직 동기 주파수는 50㎐)이 있다. 또한, 최근의 비디오 카메라는, NTSC 방식과 PAL 방식의 양방에 대응한 것이 대부분이며, 공장으로부터 출하할 때에, 출하 발송지에 따라 전기적으로 NTSC 방식과 PAL 방식 중 어느 하나로 설정되는 것이 일반적이다.

또한, 상용 교류 전원 주파수는, 일본의 일부 지역 및 세계의 일부 나라 또는 지역에서는 50㎐로 되고, 일본의 그 밖의 지역 및 세계의 그 밖의 나라 또는 지역에서는 60㎐로 되어 있다.

도 5의 (A)의 케이스 1은, NTSC 방식의 CMOS 촬상 장치에 의해, 전원 주파수가 50㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우이다.

이 경우에는, 1 필드가 1/60초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/100초로 되므로, 도 2∼도 4에 도시한 바와 같이, 노광 시간이 1/60초인 통상 셔터 시에도, 노광 시간이 1/60초보다 짧은 고속 셔터 시에도, 3 필드(3 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는(연속적으로 보면 수직 방향으로 흐르는 것처럼 보임) 플리커를 발생한다.

단, 도 7에 케이스 1로서 도시한 바와 같이, 노광 시간이 1/100초인 고속 셔터로 할 때에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않는다.

도 5의 (B)의 케이스 2는, PAL 방식의 CMOS 촬상 장치에 의해, 전원 주파수가 60㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우이다.

이 경우에는, 1 필드가 1/50초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/120초로 되므로, 노광 시간이 1/50초인 통상 셔터 시에도, 노광 시간이 1/50초보다 짧은 고속 셔터 시에도, 5 필드(5 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는(연속적으로 보면 수직 방향으로 흐르는 것처럼 보임) 플리커를 발생한다.

단, 도 7에 케이스 2로서 도시한 바와 같이, 노광 시간이 1/120초 또는 1/60초인 고속 셔터로 할 때에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않는다.

그리고, 도 7의 케이스 1 또는 케이스 2와 같이, 복수 수직 주기(복수 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하는 경우에는, 상술한 바와 같은 종래의, 또는 후술하는 본원과 동일 발명자에 의한 선원(일본 특원 2003-173642)의 발명의, 플리커의 연속성을 이용하여 플리커 성분을 추정하고, 그 추정 결과에 따라 촬상 소자로부터의 영상 신호를 보정하여, 플리커 성분을 저감시키는 방법에 의해, 플리커 성분을 저감할 수 있다.

이것에 대하여, 도 6의 (A)의 케이스 3은, NTSC 방식의 CMOS 촬상 장치에 의해, 전원 주파수가 60㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우이다.

이 경우에는, 1 필드가 1/60초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/120초로 되므로, 노광 시간이 1/60초인 통상 셔터시에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않지만, 노광 시간이 1/60초보다 짧은 고속 셔터시에는, 도 6의 (A)의 우측에 도시한 바와 같이, 각 필드(각 화면)에서 플리커의 줄무늬 모양이 동일해지는 1 필드(1 화면)에서 완결하는 플리커를 발생한다.

단, 도 7에 케이스 3으로서 도시한 바와 같이, 노광 시간이 1/120초인 고속 셔터로 할 때에는, 노광 시간이 1/60초인 통상 셔터 시간과 마찬가지로, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않는다.

또한, 도 6의 (B)의 케이스 4는, PAL 방식의 CMOS 촬상 장치에 의해, 전원 주파수가 50㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우이다.

이 경우에는, 1 필드가 1/50초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/100초로 되므로, 노광 시간이 1/50초인 통상 셔터시에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않지만, 노광 시간이 1/50초보다 짧은 고속 셔터시에는, 도 6의 (B)의 우측에 도시한 바와 같이, 각 필드(각 화면)에서 플리커의 줄무늬 모양이 동일해지는 1 필드(1 화면)에서 완결하는 플리커를 발생한다.

단, 도 7에 케이스 4로서 도시한 바와 같이, 노광 시간이 1/100초인 고속 셔터로 할 때에는, 노광 시간이 1/50초인 통상 셔터시와 마찬가지로, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않 는다.

그리고, 도 7의 케이스 3 또는 케이스 4에서, 또한 고속 셔터로 하는 경우와 같이, 1 필드(1 화면)에서 완결하는 시간축 상에서 불연속의 플리커를 발생하는 경우에는, 애당초, 촬상 소자로부터의 영상 신호 중의, 피사체에 의한 패턴 성분과 형광등 플리커 성분을 구별할 수 없기 때문에, 상술한 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수는 없다.

도 7에, 이상을 통합하여 도시한다. 케이스 1의, 수직 동기 주파수가 60㎐, 전원 주파수가 50㎐인 경우, 케이스 2의, 수직 동기 주파수가 50㎐, 전원 주파수가 60㎐인 경우, 케이스 3의, 수직 동기 주파수가 60㎐, 전원 주파수가 60㎐인 경우, 및, 케이스 4의, 수직 동기 주파수가 50㎐, 전원 주파수가 50㎐인 경우에 대해서는, 상술한 바와 같다.

또한, 도 7에는, 디지털 스틸 카메라 등, 프로그레시브 방식의 CMOS 촬상 장치로서, 수직 동기 주파수(이 경우에는 프레임 주파수)가 30㎐인 경우도 도시한다.

도 7에 케이스 5로서 도시한 바와 같이, 이 수직 동기 주파수가 30㎐인 CMOS 촬상 장치에 의해, 전원 주파수가 50㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우에는, 1 수직 주기가 1/30초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/100초로 되므로, 노광 시간이 1/30초인 통상 셔터 시에도, 노광 시간이 1/30초보다 짧은 고속 셔터 시에도, 3 수직 주기(3 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는(연속적으로 보면 수직 방향으로 흐르는 것처럼 보임) 플리커를 발생한다.

단, 노광 시간이 형광등의 휘도 변화의 주기의 정수배의 1/100초, 1/50초 또는 3/l00초의 고속 셔터로 할 때에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않는다.

또한, 도 7에 케이스 6으로서 도시한 바와 같이, 이 수직 동기 주파수가 30㎐인 CMOS 촬상 장치에 의해, 전원 주파수가 60㎐인 지역에서, 형광등 조명 하에서 피사체를 촬영하는 경우에는, 1 수직 주기가 1/30초인 것에 대하여, 형광등의 휘도 변화의 주기가 1/120초로 되므로, 노광 시간이 1/30초인 통상 셔터시에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않지만, 노광 시간이 1/30초보다 짧은 고속 셔터시에는, 케이스 3 또는 케이스 4의 고속 셔터시와 마찬가지로, 각 수직 주기(이 경우에는 각 프레임)에서 플리커의 줄무늬 모양이 동일해지는 1 수직 주기(이 경우에는 1 프레임)로 완결하는 플리커를 발생한다.

단, 노광 시간이 형광등의 휘도 변화의 주기의 정수배의 1/120초, 1/60초 또는 1/40초의 고속 셔터로 할 때에는, 노광 시간이 1/30초인 통상 셔터시와 마찬가지로, 노광 타이밍과 무관하게 노광량이 일정하게 되어, 면내 플리커를 포함하는 플리커를 발생하지 않는다.

이상과 같이, 케이스 3, 케이스 4 또는 케이스 6에서, 또한 고속 셔터로 하는 경우에는, 셔터 속도를 특정한 속도로 하는 경우를 제외하고, 각 수직 주기(각 화면)에서 플리커의 줄무늬 모양이 동일해지는 1 수직 주기(1 화면)로 완결하는 플리커를 발생하여, 촬상 소자로부터의 영상 신호 중 패턴 성분과 플리커 성분을 구 별할 수 없으므로, 상술한 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수는 없다.

그 때문에, 이들 경우에는, 고속 셔터 속도(노광 시간)를, 플리커를 발생하지 않는 속도, 즉 케이스 3에서는 1/120초, 케이스 4에서는 1/100초, 케이스 6에서는 1/120초, 1/60초 또는 1/40초로 하면 된다. 또는, 고속 셔터로 하지 않고, 플리커를 발생하지 않는 통상 셔터로 하면 된다. 즉 셔터 속도(노광 시간)를, 케이스 3에서는 1/60초, 케이스 4에서는 1/50초, 케이스 6에서는 1/30초로 하면 된다.

그러나, 이와 같이 하기 위해서는, 별도로, 어느 한 방법에 의해 전원 주파수를 검출할 필요가 있다.

예를 들면, 플리커의 줄무늬 모양의 주기(파장)와 촬상 장치의 수직 주기(수직 동기 주파수의 역수)와의 관계로부터, 전원 주파수를 검출하는 방법이 있겠다. 그러나, 상기한 바와 같이 1 수직 주기(1 화면)에서 완결하는 시간축 상에서 불연속의 플리커를 발생하는 경우에는, 애당초, 촬상 소자로부터의 영상 신호 중 패턴 성분과 플리커 성분을 구별할 수 없기 때문에, 전원 주파수를 검출할 수 없다.

또한, 외부 센서에 의해 전원 주파수를 검출하는 방법도 있지만, 이 방법으로는 촬상 장치 시스템의 사이즈나 비용이 증대한다.

또한, 고속 셔터로 하지 않고, 통상 셔터로 하는 경우에는, 이하와 같이 전자식의 손떨림 보정의 면에서 문제가 있다.

최근의 촬상 장치는, 전자적인 화상 프레임 추출형의 손떨림 보정 기능을 갖는 것이 많다. 이 손떨림 보정 방식은, 카메라에 부착한 손떨림 센서, 또는 화상 중에 발생하는 움직임 벡터 등에 의해, 손떨림을 검출하고, 그 검출된 손떨림량에 기초하여, 입력 화상으로부터 적당한 위치 및 사이즈의 영역을 추출하여 출력함으로써, 항상 출력 화상이 정지하여 보이도록 화상 신호를 보정하는 것이다.

그러나, 이러한 전자식의 손떨림 보정에서는, 화면간(필드 사이 또는 프레임 사이)의 손떨림은, 보정할 수 있지만, 노광 기간 중에 발생한 손떨림에 의한, 소위 잔상 불선명은, 원리적으로 보정할 수 없다. 즉, 손떨림 보정에 의해, 화면 사이의 손떨림은 경감할 수 있지만, 잔상 불선명은 그대로 남기 때문에, 그 언밸런스에 의해 화질이 열화한다.

그리고, 이 잔상 불선명을 경감하기 위해서는, 고속 셔터로 하여, 노광 시간을 짧게 하면 된다. 단, 너무 셔터 속도를 빨리하면, 동화상의 넘어가는 느낌이 눈에 띄게 되므로, 이들 관계가 적합하게 되는 1/100초 정도의 셔터 속도로 설정되는 것이 통상적이다.

이상과 같이, 전자식의 손떨림 보정 기능을 갖는 촬상 장치는, 손떨림 보정 ON 시에는 자동적으로 고속 셔터로 되도록 설정된다. 즉, 전자식의 손떨림 보정을 행하기 위해서는 고속 셔터가 불가결하여, 형광등 플리커의 문제를 해결하기 위해 고속 셔터를 포기할 수는 없다.

따라서, 본 발명은, 형광등을 구동하는 전원의 주파수를 검출하지 않고, 전원 주파수와 촬상 장치의 수직 동기 주파수와의 조합의 여하와 무관하게, 형광등 플리커 성분을 저감할 수 있음과 함께, 전자식의 손떨림 보정에 불가결한 고속 셔터를 실현할 수 있도록 한 것이다.

본 발명의 촬상 장치는,

XY 어드레스 주사형의 촬상 소자를 구비하는 촬상 장치로서,

해당 촬상 장치의 설정된 수직 동기 주파수를 fv(㎐)로 하고, N을 양의 정수로 할 때, 120/fv가 정수인 경우에는, 노광 시간이 N/120(초)으로 되는 전자 셔터 속도로 설정되고, 100/fv가 정수인 경우에는, 노광 시간이 N/100(초)으로 되는 전자 셔터 속도로 설정되는 것이다.

또한, 본 발명의 플리커 저감 방법은, 형광등 조명 하에서 XY 어드레스 주사형의 촬상 소자에 의해 피사체를 촬영함으로써 얻어지는 영상 신호에 포함되는 형광등 플리커 성분을 저감시키는 방법으로서,

상기 촬상 소자를 구비하는 촬상 장치의 설정된 수직 동기 주파수를 fv(㎐)로 하고, N을 양의 정수로 할 때, 120/fv가 정수인 경우에는, 노광 시간이 N/120(초)로 되는 전자 셔터 속도로 설정하고, 100/fv가 정수인 경우에는, 노광 시간이 N/100(초)로 되는 전자 셔터 속도로 설정하는 셔터 제어 공정과,

상기 셔터 제어 공정에서 전자 셔터 속도가 설정된 상태에서, 상기 영상 신호로부터 플리커 성분을 추정하고, 그 추정 결과에 따라 상기 영상 신호를 보정하여, 플리커 성분을 저감하는 플리커 저감 처리 공정

을 구비하는 것이다.

도 7에 도시한 각 케이스에서, 수직 동기 주파수를 fv, 전원 주파수를 fp로 하면, 케이스 1(fv=60㎐, fp=50㎐), 케이스 2(fv=50㎐, fp=60㎐) 또는 케이스 5(fv=30㎐, fp=50㎐)와 같이, 수직 주기 1/fv(초)가 형광등의 휘도 변화의 주기 1/2fp(초)의 정수배가 아니면, 즉 2fp가 fv의 정수배가 아니면, 셔터 속도의 여하와 무관하게, 복수 수직 주기(복수 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는(연속적으로 보면 수직 방향으로 흐르는 것처럼 보임) 플리커를 발생하고, 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수 있다.

그러나, 케이스 3(fv=60㎐, fp=60㎐), 케이스 4(fv=50㎐, fp=50㎐) 또는 케이스 6(fv=30㎐, fp=60㎐)와 같이, 수직 주기 1/fv(초)가 형광등의 휘도 변화의 주기 1/2fp(초)의 정수배인 경우, 즉 2fp가 fv의 정수배인 경우에는, 통상 셔터시에는, 애당초 플리커를 발생하지 않지만, 고속 셔터시에는, 각 수직 주기(각 화면)로 플리커의 줄무늬 모양이 동일해지는 1 수직 주기(1 화면)로 완결하는 플리커를 발생하여, 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수는 없다.

이것에 대하여, 상기의 구성의, 본 발명의 촬상 장치에서는, 상기의 케이스 1, 케이스 3, 케이스 5 또는 케이스 6과 같이 120/fv가 정수로 되는 경우에는, 노광 시간이 수직 주기 1/fv(초)를 넘지 않는 범위 내에서 N/120(초)의 셔터 속도로 설정되고, 상기의 케이스 2 또는 케이스 4와 같이 100/fv가 정수로 되는 경우에는, 노광 시간이 수직 주기 1/fv(초)를 넘지 않는 범위 내에서 N/100(초)의 셔터 속도로 설정된다.

즉, 케이스 1 또는 케이스 3과 같이 fv=60㎐인 경우에는, 셔터 속도가 1/120 초 또는 1/60초로 설정되고, 케이스 2 또는 케이스 4와 같이 fv=50㎐의 경우에는, 셔터 속도가 1/100초 또는 1/50초로 설정되고, 케이스 5 또는 케이스 6과 같이 fv=30㎐인 경우에는, 셔터 속도가 1/120초, 1/60초, 1/40초 또는 1/30초로 설정된다.

따라서, 케이스 1, 케이스 2 또는 케이스 5인 경우에는, 각각 3 필드, 5 필드 또는 3 프레임을 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하여, 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수 있게 됨과 함께, 케이스 3, 케이스 4 또는 케이스 6인 경우에는, 애당초 플리커가 발생하지 않아, 플리커 저감 처리가 불필요해진다.

게다가, 그 때문에, 전원 주파수 fp를 검출할 필요가 없으므로, 촬상 장치의 셔터 제어 수단은, 촬상 장치의 설정된 수직 동기 주파수 fv(영상 방식)를 판단하기만 해도 된다. 또한, 전자식의 손떨림 보정의 실행시에는, N=1로 하는 등, 노광 시간이 수직 주기 1/fv(초)보다 짧은 고속 셔터를 실현할 수 있어, 고속 셔터에 의한 화질 향상을 도모할 수 있다.

〔촬상 장치의 실시예 : 도 8 및 도 9]

(시스템 구성 : 도 8)

도 8은, 본 발명의 촬상 장치의 제1 실시예의 시스템 구성을 도시하고, XY 어드레스 주사형의 촬상 소자로서 CMOS 촬상 소자를 이용한, NTSC 방식(fv-60㎐)과 PAL 방식(fv=50㎐) 중 어느 하나로 선택적으로 설정되는 비디오 카메라를 도시하고 있다.

이 실시예의 촬상 장치, 즉 비디오 카메라에서는, 피사체로부터의 광이, 촬상 광학계(11)를 통하여 CMOS 촬상 소자(12)에 입사하여, CMOS 촬상 소자(12)에 의해 광전 변환되어, CMOS 촬상 소자(12)로부터 아날로그 영상 신호가 얻어진다.

CMOS 촬상 소자(12)는, CMOS 기판 위에, 포토다이오드(포토 게이트), 전송 게이트(셔터 트랜지스터), 스위칭 트랜지스터(어드레스 트랜지스터), 증폭 트랜지스터, 리세트 트랜지스터(리세트 게이트) 등을 갖는 화소가 복수, 2차원 형상으로 배열되고 형성됨과 함께, 수직 주사 회로, 수평 주사 회로 및 영상 신호 출력 회로가 형성된 것이다.

CMOS 촬상 소자(12)는, 후술한 바와 같이 원색계와 보색계 중 무엇이든 무관하며, CMOS 촬상 소자(12)로부터 얻어지는 아날로그 영상 신호는, RGB 각 색의 원색 신호 또는 보색계의 색 신호이다.

그 CMOS 촬상 소자(12)로부터의 아날로그 영상 신호는, IC(집적 회로)로서 구성된 아날로그 신호 처리부(13)에서, 색 신호마다, 샘플 홀드되어, AGC(자동 이득 제어)에 의해 게인이 제어되고, A/D 변환에 의해 디지털 신호로 변환된다.

그 아날로그 신호 처리부(13)로부터의 디지털 영상 신호는, IC로서 구성된 디지털 신호 처리부(20)에 있어서, 후술한 바와 같이 처리되고, 디지털 신호 처리부(20) 내의 플리커 저감부(25)에서, 후술한 바와 같이 신호 성분마다 플리커 성분이 저감된 후에, 최종적으로 휘도 신호 Y와 적, 청의 색차 신호 R-Y, B-Y로 변환되어, 디지털 신호 처리부(20)로부터 출력된다.

시스템 컨트롤러(14)는, 마이크로 컴퓨터 등으로 구성되며, 카메라 각 부를 제어한다.

구체적으로 설명하면, 시스템 컨트롤러(14)로부터, IC로 구성된 렌즈 구동용 드라이버(15)에, 렌즈 구동 제어 신호가 공급되고, 렌즈 구동용 드라이버(15)에 의해, 촬상 광학계(11)의 렌즈나 아이리스가 구동된다.

또한, 시스템 컨트롤러(14)로부터 타이밍 제너레이터(16)에, 타이밍 제어 신호가 공급되고, 타이밍 제너레이터(16)로부터 CMOS 촬상 소자(12)에, 각종 타이밍 신호가 공급되어, CMOS 촬상 소자(12)가 구동된다.

이 때, CMOS 촬상 소자(12)의 셔터 속도도, 시스템 컨트롤러(14)로부터의 타이밍 제어 신호에 의해 제어된다. 구체적으로 설명하면, 시스템 컨트롤러(14) 내의 셔터 제어부(14c)에 의해, 후술한 바와 같이 셔터 속도가 설정된다.

또한, 디지털 신호 처리부(20)로부터 시스템 컨트롤러(14)에, 각 신호 성분의 검파 신호가 취득되어, 시스템 컨트롤러(14)로부터의 AGC 신호에 의해, 아날로그 신호 처리부(13)에서, 상기한 바와 같이 각 색 신호의 게인이 제어됨과 함께, 시스템 컨트롤러(14)에 의해, 디지털 신호 처리부(20)에서의 신호 처리가 제어된다.

또한, 시스템 컨트롤러(14)에는, 손떨림 센서(17)가 접속되어, 이것으로 얻어지는 손떨림 정보가, 손떨림 보정에 이용된다.

또한, 시스템 컨트롤러(14)에는, 마이크로컴퓨터 등으로 구성된 인터페이스(19)를 통하여, 사용자 인터페이스(18)를 구성하는 조작부(18a) 및 표시부(18b)가 접속되고, 조작부(18a)에 의한 설정 조작이나 선택 조작 등이, 시스템 컨트롤러 (14)에 의해 검출됨과 함께, 카메라의 설정 상태나 제어 상태 등이, 시스템 컨트롤러(14)에 의해 표시부(18b)에 표시된다.

상술한 NTSC 방식과 PAL 방식 중 어느 한 설정 상태는, 설정 플래그로서 시스템 컨트롤러(14) 내에 유지되어, 셔터 제어부(14c)에 의한 후술한 셔터 제어에 제공된다.

(디지털 신호 처리부의 구성예 : 도 9)

도 9에, 원색계 시스템의 경우의 디지털 신호 처리부(20)의 일례를 도시한다.

원색계 시스템은, 도 8의 촬상 광학계(11)가 피사체로부터의 광을 RGB 각 색의 색광으로 분리하는 분해 광학계를 갖고, CMOS 촬상 소자(12)로서 RGB 각 색용의 CMOS 촬상 소자를 갖는 3판 시스템, 또는 CMOS 촬상 소자(12)로서, 광 입사면에 RGB 각 색의 색 필터가 화면 수평 방향으로 1 화소마다 순차적으로, 반복하여 배열된 하나의 CMOS 촬상 소자를 갖는 1판 시스템이다. 이 경우, CMOS 촬상 소자(12)로부터는, RGB 각 색의 원색 신호가 병렬로 판독된다.

도 9의 디지털 신호 처리부(20)에서는, 클램프 회로(21)에 의해, 입력의 RGB 원색 신호의 흑 레벨이 소정 레벨로 클램프되고, 게인 조정 회로(22)에 의해, 노출량에 따라 클램프 후의 RGB 원색 신호의 게인이 조정되고, 플리커 저감부(25R, 25G, 25B)에 의해, 후술한 방법에 의해, 게인 조정 후의 RGB 원색 신호 중 플리커 성분이 저감된다.

또한, 도 9의 디지털 신호 처리부(20)에서는, 화이트 밸런스 조정 회로(27) 에 의해, 플리커 저감 후의 RGB 원색 신호의 화이트 밸런스가 조정되고, 감마 보정 회로(28)에 의해, 화이트 밸런스 조정 후의 RGB 원색 신호의 계조가 변환되고, 합성 매트릭스 회로(29)에 의해, 감마 보정 후의 RGB 원색 신호로부터, 출력의 휘도 신호 Y 및 색차 신호 R-Y, B-Y가 생성된다.

원색계 시스템에서는, 일반적으로 도 9와 같이 RGB 원색 신호의 처리가 모두 종료한 후에 휘도 신호 Y가 생성되므로, 도 9와 같이 RGB 원색 신호의 처리 과정에서 RGB 원색 신호 중 플리커 성분을 저감하는 것에 의해, 각 색 성분 및 휘도 성분의 플리커 성분을 모두 충분히 저감할 수 있다.

단, 도 9와 같이 플리커 저감부(25R, 25G, 25B)에 의해 RGB 각 색의 원색 신호마다 플리커 성분을 검출하고, 저감하는 대신에, 예를 들면, 합성 매트릭스 회로(29)의 휘도 신호 Y의 출력측에 플리커 저감부(25)를 설치하여, 휘도 신호 Y 중 플리커 성분을 검출하고, 저감하도록 구성해도 된다.

한편, 보색계 시스템은, 도 8의 CMOS 촬상 소자(12)로서, 광 입사면에 보색계의 색 필터가 형성된 하나의 CMOS 촬상 소자를 갖는 1판 시스템이다.

보색계 시스템에서는, CMOS 촬상 소자(12)로부터는, 인접하는 2수평 라인 위치의 영상 신호가 합성되어 판독되고, 디지털 신호 처리부(20)에서는, 그 보색 신호(합성 신호)의 흑 레벨이 소정 레벨로 클램프되고, 클램프 후의 보색 신호의 게인이 노출량에 따라 조정되고, 또한 게인 조정 후의 보색 신호로부터 휘도 신호 및 RGB 원색 신호가 생성된다.

그리고, 플리커 저감부(25)에 의해, 그 휘도 신호 중 플리커 성분 및 RGB 원 색 신호 중 플리커 성분이 저감되고, 또한 플리커 저감 후의 휘도 신호의 계조가 보정되어, 출력의 휘도 신호 Y가 얻어짐과 함께, 플리커 저감 후의 RGB 원색 신호의 화이트 밸런스가 조정되어, 화이트 밸런스 조정 후의 RGB 원색 신호의 계조가 변환되고, 그 감마 보정 후의 RGB 원색 신호로부터 색차 신호 R-Y, B-Y가 생성된다.

[셔터 제어(셔터 속도의 설정)의 실시예 : 도 10∼도 16]

본 발명에서는, 이하와 같은 방법에 의해, 셔터 제어되어, 셔터 속도가 설정된다.

(NTSC 방식 또는 PAL 방식의 경우 : 도 10∼도 14 및 도 16)

상기한 바와 같이 NTSC 방식과 PAL 방식 중 어느 하나로 선택적으로 설정되는 비디오 카메라의 경우에는, 시스템 컨트롤러(14)의 셔터 제어부(14c)는, 필드마다 이하와 같은 셔터 제어 처리를 실행하여, 셔터 속도를 설정한다.

도 10∼도 12에, 그 셔터 제어부(14c)가 실행하는 셔터 제어 처리 루틴의 일례를 도시한다. 이 예의 셔터 제어 처리 루틴(100)에서는, 우선 단계 101에서, 촬영 환경이 옥내인지의 여부를 판단한다.

옥내인지의 여부의 판단에는, 통상의 카메라 제어에 이용되는 AE(자동 노출) 제어의 밝기 정보나 화이트 밸런스 제어의 색 온도 정보 등을 이용할 수 있다.

그리고, 옥외에서의 촬영인 경우에는, 애당초 플리커 저감 처리는 필요없으므로, 단계 101로부터 단계 102로 진행하여, 통상의 셔터 제어를 실행하여, 즉 통상의 노광 제어 모드로 전자 셔터를 설정하고, 셔터 제어 처리를 종료한다.

한편, 옥내에서의 촬영인 경우에는, 형광등 조명 하일 가능성이 있으므로, 단계 101로부터 단계 103으로 진행하여, 형광등 조명 하의 검출 모드가 ON인지의 여부를 판단한다.

형광등 조명 하의 검출 모드는, 시스템 컨트롤러(14) 자신에 의해 ON/OFF가 설정되어, 촬상 장치의 전원 ON 시, 또는 피사체 정보(피사체의 밝기나 색 온도)가 크게 변화했을 때에는, 검출 모드가 ON이 되고, 정상 상태에서는, 검출 모드가 OFF 로 되도록 제어된다.

그리고, 형광등 조명 하의 검출 모드가 ON일 때에는, 단계 103으로부터 단계 104로 진행하여, 그 검출 모드의 처리를 실행한 후에, 단계 105로 진행하여, 그 처리 결과로부터, 형광등 조명 하인지의 여부를 판단한다.

형광등 조명 하인지의 여부를 검출하는 방법으로는, 화이트 밸런스 제어의 색 온도 정보를 이용하는 방법 등이 있지만, 도 13 및 도 14에 도시하는 방법에 따르면, 보다 고정밀도로 검출할 수 있다.

도 13의 방법에서는, 도 13의 (A)에 도시한 바와 같이, 디지털 신호 처리부(20)에 의해 얻어지는 영상 신호(각 색 신호 또는 휘도 신호)를 화면 수평 방향으로 적분하여, 각 필드마다 적분값을 취득하고(단, 도 13의 (B)의 파형은 플리커 성분을 도시함), 도 13의 (C)에 도시한 바와 같이, 인접하는 필드 사이의 적분값의 차분(Fn-Fn_1)을 산출한다.

이 때, 도 5의 (A)에 도시한 케이스 1(fv=60㎐, fp=50㎐) 또는 도 5의 (B)에 도시한 케이스 2(fv=50㎐, fp=60㎐)와 같이, 복수 필드(복수 화면)를 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하는 경우에는, 차분(Fn-Fn_1) 중에서, 패턴 성분이 제거되어, 플리커 성분만이 남기 때문에, 그 플리커 성분의 존재로부터, 형광등 조명 하인 것을 검출할 수 있다.

단, 이 때, 도 6의 (A)에 도시한 케이스 3(fv=60㎐, fp=60㎐) 또는 도 6의 (B)에 도시한 케이스 4(fv=50㎐, fp=50㎐)와 같이, 고속 셔터시, 각 필드(각 화면)에서 플리커의 줄무늬 모양이 동일해지는 1 필드(1 화면)로 완결하는 플리커를 발생하는 경우에는, 차분(Fn-Fn_1) 중에서, 패턴 성분뿐만 아니라, 플리커 성분까지 제거되어, 형광등 조명 하인 것을 검출할 수 없다.

따라서, 이 예의 방법에서는, 시스템 컨트롤러(14)는, 검출 모드일 때에만, 수직 주기의 일정성을 약간 무너뜨려 촬상 장치를 구동한다.

즉, 도 14의 (A)는, 케이스 3(fv=60㎐, fp=60㎐)의 경우이고, 도 14의 (B)는, 케이스 4(fv=50㎐, fp=50㎐)의 경우이지만, 검출 모드시에는, 각각 우측(화살표의 방향)에 도시한 바와 같이, 수직 주기(임의의 수직 동기 신호 VD로부터 다음의 수직 동기 신호 VD까지의 시간)를, α(초)만큼 1수직 주기마다 교대로 증감시킨다.

케이스 1 또는 케이스 2인 경우도 동일하고, 즉 촬상 장치의 설정된 수직 동기 주파수 fv가 60㎐인지 50㎐인지와 무관하게, 또한 전원 주파수 fp가 50㎐인지 60㎐인지 검출하지 않고, 검출 모드 시에는, 이와 같이 수직 주기의 일정성을 약간 무너뜨린다.

이에 의해, 케이스 3 또는 케이스 4의 경우에도, 형광등 조명 하일 때에는 차분(Fn-Fn_1) 중에 플리커 성분이 나타나, 형광등 조명 하인 것을 검출할 수 있다.

또, 플리커 저감 방법으로서, 후술하는 실시예와 같이 본원과 동일 발명자에 의한 선원(일본 특원2003-173642)의 발명의 방법을 이용하는 경우에는, 그 플리커 저감 방법에서 이용하는 회로 블록을, 도 13에 도시한 적분 및 차분 연산에 유용할 수 있다.

단계 103에서, 형광등 조명 하의 검출 모드가 OFF인 정상 상태로 판단했을 때에는, 단계 106로 진행하여, 직전 또는 과거의 검출 모드에서의 처리 결과(판단 결과)를 취득하고, 단계 105로 진행한다.

그리고, 단계 105에서 형광등 조명 하가 아니라고 판단했을 때에는, 애당초 플리커 저감 처리는 필요없으므로, 옥외에서의 촬영인 경우와 마찬가지로, 단계 102로 진행하여, 통상의 셔터 제어를 실행하고, 셔터 제어 처리를 종료한다.

한편, 단계 105에서 형광등 조명 하라고 판단했을 때에는, 단계 107로 진행하여, 손떨림 보정이 ON인지의 여부를 판단한다.

그리고, 손떨림 보정이 ON일 때, 즉 손떨림 보정의 실행시에는, 단계 107로부터 단계 111로 진행하여, 상술한 설정 플래그로부터, 설정된 수직 동기 주파수 fv가 60㎐인지 50㎐인지 판단하고, 그 판단 결과에 따른 셔터 속도의 고속 셔터로 설정한다.

이 경우, 손떨림 보정 ON시에는, 항상 고속 셔터로 해도 되지만, 피사체의 휘도(밝기)가 매우 낮게(어둡고), 손떨림 보정 실행 시의 고속 셔터에 의한 화질 향상보다, 최적 노광이 더 우선되어야 하는 경우에는, 예외적으로 통상 셔터로 해도 된다. 이하의 예는, 이와 같이 손떨림 보정 ON 시, 원칙적으로는 고속 셔터로 하고, 예외적으로 통상 셔터로 하는 경우이다.

즉, 단계 111에서, fv=60㎐(NTSC 방식)라고 판단한 경우에는, 단계 112로 진행하여, 피사체의 휘도가 임계값보다 낮은지의 여부를 판단하고, 피사체의 휘도가 임계값 이상이라고 판단했을 때에는, 단계 113으로 진행하여, 상기의 N/120(초)에서 N=1로 하여, 셔터 속도(노광 시간)1/120초의 고속 셔터로 설정한다.

또한, 단계 112에서, 피사체의 휘도가 임계값보다 낮다고 판단했을 때에는, 단계 114로 진행하여, 상기의 N/120(초)에서 N=2로 하여, 셔터 속도 1/60초의 통상 셔터로 설정한다.

한편, 단계 111에서, fv=50㎐(PAL 방식)라고 판단한 경우에는, 단계 115로 진행하여, 피사체의 휘도가 임계값보다 낮은지의 여부를 판단하고, 피사체의 휘도가 임계값 이상이라고 판단했을 때에는, 단계 116으로 진행하여, 상기의 N/100(초)에서 N=1로 하여, 셔터 속도 1/100초의 고속 셔터로 설정한다.

또한, 단계 115에서, 피사체의 휘도가 임계값보다 낮다고 판단했을 때에는, 단계 117로 진행하여, 상기의 N/100(초)에서 N=2로 하여, 셔터 속도 1/50초의 통상 셔터로 설정한다.

즉, 케이스 1 또는 케이스 3과 같이 fv=60㎐인 경우에는, 손떨림 보정 ON 시, 원칙적으로, 셔터 속도 1/120초의 고속 셔터로 설정되고, 케이스 2 또는 케이스 4와 같이 fv=50㎐인 경우에는, 손떨림 보정 ON 시, 원칙적으로, 셔터 속도 1/100초 의 고속 셔터로 설정된다.

따라서, 케이스 1 또는 케이스 2의 경우에는, 각각 3 필드 또는 5 필드를 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하여, 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수 있게 됨과 함께, 케이스 3 또는 케이스 4의 경우에는, 애당초 플리커가 발생하지 않고, 플리커 저감 처리가 불필요하게 된다.

게다가, 그 때문에 전원 주파수 fp를 검출할 필요가 없으므로, 셔터 제어부(14c)는 설정된 영상 방식이 NTSC 방식과 PAL 방식 중 어느 것인지(수직 동기 주파수 fv가 60㎐와 50㎐ 중 어느 것인지)를 판단하기만 해도 되며, 또한 손떨림 보정 ON시에는, 원칙적으로 고속 셔터를 실현할 수 있어, 고속 셔터에 의한 화질 향상을 도모할 수 있다.

단계 113, 단계 114, 단계 116 또는 단계 117에서 셔터 속도를 설정하면, 단계 108로 진행하여, 셔터 속도의 설정과 맞추어 최적의 노광으로 되도록, 설정한 셔터 속도에 따라 아이리스 조정 및 AGC를 실행하여, 셔터 제어 처리를 종료한다.

고속 셔터로서는, 일반적으로는, 상술한 바와 같이 1/100초 정도의 셔터 속도로 설정되는데 비하여, fv=60㎐인 경우의 단계 113에서는, 1/100초보다 약간 고속(단시간)의 1/120초로 설정되어, 셔터 속도 1/100초의 경우와 비교하여 노광량이 약간 적어진다.

그러나, 그 차는 0.8㏈정도로서, 단계 108에서의 아이리스 조정 및 AGC에 의해 충분히 보상할 수 있는 범위이며, 노광량의 저하에 의해 화질이 열화하지는 않 는다. 더구나, 1/120초의 셔터 속도이면, 동화상의 넘어가는 느낌이 눈에 띄지도 않는다.

한편, 손떨림 보정이 OFF일 때, 즉 손떨림 보정의 비실행시에는, 단계 107로부터 단계 121로 진행하여, 상술한 설정 플래그로부터, 설정된 수직 동기 주파수 fv가 60㎐인지 50㎐인지 판단하여, 그 판단 결과에 따른 셔터 속도의 통상 셔터로 설정한다.

이 경우, 손떨림 보정 OFF시에는, 최적 노광을 위해 항상 통상 셔터로 해도 되지만, 피사체의 휘도(밝기)가 매우 높은(밝은) 경우에는, 예외적으로 고속 셔터로 해도 된다. 이하의 예는, 이와 같이 손떨림 보정 OFF 시, 원칙적으로는 통상 셔터로 하고, 예외적으로 고속 셔터로 하는 경우이다.

즉, 단계 121에서, fv=60㎐(NTSC 방식)로 판단한 경우에는, 단계 122로 진행하여, 피사체의 휘도가 임계값보다 높은지의 여부를 판단하고, 피사체의 휘도가 임계값 이하라고 판단했을 때에는, 단계 123으로 진행하여, 상기한 N/120(초)에서 N=2로 하여, 셔터 속도(노광 시간) 1/60초의 통상 셔터로 설정한다.

또한, 단계 122에서, 피사체의 휘도가 임계값보다 높다고 판단했을 때에는, 단계 124로 진행하여, 상기의 N/120(초)에서 N=1로 하여, 셔터 속도 1/120초의 고속 셔터로 설정한다.

한편, 단계 121에서, fv=50㎐(PAL 방식)라고 판단한 경우에는, 단계 125로 진행하여, 피사체의 휘도가 임계값보다 높은지의 여부를 판단하고, 피사체의 휘도가 임계값 이하라고 판단했을 때에는, 단계 126으로 진행하여, 상기의 N/100(초)에 서 N=2로 하여, 셔터 속도 1/50초의 통상 셔터로 설정한다.

또한, 단계 125에서, 피사체의 휘도가 임계값보다 높다고 판단했을 때에는, 단계 127로 진행하여, 상기의 N/100(초)에서 N=1로 하여, 셔터 속도 1/100초의 고속 셔터로 설정한다.

단계 123, 단계 124, 단계 126 또는 단계 127에서 셔터 속도를 설정하면, 단계 108로 진행하여, 셔터 속도의 설정과 맞추어 최적의 노광으로 되도록, 설정한 셔터 속도에 따라 아이리스 조정 및 AGC를 실행하여, 셔터 제어 처리를 종료한다.

이상의 셔터 제어 처리를, 도 16의 수직 동기 주파수가 60㎐ 또는 50㎐인 란에 도시한다. 손떨림 보정 ON 시 및 손떨림 보정 OFF 시의, 괄호 내에 기재한 셔터 속도가, 단계 114, 단계 117, 단계 124, 단계 127에서 설정되는 예외적인 셔터 속도이고, 그 위의 괄호 밖에 기재한 셔터 속도가, 단계 113, 단계 116, 단계 123, 단계 126에서 설정되는 원칙적인 셔터 속도이다.

(프로그레시브 방식인 경우 : 도 15 및 도 16)

본 발명의 셔터 제어는, 디지털 스틸 카메라 등, 프로그레시브 방식의 CMOS 촬상 장치에서, 수직 동기 주파수(이 경우에는 프레임 주파수) fv가, 예를 들면 30㎐의 경우에도, 적용할 수 있다.

이 경우의 촬상 장치도, 기본적으로 도 8과 같이 구성되며, 시스템 컨트롤러(14)의 셔터 제어부(14c)는, 프레임마다 이하와 같은 셔터 제어 처리를 실행하여, 셔터 속도를 설정한다.

도 15에, 그 셔터 제어부(14c)가 실행하는 셔터 제어 처리 루틴의 일례를 도 시한다. 이 예의 셔터 제어 처리 루틴(130)은, 셔터 제어 처리 개시로부터 단계 107까지는, 상술한 셔터 제어 처리 루틴(100)의 셔터 제어 처리 개시로부터 단계 107까지와 동일하다

그리고, 이 예의 셔터 제어 처리 루틴(130)에서는, 형광등 조명 하일 때에는, 단계 107에서, 손떨림 보정이 ON인지의 여부를 판단하여, 손떨림 보정이 ON일 때, 즉 손떨림 보정의 실행시에는, 고속 셔터로 설정하고, 손떨림 보정이 OFF일 때, 즉 손떨림 보정의 비실행시에는, 통상 셔터로 설정한다.

이 경우도, 손떨림 보정 ON 시에는 항상 고속 셔터로 하고, 손떨림 보정 OFF 시에는 항상 통상 셔터로 해도 되지만, 이하의 예는, 손떨림 보정 ON시에는, 원칙적으로 고속 셔터, 예외적으로 통상 셔터로 하고, 손떨림 보정 OFF시에는, 원칙적으로 통상 셔터, 예외적으로 고속 셔터로 하는 경우이다.

즉, 단계 107에서, 손떨림 보정이 ON이라고 판단한 경우에는, 단계 132로 진행하여, 피사체의 휘도가 임계값 V2보다 낮은지의 여부를 판단하고, 피사체의 휘도가 임계값 V2 이상이라고 판단했을 때에는, 단계 133으로 진행하여, 상기의 N/120(초)에서 N=1 또는 N=2로 하여, 셔터 속도(노광 시간)를 1/120초 또는 1/60초로 설정한다.

구체적으로, 손떨림 보정용으로, 보다 고속의 셔터 속도로 하는 경우에는, 셔터 속도를 1/120초로 설정한다. 또한, 피사체의 휘도에 따라 셔터 속도를 세분하는 경우에는, 피사체의 휘도가 임계값 V2 이상의 범위 내에서 소정값 V1(>V2) 이상일 때에는, 셔터 속도를 1/120초로 설정하고, 피사체의 휘도가 임계값 V2 이상의 범위 내에서 소정값 V1보다 낮을 때에는, 셔터 속도를 1/60초로 설정한다.

또한, 단계 132에서, 피사체의 휘도가 임계값 V2보다 낮다고 판단했을 때에는, 단계 134로 진행하여, 상기의 N/120(초)에서 N=3 또는 N=4로 하여, 셔터 속도(노광 시간)를 1/40초 또는 1/30초로 설정한다.

구체적으로, 최적 노광용으로, 보다 저속의 셔터 속도로 하는 경우에는, 셔터 속도를 1/30초로 설정한다. 또한, 피사체의 휘도에 따라 셔터 속도를 세분하는 경우에는, 피사체의 휘도가 임계값 V2보다 낮은 범위 내에서 소정값 V3(<V2)보다 낮을 때에는, 셔터 속도를 1/30초로 설정하고, 피사체의 휘도가 임계값 V2보다 낮은 범위 내에서 소정값 V3 이상일 때에는, 셔터 속도를 1/40초로 설정한다.

한편, 단계 107에서, 손떨림 보정이 OFF라고 판단한 경우에는, 단계 135로 진행하여, 피사체의 휘도가 임계값 V4보다 높은지의 여부를 판단하고, 피사체의 휘도가 임계값 V4 이하라고 판단했을 때에는, 단계 136으로 진행하여, 상기의 N/120(초)에서 N=4 또는 N=3으로 하여, 셔터 속도(노광 시간)를 1/30초 또는 1/40초로 설정한다.

또한, 단계 135에서, 피사체의 휘도가 임계값 V4보다 높다고 판단했을 때에는, 단계 137로 진행하여, 상기의 N/120(초)에서 N=2 또는 N=1로 하여, 셔터 속도(노광 시간)를 1/60초 또는 1/120초로 설정한다.

단계 133, 단계 134, 단계 136 또는 단계 137에서 셔터 속도를 설정하면, 단계 108로 진행하여, 아이리스 조정 및 AGC를 실행하고, 셔터 제어 처리를 종료한다.

이상의 셔터 제어 처리를, 도 16의 수직 동기 주파수가 30㎐인 란에 도시한다. 이상과 같이, 상기의 케이스 5 또는 케이스 6의 경우에는, 셔터 속도가 1/120초, 1/60초, 1/40초 또는 1/30초로 설정되므로, 케이스 5의 fp=50㎐인 경우에는, 3 프레임을 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하여, 플리커의 연속성을 이용한 플리커 저감 방법에 의해 플리커 성분을 저감할 수 있게 됨과 함께, 케이스 6의 fp=60㎐인 경우에는, 애당초 플리커가 발생하지 않으므로, 플리커 저감 처리가 불필요하게 된다.

게다가, 그 때문에 전원 주파수 fp를 검출할 필요가 없음과 함께, 손떨림 보정 ON시에는, 원칙적으로 고속 셔터를 실현할 수 있어, 고속 셔터에 의한 화질 향상을 도모할 수 있다.

〔플리커 저감 방법의 실시예 : 도 17∼도 22〕

형광등 조명 하인 경우에는, 상술한 바와 같이 셔터 제어부(14c)에 의해 셔터 제어된 후, 또한 시스템 컨트롤러(14)의 제어에 의해, 디지털 신호 처리부(20) 내의 플리커 저감부(25)에 의해 플리커 저감 처리가 실행된다.

도 16에 도시한 바와 같이, 케이스 3(fv=60㎐, fp=60㎐), 케이스 4(fv=50㎐, fp=50㎐), 또는 케이스 6(fv=30㎐, fp=60㎐)에서는, 상술한 바와 같이 셔터 속도가 설정됨으로써, 플리커가 발생하지 않아서, 플리커 저감 처리는 불필요해지지만, 애당초 전원 주파수 fp는 검출되지 않으므로, 이들 경우에도, 케이스 1(fv=60㎐, fp=50㎐), 케이스 2(fv=50㎐, fp=60㎐), 또는 케이스 5(fv=30㎐, fp=50㎐)인 경우와 마찬가지로, 이하와 같은 플리커 저감 처리가 실행된다.

이 경우의 플리커 저감 방법으로는, 상술한 바와 같이, 촬상 소자로부터의 영상 신호로부터, 플리커의 연속성을 이용하여 플리커 성분을 추정하여, 그 추정 결과에 따라 촬상 소자로부터의 영상 신호를 보정하여, 플리커 성분을 저감시키는 방법이면, 어떠한 방법이라도 되지만, 특히 본원과 동일 발명자에 의한 선원(일본 특원2003-173642)의 발명의 플리커 저감 방법에 따르면, 간단한 신호 처리에 의해, CMOS 촬상 소자 등의 XY 어드레스 주사형의 촬상 소자에 고유의 플리커 성분을, 피사체나 영상 신호 레벨 및 형광등의 종류 등과 무관하게, 고정밀도로 검출하여, 확실하고 충분히 저감할 수 있다.

이 선원의 발명의 플리커 저감 방법은, (a) 촬상 소자로부터의 영상 신호(각 색의 색 신호 또는 휘도 신호)를 입력 화상 신호로 하여, 그 입력 화상 신호를 1수평 주기 이상의 시간에 걸쳐 적분하는 공정과, (b) 그 적분값, 또는 인접하는 필드 또는 프레임에서의 적분값의 차분값을, 정규화하는 공정과, (c) 그 정규화 후의 적분값 또는 차분값의 스펙트럼을 추출하는 공정과, (d) 그 추출한 스펙트럼으로부터 플리커 성분을 추정하는 공정과, (e) 그 추정한 플리커 성분이 없어지도록, 추정한 플리커 성분과 상기의 입력 화상 신호를 연산하는 공정을 구비하는 것이다.

이 경우, (b)의 정규화 공정에서는, 후술한 바와 같이, (b1) 차분값을 연속하는 복수 필드 또는 복수 프레임에서의 적분값의 평균값으로 제산하고, 또는 (b2) 적분값을 연속하는 복수 필드 또는 복수 프레임에서의 적분값의 평균값으로 제산하고, 그 제산 결과로부터 소정값을 감산하고, 또는 (b3) 차분값을 적분값으로 제산한다. 또한, (c)의 스펙트럼 추출 공정에서는, 정규화 후의 적분값 또는 차분값을 푸리에 변환하는 등의 방법을 이용한다.

(플리커 저감 방법의 일례 : 도 17∼도 22)

선원의 발명의 플리커 저감 방법을 이용하는 경우에는, 도 9에 도시한 원색계 시스템의 RGB 원색 신호에 대한 플리커 저감부(25R, 25G, 25B)나, 도 9에서는 생략한 보색계 시스템의 상술한 RGB 원색 신호 및 휘도 신호에 대한 플리커 저감부(25)는, 각각 예를 들면, 도 17에 플리커 저감부(25)로서 도시한 바와 같이 구성한다.

단, 이하의 예는, NTSC 방식(fv=60㎐)의 CMOS 비디오 카메라인 경우(상술한 바와 같이, 형광등 조명 하에서는, fp=50㎐일 때에는, 3 필드를 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하고, fp=60㎐일 때에는, 애당초 플리커가 발생하지 않음)이고, PAL 방식(fv=50㎐)의 CMOS 비디오 카메라의 경우, NTSC 방식과 PAL 방식 중 어느 하나로 선택적으로 설정되는 CMOS 비디오 카메라인 경우, 또는 fv=30㎐의 프로그레시브 방식의 CMOS 카메라인 경우에 대해서는, 후술한다.

또, 이하에서, 입력 화상 신호란, 각각 플리커 저감부(25)에 입력되는 플리커 저감 처리 전의 RGB 원색 신호 또는 휘도 신호이고, 출력 화상 신호란, 각각 플리커 저감부(25)로부터 출력되는 플리커 저감 처리 후의 RGB 원색 신호 또는 휘도 신호이다.

도 3 및 도 4는, 피사체가 균일한 경우이지만, 일반적으로 플리커 성분은 피사체의 신호 강도에 비례한다.

따라서, 일반의 피사체에 대한 임의의 필드 n 및 임의의 화소(x, y)에서의 입력 화상 신호(플리커 저감 처리 전의 RGB 원색 신호 또는 휘도 신호)를 In'(x, y)로 하면, In'(x, y)는, 플리커 성분을 포함하지 않는 신호 성분과, 이것에 비례한 플리커 성분과의 합으로서, 도 18의 식(1)로 표현된다.

In(x, y)는, 신호 성분이고, Γn(y)* In(x, y)는, 플리커 성분이고, Γn(y)는, 플리커 계수이다. 형광등의 발광 주기(fp=50㎐일 때에는 1/100초, fp=60㎐일 때에는 1/120초)에 비교하여 1수평 주기는 충분히 짧아, 동일 필드의 동일 라인에서는 플리커 계수는 일정하다고 간주할 수 있으므로, 플리커 계수는 Γn(y)으로 나타낸다.

Γn(y)을 일반화하기 위해, 도 18의 식(2)로 표현한 바와 같이, 푸리에 급수로 전개한 형식으로 기술한다. 이에 의해, 형광등의 종류에 따라 상이한 발광 특성 및 잔광 특성을 모두 망라한 형식으로 플리커 계수를 표현할 수 있다.

식(2) 중 λo는, 도 3에 도시한 바와 같은 면내 플리커의 파장이고, 1 필드당 판독 라인수를 M으로 하면, fp=50㎐인 경우에는, L(=M* 60/100) 라인에 상당한다. ωo는, λo로 정규화된 규격화 각주파수이다.

γ m은, 각 차(m=1, 2, 3‥)의 플리커 성분의 진폭이다. Φmn은, 각 차의 플리커 성분의 초기 위상을 나타내며, 형광등의 발광 주기와 노광 타이밍에 따라 결정된다. 단, fv=60㎐인 경우에는, Φmn은 3 필드마다 동일한 값이 되므로, 직전의 필드와의 사이의 Φmn의 차는, 도 18의 식(3)으로 표현된다.

도 17의 예에서는, 우선 입력 화상 신호 In'(x, y)가, 플리커 검출용으로 패턴의 영향을 적게 하기 위해, 적분 블록(31)에서, 도 18의 식(4)로 표현된 바와 같 이, 화면 수평 방향으로 1 라인분에 걸쳐 적분되어, 적분값 Fn(y)이 산출된다. 식(4) 중 αn(y)는, 도 18의 식(5)로 표현된 바와 같이, 신호 성분 In(x, y)의 1 라인분에 걸치는 적분값이다.

산출된 적분값 Fn(y)은, 이후의 필드에서의 플리커 검출용으로, 적분값 유지 블록(32)에 기억 유지된다. fv=60㎐인 경우에는, 적분값 유지 블록(32)은, 적어도 2 필드분의 적분값을 유지할 수 있는 구성으로 된다.

피사체가 균일하면, 신호 성분 In(x, y)의 적분값 αn(y)이 일정값으로 되므로, 입력 화상 신호 In'(x, y)의 적분값 Fn(y)으로부터 플리커 성분 αn(y)* Γn(y)을 추출하는 것은 용이하다.

그러나, 일반적인 피사체에서는, αn(y)에도 m*ωo 성분이 포함되기 때문에, 플리커 성분으로서의 휘도 성분 및 색 성분과, 피사체 자신의 신호 성분으로서의 휘도 성분 및 색 성분을 분리할 수 없으며, 순수하게 플리커 성분만을 추출할 수는 없다. 또한, 식(4)의 제1항의 신호 성분에 대하여 제2항의 플리커 성분은 매우 작으므로, 플리커 성분은 신호 성분 내에 거의 매립되어, 적분값 Fn(y)으로부터 직접, 플리커 성분을 추출하는 것은 불가능하다고 할 수 있다.

따라서, 도 17의 예에서는, 적분값 Fn(y)으로부터 αn(y)의 영향을 제거하기 위해, 연속하는 3 필드에서의 적분값을 이용한다.

즉, 이 예에서는, 적분값 Fn(y)의 산출 시, 적분값 유지 블록(32)으로부터, 1 필드 전의 동일한 라인의 적분값 Fn_1(y), 및 2 필드 전의 동일한 라인의 적분값 Fn_2(y)가 판독되고, 평균값 계산 블록(33)에서, 3개의 적분값 Fn(y), Fn_1(y), Fn_2(y)의 평균값 AVE[Fn(y)]가 산출된다.

연속하는 3 필드의 기간 중 피사체를 거의 동일하다고 간주할 수 있으면, αn(y)은 동일한 값으로 간주할 수 있다. 피사체의 움직임이 3 필드 사이에서 충분히 작으면, 실용면에서, 이 가정은 문제없다. 또한, 연속하는 3 필드에서의 적분값의 평균값을 연산하는 것은, 식(3)의 관계로부터, 플리커 성분의 위상이 (-2π/3)* m씩 순차적으로 어긋난 신호를 서로 더하게 되므로, 결과적으로 플리커 성분이 없어진다. 따라서, 평균값 AVE[Fn(y)]는, 도 19의 식(6)으로 표현된다.

단, 이상은, 도 19의 식(7)의 근사가 성립하는 것으로 하여, 연속하는 3 필드에서의 적분값의 평균값을 산출하는 경우이지만, 피사체의 움직임이 큰 경우에는, 식(7)의 근사가 성립하지 않게 된다.

그 때문에, 피사체의 움직임이 큰 경우를 상정한 플리커 저감부(25)로서는, 적분값 유지 블록(32)에 3 필드이상에 걸치는 적분값을 유지하여, 해당 필드의 적분값 Fn(y)을 합하여 4 필드이상에 걸치는 적분값의 평균값을 산출하면 된다. 이에 의해, 시간축 방향의 저역 통과 필터 작용에 의해, 피사체가 움직이는 것에 의한 영향이 작아진다.

단, 플리커는 3 필드마다 반복하게 되므로, 플리커 성분을 없애기 위해서는, 연속하는 j(3의, 2배 이상의 정수배, 즉, 6, 9…) 필드에서의 적분값의 평균값을 산출할 필요가 있고, 적분값 유지 블록(32)은, 적어도 (j-1) 필드분의 적분값을 유지할 수 있는 구성으로 한다.

도 17의 예는, 도 19의 식(7)의 근사가 성립하는 것으로 한 경우이다. 이 예에서는, 또한, 차분 계산 블록(34)에서, 적분 블록(31)으로부터의 해당 필드의 적분값 Fn(y)과, 적분값 유지 블록(32)으로부터의 1 필드 전의 적분값 Fn_1(y)과의 차분이 계산되어, 도 19의 식(8)로 표현되는 차분값 Fn(y)-Fn_1(y)이 산출된다. 식(8)도, 식(7)의 근사가 성립하는 것을 전제로 하고 있다.

차분값 Fn(y)-Fn_1(y)에서는, 피사체의 영향이 충분히 제거되기 때문에, 적분값 Fn(y)에 비교하여 플리커 성분(플리커 계수)의 양태가 명확하게 나타난다.

도 17의 예에서는, 또한, 정규화 블록(35)에서, 차분 계산 블록(34)으로부터의 차분값 Fn(y)-Fn_1(y)이, 평균값 계산 블록(33)으로부터의 평균값 AVE[Fn(y)]로 제산됨으로써 정규화되고, 정규화 후의 차분값 gn(y)이 산출된다.

정규화 후의 차분값 gn(y)은, 도 19의 식(6), 식(8) 및 삼각 함수의 합의 곱 공식에 의해, 도 20의 식(9)와 같이 전개되고, 또한 도 18의 수학식 3의 관계로부터, 도 20의 식(10)으로 표현된다. 식(10) 중 ｜Am｜, θm은, 식(11a), 식(11b)로 표현된다.

차분값 Fn(y)-Fn_1(y)은, 피사체의 신호 강도의 영향이 남기 때문에, 영역에 의해 플리커에 의한 휘도 변화 및 색 변화의 레벨이 상이하게 되지만, 상기한 바와 같이 정규화함으로써, 전체 영역에 걸쳐 플리커에 의한 휘도 변화 및 색 변화를 동일 레벨에 맞출 수 있다.

도 20의 식(11a), 식(11b)로 표현되는 ｜Am｜, θm은, 정규화 후의 차분값 gn(y)의, 각 차의 스펙트럼의 진폭 및 초기 위상이고, 정규화 후의 차분값 gn(y)을 프리에 변환하여, 각 차의 스펙트럼의 진폭 ｜Am｜ 및 초기 위상 θm을 검출하면, 도 21의 식(12a), 식(12b)에 의해, 도 18의 식(2)로 표현한 각 차의 플리커 성분의 진폭 γm 및 초기 위상 Φmn을 구할 수 있다.

따라서, 도 17의 예에서는, DFT 블록(51)에서, 정규화 블록(35)으로부터의 정규화 후의 차분값 gn(y)의, 플리커의 1 파장분(L 라인분)에 상당하는 데이터를, 이산 푸리에 변환한다.

DFT 연산을 DFT[gn(y)]로 하고, 차수 m의 DFT 결과를 Gn(m)이라고 하면, DFT 연산은, 도 21의 식(13)으로 표현된다. 식(13) 중 W는, 식(14)로 표현된다. 또한, DFT의 정의에 의해, 식(11a), 식(11b)와 식(13)과의 관계는, 도 21의 식(15a), 식(15b)로 표현된다.

따라서, 식(12a), 식(12b), 식(15a), 식(15b)로부터, 도 21의 식(16a), 식(16b)에 의해, 각 차의 플리커 성분의 진폭 γm 및 초기 위상 Φmn을 구할 수 있다.

DFT 연산의 데이터 길이를, 플리커의 1 파장분(L 라인분)으로 하는 것은, 이에 의해, 정확하게 ωo의 정수배의 이산 스펙트럼군을 직접 얻을 수 있기 때문이다.

일반적으로, 디지털 신호 처리의 푸리에 변환으로는, FFT(고속 푸리에 변환)가 이용되지만, 이 예에서는, 굳이 DFT를 이용한다. 그 이유는, 푸리에 변환의 데이터 길이가 2의 제곱이 되지 않으므로, FFT보다 DFT가 더 편하기 때문이다. 단, 입출력 데이터를 가공하여 FFT를 이용할 수도 있다.

실제의 형광등 조명 하에서는, 차수 m을 수차까지 한정해도, 플리커 성분을 충분히 근사할 수 있으므로, DFT 연산도 데이터를 모두 출력할 필요는 없으므로, FFT와 비교하여 연산 효율면에서 단점은 없다.

DFT 블록(51)에서는, 우선 식(13)으로 정의되는 DFT 연산에 의해, 스펙트럼이 추출되고, 그 후, 식(16a), 식(16b)의 연산에 의해, 각 차의 플리커 성분의 진폭 γm 및 초기 위상 Φmn이 추정된다.

도 17의 예에서는, 또한, 플리커 생성 블록(53)에서, DFT 블록(51)으로부터의 γm, Φmn의 추정값으로부터, 도 18의 식(2)로 표현되는 플리커 계수 Γn(y)이 산출된다.

단, 상술한 바와 같이, 실제의 형광등 조명 하에서는, 차수 m을 수차까지 한정해도, 플리커 성분을 충분히 근사할 수 있으므로, 식(2)에 의한 플리커 계수 Γn(y)의 산출에서는, 총합 차수를 무한대가 아니고, 미리 정해진 차수, 예를 들면 2차까지 한정할 수 있다.

상술한 방법에 따르면, 적분값 Fn(y)에서는 플리커 성분이 신호 성분 중에 완전하게 매립되는, 플리커 성분이 미소한 흑의 배경 부분이나 저조도의 부분 등의 영역에서도, 차분값 Fn(y)-Fn_1(y)을 산출하고, 이것을 평균값 AVE[Fn(y)]로 정규화함으로써, 플리커 성분을 고정밀도로 검출할 수 있다.

또한, 적당한 차수까지의 스펙트럼으로부터 플리커 성분을 추정하는 것은, 정규화 후의 차분값 gn(y)을 완전하게 재현하지 않고 근사하게 되지만, 이에 의해, 오히려, 피사체의 상태에 의해 정규화 후의 차분값 gn(y)에 불연속의 부분을 발생해도, 그 부분의 플리커 성분을 정밀하게 추정할 수 있게 된다.

도 18의 식(1)로부터, 플리커 성분을 포함하지 않는 신호 성분 In(x, y)은, 도 21의 식(17)로 표현된다.

따라서, 도 17의 예에서는, 연산 블록(40)에서, 플리커 생성 블록(53)으로부터의 플리커 계수 Fn(y)에 1이 더해지고, 그 합 [1+Γn(y)]으로 입력 화상 신호 In'(x, y)가 제산된다.

이에 의해, 입력 화상 신호 In'(x, y)에 포함되는 플리커 성분이 거의 완전하게 제거되고, 연산 블록(40)으로부터는, 출력 화상 신호(플리커 저감 처리 후의 RGB 원색 신호 또는 휘도 신호)로서, 실질적으로 플리커 성분을 포함하지 않는 신호 성분 In(x, y)이 얻어진다.

또, 시스템이 갖는 연산 능력의 제약으로부터, 상기한 모든 처리를 1 필드의 시간 내에서 완결할 수 없는 경우에는, 플리커가 3 필드마다 반복하게 되는 것을 이용하여, 연산 블록(40) 내에 플리커 계수 Γn(y)을 3 필드에 걸쳐 유지하는 기능을 갖고, 3 필드 후의 입력 화상 신호 In'(x, y)에 대하여, 그 유지한 플리커 계수 Γn(y)을 연산하는 구성으로 하면 된다.

또, 도 17의 예는, 후술하는 것 외의 구성예와 같이 적분값 Fn(y)이 아니고, 차분값 Fn(y)-Fn_1(y)을, 평균값 AVE[Fn(y)]로 정규화하는 경우이지만, 편의상, 플리커 저감부(25) 중 DFT 블록(51)의 전단 부분을 정규화 적분값 산출 블록(30)으로 칭한다.

(플리커 저감부의 다른 구성예)

도 17의 예와 같이, 차분값 Fn(y)-Fn_1(y)을 평균값 AVE[Fn(y)]로 정규화하 면, 유한의 계산 정밀도를 효과적으로 확보할 수 있다. 그러나, 요구되는 계산 정밀도를 만족할 수 있는 경우에는, 적분 블록(31)으로부터의 적분값 Fn(y)을 직접, 평균값 AVE[Fn(y)]로 정규화해도 된다.

단, 이 경우의 정규화 후의 차분값 gn(y)은, 도 22의 식(18)로 표현되게 되므로, 후단의 처리를 도 17의 예와 마찬가지로 하기 위해, 도 22의 식(19)로 표현된 바와 같이, 식(18)로 표현되는 정규화 후의 차분값 gn(y)으로부터 1을 감산하여, 그 결과를 DFT 블록(51)으로 송출한다.

이 경우, ｜Am｜=γm, θm=Φmn이므로, 도 21의 식(15a), 식(15b)로부터, γm, Φmn은, 도 22의 식(20a), 식(20b)에 의해 구할 수 있다.

따라서, DFT 블록(51)에서는, 도 17의 예에서는, 식(13)으로 정의되는 DFT 연산에 의해 스펙트럼을 추출한 후, 식(16a), 식(16b)의 연산에 의해 각 차의 플리커 성분의 진폭 γm 및 초기 위상 Φmn을 추정하는 것에 대하여, 이 경우에는, 식(13)으로 정의되는 DFT 연산에 의해 스펙트럼을 추출한 후, 식(20a), 식(20b)의 연산에 의해 각 차의 플리커 성분의 진폭 γm 및 초기 위상 Φmn을 추정한다. 이후의 처리는, 도 17의 예와 동일하다.

이 경우에는, 차분 계산 블록(34)이 불필요하게 되므로, 그 만큼, 플리커 저감부(25)를 간략화할 수 있다.

도 17의 예에서, 차분값 Fn(y)-Fn_1(y)의 정규화에 이용하는 평균값 AVE[Fn(y)]는, 도 19의 식(7)의 근사가 성립하는 경우에는, 식(6)으로 표현된 바와 같이 αn(y)과 동일함과 함께, 도 18의 식(4)의 제2항[αn(y)*Γn(y)]은, 제1항의 αn(y)과 비교하여 충분히 작으므로, 정규화에 미치는 제2항의 영향은 매우 작다.

따라서, 차분값 Fn(y)-Fn-_1(y)의 정규화에 대해서는, 평균값 AVE[Fn(y)] 대신에 적분 블록(31)으로부터의 적분값 Fn(y)을 이용해도, 거의 문제가 없으므로, 평균값 AVE[Fn(y)]를 이용하는 경우와 마찬가지로, 효과적으로 플리커 성분을 검출할 수 있다.

이 경우에는, 적분값 유지 블록(32)은 1 필드분의 적분값을 유지할 수 있으면 되고, 동시에, 평균값 계산 블록(33)을 필요로 하지 않으므로, 플리커 저감부(25)를 간략화할 수 있다.

상술한 각 예는, 입력 화상 신호 In'(x, y)을 1 라인분에 걸쳐 적분하는 경우이지만, 입력 화상 신호 In'(x, y)의 적분은, 패턴의 영향을 적게 하여 플리커 성분의 샘플링값을 얻기 때문에, 1 라인에 한하지 않고, 복수 라인의 시간에 걸쳐 행해도 된다.

fv=60㎐, fp=50㎐인 경우, 상술한 바와 같이 화면 상에서는 줄무늬 모양으로 나타나는 형광등 플리커의 1 주기는 L(=M*60/100) 라인에 상당하므로, 그 1 주기, 즉 L 라인에서, 적어도 2개의 샘플링값을 얻도록 하면, 소위 샘플링의 정리로부터, 플리커 성분을 검출할 수 있다.

실제상은, 플리커의 1 주기로 수개 이상 내지 10개 이상의 샘플링값을 얻는 것이 바람직하지만, 그 경우에도, 입력 화상 신호 In'(x, y)를 수평 주기의 수배 이상 내지 10배 이상의 시간에 걸쳐 적분할 수 있다. 또, 적분 시간은, 2.5수평 주기 등과 같이, 정확하게 수평 주기의 정수배가 아니어도 된다.

그리고, 이와 같이 적분 시간을 길게 하고, 단위 시간당 샘플링 수를 줄이는 경우에는, DFT 블록(51)에서의 DFT 연산의 부담을 가볍게 할 수 있음과 함께, 피사체가 화면 수직 방향으로 움직인 경우에, 그 영향을 적게 할 수 있다.

상술한 각 예에서, 입력 화상 신호 In'(x, y)의 레벨이 포화 영역에 있는 경우, 연산 블록(40)에서 식(17)의 연산을 행하면, 반대로 신호 성분(색 성분 또는 휘도 성분)이 변화한다.

따라서, 연산 블록(40)은, 입력 화상 신호 In'(x, y)의 레벨이 포화 영역의 임계값 레벨 이상인지의 여부를 화소마다 판단하여, 입력 화상 신호 In'(x, y)의 레벨이 포화 영역의 임계값 레벨에 미치지 않는 화소는, 상술한 바와 같이 식(17)의 연산 결과를 출력 화상 신호 In(x, y)으로 하여 출력하고, 입력 화상 신호 In'(x, y)의 레벨이 포화 영역의 임계값 레벨 이상인 화소에서는, 입력 화상 신호 In'(x, y)을 그대로 출력 화상 신호 In(x, y)로 하여 출력하도록 구성하는 것이 바람직하다.

이것에 따르면, 입력 화상 신호 In'(x, y)의 레벨이 포화 영역에 있는 경우에, 신호 성분(색 성분 또는 휘도 성분)이 변화하지 않고, 고화질의 출력 화상 신호를 얻을 수 있다.

(옥외나 비형광등 조명 하에서의 촬영인 경우)

옥외에서의 촬영이나, 비형광등 조명 하에서의 촬영에서는, 애당초 플리커 저감 처리는 불필요하다.

또한, 동화상과 정지 화상의 양방을 촬영할 수 있는 비디오 카메라로 정지 화상을 촬영하는 경우에는, CMOS 촬상 장치에서도, 1 화면 내의 모든 화소의 노광 타이밍(노광 개시 및 노광 종료의 타이밍)을 동일하게 할 수 있어, 형광등 플리커의 발생을 회피할 수 있으므로, 플리커 저감 처리는 불필요해진다. 이 경우, CMOS 촬상 소자로부터의 영상 신호의 판독은, 동화상을 촬영하는 경우와 같은 전자 셔터 속도의 제약이 없으므로, 기계적인 셔터를 닫아 차광된 상태에서, 천천히 행할 수 있다.

이들의 경우와 같이 플리커 저감 처리가 불필요한 경우에는, 플리커 저감부(25)에서는 플리커 저감 처리가 실행되지 않고, 입력 화상 신호 In'(x, y)이 그대로 출력 화상 신호 In(x, y)으로서 출력되도록, 시스템 컨트롤러(14)에 의해 플리커 저감부(25)를 제어한다.

(PAL 방식이나 프로그레시브 방식인 경우)

이상의 예는, NTSC 방식(fv=60㎐)의 CMOS 비디오 카메라인 경우이지만, PAL 방식(fv=50㎐)의 CMOS 비디오 카메라인 경우에는, 도 16에 도시한 바와 같이, 형광등 조명 하에서, fp=60㎐일 때, 5 필드를 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하므로, 플리커 저감부(25)로서는, 그것에 대응한 구성(NTSC 방식인 경우의 「3 필드」를 「5 필드」로 치환한 구성)으로 하면 된다.

또한, 도 8의 실시예와 마찬가지로 NTSC 방식과 PAL 방식 중 어느 하나로 선택적으로 설정되는 CMOS 비디오 카메라의 경우에는, 카메라가 NTSC 방식으로 설정되었을 때에는, 플리커 저감부(25)도 NTSC 방식용으로 전환되고, 카메라가 PAL 방식으로 설정되었을 때에는, 플리커 저감부(25)도 PAL 방식용으로 전환되도록, 플리 커 저감부(25)를 구성하면 된다.

또한, fv=30㎐의 프로그레시브 방식의 CMOS 카메라인 경우에는, 도 16에 도시한 바와 같이, 형광등 조명 하에서, fp=50㎐일 때, 3 프레임을 반복 주기로 하는 시간축 상에서 연속성을 갖는 플리커를 발생하므로, 플리커 저감부(25)로서는, 그것에 대응한 구성(NTSC 방식인 경우의 「필드」를 「프레임」으로 치환하고, 「3 필드」를 「3 프레임」으로 치환한 구성)으로 하면 된다.

프로그레시브 방식의 CMOS 촬상 장치인 경우, 수직 동기 주파수 fv가 30㎐가 아니고, 예를 들면 40㎐나 25㎐인 경우에도, 본 발명을 적용할 수 있다. 이 경우, fv=40㎐인 경우에는, 120/fv가 정수이므로, 형광등 조명 하에서는 노광 시간이 N/120(초)로 되는 셔터 속도로 하고, fv=25㎐인 경우에는, 100/fv가 정수이므로, 형광등 조명 하에서는 노광 시간이 N/100(초)로 되는 셔터 속도로 하면 된다.

또한, 상술한 실시예는, 플리커 저감부(25)를 포함하는 디지털 신호 처리부(20)를 하드웨어로 구성하는 경우이지만, 플리커 저감부(25) 또는 디지털 신호 처리부(20)의 일부 또는 전부를 소프트웨어로 구성해도 된다.

또한, 본 발명은, CMOS 촬상 소자 이외의 XY 어드레스 주사형의 촬상 소자를 이용한 촬상 장치에도 적용할 수 있다.

이상과 같이, 본 발명에 따르면, 형광등을 구동하는 전원의 주파수를 검출하지 않고, 전원 주파수와 촬상 장치의 수직 동기 주파수와의 조합의 여하와 무관하게, 형광등 플리커 성분을 저감할 수 있음과 함께, 전자식의 손떨림 보정에 불가결 한 고속 셔터를 실현할 수 있다.

Claims

XY 어드레스 주사형의 촬상 소자를 구비하는 촬상 장치에 있어서,

해당 촬상 장치의 설정된 수직 동기 주파수를 fv(㎐)로 하고, N을 양의 정수로 할 때, 120/fv가 정수인 경우에는, 노광 시간이 N/120(초)로 되는 전자 셔터 속도로 설정되고, 100/fv가 정수인 경우에는, 노광 시간이 N/100(초)로 되는 전자 셔터 속도로 설정되는 촬상 장치.
제1항에 있어서,

전자식의 손떨림 보정의 실행시, N은 노광 시간이 1/fv(초)보다 짧아지는 범위 내의 값으로 설정되는 촬상 장치.
제1항에 있어서,

전자식의 손떨림 보정의 실행시, 피사체의 휘도가 임계값 이상일 때에는, N은 노광 시간이 1/fv(초)보다 짧아지는 범위 내의 값으로 설정되고, 피사체의 휘도가 임계값보다 낮을 때에는, N은 노광 시간이 1/fv(초)로 되는 값으로 설정되는 촬상 장치.
제1항에 있어서,

전자식의 손떨림 보정의 비실행시, N은 노광 시간이 1/fv(초)로 되는 값으로 설정되는 촬상 장치.
제1항에 있어서,

전자식의 손떨림 보정의 비실행시, 피사체의 휘도가 임계값 이하일 때에는, N은 노광 시간이 1/fv(초)로 되는 값으로 설정되고, 피사체의 휘도가 임계값보다 높을 때에는, N은 노광 시간이 1/fv(초)보다 짧아지는 범위 내의 값으로 설정되는 촬상 장치.
제1항에 있어서,

수직 주기를 어긋하게 하여 상기 촬상 장치를 구동하는 것에 의해, 형광등 조명 하인지의 여부를 더 검출하는 촬상 장치.
제1항에 있어서,

상기 촬상 소자에 의해 피사체를 촬영함으로써 얻어지는 입력 화상 신호를 1수평 주기 이상의 시간에 걸쳐 적분하는 적분 수단과,

상기 적분 수단에 의한 적분값, 또는 인접하는 필드 또는 프레임에 있어서의 적분값의 차분값을, 정규화하는 정규화 수단과,

상기 정규화 수단에 의해 정규화된 적분값 또는 차분값의 스펙트럼을 추출하는 추출 수단과,

상기 추출 수단에 의해 추출된 스펙트럼으로부터 플리커 성분을 추정하는 추정 수단과,

상기 추정 수단에 의해 추정된 플리커 성분을 부정하도록, 추정된 플리커 성분과 상기 입력 화상 신호를 연산하는 연산 수단

을 구비하는 촬상 장치.
형광등 조명 하에서 XY 어드레스 주사형의 촬상 소자에 의해 피사체를 촬영함으로써 얻어지는 영상 신호에 포함되는 형광등 플리커 성분을 저감하는 방법에 있어서,

상기 촬상 소자를 구비하는 촬상 장치의 설정된 수직 동기 주파수를 fv(㎐)로 하고, N을 양의 정수로 할 때, 120/fv가 정수인 경우에는, 노광 시간이 N/120(초)로 되는 전자 셔터 속도로 설정하고, 100/fv가 정수인 경우에는, 노광 시간이 N/100(초)로 되는 전자 셔터 속도로 설정하는 셔터 제어 공정과,

상기 셔터 제어 공정에서 전자 셔터 속도가 설정된 상태에서, 상기 영상 신호로부터 플리커 성분을 추정하고, 그 추정 결과에 따라 상기 영상 신호를 보정하여, 플리커 성분을 저감하는 플리커 저감 처리 공정

을 구비하는 플리커 저감 방법.
제8항에 있어서,

상기 셔터 제어 공정에서는, 전자식의 손떨림 보정의 실행시, N을 노광 시간이 1/fv(초)보다 짧아지는 범위 내의 값으로 설정하는 플리커 저감 방법.
제8항에 있어서,

상기 셔터 제어 공정에서는, 전자식의 손떨림 보정의 실행시, 피사체의 휘도가 임계값 이상일 때에는, N을 노광 시간이 1/fv(초)보다 짧아지는 범위 내의 값으로 설정하고, 피사체의 휘도가 임계값보다 낮을 때에는, N을 노광 시간이 1/fv(초)로 되는 값으로 설정하는 플리커 저감 방법.
삭제
삭제
삭제
삭제