KR20100019969A

KR20100019969A - 고체 촬상 장치, 카메라 및 신호 처리 방법

Info

Publication number: KR20100019969A
Application number: KR1020090073188A
Authority: KR
Inventors: 시로시 카네미츠; 타카아키 카와카미; 주니치 호소카와; 유우키 코구치
Original assignee: 가부시끼가이샤 도시바
Priority date: 2008-08-11
Filing date: 2009-08-10
Publication date: 2010-02-19
Also published as: JP4875032B2; US8102445B2; JP2010045534A; KR101121528B1; US20100033596A1

Abstract

피사체상으로부터의 광을 전기 신호로 변환하는 고체 촬상 장치로서, 광을 촬상 소자에 의해 촬상하고, 얻어진 아날로그 영상 신호를, 아날로그 게인으로 증폭하는 촬상부(2)와, 증폭 후의 아날로그 영상 신호에 기초하여 생성된 디지털 영상 신호에 대해, 촬상 소자의 위치 정보 및 아날로그 게인에 기초한 윤곽 강조 처리를 실행하는 화상 처리부(4)를 구비한다.

촬상부, 화상 처리부, 촬상 렌즈, AD 변환기, 노이즈 캔슬부, 화이트 밸런스 처리부

Description

고체 촬상 장치, 카메라 및 신호 처리 방법{SOLID-STATE IMAGE-CAPTURING APPARATUS, CAMERA, AND METHOD OF PROCESSING SIGNAL}

본 출원은, 2008년 8월 11일에 출원된 일본 특허 출원 번호 제2008-207335호의 우선권의 이익을 주장하고, 그 일본 특허 출원의 전체 내용은 본 출원에서 원용된다.

본 발명은, 촬상 소자면에 결상된 피사체상의 아날로그 신호를 디지털 신호로 변환하고, 또한 디지털 영상 신호를 사람이 본 씬에 근접시키기 위한 화상 처리를 실시하여 원하는 영상 신호를 생성하는 고체 촬상 장치, 카메라 및 신호 처리 방법에 관한 것이다.

최근, DSC(디지털 스틸 카메라)나 카메라가 달린 휴대 전화 등에 탑재되는 카메라와 같은 디지털 영상 신호를 출력하는 촬상 장치는, 탑재되는 DSC나 휴대 전화 등의 한층 더한 소형화 등의 요망에 수반하여, 광학계(렌즈)의 박형화, 소형화, 매수의 삭감 등의 검토가 한창 행해지고 있다. 그 때문에, 렌즈에 대한 제약으로부터, 피사체상을 촬상 소자면에 정밀도 좋게 결상시키는 일이 어렵게 되어, 다양한 폐해가 생기고 있다.

그 중의 하나로서, 촬상 소자면의 중앙 부근에 대해, 주변의 광량이 떨어져 주변의 화상이 어두워지고, 그 영향으로 주변의 콘트라스트가 중앙에 대해 취하기 어렵게 되는 문제가 있다. 이 문제의 해결 방법으로서는, 예를 들면 디지털 신호로 변환된 후의 영상 신호(디지털 영상 신호)에 대해 셰이딩 보정을 행하는 것이 생각된다. 구체적으로는, 촬상 소자면의 위치에 따른 보정 계수를 이용하여, 전기적인 셰이딩 보정을 실시한다(예를 들면, 하기 특허 문헌 1 참조).

여기서, 고체 촬상 장치 중에는, 촬상 소자에서 사용하는 촬상 조건(예를 들면 아날로그 게인)을 변경 가능한 것이 존재한다. 이 경우, 촬상 소자로부터 출력되는 화상 신호는 촬상 조건에 따라서 변화하기 때문에, 촬상 소자의 후단에서 실시하는 각종 화상 처리의 최적의 실시 조건도 촬상 조건에 따라서 변화한다. 그러나, 특허 문헌 1에 기재된 기술에서는, 촬상 소자면의 위치만을 고려한 보정 계수를 이용하고 있기 때문에, 촬상 조건에 대응시킨 최적의 조건에서의 처리를 실시할 수 없다고 하는 문제가 있다.

특허 문헌 1 : 일본 특허 공개 제2001-339736호 공보

본 발명은, 촬상 조건에 따른 최적의 조건에서 영상 신호에 대한 화상 처리를 실행하는 고체 촬상 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 양태에 따르면, 피사체로부터 반사되어 촬상 렌즈를 통해 입사 되는 광을 전기 신호로 변환하는 고체 촬상 장치로서, 상기 고체 촬상 장치는, 촬상 소자에 의해 촬상되어 소정의 아날로그 게인으로 증폭되는 광으로부터 얻어지는 아날로그 영상 신호에 기초하여 생성된 디지털 영상 신호에 대해, 윤곽 강조를 실행하는 화상 처리부를 포함하고, 상기 윤곽 강조는 촬상 소자의 화소 각각의 위치 정보와 아날로그 게인에 기초하여 실행되는, 고체 촬상 장치가 제공된다.

또한, 본 발명의 일 양태에 따르면, 피사체로부터 반사되어 촬상 렌즈를 통해 입사되는 광을 전기 신호로 변환하는 고체 촬상 장치에 의해 실행되는 신호 처리 방법으로서, 상기 방법은,

촬상 소자에 의해 광을 촬상하여 아날로그 영상 신호를 얻는 단계와,

얻어진 아날로그 영상 신호를 소정의 아날로그 게인으로 증폭하는 단계와,

증폭시킨 아날로그 영상 신호에 기초하여 디지털 영상 신호를 생성하는 단계와,

생성된 디지털 영상 신호로부터 윤곽 정보를 추출하는 단계와,

상기 촬상 소자의 화소 각각의 위치 정보 및 상기 아날로그 게인에 기초하여 상기 윤곽 정보를 보정하는 보정 계수를 산출하는 단계와,

산출된 보정 계수와 추출된 윤곽 정보를 승산하는 단계와,

상기 윤곽 정보가 추출된 디지털 영상 신호를, 승산된 윤곽 정보에 가산하는 단계를 포함하는, 신호 처리 방법이 제공된다.

이하에 첨부 도면을 참조하여, 본 발명의 실시 형태에 따른 고체 촬상 장치, 카메라 및 신호 처리 방법을 상세하게 설명한다. 또한, 이들 실시 형태에 따라 본 발명이 한정되는 것은 아니다.

<제1 실시 형태>

도 1은, 본 발명의 제1 실시 형태에 따른 고체 촬상 장치의 구성예를 나타내는 블록도이다. 이 고체 촬상 장치는, 촬상 렌즈(1), 촬상부(2), AD 변환기(ADC)(3) 및 화상 처리부(4)를 구비한다.

촬상 렌즈(1)는, 피사체로부터의 광을 취득한다. 촬상부(2)는, 촬상 렌즈(1)에 입사된 광을 촬상한다. 또한, 촬상부(2)는, 도시를 생략한 이미지 센서(촬상 소자)에 의해 취득한 아날로그 영상 신호를, 외부로부터 지정된 촬상 조건에 따른 게인(아날로그 게인)으로 증폭하는 기능을 갖는다. AD 변환기(3)는, 촬상부(2)로부터 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환한다. 화상 처리부(4)는, AD 변환기(3)로부터 출력된 디지털 영상 신호에 대해, 디지털 영상 신호가 사람의 눈에 리니어하게 보일 수 있도록 하는 처리, 즉 디지털 영상 신호를 사람이 본 씬에 근접시키기 위한 화상 처리를 실행한다.

또한, 화상 처리부(4)는, 디지털 영상 신호가 사람의 눈에 리니어하게 보일 수 있도록 하는 화상 처리를 실행하기 위한 구성으로서, 노이즈 캔슬부(41), 화이트 밸런스 처리부(42), 셰이딩 처리부(43), 화소 보간 처리부(44), 컬러 매트릭스 처리부(45), 윤곽 처리부(46) 및 감마 보정부(47)를 구비하고, 또한 화상 처리를 실행하여 얻어진 디지털 영상 신호를 출력하기 위한 출력부(48)를 구비한다.

노이즈 캔슬부(41)는, 전단의 AD 변환기(3)로부터 출력된 디지털 영상 신호 를 취득하고, 취득한 디지털 영상 신호로부터 피사체상의 신호와는 상이한 신호(노이즈)를 제거한다.

화이트 밸런스 처리부(42)는, 노이즈 캔슬부(41)에서 노이즈가 제거된 후의 디지털 영상 신호에 대해 화이트 밸런스 처리를 실행한다.

셰이딩 처리부(43)는, 화이트 밸런스 처리부(42)에 의해 화이트 밸런스 처리가 실행된 후의 디지털 영상 신호에 대해, 대응하는 화소의 위치(촬상 소자의 어느 화소로부터 취득된 신호인지)에 따라서 개별로 결정된 보정 계수(이하, 「셰이딩 대책용 보정 계수」라고 기재함)를 곱함으로써 전기적인 셰이딩 보정을 실행한다. 화소의 위치를 나타내는 위치 정보는, 촬상부(2)에서 촬상 소자를 구동시킬 때에 사용하는 신호(촬상 소자에 축적된 전하를 읽어낼 때에, 전하를 읽어내는 화소를 지정하기 위한 신호)인 수직 동기 신호(V 동기 신호) 및 수평 동기 신호(H 동기 신호)에 기초하여 산출한다. 또한, 셰이딩이 발생한 경우, 도 2에 도시한 바와 같이, 화상의 중심부와 비교하여 주변부의 광량이 부족한 상태로 된다. 그 때문에, 주변부에 가까울수록(중심으로부터 떨어질수록) 값이 크게 되도록 셰이딩 대책용 보정 계수를 결정한다. 일례를 들면, 다음 수학식 1을 이용하여 셰이딩 대책용 보정 계수를 산출한다.

또한, 수학식 1에서, a, b는, 미리 결정해 둔 상수이며, x, y는, 중심 화소 를 기준으로 한 경우의 각 화소의 위치를 나타내는 2차원 벡터의 요소이다. 이후, 설명의 편의상, 이들 요소 x, y를 수평 위치 정보 x, 수직 위치 정보 y로 기재한다.

화소 보간 처리부(44)는, 셰이딩 처리부(43)에 의해 셰이딩 보정이 실행된 후의 디지털 영상 신호에 대해, 화소 보간 처리를 실행한다.

컬러 매트릭스 처리부(45)는, 화소 보간 처리부(44)에 의해 화소 보간 처리가 실행된 후의 디지털 영상 신호에 대해, 색 재현성을 얻기 위한 컬러 매트릭스 연산 처리(색 재현성 처리)를 실행한다.

윤곽 처리부(46)는, 컬러 매트릭스 처리부(45)에 의해 색 재현성 처리가 실행된 후의 디지털 영상 신호에 대해, 촬상부(2)에서의 촬상 조건 및 각 화소의 위치에 기초하여 산출한 보정 계수를 이용하여 윤곽 강조 처리를 실행한다. 또한, 보정 계수의 산출 동작 및 산출한 보정 계수를 이용하여 행하는 윤곽 강조 처리의 상세에 대해서는 후술한다.

감마 보정부(47)는, 윤곽 처리부(46)에 의해 윤곽이 강조된 후의 디지털 영상 신호에 대해, 감마 보정을 실행한다.

출력부(48)는, 감마 보정부(47)에 의해 감마 보정이 실행된 후의 디지털 영상 신호를 최종적인 디지털 영상 신호(보정 후의 디지털 영상 신호)로서 외부로 출력한다.

계속해서, 윤곽 처리부(46)가 보정 계수를 산출하여 윤곽 강조 처리를 실행하는 동작에 대해서, 도 3, 도 4a, 도 4b를 참조하면서 상세하게 설명한다. 또한, 도 3은, 윤곽 처리부(46)의 구성예를 나타내는 도면이다. 도 4a는, 윤곽 처리부(46)에 의한 윤곽 강조 처리의 동작 수순예를 나타내는 도면이며, 도 4b는, 윤곽 강조 처리에서 사용하는 보정 계수의 산출 수순예를 나타내는 도면이다.

도 3에 도시한 바와 같이, 윤곽 처리부(46)는, 수평 위치 정보 산출부(461x) 및 수직 위치 정보 산출부(461y)로 이루어지는 위치 정보 산출부(461)와, 게인 계수 산출부(462)와, 보정 계수 산출부(463)와, 윤곽 정보 추출부(464)와, 승산기(465)와, 가산기(466)를 구비한다. 또한, 윤곽 정보 추출부(464), 승산기(465) 및 가산기(466)가 윤곽 강조 수단을 구성한다.

전술한 구성의 윤곽 처리부(46)는, 전단의 컬러 매트릭스 처리부(45)로부터 입력된 디지털 영상 신호에 대해 도 4a에 나타낸 수순을 실행하여 윤곽 강조를 행한다.

즉, 윤곽 처리부(46)에서는, 우선 윤곽 정보 추출부(464)가 입력 디지털 영상 신호로부터 윤곽 정보를 추출한다(도 4a의 스텝 S1). 다음으로, 추출한 윤곽 정보를 보정하기 위한 보정 계수를 도 4b에 나타낸 수순에 따라서 산출한다(스텝 S2). 구체적으로는, 보정 계수 산출부(463)가, 보정 계수를 산출하기 위한 상수 A 및 B를 설정하고(스텝 S21), 또한 위치 정보 산출부(461)에서는, 수평 위치 정보 산출부(461x)가 H 동기 신호에 기초하여 수평 위치 정보 x를 산출하고, 수직 위치 정보 산출부(461y)가 V 동기 신호에 기초하여 수직 위치 정보 y를 산출함으로써, 화소의 위치를 나타내는 위치 정보를 산출한다(스텝 S22). 또한, 위치 정보의 산출에서 사용하는 각 동기 신호(H 동기 신호, V 동기 신호)는, 전술한 셰이딩 처리 부(43)가 위치 정보를 산출할 때에 사용하는 각 동기 신호와 동일한 것이며, 위치 정보 산출부(461)는, 셰이딩 처리부(43)와 동일한 수순으로 위치 정보를 산출한다. 또한, 게인 계수 산출부(462)가, 촬상부(2)로부터 취득한 촬상 조건, 또는 외부로부터 미리 취득하여 유지해 둔 촬상부(2)에서의 촬상 조건에 기초하여, 보정 계수 산출부(463)가 보정 계수 산출 처리에서 사용하는 게인 계수 C를 산출한다(스텝 S23).

보정 계수 산출부(463)가 게인 계수 C를 산출할 때에는, 예를 들면 촬상 조건에 포함되는 각종 조건 중 하나인 아날로그 게인을 사용한다. 그리고, 아날로그 게인을 사용하는 경우, 도 5a에 도시한 바와 같이, 아날로그 게인이 낮으면 게인 계수 C가 높아지고, 한편 아날로그 게인이 높으면 게인 계수 C가 낮아지도록, 게인 계수 C를 산출한다. 또한, 아날로그 게인이란, 촬상부(2)에서, 촬상 소자에 의해 취득한 신호를 증폭할 때에 사용하는 게인이다. 또한, 게인 계수 C를 산출할 때에 사용하는 산출식의 일례를 다음 수학식 2로 표현한다.

여기서, α, β는 소정의 상수이며, AG는 아날로그 게인이다.

그리고, 보정 계수 산출부(463)가, 위치 정보 산출부(461)에 의해 산출된 위치 정보(x, y), 게인 계수 산출부(462)에 의해 산출된 게인 계수(C) 및 상기 스텝 S21에서 설정한 상수(A, B)에 기초하여 보정 계수를 산출한다(스텝 S24). 또한, 이 보정 계수는, 예를 들면, 다음 수학식 3을 이용하여 산출한다.

또한, 게인 계수 산출부(462)는, 아날로그 게인에 기초하여 게인 계수 C를 산출하는 것이 아니라, 아날로그 게인에 따라서 변화하는 휘도 정보에 기초하여 게인 계수 C를 산출하여도 된다. 이 휘도 정보는, 디지털 영상 신호로부터 산출 가능한 정보이다. 또한, 휘도 정보에 기초하여 게인 계수 C를 산출하는 경우에는, 도 5b에 도시한 바와 같이, 휘도가 높을(밝을)수록 게인 계수 C도 높아지도록, 게인 계수 C를 산출한다. 이것은, 휘도가 높은 경우에는 S/N이 양호하며, 게인을 높게 설정하여도 노이즈가 증폭되기 어렵기 때문이다. 이 경우에 사용하는 산출식도 상기의 수학식 2와 마찬가지인 것이다. 즉, 휘도 정보를 이용하는 경우, 수학식 2의 α 및 β를, 휘도 정보를 이용하는 경우의 값으로 설정하고, AG(아날로그 게인)를 휘도 정보로 치환한 산출식을 사용하여 게인 계수 C를 산출한다.

도 4a에 나타낸 수순의 설명으로 되돌아가, 스텝 S2의 처리가 실행되고, 보정 계수 산출부(463)에 의해 보정 계수가 산출되면, 승산기(465)가, 이 보정 계수를 상기 스텝 S1에서 윤곽 정보 추출부(464)에 의해 추출된 윤곽 정보에 대해 승산함으로써, 윤곽 정보를 보정한다(스텝 S3). 마지막으로, 가산기(466)가, 승산기(465)로부터 출력된 보정 후의 윤곽 정보를, 윤곽 정보 추출부(464)에서 윤곽 정보가 추출된 후의 디지털 영상 신호에 가산함으로써, 윤곽 강조가 행해진 디지털 영상 신호를 생성한다(스텝 S4).

또한, 전술한 바와 같이, 윤곽 처리부(46)에서 위치 정보 산출부(461)가 산출하는 위치 정보는, 상기 셰이딩 처리부(43)가 전기적인 셰이딩 보정을 실행할 때에 산출하는 위치 정보(수평 위치 정보 x, 수직 위치 정보 y)와 동일하다. 그 때문에, 윤곽 처리부(46)는, 스스로 위치 정보를 산출하는 것이 아니라, 셰이딩 처리부(43)에 의해 산출된 위치 정보를 이용(셰이딩 처리부(43)로부터 위치 정보를 취득)하도록 하여도 된다.

이와 같이, 본 실시 형태의 고체 촬상 장치에서는, 디지털 신호로 변환된 후의 영상 신호에 대해, 처리 대상의 정보(영상 신호)가 촬상 소자 상의 어느 화소로부터 취득되었는지를 나타내는 위치 정보와, 촬상 조건(상기의 아날로그 게인) 또는 촬상 조건에 따라서 변화하는 휘도 정보에 기초하여 디지털 영상 신호의 윤곽 정보를 보정하는 화상 처리(윤곽 보정 처리)를 실행하는 것으로 하였다. 이에 의해, 촬상 조건에 따른 조건에서의 화상 처리를 실현할 수 있고, 특히 위치 정보만을 고려하여 윤곽 보정을 행하는 경우와 비교하여, 보다 고정밀도의 윤곽 보정을 실현할 수 있다. 예를 들면, 아날로그 게인이 높거나 또는 휘도가 낮은 경우, S/N이 나쁘기 때문에, 노이즈가 강조되지 않도록 윤곽 보정을 약하게 하고, 이에 대해, 아날로그 게인이 낮거나 또는 휘도가 높은 경우에는 S/N이 좋기 때문에, 윤곽 보정을 강하게 하는 제어가 가능하게 된다.

또한, 위치 정보와 촬상 조건 등에 기초하여 윤곽 보정을 실행하는 것으로 하였으므로, 광학계에서의 셰이딩 대책이 불충분한 경우라도, 윤곽 보정을 실행하 기 전에 렌즈 셰이딩 보정을 실행해 둘 필요가 없어진다. 즉, 윤곽 보정을 실행한 후에 렌즈 셰이딩 보정을 실행한다고 하는 구성을 채용하는 것이 가능하게 되어, 종래보다도 유연한 시스템 설계가 가능하게 된다.

또한, 윤곽 보정 처리에서 사용하는 위치 정보는, 그 전에 실행되는 렌즈 셰이딩 보정 처리에서 산출된 위치 정보를 이용하는 것이 가능하기 때문에, 산출된 위치 정보를 이용하는 구성을 채용함으로써 시스템 규모를 삭감할 수 있다. 또한, 촬상 소자를 구동하기 위해 필요한 동기 신호에 기초하여 위치 정보를 산출하기 때문에, 시스템 구성에 상관없이 용이하게 위치 정보를 구할 수 있다.

<제2 실시 형태>

계속해서, 제2 실시 형태에 대해서 설명한다. 도 6은, 제2 실시 형태의 고체 촬상 장치의 구성예를 나타내는 도면이다. 도시한 바와 같이, 본 실시 형태의 고체 촬상 장치는, 실시 형태 1의 고체 촬상 장치(도 1 참조)의 AD 변환기(3)와 화상 처리부(4) 사이에 EDoF 처리부(5)가 추가된 구성을 취한다. 또한, 추가된 EDoF 처리부(5) 이외의 구성에 대해서는 실시 형태 1에서 설명한 바와 같으므로, 본 실시 형태에서는, EDoF 처리부(5)에 대해서만 설명을 행한다.

EDoF 처리부(5)는, AD 변환기(3)로부터 출력된 디지털 영상 신호에 대해, EDoF(Extended Depth of Focus) 기술을 이용한 디지털 화상 처리를 실행한다. 여기서, EDoF 기술이란, 이미지 센서의 디지털 영상 신호의 콘트라스트 정보를 바탕으로 소정의 윤곽 처리를 행하여 화상의 핀트가 맞은 상태를 만들어내는 기술이다. 그리고, 이 EDoF 기술에서는, 종래 셰이딩이 발생하지 않은 상태의 영상 신호(광학 계에서 충분한 셰이딩 대책이 실시된 다음에 촬상된 영상 신호)를 상정하여 처리를 행하고 있었다.

그러나, 전술한 바와 같이, 최근 광학계에 대한 제약으로부터, 광학계에서 충분한 셰이딩 대책을 행하는 것이 곤란한 경우도 적지 않다. 그 때문에, 도 6에 도시한 구성을 채용하고, 또한 광학계에서 충분한 셰이딩 대책이 행해져 있지 않은 경우에는, 화상의 중앙 부근은 EDoF 처리가 이루어져 핀트가 맞은 상태를 만들어 낼 수 있지만, 주변에서는 셰이딩의 영향으로 적정한 처리가 이루어지지 않아, 정밀도가 나쁜 처리 결과로 되게 된다. 따라서, 본 실시 형태의 고체 촬상 장치를 구성하는 EDoF 처리부(5)에서는, 촬상부(2) 내에서 촬상 소자를 구동시킬 때에 사용하는 제어 신호(촬상 소자 구동용 신호)에 포함되는 수직 동기 신호와 수평 동기 신호로부터 화소의 위치 정보를 산출하고, 산출한 위치 정보에 기초하여, EDoF 처리의 처리 레벨을 절환한다. 또한, 처리 레벨을 절환할 때에는, 제1 실시 형태에서 나타낸 윤곽 처리부(46)와 마찬가지로, 촬상부(2)에서의 촬상 조건 또는 그것에 상당하는 정보(아날로그 게인 또는 휘도 정보)도 아울러 고려한다. 즉, EDoF 처리부(5)는, 위치 정보 및 촬상 조건(아날로그 게인) 또는 그것에 따라서 변동하는 정보(휘도 정보)에 기초하여 EDoF 처리의 처리 레벨을 절환한다.

이와 같이, 본 실시 형태의 고체 촬상 장치에서는, 제1 실시 형태에서 나타낸 화상 처리부에서 전술한 화상 처리를 실행하기 전에, 위치 정보 및 촬상 조건(또는 촬상 조건에 따라서 변동하는 정보)에 기초하여 처리 레벨을 절환하면서 EDoF 처리(EDoF 기술을 이용한 디지털 화상 처리)를 실행하는 것으로 하였다. 이 에 의해, 광학적 요인에 의해 EDoF 처리의 처리 정밀도가 열화되는 것을 방지할 수 있다. 또한, 광학계에 의해 셰이딩 대책을 충분히 행하는 것이 곤란한 경우라도, 전기적인 셰이딩 보정(전술한 렌즈 셰이딩 보정)을 실행하기 전에 EDoF 처리를 실행하는 것이 가능하게 되므로, 유연한 시스템 설계가 가능하게 된다.

<제3 실시 형태>

계속해서, 제3 실시 형태에 대해서 설명한다. 본 실시 형태에서는, 제1 실시 형태의 고체 촬상 장치 및 제2 실시 형태의 고체 촬상 장치가 구비하는 화상 처리부(4)에서, 노이즈 캔슬부(41)가 실행하는 노이즈 캔슬 처리에 대해 설명한다.

노이즈 캔슬 처리에서는, 디지털 영상 신호로부터, 불필요한 정보인 노이즈 성분 외에, 유의한 정보의 일부(예를 들면 엣지 정보)도 아울러 제거하게 된다. 그 때문에, 본 실시 형태의 고체 촬상 장치에서는, 노이즈 캔슬 처리에 의해 소실되게 될(제거되게 될) 가능성이 높은 유의한 정보를 일단 유지해 두고, 유지해 둔 정보를 노이즈 성분이 제거된 후의 디지털 영상 신호에 가산함으로써, 노이즈 캔슬 처리에서 유의한 정보를 소실하게 되는 것을 방지한다.

도 7은, 제3 실시 형태의 고체 촬상 장치가 구비하는 노이즈 캔슬부(41)의 구성예를 나타내는 도면이다. 도시한 바와 같이, 노이즈 캔슬부(41)는, 입력된 디지털 영상 신호로부터 노이즈 성분을 제거하는 노이즈 캔슬 처리부(411)와, 입력된 디지털 영상 신호로부터 고주파 성분을 추출하는 고주파 성분 추출부(412)와, 노이즈 캔슬 처리부(411)에 의해 노이즈 성분이 제거된 후의 디지털 영상 신호에 대해 고주파 성분 추출부(412)에 의해 추출된 고주파 성분을 가산하는 가산기(413)를 구 비한다.

고주파 성분 추출부(412)의 상세 동작에 대해서 설명한다. 고주파 성분 추출부(412)는, 촬상부(2) 내의 촬상 소자를 구동시키기 위한 제어 신호(촬상 소자 구동용 신호)인 수직 동기 신호와 수평 동기 신호로부터 화소의 위치 정보를 산출하고, 또한 산출한 위치 정보 및 촬상부(2)에서의 촬상 조건 또는 이에 따라서 변동하는 정보에 기초하여, 고주파 성분의 추출 조건을 결정한다. 추출 조건이란, 예를 들면 고주파 성분을 추출할 때에 사용하는 필터의 계수이다. 또한, 제2 실시 형태의 고체 촬상 장치(도 6 참조)가 구비하는 노이즈 캔슬부(41)의 경우, 전단의 EDoF 처리부(5)에서도 위치 정보가 산출되므로, EDoF 처리부(5)에서 산출된 위치 정보를 이용하도록 하여, 고주파 성분 추출부(412)는 위치 정보의 산출을 행하지 않도록 하는 것도 가능하다.

또한, 노이즈 캔슬 처리부(411)가 노이즈 성분을 제거하기 전에 고주파 성분 추출부(412)가 고주파 성분을 추출(제거)하고, 추출한 고주파 성분을 노이즈 성분이 제거된 후의 디지털 영상 신호에 대해 가산하는 구성으로 하여도 된다. 즉, 고주파 성분 추출부(412)가 고주파 성분 제거 후의 디지털 영상 신호를 노이즈 캔슬부에 대해 출력하고, 노이즈 캔슬 처리부(411)는 고주파 성분 제거 후의 디지털 영상 신호로부터 노이즈 성분을 제거하고, 가산기(413)는 노이즈 캔슬 처리부(411)에 의해 노이즈 성분이 제거된 후의 디지털 영상 신호에 대해, 고주파 성분 추출부(412)에 의해 추출된 고주파 성분을 가산하는 구성으로 하여도 된다.

또한, 가산기(413)는, 고주파 성분 추출부(412)로부터 수취한 고주파 성분을 가산할 때에, 고주파 성분에 대해 위치 정보에 따른 가중치 부여를 행한 점에서(위치 정보에 기초하여 산출한 가중 계수를 고주파 성분에 승산한 점에서), 고주파 성분 추출부(412)로부터 출력된 노이즈 성분 제거 후의 디지털 영상 신호에 가산하도록 하여도 된다. 또한, 이 가중치 부여 처리는, 고주파 성분 추출부(412)가 행하도록 하여도 된다.

또한, 노이즈 캔슬부(41)의 배치는, 반드시 도 1에서 도시한 배치로 할 필요는 없다. 예를 들면, 감마 보정부(48)의 후단에 배치하도록 하여도 된다. 노이즈 캔슬부(41)보다도 전단에 위치 정보를 산출하는 구성 요소(셰이딩 처리부(43), 윤곽 처리부(46) 등)가 배치되어 있는 경우, 거기서 산출된 위치 정보를 이용하는 것으로서, 고주파 성분 추출부(412)에서는 위치 정보의 산출을 행하지 않도록 하는 것도 가능하다.

이와 같이, 본 실시 형태의 고체 촬상 장치에서는, 영상 신호에 대해 노이즈 캔슬 처리를 실행하는 경우, 위치 정보 및 촬상 조건(또는 촬상 조건에 따라서 변동하는 정보)에 기초하여 결정한 조건에 따라, 영상 신호에 포함되는 소정의 고주파 성분을 추출하여 유지해 두고, 이 유지해 둔 고주파 성분을 노이즈 성분 제거 후의 영상 신호에 가산하는 것으로 하였다. 이에 의해, 광학적 요인에 의한 화질 열화의 영향을 저감할 수 있어, 정밀도가 높은 노이즈 캔슬 처리를 실현할 수 있다. 즉, 영상 신호의 고주파 성분이 노이즈 캔슬 처리에 의해 필요 이상으로 제거되게 되는 것을 방지할 수 있다.

한층 더한 효과나 변형예는, 당업자에 의해 용이하게 도출할 수 있다. 따라 서, 본 발명의 보다 광범한 양태는, 이상과 같이 표현하고 또한 기술한 특정한 상세 및 대표적인 실시 형태에 한정되는 것은 아니다. 따라서, 첨부의 클레임 및 그 균등물에 의해 정의되는 총괄적인 발명의 개념의 정신 또는 범위로부터 일탈하지 않고, 다양한 변경이 가능하다.

도 1은 제1 실시 형태에 따른 고체 촬상 장치의 구성예를 나타내는 블록도.

도 2는 화상에 셰이딩이 발생한 경우의 일례를 나타내는 도면.

도 3은 윤곽 처리부의 구성예를 나타내는 도면.

도 4a는 윤곽 처리부에 의한 윤곽 강조 처리의 동작 수순예를 나타내는 도면.

도 4b는 윤곽 강조 처리에서 사용하는 보정 계수의 산출 수순예를 나타내는 도면.

도 5a는 아날로그 게인과 게인 계수의 관계를 나타내는 도면.

도 5b는 휘도 정보와 게인 계수의 관계를 나타내는 도면.

도 6은 제2 실시 형태의 고체 촬상 장치의 구성예를 나타내는 도면.

도 7은 제3 실시 형태의 고체 촬상 장치가 구비하는 노이즈 캔슬부의 구성예를 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 촬상 렌즈

2 : 촬상부

3 : AD 변환기(ADC)

4 : 화상 처리부

41 : 노이즈 캔슬부

42 : 화이트 밸런스 처리부

43 : 셰이딩 처리부

44 : 화소 보간 처리부

45 : 컬러 매트릭스 처리부

46 : 윤곽 처리부

47 : 감마 보정부

48 : 출력부

461 : 위치 정보 산출부

462 : 게인 계수 산출부

463 : 보정 계수 산출부

464 : 윤곽 정보 추출부

465 : 승산기

466 : 가산기

Claims

피사체로부터 반사되어 촬상 렌즈를 통해 입사되는 광을 전기 신호로 변환하는 고체 촬상 장치로서,

상기 고체 촬상 장치는 촬상 소자에 의해 촬상되어 소정의 아날로그 게인으로 증폭되는 광으로부터 얻어지는 아날로그 영상 신호에 기초하여 생성된 디지털 영상 신호에 대해, 윤곽 강조를 실행하는 화상 처리부를 포함하고, 상기 윤곽 강조는 상기 촬상 소자의 화소 각각의 위치 정보와 상기 아날로그 게인에 기초하여 실행되는, 고체 촬상 장치.
제1항에 있어서, 상기 화상 처리부는,

상기 위치 정보와 상기 아날로그 게인에 기초하여 상기 윤곽 강조에 사용되는 보정 계수를 산출하는 보정 계수 산출부와,

상기 디지털 영상 신호에 포함되는 윤곽 정보와 상기 보정 계수를 승산함으로써, 상기 윤곽 강조를 실행하는 윤곽 강조부

를 포함하는, 고체 촬상 장치.
제1항에 있어서, 상기 화상 처리부는,

상기 위치 정보와 상기 아날로그 게인에 따라서 변동되는 휘도 정보에 기초하여 상기 윤곽 강조에 사용되는 보정 계수를 산출하는 보정 계수 산출부와,

상기 디지털 영상 신호에 포함되는 윤곽 정보와 상기 보정 계수를 승산함으로써 상기 윤곽 강조를 실행하는 윤곽 강조부

를 포함하는, 고체 촬상 장치.
제2항에 있어서, 상기 윤곽 강조부는,

상기 디지털 영상 신호로부터 상기 윤곽 정보를 추출하는 윤곽 정보 추출부와,

상기 윤곽 정보와 상기 보정 계수를 승산하는 승산부와,

상기 보정 계수와 승산된 윤곽 정보를, 상기 윤곽 정보가 추출되는 상기 디지털 영상 신호에 가산하는 가산부

를 포함하는, 고체 촬상 장치.
제2항에 있어서,

수평 동기 신호 및 수직 동기 신호에 기초하여 상기 위치 정보를 산출하는 위치 정보 산출부를 더 포함하고,

상기 보정 계수 산출부는 상기 위치 정보 산출부에 의해 산출된 상기 위치 정보를 사용함으로써 상기 보정 계수를 산출하는, 고체 촬상 장치.
제2항에 있어서,

상기 아날로그 게인에 기초하여, 게인 계수를 산출하는 게인 계수 산출부를 더 포함하고,

상기 게인 계수는 상기 아날로그 게인이 낮으면 높은 값을 나타내고 상기 아날로그 게인이 높으면 낮은 값을 나타내며, 상기 보정 계수 산출부는 상기 게인 계수 산출부에 의해 산출된 상기 게인 계수를 사용함으로써 상기 보정 계수를 산출하는, 고체 촬상 장치.
제2항에 있어서,

수평 동기 신호 및 수직 동기 신호에 기초하여 상기 위치 정보를 산출하는 위치 정보 산출부와,

상기 아날로그 게인에 기초하여 게인 계수를 산출하는 게인 계수 산출부 - 상기 게인 계수는 상기 아날로그 게인이 낮으면 높은 값을 나타내고 상기 아날로그 게인이 높으면 낮은 값을 나타냄 - 를 더 포함하고,

상기 보정 계수 산출부는 상기 위치 정보 산출부에 의해 산출된 상기 위치 정보 및 상기 게인 계수 산출부에 의해 산출된 상기 게인 계수를 사용함으로써 상기 보정 계수를 산출하는, 고체 촬상 장치.
제5항에 있어서,

상기 위치 정보 산출부는, 상기 위치 정보로서, 상기 촬상 소자의 중심 화소를 기준으로 한 2차원 벡터에 의해 나타내어지는 좌표를 산출하는, 고체 촬상 장치.
제6항에 있어서,

상기 위치 정보로서, 상기 촬상 소자의 중심 화소를 기준으로 한 2차원 벡터에 의해 나타내어지는 좌표를 사용하는 경우, 상기 보정 계수 산출부는, 상기 위치 정보에 포함되는 수평 위치 정보 x의 제곱값과 소정의 계수를 승산함으로써 얻어진 제1 값, 및 상기 위치 정보에 포함되는 수직 위치 정보 y의 제곱값과 소정의 계수를 승산함으로써 얻어진 제2 값을 산출하고, 또한 상기 제1 값과 상기 제2 값의 합을 상기 게인 계수와 승산하고, 얻어진 값을 보정 계수로서 설정하는, 고체 촬상 장치.
제1항에 있어서, 상기 화상 처리부는,

증폭시킨 아날로그 영상 신호에 대한 아날로그-대-디지털 변환을 실행함으로써 얻어지는 초기 디지털 영상 신호를 수신하고,

상기 초기 디지털 영상 신호에 대해 노이즈 제거 처리, 화이트 밸런스 처리, 셰이딩 보정 처리, 화소 보간 및 색 재현을 실행함으로써 상기 디지털 영상 신호를 생성하고,

상기 디지털 영상 신호에 대해 상기 윤곽 강조를 실행하는, 고체 촬상 장치.
제1항에 있어서,

상기 화상 처리부는 또한, 상기 윤곽 강조에 의해 얻어지는 신호에 대해 감 마 보정을 실행하고 감마 보정된 신호를 출력하는, 고체 촬상 장치.
제1항에 있어서,

증폭시킨 아날로그 영상 신호에 대한 아날로그-대-디지털 변환에 의해 얻어진 상기 디지털 영상 신호에 대해, EDoF(extended depth of focus) 기술을 이용한 디지털 화상 처리를 실행하는 EDoF 처리부 - 상기 EDoF 기술은 상기 위치 정보 및 상기 아날로그 게인에 기초함 - 를 더 포함하고,

상기 화상 처리부는 상기 EDoF 처리부에 의해 처리되는 상기 디지털 화상 처리에 영향을 받은 상기 디지털 영상 신호에 대해 상기 윤곽 강조를 실행하는, 고체 촬상 장치.
제1항에 있어서, 상기 화상 처리부는,

상기 디지털 영상 신호로부터 노이즈를 제거하고, 상기 위치 정보 및 상기 아날로그 게인에 기초하여 상기 디지털 영상 신호로부터 고주파 성분을 추출하고, 추출된 고주파 성분을 상기 노이즈가 제거된 상기 디지털 영상 신호에 가산하는 노이즈 캔슬부를 포함하는, 고체 촬상 장치.
제1항에 있어서, 상기 화상 처리부는,

상기 디지털 영상 신호로부터의 노이즈를 제거하고, 상기 위치 정보 및 상기 아날로그 게인에 기초하여 상기 디지털 영상 신호로부터 고주파 성분을 추출하고, 추출된 고주파 성분에 대해 상기 위치 정보에 따른 가중치를 부여함으로써, 신호를 생성하고, 그 신호를 상기 노이즈가 제거된 상기 디지털 영상에 가산하는 노이즈 캔슬부를 포함하는, 고체 촬상 장치.
제1항에 있어서,

상기 촬상 소자를 포함하며, 상기 촬상 소자에 의해 촬상된 상기 아날로그 영상 신호를 상기 소정의 아날로그 게인으로 증폭하는 촬상부와,

상기 촬상부에 의해 증폭된 상기 아날로그 영상 신호를 상기 디지털 영상 신호로 변환하는 아날로그-대-디지털 변환기

를 더 포함하는, 고체 촬상 장치.
제15항의 고체 촬상 장치와, 촬상 렌즈를 포함하는 카메라.
피사체로부터 반사되어 촬상 렌즈를 통해 입사되는 광을 전기 신호로 변환하는 고체 촬상 장치에 의해 실행되는 신호 처리 방법으로서,

촬상 소자에 의해 광을 촬상하여 아날로그 영상 신호를 얻는 단계와,

얻어진 아날로그 영상 신호를 소정의 아날로그 게인으로 증폭하는 단계와,

증폭시킨 아날로그 영상 신호에 기초하여 디지털 영상 신호를 생성하는 단계와,

생성된 디지털 영상 신호로부터 윤곽 정보를 추출하는 단계와,

상기 촬상 소자의 화소 각각의 위치 정보 및 상기 아날로그 게인에 기초하여 상기 윤곽 정보를 보정하는 보정 계수를 산출하는 단계와,

산출된 보정 계수와 추출된 윤곽 정보를 승산하는 단계와,

상기 윤곽 정보가 추출된 디지털 영상 신호를, 승산된 윤곽 정보에 가산하는 단계

를 포함하는, 신호 처리 방법.
제17항에 있어서,

상기 위치 정보로서, 상기 촬상 소자의 중심 화소를 기준으로 한 2차원 벡터에 의해 나타내어지는 좌표를 사용하는 경우, 상기 산출하는 단계는, 상기 위치 정보에 포함되는 수평 위치 정보 x의 제곱값과 소정의 계수를 승산함으로써 얻어진 제1 값, 및 상기 위치 정보에 포함되는 수직 위치 정보 y의 제곱값과 소정의 계수를 승산함으로써 얻어진 제2 값을 산출하고, 또한 상기 제1 값과 상기 제2 값의 합을 상기 아날로그 게인에 기초하여 산출된 상기 게인 계수와 승산하고, 상기 제1 값과 상기 제2 값의 합과 상기 아날로그 게인의 승산 결과를, 보정 계수로서 설정하는 것을 포함하는, 신호 처리 방법.
제17항에 있어서,

상기 추출하는 단계는, 증폭시킨 아날로그 영상 신호에 대한 아날로그-대-디지털 변환으로 얻어진 제1 디지털 영상 신호에 대해, EDoF 기술을 사용한 디지털 화상 처리를 실행함으로써, 제2 디지털 영상 신호를 얻는 것 - 상기 EDoF 기술은 상기 촬상 소자의 화소 각각의 위치 정보 및 상기 아날로그 게인에 기초함 - 을 포함하고,

상기 추출하는 단계는 상기 제2 디지털 영상 신호로부터 상기 윤곽 정보를 추출하는 것을 포함하는, 신호 처리 방법.
제17항에 있어서,

상기 추출하는 단계는, 증폭시킨 아날로그 영상 신호에 기초하여 제1 디지털 영상 신호를 생성하고, 또한 상기 제1 디지털 영상 신호로부터 노이즈를 제거함으로써 제2 디지털 영상 신호를 생성하고, 상기 촬상 소자의 화소 각각의 위치 정보 및 상기 소정의 아날로그 게인에 기초하여 상기 제1 디지털 영상 신호로부터 고주파 성분을 추출하고, 추출된 고주파 성분을 상기 제2 디지털 영상 신호에 가산함으로써 제3 디지털 영상 신호를 얻고, 상기 제3 디지털 영상 신호로부터 상기 윤곽 정보를 추출하는 것을 포함하는, 신호 처리 방법.