KR20110036707A - 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램 - Google Patents

화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램 Download PDF

Info

Publication number
KR20110036707A
KR20110036707A KR1020107028590A KR20107028590A KR20110036707A KR 20110036707 A KR20110036707 A KR 20110036707A KR 1020107028590 A KR1020107028590 A KR 1020107028590A KR 20107028590 A KR20107028590 A KR 20107028590A KR 20110036707 A KR20110036707 A KR 20110036707A
Authority
KR
South Korea
Prior art keywords
mixed color
correction
image signal
color
pixel
Prior art date
Application number
KR1020107028590A
Other languages
English (en)
Inventor
마사츠구 후쿠나가
나츠코 오타니
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110036707A publication Critical patent/KR20110036707A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

화상 신호 보정 장치(15)는, 컬러의 촬상 소자(12)에서 광전 변환된 화상 신호를 받아, 이 화상 신호에 포함되는 혼색 성분을 보정하는 혼색 보정부(151)와, 촬상 소자(12)의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 보존하는 기억부(153)를 적어도 가지며, 혼색 보정부(151)는, 혼색 보정시에 기억부(153)로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하고, 취득한 혼색률을 이용하여 혼색 성분의 보정을 행한다.

Description

화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램{IMAGE SIGNAL CORRECTING DEVICE, IMAGING DEVICE, IMAGE SIGNAL CORRECTING METHOD, AND PROGRAM}
본 발명은, CMOS 이미지 센서 등의 고체 촬상 소자를 갖는 촬상 장치에서의 인접 화소 사이의 혼색(컬러 크로스토크) 등을 보정하는 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램에 관한 것이다.
일반적으로, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서(CIS) 등의 촬상 소자에서는, 인접 화소의 영향을 받는 혼색(컬러 크로스토크)이 일어나고 있다.
혼색은 크게 나누어서, 기판 내부의 확산전하 혼입에 의한 전기적 혼색과, 입사광이 인접 화소에 난반사 등으로 누입(漏入)되는 광학적 혼색으로 나누어진다.
이들의 혼색에 의해, 색 재현성을 열화시키는 등의 화질에 악영향을 미치는 요인이 되어 있다.
그래서, 색마다 혼색 보정용의 계수를 갖게 하고, 면 내 일률적인 보정을 가능하게 하는 기술이나, F값에 의해, 마찬가지로 면 내 일률적으로 보정하는 기술 등이 제안되어 있다(예를 들면 특허 문헌 1 참조).
또한, 일반적으로 혼색과 동시에 화소 내에서는, 광의 흡수 등에 의해 포토 다이오드의 광전 변환에 기여하지 않는 광량이 존재하고, 화소 단위로 비네팅(vignetting)이 발생하고 있다.
이와 같은 비네팅을 화소 셰이딩이라고 하고, 계면 반사나 트랜지스터를 구성하는 폴리실리콘 등에의 광흡수 등이 영향을 주고 있고, 혼색과 마찬가지로 면 내 분포를 가지며, 화질을 열화시키는 요인이 되어 있다.
그래서, 이 화소 셰이딩에 관해서만, 촬상 면내 분포를 고려한 보정 장치가 제안되어 있다(특허 문헌 2, 3 참조). 이들은, 혼색을 무시한 센서 출력으로부터의 신호를 셰이딩 보정한다는 시스템으로 되어 있다.
[선행 기술 문헌]
특허 문헌
특허 문헌 1 : 일본 특개평10-271519호 공보
특허 문헌 2 : 일본 특개2003-169255호 공보
특허 문헌 3 : 일본 특개2006-134157호 공보
그러나, 휴대 전화에 탑재되어 있는 바와 같은 소형 카메라 등에서, 화소 피치의 미세화, 사출동(射出瞳) 거리의 단거리화에 의해, 센서의 중앙 화소와 주변 화소에 있어서의 입사각도의 차는 커져 오고 있다(주변으로 갈수록 광선이 기울어진다).
그 때문에, 주변으로 갈수록 인접 화소에의 광의 혼입이 증가하고, 또한 마이크로 렌즈로부터 포토 다이오드까지의 사이에서, 옆의 화소까지의 Al 배선 구조 등 화소 단위로 대칭이 아니기 때문에 광의 난반사가 포토 다이오드에 도달하기까지 복잡하게 일어나고 있다.
즉, 이들의 요인으로부터 혼색률이 면 내 일률적이 아니게 되어 오고 있다. 따라서 면 내 일률적인 혼색 보정이 어렵게 되어 오고 있다.
또한, 특허 문헌 2, 3에 개시된 보정 장치는, 혼색을 무시한 센서 출력으로부터의 신호를 셰이딩 보정한다는 시스템으로 되어 있다.
일반적으로 혼색은, 주변 화소로부터의 광의 흡수 과정에 의존하고, 셰이딩은 대상 화소의 광의 산일(散逸) 과정에 의존하기 때문에, 양자는 열역학적으로 보아 등가(等價)가 될 수 없는 것이다.
그런데, 상기 선행 문헌에서의 셰이딩 보정 시스템에서는, 광의 산일 과정만을 고려하고 있고, 흡수 과정에서의 변위분은 고려되어 있지 않기 때문에, 올바른 신호량을 예측하는 것이 곤란하다.
따라서 상기 셰이딩 보정 시스템에서는, 정밀도가 높은 보정을 하는 것은 곤란하다.
본 발명은, 면 내 일률적인 혼색 보정을 실현할 수 있고, 또한, 정밀도가 높은 보정을 실현하는 것이 가능한 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램을 제공하는 것에 있다.
본 발명의 제 1의 관점의 화상 신호 보정 장치는, 컬러의 촬상 소자에서 광전 변환된 화상 신호를 받아, 당해 화상 신호에 포함되는 혼색 성분을 보정하는 혼색 보정부와, 상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 보존하는 기억부를 적어도 가지며, 상기 혼색 보정부는, 혼색 보정시에 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사(近似)하여 필요한 화소 위치에서의 혼색률을 취득하고, 당해 취득한 혼색률을 이용하여 혼색 성분의 보정을 행한다.
본 발명의 제 2의 관점의 촬상 장치는, 피사체상을 촬상하는 컬러의 촬상 소자와, 컬러의 촬상 소자에서 광전 변환된 화상 신호를 받아 보정을 행하는 화상 신호 보정 장치를 가지며, 상기 화상 신호 보정 장치는, 컬러의 촬상 소자에서 광전 변환된 화상 신호에 포함되는 혼색 성분을 보정하는 혼색 보정부와, 상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 보존하는 기억부를 적어도 가지며, 상기 혼색 보정부는, 혼색 보정시에 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하고, 당해 취득한 혼색률을 이용하여 혼색 성분의 보정을 행한다.
알맞게는, 상기 혼색 보정부는, 복수의 대표점을 설정하고, 대표점 사이를 보간하여 각 화소의 혼색률을 결정한다.
알맞게는, 상기 혼색 보정부는, 취득한 혼색률과 입력 화상 신호와의 곱합(積和)연산을 행하고, 입력 화상 신호와 당해 곱합연산 결과의 감산 처리를 행하여 혼색 보정을 행한다.
알맞게는, 상기 기억부에 보존되는 혼색 보정 계수는, 하나의 컬러 화소로부터의 다른 컬러 화소의 혼색률로서 미리 측정되어 보존된다.
알맞게는, 상기 혼색 보정부에서 혼색 보정된 화상 신호를 받아, 당해 피혼색 보정 화상 신호에 대해 화소 셰이딩 보정을 행하는 셰이딩 보정부를 또한 갖는다.
알맞게는, 상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 화소 셰이딩 보정 계수를 보존하는 제 2의 기억부를 가지며, 상기 셰이딩 보정부는, 상기 제 2의 기억부에 보존된 화소 셰이딩 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 보정 계수를 취득하고, 당해 취득한 보정 계수를 이용하여 셰이딩 보정을 행한다.
알맞게는, 상기 셰이딩 보정부는, 취득한 보정 계수와 상기 피(被)혼색 보정 화상 신호와의 적산(積算)을 행하여 셰이딩 보정을 행한다.
본 발명의 제 3의 관점의 화상 신호 보정 방법은, 컬러의 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 기억부로부터 판독하는 스텝과, 상기 촬상 소자에서 광전 변환된 화상 신호를 받아, 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하는 스텝과, 상기 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 스텝을 갖는다.
본 발명의 제 4의 관점은, 컬러의 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 기억부로부터 판독하는 처리와, 상기 촬상 소자에서 광전 변환된 화상 신호를 받아, 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하는 처리와, 상기 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 처리를 갖는 화상 신호 보정 처리를 컴퓨터에 실행시키는 프로그램이다.
본 발명에 의하면, 컬러의 촬상 소자에서 광전 변환된 화상 신호가 혼색 보정부에 입력된다.
혼색 보정부에서는, 혼색 보정시에 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률이 취득된다.
그리고, 혼색 보정부에서는, 취득한 혼색률을 이용하여 혼색 성분의 보정이 행하여진다.
본 발명에 의하면, 면내 분포에 응하여 혼색 보정을 실현할 수 있고, 또한, 정밀도가 높은 보정을 실현할 수 있다.
도 1은 본 발명의 실시 형태에 관한 화상 신호 보정 장치를 적용한 촬상 장치의 구성례를 도시하는 블록도.
도 2는 화소 배열례로서 베이어 배열을 도시하는 도면.
도 3은 본 실시 형태에 관한 촬상 소자의 단위 화소의 구성례를 도시하는 회로도.
도 4는 촬상 소자의 디바이스 구조를 모식적으로 도시하고, 또한 혼색에 관해 설명하기 위한 도면
도 5는 광의 산일, 흡수 과정의 이미지도.
도 6은 광의 산일, 흡수 역과정의 이미지도.
도 7은 화소 사이 혼색 모델을 도시하는 도면.
도 8은 각 화소에서의 광의 산일, 흡수 모델을 도시하는 도면.
도 9는 촬상 소자(센서)의 입출력 신호의 예를 도시하는 도면.
도 10은 본 실시 형태에 관한 화상 신호 보정 장치의 신호 처리의 흐름을 도시하는 도면.
도 11은 모델식 2에 응한 보정 처리를 도시하는 도면.
도 12는 본 실시 형태에 관한 혼색량의 측정계의 한 예를 도시하는 도면.
도 13은 단색광(R)에 의한 각 화소의 응답과 혼색량에 관해 도시하는 도면.
도 14는 대표점에 의한 혼색률(θ)의 추정례에 관해 설명하기 위한 도면.
도 15는 본 실시 형태에 관한 혼색 보정부에서의 혼색 보정례(원리)를 모식적으로 도시하는 도면.
도 16은 본 실시 형태에 관한 셰이딩 보정부에서의 셰이딩 보정례(원리)를 모식적으로 도시하는 도면.
도 17은 본 실시 형태에 관한 혼색, 화소 셰이딩 보정의 보간 연산의 실례를 도시하는 도면.
이하, 본 발명의 실시 형태를 도면에 관련시켜서 설명한다.
도 1은, 본 발명의 실시 형태에 관한 화상 신호 보정 장치를 적용한 촬상장의 구성례를 도시하는 블록도이다.
본 촬상 장치(10)는, 도 1에 도시하는 바와 같이, 렌즈계(11), 촬상 소자(12), A/D 변환기(13), 클램프부(14), 화상 신호 보정 장치(15), 디모자이크부(16), 리니어 매트릭스부(17), 감마 보정부(18), 휘도 크로마 신호 생성부(19)를 갖는다.
또한, 휘도 크로마 신호 생성부(19)의 출력측에는 비디오 인터페이스(I/F)(20)가 배치되어 있다.
렌즈계(11)는, 조리개(111)를 포함하고, 피사체상을 촬상 소자(12)의 촬상면에 결상한다.
촬상 소자(12)는, CMOS 이미지 센서 등에 의해 형성되고, 복수의 단위 화소가 매트릭스형상으로 배열되어 있다. 각 화소에는, 대응하여 컬러 필터가 배치되어 있다.
촬상 소자(12)는, 그 화소 배열로서, 예를 들면 도 2에 도시하는 바와 같은 베이어 배열이 채용된다.
도 3은, 본 실시 형태에 관한 촬상 소자(12)의 단위 화소의 구성례를 도시하는 회로도이다.
도 3은, 본 실시 형태에 관한 4개의 트랜지스터로 구성된 CMOS 이미지 센서의 화소의 한 예를 도시하고 있다.
각 화소(120)는, 도 3에 도시하는 바와 같이, 예를 들면 포토 다이오드로 이루어지는 광전 변환 소자(121)를 갖는다.
그리고, 화소(120)는, 이 1개의 광전 변환 소자(121)에 대해, 전송 트랜지스터(122), 리셋 트랜지스터(123), 증폭 트랜지스터(124), 및 선택 트랜지스터(125)의 4개의 트랜지스터를 능동 소자로서 갖는다.
광전 변환 소자(121)는, 입사광을 그 광량에 응한 양의 전하(여기서는 전자)로 광전 변환한다.
전송 트랜지스터(122)는, 광전 변환 소자(121)와 플로팅 디퓨전(FD) 사이에 접속되고, 전송 제어선(LTx)을 통하여 그 게이트(전송 게이트)에 제어 신호인 송신 신호(TG)가 주어진다.
이에 의해, 전송 트랜지스터(122)는, 광전 변환 소자(121)에서 광전 변환된 전자를 플로팅 디퓨전(FD)에 전송한다.
리셋 트랜지스터(123)는, 전원 라인(LVDD)과 플로팅 디퓨전(FD) 사이에 접속되고, 리셋 제어선(LRST)을 통하여 그 게이트에 제어 신호인 리셋 신호(RST)가 주어진다.
이에 의해, 리셋 트랜지스터(123)는, 플로팅 디퓨전(FD)의 전위를 전원 라인(LVDD)의 전위로 리셋한다.
플로팅 디퓨전(FD)에는, 증폭 트랜지스터(124)의 게이트가 접속되어 있다. 증폭 트랜지스터(124)는, 선택 트랜지스터(125)를 통하여 신호선(LSGN)에 접속되고, 화소부 외의 정전류원(126)과 소스 폴로워를 구성하고 있다.
그리고, 선택 제어선(LSEL)을 통하여 어드레스 신호에 응한 제어 신호인 선택 신호(SEL)가 선택 트랜지스터(125)의 게이트에 주어져서, 선택 트랜지스터(125)가 온 한다.
선택 트랜지스터(125)가 온 하면, 증폭 트랜지스터(124)는 플로팅 디퓨전(FD)의 전위를 증폭하여 그 전위에 응한 전압을 신호선(LSGN)에 출력한다. 신호선(LSGN)을 통하여, 각 화소로부터 출력된 전압은, 칼럼 판독 회로에 출력된다.
이들의 동작은, 예를 들면 전송 트랜지스터(122), 리셋 트랜지스터(123), 및 선택 트랜지스터(125)의 각 게이트가 행 단위로 접속되어 있기 대문에, 1행분의 각 화소에 관해 동시에 행하여진다.
촬상 소자(12)는, 화소 어레이부에 배선되어 있는 리셋 제어선(LRST), 전송 제어선(LTx), 및 선택 제어선(LSEL)이 1조(組)로서 화소 배열의 각 행 단위로 배선되어 있다.
이들의 리셋 제어선(LRST), 전송 제어선(LTx), 및 선택 제어선(LSEL)은, 도시하지 않은 수직 주사 회로에 의해 구동된다.
또한, 신호선(LSGN)은, CDS 회로(상관 이중 샘플링 회로) 등을 포함하는 칼럼 판독 회로에 접속된다.
도 4는, 촬상 소자의 디바이스 구조를 모식적으로 도시하고, 또한 혼색에 관해 설명하기 위한 도면이다.
도 4에서, 촬상 소자(12)는, 광전 변환 소자인 포토 다이오드(PD)의 수광면에 대해, 도파로(WGD)를 끼우고 컬러 필터(CF)가 배치되고, 각 컬러 필터(CF)의 광 입사측에 마이크로 렌즈(ML)가 각각 위치된 다층 배선 구조를 갖는다.
도파로(WGD)에는, Al 배선이나 층간막 등이 형성되어 있다.
혼색은, CMOS 이미지 센서 등 다층 배선 구조를 갖는 촬상 소자에 많이 보여진다. 주된 원인으로서는, 비스듬하게 입사한 광의 난반사의 성분이 Al 차광막을 빠져서 인접 화소에 누입됨으로써 일어난다.
여기서는, 이것을 광학혼색이라고 부른다.
그 외에, 포토 다이오드(PD) 사이에서 전자의 확산에 의한 혼색 등도 있지만, 현재의 프로세스에서는 혼색의 주요인이 아니다.
혼색 현상은, 도파로 컬러 필터(CF)로부터 포토 다이오드(PD)까지의 경로를 형성하는 도파로(WGD) 내에서의 난반사에 의해, 주변 화소로부터 입사 또는, 주변 화소에 산일하거나 하는 광의 수지(收支)가 포토 다이오드(PD)에 도달하기까지 복잡하게 일어나고 있다.
일반적으로 화소의 구조가 인접 사이에서 대칭이 아니기 때문에, 난반사의 추정도 곤란하다.
본 발명에서의 혼색 보정 및 셰이딩 보정에 관해서는, 후에 상세히 기술한다.
A/D 변환기(13)는, 촬상 소자(12)에 의한 화상 신호를 아날로그 신호로부터 디지털 신호로 변환하여 클램프부(14)에 출력한다.
클램프부(14)는, A/D 변환기(13)에 의한 디지털 화상 신호의 흑레벨을 보정하고, 화상 신호 보정 장치(15)에 출력한다.
화상 신호 보정 장치(15)는, 촬상 소자(12)의 촬상면에 맞추어서 매트릭스형상(메시형상)으로 구분한 영역마다 추정된 실효적인 혼색률(θ)에 이용하여, 이 혼색률을 필요한 화소 위치(좌표)에서의 θ를 보간에 의해 근사하여 얻어지는 θ에 관련지은 혼색 보정을 행한다.
화상 신호 보정 장치(15)는, 혼색 보정이 시행된 화상 신호에 대해 셰이딩 보정을 행한다.
화상 신호 보정 장치(15)는, 혼색 보정 및 셰이딩 보정시에, 예를 들면 촬상 소자(12)의 촬상면(보정 대상면)에 맞추어서 매트릭스형상(메시형상)으로 구분하고, 메시 단위의 복수의 대표점에 대한 각 무게부여 계수를 이용하여, 이른바 B스플라인 보간을 행한다.
화상 신호 보정 장치(15)는, 도 1에 도시하는 바와 같이, 혼색 보정부(151), 화소 셰이딩 보정부(152), 제 1의 기억부(153), 및 제 2의 기억부(154)를 갖는다.
기억부(153)는, 촬상 소자(12)의 촬상면에 맞추어서 매트릭스형상(메시형상)으로 구분한 영역마다 추정된 실효적인 혼색률(θ)이 보존된다.
혼색 보정부(151)는, 기억부(153)에 보존되어 있는 혼색률(θ)중, 혼색 보정시에 필요한 화소 위치(좌표)에서의 θ를 보간에 의해 근사하여 산출하고, 이 근사된 혼색률(θ)을 이용하여 혼색 보정을 행한다.
혼색 보정부(151)는, 기억부(153)에 보존되어 있는 혼색률(보정 계수)을 이용한 B스플라인 보간을 행하여 혼색 보정을 행한다.
기억부(154)는, 촬상 소자(12)의 촬상면에 맞추어서 매트릭스형상(메시형상)으로 구분한 영역마다 정의된 보정 계수가 보존된다.
셰이딩 보정부(152)는, 기억부(154)에 보존되어 있는 보정 계수를 이용한 B스플라인 보간을 행하여 셰이딩 보정을 행한다.
화상 신호 보정 장치(15)에서의 혼색 보정 및 셰이딩 보정에 관해서는, 후에 다시 상세히 기술한다.
화상 신호 보정 장치(15)는, 혼색 보정한 후에, 셰이딩 보정된 화상 신호를 디모자이크부(16)에 출력한다.
혼색 보정한 후에, 셰이딩 보정된 화상 신호는, 디모자이크부(16)에서 동시화(同時化) 처리가 시행되, 리니어 매트릭스부(17)에서 색 재현 처리가 시행되고, 감마 보정부(18)에서 감마 보정된 후, 휘도 크로마 신호 생성부(19)에 공급된다.
그리고, 휘도 크로마 신호 생성부(19)에서 휘도 신호, 크로마 신호가 생성되고, 비디오 I/F(20)를 통하여 도시하지 않은 표시 디바이스에 영상이 표시된다.
이하, 화상 신호 보정 장치(15)에서의 혼색 보정 및 셰이딩 보정에 관해, 원리적인 설명도 포함하여 구체적으로 설명한다.
도 5는, 광의 산일, 흡수 과정의 이미지도이다.
도 6은, 광의 산일, 흡수 역(逆)과정의 이미지도이다.
도 5는, 화소(0)에서의 입사광(Q0)으로부터 광전 변환 직전까지의 광(Q0)의 산일, 흡수 과정을 도시하고 있다(Q0→ q0).
도 6은, 화소(0)에서의 입사광(Q0)에의 역과정을 도시하고 있다(q0→ Q0).
이 경우, 산일 과정(비네팅)과 흡수 과정(혼색)은 동일하지가 않다. 즉, 산일 과정(비네팅)≠흡수 과정(혼색)이다.
혼색은, 도 5에 도시하는 바와 같이, 주변 화소로부터의 광의 흡수 과정에 의존하고, 셰이딩은 대상 화소의 광의 산일 과정에 의존하기 때문에, 양자는 열역학적으로 보아 등가가 될 수가 없는 것이다.
따라서 도 6에 도시하는 바와 같이, 광의 산일·흡수 과정을 역으로 더듬어 가면, 우선 주변 화소로부터의 흡수량을 보정하고(이것을 혼색 보정이라고 한다), 광의 산일량을 보정한다(이것을 화소 셰이딩 보정이라고 한다)는 순서로 행하여야 하는 것을 알 수 있다.
기존 기술에서의 셰이딩 보정 시스템에서는, 광의 산일 과정만을 고려하고 있고, 흡수 과정에 있어서 변위분(變位分)은 고려되고 있지 않기 때문에, 올바른 신호량을 예측할 수가 없음을 원리적으로 말할 수 있다.
즉, 혼색과 화소 셰이딩은 양자를 배타적으로 보정할 필요가 있고, 이 점을 고려한 시스템이 필요 불가결하다.
즉, 혼색 보정과 셰이딩 보정은 독립적으로 또한 혼색 보정→ 셰이딩 보정의 순서로 행하여야 함을 알 수 있다.
본 실시 형태의 화상 신호 보정 장치(15)는, 혼색 보정한 후에, 셰이딩 보정을 행하도록 구성되어 있다.
여기서, 광학혼색을 모델화하여 본다.
도 7은, 화소 사이 혼색 모델을 도시하는 도면이다.
도 8은, 각 화소에서의 광의 산일, 흡수 모델을 도시하는 도면이다.
도 7에 어느 대상 화소 0번의 광량 수지를 도시하는데, 광학 통로 내(컬러 필터로부터 포토 다이오드까지의 패스)에서 일어나는 광의 산란, 흡수량이, 각 컬러 필터 통과 직후의 광량(Qi)에 비례한 계수(ξ, η)로 각각 ξQi, ηQj로 하여, 도 8에 도시하는 바와 같이 정의한다.
여기서, ξQi는 화소(i)로부터 주변 화소에 산일하는 광량 또는 전압을, ηQj은 화소(j)로부터 난반사하여 입사한 광량 또는 전압(=화소(i)의 흡수 광량 또는 전압)을, qi는 화소(i)의 센서 출력 신호량(광량 또는 전압 또는 디지털 신호치)을 각각 나타내고 있다.
또한, 도 9(A) 및 (B)는 촬상 소자(센서)(12)의 입출력 신호의 예를 도시하는 도면이다. 도 9(A)는 촬상 소자(센서)(12)의 컬러 필터 통과 직후의 입력 신호를 나타내고, 도 9(B)는 촬상 소자(센서)(12)의 출력 신호를 나타내고 있다.
이 혼색 모델을 정식화(定式化)하면, 다음과 같이 된다.
[수식 1]
Figure pct00001
화소 신호의 모델
여기서, q0는 대상 화소에 대한 광전 변환 후의 전압 또는 그것을 AD 변환한 디지털 신호량을 나타낸다.
Q0는 대상 화소의 컬러 필터 통과 직후의 광량을 전압으로 환산한 양 또는 그것을 AD 변환한 디지털 신호량을 나타낸다.
Qj는 대상 화소에 인접하는 화소의 컬러 필터 통과 직후의 광량을 전압으로 환산한 양 또는 그것을 AD 변환한 디지털 신호량을 나타낸다.
ξ0j는 대상 화소로부터 주변에 산일하는 광량(=대상 화소의 신호량(q0)에 기여하지 않는 Q0의 부분 광량)을 대상 화소의 입사광량(Q0)으로 나눈 무차원 계수를 나타낸다. 일반적으로, 0.0<ξ0j<1.0이다.
ηj0는 주변부터 대상 화소에 산란하여 온 광량(=Q0 이외에 대상 화소의 신호량(q0)에 기여하는 주변 Qj로부터의 부분 광량)을 각 주변 화소의 입사광량(Qj)으로 나눈 무차원 계수를 나타낸다. 일반적으로, 0.0<ηj0<1.0이다.
χ0는 흡수 계수, 대상 화소와 주변 화소와의 사이에서 행하여지는 광량 수지에 무관계한 대상 화소의 신호량(Q0)에 기여하지 않는 Q0에 대한 흡수률(예 : 화소 주변의 트랜지스터의 폴리실리콘에의 흡수 등)을 나타낸다. 여기서는, 0<χ0<1이다.
n은 대상 화소에 인접하는 화소수를 나타낸다.
식 1을 변형하여, 식 2로 표시하는 바와 같이 화소 입사광의 신호량을 표시할 수 있다.
[수식 2]
Figure pct00002
화소 입사광의 신호량 … 식 1을 변형
식 2는, 광학경로(光學經路) 내에 일어나는 광의 산란 흡수를 보정한 신호량을 표시하고 있다.
광학경로란, 도 4의 컬러 필터(CF)로부터 포토 다이오드(PD)까지의 경로를 형성하는 도파로(WGD) 내의 광학 통로이다.
즉, 식 2의 분모는, 광이 산일되어 대상 화소의 신호 성분에 기여하지 않는 양을 보정하기 위한 화소 셰이딩 보정을 의미한다.
식 2의 분자는, 주변 화소로부터 산란된 광이 대상 화소의 신호 성분에 기여하여 버리는 혼색량을 보정한다는 의미가 되어 있다.
또한, 화소 셰이딩이란 이른바 화소에서의 비네팅인 것이다. 여기서는 렌즈 셰이딩과 구별하기 위해 화소 셰이딩이라고 부르고 있다.
다음에, 혼색 보정식에 관해 기술한다.
혼색 보정 후의 신호량(C0)은, 식 2를 변형하여 다음과 같게 표시된다.
[수식 3]
Figure pct00003
식 3의 우변(右邊)의 제 2항의 의미는, 예를 들면, 대상 화소 0번의 주변 화소(n개)를 ξQ로 곱합연산한다는 것을 의미한다.
그런데, 본 발명의 실시 형태에서의 모델에서는, 식 3으로부터 분명한 바와 같이, 우선 혼색 보정을 행하고, 계속해서 화소 셰이딩 보정을 행하면, 대상 화소의 Q0가 구하여진다.
그런데, 식 3의 위변에 있는 Qj는, 도 9(A)에 도시하는 바와 같은, 컬러 필터 통과 직후의 광량이기 때문에, 일반적으로 측정 불능량(不能量)이다.
따라서 도 9(B)에 도시하는 바와 같다, 측정 가능한 센서 출력(qj)으로, 후에 표시하는 식 4 내지 식 6과 같이 별도 전개할 필요가 있다.
도 10은, 본 실시 형태에 관한 화상 신호 보정 장치(15)의 신호 처리의 흐름을 도시하는 도면이다.
도 11은, 모델식(式) 2에 응한 보정 처리를 도시하는 도면이다.
본 실시 형태의 화상 신호 보정 장치(15)에서, 도 10에 도시하는 바와 같이, 어느 센서 출력(q0)에 대해, 혼색 보정을 시행함으로써, 후단의 화소 셰이딩 보정이 올바르게 행하여짐을 알 수 있다.
만약, 본 신호 처리를 실시하지 않으면(스킵한다면), 식 3으로 부터 알 수 있는 바와 같이, ΣηQ항이 셰이딩 게인분만큼 증폭되어 최종적으로 Q0를 올바르게 재현할 수가 없음을 알 수 있다.
이상의 점에 입각하여, 식 2를 인접 화소 측정 가능량(q)으로 전개하면, 다음 식 4와 같이 된다.
[수식 4]
Figure pct00004
이 식 4는, 도 11에 도시하는 바와 같이, 인접, 다음 인접, 다음다음 인접 화소 …의 혼색 보정, 셰이딩 보정을 대상 화소의 먼 쪽부터 순차적으로 시행하고, 최후에 대상 화소 0번의 보정을 행한다는 점화식(漸化式)으로 되어 있다.
마찬가지로, 혼색 보정식인 식 3을 인접 화소의 측정 가능량(qj)을 사용하여 전개하면, 다음 식 5와 같이 된다.
[수식 5]
Figure pct00005
또한, 이 혼색 보정식 5을 인접 및 다음 인접 화소까지 전개하면, 다음 식 6과 같이 된다.
[수식 6]
Figure pct00006
이 식 6의 우변 제 5항은 측정 불능량(Q)을 포함한다.
그런데, 각 화소의 산란(散亂) 수지(收支)는 기껏 화소에 입사하는 광량의 수% 내지 십수% 정도라고 하면, η+Σξ+Χ<1이 성립된다.
즉 β<1이기 때문에, 식 6으로 부터 알 수 있는 바와 같이, 보정(C)는 q-Σβq까지의 근사로 충분 나타낼 수 있다. β<<1이 되면 될수록 혼색·화소 셰이딩이 적은 양질의 센서(촬상 소자)라고 말할 수 있다.
따라서 본 발명의 실시 형태에서 기본이 되는 혼색 보정식은, 다음 식 7의 밑선 부와 같이 된다.
[수식 7]
Figure pct00007
그런데, 식 7의 우변 제 2항의 가산부(Σβq)는, 대상 화소의 혼색량 그 자체이다.
그래서 예를 들면 적(R), 녹(G), 청(B)의 컬러 필터를 모자이크 배열한 촬상 소자(12)에서, β를 다음 방법으로 원리적으로 구할 수 있다.
여기서 실험적으로 혼색량을 구하기 위해 이후, β→ θ로 정의하고, 식 7의 우변 제 2항의 가산부를 Σθq로 재기재한다. 그리고 θ를 새롭게 실효적인 혼색률이라고 정의한다.
<혼색률(θ)의 구하는 방법>
도 12는, 본 실시 형태에 관한 혼색량의 측정계(測定系)를 도시하는 도면이다.
도 13은, 단색광(R)에 의한 각 화소의 응답과 혼색량에 관해 도시하는 도면이다.
도 12의 혼색량의 측정계(30)는, 백색 광원(31), 밴드 패스 필터(BPF)(32), 렌즈(33), 및 촬상 소자(34)를 포함하여 구성되다, 촬상 소자(34)는, 도 1의 촬상 소자(12)와 같은 구성, 기능을 갖는다.
예를 들면 도 12에 도시하는 바와 같이, 각 컬러 필터(CF)의 감도 최대의 파장 부근의 밴드 패스 필터(32)를 통과한 단색광을 준비한다. 각 색의 단색광을 촬상 소자(34)에 렌즈(33)를 통하여 조사하고, 각 화소의 응답량을 구한다.
그리고, 각 색의 광원별로 구한 화소치로부터 혼색량을 구한다.
즉, 도 13의 예와 같이, 단색광(R)을 조사시키면, 밴드 패스 필터의 특성이 G화소와 B화소에 기여하지 않는 경우는, 기본적으로 G화소 및 B화소는, G, B컬러 필터에서 흡수되기 때문에, R광에 직접 응답하지 않는다. 또한, 단색광(R)(컬러 필터(R)의 감도가 최대가 되고 또한, 파장 대역에 제한을 갖는 광원) 백색 광원에 R파장 부근의 밴드 패스 필터를 통과시킨 것 등으로 실현한다.
따라서 이와 같은 조건하에서, 도 13에 도시하는 바와 같이, G화소와 B화소에 존재하는 응답량(신호량)은, 인접 R화소로부터의 혼색량에 상당한다.
마찬가지로 G화소 및 B화소에 대해서도 각 G광, B광을 조사함으로써 서로 혼색량을 측정할 수 있다.
예를 들면, R화소로부터 G화소의 혼색률(θRG)은 다음 식 8로 구할 수 있다.
[수식 8]
Figure pct00008
마찬가지로 G화소로부터 R화소에, G화소로부터 B화소에, …로 각 화소마다 구할 수 있다.
그리고, 본 실시 형태에서의 혼색 보정식은, 하기한 식 9, 식 10과 같이 표시할 수 있다.
[수식 9]
Figure pct00009
[수식 10]
Figure pct00010
단, 분모자는, 화소(j)의 컬러 필터만을 통과하는 광원 조사시의 값이다.
지금까지는, 각 화소마다 혼색량을 정의해, 측정에 의해 혼색률을 구하고 왔다.
이와 같이, 전 화소마다의 혼색률을 보존하고 보정하는데는 방대한 기억부가 필요해지기 때문에, 본 실시 형태에서는, 알맞는 방법으로서 이하의 방법을 채용한다.
즉, 대표점을 만들고, 대표점 사이를 스플라인, 베지에, 선형보간(線形補間)이라는 수법으로 각 화소의 혼색률을 결정하여 가는 방법이다.
도 14는, 대표점에 의한 혼색률(θ)의 추정례에 관해 설명하기 위한 도면이다.
화상 신호 보정 장치(15)에서는, 도 14에 도시하는 바와 같이, 촬상 소자(12)의 촬상면에 맞추어서 매트릭스형상(메시형상)으로 구분한 영역마다 추정된 실효적인 혼색률(θ)이 기억부(153)에 보존된다.
도 14의 예는, 4×5의 매트릭스형상으로 구분한 예로, 혼색률(θ0 내지 θ19)이 나타나 있다.
혼색 보정부(151)는, 기억부(153)에 보존되어 있는 혼색률(θ)중, 혼색 보정시에 필요한 화소 위치(좌표)에서의 θ를 보간에 의해 근사하여 산출하고, 이 근사된 혼색률(θ)을 이용하여 혼색 보정을 행한다.
혼색 보정부(151)는, 혼색 보정을 상기 식 9에 따라 행한다.
도 15는, 본 실시 형태에 관한 혼색 보정부(151)에서의 혼색 보정례(원리)를 모식적으로 도시하는 도면이다.
도 15의 예에서는, 기억부(153)에는 혼색 보정 계수 대표점 테이블 TBL1이 색마다 보존되어 있다.
혼색 보정부(151)는, 혼색 보정시에 기억부(153)로부터 필요한 혼색률(θ)을 판독하고, 소정의 타이밍에서 대표점의 사이를 스플라인, 베지에, 선형보간이라는 수법으로 각 화소의 혼색률을 결정하여 간다.
그리고, 혼색 보정부(151)는, 보정 전의 클램프부(14)로부터의 화상 신호와 결정한 혼색률에 관해 곱합연산기(1511)에서 곱합연산하고, 감산기(1512)에서 곱합연산 결과와 보정 전의 화상 신호의 감산 처리를 행함에 의해 혼색 보정을 행한다.
도 16은, 본 실시 형태에 관한 셰이딩 보정부(152)에서의 셰이딩 보정례(원리)를 모식적으로 도시하는 도면이다.
도 16의 예에서는, 기억부(154)에는 셰이딩 보정 계수 대표점 테이블(TBL2)이 색마다 보존되어 있다.
셰이딩 보정부(152)는, 셰이딩 보정시에 기억부(154)로부터 필요한 셰이딩 보정 계수를 판독하고, 소정의 타이밍에서 대표점의 사이를 스플라인, 베지에, 선형보간이라는 수법으로 각 화소의 보정 계수를 결정하여 간다.
그리고, 셰이딩 보정부(152)는, 혼색 보정부(151)에서 혼색 보정된 셰이딩 보정 전의 화상 신호와 결정한 보정 계수를 승산기(1521)에서 적산 처리를 행함에 의해 셰이딩 보정을 행한다.
도 17은, 본 실시 형태에 관한 혼색, 화소 셰이딩 보정의 보간 연산의 실례를 도시하는 도면이다.
보간 연산에서는, 대표점 사이(메시 단위)를 N등분(2의 멱승(冪乘))하여, 도 17에 도시하는 바와 같이, 3개의 대표점에 대한 각각의 무게계수를 각 메시에서 정의하여, [각 대표점×보간 위치에서의 무게계수]로 구한다.
여기서, t=0 내지 1.0을 취하고, 1/N스텝=1화소 스텝으로 한다.
그리고, 다음과 같이, 이른바 B스플라인 보간으로 행한다.
[수식 11]
보간 위치(t0)의 값=w1(t0)·대표점(1)의 값(θ1)
+w2(t0)·대표점(2)의 값(θ2)
+w3(t0)·대표점(3)의 값(θ3)
이상 설명한 바와 같이, 본 실시 형태의 화상 신호 보정 장치(15)는, 이하의 특징적인 구성을 갖고 있다.
화상 신호 보정 장치(15)는, 촬상 소자(12)의 촬상면에 맞추어서 매트릭스형상(메시형상)으로 구분한 영역마다 추정된 실효적인 혼색률(θ)에 이용하고, 이 혼색률을 필요한 화소 위치(좌표)에서의 θ를 보간에 의해 근사하여 얻어지는 θ에 관련지은 혼색 보정을 행한다.
화상 신호 보정 장치(15)는, 혼색 보정이 시행된 화상 신호에 대해 셰이딩 보정을 행한다.
화상 신호 보정 장치(15)는, 혼색 보정 및 셰이딩 보정시에, 예를 들면 촬상 소자(12)의 촬상면(보정 대상면)에 맞추어서 매트릭스형상(메시형상)으로 구분하고, 메시 단위의 복수의 대표점에 대한 각 무게부여 계수를 이용하여, 이른바 B스플라인 보간을 행한다.
따라서 본 실시 형태에 의하면, 이하의 효과를 얻을 수 있다.
즉, 면내 분포에 응한 혼색 보정을 실현할 수 있다.
또한, 본 실시 형태에서는, 광의 산일 과정뿐만 아니라, 흡수 과정에서의 변위분을 고려한 보정을 행하여 있기 때문에, 올바른 신호량을 예측하는 것이 가능하다.
그 결과, 정밀도가 높은 보정을 실현할 수 있다.
또한, 이상 상세히 설명한 방법은, 상기 순서에 응한 프로그램으로서 형성하고, CPU 등의 컴퓨터로 실행하도록 구성하는 것도 가능하다.
또한, 이와 같은 프로그램은, 반도체 메모리, 자기 디스크, 광디스크, 플로피(등록상표)디스크 등의 기록 매체, 이 기록 매체를 세트한 컴퓨터에 의해 액세스하여 상기 프로그램을 실행하도록 구성 가능하다.
10 : 촬상 장치
11 : 렌즈계
12 : 촬상 소자
13 : A/D 변환기
14 : 클램프부
15 : 화상 신호 보정 장치
151 : 혼색 보정부
152 : 화소 셰이딩 보정부
153, 154 : 기억부
16 : 디모자이크부
17 : 리니어 매트릭스부
18 : 감마 보정부
19 : 휘도 크로마 신호 생성부

Claims (16)

  1. 컬러의 촬상 소자에서 광전 변환된 화상 신호를 받아, 당해 화상 신호에 포함되는 혼색 성분을 보정하는 혼색 보정부와,
    상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 보존하는 기억부를 적어도 가지며,
    상기 혼색 보정부는,
    혼색 보정시에 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하고, 당해 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 것을 특징으로 하는 화상 신호 보정 장치.
  2. 제 1항에 있어서,
    상기 혼색 보정부는,
    복수의 대표점을 설정하고, 대표점 사이를 보간하여 각 화소의 혼색률을 결정하는 것을 특징으로 하는 화상 신호 보정 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 혼색 보정부는,
    취득한 혼색률과 입력 화상 신호와의 곱합연산을 행하고, 입력 화상 신호와 당해 곱합연산 결과의 감산 처리를 행하여 혼색 보정을 행하는 것을 특징으로 하는 화상 신호 보정 장치.
  4. 제 1항 내지 제 3항중 어느 한 항에 있어서,
    상기 기억부에 보존되는 혼색 보정 계수는, 하나의 컬러 화소로부터의 다른 컬러 화소의 혼색률로서 미리 측정되어 보존되는 것을 특징으로 하는 화상 신호 보정 장치.
  5. 제 1항 내지 제 4항중 어느 한 항에 있어서,
    상기 혼색 보정부에서 혼색 보정된 화상 신호를 받아, 당해 피혼색 보정 화상 신호에 대해 화소 셰이딩 보정을 행하는 셰이딩 보정부를 또한 갖는 것을 특징으로 하는 화상 신호 보정 장치.
  6. 제 5항에 있어서,
    상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 화소 셰이딩 보정 계수를 보존하는 제 2의 기억부를 가지며,
    상기 셰이딩 보정부는,
    상기 제 2의 기억부에 보존된 화소 셰이딩 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 보정 계수를 취득하고, 당해 취득한 보정 계수를 이용하여 셰이딩 보정을 행하는 것을 특징으로 하는 화상 신호 보정 장치.
  7. 제 6항에 있어서,
    상기 셰이딩 보정부는,
    취득한 보정 계수와 상기 피혼색 보정 화상 신호와의 적산을 행하여 셰이딩 보정을 행하는 것을 특징으로 하는 화상 신호 보정 장치.
  8. 피사체상을 촬상하는 컬러의 촬상 소자와,
    컬러의 촬상 소자에서 광전 변환된 화상 신호를 받아 보정을 행하는 화상 신호 보정 장치를 가지며,
    상기 화상 신호 보정 장치는,
    컬러의 촬상 소자에서 광전 변환된 화상 신호에 포함되는 혼색 성분을 보정하는 혼색 보정부와,
    상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 보존하는 기억부를 적어도 가지며,
    상기 혼색 보정부는,
    혼색 보정시에 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하고, 당해 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 것을 특징으로 하는 촬상 장치.
  9. 제 8항에 있어서,
    상기 혼색 보정부는,
    복수의 대표점을 설정하고, 대표점 사이를 보간하여 각 화소의 혼색률을 결정하는 것을 특징으로 하는 촬상 장치.
  10. 제 8항 또는 제 9항에 있어서,
    상기 혼색 보정부는,
    취득한 혼색률과 입력 화상 신호와의 곱합연산을 행하고, 입력 화상 신호와 당해 곱합연산 결과의 감산 처리를 행하여 혼색 보정을 행하는 것을 특징으로 하는 촬상 장치.
  11. 제 8항 내지 제 10항중 어느 한 항에 있어서,
    상기 기억부에 보존되는 혼색 보정 계수는, 하나의 컬러 화소로부터의 다른 컬러 화소의 혼색률로서 미리 측정되어 보존되는 것을 특징으로 하는 촬상 장치.
  12. 제 8항 내지 제 11항중 어느 한 항에 있어서,
    상기 혼색 보정부에서 혼색 보정된 화상 신호를 받아, 당해 피혼색 보정 화상 신호에 대해 화소 셰이딩 보정을 행하는 셰이딩 보정부를 또한 갖는 것을 특징으로 하는 촬상 장치.
  13. 제 12항에 있어서,
    상기 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 화소 셰이딩 보정 계수를 보존하는 제 2의 기억부를 가지며,
    상기 셰이딩 보정부는,
    상기 제 2의 기억부에 보존된 화소 셰이딩 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 보정 계수를 취득하고, 당해 취득한 보정 계수를 이용하여 셰이딩 보정을 행하는 것을 특징으로 하는 촬상 장치.
  14. 제 13항에 있어서,
    상기 셰이딩 보정부는,
    취득한 보정 계수와 상기 피혼색 보정 화상 신호와의 적산을 행하여 셰이딩 보정을 행하는 것을 특징으로 하는 촬상 장치.
  15. 컬러의 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 기억부로부터 판독하는 스텝과,
    상기 촬상 소자에서 광전 변환된 화상 신호를 받아, 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하는 스텝과,
    상기 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 스텝을 갖는 것을 특징으로 하는 화상 신호 보정 방법.
  16. 컬러의 촬상 소자의 촬상면에 대응시켜서 복수로 구분한 각 영역마다 미리 설정된 혼색 보정 계수를 기억부로부터 판독하는 처리와,
    상기 촬상 소자에서 광전 변환된 화상 신호를 받아, 상기 기억부로부터 판독한 혼색 보정 계수를 보간에 의해 근사하여 필요한 화소 위치에서의 혼색률을 취득하는 처리와,
    상기 취득한 혼색률을 이용하여 혼색 성분의 보정을 행하는 처리를 갖는 화상 신호 보정 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020107028590A 2008-06-30 2009-06-25 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램 KR20110036707A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008171760A JP5163319B2 (ja) 2008-06-30 2008-06-30 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
JPJP-P-2008-171760 2008-06-30

Publications (1)

Publication Number Publication Date
KR20110036707A true KR20110036707A (ko) 2011-04-08

Family

ID=41465908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028590A KR20110036707A (ko) 2008-06-30 2009-06-25 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램

Country Status (7)

Country Link
US (2) US8860853B2 (ko)
EP (1) EP2299721B1 (ko)
JP (1) JP5163319B2 (ko)
KR (1) KR20110036707A (ko)
CN (1) CN102132570B (ko)
TW (1) TWI422234B (ko)
WO (1) WO2010001811A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119050A (ko) * 2017-04-24 2018-11-01 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5254762B2 (ja) * 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
JP5460202B2 (ja) * 2009-09-18 2014-04-02 キヤノン株式会社 画像処理装置及び撮像システム
JP5526840B2 (ja) * 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US8350934B2 (en) * 2010-10-21 2013-01-08 Taiwan Semiconductor Manufacturing Co., Ltd. Color image sensor array with color crosstalk test patterns
JP5496922B2 (ja) * 2011-01-13 2014-05-21 日本放送協会 クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法
JP5425343B2 (ja) 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP5817301B2 (ja) 2011-08-02 2015-11-18 ソニー株式会社 撮像素子、並びに、撮像装置および方法
US9533539B2 (en) * 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
CN103404152B (zh) 2011-12-26 2016-11-23 松下电器（美国）知识产权公司 固体摄像元件、摄像装置、以及信号处理方法
JP5600814B2 (ja) 2011-12-28 2014-10-01 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP5787856B2 (ja) * 2012-09-24 2015-09-30 株式会社東芝 固体撮像装置
US9451187B2 (en) 2012-12-31 2016-09-20 Nvidia Corporation Lens shading calibration for cameras
JP5865555B2 (ja) 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
JP6083678B2 (ja) * 2013-12-25 2017-02-22 パナソニックＩｐマネジメント株式会社 画像処理装置
JP2015192234A (ja) * 2014-03-27 2015-11-02 Hoya株式会社 撮像素子、測定装置、測定方法、及び撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120020B2 (ja) * 1997-03-26 2008-07-16 ソニー株式会社 固体撮像装置
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
JP4614601B2 (ja) 2001-11-30 2011-01-19 ソニー株式会社 シェーディング補正方法及び装置
US7502057B2 (en) * 2002-06-20 2009-03-10 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US6844883B2 (en) * 2002-06-24 2005-01-18 Koninklijke Philips Electronics N.V. Color non-uniformity correction method and apparatus
JP2006058754A (ja) * 2004-08-23 2006-03-02 Canon Inc 表示装置
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP4322781B2 (ja) 2004-11-08 2009-09-02 富士フイルム株式会社 撮像装置
KR100606803B1 (ko) 2005-05-16 2006-08-01 엘지전자 주식회사 스크롤 휠 장치를 이용한 기능 수행 기능을 갖는 이동통신단말기 및 이를 이용한 기능 수행 방법
JP2007142693A (ja) * 2005-11-17 2007-06-07 Sony Corp 撮像装置および撮像方法
JP4389865B2 (ja) * 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP4704238B2 (ja) * 2006-02-22 2011-06-15 オリンパスイメージング株式会社 電子撮像装置及び電子撮像方法
JP2008113236A (ja) * 2006-10-30 2008-05-15 Kyocera Corp 撮像装置におけるシェーディング補正方法と装置
JP2011521591A (ja) * 2008-05-22 2011-07-21 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． カメラセンサの補正

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119050A (ko) * 2017-04-24 2018-11-01 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Also Published As

Publication number Publication date
TW201004370A (en) 2010-01-16
EP2299721A1 (en) 2011-03-23
US8988547B2 (en) 2015-03-24
WO2010001811A1 (ja) 2010-01-07
EP2299721A4 (en) 2012-10-24
US8860853B2 (en) 2014-10-14
EP2299721B1 (en) 2014-03-19
JP5163319B2 (ja) 2013-03-13
CN102132570A (zh) 2011-07-20
US20150015748A1 (en) 2015-01-15
US20110102635A1 (en) 2011-05-05
CN102132570B (zh) 2014-04-16
JP2010016419A (ja) 2010-01-21
TWI422234B (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
JP5163319B2 (ja) 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
US10015424B2 (en) Method and apparatus for eliminating crosstalk amount included in an output signal
KR101464750B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
KR101442313B1 (ko) 카메라 센서 교정
US8269865B2 (en) Signal processing apparatus and method, image sensing apparatus and system for correction of pixel signal output based on signal output of adjacent pixels and calculated correction coefficient
US9543351B2 (en) Image sensor, imaging apparatus, and imaging method
US9379156B2 (en) Per-channel image intensity correction
US8018516B2 (en) Solid-state image sensor and signal processing method of same
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
WO2011132618A1 (ja) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
JP2008113236A (ja) 撮像装置におけるシェーディング補正方法と装置
JP5436114B2 (ja) 撮像システム
JP4379006B2 (ja) 撮像装置
KR20140039970A (ko) 고체 촬상 장치, 카메라 모듈 및 디지털 카메라
JPWO2013100093A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
JP2012191378A (ja) 撮像装置
JP2004128716A (ja) 固体撮像装置及び画像補正回路
Tajbakhsh Color lens shade compensation achieved by linear regression of piece-wise bilinear spline functions

Legal Events

Date Code Title Description
WITB Written withdrawal of application