KR101130023B1 - 고체 촬상 소자 - Google Patents

고체 촬상 소자 Download PDF

Info

Publication number
KR101130023B1
KR101130023B1 KR1020107000204A KR20107000204A KR101130023B1 KR 101130023 B1 KR101130023 B1 KR 101130023B1 KR 1020107000204 A KR1020107000204 A KR 1020107000204A KR 20107000204 A KR20107000204 A KR 20107000204A KR 101130023 B1 KR101130023 B1 KR 101130023B1
Authority
KR
South Korea
Prior art keywords
pixel
color
pixels
edge
white
Prior art date
Application number
KR1020107000204A
Other languages
English (en)
Other versions
KR20100018042A (ko
Inventor
히로또 혼다
요시노리 이이다
요시따까 에가와
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20100018042A publication Critical patent/KR20100018042A/ko
Application granted granted Critical
Publication of KR101130023B1 publication Critical patent/KR101130023B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

고체 촬상 소자는 복수의 화소와, 광전 변환 소자에 의해 획득되는 전기 신호를 판독하기 위한 판독 회로와, 판독 회로로부터 판독된 전기 신호에 대하여 신호 처리를 행하기 위한 신호 처리부를 갖는다. 복수의 화소는 투명 필름을 갖는 제1 화소와, 제1 색 필터를 각기 갖는 복수의 제2 화소와, 제2 색 필터를 각기 갖는 복수의 제3 화소와, 제3 색 필터를 각기 갖는 복수의 제4 화소를 포함한다. 신호 처리부는 백색 화소값 및 제1 색 화소값 내지 제3 색 화소값을 취득하기 위한 색 취득부와, 에지 판정부와, 색 분리부와, 단색 화소 계산부를 갖는다.

Description

고체 촬상 소자{SOLID-STATE IMAGE SENSING DEVICE}
관련 출원의 상호 참조
본 출원은 2006년 6월 6일 출원된 이전 일본 특허 출원 제2007-150608호에 기초하여 우선권의 이익을 주장하며, 그 전체 내용은 참조로서 본원에 포함된다.
본 발명의 분야
본 발명은 광전 변환 소자를 갖는 복수의 화소를 매트릭스 형상으로 배치한 고체 촬상 소자에 관한 것이다.
관련 기술
최근, CMOS 이미지 센서가 활발히 개발되고 있다. 특히, 반도체 공정의 미세화(디자인 룰의 축소)에 수반하여, 예를 들어, 2.0μm의 화소 피치로 500만 화소를 초과하는 화소수의 단일 칩 컬러 이미지 센서가 상품화되어 있다.
하지만, 화소 미세화의 경향이 1.7μm의 화소 피치, 1μm 이하의 개구 면적의 수준으로 향하고 있다. 이러한 화소 크기에서는, 입사광의 파동성이 현저해지고, 회절 현상으로 인해 입사광의 양이 화소 면적의 축소 비율보다도 급속하게 저하된다. 따라서, 소자의 SN비를 높이는 새로운 방책이 필요하다.
이러한 종류의 CMOS 이미지 센서는 일반적으로 2행 2열로 이루어진 화소 블록 내에 1개의 적색(R) 화소, 1개의 청색(B) 화소, 대각선으로 2개의 녹색(G) 화소가 배치된 베이어(Bayer) 배열의 색 필터를 갖는다. 화소 블록 내에 2개의 G 화소를 제공하는 이유는 녹색에 대한 인간의 시감도가 높기 때문이며, 녹색 화소를 휘도(밝기) 정보를 취득하는 화소로서 사용하고 있다.
전술된 바와 같이, 색 필터의 배열에 따라 화질이 변화하기 때문에, 색 필터의 배열을 연구해서 화질 향상을 도모하는 다양한 기술들이 제안되어 있다(예를 들어, JP-A 2004-304706(공개), JP-A 2003-318375(공개), 및 JP-A 8-23542(공개)를 참조).
예를 들어, JP-A 2004-304706(공개)는 휘도 신호의 전하량을 확보하기 위해서 휘도 신호로서 사용되는 백색 화소를 녹색 화소의 주위에 종횡으로 배치하는 기술을 개시한다. 하지만, JP-A 2004-304706(공개)는 백색 화소 데이터를 처리하기 위한 어떠한 프로시저도 개시하지 않으며, 높은 공간 주파수의 피사체와 같이 휘도가 급격하게 변화하는 에지에 대응하는 화소 신호의 처리를 전혀 고려하지 않는다. JP-A 2003-318375(공개) 및 JP-A 8-23542(공개)는 에지 처리에 관하여 어떠한 개시 및 시사도 제공하지 않는다.
본 발명은 상기의 문제점을 감안해서 이루어진 것이며, 낮은 조도의 피사체에 대하여 높은 SN비를 갖고, 색 재현성이 우수하며, 또한 에지를 갖는 피사체의 경우에도 해상도의 열화 및 에일리어싱의 발생이 야기되지 않는 고체 촬상 장치를 제공하는 것에 관한 것이다.
본 발명의 일 양상에 따르면, 고체 촬상 소자가,
반도체 기판상에 매트릭스 형상으로 형성되어, 각각이 광전 변환 소자를 갖는 복수의 화소와;
상기 복수의 화소에서 상기 광전 변환 소자에 의해 획득된 전기 신호를 판독하도록 구성되는 판독 회로와;
상기 판독 회로로부터 판독된 상기 전기 신호에 대하여 신호 처리를 행하도록 구성되는 신호 처리부를 포함하고,
상기 복수의 화소는,
가시광 파장의 입사광을 투명 필름을 통해서 상기 광전 변환 소자에 유도하도록 구성되는 제1 화소와;
제1 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제1 색 필터를 각기 갖는 복수의 제2 화소와;
상기 제1 가시광 파장 영역과는 다른 제2 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제2 색 필터를 각기 갖는 복수의 제3 화소와;
상기 제1 및 제2 가시광 파장 영역과는 다른 제3 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제3 색 필터를 각기 갖는 복수의 제4 화소를 포함하고,
상기 신호 처리부는, 적어도 상기 제1 화소 내지 상기 제4 화소를 갖는 화소 블록의 단위로 상기 신호 처리를 행하고,
상기 화소 블록 내의 백색의 상기 제1 화소에 대응하는 백색 화소값, 제1 색의 상기 제2 화소에 대응하는 제1 색 화소값, 제2 색의 상기 제3 화소에 대응하는 제2 색 화소값, 및 제3 색의 상기 제4 화소에 대응하는 제3 색 화소값을 취득하도록 구성되는 색 취득부와;
상기 화소 블록 내의 상기 신호 처리의 대상 화소인 상기 제1 화소의 주위에 에지가 존재하는지의 여부를 판정하도록 구성되는 에지 판정부와;
상기 에지 판정부가 상기 대상 화소의 주위에 에지가 존재하지 않는 것으로 판정하는 경우, 상기 제1 화소의 주위의 상기 제1 색 화소값 내지 상기 제3 색 화소값에 기초하여, 상기 제1 화소의 색 비율을 계산하고, 계산된 상기 색 비율과 상기 제1 화소의 상기 백색 화소값을 곱하여 상기 제1 화소를 색 분리해서 상기 제1 화소의 제1 색 화소값 내지 제3 색 화소값을 계산하도록 구성되는 색 분리부와;
상기 에지 판정부가 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정하는 경우, 상기 색 비율을 구하지 않고 상기 제1 화소를 백색 이외의 다른 단색으로 가정함으로써, 단색 화소값을 계산하도록 구성되는 단색 화소 계산부를 포함한다.
또한, 본 발명의 일 양상에 따르면, 고체 촬상 소자가,
반도체 기판상에 매트릭스 형상으로 형성되어, 각각이 광전 변환 소자를 갖는 복수의 화소와;
상기 복수의 화소에서 상기 광전 변환 소자에 의해 획득된 전기 신호를 판독하도록 구성되는 판독 회로와;
상기 판독 회로로부터 판독된 상기 전기 신호에 대하여 신호 처리를 행하도록 구성되는 신호 처리부를 포함하고,
상기 복수의 화소는,
가시광 파장의 입사광을 투명 필름을 통해서 상기 광전 변환 소자에 유도하도록 구성되는 제1 화소와;
제1 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제1 색 필터를 각기 갖는 복수의 제2 화소와;
상기 제1 가시광 파장 영역과는 다른 제2 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제2 색 필터를 각기 갖는 복수의 제3 화소와;
상기 제1 및 제2 가시광 파장 영역과는 다른 제3 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제3 색 필터를 각기 갖는 복수의 제4 화소를 포함하고,
상기 신호 처리부는, 적어도 상기 제1 화소 내지 상기 제4 화소를 갖는 화소 블록의 단위로 상기 신호 처리를 행하고,
상기 화소 블록 내의 백색의 상기 제1 화소에 대응하는 백색 화소값, 제1 색의 상기 제2 화소에 대응하는 제1 색 화소값, 제2 색의 상기 제3 화소에 대응하는 제2 색 화소값, 및 제3 색의 상기 제4 화소에 대응하는 제3 색 화소값을 취득하도록 구성되는 색 취득부와;
상기 화소 블록 내의 신호 처리의 대상 화소인 상기 제3 화소 또는 상기 제4 화소의 주위에 에지가 존재하는지의 여부를 판정하도록 구성되는 에지 판정부와;
상기 대상 화소의 주위에 에지가 존재하지 않는 것으로 판정되는 경우, 상기 대상 화소의 색 화소값을 변경하지 않고 출력하고, 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정되는 경우, 상기 대상 화소가 상기 제3 화소이면, 상기 대상 화소의 색 화소값에 상기 제3 색 화소값을 추가하고, 또는 상기 대상 화소가 상기 제4 화소이면, 상기 대상 화소의 색 화소값에 상기 제2 색 화소값을 추가하도록 구성되는 색 추가 처리부를 포함한다.
본 발명에 따르면, 낮은 조도의 피사체에 대하여 높은 SN비를 갖고, 색 재현성이 우수하며, 또한 에지를 갖는 피사체의 경우에도 해상도의 열화 및 에일리어싱의 발생이 야기되지 않는 고체 촬상 장치가 제공된다.
도 1은 본 발명의 제1 실시예에 따른 고체 촬상 소자의 개략 구성을 나타내는 블록도.
도 2는 2행 2열의 화소 블록의 일례를 나타내는 도면.
도 3은 색 필터의 투과율을 나타내는 그래프.
도 4는 각 색의 색 필터를 부착한 각 화소의 감도를 나타내는 그래프.
도 5는 도 2에 도시된 총 4개의 화소 필터가 종횡으로 배치된 일례를 나타내는 도면.
도 6a는 행 방향으로 인접하는 3개의 화소에 대한 단면 구조를 개략적으로 나타낸 단면도이고, 도 6b는 색 필터 상에 적외선 커트 필터(17)를 배치한 단면도.
도 7은 각 화소의 통과 파장 영역과 투과율과의 관계를 나타내는 그래프.
도 8은 도 2의 복수의 2행 2열의 화소 블록을 종횡으로 배치한 일례를 나타내는 도면.
도 9는 W 화소의 위치에서 RGB 화소 값 Rw, Gw, Bw가 새로이 생성되는 일례를 나타내는 도면.
도 10은 W 화소 주위의 5행 7열의 화소 블록의 일례를 나타내는 도면.
도 11은 색 보간 처리를 설명하는 도면.
도 12는 본 실시예에 따른 신호 처리 회로(6)의 내부 구성을 나타내는 블록도.
도 13는 제1 실시예에 있어서 도 12과 같이 구성되는 신호 처리부의 처리 동작을 나타내는 흐름도.
도 14a 내지 도 14d는 에지 판정에 사용하는 화소 라인을 설명하는 도면.
도 15a 내지 도 15d는 동일 종류의 화소로 이루어지는 화소 라인을 설명하는 도면.
도 16은 제2 실시예에 있어서 도 12와 같이 구성되는 신호 처리부(6)의 처리 동작을 나타내는 흐름도.
도 17a 내지 도 17d는 제2 실시예에 있어서의 에지 판정에 사용하는 화소 라인을 설명하는 도면.
도 18은 제3 실시예에 따른 신호 처리부(6)의 처리 동작을 나타내는 흐름도.
도 19a 내지 도 19c는 제3 실시예에 있어서의 에지 판정에 사용하는 화소 라인을 설명하는 도면.
도 20은 제4 실시예에 사용되는 화소 배열을 나타내는 도면.
도 21은 제4 실시예에 따른 신호 처리부(6)의 처리 프로시저를 나타내는 흐름도.
도 22는 제4 실시예에 있어서의 화소 블록의 일례를 나타내는 도면.
도 23은 제4 실시예에 있어서의 화소 라인의 일례를 나타내는 도면.
도 24a 및 도 24b는 제4 실시예에 있어서의 에지 판정에 사용되는 화소 라인의 일례를 나타내는 도면.
이하, 도면을 참조하면서, 본 발명의 실시예들에 대해서 설명할 것이다.
(제1 실시예)
도 1은 본 발명의 제1 실시예에 따른 고체 촬상 소자의 개략 구성을 나타내는 블록도이다. 도 1의 고체 촬상 소자는, 광전 변환 소자를 갖는 복수의 화소를 매트릭스 형상으로 배치한 화소 어레이(1)와, 화소 어레이(1)의 각 행에 순차적으로 구동 전압을 공급하는 수직 스캐너(2)와, 개개의 화소에서 광전 변환된 촬상 신호에 포함되는 노이즈를 제거하기 위한 노이즈 감산 회로(3)와, 노이즈 감산 회로(3)로부터 출력된 촬상 신호의 A/D 변환을 위한 A/D 변환 회로(4)와, A/D 변환 후의 촬상 데이터를 열마다 순차적으로 선택하기 위한 수평 스캐너(5)와, 촬상 데이터에 대하여 후술하는 신호 처리를 행하기 위한 신호 처리부(6)를 구비한다.
신호 처리부(6)에는, 화소 어레이(1) 내의 각 행에 대하여 열마다 직렬로 촬상 데이터가 입력된다. 수직 스캐너(2), 노이즈 감산 회로(3), A/D 변환 회로(4) 및 수평 스캐너(5)는 판독 회로를 구성한다. 판독 회로는 1개의 수평 라인 내의 복수의 화소로부터 신호를 순차적으로 판독하거나, 화소마다 신호를 판독한다.
판독 회로와 화소 어레이(1)는 동일한 반도체 기판 상에 형성된다. 이 반도체 기판 상에 신호 처리부(6)를 형성하거나, 이 반도체 기판과는 별개인 반도체 기판 상에 신호 처리부(6)를 형성할 수 있다. 이 경우, 판독 회로의 출력이 별개의 반도체 기판상의 신호 처리부(6)에 입력된다.
화소 어레이(1) 내의 복수의 화소는 인접 배치된 수개의 화소에 기초하여 복수의 화소 블록으로 구분되어 있다. 예를 들어, 도 2는 2행 2열의 화소 블록의 일례를 나타내는 도면이며, 백색 W의 화소(이하, W 화소)와 녹색 G의 화소(이하, G 화소)가 대각선으로 배치되고, 나머지 2개의 화소는 적색 R과 청색 B의 화소(이하, R 화소와 B 화소)이다.
W 화소는 가시광 파장(예를 들어, 400nm 내지 650nm)의 입사광을 투명 필름을 통해 대응하는 광전 변환 소자에 유도한다. 투명 필름은 가시광에 대하여 투과성의 소재로 형성되어 있고, 전체 가시광 영역에서 높은 감도를 나타낸다.
한편, G 화소에는, 녹색의 가시광 파장 영역의 광에 대하여 높은 투과율을 갖는 색 필터가 설치되고, R 화소에는, 적색의 가시광 파장 영역의 광에 대하여 높은 투과율을 갖는 색 필터가 설치되고, B 화소에는, 청색의 가시광 파장 영역의 광에 대하여 높은 투과율을 갖는 색 필터가 설치되고 있다.
W 화소를 설치하는 이유는, 백색 화소는 전체 가시광 파장 영역의 광을 투과하여 휘도 정보를 취득하는 데 적합하기 때문이다. 휘도 정보를 취득하는 데에는 녹색 화소도 이용할 수 있어, 도 2에서는 백색 화소와 녹색 화소를 대각선으로 배치하게 된다. 이에 의해, 모든 행 및 열에 대하여 균등하게 휘도 정보를 검출할 수 있고, 휘도 해상도의 향상이 도모된다.
또한, 도 2의 화소 블록이 W 화소 이외에 RGB 화소를 갖는 이유는, RGB는 원색이며, 보색(황색, 시안, 마젠타)의 화소보다도 색 재현성이 우수하고, 또한 RGB는 신호 처리의 처리 프로시저를 간략화하기 때문이다.
여기서, W 화소는, 예를 들어, 제1 화소에 대응하고, G 화소, R 화소 및 B 화소는, 예를 들어, 제2 내지 제4 화소에 각각 대응한다.
도 3은 색 필터의 투과율을 나타내는 그래프이고, 도 4는 각 색의 색 필터가 부착된 각 화소의 감도를 나타내는 그래프이다. 도 3에 나타낸 바와 같이, 백색 W의 필터는 전체 가시광 파장 영역(약 400 내지 700nm)의 광에 대하여 95%이상의 투과율을 갖는다. 녹색 G의 색 필터는 약 500 내지 550nm의 광에 대하여 높은 투과율을 갖는다. 적색 R의 색 필터는 약 600 내지 700nm의 가시광 파장 영역의 광에 대하여 높은 투과율을 갖는다. 청색 B의 색 필터는 약 450 내지 490nm의 가시광 파장 영역의 광에 대하여 높은 투과율을 갖는다.
도 4에 나타낸 바와 같이, 감도는 투과율의 특성과 유사한 특성을 갖고 있어, 백색 W의 화소는 전체 가시광 파장 영역에 대하여 높은 감도를 갖고, RGB 각각의 하나의 화소의 감도의 약 2배가 되는 감도를 갖게 된다.
또한, 청색 B와 녹색 G의 교차점(crosspoint)(광 스펙트럼이 서로 교차하는 점의 투과율)과 녹색 G와 적색 R의 교차점이 최대값의 대략 50%가 되도록 색 필터를 설계하는 경우, 후술하는 바와 같이, 백색 W로부터 색 신호를 추출할 때에, 백색 W로부터 추출된 녹색 G의 광 스펙트럼은 형상적으로 녹색 G 단독의 광 스펙트럼과 거의 유사할 수 있다. 교차점이 40 내지 60%의 값의 범위 내이면, 양호한 색 재현성을 얻을 수 있고, 30 내지 70%의 범위 내에서는 실용적인 레벨의 색 재현성이 얻어진다.
도 5는 도 2의 총 4개의 화소 블록을 종횡으로 배치한 일례를 나타내는 도면이다. 또한, 도 6a는 행 방향으로 인접하는 3개 화소에 대한 단면 구조를 개략적으로 나타낸 단면도이다. 도 6a에 나타낸 바와 같이, 각 화소는 반도체 기판(11) 상에 형성되는 광전 변환 소자(12)와, 그 위에 층간 절연막(13)을 개재하여 형성되는 색 필터(14)와, 그 위에 형성되는 마이크로 렌즈(15)를 갖는다. 층간 절연막(13)의 내부에는, 인접 화소의 광을 차단하기 위한 차광막(16)이 형성되어 있다.
광전 변환 소자(12)는 근적외선 파장 영역까지 감도가 있기 때문에, 근적외선 광(예를 들어, 650nm 이상)을 차단(cut off)하지 않으면, 색 재현성이 악화된다. 예를 들어, 순수한 녹색 광과 근적외선 광을 방출하는(반사하는) 피사체를 촬상하는 경우, G 화소에 있어서 녹색 광을 검출하고, R 화소에 있어서 근적외선 광을 검출하여, 피사체를 순수한 녹색 (R:G:B)= (0:1:0)으로서 검출할 수 없게 된다.
따라서, 예를 들어, 650nm 이상의 광을 차단하기 위한 적외선 커트 필터를 고체 촬상 소자와 피사체 사이, 혹은 고체 촬상 소자와 렌즈 사이에 제공하여, 가시광 파장만을 고체 촬상 소자에 입사시킬 수 있다. 다른 대안으로서, 도 6b의 단면도에 나타낸 바와 같이, 색 필터 위에 적외선 커트 필터(17)를 배치할 수 있다. 도 6b의 경우, 백색 화소에 대해서는 적외선 커트 필터(17)를 제공하지 않고 있다. 그 이유는 백색 화소가 휘도 정보를 취득하기 위해서 제공되어 있어, 적외선 커트 필터(17) 없이 낮은 조도 측의 휘도 정보를 보다 확실하게 취득할 수 있기 때문이다.
도 7은 RGB의 화소의 각각에는 적외선 커트 필터(17)를 제공하고, 백색 화소(이하, W 화소)에는 적외선 커트 필터(17)를 제공하지 않은 경우의 각 화소의 통과 파장 영역과 투과율과의 관계를 나타내는 그래프이다. 도시된 바와 같이, W 화소는 광전 변환 소자의 기판 재료인 실리콘이 광전 변환을 행할 수 있는 파장(약 1.1μm의 근적외선)의 광선까지 흡수할 수 있다. W 화소는 특히 낮은 조도의 피사체를 촬상하는 경우에 유리하고, 근적외선 카메라로서도 사용될 수 있다.
W 화소에 의해 출력되는 신호값 W는 범용의 영상 신호인 RGB 값으로서 직접 사용될 수 없다. 따라서, W 화소의 백색 화소값 W를 RGB의 3색 화소값으로 색 분리할 필요가 있다. 이하, 색 분리에 대한 처리(이하, 색 분리 처리)에 대해서 설명한다.
도 8은 도 2의 복수의 2행 2열의 화소 블록을 종횡으로 배치한 일례를 나타내는 도면이다. 이하에서는, 도 8에 굵은 선으로 나타낸 바와 같이, W 화소 주위의 3행 3열의 화소 블록을 기본 단위라고 규정한다. 도 8은 색 분리 처리의 설명을 명확하게 하기 위한 일례이며, 실제의 화소 블록의 기본 단위는 3행 3열에 한정되는 것이 아니다.
색 분리 처리는 W 화소 주위의 RGB 화소를 사용하여 이하의 수학식 1 내지 수학식 3에 따라 행해진다.
[수학식 1]
Rw←W?K1
[수학식 2]
Gw←W?K2
[수학식 3]
Bw←W?K3
여기서, K1, K2, K3는 대상 W 화소의 주위의 RGB 화소로부터 얻어지는 색 비율을 나타내고, 예를 들어, 이하의 수학식 4 내지 수학식 6으로 나타내진다.
[수학식 4]
Figure 112010000644571-pct00001
[수학식 5]
Figure 112010000644571-pct00002
[수학식 6]
Figure 112010000644571-pct00003
여기서, Raverage, Gaverage, 및 Baverage는 대상 W 화소의 주위의 복수의 화소의 색 화소값 RGB의 평균이며, 예를 들어, 화소 블록 내에 존재하는 2개의 적색 화소의 평균 색 화소값, 4개의 녹색 화소의 평균 색 화소값, 2개 청색 화소의 평균 색 화소값이다.
도 8에 나타낸 바와 같이, W 화소 주위의 3행 3열의 화소 블록 내의 색 비율K1, K2, K3을 계산하고, 이 색 비율에 W 화소 자신의 휘도값(백색 화소값 W)을 곱셈한다. 이런 방식으로, 휘도 해상도를 열화시키지 않고 W 화소를 색 분리하고, 도 9에 나타낸 바와 같이, W 화소의 위치에 RGB 화소값 Rw, Gw, Bw를 새로이 생성한다.
색 분리 처리에 있어서는, 인접하는 행의 색 화소값을 참조하여, 행을 바꿔서(crossing over) 계산을 행하게 된다. 따라서, 라인 메모리에 2행에 대한 색 화소값을 일시적으로 저장하고, 화소 블록 내의 마지막 행을 판독하는 시점에, 라인 메모리에 저장된 나머지 2행에 대한 색 화소값을 판독하여 전술된 수학식 1 내지 수학식 3의 계산을 행한다.
여기서, 예를 들어, 화소 블록 내의 색 화소값이, W=200이고 (Raverage, Gaverage, Baverage)=(80, 100, 70)의 경우에는, 수학식 1 내지 수학식 6에 따라 (Rw, Gw, Bw)= (64, 80, 56)이 된다.
이런 방식으로, 백색 화소값 W를 색 화소값 Rw, Gw, Bw로 변환하면, 평균 색 화소값 Raverage, Gaverage, Baverage에 대하여 (64+80+56)/(80+100+70)=4/5배가 된다. 따라서, 그 역수 5/4를 상수로서, 수학식 1 내지 수학식 3의 각각의 우변에 곱셈한 값이 최종적인 색 화소값 Rw, Gw, Bw이 될 수 있다.
색 변환 데이터 Rw, Gw, Bw는, 원래 높은 SN비를 갖는 백색 화소값 W와, 평균화에 의해 향상된 SN비를 갖는 색 화소값을 사용한 승산과 제산만으로 얻어질 수 있으며, 생성된 색 화소값의 SN비는 R, G, B의 단색 화소값의 SN비보다도 높아진다.
또한, 상술한 바와 같이, 화소 블록은 3행 3열에 한정되지 않는다. 예를 들어, 도 10은 W 화소 주위의 5행 7열의 화소 블록의 일례를 나타내는 도면이다. 색 분리 처리를 행하는 데 사용되는 전술된 라인 메모리의 용량은 화소 블록의 행수에 의존하고, 행수의 증가에 따라 라인 메모리의 용량이 증가한다. 따라서, 화소 블록의 행수를 극단적으로 증가시키는 것은 바람직하지 않다.
색 분리 처리를 종료하면, 색 보간 처리를 행한다. 이 색 보간 처리에서는, 예를 들어, 도 11에 나타낸 바와 같이, 화소 블록 내의 모든 R 화소와 Rw 화소의 평균값 R'을 계산한다. 마찬가지 방식으로, 화소 블록 내의 모든 G 화소와 Gw 화소의 평균값 G'을 계산하고, 화소 블록 내의 모든 B 화소와 Bw 화소의 평균값 B'을 계산한다. 도 11에 나타낸 바와 같이, 계산된 화소 평균값 R', G', B'는 화소 블록의 중심 화소(신호 처리 대상이 되는 화소)의 색 화소값으로서 간주된다.
이 색 보간 처리에서는, W 화소를 포함하는 화소 블록의 화소 배열을 베이어 배열과 마찬가지 방식으로 취급하고, 신호 처리 대상이 되는 화소의 주위의 화소의 색 화소값을 사용하여, 신호 처리 대상이 되는 화소의 색 화소값을 보정한다. 이에 의해, 모든 화소 주위의 3행 3열의 화소 블록 내의 3색 화소값 RGB와 색 분리 화소값 Rw, Gw, Bw를 평균화하여, 모든 화소에 대하여, 최종적인 색 화소값 R', G', B'를 결정한다.
전술된 처리를 반복하여, 모든 화소 위치에 대해서, 3색의 색 화소값 R', G', B'를 생성하게 된다. 이들 색 화소값 R', B'는, 베이어 배열과 비교해서 2배의 화소수의 R 화소값과 B 화소값을 기초로 한 색 보간에 의해 얻어지며, SN비가 종래의 2배정도까지 향상된다.
전술된 색 분리 처리는, 3행 3열의 화소 블록 내의 색상(색 비율 K1 내지 K3)이 균일하다고 하는 가정 아래에서 행해진다. 하지만, 이 가정은, 3행 3열보다도 높은 공간 주파수에서 피사체를 촬상하는 경우, 즉 화소 블록 중에 에지가 포함되는 경우, 성립되지 않는다.
예를 들어, 도 8에 있어서 중앙에 W 화소를 포함하는 행이 높은 휘도를 갖는 순수한 백색 라인에 대응하고, 이 행 이외의 영역의 휘도가 제로인 피사체를 촬상하는 경우에, 상기 수학식 1 내지 수학식 6에 따라 단순히 우직하게 색 분리 처리를 행하면, G, R 화소의 출력값이 상당히 낮아지고, 반면에 W, B 화소의 출력값은 상당히 높아진다. 이 경우, K1 내지 K3 중 K3(청색의 비율)만이 큰 값을 취하고, K1, K2는 제로에 가까운 값을 취한다.
즉, 색 분리 처리에 있어서, 3행 3열보다도 높은 공간 주파수의 피사체의 촬상 데이터에 대해서는, 실제의 피사체의 색과는 다른 색의 에일리어싱이 계산된다.
이 문제점을 해결하기 위해서, 본 실시예에서는 높은 공간 주파수의 화소 영역을 검출하기 위한 에지 판정부를 제공한다.
도 12는 본 실시예에 따른 신호 처리 회로(6)의 내부 구성을 도시하는 블록도이다. 도시된 바와 같이, 신호 처리 회로(6)는 전술된 수학식 1 내지 수학식 6 에 따른 색 분리 처리를 행하기 위한 색 분리 처리부(11)와, 색 분리 후의 색 화소값을 평균화하여 최종적인 색 화소값을 결정하기 위한 색 보간 처리부(12)를 갖고, 이 외에 신호 처리 회로(6)는 높은 공간 주파수의 화소인지의 여부, 즉 화소 영역이 에지를 갖고 있는가의 여부를 판정하기 위한 에지 판정부(20)도 갖는다. 색 분리 처리부(11), 색 보간 처리부(12) 및 에지 판정부(20)는 복수의 화소로 이루어지는 화소 블록에 기초하여 처리를 행하고, 각 부에는, 1개 화소 블록의 색 화소값을 저장하기 위한 메모리가 제공된다.
본 실시예의 신호 처리 회로(6)에서는, 에지 판정부(20)에 의해 에지가 존재하는지의 여부를 판정하여 이에 따라 색 분리 처리부(11)에서의 처리 내용을 변경한다.
도 13은 제1 실시예에 있어서 도 12과 같이 구성되는 신호 처리부의 처리 동작을 나타내는 흐름도이다. 도 14a 내지 도 14d는 에지 판정에 사용되는 화소 라인을 설명하는 도면이다.
우선, 도 14a의 굵은 선으로 나타낸 바와 같이, 중앙에 W 화소가 위치하는 3행 5열의 화소 블록에 기초하여, 각 화소 블록 내의 RGB의 색 화소값 C=(C1, C2, C3)와 백색 화소값 W를 취득한다(스텝 S1). 화소 블록 내의 중앙의 W 화소가 신호 처리 대상이 되는 화소이다.
그 후, 도 14a에 나타낸 바와 같이, W 화소를 중앙에 포함하는 수직 라인의 3개 화소의 색 화소값의 총합 LineV0과, 상기 수직 라인에 인접하는 양쪽의 수직 라인 각각의 3개 화소의 색 화소값의 총합 LineV1, LineV2를 검출한다. 마찬가지로, 도 14b에 나타낸 바와 같이, W 화소를 중앙에 포함하는 수평 라인의 3개 화소의 색 화소값의 총합 LineH0과, 상기 수평 라인에 인접하는 양쪽의 수평 라인 각각의 3개 화소의 색 화소값의 총합 LineH1, LineH2를 검출한다. 마찬가지로, 도 14c에 나타낸 바와 같이, W 화소를 중앙에 포함하는 우측 대각선의 3개 화소의 색 화소값의 총합 LineD0a과, 상기 우측 대각선에 인접하는 양쪽의 우측 대각선 각각의 3개 화소의 색 화소값의 총합 LineD1, LineD2를 검출한다. 마찬가지로, 도 14d에 나타낸 바와 같이, W 화소를 중앙에 포함하는 좌측 대각선의 3개 화소의 색 화소값의 총합 LineD0b과, 상기 좌측 대각선에 인접하는 양쪽의 좌측 대각선 각각의 3개의 화소의 색 화소값의 총합 LineD3, LineD4를 검출한다(스텝 S2).
그 후, 에지 판정부(20)는 수직 라인, 수평 라인, 우측 대각선, 및 좌측 대각선이 이하의 수학식 7 내지 수학식 10의 조건을 충족시키는지의 여부를 판정한다(스텝 S3).
[수학식 7]
|2×LineV0-(LineV1+LineV2)|>LevNV
[수학식 8]
|2×LineH0-(LineH1+LineH2)|>LevNH
[수학식 9]
|2×LineD0a-(LineD1+LineD2)|>LevNDa
[수학식 10]
|2×LineD0b-(LineD3+LineD4)|>LevNDb
여기서, LevNV는 수직 에지를 검출하기 위한 임계값, LevNH는 수평 에지를 검출하기 위한 임계값, LevNDa는 우측 대각선 에지를 검출하기 위한 임계값, LevNDb는 좌측 대각선 에지를 검출하기 위한 임계값이다.
예를 들어, 수학식 7이 참(true)일 때, 수직 라인의 에지가 존재하는 것으로 판정하여, 플래그 flg=1로 설정한다. 예를 들어, LineV0=100, LineV1=100, LineV2=20, LevNV=50인 경우, 수학식 7은 참이 되고, 에지가 검출되어, flg=1이 된다. 수평 라인, 우측 대각선 및 좌측 대각선의 에지들에 대해서도, 수학식 8 내지 수학식 10이 참일 때에, 에지가 존재하는 것으로 판정하여, 플래그 flg=1로 설정한다.
스텝 S3에서는, 상기 수학식 7 내지 수학식 10의 조건 중 적어도 하나를 충족시키면, 에지가 존재한다고 판정하여, 후술하는 스텝 S5의 처리를 행한다. 수학식 7 내지 수학식 10의 모든 조건이 충족되지 않으면, 에지가 존재하지 않는 것으로 판정하여 후술하는 스텝 S4의 처리를 행한다.
상기 수학식 7은 수직 라인 에지 판정부에 대응하고, 상기 수학식 8은 수평 라인 에지 판정부에 대응하고, 상기 수학식 9는 우측 대각선 에지 판정부에 대응하고, 상기 수학식 10은 좌측 대각선 에지 판정부에 대응한다.
상기 수학식 7 내지 수학식 10에 의해 에지 검출을 행할 수 있다. 비교 대상이 되는 3개 라인 중에서 중앙 라인과 그 양쪽 라인은 화소의 종류에 있어 상이하다. 예를 들어, 수직 라인의 경우에, 도 14a에 나타낸 바와 같이, 중앙 수직 라인은 B 화소와 W 화소로 구성되고, 반면에 중앙 수직 라인의 양쪽의 수직 라인은 G 화소와 R 화소로 구성된다.
전술된 바와 같이, 비교 대상이 화소의 종류에 있어 서로 상이하면, 정확한 에지 검출을 행하는 것이 불가능할 수 있다. 예를 들어, 도 14a의 화소 블록에서 파란 단색의 피사체를 촬상하는 경우, 원래의 피사체가 에지를 갖지 않더라도, 중앙의 수직 라인만이 높은 색 화소값을 출력하여, 수학식 7이 참이 되고, 중앙의 수직 라인이 에지로서 인식된다.
따라서, 도 15a 내지 도 15d에 나타낸 바와 같이, 동일한 종류의 화소로 이루어진 라인들을 서로 비교할 수 있다. 도 15a 내지 도 15d의 경우에, 인접하는 3 개 라인 대신에, 두 라인 사이에 1개의 화소 행을 개재한 3개 라인을 선택하고 있지만, 비교 대상이 되는 3개 라인의 화소의 배열 및 종류는 동일하다. 따라서, 에지 검출의 정밀도가 향상된다.
스텝 S3의 에지 판정 처리의 결과로서, 에지가 존재하지 않는 것으로 판정되면, 색 분리 처리부(11)는 전술된 수학식 1 내지 수학식 6에 따른 색 분리 처리를 화소 블록의 중앙의 W 화소에 대하여 행하고, W 화소값을 RGB의 색 화소값 Rw, Gw, Bw으로 변환한다(스텝 S4).
한편, 스텝 S3의 에지 판정 처리의 결과로서, 에지가 존재하는 것으로 판정되면, 올바른 색 비율을 위해 주위의 화소를 참조할 수 없으므로, 이하의 수학식 11에 따라, W 화소를 G 화소로서 취급한다(단색 화소 계산부, 스텝 S5). W 화소를 G 화소로서 취급하는 이유는 G 화소가 휘도 정보를 얻기 위해서 사용되기 때문이고, W 화소를 R 화소 또는 B 화소로서 취급하지 않음으로써, 에일리어싱의 생성이 억제된다.
[수학식 11]
Gw = aW + b (a, b는 상수)
원래 백색 화소값은 동일한 휘도를 갖는 피사체에 대하여 녹색 화소값의 2배가 되는 높은 화소값을 갖기 때문에, 예를 들어, a=0.5 및 b=0으로 설정함으로써 신호값을 보정한다. 이 경우, 예를 들어, 백색 화소값이 150일 때, Gw=75가 된다. 예를 들어, W 화소와 G 화소에서 암 신호(dark signal)가 다른 경우에, 값 b를 설정한다.
스텝 S5의 처리를 행하기 위한 단색 화소 계산부는 도 12의 색 분리 처리부(11) 내에 제공될 수 있거나, 또는 색 분리 처리부(11)와는 별개로 제공될 수 있다.
전술된 동작으로 인해, 신호 매트릭스는 에지가 존재하는 경우에 베이어 배열과 거의 마찬가지가 되어, 에일리어싱의 생성을 억제하게 된다.
도 13의 스텝 S4 또는 스텝 S5의 처리가 종료되면, 색 보간 처리부(12)는 색 보간 처리를 행한다(스텝 S6). 이 색 보간 처리에서는, 도 11에서 설명한 바와 같이, 화소 블록 내의 모든 G 화소의 색 화소값의 평균과 모든 B 화소의 색 화소값의 평균을 계산하고, 평균화된 G 화소 및 B 화소의 색 화소값을 화소 블록의 중앙의 W 화소의 색 화소값으로 사용한다.
따라서, 제1 실시예에서는, W 화소를 중앙에 포함하는 각 화소 블록에 대하여, W 화소의 주위에 높은 공간 주파수의 피사체가 존재하는지의 여부, 즉 화소 영역이 에지를 갖는지의 여부를 검출하는 에지 판정을 행한다. 에지가 없는 경우에는, 중앙의 W 화소를 3색 화소값으로 색 분리하고, 에지가 있는 경우에는, 중앙의 W 화소를 G 화소로서 취급한다. 이에 의해, 높은 공간 주파수의 피사체로 인해 에일리어싱이 생성되는 문제가 일어나지 않는다.
(제2 실시예)
제2 실시예에서는, 에지 판정에 사용하는 화소 라인의 종류가 제1 실시예와 다르다.
도 14a 내지 도 14d, 또는 도 15a 내지 도 15d에 나타낸 바와 같이, 제1 실시예에 기술된 일례에서는, 화소 블록 내의 에지 검출을 위해 3개 라인이 비교 대상으로서 설정되고, 이들 라인 중에서 중앙 라인이 화소 블록의 중앙에 위치되는 신호 처리 대상이 되는 W 화소를 포함한다.
비교 대상이 되는 화소 라인은 반드시 화소 블록의 중앙에 위치되는 신호 처리 대상이 되는 W 화소를 포함하고 있을 필요는 없다. 따라서, 후술되는 제2 실시예에서는, 중앙의 W 화소에 인접하는 2개 라인을 사용하여 에지 판정을 행한다. 또한, 제2 실시예는 비교 대상이 되는 2개의 화소 라인의 종류가 동일한 것을 특징으로 한다.
도 16은 제2 실시예에 있어서 도 12와 같이 구성되는 신호 처리부(6)의 처리 동작을 나타내는 흐름도이다. 도 17a 내지 도 17d는 에지 판정에 사용하는 화소 라인을 설명하는 도면이다.
우선, 도 13의 스텝 S1과 마찬가지로, 각 화소 블록 내의 RGB의 색 화소값과 백색 화소값을 취득한다(스텝 S11). 다음에, 에지 판정을 위한 2개 라인의 색 화소값의 총합을 검출한다(스텝 S12). 보다 구체적으로는, 도 17a에 나타낸 바와 같이, W 화소에 걸쳐 양쪽의 수직 라인 각각의 3개 화소의 색 화소값의 총합 LineV1, LineV2를 검출하고, 도 17b에 나타낸 바와 같이, W 화소에 걸쳐 양쪽의 수평 라인 각각의 3개 화소의 색 화소값의 총합 LineH1, LineH2를 검출한다. 마찬가지로, 도 17c에 나타낸 바와 같이, W 화소에 걸쳐 양쪽의 우측 대각선 각각의 3개 화소의 색 화소값의 총합 LineD1, LineD2를 검출하고, 도 17d에 나타낸 바와 같이, W 화소에 걸쳐 양쪽의 좌측 대각선 각각의 3개 화소의 색 화소값의 총합 LineD3, LineD4를 검출한다.
다음에, 에지 검출부는 수직 라인, 수평 라인, 우측 대각선, 및 좌측 대각선이 이하의 수학식 12 내지 수학식 15의 조건을 충족하는지의 여부를 판정한다(스텝 S13).
[수학식 12]
|LineV1-LineV2|>LevNV
[수학식 13]
|LineH1-LineH2|>LevNH
[수학식 14]
|LineD1-LineD2|>LevNDa
[수학식 15]
|LineD3-LineD4|>LevNDb
스텝 S13에서는, 상기 수학식 12 내지 수학식 15의 조건 중 적어도 하나를 충족하면, 에지가 존재하는 것으로 판정하고, 상기 수학식 11에 기초하여 중심의 W 화소를 G 화소로서 취급한다(스텝 S15). 한편, 상기 수학식 12 내지 수학식 15의 모든 조건을 충족하지 않으면, 에지가 존재하지 않는 것으로 판정하고, 전술된 수학식 1 내지 수학식 6에 따라 색 분리 처리를 행하여 백색 화소값을 RGB의 색 화소값으로 변환한다(스텝 S14).
스텝 S14 또는 스텝 S15의 처리가 종료되면, 도 13의 스텝 S6의 색 보간 처리와 동일한 색 보간 처리를 행한다(스텝 S16).
전술된 바와 같이, 제2 실시예에서는, 화소 블록 내의 2개 라인의 색 화소값의 비교에 의해 에지 판정을 행하여, 3개 라인의 색 화소값을 비교하는 것보다도 적은 처리량으로 에지 판정을 달성할 수 있다. 또한, 비교 대상이 되는 2개 화소 라인을 구성하는 화소의 종류가 동일하기 때문에, 화소 라인을 에지라고 잘못 판정하는 위험이 없어진다.
(제3 실시예)
제3 실시예에서는, 대상 W 화소의 주위에 에지를 갖지 않는 영역이 검출되면, 이 영역 내에서 색 분리 처리를 행한다.
도 18은 제3 실시예에 따른 신호 처리부(6)의 처리 동작을 나타내는 흐름도이고, 도 19a 내지 도 19c는 에지 판정에 사용되는 화소 라인을 설명하는 도면이다.
우선, W 화소를 중앙에 포함하는 화소 블록 내의 색 화소값을 취득한다(스텝 S21). 다음에, 중앙의 W 화소를 신호 처리 대상이 되는 화소로서 사용하여, 이 W 화소를 포함하는 수직 라인 LineV0의 색 화소값의 총합과, 수직 라인 LineV0의 양쪽에 위치되는 1개 화소를 이격해서 배치되는 2개의 수직 라인 LineV1, LineV2 각각의 색 화소값의 총합과, W 화소를 포함하는 수평 라인 LineH0의 색 화소값의 총합과, 수평 라인 LineH0의 양쪽에 위치되는 1개 화소를 이격해서 배치되는 2개의 수평 라인 LineH1, LineH2 각각의 색 화소값의 총합과, W 화소를 포함하는 우측 대각선 LineD0a의 색 화소값의 총합과, 우측 대각선 LineD0a의 양쪽에 위치되는 1개 화소를 이격해서 배치되는 2개의 우측 대각선 LineD1, LineD2 각각의 색 화소값의 총합과, W 화소를 포함하는 좌측 대각선 LineD0B의 색 화소값의 총합과, 좌측 대각선 LineD0B의 양쪽에 위치되는 1개 화소를 이격해서 배치되는 2개의 좌측 대각선 LineD3, LineD4 각각의 색 화소값의 총합을 계산한다(스텝 S22).
그 후, 에지 판정부(20)는 수직 라인, 수평 라인, 우측 대각선, 및 좌측 대각선이 상기 수학식 7 내지 수학식 10의 조건을 충족하는지의 여부를 판정한다(스텝 S23). 이들 4개 조건 모두를 충족하지 않는 경우에는, 에지가 존재하지 않는 것으로 판정하고, 수학식 1 내지 수학식 6에 따라, 신호 처리 대상이 되는 W 화소를 RGB 화소로 색 분리한다(스텝 S24).
한편, 스텝 S23의 4개 조건 중 적어도 하나를 충족하는 경우, 에지 판정부(20)는 이하의 수학식 16 내지 수학식 19의 조건 중 적어도 하나를 충족하는지를 판정한다(스텝 S25). 수학식 16 및 수학식 17은, 단부의 수직 라인의 색 화소값의 총합과 중앙의 수직 라인의 색 화소값의 총합 간의 차분이 소정의 임계값 LevNH2 미만인가의 여부를 판정하는 조건식이다. 수학식 18 및 수학식 19는, 단부의 수평 라인의 색 화소값의 총합과 중앙의 수평 라인의 색 화소값의 총합 간의 차분이 소정의 임계값 LevNH2 미만인가의 여부를 판정하는 조건식이다.
[수학식 16]
|LineH1-LineH0|<LevNH2
[수학식 17]
|LineH2-LineH0|<LevNH2
[수학식 18]
|LineV1-LineV0|<LevNV2
[수학식 19]
|LineV2-LineV0|<LevNV2
스텝 S25의 처리는 신호 처리 대상이 되는 W 화소의 주위에 에지를 갖지 않는 평활 영역을 검출하기 위해서 행해진다. 예를 들어, 수직 라인들을 비교한 결과로서, LineV1=100, LineV0=90, LineV2=20, 및 LevNV2=30인 경우, 도 19a의 파선으로 둘러싸인 3행 3열의 화소 영역은 에지를 갖지 않는 평활 영역인 것으로 판정된다. 마찬가지로, 수평 라인들을 비교한 결과로서, 도 19b의 파선으로 둘러싸인 3행 3열의 화소 영역은 에지를 갖지 않는 평활 영역인 것으로 판정된다.
이 경우, 도 19a과 도 19b의 파선 영역의 공통 부분인, 도 19c의 2행 2열의 화소 영역이, 최종적으로 에지를 갖지 않는 평활 영역인 것으로 판정된다(스텝 S26). 그리고, 스텝 S24에서는 이 평활 영역에 대하여 색 분리 처리를 행한다.
한편, 상기 수학식 16 내지 수학식 19의 모든 판정이 부정되었을 경우에는, 평활 영역이 존재하지 않고, 정상적인 색 분리 처리가 불가능한 것으로 판정되어, 상기 수학식 11에 기초하여, 신호 처리 대상이 되는 W 화소를 G 화소로서 취급하게 된다(스텝 S27).
전술된 바와 같이, 제3 실시예에서는, 신호 처리 대상이 되는 W 화소의 주위에 에지가 존재할 경우에, W 화소의 주위에 평활 영역이 존재하는지의 여부를 판정한다. 평활 영역이 존재하는 경우에는, 이 평활 영역 내에서 W 화소의 색 분리 처리를 행한다. 결과적으로, 에지가 존재하는 경우라도, 최대한 신뢰성이 있는 색 분리 처리를 행할 수 있고, 색 재현성의 양호한 RGB 화상을 얻을 수 있다.
(제4 실시예)
제4 실시예에서는, 제1 실시예 내지 제3 실시예의 화소 배열과는 다른 화소 배열을 채용하고, 에지 판정에 사용하는 화소 행의 종류 또한 변경한다.
도 20은 제4 실시예에서 사용된 화소 배열을 도시하는 도면이다. 도 20의 화소 배열에서는, W 화소가 지그재그 형상으로 배치되고, 총 화소수의 50%을 차지하고 있다. W 화소 중에서 G, R, B 화소가 25%, 12.5%, 및 12.5%의 비율로 배치되어 있다. R 화소 및 B 화소의 비율이 낮은 이유는, 녹색의 광에 대한 인간의 시감도가 높고, 적색 및 청색에 대한 색 정보가 녹색만큼 요구되지 않기 때문이다.
도 21은 제4 실시예에 따른 신호 처리부(6)의 처리 프로시저를 나타내는 흐름도이다. 제1 내지 제3 실시예에서는, 신호 처리 대상이 W 화소에 한정되었지만, 본 실시예에서는 W 화소뿐만 아니라, RGB의 화소도 신호 처리 대상이 된다. 따라서, 색 화소값을 취득한(스텝 S31) 후에, 신호 처리 대상이 되는 화소(중심 화소)가 W 화소인가의 여부를 판정한다(스텝 S32).
신호 처리 대상이 W 화소이면, 도 13과 마찬가지의 처리를 행한다(스텝 S33 내지 S37). 이 경우, W 화소 주위의 3행 3열의 화소 블록의 색 화소값을 사용하거나, 또는 도 22에 나타낸 바와 같이 5행 5열 또는 5행 7열의 화소 블록 등의 3행 3열의 화소 블록보다도 넓은 범위의 색 화소값을 사용하여, 스텝 S33 내지 S37의 처리를 행할 수 있다.
화소 블록이 클수록 참조 화소수가 많아지고 RGB 화소의 색 화소값의 평균에 포함되는 랜덤 노이즈가 억제되지만, 신호 처리량이 증대한다. 따라서, 노이즈 저감과 신호 처리량의 증대의 균형(trade off)을 감안하여 화소 블록의 사이즈를 선택할 수 있다.
에지가 존재하지 않는 경우에는, 전술된 스텝 S33 내지 S37의 처리에 의해, W 화소를 RGB 화소로 색 분리할 수 있다. 에지가 존재하는 경우에는, W 화소를 G 화소로 대체할 수 있다.
한편, 신호 처리 대상이 W 화소가 아니라 R 화소 또는 B 화소인 경우에는, 이하에 설명하는 스텝 S38 내지 S41의 처리를 행한다. 도 20의 화소 배열의 경우, R 화소와 B 화소의 수는 단지 G 화소의 수의 절반이다. 따라서, 도 23에 도시된 바와 같이, 신호 처리 대상이 되는 B 화소를 포함하는 우측 대각선에는 R 화소가 존재하지 않는다. 우측 대각선을 따라 에지를 갖는 흑색 및 백색 줄무늬 모양의 피사체를 촬상하면, G 화소와 B 화소의 색 화소값이 극도로 커지고, 반드시 검출되어야 할 R 화소의 색 화소값이 출력되지 않게 되어, 강한 에일리어싱의 생성 요인이 된다. 좌측 대각선을 따라 에지를 갖는 피사체를 촬상하는 경우에도 동일하게 적용된다. 또한, 신호 처리 대상이 되는 화소가 R 화소인 경우에도, 동일한 문제가 일어나고, 이 경우에 반드시 검출되어야 할 B 화소의 색 화소값이 출력되지 않게 된다.
따라서, 도 21의 스텝 S38 내지 S41에서는, 신호 처리 대상이 되는 B 화소의 위치에 R 화소를 할당하고, 신호 처리 대상이 되는 R 화소의 위치에 B 화소를 할당하는 보간 처리를 행한다.
우선, 도 24a 및 도 24b에 나타낸 바와 같이, 신호 처리 대상이 되는 B 화소의 양쪽에 인접하는 2개의 우측 대각선 각각의 색 화소값의 총합 LineD5, LineD6과, 신호 처리 대상이 되는 B 화소의 양쪽에 인접하는 2개의 좌측 대각선 각각의 색 화소값의 총합 LineD7, LineD8을 검출한다. 그 후, 이하의 수학식 20 및 수학식 21의 조건 중 적어도 하나를 충족하는지를 판정한다. 조건을 충족하는 경우에는 플래그 "flg"를 "1"로 설정하고, 반면에 조건을 충족하지 않는 경우에는 플래그 "flg"를 "0"으로 설정한다.
[수학식 20]
|LineD5-LineD6|>LevNDc
[수학식 21]
|LineD7-LineD8|>LevNDd
여기서, LevNDc, LevNDd는 소정의 임계값이다. 예를 들어, LineD5=100, LineD6=300, LevNDc=40인 경우에는, 수학식 20의 조건을 충족하여, 플래그 flg=1이 된다. 수학식 20은 우측 대각선 에지 판정부에 대응하고, 수학식 21은 좌측 대각선 에지 판정부에 대응한다.
플래그 flg=1의 경우, 신호 처리 대상이 되는 화소가 B 화소이면, B 화소의 위치에 새로이 R 화소를 설정한다(스텝 S40). 여기에서, 화소 블록 내의 W 화소, G 화소 및 B 화소의 평균값을 구하고, 수학식 22를 따라 감산 처리를 행한다.
[수학식 22]
R1=aWaverage-(bBaverage+cGaverage)
여기서, a, b, c은 각 화소의 감도비에 의해 결정되는 계수이다. 예를 들어, Waverage=150, Baverage=100, Gaverage=100라면, a=1.2, b=0.4, 및 c=0.4일 때, R1=100이 된다.
마찬가지로, 플래그 flg=1의 경우, 신호 처리 대상이 되는 화소가 R 화소이면, 수학식 23에 따라 R 화소의 위치에 새로이 B 화소를 설정한다(스텝 S41).
[수학식 23]
B1=dWaverage-(eBaverage+fGaverage)
스텝 S40 및 S41은 색 추가 처리부에 대응한다. 스텝 S35, S36, S40, S41의 처리가 종료되면, 색 보간 처리를 행한다(스텝 S37).
전술된 바와 같이, 제4 실시예에서, 우측 대각선 방향 및 좌측 대각선 방향으로 3개의 RGB 색 중 2색만이 나타나는 화소 배열을 채용하는 경우, 존재하지 않는 색의 화소를 신호 대상 화소로서 가상적으로 설정하여, 특정한 색 성분만이 강해지는 에일리어싱의 생성을 억제할 수 있고, 만족스러운 SN비를 갖는 RGB 화상을 얻을 수 있다.
1: 화소 어레이
2: 수직 스캐너
3: 노이즈 감산 회로
4: A/D 변환 회로
5: 수평 스캐너
6: 신호 처리 회로
7: 출력

Claims (20)

  1. 고체 촬상 소자로서,
    반도체 기판상에 매트릭스 형상으로 형성되어, 각각이 광전 변환 소자를 갖는 복수의 화소와;
    상기 복수의 화소에서 상기 광전 변환 소자에 의해 획득된 전기 신호를 판독하도록 구성되는 판독 회로와;
    상기 판독 회로로부터 판독된 상기 전기 신호에 대하여 신호 처리를 행하도록 구성되는 신호 처리부를 포함하고,
    상기 복수의 화소는,
    가시광 파장의 입사광을 투명 필름을 통해서 상기 광전 변환 소자에 유도하도록 구성되는 제1 화소와;
    제1 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제1 색 필터를 각기 갖는 복수의 제2 화소와;
    상기 제1 가시광 파장 영역과는 다른 제2 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제2 색 필터를 각기 갖는 복수의 제3 화소와;
    상기 제1 및 제2 가시광 파장 영역과는 다른 제3 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제3 색 필터를 각기 갖는 복수의 제4 화소를 포함하고,
    상기 신호 처리부는, 적어도 상기 제1 화소 내지 상기 제4 화소를 갖는 화소 블록의 단위로 상기 신호 처리를 행하고,
    상기 화소 블록 내의 백색의 상기 제1 화소에 대응하는 백색 화소값, 제1 색의 상기 제2 화소에 대응하는 제1 색 화소값, 제2 색의 상기 제3 화소에 대응하는 제2 색 화소값, 및 제3 색의 상기 제4 화소에 대응하는 제3 색 화소값을 취득하도록 구성되는 색 취득부와;
    상기 화소 블록 내의 상기 신호 처리의 대상 화소인 상기 제1 화소의 주위에 에지가 존재하는지의 여부를 판정하도록 구성되는 에지 판정부와;
    상기 에지 판정부가 상기 대상 화소의 주위에 에지가 존재하지 않는 것으로 판정하는 경우, 상기 제1 화소의 주위의 상기 제1 색 화소값 내지 상기 제3 색 화소값에 기초하여, 상기 제1 화소의 색 비율을 계산하고, 계산된 상기 색 비율과 상기 제1 화소의 상기 백색 화소값을 곱하여 상기 제1 화소를 색 분리해서 상기 제1 화소의 상기 제1 색 화소값 내지 상기 제3 색 화소값을 계산하도록 구성되는 색 분리부와;
    상기 에지 판정부가 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정하는 경우, 상기 색 비율을 구하지 않고 상기 제1 화소를 백색 이외의 다른 단색으로 가정함으로써, 단색 화소값을 계산하도록 구성되는 단색 화소 계산부
    를 포함하는, 고체 촬상 소자.
  2. 제1항에 있어서,
    상기 색 분리부는 이하의 수학식 1 내지 수학식 4에 기초하여, 상기 화소 블록 내의 상기 제1 색 화소값 내지 상기 제3 색 화소값 C1, C2 및 C3을 사용하여 상기 백색 화소값 W을 색 분리하여, 제1 색 화소값 C1W, 제2 색 화소값 C2W 및 제3 색 화소값 C3W을 계산하며, 여기서 m은 1 내지 3의 임의의 변수이고, Km은 신호 강도비로 표현되는 색 비율이며,
    C1W←W?K1 …(수학식 1)
    C2W←W?K2 …(수학식 2)
    C3W←W?K3 …(수학식 3)
    Figure 112011056104237-pct00004
    …(수학식 4) 인, 고체 촬상 소자.
  3. 제1항에 있어서,
    상기 에지 판정부는,
    상기 화소 블록 내의 상기 신호 처리의 백색 대상 화소를 포함하는 수직 라인 상의 복수의 화소의 색 화소값의 총합과, 상기 백색 대상 화소를 포함하는 상기 수직 라인의 양쪽에 배치된 2개의 수직 라인 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제1 기준값을 초과하는지의 여부를 판정하도록 구성되는 수직 라인 에지 판정부와;
    상기 백색 대상 화소를 포함하는 수평 라인 상의 복수의 화소의 색 화소값의 총합과, 상기 백색 대상 화소를 포함하는 상기 수평 라인의 양쪽에 배치된 2개의 수평 라인 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제2 기준값을 초과하는지의 여부를 판정하도록 구성되는 수평 라인 에지 판정부와;
    상기 백색 대상 화소를 포함하는 대각선 상의 복수의 화소의 색 화소값의 총합과, 상기 백색 대상 화소를 포함하는 상기 대각선의 양쪽에 배치된 2개의 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제3 기준값을 초과하는지의 여부를 판정하도록 구성되는 대각선 에지 판정부
    를 포함하고,
    상기 수직 라인 에지 판정부, 상기 수평 라인 에지 판정부 및 상기 대각선 에지 판정부 중 적어도 하나가 상기 제1 기준값 내지 상기 제3 기준값 중 적어도 하나를 초과한 것으로 판정하는 경우, 상기 에지 판정부는 상기 백색 대상 화소의 주위에 에지가 존재하는 것으로 판정하는, 고체 촬상 소자.
  4. 제3항에 있어서,
    상기 대각선 에지 판정부는,
    상기 백색 대상 화소를 포함하는 우측 대각선 상의 복수의 화소의 색 화소값의 총합과, 상기 백색 대상 화소를 포함하는 상기 우측 대각선의 양쪽에 배치된 2개의 우측 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제4 기준값을 초과하는지의 여부를 판정하도록 구성되는 우측 대각선 에지 판정부와;
    상기 백색 대상 화소를 포함하는 좌측 대각선 상의 복수의 화소의 색 화소값의 총합과, 상기 백색 대상 화소를 포함하는 상기 좌측 대각선의 양쪽에 배치된 2개의 좌측 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제5 기준값을 초과하는지의 여부를 판정하도록 구성되는 좌측 대각선 에지 판정부
    를 포함하고,
    상기 수직 라인 에지 판정부, 상기 수평 라인 에지 판정부, 상기 우측 대각선 에지 판정부 및 상기 좌측 대각선 에지 판정부 중 적어도 하나가 상기 제1 기준값, 상기 제2 기준값, 상기 제4 기준값 및 상기 제5 기준값 중 적어도 하나를 초과한 것으로 판정하는 경우, 상기 에지 판정부는 상기 백색 대상 화소의 주위에 에지가 존재하는 것으로 판정하는, 고체 촬상 소자.
  5. 제1항에 있어서,
    수직 라인 에지 판정부에 의해 사용되는 3개의 수직 라인은 인접하여 배치되거나, 1개 화소의 간격으로 각각 배치되고;
    수평 라인 에지 판정부에 의해 사용되는 3개의 수평 라인은 인접하여 배치되거나, 1개 화소의 간격으로 각각 배치되고;
    대각선 에지 판정부에 의해 사용되는 3개의 대각선은 인접하여 배치되거나, 1개 화소의 간격으로 각각 배치되는, 고체 촬상 소자.
  6. 제5항에 있어서,
    상기 수직 라인 에지 판정부에 의해 사용되는 3개의 수직 라인은 1개 화소의 간격으로 각각 배치되고, 각 수직 라인 상의 화소 종류 및 화소 시퀀스는 동일하며;
    상기 수평 라인 에지 판정부에 의해 사용되는 3개의 수평 라인은 1개 화소의 간격으로 각각 배치되고, 각 수평 라인 상의 화소 종류 및 화소 시퀀스는 동일하며,
    상기 대각선 에지 판정부에 의해 사용되는 3개의 대각선은 1개 화소의 간격으로 각각 배치되고, 각 대각선 상의 화소 종류 및 화소 시퀀스는 동일한, 고체 촬상 소자.
  7. 제1항에 있어서,
    상기 에지 판정부는,
    상기 화소 블록 내의 신호 처리의 백색 대상 화소를 포함하는 수직 라인의 양쪽에 배치된 2개의 수직 라인 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제1 기준값을 초과하는지의 여부를 판정하도록 구성되는 수직 라인 에지 판정부와;
    상기 화소 블록 내의 상기 백색 대상 화소를 포함하는 수평 라인의 양쪽에 배치된 2개의 수평 라인 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제2 기준값을 초과하는지의 여부를 판정하도록 구성되는 수평 라인 에지 판정부와;
    상기 화소 블록 내의 상기 백색 대상 화소를 포함하는 대각선의 양쪽에 배치된 2개의 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제3 기준값을 초과하는지의 여부를 판정하도록 구성되는 대각선 에지 판정부
    를 포함하고,
    상기 수직 라인 에지 판정부, 상기 수평 라인 에지 판정부 및 상기 대각선 에지 판정부 중 적어도 하나가 상기 제1 기준값 내지 상기 제3 기준값 중 적어도 하나를 초과한 것으로 판정하는 경우, 상기 에지 판정부는 상기 백색 대상 화소의 주위에 에지가 존재하는 것으로 판정하는, 고체 촬상 소자.
  8. 제7항에 있어서,
    상기 대각선 에지 판정부는,
    상기 화소 블록 내의 상기 백색 대상 화소를 포함하는 우측 대각선의 양쪽에 배치된 2개의 우측 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제4 기준값을 초과하는지의 여부를 판정하도록 구성되는 우측 대각선 에지 판정부와;
    상기 화소 블록 내의 상기 백색 대상 화소를 포함하는 좌측 대각선의 양쪽에 배치된 2개의 좌측 대각선 상의 복수의 화소의 색 화소값의 총합 간의 차분이 제5 기준값을 초과하는지의 여부를 판정하도록 구성되는 좌측 대각선 에지 판정부
    를 포함하고,
    상기 수직 라인 에지 판정부, 상기 수평 라인 에지 판정부, 상기 우측 대각선 에지 판정부 및 상기 좌측 대각선 에지 판정부 중 적어도 하나가 상기 제1 기준값, 상기 제2 기준값, 상기 제4 기준값 및 상기 제5 기준값 중 적어도 하나를 초과한 것으로 판정하는 경우, 상기 에지 판정부는 상기 백색 대상 화소의 주위에 에지가 존재하는 것으로 판정하는,고체 촬상 소자.
  9. 제1항에 있어서,
    상기 색 분리부는 신호 처리의 백색 대상 화소의 화소값을 녹색 화소값으로 변환하는, 고체 촬상 소자.
  10. 제1항에 있어서,
    상기 색 분리부에 의해 생성된 상기 제1 색 화소값 내지 상기 제3 색 화소값을 사용하여, 상기 백색 화소의 주위의 색 화소값을 조정하도록 구성되는 보간 처리부를 더 포함하는, 고체 촬상 소자.
  11. 제10항에 있어서,
    상기 보간 처리부는, 상기 화소 블록 내의 화소 배열이 베이어(Bayer) 배열이 되도록, 상기 색 분리부에 의해 생성된 상기 제1 색 화소값 내지 상기 제3 색 화소값을 사용하여, 상기 백색 화소의 주위의 화소의 색 화소값을 조정하는, 고체 촬상 소자.
  12. 제2항에 있어서,
    상기 에지 판정부는 신호 처리의 백색 대상 화소를 포함하는 상기 화소 블록 내에서 상기 백색 화소를 포함하며 에지가 존재하지 않는 화소 영역을 특정하고;
    상기 색 분리부는 상기 에지 판정부에 의해 특정된 상기 화소 영역 내에 존재하는 상기 제1 색 화소값 내지 제3 색 화소값 C1, C2 및 C3을 사용하여, 상기 수학식 1 내지 상기 수학식 4에 기초하여 상기 백색 화소값을 색 분리하여, 상기 제1 색 화소값 내지 상기 제3 색 화소값 C1W, C2W, C3W를 계산하는, 고체 촬상 소자.
  13. 고체 촬상 소자로서,
    반도체 기판상에 매트릭스 형상으로 형성되어, 각각이 광전 변환 소자를 갖는 복수의 화소와;
    상기 복수의 화소에서 상기 광전 변환 소자에 의해 획득된 전기 신호를 판독하도록 구성되는 판독 회로와;
    상기 판독 회로로부터 판독된 상기 전기 신호에 대하여 신호 처리를 행하도록 구성되는 신호 처리부를 포함하고,
    상기 복수의 화소는,
    가시광 파장의 입사광을 투명 필름을 통해서 상기 광전 변환 소자에 유도하도록 구성되는 제1 화소와;
    제1 가시광 파장 영역에 대하여 다른 가시광 파장 영역보다도 높은 투과율을 갖는 제1 색 필터를 각기 갖는 복수의 제2 화소와;
    상기 제1 가시광 파장 영역과는 다른 제2 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제2 색 필터를 각기 갖는 복수의 제3 화소와;
    상기 제1 및 제2 가시광 파장 영역과는 다른 제3 가시광 파장 영역에 대하여 다른 가시광 파장 영역의 투과율보다도 높은 투과율을 갖는 제3 색 필터를 각기 갖는 복수의 제4 화소를 포함하고,
    상기 신호 처리부는, 적어도 상기 제1 화소 내지 상기 제4 화소를 갖는 화소 블록의 단위로 상기 신호 처리를 행하고,
    상기 화소 블록 내의 백색의 상기 제1 화소에 대응하는 백색 화소값, 제1 색의 상기 제2 화소에 대응하는 제1 색 화소값, 제2 색의 상기 제3 화소에 대응하는 제2 색 화소값, 및 제3 색의 상기 제4 화소에 대응하는 제3 색 화소값을 취득하도록 구성되는 색 취득부와;
    상기 화소 블록 내의 신호 처리의 대상 화소인 상기 제3 화소 또는 상기 제4 화소의 주위에 에지가 존재하는지의 여부를 판정하도록 구성되는 에지 판정부와;
    상기 대상 화소의 주위에 에지가 존재하지 않는 것으로 판정되는 경우, 상기 대상 화소의 색 화소값을 변경하지 않고 출력하고, 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정되는 경우, 상기 대상 화소가 상기 제3 화소이면 상기 대상 화소의 색 화소값에 상기 제3 색 화소값을 추가하거나, 상기 대상 화소가 상기 제4 화소이면 상기 대상 화소의 색 화소값에 상기 제2 색 화소값을 추가하도록 구성되는 색 추가 처리부
    를 포함하는, 고체 촬상 소자.
  14. 제13항에 있어서,
    상기 제2 화소에 대응하는 상기 제1 색은 녹색이고, 상기 제3 화소 및 상기 제4 화소에 대응하는 상기 제2 색 및 상기 제3 색 중 한쪽은 적색이고, 다른 쪽은 청색이며;
    상기 화소 블록 내의 상기 제3 화소 및 상기 제4 화소의 비율은 상기 화소 블록 내의 상기 제2 화소의 비율보다도 작고;
    상기 화소 블록 내의 상기 제2 화소의 비율은 상기 화소 블록 내의 상기 제1 화소의 비율보다도 작은, 고체 촬상 소자.
  15. 제14항에 있어서,
    상기 에지 판정부는, 상기 대상 화소를 끼워서 양쪽의 2개의 대각선 상의 색 화소값의 총합 간의 차분이 소정의 임계값을 초과하는 경우, 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정하는, 고체 촬상 소자.
  16. 제15항에 있어서,
    상기 에지 판정부는,
    상기 대상 화소를 끼워서 양쪽의 2개의 우측 대각선 상의 색 화소값의 총합 간의 차분이 소정의 임계값을 초과하는지의 여부를 판정하도록 구성되는 우측 대각선 에지 판정부와;
    상기 대상 화소를 끼워서 양쪽의 2개의 좌측 대각선 상의 색 화소값의 총합 간의 차분이 소정의 임계값을 초과하는지의 여부를 판정하도록 구성되는 좌측 대각선 에지 판정부
    를 포함하고,
    상기 우측 대각선 에지 판정부 및 상기 좌측 대각선 에지 판정부 중 적어도 하나가 상기 임계값을 초과한 것으로 판정하는 경우, 상기 에지 판정부는 상기 대상 화소의 주위에 에지가 존재하는 것으로 판정하는, 고체 촬상 소자.
  17. 제1항에 있어서,
    상기 화소 블록은 인접하여 배치된 2행 2열의 상기 제1 화소 내지 상기 제4 화소를 포함하고;
    상기 화소 블록 내의 상기 제1 화소 및 상기 제2 화소는 대각선으로 배치되는, 고체 촬상 소자.
  18. 제13항에 있어서,
    상기 화소 블록은 지그재그 형상으로 배치되는 상기 제1 화소와, 상기 제1 화소들 사이에 2:1:1의 비율로 배치되는 상기 제2 화소, 상기 제3 화소 및 상기 제4 화소를 갖는, 고체 촬상 소자.
  19. 제1항에 있어서,
    상기 신호 처리부는 상기 복수의 화소와 상기 판독 회로가 형성되는 상기 반도체 기판과는 다른 반도체 기판상에 형성되고;
    상기 판독 회로의 출력이 상기 신호 처리부에 입력되는, 고체 촬상 소자.
  20. 제13항에 있어서,
    상기 신호 처리부는 상기 복수의 화소와 상기 판독 회로가 형성되는 상기 반도체 기판과는 다른 반도체 기판상에 형성되고;
    상기 판독 회로의 출력이 상기 신호 처리부에 입력되는, 고체 촬상 소자.
KR1020107000204A 2007-06-06 2008-06-05 고체 촬상 소자 KR101130023B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2007-150608 2007-06-06
JP2007150608A JP2008306379A (ja) 2007-06-06 2007-06-06 固体撮像素子
PCT/JP2008/060725 WO2008150021A1 (en) 2007-06-06 2008-06-05 Solid-state image sensing device

Publications (2)

Publication Number Publication Date
KR20100018042A KR20100018042A (ko) 2010-02-16
KR101130023B1 true KR101130023B1 (ko) 2012-03-26

Family

ID=39684280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107000204A KR101130023B1 (ko) 2007-06-06 2008-06-05 고체 촬상 소자

Country Status (6)

Country Link
US (1) US8045033B2 (ko)
EP (1) EP2153665A1 (ko)
JP (1) JP2008306379A (ko)
KR (1) KR101130023B1 (ko)
CN (1) CN101690242B (ko)
WO (1) WO2008150021A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP2012513694A (ja) * 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるｃｍｏｓ撮像装置
US8492699B2 (en) * 2009-09-22 2013-07-23 Intersil Americas Inc. Photodetectors useful as ambient light sensors having an optical filter rejecting a portion of infrared light
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
US8345117B2 (en) * 2010-06-30 2013-01-01 Hand Held Products, Inc. Terminal outputting monochrome image data and color image data
JP5378626B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5713816B2 (ja) 2011-03-16 2015-05-07 株式会社東芝 固体撮像装置及びカメラモジュール
US9570492B2 (en) * 2011-03-25 2017-02-14 Pixart Imaging Inc. Pixel array of image sensor and method of fabricating the same
BR112014023256A8 (pt) * 2012-03-27 2017-07-25 Sony Corp Aparelho e método de processamento de imagem, e, dispositivo de formação de imagem, e, programa
DE112013003422B4 (de) * 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
EP2700920B1 (en) 2012-08-23 2016-06-22 ams AG Light sensor system and method for processing light sensor signals
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US8779542B2 (en) 2012-11-21 2014-07-15 Intersil Americas LLC Photodetectors useful as ambient light sensors and methods for use in manufacturing the same
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
KR20150112002A (ko) 2013-03-14 2015-10-06 후지필름 가부시키가이샤 고체 촬상 소자 및 그 제조 방법, 적외광 커트필터 형성용 경화성 조성물, 카메라 모듈
WO2015008383A1 (ja) * 2013-07-19 2015-01-22 日立マクセル株式会社 撮像装置
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US10680022B2 (en) * 2013-12-12 2020-06-09 Sony Corporation Solid state imaging device, manufacturing method of the same, and electronic equipment
JP6276581B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
EP3043159B1 (en) 2015-01-08 2019-12-18 ams AG Method for processing light sensor signals and light sensor system
KR102410028B1 (ko) * 2015-06-24 2022-06-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
TWI571856B (zh) * 2016-01-08 2017-02-21 友達光電股份有限公司 顯示方法
JP6758859B2 (ja) * 2016-03-01 2020-09-23 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
DE102016212797A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Lichtsensormodul, Verfahren zum Betreiben eines Lichtsensormoduls und Verfahren zum Herstellen eines Lichtsensormoduls
JP2018082259A (ja) * 2016-11-15 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理回路、及び、電子機器
JP6953297B2 (ja) * 2017-12-08 2021-10-27 キヤノン株式会社 撮像装置及び撮像システム
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
KR20220036014A (ko) * 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템
KR20220132069A (ko) 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369212A (ja) * 2001-03-07 2002-12-20 Eastman Kodak Co カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
JP3699873B2 (ja) * 1999-10-27 2005-09-28 オリンパス株式会社 画像処理装置
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US7031515B2 (en) * 2002-07-19 2006-04-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4253634B2 (ja) * 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4692115B2 (ja) * 2005-07-11 2011-06-01 ソニー株式会社 画像処理装置および撮像装置
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369212A (ja) * 2001-03-07 2002-12-20 Eastman Kodak Co カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20040169747A1 (en) 2003-01-14 2004-09-02 Sony Corporation Image processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
CN101690242A (zh) 2010-03-31
US8045033B2 (en) 2011-10-25
JP2008306379A (ja) 2008-12-18
CN101690242B (zh) 2013-03-27
WO2008150021A1 (en) 2008-12-11
US20100231770A1 (en) 2010-09-16
EP2153665A1 (en) 2010-02-17
KR20100018042A (ko) 2010-02-16

Similar Documents

Publication Publication Date Title
KR101130023B1 (ko) 고체 촬상 소자
KR101012537B1 (ko) 고체 이미지 센서
EP1969558B1 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US7400332B2 (en) Hexagonal color pixel structure with white pixels
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
JP5872408B2 (ja) カラー撮像装置及び画像処理方法
US8723995B2 (en) Extended dynamic range in color imagers
US7745779B2 (en) Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8228407B2 (en) Solid-state image pickup device
US8922683B2 (en) Color imaging element and imaging apparatus
US20130308022A1 (en) Mosaic image processing method
US9159758B2 (en) Color imaging element and imaging device
US20070057954A1 (en) Image input device and solid-state image pickup element
US9184196B2 (en) Color imaging element and imaging device
US9324749B2 (en) Color imaging element and imaging device
JP5702895B2 (ja) カラー撮像素子および撮像装置
US8704925B2 (en) Image sensing apparatus including a single-plate image sensor having five or more brands
EP2784820A1 (en) Solid state imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee