KR20100086510A - 고체 촬상 소자 및 그것을 이용한 촬상 장치 - Google Patents

고체 촬상 소자 및 그것을 이용한 촬상 장치 Download PDF

Info

Publication number
KR20100086510A
KR20100086510A KR1020107014658A KR20107014658A KR20100086510A KR 20100086510 A KR20100086510 A KR 20100086510A KR 1020107014658 A KR1020107014658 A KR 1020107014658A KR 20107014658 A KR20107014658 A KR 20107014658A KR 20100086510 A KR20100086510 A KR 20100086510A
Authority
KR
South Korea
Prior art keywords
output
image
solid
imaging device
signal
Prior art date
Application number
KR1020107014658A
Other languages
English (en)
Other versions
KR101011833B1 (ko
Inventor
야스히로 사와다
다케히로 미나토
다카시 마스다
Original Assignee
어큐트로직 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어큐트로직 가부시키가이샤 filed Critical 어큐트로직 가부시키가이샤
Publication of KR20100086510A publication Critical patent/KR20100086510A/ko
Application granted granted Critical
Publication of KR101011833B1 publication Critical patent/KR101011833B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 센서로부터 화상 데이터를 출력할 때에, 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있는 고체 촬상 소자 및 그것을 이용한 촬상 장치를 제공하는 것을 목적으로 한다. 복수의 광전 변환 소자에는, 각각, 상이한 색 성분의 광을 투과하는 컬러 필터가 구비되고, 상기 복수의 컬러 필터가, 복수 색을 1단위로 하여 주기적으로 배열된 고체 촬상 소자로서, A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비하고, 또한, 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심이, 각각, 등간격인 것을 특징으로 한다.

Description

고체 촬상 소자 및 그것을 이용한 촬상 장치{SOLID-STATE IMAGING ELEMENT AND IMAGING DEVICE USING THE SAME}
본 발명은, 단판식 컬러 이미지 센서에 관한 것으로, 특히, 고해상도의 화상 신호를 고속으로 출력할 수 있으며, 정지화상(靜止畵像) 및 동화상 표시에 겸용 가능한 단판식 컬러 이미지 센서 및 그것을 이용한 촬상 장치에 관한 것이다.
종래, 디지털 카메라 등의 촬상 장치에 있어서, 렌즈를 통해 촬상 소자에 피사체상을 결상하고, 이 촬상 소자에 의해 피사체상을 광전 변환하여 화상 신호를 생성하는 화상 처리 방법이 알려져 있다.
또, 최근, 디지털 카메라 등의 촬상 장치에 있어서, 정지화상 촬영에 더하여 동화상 촬영 기능의 탑재가 보급되어 있다. 또한, 비디오 카메라에서도, 고해상도의 정지화상 촬영 기능에 대한 요구가 높아지고 있다. 그리고, 이들 디지털 카메라나 비디오 카메라 등의 촬상 장치에서는, 정지화상의 고화소 촬영이 요구되는 한편으로, 동화상 촬영에 있어서도, 하이비전 등, 정밀도가 높은 화상이 요구되고 있다.
또, 이러한 정지화상과 동화상 겸용의 촬상 장치에서는, 일반적으로, 정지화상 촬영 시에는 전체 화소를 독출하여 정밀도가 높은 화상을 생성하지만, 동화상 촬영 시에는 고속 독출이나 소비 전력의 저감을 위해, 전체 화소의 신호를 독출하는 것이 아니라, 한정된 화소수를 독출하여 화상을 생성한다.
예를 들면, 정지화상의 화상 촬영의 요구에 의해 8M픽셀의 이미지 센서(이른바, 고체 촬상 소자이다)가 사용되고 있다. 이 때, 각 화소의 심도를 12bit로 하면, 1화면 출력하기 위해, 8Mpixel*12bit/pix=96Mbit의 정보를, 이미지 센서(이른바, 본 발명의 고체 촬상 소자이다)로부터 출력할 필요가 있다.
또, 정지화상이면 출력에 요하는 시간이 특별히 문제가 되지 않지만, 동화상 촬영에 있어서는 예를 들면, 30fps 등의 고속 프레임 레이트로 동화상을 독출하기 위해, 전술한 8M픽셀의 이미지 센서의 전체 화소를 이용하면, 96Mbit/frame*30frame/sec=2.88Gbps의 정보를 이미지 센서로부터 출력할 필요가 있다. 그러나, 이러한 출력 데이터 레이트를 실현하는 것이 곤란하고 소비 전력도 많아지므로, 동화상 촬영 시에는 이미지 센서로부터 출력하는 화소수를 줄여 둘 필요가 있다.
그리고, 이미지 센서로부터 출력하는 화소수를 줄일 때에, 화면의 일부를 잘라내어 출력하는 잘라냄 출력이 알려져 있다.
예를 들면, 잘라냄 출력은, 정지화상 8M픽셀의 이미지 센서이면, 2M픽셀의 동화상을 출력할 때에, 화면의 중앙부 1/4를 잘라내어 출력하는 방법이며, 정지화상 촬영 시에 비해, 동화상 촬영 시의 화각이 좁아져 버린다는 문제가 있다.
또, 이미지 센서로부터 출력하는 화소수를 줄일 때의 다른 수법으로서, 화소 신호를 솎아내어 출력하는 솎아냄 출력이나, 동색의 복수의 화소 신호를 혼합하여 출력하는 화소 혼합 출력이 알려져 있다(예를 들면, 특허문헌 1 참조). 예를 들면, 종횡 각각 2화소에 대해, 솎아내거나 화소 혼합을 행하거나 함으로써 1화소만 출력하여, 출력 데이터 레이트를 1/4로 할 수 있다.
예를 들면, 도 9에 나타낸 바와 같이, R(적) G(녹) B(청) 3원색의 베이어 배열의 컬러 필터를 구비한 컬러 이미지 센서에서는, G의 출력 화소가 바둑판무늬로 배치되고, G의 출력 화소와 R의 출력 화소가 교대로 배치된 열과 B의 출력 화소와 G의 출력 화소가 교대로 배치된 열이, 교호로 구성되어 있다. 그리고, 이 때의 화소 혼합 출력에서는, 주목 화소의 주위에 위치하는 동색의 화소 신호 2×2화소를 가산하여, 하나의 신호로 하여 출력한다.
상세하게는, 도 9(a)에 나타낸 베이어 배열의 화소군에 있어서, (b)에 나타낸 바와 같이 1화소 간격으로 세로 2화소, 가로 2화소의 동색의 4화소가 혼합 가산되어, (c)에 나타낸 바와 같이 화소 데이터가 축소되어 출력된다.
특허문헌 1 : 일본국 특허공개 2007-088733호 공보
그러나, 솎아냄 출력은, 이미지 센서로부터 출력하는 화소수를 줄일 때에, 이미지 센서가 수광한 화소 중 독출하지 않는 화소가 발생하는 것을 의미하며, 출력 화상 데이터의 해상도를 저하시키는 요인이 된다.
또, 도 9에 나타낸 바와 같이, 화소 혼합 출력을 베이어 배열의 컬러 이미지 센서에 이용하면, 베이어 배열의 위치 관계가 무너져, 실효 해상도가 1/2 미만으로 저하하거나, 리턴 노이즈가 발생하거나 한다는 문제가 있다.
상세하게는, 도 9(c)에 나타낸 바와 같이, R, Gr, Gb, B의 혼합 출력의 화소 배열(샘플링 중심(重心))이, 도 9(a)의 정격자(正格子) 배열로부터 무너져 버린다. 예를 들면, 수평 방향으로, R과 Gr의 간격 및 Gb와 B의 간격이 1화소 미만이 되고, 이어지는 Gr과 R의 간격 및 B와 Gb의 간격이 1화소보다 벌어져 버린다. 또, 수직 방향으로, R과 Gb의 간격 및 Gr과 B의 간격이 1화소 미만이 되고, 이어지는 Gb와 R의 간격 및 B와 Gr의 간격이 1화소보다 벌어져 버린다.
그래서, 본 발명은, 이미지 센서로부터 화상 데이터를 출력할 때에, 픽셀 레이트를 낮추면서, 협화각화(狹畵角化)나 화질 열화를 억제할 수 있는 고체 촬상 소자 및 그것을 이용한 촬상 장치를 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위해 이루어진 청구항 1에 기재된 고체 촬상 소자에 관한 발명은, 행 및 열 방향으로 격자형상으로 배열되고, 수광량에 따른 아날로그 신호를 출력하는 복수의 광전 변환 소자와, 상기 복수의 광전 변환 소자로부터 출력된 아날로그 신호를, 디지털 신호로 양자화하여 출력하는 A/D 변환부를 구비하며, 상기 복수의 광전 변환 소자에는, 각각, 상이한 색 성분의 광을 투과하는 컬러 필터가 구비되고, 상기 복수의 컬러 필터가, 복수 색을 1단위로 하여 주기적으로 배열되며, 상기 A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 상기 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비하고, 또한, 상기 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심이, 각각, 등간격인 것을 특징으로 한다.
청구항 1에 기재된 고체 촬상 소자는, A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비함과 더불어, 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심이, 각각, 등간격임으로써, 당해 고체 촬상 소자로부터 화상 데이터를 출력할 때에, 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있다.
또, 청구항 1에 기재된 고체 촬상 소자는, 청구항 2에 기재된 발명과 같이, 상기 컬러 필터가 RGB 3원색의 베이어(Bayer) 배열로 구성되고, 상기 신호 출력부에서 생성되는 출력 신호도 상기 RGB 3원색의 베이어(Bayer)임으로써, 베이어 배열의 화소 배열로부터 축소 화상을 생성할 때에, RGB의 화소 간격을 무너뜨리지 않고, 화질 열화를 억제할 수 있다.
또, 청구항 1에 기재된 고체 촬상 소자는, 청구항 3에 기재된 발명과 같이, 상기 신호 처리부에 있어서, 상기 복수 색의 상이한 색광의 출력을 혼합하도록 구성해도 된다.
또, 청구항 1 내지 청구항 3 중 어느 한 항에 기재된 고체 촬상 소자는, 청구항 4에 기재된 발명과 같이, 상기 신호 처리부가, 동일한 샘플링 위치에서도, 프레임에 의해 상기 복수 색의 상이한 색광의 출력의 혼합 비율을 변화시킬 수 있도록 구성해도 된다. 이에 의해, 고품위의 화상을 생성할 수 있다.
또, 청구항 3 또는 청구항 4에 기재된 고체 촬상 소자는, 청구항 5에 기재된 발명과 같이, 상기 컬러 필터가 R(적), G(녹), B(청) 3원색의 베이어(Bayer) 배열로 구성되고, 상기 신호 출력부에서 생성되는 출력 신호가, C(시안), Ye(옐로우), G(그린), M(마젠타)이도록 구성하면 된다.
또, 청구항 3 또는 청구항 4에 기재된 고체 촬상 소자는, 청구항 6에 기재된 발명과 같이, 상기 컬러 필터가 R(적), G(녹), B(청) 3원색의 베이어(Bayer) 배열로 구성되고, 상기 출력부에서 생성되는 출력 신호가, 휘도 Y, 색차 신호 C1, C2이도록 구성해도 된다.
또, 청구항 6에 기재된 고체 촬상 소자는, 청구항 7에 기재된 발명과 같이, 상기 신호 처리부에서 생성되는 상기 색차 신호 C1 및 C2가, 상기 휘도 Y의 신호의 수보다 적도록 구성해도 된다.
또, 청구항 6 또는 청구항 7에 기재된 고체 촬상 소자는, 청구항 8에 기재된 발명과 같이, 상기 신호 처리부가, 상기 색차 신호 C1 및 C2의 적어도 한쪽의 생성에 있어서, 위색(僞色)의 억제를 행하도록 해도 된다.
또, 청구항 1 내지 청구항 8 중 어느 한 항에 기재된 고체 촬상 소자는, 청구항 9에 기재된 발명과 같이, 상기 광전 변환 소자로부터 출력되는 아날로그 신호량을, 상기 복수 색의 색마다 가변하는 가변 게인 앰프를 구비하고, 상기 게인 앰프를 통해, 당해 고체 촬상 소자를 통해 촬상된 화상색의 화이트 밸런스가 조정 가능하게 구성됨으로써, 더욱 편리성을 향상할 수 있다.
또, 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 고체 촬상 소자는, 청구항 10에 기재된 발명과 같이, 상기 신호 출력부로부터 출력 신호를 출력할 때에, 상기 복수의 디지털 신호를 혼합하여 출력하는 제1 출력 모드와, 상기 복수의 디지털 신호를 혼합하지 않고, 상기 광전 변환 소자마다의 디지털 신호를 출력하는 제2 출력 모드를 전환하는 전환 수단을 구비함으로써, 당해 고체 촬상 소자로부터 화상 데이터를 독출할 때의 데이터 레이트나 해상도를 용이하게 전환할 수 있다.
다음에, 청구항 11에 기재된 발명은, 피사체상을 고체 촬상 소자로 인도하여 결상시키는 촬상 광학계와, 상기 결상된 피사체상을 광전 변환하여 출력하는 고체 촬상 소자와, 상기 고체 촬상 소자로부터 출력된 출력 신호에 대해 소정의 화상 처리를 가하여, 상기 피사체상을 재현하는 화상 처리 장치를 구비한 촬상 장치로서, 상기 고체 촬상 소자가 청구항 1 내지 청구항 10 중 어느 하나인 것을 특징으로 한다.
청구항 11에 기재된 촬상 장치는, 청구항 1 내지 청구항 10 중 어느 한 항에 기재된 고체 촬상 소자를 구비하고 있으므로, 고체 촬상 소자로부터 독출하는 화소 신호의 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있으며, 또한, RGB 3원색의 베이어(Bayer) 배열의 고체 촬상 소자를 효과적으로 이용할 수 있다.
또, 청구항 11에 기재된 촬상 장치는, 화이트 밸런스가 조정 가능한 고체 촬상 소자를 구비함으로써, 한층, 화질의 향상을 도모할 수 있다.
또, 청구항 11에 기재된 촬상 장치는, 고체 촬상 소자에, 복수의 디지털 신호를 혼합하여 출력하는 제1 출력 모드와, 상기 복수의 디지털 신호를 혼합하지 않고, 광전 변환 소자마다의 디지털 신호를 출력하는 제2 출력 모드를 전환하는 전환 수단을 구비함으로써, 데이터 레이트나 해상도를 용이하게 전환할 수 있다.
다음에, 청구항 12에 기재된 발명은, 피사체상을 고체 촬상 소자로 인도하여 결상시키는 촬상 광학계와, 상기 결상된 피사체상을 광전 변환하여 출력하는 고체 촬상 소자와, 상기 고체 촬상 소자로부터 출력된 출력 신호에 대해 소정의 화상 처리를 가하여, 상기 피사체상을 재현하는 화상 처리 장치를 구비한 촬상 장치로서, 상기 고체 촬상 소자가 청구항 4 내지 청구항 10 중 어느 하나이며, 상기 화상 처리 장치가 복수의 프레임으로부터 상기 피사체상을 재현하는 것을 특징으로 한다.
청구항 12에 기재된 촬상 장치에 의하면, 고체 촬상 소자가 청구항 4 내지 청구항 10 중 어느 하나이며, 화상 처리 장치가 복수의 프레임으로부터 상기 피사체상을 재현하도록 구성되어 있으므로, 화상 처리로 복수의 프레임으로부터 고품위의 화상을 생성할 수 있다.
본 발명의 고체 촬상 소자는, A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비함과 더불어, 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심이, 각각, 등간격임으로써, 당해 고체 촬상 소자로부터 화상 데이터를 출력할 때에, 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있다.
또, 본 발명의 고체 촬상 소자는, 컬러 필터가 RGB 3원색의 베이어(Bayer) 배열로 구성되고, 신호 출력부에서 생성되는 출력 신호도 RGB 3원색의 베이어(Bayer)임으로써, RGB의 화소 간격을 무너뜨리지 않고, 기존의 화상 처리로 피사체상을 재현할 수 있다.
또, 본 발명의 고체 촬상 소자는, 신호 처리부에 있어서, 복수 색의 상이한 색광의 출력을 혼합하여, Cy(시안), Ye(옐로우), G(그린), Mg(마젠타) 등의 출력 신호를 생성하거나, 휘도 Y, 색차 신호 C1, C2 등의 출력 신호를 생성하거나 할 수 있으며, 보다 화질 열화를 억제할 수도 있다.
또, 본 발명의 고체 촬상 소자는, 신호 처리부가, 동일한 샘플링 위치에서도, 프레임에 의해 상기 복수 색의 상이한 색광의 출력의 혼합 비율을 변화시킬 수 있도록 구성됨으로써, 화상 처리로 복수의 프레임으로부터 고품위의 화상을 생성할 수 있다.
또, 본 발명의 고체 촬상 소자는, 광전 변환 소자로부터 출력되는 아날로그 신호량을, 상기 복수 색의 색마다 가변하는 가변 게인 앰프를 구비하고, 게인 앰프를 통해, 화상색의 화이트 밸런스가 조정 가능하게 구성됨으로써, 편리성을 향상할 수 있다.
또, 본 발명의 고체 촬상 소자는, 신호 출력부로부터 출력 신호를 출력할 때에, 복수의 디지털 신호를 혼합하여 출력하는 제1 출력 모드와, 복수의 디지털 신호를 혼합하지 않고, 광전 변환 소자마다의 디지털 신호를 출력하는 제2 출력 모드를 전환하는 전환 수단을 구비함으로써, 데이터 레이트나 해상도를 용이하게 전환할 수 있다.
또, 본 발명의 촬상 장치는, 독출하는 화소 신호의 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있는 고체 촬상 소자를 구비하고 있으므로, 동화상 촬영 시에는, 프레임 레이트를 향상시키면서, 화질의 열화를 억제할 수 있다.
또, 본 발명의 촬상 장치는, 고체 촬상 소자에, 신호 출력부로부터 출력 신호를 출력할 때에, 복수의 디지털 신호를 혼합하여 출력하는 제1 출력 모드와, 광전 변환 소자마다의 디지털 신호를 출력하는 제2 출력 모드를 전환하는 전환 수단을 구비하고 있으므로, 정지화상과 동화상의 전환에 따라, 촬상 소자의 바람직한 출력 모드를 선택할 수 있으며, 용도에 따른 해상도나 출력 데이터 레이트를 얻을 수 있다.
또, 본 발명의 촬상 장치는, 고체 촬상 소자의 신호 처리부가, 동일한 샘플링 위치에서도, 프레임에 의해 상기 복수 색의 상이한 색광의 출력의 혼합 비율을 변화시킬 수 있도록 구성해도 된다. 이에 의해, 화상 처리로 복수의 프레임으로부터 고품위의 화상을 생성할 수 있다.
도 1은 본 발명의 고체 촬상 소자 및 촬상 장치가 적용된 제1 실시 형태의, 촬상 장치(1)의 구성을 나타낸 블록도이다.
도 2는 상기 제1 실시 형태의 고체 촬상 소자에 있어서의, 신호 출력부의 성명도이다.
도 3은 본 발명의 고체 촬상 소자 및 촬상 장치가 적용된 제2 실시 형태의, 신호 출력부의 동작을 나타낸 설명도이다.
도 4는 본 발명의 고체 촬상 소자 및 촬상 장치가 적용된 제3 실시 형태의, 신호 출력부의 동작을 나타낸 설명도이다.
도 5는 본 실시 형태에 있어서의, 베이어 배열의 화소 배치도이다.
도 6은 상기 제2 실시 형태의 고체 촬상 소자에 있어서의, 홀수 프레임의 화소 혼합의 설명도이다.
도 7은 상기 제2 실시 형태의 고체 촬상 소자에 있어서의, 짝수 프레임의 화소 혼합의 설명도이다.
도 8은 상기 제2 실시 형태의 화상 처리 칩에 있어서의, 3차원 YC 분리의 설명도이다.
도 9는 종래예에 있어서의, 컬러 이미지 센서의 출력 신호의 솎아냄 처리의 설명도이다.
(제1 실시 형태)
다음에, 본 발명의 고체 촬상 소자 및 촬상 장치의 제1 실시 형태를, 도면에 의거하여 설명한다.
도 1은, 본 발명의 고체 촬상 소자 및 촬상 장치가 적용된 제1 실시 형태의 촬상 장치(1)의 구성을 나타낸 블록도, 도 2는, 상기 제1 실시 형태의 고체 촬상 소자에 있어서의 신호 출력 처리의 설명도이다.
도 1에 나타낸 바와 같이, 촬상 장치(1)는, 피사체상을 고체 촬상 소자(20)로 인도하여 결상시키는 촬상 광학계(10)와, 결상된 피사체상을 광전 변환하여 출력하는 고체 촬상 소자(20)와, 고체 촬상 소자(20)로부터 출력된 출력 신호에 대해 소정의 신호 처리를 가하여, 피사체상을 재현하는 화상 처리 칩(30)에 의해 구성되어 있다.
고체 촬상 소자(20)는, 행 및 열 방향으로 격자형상으로 배열되고, 수광량에 따른 아날로그 신호를 출력하는 복수의 광전 변환 소자(수광 소자)(21)와, 복수의 광전 변환 소자로부터 출력된 아날로그 신호를, 디지털 신호로 양자화하여 출력하는 A/D 변환부(22)와, A/D 변환부(22)를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부(23)를 구비하고 있다.
또, 복수의 광전 변환 소자(21)에는, 각각, 상이한 색 성분의 광을 투과하는 컬러 필터가 구비되고, 상기 복수의 컬러 필터가, 복수 색을 1단위로 하여 주기적으로 배열되어 있다.
또, 고체 촬상 소자(20)는, 단판식 촬상 소자로서, 복수의 광전 변환 소자(21)가 매트릭스형상으로 배치되고, 그 앞면에는 광전 변환 소자에 대응하여, R(적) G(녹) B(청) 3원색의 베이어(Bayer) 배열로 이루어지는 컬러 필터(도 2(a) 참조)를 구비하며, 각 색의 필터부를 통과한 단일 색의 광량을 아날로그 전기 신호로 변환하도록 구성되어 있다.
상세하게는, 도 2(a)에 나타낸 바와 같이, 전술한 원색 베이어 배열은, G색의 필터가 바둑판무늬로 배치되고, G색 필터와 R색 필터가 교대로 배치된 열과 G 필터와 B 필터가 배치된 열이 교호로 구성되어 있다. 또, 본 실시예에서는, 도 2(a)에 있어서, R에 나란히 한 방향으로 배치된 G색을 Gr로 나타내며, B에 나란히 한 방향으로 배치된 G색을 Gb로 나타낸다.
또, 본 실시예에서는, 고체 촬상 소자(20)가 8M픽셀(pixel)의 화소수(이른바, 광전 변환 소자(21)의 수이다)로 구성되고, 정지화상 촬영 시에는 8Mpixel을 출력하며, 동화상 촬영 시에는, 폭 방향 및 높이 방향의 화소수를 1/2로 하여, HD 동화상 촬영에 필요한 2Mpixel을 출력하는 것으로 한다.
광전 변환 소자(21)로부터 출력된 전기 신호는, A/D 변환부(22)에서 디지털 신호로 변환되고, 오리지널의 RAW 데이터로서 신호 처리부(23)에 출력된다.
신호 처리부(23)는, RAW 데이터를 솎아냄 처리를 행하여 출력 신호를 생성하는 화상 처리부(24)와, 화상 처리부(24)에서 생성된 출력 신호를 화상 처리 칩(30)에 출력하는 출력부(25)에 의해 구성되어 있다.
화상 처리부(24)는, RAW 데이터를 수취하여, R, Gr, Gb, B의 화소마다, 로우패스 필터를 적용함과 더불어 화소 데이터를 종횡 1/2로 솎아내어 신호 출력부에 건네준다.
예를 들면, 이하와 같이, 한 방향에 있어서의 화상의 축소율을 1/2로 하면, fs/4((fs/2)×(1/2))를 컷오프로 하는 로우패스 필터를 적용할 수 있다. 이 때, 도 5(a)에 나타낸 바와 같이, 베이어 배열에 대응하여 각 화소 번호가 할당되어 있는 것으로 한다.
우선, Gr을 생성하기 위해, Gr00을 선두의 화소로 하는 6×6화소 범위 내의 화소에, 도 2(c)에 나타낸 필터링을 행한다.
상세하게는, (Gr00×1+Gr01×2+Gr02×1+Gr10×2+Gr11×8+Gr12×6+Gr20×1+Gr21×6+Gr22×5)÷32의 연산식을 이용하여 Gr의 출력 신호를 산출한다. 이 때, 필터의 계수는, Gr00을 선두의 화소로 하는 6×6화소 범위의 중심에 중심을 갖도록 설정되고, 또한, 에일리어싱(aliasing)을 억제하는 고주파 필터를 구성하고 있다. 본 실시예는, 고해상도의 원 화상으로부터 저해상도의 화소를 샘플링한다. 이 때, 원 화상에 축소 후의 화상으로 나타낼 수 없는 높은 주파수(나이퀴스트(Nyquist) 이상)가 포함되어 있으면, 축소 후의 화상이 어두워진다. 그래서, 본 실시예는, 고주파 필터를 이용하여 축소 전의 화상을 평활함으로써, 축소 후의 화상에 적절한 밝기가 얻어지도록 하고 있다.
다음에, R을 생성하기 위해, Gr에 대해 주사 범위를 2화소만큼 오른쪽 방향으로 어긋나게 하여, Gr01을 선두의 화소로 하는 6×6화소 범위 내의 화소에, 도 2(d)에 나타낸 필터링을 행한다.
상세하게는, (R01×1+R02×2+R03×1+R11×6+R12×8+R13×2+R21×5+R22×6+R23×1)÷32의 연산식을 이용하여 R의 출력 신호를 산출한다. 이 때, 필터의 계수는, Gr01을 선두의 화소로 하는 6×6화소 범위의 중심에 중심을 갖도록 설정되고, 또한, 에일리어싱을 억제하는 고주파 필터를 구성하고 있다.
다음에, Gb를 생성하기 위해, R의 생성에 대해 주사 범위를 2화소만큼 아래쪽 방향으로 어긋나게 하여, Gr11을 선두의 화소로 하는 6×6화소 범위 내의 화소에, 도 2(f)에 나타낸 필터링을 행한다.
상세하게는, (Gb11×5+Gb12×6+Gb13×1+Gb21×6+Gb22×8+Gb23×2+Gb31×1+Gb32×2+Gb33×1)÷32의 연산식을 이용하여 Gb의 출력 신호를 산출한다. 이 때, 필터의 계수는, Gr11을 선두의 화소로 하는 6×6화소 범위의 중심에 중심을 갖도록 설정되고, 또한, 에일리어싱을 억제하는 고주파 필터를 구성하고 있다.
다음에, B를 생성하기 위해, Gr의 생성에 대해 주사 범위를 2화소만큼 아래쪽 방향으로 어긋나게 하여, Gr10을 선두의 화소로 하는 6×6화소 범위 내의 화소에 도 3(e)에 나타낸 필터링을 행한다.
상세하게는, (B10×1+B11×6+B12×5+B20×2+B21×8+B22×6+B30×1+B31×2+B32×1)÷32의 연산식을 이용하여 B의 출력 신호를 산출한다. 이 때, 필터의 계수는, Gr10을 선두의 화소로 하는 6×6화소 범위의 중심에 중심을 갖도록 설정되고, 또한, 에일리어싱을 억제하는 고주파 필터를 구성하고 있다.
이들 처리를 종횡 4화소마다 반복하여 행함으로써, 도 2(g)에 나타낸 바와 같이, 종횡 1/2의 축소된 화상 데이터를 원래의 베이어 배열을 무너뜨리지 않고 출력할 수 있으며, 후단의 화상 처리 칩(25)으로 컬러 화상을 생성할 때의 화질 열화를 억제할 수 있다. 요컨대, 신호 출력부(23)로부터, 샘플링 중심이 등간격인 출력 신호를 얻을 수 있다.
다음에, 화상 처리 칩(30)은, 고체 촬상 소자(20)로부터 출력된 화상 데이터를 이용하여 컬러 화상을 생성한다.
요컨대, 단판식의 촬상 소자에서는 각 화소가 단색의 색 정보밖에 갖지 않지만, 컬러 화상을 표시하기 위해서는, 적색(R), 녹색(G), 청색(B)의 값 모두가 각 화소에서 필요하다. 이 때문에 단판식 촬상 소자를 이용한 화상 처리에서는, 각 화소가 R, G, B 성분 중 어느 하나만을 갖는 색 모자이크 화상에 의거하여, 이른바 공지의 디모자이크 처리를 행한다. 여기서, 디모자이크 처리란, 색 모자이크 화상의 각 화소의 단색 정보에 대해 그 주변 화소로부터 모은 다른 부족한 색의 휘도 정보를 이용하여 보간 연산을 행함으로써, 각 화소가 각각 R, G, B 성분의 모두를 갖는 컬러 화상을 생성하는 처리이다(이른바, 색 보간 처리이다).
이상, 제1 실시 형태의 고체 촬상 소자(20) 및 촬상 장치에 의하면, A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비함과 더불어, 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심이, 각각, 등간격임으로써, 당해 고체 촬상 소자로부터 화상 데이터를 출력할 때에, 픽셀 레이트를 낮추면서, 협화각화나 화질 열화를 억제할 수 있다. 또, 컬러 필터가 RGB 3원색의 베이어(Bayer) 배열로 구성되고, 신호 처리부에 의해 생성되는 출력 신호도 상기 RGB 3원색의 베이어(Bayer)임으로써, 오리지널의 RAW 데이터를 처리하는 것과 동일한 화상 처리 칩(30)에 의해, 화질 열화를 억제한 피사체상을 생성할 수 있다.
또한, 신호 처리부에서 필터링할 때에는, 로우패스 필터의 강도의 조정이나, 화상 처리 칩(30)의 처리에 따라, 필터의 계수를 바꾸어도 된다.
(제2 실시 형태)
다음에, 도 3을 이용하여, 본 발명의 제2 실시 형태를 설명한다. 도 3은, 본 발명의 고체 촬상 소자에 있어서의 화상 처리의 설명도이다.
제2 실시 형태의 고체 촬상 소자 및 촬상 장치는, 제1 실시 형태에서 나타낸 화상 처리부(24)의 동작이 상이한 것으로서, 기본적으로 제1 실시 형태와 동일한 구성이므로, 공통이 되는 구성 부분에 대해서는 상세한 설명을 생략하고, 특징이 되는 부분에 대해 이하에 설명한다.
제2 실시 형태에 있어서의 화상 처리부(24)는, 도 3에 나타낸 바와 같이, 출력 신호를, 총 화소수의 1/2로 하여, 보색계의 CYGM 형식으로 출력한다. 여기에서는, 고체 촬상 소자의 각 광전 변환 소자(21)로부터 출력되는 화소 배열이 도 5(a)에서 나타낸 베이어 배열로서, A/D 변환부(22) 오리지널의 RAW 데이터로서 화상 처리부(24)에 출력된다.
화상 처리부(24)는, RAW 데이터를 수취하여, 상이한 색의 화소 신호를 혼합하면서, 로우패스 필터를 적용함과 더불어 화소 데이터를 종횡 1/2로 솎아내어 출력 신호를 생성한다.
예를 들면, 이하와 같이, 한 방향에 있어서의 화상의 축소율을 1/2로 하면, fs/4((fs/2)×(1/2))를 컷오프로 하는 로우패스 필터를 적용할 수 있다. 이 때, 도 5(a)에 나타낸 바와 같이, 베이어 배열에 대응하여 각 화소 번호가 할당되어 있는 것으로 한다.
우선, G를 생성하기 위해, Gr00을 선두의 화소로 하는 5×5화소 범위 내의 화소에, 도 3(c)에 나타낸 필터링을 행한다.
상세하게는, (Gr00×2+Gr01×4+Gr02×2+Gb00×8+Gb01×8+Gr10×4+Gr11×8+Gr12×4+Gb10×8+Gb11×8+Gr20×2+Gr21×4+Gr22×2)÷64의 연산식을 이용하여 G의 출력 신호를 산출한다.
다음에, Cy를 생성하기 위해, G에 대해 주사 범위를 2화소만큼 오른쪽 방향으로 어긋나게 하여, Gr01을 선두의 화소로 하는 5×5화소 범위 내의 화소에, 도 3(d)에 나타낸 필터링을 행한다.
상세하게는, (Gr01×1+Gr02×2+Gr03×1+B01×4+Gb01×4+B02×8+Gb02×4+B03×4+Gr11×2+Gr12×4+Gr13×2+B11×4+Gb11×4+B12×8+Gb12×4+B13×4+Gr21×1+Gr22×2+Gr23×1)÷64의 연산식을 이용하여 Cy의 출력 신호를 산출한다.
다음에, Ye를 생성하기 위해, G의 생성에 대해 주사 범위를 2화소만큼 아래쪽 방향으로 어긋나게 하여, Gr10을 선두의 화소로 하는 5×5화소 범위 내의 화소에, 도 3(e)에 나타낸 필터링을 행한다.
상세하게는, (Gr10×1+R10×4+Gr11×2+R11×4+Gr12×1+Gb10×4+Gb11×4+Gr20×2+R20×8+Gr21×4+R21×8+Gr22×2+Gb20×4+Gb21×4+Gr30×1+R30×4+Gr31×2+R31×4+Gr32×1)÷64의 연산식을 이용하여 Ye의 출력 신호를 산출한다.
다음에, Mg를 생성하기 위해, Ye의 생성에 대해 주사 범위를 2화소만큼 오른쪽 방향으로 어긋나게 하여, Gr11을 선두의 화소로 하는 5×5화소 범위 내의 화소에 도 3(g)에 나타낸 필터링을 행한다.
상세하게는, (R11×4+R12×4+B11×4+B12×8+B13×4+R21×8+R22×8+B21×4+B22×8+B23×4+R31×4+R32×4)÷64의 연산식을 이용하여 Mg의 출력 신호를 산출한다.
전술한 연산식에 의하면, 2화소 간격으로 CYGM 배열을 생성하도록 필터링된다. 이들 처리를 종횡 4화소마다 반복하여 행함으로써 샘플링 중심이 등간격이 되므로, 화소 솎아냄에 의한 해상도의 저하를 억제할 수 있다. 또한, 필터링할 때에는, 필요에 따라, 로우패스 필터의 강도를 바꾸거나, 필터의 계수를 변경하거나 해도 된다.
다음에, 화상 처리부(24)에서 축소된 RAW 데이터는, 화상 처리 칩(30)에 출력되고, 화상 처리 칩(30)에 있어서 보색계에 의거한 공지의 디모자이크 처리가 행해져, 컬러 화상이 생성된다.
또한, 동화상 촬영 시에는, 화상 처리부에 있어서, 프레임에 의해 화소 혼합의 방법을 바꾸어도 된다.
예를 들면, 홀수 프레임에 대해서는, 도 6(a)의 각 Gb 화소 위치 주변에서 3×3화소 범위를 도면 중의 숫자로 나타낸 필터링을 행하여, 도 6(b)에 나타낸 바와 같이 솎아내어 출력한다. G, Cy, Ye, Mg가 가리키는 필터는 상이한 색의 화소 신호를 각각 상이한 비율로 혼합하여, 이 솎아냄 출력은 2화소 간격으로 CYGM 배열을 생성한다. 짝수 프레임에 대해서는, 도 7(a)에 나타낸 바와 같이 G와 Mg, Cy와 Ye의 필터를 교체하여, 도 7(b)에 나타낸 바와 같이 솎아내어 출력한다.
그리고, 이 때, 화상 처리 칩(30)에서는, 도 8에 나타낸 바와 같이, 이른바 3차원 YC 분리를 행하여, 컬러 화상을 생성한다. 구체적으로는, 화상 처리 칩(30)에서는, n번째의 프레임 Fn을 받았을 때, 직전의 Fn-1과의 평균을 산출함으로써, 전체 출력 화소에 있어서의 휘도 신호 Y=(Gr+Gb+R+B)/2를 생성한다.
또, Fn과 그 직전의 Fn-1의 차를 산출함으로써, G나 Mg 화소 위치에 있어서의 제1 색차 C1=(G-Mg)=(Gr+Gb-R-B)/2, 및, Cy이나 Ye 화소 위치에 있어서의 제2 색차 C2=(Cy-Ye)=(B-R)/2를 얻을 수 있으며, 이들로부터 생성되는 컬러 화상을 출력한다.
이에 의해, 움직임이 적은 피사체에는 고품위의 화상을 생성할 수 있다. 또, 화상 처리 칩(30)에서는, 피사체의 움직임의 크기에 따라, 단일 프레임으로부터의 화상 생성과, 이른바 3차원 YC 분리에 의한 화상 생성을 전환해도 된다.
(제3 실시 형태)
다음에, 도 4를 이용하여, 본 발명의 제3 실시 형태를 설명한다. 도 4는, 본 발명의 고체 촬상 소자에 있어서의 화상 처리의 설명도이다.
제3 실시 형태의 고체 촬상 소자 및 촬상 장치는, 제1 실시 형태에서 나타낸 화상 처리부(24)의 동작이 상이한 것으로서, 기본적으로 제1 실시 형태와 동일한 구성이므로, 공통이 되는 구성 부분에 대해서는 상세한 설명을 생략하고, 특징이 되는 부분에 대해 이하에 설명한다.
제3 실시 형태에 있어서의 화상 처리부(24)는, 도 4에 나타낸 바와 같이, 출력 신호를, 총 화소수의 1/2로 하여, YCC 형식으로 출력한다(요컨대, 휘도 Y와 2개의 색차 C1, C2를 출력한다). 또, 그 때, 샘플링 포맷 4 : 2 : 2로 출력하는 것으로 한다.
여기에서는, 고체 촬상 소자의 각 광전 변환 소자(21)로부터 출력되는 화소 배열이 도 5(b)에서 나타낸 베이어 배열로서, A/D 변환부(22) 오리지널의 RAW 데이터로서 화상 처리부(24)에 출력된다. 또, 색마다 가변 게인 앰프가 구비되고, A/D 변환부(22)에 의해 AD 변환되기 전에, 광전 변환 소자(21)의 출력 신호가 조정되어, 화이트 밸런스를 맞추도록 구성되는 것이 바람직하다.
우선, Y를 생성하기 위해, B00을 선두의 화소로 하는 3×3화소 범위 내의 화소에, 도 4(c)에 나타낸 필터링을 행한다. 이 때, 도 5(b)에 나타낸 바와 같이, 베이어 배열에 대응하여 각 화소 번호가 할당되어 있는 것으로 한다.
상세하게는, (B00×1+Gb01×2+B01×1+Gr10×2+R11×4+Gr11×2+B10×1+Gb11×2+B11×1)÷16의 연산식을 이용하여 Y의 출력 신호를 산출한다. 이 신호의 샘플링 중심은 R11의 위치가 된다. 이 연산식은, fs/2(나이퀴스트 주파수)를 컷오프로 하는 로우패스 필터이며, 이에 의해 생성되는 Y는, R : G : B = 1 : 2 : 1의 혼합 비율이다.
다음에, C2를 생성하기 위해, R00을 선두의 화소로 하는 5×5화소 범위 내의 화소에, 도 4(d)에 나타낸 필터링을 행한다.
상세하게는, (R00×1+R01×2+R02×1+B00×(-4)+B01×(-4)+R10×2+R11×4+R12×2+B10×(-4)+B11×(-4)+R20×1+R21×2+R22×1)÷32의 연산식을 이용하여 C2의 출력 신호를 산출한다. 이 신호의 샘플링 중심은 R11의 위치가 된다. 이 필터는, R 및 B에 fs/4의 필터링을 행한 후에 R과 B의 차분을 취하는 것과 등가이며, C2는, R : G : B = 1 : 0 : (-1)의 혼합 비율이다.
다음에, Y를 생성하기 위해, B01을 선두의 화소로 하는 3×3화소 범위 내의 화소에, 도 4(c)에 나타낸 필터링을 행하여 샘플링 중심이 R12의 위치가 되는 Y의 출력 신호를 생성한다. 그 후, C1을 생성하기 위해, R01을 선두의 화소로 하는 5×5화소 범위 내의 화소에 도 4(e)에 나타낸 필터링을 행한다.
상세하게는, (R01×(-1)+Gr01×2+R02×(-2)+Gr02×2+R03×(-1)+Gb01×2+B01×(-4)+Gb02×4+B02×(-4)+Gb03×2+R11×(-2)+Gr11×4+R12×(-4)+Gr12×4+R13×(-2)+Gb11×2+B11×(-4)+Gb12×4+B12×(-4)+Gb13×2+R21×(-1)+Gr21×2+R22×(-2)+Gr22×2+R23×(-1))÷32의 연산식을 이용하여 C1의 출력 신호를 생성한다. 이 신호의 샘플링 중심은 R12의 위치가 된다. 이 필터는, R, Gr, Gb, B의 각각에 fs/4의 필터링을 행한 후에 (Gr+GB)와 (R+B)의 차분을 취하는 것과 등가이며, C1은, R : G : B = (-1) : 2 : (-1)의 혼합 비율이다.
이들 처리를 세로 2화소, 가로 4화소 간격으로 반복하여 행함으로써, 도 4(f)에 나타낸 바와 같이, 종횡 2화소 간격으로 솎아내어 생성되는 휘도 Y, 세로 2화소, 가로 4화소 간격으로 솎아내어 생성되는 C1 및 C2로부터, Y : C1 : C2 = 4 : 2 : 2의, 1/2 출력의 이미지 화상을 생성한다.
또한, 신호 처리부에서 필터링할 때에는, 로우패스 필터의 강도의 조정을 하는 필터의 크기를 바꾸거나 필터 계수를 변경하거나 해도 된다. 또, 휘도에 대해서는 색차보다 약한 로우패스 필터를 실시하고, 색차에 대해서는 휘도보다 강한 로우패스 필터를 실시하는 것이 바람직하다.
이상, 제3 실시 형태에 의하면, YCC4 : 2 : 2의 출력 형식에서는, 화소수가 1/4로 축소되지만, 그 때, 색차 정보도 포함하여, 1화소당 2값이 되어, 하나의 값을 12bit로 하면 1화소당 24bit가 된다. 그리고, 2M픽셀의 동화상 출력 화상을 행할 때의 정보 출력은, 24bit×2Mpixel×60fps = 2.88Gbps가 되어, 대역을 1/2로 억제할 수 있다.
또한, 도 4(g)에 나타낸 바와 같이, 화상 처리부(23)에 있어서의 색차의 솎아냄을 종횡 4화소 간격으로 함으로써, YCC = 4 : 2 : 0의 샘플링 포맷을 얻을 수 있다. 그 때는, 1화소당 평균 18bit가 되어, 2M픽셀의 동화상 출력 화상을 행할 때의 정보 출력은, 18bit×2Mpixel×60fps = 2.16Gbps가 되어, 대역을 3/8로 억제할 수 있다.
다음에, 화상 처리 칩(30)에서는, 고체 촬상 소자에서 출력하는 YCC로부터 공지의 RGB 또는 YCbCr(ITU-R(International Telecommunication Union-Radiocommunication Sector) BT. 601)과 같은, 표준적인 컬러 화상의 색 공간으로 변환되어, 컬러 화상이 생성된다.
이상과 같이, 제3 실시 형태에 의하면, 3원색의 베이어(Bayer) 배열로부터, 휘도 Y, 색차 신호 C1, C2의 출력 신호를 생성할 때에, 샘플링 중심이 등간격으로 구성되는 휘도 Y 및 색차 C1, C2가 얻어지고, 출력 데이터 레이트를 저감할 수 있음과 더불어, 모든 출력 화소에 대해 휘도 Y가 얻어지므로, 해상도가 높은 화상을 얻을 수 있다.
또, 색차 신호 C1, C2를 생성할 때에, 또한 위색 억제를 행할 수도 있다. 위색 억제의 일례로서, C2에 발생하는 적색이나 청색의 위색 억제를 설명한다. 고체 촬상 소자(20)에 의해 구성되는 베이어 배열의 컬러 이미지 센서에서는, 나이퀴스트 주파수 부근의 고주파에 적색이나 청색의 위색이 발생하기 쉬우므로, Gr과 Gb의 차분을 취함으로써 이들 줄무늬모양을 검출할 수 있어, 위색을 억제할 수 있다.
상세하게는, 전술한 바와 같이, C2=(R00×1+R01×2+R02×1+B00×(-4)+B01×(-4)+R10×2+R11×4+R12×2+B10×(-4)+B11×(-4)+R20×1+R21×2+R22×1)÷32의 연산식을 이용하여 C2를 산출한다.
다음에, K=((Gr00×1+Gr10×2+Gr20×1+Gr01×1+Gr11×2+Gr21×1)-(Gb00×1+Gb01×2+Gb02×1+Gb10×1+Gb11×2+Gb12×1))÷16의 연산식을 이용하여 고주파 성분 K를 산출한다.
다음에, 하기 식을 이용하여, C2의 절대치로부터(0을 걸치지 않는 한에 있어서), K2의 절대치를 빼면 된다.
C2→sign(C2)max(abs(C2)-abs(K), 0)
이상, 본 발명의 실시 형태에 대해 설명하였지만, 본 발명은, 상기 실시 형태에 한정되는 것이 아니라, 화상 처리부(24)에서 이용하는 필터의 형상이나 신호 출력부(25)로부터 출력하는 데이터의 출력 형식 등, 여러 가지의 양태를 취할 수 있다.
[산업상의 이용 가능성]
소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 용도에 이용할 수 있다.
10 : 촬상 광학계
20 : 고체 촬상 소자
21 : 광전 변환 소자(수광 소자)
22 : A/D 변환부
23 : 신호 출력부
24 : 화상 처리부
25 : 출력부
30 : 화상 처리 칩

Claims (12)

  1. 행 및 열 방향으로 격자형상으로 배열되고, 수광량에 따른 아날로그 신호를 출력하는 복수의 광전 변환 소자와,
    상기 복수의 광전 변환 소자로부터 출력된 아날로그 신호를, 디지털 신호로 양자화하여 출력하는 A/D 변환부를 구비하며,
    상기 복수의 광전 변환 소자에는, 각각, 상이한 색 성분의 광을 투과하는 컬러 필터가 구비되고, 상기 복수의 컬러 필터가, 복수 색을 1단위로 하여 주기적으로 배열되며,
    상기 A/D 변환부를 통해 출력된 복수의 디지털 신호를, 소정의 샘플링 위치에서 상이한 소정의 비율로 혼합하여, 상기 광전 변환 소자의 수보다 적은 신호의 수로 하여 출력하는 신호 출력부를 구비하고,
    또한, 상기 신호 출력부로부터 출력되는 복수의 출력 신호의 샘플링 중심(重心)이 각각, 등간격인 것을 특징으로 하는 고체 촬상 소자.
  2. 청구항 1에 있어서,
    상기 컬러 필터가 RGB 3원색의 베이어(Bayer) 배열로 구성되고, 상기 신호 출력부에서 생성되는 출력 신호도 상기 RGB 3원색의 베이어(Bayer)인 것을 특징으로 하는 고체 촬상 소자.
  3. 청구항 1에 있어서,
    상기 신호 처리부에 있어서, 상기 복수 색의 상이한 색광의 출력을 혼합하는 것을 특징으로 하는 고체 촬상 소자.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 신호 처리부가, 동일한 샘플링 위치에서도, 프레임에 의해 상기 복수 색의 상이한 색광의 출력의 혼합 비율을 변화시킬 수 있도록 구성되어 있는 것을 특징으로 하는 고체 촬상 소자.
  5. 청구항 3 또는 청구항 4에 있어서,
    상기 컬러 필터가 R(적), G(녹), B(청) 3원색의 베이어(Bayer) 배열로 구성되고,
    상기 신호 출력부에서 생성되는 출력 신호가, C(시안), Ye(옐로우), G(그린), M(마젠타)인 것을 특징으로 하는 고체 촬상 소자.
  6. 청구항 3 또는 청구항 4에 있어서,
    상기 컬러 필터가 R(적), G(녹), B(청) 3원색의 베이어(Bayer) 배열로 구성되고,
    상기 출력부에서 생성되는 출력 신호가,
    휘도 Y, 색차 신호 C1, C2인 것을 특징으로 하는 고체 촬상 소자.
  7. 청구항 6에 있어서,
    상기 신호 처리부에서 생성되는 상기 색차 신호 C1 및 C2가, 상기 휘도 Y의 신호의 수보다 적은 것을 특징으로 하는 고체 촬상 소자.
  8. 청구항 6 또는 청구항 7에 있어서,
    상기 신호 처리부가, 상기 색차 신호 C1 및 C2의 적어도 한쪽의 생성에 있어서, 위색(僞色)의 억제를 행하는 것을 특징으로 하는 고체 촬상 소자.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 광전 변환 소자로부터 출력되는 아날로그 신호량을, 상기 복수 색의 색마다 가변하는 가변 게인 앰프를 구비하고,
    상기 게인 앰프를 통해, 당해 고체 촬상 소자를 통해 촬상된 화상색의 화이트 밸런스가 조정 가능하게 구성되어 있는 고체 촬상 소자.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
    상기 신호 출력부로부터 출력 신호를 출력할 때에,
    상기 복수의 디지털 신호를 혼합하여 출력하는 제1 출력 모드와,
    상기 복수의 디지털 신호를 혼합하지 않고, 상기 광전 변환 소자마다의 디지털 신호를 출력하는 제2 출력 모드를 전환하는 전환 수단을 구비하고 있는 것을 특징으로 하는 고체 촬상 소자.
  11. 피사체상을 고체 촬상 소자로 인도하여 결상시키는 촬상 광학계와,
    상기 결상된 피사체상을 광전 변환하여 출력하는 고체 촬상 소자와,
    상기 고체 촬상 소자로부터 출력된 출력 신호에 대해 소정의 화상 처리를 가하여, 상기 피사체상을 재현하는 화상 처리 장치를 구비한 촬상 장치로서,
    상기 고체 촬상 소자가 청구항 1 내지 청구항 10 중 어느 하나인 것을 특징으로 하는 촬상 장치.
  12. 피사체상을 고체 촬상 소자로 인도하여 결상시키는 촬상 광학계와,
    상기 결상된 피사체상을 광전 변환하여 출력하는 고체 촬상 소자와,
    상기 고체 촬상 소자로부터 출력된 출력 신호에 대해 소정의 화상 처리를 가하여, 상기 피사체상을 재현하는 화상 처리 장치를 구비한 촬상 장치로서,
    상기 고체 촬상 소자가 청구항 4 내지 청구항 10 중 어느 하나이며, 상기 화상 처리 장치가 복수의 프레임으로부터 상기 피사체상을 재현하는 것을 특징으로 하는 촬상 장치.
KR1020107014658A 2007-12-12 2008-12-08 고체 촬상 소자 및 그것을 이용한 촬상 장치 KR101011833B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007320455A JP4377428B2 (ja) 2007-12-12 2007-12-12 固体撮像素子及びそれを用いた撮像装置
JPJP-P-2007-320455 2007-12-12

Publications (2)

Publication Number Publication Date
KR20100086510A true KR20100086510A (ko) 2010-07-30
KR101011833B1 KR101011833B1 (ko) 2011-01-31

Family

ID=40755484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107014658A KR101011833B1 (ko) 2007-12-12 2008-12-08 고체 촬상 소자 및 그것을 이용한 촬상 장치

Country Status (6)

Country Link
US (1) US7973831B2 (ko)
JP (1) JP4377428B2 (ko)
KR (1) KR101011833B1 (ko)
CN (1) CN101459787A (ko)
TW (1) TWI386049B (ko)
WO (1) WO2009075243A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585045B1 (ja) * 2009-07-07 2010-11-24 アキュートロジック株式会社 画像処理装置及び画像処理方法、画像処理プログラム
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
CN102648632B (zh) 2009-11-27 2015-01-28 株式会社尼康 数据处理装置
JP4825311B1 (ja) * 2010-09-09 2011-11-30 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US9019399B2 (en) * 2011-01-28 2015-04-28 Nec Corporation Two-dimensional signal encoding device
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
JP6065395B2 (ja) * 2012-03-15 2017-01-25 株式会社ニコン 撮像装置
JP6069857B2 (ja) * 2012-03-15 2017-02-01 株式会社ニコン 撮像装置
TWI694726B (zh) * 2013-02-27 2020-05-21 日商新力股份有限公司 攝像元件
JP6136669B2 (ja) * 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
JP2015088810A (ja) * 2013-10-29 2015-05-07 耕太郎 滝上 色差信号を利用した画像処理方法
JP6270423B2 (ja) * 2013-11-14 2018-01-31 キヤノン株式会社 画像処理装置およびその制御方法
US9219870B1 (en) 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
JP6628987B2 (ja) * 2015-06-16 2020-01-15 ハンファテクウィン株式会社 画像処理装置、画像処理方法及び撮像装置
KR102362138B1 (ko) * 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
US10848730B2 (en) 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
KR102412278B1 (ko) * 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
CN107635087B (zh) * 2017-11-08 2024-05-07 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
US6452632B1 (en) * 1997-01-31 2002-09-17 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
JP3877695B2 (ja) 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP2006262382A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Corp 画像処理装置
JP2007088733A (ja) 2005-09-21 2007-04-05 Fujifilm Corp Ｃｃｄ型単板式カラー固体撮像素子
JP4682070B2 (ja) * 2006-03-23 2011-05-11 Ｈｏｙａ株式会社 画像信号処理装置

Also Published As

Publication number Publication date
TW200926796A (en) 2009-06-16
TWI386049B (zh) 2013-02-11
US7973831B2 (en) 2011-07-05
JP4377428B2 (ja) 2009-12-02
JP2009147489A (ja) 2009-07-02
US20100277628A1 (en) 2010-11-04
CN101459787A (zh) 2009-06-17
WO2009075243A1 (ja) 2009-06-18
KR101011833B1 (ko) 2011-01-31

Similar Documents

Publication Publication Date Title
KR101011833B1 (ko) 고체 촬상 소자 및 그것을 이용한 촬상 장치
JP3735867B2 (ja) 輝度信号生成装置
US6690422B1 (en) Method and system for field sequential color image capture using color filter array
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
EP1187455A2 (en) Image data processing apparatus and electronic camera
US5978023A (en) Color video camera system and method for generating color video signals at increased line and/or frame rates
JP5702896B2 (ja) カラー撮像素子及び撮像装置
WO2014006931A1 (ja) カラー撮像素子および撮像装置
US8111298B2 (en) Imaging circuit and image pickup device
CN1178520C (zh) 画像信号处理装置
US9219894B2 (en) Color imaging element and imaging device
US20150116554A1 (en) Color imaging element and imaging device
US9185375B2 (en) Color imaging element and imaging device
US20140307135A1 (en) Color imaging element
US8711257B2 (en) Color imaging device
WO2014091706A1 (ja) 撮像装置
US7250967B2 (en) Apparatus for modifying reproduction frequency band of video signal
US7405759B2 (en) Imaging with spectrally dispersive element for aliasing reducing
JP2635545B2 (ja) 固体撮像装置
JP3515585B2 (ja) ２板式撮像装置
JPH06268900A (ja) 高精細度カメラ
JPH07107496A (ja) 固体撮像装置
JPH06292212A (ja) 固体撮像装置
JPH099273A (ja) カラービデオカメラ
JPH0488787A (ja) 撮像信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171108

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee