KR20090018803A - 촬상장치 및 신호처리방법 - Google Patents

촬상장치 및 신호처리방법 Download PDF

Info

Publication number
KR20090018803A
KR20090018803A KR1020087029506A KR20087029506A KR20090018803A KR 20090018803 A KR20090018803 A KR 20090018803A KR 1020087029506 A KR1020087029506 A KR 1020087029506A KR 20087029506 A KR20087029506 A KR 20087029506A KR 20090018803 A KR20090018803 A KR 20090018803A
Authority
KR
South Korea
Prior art keywords
signal
pixels
green
red
blue
Prior art date
Application number
KR1020087029506A
Other languages
English (en)
Inventor
밍 리
료타 고사카이
아키라 마츠이
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090018803A publication Critical patent/KR20090018803A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은, 적색, 녹색 및 청색마다, 각 화소가 인접하여 2차원 배열된 화상 신호를 생성하는 촬상장치이며, 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 적색신호(20R)를 출력하는 적색 촬상소자와, 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 녹색신호(20G)를 출력하는 녹색 촬상소자와 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 청색신호(20B)를 출력하는 청색 촬상소자와 빈 화소를 주변 화소로 보간 하는 보간 수단과, 빈 화소의 주변 화소의 상관관계를 구하는 상관수단을 가지며, 상관수단은, 적색신호, 녹색신호 및 청색신호 중 적어도 어느 한쪽 1개의 색 신호에 의거하여, 적색신호, 녹색신호 및 청색신호마다 상관관계를 구하고, 보간 수단은, 상관관계에 의거하여, 적색신호, 녹색신호 및 청색신호마다 빈 화소를 보간 하여 촬상 신호를 생성한다.

Description

촬상장치 및 신호처리방법{Image pickup device and signal processing method}
본 발명은, 적색, 녹색 및 청색으로 이루어지는 삼원색의 촬상 신호를 생성하는 촬상장치 및 신호처리방법에 관한 것이다.
본 출원은, 일본국에서 2006년 6월 16일에 출원된 일본 특허 출원 번호 2006-167885호를 기초로서 우선권을 주장하는 것이며, 이 출원은 참조함으로써, 본 출원에 원용된다.
디지털카메라에 있어서, 피사체를 화상으로서 받아들이는 촬상 처리계의 구조에는, 주로 단판(單板)식과 삼판(三板)식이 있다. 단판식 카메라는, 1개의 고체 촬상소자를 가지며, 이 한판의 고체 촬상소자에서 삼원색 RGB의 색 신호를 생성한다. 예를 들면, 특개 평 10-150668호 공보에는, 한판의 CCD 이미지 센서 상에, 적색, 녹색 및 청색을 각각 투과시키는 색 필터를 체크무늬 모양으로 배열하여 색 신호(R, G, B)를 생성하고, 상관처리 및 보간처리에 의해 해상도를 높인 화상 신호를 생성하는 촬상장치가 기재되어 있다. 이러한 해상도를 높인 화상 신호에는, 색 위(false color)가 생긴다는 문제점이 있다.
한편, 삼판식 카메라는 3개의 고체 촬상소자를 가지며, 이 3개의 고체 촬상 소자 상에는, 각각 분광 거울에 의해 분광 된 적색광, 녹색광, 청색광이 입사된다. 이러한 고체 촬상소자는, 각각 독립하여 적색, 녹색 및 청색의 색 신호를 생성한다. 삼판식 카메라는, 단판식 카메라에 비해, 삼원색을 각각 독립하여 고체 촬상소자로 감광하기 때문에, 고해상도에서 재현성이 높은 화상이 얻어지지만, 회로 규모가 커져 화상 처리량도 증대하기 때문에, 고체 촬상소자로부터 색 신호의 읽기에 의해 긴 시간이 걸린다.
또, 삼판식 카메라에 있어서, 각 고체 촬상소자에 의해 얻어진 적색, 녹색 및 청색의 색 신호로부터 화상 신호를 생성하는 처리로서, 정방 화소 정렬(alignment) 처리와 정방 화소 이동(shift) 처리가 있다.
정방 화소 정렬 처리는, 도 13(a)에 나타내는 바와 같이, 각 고체 촬상소자로부터 얻어진 각 색 신호에 있어서의 화소의 위치를 공간적으로 일치시키는 처리이다. 즉, 정방 화소 정렬 처리에서는, 감광 센서가 읽어낸 화소수가 출력측의 화상 신호의 화소수와 같다. 따라서, 이 처리로 화상 신호의 해상도를 높게 하려면, 감광 센서측의 화소수와 마찬가지의 배율로 높게 할 필요가 있다. 예를 들면, 출력측의 정지화면의 해상도를 3M픽셀부터 6M픽셀로 올리는 경우에는, 감광 센서측의 화소수도 마찬가지로 3M픽셀부터 6M픽셀로 올려야 한다.
또, 정방 화소 이동 처리에서는, 도 13(b)에 나타내는 바와 같이, 녹색의 색 신호의 화소 배열로부터, 적색, 청색의 색 신호의 화소 배열을, 화소 사이즈(d)의 절반 d/2씩 수평방향으로 옮기고, 옮긴 화소의 색 신호를 보간 하는 것으로 해상도를 높인 촬상 신호를 얻는다. 이 방법에서는, 각 고체 촬상소자의 화소수에 대해 서 출력측의 촬상 신호의 화소수가 2배가 된다. 바꾸어 말하면, 고체 촬상소자의 화소수는, 출력측의 화상 신호의 화소수에 비해 절반으로 되어 있다.
여기에서, 1프레임 당의 해상도를 높게 하는 것에 따라서 고체 촬상소자로부터 색 신호의 읽기 시간이 길어진다. 또, 이러한 색 신호의 읽기 속도를 고속화하려면 하드웨어의 성능상 한계가 있다. 따라서, 마찬가지의 해상도의 화상 신호를 얻는 경우, 정방 화소 이동 처리에서는, 정방 화소 정렬 처리에 비해 고체 촬상소자의 화소수가 절반이어도 보간처리에 의해 동일한 정도의 해상도를 가지는 화상 신호를 생성하므로, 읽기 속도가 늦어도 동일한 정도의 프레임 레이트(frame rate)를 실현할 수 있다.
그런데, 삼판식 카메라에 있어서, 정방 화소 이동 처리에 의해 화상 신호를 출력하는 경우에는, 보간처리가 실시된 화상에 색 위가 생기므로, 정방 화소 정렬의 경우에 비해, 생성되는 화상의 재현성이 손상되어 버린다.
본 발명은, 이러한 실정을 감안하여 이루어진 것이며, 고(高) 프레임 레이트로 고화질의 화상을 생성하는 촬상장치 및 화상 신호의 처리 방법을 제공하는 것을 기술 과제로 한다.
상술한 바와 같은 기술 과제를 해결하기 위해서 제안되는 본 발명의 실시형태는, 개구부를 통하여 입사하는 빛에 감광하여, 적색, 녹색 및 청색마다, 각 화소가 인접하고 이차원 배열된 화상 신호를 생성하는 촬상장치이며, 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 적색신호를 출력하는 적색 촬상소자와, 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 녹색신호를 출력하는 녹색 촬상소자와, 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 청색신호를 출력하는 청색 촬상소자와, 체크무늬 모양으로 배열된 각 화소간의 빈 화소를, 당해 빈 화소의 주변 화소로 보간 하는 보간처리 수단과, 빈 화소의 주변 화소의 상관관계를 구하는 상관처리 수단을 가진다. 적색 촬상소자, 녹색 촬상소자 및 청색 촬상소자는, 각 화소의 위치가 공간적으로 일치한 적색신호, 녹색신호 및 청색신호를 각각 출력하고, 상관처리 수단은, 적색신호, 녹색신호 및 청색신호 중 적어도 어느 한쪽 1종류의 색 신호에 의거하여, 적색신호, 녹색신호 및 청색신호마다 상관관계를 구하고, 보간 수단은, 상관관계에 의거하여, 적색신호, 녹색신호 및 청색신호마다 빈 화소의 화소를 보간 하여, 화상 신호를 생성한다.
또, 본 발명의 다른 실시의 형태는, 적색, 녹색 및 청색마다 각 화소가 인접하여 이차원 배열된 화상 신호를 생성하는 신호처리방법이며, 3개의 촬상소자에 의해, 체크무늬 모양으로 화소가 배열된 적색신호, 체크무늬 모양으로 화소가 배열된 녹색신호 및 체크무늬 모양으로 화소가 배열된 청색신호를, 각 화소의 위치를 공간적으로 일치시켜 출력하고, 적색신호, 녹색신호 및 청색신호 중 적어도 1개의 색 신호에 의거하여, 적색신호, 녹색신호 및 청색신호마다, 체크무늬 모양으로 배열된 각 화소간에 형성되어 있는 빈 화소의 주변 화소에 있어서의 상관관계를 구하고, 상관관계에 의거하여, 적색신호, 녹색신호 및 청색신호마다 빈 화소를 보간 하여 촬상 신호를 생성한다.
본 발명은, 체크무늬 모양으로 화소가 각각 배열된 적색신호, 녹색신호, 청색신호 중 적어도 어느 한쪽 1개의 색 신호에 따라서, 적색신호, 녹색신호 및 청색신호마다 빈 화소의 주변 화소의 상관관계를 구하고, 상관관계에 따라서 빈 화소를 보간 하므로, 촬상소자로부터 읽어낸 화소수보다 고 해상도로 색 위가 없는 색 신호를 출력함으로써, 재현성이 손상되지 않고, 고 프레임 레이트로 고 해상도의 촬상 신호를 생성할 수 있다.
본 발명의 또 다른 기술 과제, 본 발명에 의해서 얻어진 구체적인 이점은, 이하에 있어서 도면을 참조하여 설명되는 실시의 형태로부터 한층 더 밝혀질 것이다.
도 1은, 디지털카메라의 전체 구성을 나타내는 블럭도이다.
도 2(a) 및 도 2(b)는, 촬상소자의 구성을 나타내는 도면이다.
도 3(a), 도 3(b) 및 도 3(c)는, 촬상한 적색광, 녹색광 및 청색광의 변환 처리를 나타내는 블럭도이다.
도 4는, 빈 화소에 화소치를 보간 하는 보간처리를 나타내는 도면이다.
도 5(a)는, 빈 화소에 대한 수평 보간처리를 나타내며 및 도 5(b)는 수직 보간처리를 나타내는 도면이다.
도 6은, 2차원 4화소 가중 보간처리를 빈 화소에 대해서 실시하는 것을 나타내는 모식도이다.
도 7은, 상관관계에 의거하여 빈 화소를 보간 하는 보간처리를 나타내는 도면이다.
도 8은, 1/4[fs] 부근의 주파수 성분을 통과시키는 밴드패스 필터의 특성을 나타내는 도면이다.
도 9는, 디 모자이크 처리부의 구성을 나타내는 블럭도이다.
도 10은, 구체적인 예 1에 관계되는 디 모자이크 처리부의 구성을 나타내는 블럭도이다.
도 11은, 구체적인 예 2에 관계되는 디 모자이크 처리부의 구성을 나타내는 블럭도이다.
도 12는, 각 촬상소자의 동일 좌표 상의 각 화소에 더하는 노이즈의 성질을 나타내는 도면이다.
도 13(a) 및 도 13(b)는, 종래의 삼원색 마다의 색 신호의 생성 공정을 나타내는 도면이다.
이하, 본 발명을 실시하기 위한 최선의 형태에 대해서, 도면을 참조하면서 상세하게 설명한다. 이하에 설명하는 실시의 형태는, 본 발명을, 개구부를 통하여 입사하는 빛에 감광하고, 적색, 녹색 및 청색마다, 각 화소가 인접하여 이차원 배열된 촬상 신호를 생성하는 촬상장치(이하, 디지털카메라라고 함.)에 적용한 것이다.
본 실시의 형태에 관계되는 디지털카메라(1)는, 도 1에 나타내는 바와 같이, 피사체를 촬상하여 적색, 녹색 및 청색의 삼원색으로 이루어지는 색 신호(20R, 20G, 20B)를 출력하는 촬상 처리부(100)와, 촬상 처리부(100)로부터 출력되는 색 신호(20R, 20G, 20B)에 소정의 신호처리를 실시하는 신호처리부(200)와, 촬상 처리부(100) 및 신호처리부(200)를 제어하는 연산 처리부(300)를 가진다.
촬상 처리부(100)는, 삼판식의 촬상 처리계이며, 도시하지 않는 개구부를 통하여 피사체로부터의 빛을 집광하는 광학 소자(110)와, 광학 소자(110)로 집광 된 빛을 적색광(1OR), 녹색광(lOG) 및 청색광(lOB)에 분광하는 분광 거울(120)과, 분광 거울(120)로 분광 된 적색광(lOR), 녹색광(lOG) 및 청색광(lOB)에 각각 감광하여 전기신호로 변환하는 3개의 촬상소자(130R, 130G, 130B)와, 촬상소자(130R, 130G, 130B)로 변환된 3개의 전기신호의 이득을 조절하여 디지털화된 색 신호(20R, 20G, 2OB)를 출력하는 A/D변환부(140R, 140G, 140B)와, 연산 처리부(300)로부터의 제어 신호에 따라 촬상소자(130R, 130G, 130B)의 동작을 제어하는 구동 회로(150)로 이루어진다.
신호처리부(200)는, 촬상 처리부(100)로부터 출력되는 색 신호(20R, 20G, 20B)에 밝기 보정이나 흑 레벨 보정 등의 광학 보정을 실시하는 광학 보정부(210)와, 광학 보정된 색 신호(20R, 20G, 20B)에 보간처리를 실시하여 색 신호(30R, 30G, 30B)를 출력하는 디 모자이크 처리부(220)와, 색 신호(30R, 30G, 30B)의 화이트 밸런스를 조절하는 화이트 밸런스(WB) 조절부(230)와, 화이트 밸런스가 조절된 색 신호(30R, 30G, 3OB)에 γ보정을 실시하는 γ보정부(240)와, γ보정된 색 신호(30R, 30G, 30B)에 따라 휘도 신호(Y) 및 색 차이 신호(Cr, Cb)를 각각 출력하는 Y보정부(250) 및 C보정부(260)와, 휘도 신호(Y) 및 색 차이 신호(Cr, Cb)의 해상도를 변환하여 소정의 방송 규격에 준거한 영상 신호를 출력하는 해상도 변환 처리 부(270)와, 디 모자이크 처리부(220) 및 γ보정부(240)로부터 각각 출력되는 색 신호(30R, 30G, 30B)를 적분하여 각 색 신호 사이에서의 광로(光路)의 차를 검출하는 광로차 검출부(280)를 가진다.
연산 처리부(300)는, 광로차 검출부(280)가 검출한 광로차 정보에 의거하여, 촬상 처리부(100) 및 신호처리부(200)의 각 처리부에 제어 신호를 공급한다. 구체적으로, 연산 처리부(300)는, 광로차 정보에 의거하여, 광학 소자(110)로부터 분광 거울(120)에 투과하는 광량을 조절하고, 또, 구동 회로(150)를 통하여 촬상소자(130R, 130G, 130B)의 동작을 제어하고, 또한 A/D변환부(140R, 140G, 140B)가 조절하는 신호의 이득을 제어한다.
다음으로, 촬상 처리부(100)에 있어서의 촬상소자(130R, 130G, 130B)의 구성에 대해서, 도 2를 참조하여 상세하게 설명한다.
촬상소자(130R, 130G, 130B)는, 각각 기판상에 복수의 감광소자가 배설되어 있다. 촬상소자(130R, 130G, 130B)에서는, 각 감광소자가, 적색광(lOR), 녹색광(1OG) 및 청색광(lOB)에 감광하는 것으로 전기신호로 변환되며, 변환된 전기신호를 A/D변환부(140R, 140G, 140B)로 출력한다. 여기서, 색 신호(ZOR, ZOG, ZOB)를 구성하는 각 화소치는, 촬상소자(130R, 130G, 130B)의 기판상에 배설된 감광소자가 출력하는 전기신호에 대응한다. 즉, 색 신호(ZOR, ZOG, ZOB)의 화소수는, 각각 각 고체 촬상소자가 가지는 감광소자의 수에 대응한다.
또, 한 변의 길이(d)로 이루어지는 정방 격자모양에 복수의 감광소자가 배치되어서 이루어지는 종래의 촬상소자에 대해서, 촬상소자(130R, 130G, 130B)는, 도 2에 나타내는 바와 같이, 한 변의 길이를 (21/2)×d로서 상술한 정방 격자를 45°회전시킨 2차원 배열에 감광소자를 배치한 것이다. 따라서, 촬상소자(130R, 130G, 130B)는, 상술한 종래의 촬상소자와 마찬가지로 각 감광소자의 간격이 d이지만, 상술한 종래의 촬상소자에 대해서 1화소당 감광소자의 면적이 2배이므로, 감광 특성이 높다.
또, 상술한 도 2에 나타내는 구성 이외에도, 촬상소자(130R, 130G, 130B)는, 도 2에 나타내는 바와 같이 감광소자를 배치할 수도 있다. 구체적으로, 촬상소자(130R, 130G, 130B)는, 상술한 정방 격자의 한 변의 길이(d)를 변경하지 않고 정방 격자를 45°회전시킨 2차원 배열에 감광소자를 배치한 것이다. 이러한 촬상소자(130R, 130G, 130B)는, 상술한 종래의 촬상소자와 비교한 경우, 감광소자의 면적이 같아서 감광 특성이 변함없지만, 각 감광소자의 간격이(21/2)×d／2가 되므로, 수평 및 수직방향의 각각 해상도가 21/2배가 된다.
또, 도 2(a) 및 도 2(b)에 나타내는 바와 같이 감광소자를 배치한 촬상소자(130R, 130G, 130B)는, 양쪽 모두, 종래의 촬상소자에 비해, 읽어내지는 데이터수가 반이 된다. 따라서, 같은 프레임 레이트의 화상을 촬상한다면, 촬상소자(130R, 130G, 130B)는, 종래의 촬상소자에 비해, 일정 시간당 감광소자로부터 읽어내는 데이터량이 반이 된다.
또한, 촬상소자(130R, 130G, 130B)는, 상술한 정방 격자에 한정하지 않고, 감광소자이지만, 예를 들면 마름모꼴이나 정육각형 등의 정다각형 격자모양을 45° 회전시켜 2차원 배열되도록 해도 좋다.
또, 촬상소자(130R, 130G, 130B)의 구조는, 체크무늬 모양으로 화소가 배열된 색 신호(20R, 20G, 20B)를 출력하는 것이라면 어떠한 방식이라도 좋고, CCD 방식이나 CMOS 방식의 어느 한쪽에 한정되지 않는다.
다음으로, 촬상 처리부(100)가 적색광(lOR), 녹색광(lOG) 및 청색광(1OB)으로부터 색 신호(20R, 20G, 20B)를 생성하고, 신호처리부(200)가 색 신호(20R, 20G, 20B)로부터 색 신호(30R, 30G, 30B)를 생성할 때까지의 처리 과정을 설명한다.
우선, 분광 거울에 의해 분광 된 적색광(1OR), 녹색광(lOG) 및 청색광(lOB)은, 각각 도 3(a)에 나타내는 촬상소자(130R, 130G, 130B)가 각각 가지는 감광소자에 의해 감광되며 전기신호로 변환된다. 전기신호로 변환된 적색광(lOR), 녹색광(lOG) 및 청색광(lOB)은, 각각 A/D변환부(140R, 140G, 140B)에 의해 도 3(b)에 나타내는 색 신호(20R, 20G, 20B)를 생성한다.
여기에서, 색 신호(20R, 20G, 20B)는, 상술한 바와 같이 촬상소자(130R, 130G, 130B)가, 종래의 촬상소자와 비교해서 일정 면적당의 감광소자의 수가 반이므로, 체크무늬 모양으로 각 화소가 배열된 신호로 이루어진다. 따라서, 체크무늬 모양으로 화소가 배열된 색 신호(20R, 20G, 20B)에 있어서, 각 화소간의 영역에는 화소가 존재하지 않는다. 디 모자이크 처리부(220)에서는, 이러한 빈 화소를, 그 주변 화소의 정보로부터 보간하고, 도 3에 나타내는 색 신호(30R, 30G, 30B)를 생성한다.
다음으로, 본 실시의 형태에 있어서의 빈 화소의 보간 방법을 이하에 나타내 고, 계속하여, 당해 보간 방법을 실현하는 디 모자이크 처리부(220)의 구성과 동작을 나타낸다.
우선, 빈 화소의 보간 방법으로서, 도 4에 나타내는 바와 같이, 빈 화소(C0)를 중심으로 한 주변 화소(C1, C2, …, Cn)를 이용하여, 빈 화소(C0)의 보간을 실시한다. 여기서, 각 화소의 화소치를 P(Ck)(k＝1, 2, …, n)로 하면, 빈 화소(C0)는, 수학식 1에 의해 화소치가 설정된다.
P(C0)＝C1(f)×P(C1)＋C2(f)×P(C2)＋…＋Cn(f)×P(Cn)
여기에서, 수학식 1에 있어서의 C1(f), C2(f), …, Cn(f)는, 각각 주변 화소에 대한 중량함수이다. 이러한 중량함수는, 임의로 결정해도 좋지만, 이하에서는, 수학식 1에 나타내는 보간처리에 의거하여 빈 화소의 화소치를 산출하는 구체적인 예로서, 보간예 1 및 보간예 2를 설명한다.
보간예 1에서는, 1차원 보간으로서 수평 보간처리와 수직 보간처리를 나타낸다. 수평 보간처리에서는, 도 5에 나타내는 바와 같이, 빈 화소(C0)와 같은 수평 라인 상에 인접하여 배열되어 있는 화소(C1h, C2h, C3h, C4h)에 대응하는 중량계수(C1h(f), C2h(f), C3h(f), C4h(f))를 설정하고, 이들 이외의 화소에 대응하는 중량계수를 0으로 한 수학식 2에 나타내는 보간처리이다.
P(C0)＝C1h(f)×P(C1h)＋C2h(f)×P(C2h)＋C3h(f)×P(C3h)＋C4h(f)×P(C4h)
또, 수직 보간처리는, 도 5에 나타내는 바와 같이, 빈 화소(C0)와 같은 수평 라인 상에 인접하여 배열되어 있는 화소(C1v, C2v, C3v, C4v)에 대응하는 중량계수(C1v(f), C2v(f), C3v(f), C4v(f))를 설정하고, 다른 화소에 대응하는 중량계수를 0으로 한 수학식 3에 나타내는 보간처리이다.
P(C0)＝C1v(f)×P(C1v)＋C2v(f)×P(C2v)＋C3v(f)×P(C3v)＋C4v(f)×P(C4v)
여기에서, 수직방향 보간을 실시하는 경우에는, 일반적으로 색 신호(20R, 20G, 20B)의 각 화소치가 수평방향으로 주사하여 배치되어 있으므로, 수직방향의 각 화소치를 기억하는 버퍼가 필요하다. 이것에 대해서, 수평방향 보간을 실시하는 경우에는, 이러한 버퍼를 이용할 필요가 없기 때문에, 수직방향 보간처리에 비해, 회로 규모를 작게 설계할 수 있다.
계속하여, 보간예 2를, 이차원 보간에 관한 구체적인 예로서 도 6을 참조하여 설명한다. 보간예 2에서는, 2차원 보간으로서 도 6에 나타내는 바와 같이, 빈 화소(C0)를, 수평방향 및 수직방향의 각각에 인접하는 4개의 화소의 각 화소치에 의거하여 보간을 실행한다.
구체적으로는, 상술한 수학식 1에 있어서의 중량계수(Cn(f))를 모두 1/n로 한 수학식 4를 도출한다.
P(C0)＝(P(C1)＋P(C2)＋…＋P(Cn))／n
또한, 인접하는 4개의 화소의 각 화소치에 의거하여 보간을 실시하기 위해, 수학식 4 중의 n를 4로서 수학식 5를 도출한다.
P(C0)＝(P(C1)＋P(C2)＋P(C3)＋P(C4))／4
수학식 5에 나타내는 바와 같이, 인접하는 4화소에 동일한 계수를 곱함으로써, 빈 화소가 상하 좌우에 인접하는 4화소의 화소치를 평균화한 화소치로, 빈 화소(C0)를 보간 할 수 있다.
여기에서, 수학식 5에 나타내는 바와 같이 수평방향 및 수직방향의 각각에 인접하는 4화소의 각 화소치를 평균하여 빈 화소를 보간하는 경우, 빈 화소의 주변에 에지(edge)가 있으면, 그 에지가 흐릿해져 버리는 경우가 있다. 따라서, 에지가 흐릿해져 버리는 것을 막기 위해서는, 인접한 화소간에서의 상관관계를 구하고, 이 상관관계에 의거하여 중량함수를 결정하는 것이 바람직하다. 따라서, 수학식 6에 나타내는 바와 같이, 각 중량계수(C1(f), C2(f), C3(f), C4(f))를, 각 화소(C1, C2, C3, C4)의 상관치에 의거하여 설정한다.
P(C0)＝C1(f)×P(C1)＋C2(f)×P(C2)＋C3(f)×P(C3)＋C4(f)×P(C4)
보간예 2와 마찬가지로 상술한 보간예 1에 나타낸 1차원 보간처리를, 수평방향 또는 수직방향의 어느 한쪽에만 실시하여, 빈 화소를 보간하는 경우에도, 에지가 흐릿해져 화질의 열화가 생겨버리는 경우가 있다. 따라서, 이러한 화질의 열화를 고려하여 보간처리를 실시하는 구체적인 예를, 도 7을 참조하여 상세하게 설명한다.
빈 화소 P(x,y)에 대해서, 수평방향 및 수직방향의 각각에 인접하는 2화소의 화소치로부터 보간처리를 실시한다(단계 S1). 구체적으로는, 2차원 배열의 임의의 좌표(x,y)에 있어서의 빈 화소에 대해서, 보간예 1에서 나타낸 바와 같이, 수평방향(x방향) 및 수직방향(y방향)의 각각에 인접하는 2화소의 화소치의 평균치를 산출한다. 즉, 수학식 7 및 수학식 8에 나타내는 바와 같이, 각각 수평 보간 화소치 GH(x,y) 및 수직 보간 화소치 GV(x,y)를 산출한다.
GH(x,y)＝(P(x－1,y)＋P(x＋1,y))／2
GV(x,y)＝(P(x,y－1)＋P(x,y＋1))／2
또한, 산출된 GH 및 GV에는, 노이즈의 영향을 저감하기 위해, 미디언(median) 필터 처리가 실시된다(단계 S2).
다음으로, 빈 화소의 주변에 화소치의 에지가 존재하는지 아닌지를 판단하기 위해서 밴드패스 필터 처리를 실시한다. 본 구체적인 예에서는, 1/4[fs]의 에지 를 검출하는 밴드패스 필터를 이용한다. 이 밴드패스 필터는, 도 8에 나타내는 바와 같이, 주파수가 1/4[fs] 부근의 주파수 성분을 통과시켜, DC 및 1/2[fs] 부근의 주파수 성분을 감쇠시킨다.
또한, 1/4[fs] 부근의 주파수 성분을 통과시키는 것에 한정하지 않고, 목적에 따라 1/2[fs]나 1/8[fs]의 주파수 성분을 통과시키는 밴드패스 필터를 이용하도록 해도 좋다
빈 화소 P(x,y)에 대하여, 수평방향 및 수직방향 각각의 밴드패스 필터의 이득 HBPF(x,y), VBPF(x,y)는, 각각 수학식 9 및 수학식 10에서 나타내진다.
HBPF(x,y)＝(－P(x－2,y)＋2P(x,y)－P(x＋2,y))／4
VBPF(x,y)＝(－P(x,y－2)＋2P(x,y)－P(x,y＋2))／4
여기에서, 수학식 9 중의 P(x,y)는, 빈 화소이다. 또, P(x,y)를 기준으로서 2화소 분 평행이동 한 P(x－2,y), P(x－2,y)도, 각 화소가 체크무늬 모양으로 배열되어 있으므로, 마찬가지로 빈 화소로 되어있다. 따라서, 수학식 8에 나타내는 밴드패스 필터 처리를 실시하기 전에, 보간처리에 의해 P(x－2,y), P(x,y), P(x＋2,y)를 구하는 것을 필요로 한다.
본 실시 예에서는, P(x－2,y), P(x,y), P(x＋2,y)를, 상술한 수학식 8에 의해 수직 보간 화소치 GV(x－2,y), GV(x,y), GV(x＋2,y)로 한다(단계 S3). 또, 수학식 7에 있어서의 P(x,y－2), P(x,y), P(x,y＋2)도 마찬가지의 보간처리를 필요로 하여, 각각 GH(x,y－2), GH(x,y), GH(x,y＋2)로 한다.
계속하여, 산출된 보간 화소치를 수학식 9 및 수학식 10에 대입하여, 각각 HBPF(x,y), VBPF(x,y)를 구한다(단계 S4). 이와 같이 하여, HBPF(x,y) 및 VBPF(x,y)는, 각각 수직방향 및 수평방향으로 1/4[fs]의 주파수 성분의 에지를 검출한다.
따라서, 좌표(x,y)의 빈 화소에 존재하는 에지의 방향은, 수학식 11에 나타내는 바와 같이, HBPF(x,y) 및 VBPF(x,y)의 비율을 이용하여, 상관치 CORR(x,y)로 나타내진다(단계 S5).
CORR(x,y)＝HBPF(x,y)／(HBPF(x,y)＋VBPF(x,y))
CORR(x,y)은, 수직방향의 상관치를 나타내고, 그 값의 변화단계가 0부터 1까지이다.
즉, CORR(x,y)의 값이 크면 VBPF(x,y)에 비해 HBPF(x,y)의 값이 크기 때문에, 수직방향으로 에지가 있을 가능성이 높아진다. 수직방향으로 에지가 있는 경우, 빈 화소의 주변 화소는, 수직방향으로 상관성을 가지고 있다. 또한, CORR(x,y)의 값이 작으면, 빈 화소의 주변 화소는, 수평방향으로 상관성을 가지고 있게 된다.
그리고, 본 실시 예에서는, 수학식 12에 나타내는 바와 같이, 상관치(CORR(x,y))에 의거하여, 수평 보간 화소치(GH(x,y)) 및 수직 보간 화소치(GV(x,y))로 부터 좌표(x,y)에 있어서의 F0의 화소치(P(C0))를 산출한다(단계 S6).
P(x,y)＝CORR(x,y)×GV(x,y)＋(1－CORR(x,y))×GH(x,y)
예를 들면, CORR(x,y)의 값이 크면, GH(x,y)보다 GV(x,y)에 곱한 중량계수를 크게 하여, 빈 화소를 보간하게 된다. 또한, CORR(x,y)의 값이 작으면, GV(x,y)보다 GH(x,y)에 곱한 중량계수를 크게 하여, 빈 화소를 보간하게 된다.
여기에서, 수학식 12에서는, 보간예 2에서 나타낸 수학식 6에 있어서의 중량계수(C1(f) 및 C3(f))를 CORR(x,y)에, 중량계수(C2(f) 및 C4(f))를 (1-CORR(x,y))로 하여, 보간처리를 실시하는 것으로 등가인 관계에 있다.
이상과 같은 보간 방법에 의거하여, 디 모자이크 처리부(220)는, 크게 나누어 3개의 처리를 실시한다. 즉, 디 모자이크 처리부(220)는, 우선, 빈 화소에 대하여 수평방향 및 수직방향으로 보간 화소치(GH(x,y) 및 GV(x,y))를 구하는 보간처리와, 빈 화소의 주변에 있어서의 상관치(CORR(x,y))를 구하는 상관처리와, 상관치(CORR(x,y))에 의거하여 보간 화소치(GH(x,y), GV(x,y))로부터 빈 화소를 보간 하는 합성 보간처리를 실시한다.
또, 상술한 보간처리에서는, 좌표(x,y)의 빈 화소에 주목하여, 그 보간처리를 나타냈지만, 2차원 배열되어 있는 모든 빈 화소에 대하여 실시하는 것으로 한다. 이와 같이 하여, 체크무늬 모양으로 화소가 배열되어 복수의 빈 화소가 존재하는 색 신호로부터, 빈 화소가 보간 된 색 신호를 생성할 수 있다.
여기에서, 디 모자이크 처리부(220)는, 색 신호(20R, 20G, 20B)로부터 색 신호(30R, 30G, 30B)를 상술한 보간처리에 의거하여 산출하기 때문에, 도 9에 나타내는 바와 같은 처리 블록에 의해 구성된다.
즉, 디 모자이크 처리부(220)는, 보간처리부(221R, 221G, 221B)와, RGB 합성 처리부(222)와, 상관처리부(223R, 223G, 223B)와, 합성 보간처리부(224R, 224G, 224B)를 가진다.
보간처리부(221R)는, 색 신호(20R)의 빈 화소에 대하여, 수학식 7 및 수학식 8에 나타내는 보간처리를 실시하고, 수평 보간 화소치(GHR)와 수직 보간 화소치(GVR)를 각각 출력한다. 마찬가지로 하여, 보간처리부(221G)는 수평 보간 화소치(GHG)와 수직 보간 화소치(GVG)를 출력하고, 보간처리부(221B)는 수평 보간 화소치(GHB)와 수직 보간 화소치(GVB)를 각각 출력한다.
RGB 합성 처리부(222)는, 색 신호(20R, 20G, 20B)로부터, 수학식 13∼수학식 15에 나타내는 바와 같은 합성 신호(SR, SG, SB)를 출력한다. 또, 이 합성 신호(SR, SG, SB)는, 각각 상관처리부(223R, 223G, 223B)에 입력된다.
SR＝a1uR＋b1uG＋c1uB
SG＝a2uR＋b2uG＋c2uB
SB＝a3uR＋b3uG＋c3uB
여기에서, 수학식 13∼수학식 15에 나타내는 UR, UG, UB는, 각각 색 신호(20R, 20G, 20B)로 한다.
상관처리부(223R)는, 합성 신호(SR)에 있어서의 빈 화소에 대해서, 수학식 9 및 수학식 10에 나타내는 밴드패스 필터에서 상관처리를 실시하고, 수학식 11에 의해 상관치(CORRR)를 산출한다. 마찬가지로 하여, 상관처리부(223G) 및 상관처리부(223B)는, 각각 상관치(CORRG) 및 상관치(CORRB)를 산출한다.
합성 보간처리부(224R)는, 보간처리부(211R)가 출력하는 수평 보간 화소치(GHR)와, 수직 보간 화소치(GVR)와, 상관처리부(233R)가 출력하는 상관치(CORRR)를 수학식 12에 대입하여 빈 화소를 보간 하고, 색 신호(30R)를 출력한다. 마찬가지로 하여, 합성 보간처리부(244G, 244B)는, 각각 수학식 12에 의해 색 신호(30G, 30B)를 출력한다.
이와 같이, 디 모자이크 처리부(220)는, 체크무늬 모양으로 화소가 배열된 색 신호(20R, 20G, 20B)에 상술한 상관처리 및 보간처리를 실시하고, 빈 화소가 보간 된 색 신호(30R, 30G, 30B)를 출력한다.
디 모자이크 처리부(220)를 가지는 디지털카메라(1)는, 촬상 처리부(100)에 의해서 출력된 색 신호(20R, 20G, 20B)의 화소수 보다 고해상도에서 색 위가 없는 색 신호(30R, 30G, 30B)를 출력한다. 또, 출력측의 화상 신호의 해상도를 고정한 경우, 촬상 처리부(100)에 있어서의 촬상소자(130R, 130G, 130B)는, 종래의 촬상소자에 비해, 일정시간당 감광소자로부터 읽어내는 데이터량이 반이 된다. 따라서, 본 실시의 형태에 관계되는 디지털카메라(1)는, 상술한 감광소자로부터의 데이터의 읽기 속도를 빠르게 하지 않고, 디 모자이크 처리부(220)에 의한 보간처리에 의해 고해상도의 화상을 생성할 수 있다.
특히, 동일한 해상도의 화상을 고 프레임 레이트로 출력함에는, 일정시간당 감광소자로부터 읽어내는 데이터량을 많이 할 필요가 있다. 그러나, 데이터의 읽기 속도를 빠르게 하려면 하드웨어 상의 제약이 있다. 이러한 제약에 대하여, 본 실시의 형태에 관계되는 디지털카메라(1)는, 촬상소자의 화소수를 증가시키지 않고, 고해상도로 재현성이 높은 화상을 생성할 수 있다. 즉, 본 실시의 형태에 관계되는 디지털카메라(1)는, 종래의 삼판식의 촬상소자를 가지는 디지털카메라에 비해, 촬상소자에 있어서의 감광소자의 읽기 속도를 빠르게 하지 않고, 고 프레임 레이트로 고화질의 화상을 출력할 수 있다.
디 모자이크 처리부(220)에서는, 상술한 바와 같이, 색 신호(20R, 20G, 20B) 로부터, 수학식 1∼수학식 15에 나타내는 바와 같은 합성 신호(SR, SG, SB)를 출력하지만, 구체적으로 계수(a, b, c)의 각 값을 결정하는 것을 필요로 한다. 이하에서는, 이들에 구체적인 계수를 적용한 디 모자이크 처리부(220)의 구성을, 구체적인 예 1 및 구체적인 예 2로서 설명한다.
구체적인 예 1로서, 도 10에 나타내는 디 모자이크 처리부(420)는, 상술한 RGB 합성 처리부의 각 계수 가운데, a1, b2, c3을 각각 1로, 또, b1, c1, a2, c2, a3, b3을 각각 0으로 설정한 것이다. 즉, 구체적인 예 1로서 가리키는 디 모자이크 처리부(420)는, RGB 합성 처리부의 처리 블록을 생략하여 나타낼 수 있고, 색 신호(20R, 20G, 20B)를 각각 독립하여, 상관처리 및 보간처리를 실시한다.
계속하여, 구체적인 예 2로서 도 11에 나타내는 디 모자이크 처리부(520)에서는, RGB 합성 처리부(522)의 각 계수를, a1＝a2＝a3＝a, b1＝b2＝b3＝b, c1＝c2＝c3＝c로서 나타낸 것이다. 즉, 구체적인 예 2의 디 모자이크 처리부(520)는, 상관처리부(523)가 1개뿐이다. 여기에서, RGB 합성 처리부(522)는 수학식 16에 나타내는 합성 신호(S)를 생성하고, 합성 신호(S)를 상관처리부(522)에 공급한다.
S＝auR＋buG＋cuB
상관처리부(523)는, 합성 신호(S)에 있어서의 각 보간 대상 화소의 상관치(CORR)를 구하여, 합성 보간처리부(524R, 524G, 524B)에 공급한다. 그리고, 합 성 보간처리부(524R, 524G, 524B)에서는, 각각 동일한 상관치(CORR)에 의거하여, 보간 대상 화소가 보간 된 색 신호(30R, 30G, 30B)를 출력한다.
여기에서, 수학식 16의 구체적인 계수의 값으로서, 삼원색신호로부터 휘도 신호를 생성하는 비율(a＝0.3, b＝0.6, c＝0.1)이나, 삼원색 중 녹색신호를 기준으로 한 비율(a＝O, b＝l, c＝O)을 이용한다.
계속하여, 회로 규모, 노이즈 내성 및 화질의 3개 면으로부터, 상술한 구성상 다른 구체적인 예 1 및 구체적인 예 2의 디 모자이크 처리부(420, 520)에 대하여 비교를 실시한다.
우선, 회로 규모로부터 구체적인 예 1 및 구체적인 예 2를 비교한다. 상술한 바와 같이, 구체적인 예 1의 디 모자이크 처리부(420)가 3개의 상관처리부(423R, 423G, 423B)를 가짐에 대하여, 구체적인 예 2의 디 모자이크 처리부(520)는, 1개의 상관처리부(523)를 가진다. 여기에서, 1개의 상관처리부의 처리량이, 1종류의 색 신호에 대응하는 보간처리부의 처리량보다 매우 많기 때문에, 구체적인 예 2의 디 모자이크 처리부(520)는, 구체적인 예 1에 비해 상관처리를 실시하는 회로 규모를 큰 폭으로 축소할 수 있다.
다음으로, 노이즈 내성으로부터 구체적인 예 1 및 구체적인 예 2를 비교한다. 본 실시의 형태에 관계되는 디지털카메라(1)는, 적색광(lOR), 녹색광(lOG), 청색광(lOB)이, 각각 독립하여 3개의 촬상소자(130R, 130G, 130B)의 감광소자에 의해 전기신호로 변환된다. 따라서, 촬상소자(130R, 130G, 130B)는, 서로 독립하여 노이즈가 발생한다. 예를 들면, 촬상 시에 발생하는 노이즈의 영향에 의해, 도 12에 나타내는 바와 같이, 동일 좌표상의 화소에 대해서, 촬상소자(130R, 130G)에 세로방향의 에지가 생김과 동시에 촬상소자(130B)에 가로방향의 에지가 생긴다.
이러한 경우에 있어서, 구체적인 예 1의 디 모자이크 처리부(220)에 의해 색 신호(20R, 20G, 20B)를 각각 독립하여 상관처리를 실시하면, 색 신호(20R) 및 색 신호(20G)에서는 가로방향의 상관관계에 의거하여 빈 화소를 보간하는데 대하고, 색 신호(20B)에서는 세로 방향의 상관관계에 의거하여 빈 화소를 보간 하게 되므로, 색 위가 생겨 버린다.
또한, 구체적인 예 2의 디 모자이크 처리부(220)는, 동일한 합성 신호(S)를 이용하여 색 신호(2OR, 20G, 20B)를 보간 하므로, 색 신호마다 다른 방향에서 빈 화소를 보간 하는 일이 없기 때문에, 색 위가 생길 일이 없다. 즉, 상술한 도 12에 나타내는 바와 같은 노이즈가 촬상소자(130R, 130G, 130B)에 생긴 경우에는, 구체적인 예 1 보다, 구체적인 예 2가 노이즈의 영향에 의한 화질의 열화를 억제할 수 있다.
또한, 화질의 면에서 구체적인 예 1 및 구체적인 예 2를 비교한다. 예를 들면, 촬상소자(130R, 130G, 130B)에 있어서의 동일 좌표상의 화소에 있어서, 적색광(lOR)에만 에지가 존재하는 것으로 한다. 이 경우에는, 구체적인 예 1의 디 모자이크 처리부(420)는, 색 신호(20R, 20G, 20B)에 대해서, 각각 독립하여 상관처리를 실시하고 있으므로, 상술한 적색광(lOR) 만의 에지에 따른 상관치(CORRR)를 산출하고, 이 상관치(CORRR)로부터 색 신호(20R)의 빈 화소를 보간 한다.
또한, 구체적인 예 2의 디 모자이크 처리부(520)에 있어서, 합성 신호(S)의 합성 비율이 a＝O.3, b＝0.6, c＝0.1의 경우에는, 적색광(lOR)에만 존재하는 에지의 영향을 받고, 색 신호(20G, 20B)의 빈 화소가 보간 되는 것으로 되어 버린다. 또, 구체적인 예 2의 디 모자이크 처리부(520)에 있어서, 합성 신호(S)의 합성 비율이 a＝0, b＝l, c＝O의 경우에는, 적색광(lOR)에만 존재하는 에지를 고려하여, 색 신호(20R)의 빈 화소가 보간 되지 않는다.
이와 같이, 구체적인 예 1의 디 모자이크 처리부(420)에서는, 삼원색 중에서 단색광에만 존재하는 에지도 고려하여, 각각의 색 신호(30R, 30G, 30B)를 출력한다. 따라서, 구체적인 예 1의 디 모자이크 처리부(420)에서는, 상술한 노이즈에 따른 영향이 없으면, 구체적인 예 2에 비해 보다 고화질의 색 신호(30R, 30G, 30B)를 출력할 수 있다.
이상과 같이, 본 실시의 형태에 관계되는 디지털카메라(1)에서는, 고 프레임 레이트로 고해상도의 촬상 신호를 재현성이 손상되지 않고 생성할 수 있다.
또한 본 발명은, 상술한 실시의 형태에만 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능한 것은 물론이다.

Claims (5)

  1. 개구부를 통하여 입사하는 빛에 감광하여, 적색, 녹색 및 청색마다, 각 화소가 인접하여 2차원 배열된 화상 신호를 생성하는 촬상장치이며,
    상기 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 적색신호를 출력하는 적색 촬상소자와,
    상기 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 녹색신호를 출력하는 녹색 촬상소자와,
    상기 입사광에 감광하여 체크무늬 모양으로 화소가 배열된 청색신호를 출력하는 청색 촬상소자와,
    체크무늬 모양으로 배열된 각 화소간의 빈 화소를, 당해 빈 화소의 주변 화소로 보간 하는 보간처리 수단과,
    상기 빈 화소의 주변 화소의 상관관계를 구하는 상관처리 수단을 가지며,
    상기 적색 촬상소자, 상기 녹색 촬상소자 및 상기 청색 촬상소자는, 각 화소의 위치가 공간적으로 일치한 상기 적색신호, 상기 녹색신호 및 상기 청색신호를 각각 출력하고,
    상기 상관처리 수단은, 상기 적색신호, 상기 녹색신호 및 상기 청색신호중 적어도 어느 한쪽 1종류의 색 신호에 의거하여, 상기 적색신호, 상기 녹색신호 및 상기 청색신호마다 상기 상관관계를 구하고,
    상기 보간 수단은, 상기 상관관계에 의거하여, 상기 적색신호, 상기 녹색신 호 및 상기 청색신호마다 상기 빈 화소의 화소를 보간 하여, 상기 화상 신호를 생성하는 것을 특징으로 하는 촬상장치.
  2. 제 1항에 있어서,
    상기 상관처리 수단은, 상기 적색신호에 의거하여 상기 적색신호에 있어서의 빈 화소의 주변 화소의 상기 상관관계를 구하고, 상기 녹색신호에 의거하여 상기 녹색신호에 있어서의 빈 화소의 주변 화소의 상기 상관관계를 구하고, 상기 청색신호에 의거하여 상기 청색신호에 있어서의 빈 화소의 주변 화소의 상기 상관관계를 구하는 것을 특징으로 하는 촬상장치.
  3. 제 1항에 있어서,
    상기 상관 수단은, 상기 적색신호, 상기 녹색신호 및 상기 청색신호를 합성하고, 상기 합성된 색 신호에 있어서의 빈 화소의 주변 화소의 상관관계를 구하는 것을 특징으로 하는 촬상장치.
  4. 제 1항에 있어서,
    상기 적색 촬상소자, 상기 녹색 촬상소자 및 상기 청색 촬상소자는, 각각 정방 격자를 45°회전시킨 2차원 배열상에 감광소자가 배치되어 있는 것을 특징으로 하는 촬상장치.
  5. 적색, 녹색 및 청색마다 각 화소가 인접하여 2차원 배열된 화상 신호를 생성하는 신호처리방법이며,
    3개의 촬상소자에 의해, 체크무늬 모양으로 화소가 배열된 적색신호, 체크무늬 모양으로 화소가 배열된 녹색신호 및 체크무늬 모양으로 화소가 배열된 청색신호를, 각 화소의 위치를 공간적으로 일치시켜 출력하고,
    상기 적색신호, 상기 녹색신호 및 상기 청색신호 중 적어도 1개의 색 신호에 의거하여, 상기 적색신호, 상기 녹색신호 및 상기 청색신호마다, 체크무늬 모양으로 배열된 각 화소간의 빈 화소의 주변 화소에 있어서의 상관관계를 구하고,
    상기 상관관계에 의거하여, 상기 적색신호, 상기 녹색신호 및 상기 청색신호마다 상기 빈 화소를 보간 하여 상기 촬상 신호를 생성하는 것을 특징으로 하는 신호처리방법.
KR1020087029506A 2006-06-16 2007-06-01 촬상장치 및 신호처리방법 KR20090018803A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006167885A JP4548390B2 (ja) 2006-06-16 2006-06-16 撮像装置及び信号処理方法
JPJP-P-2006-167885 2006-06-16

Publications (1)

Publication Number Publication Date
KR20090018803A true KR20090018803A (ko) 2009-02-23

Family

ID=38831605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087029506A KR20090018803A (ko) 2006-06-16 2007-06-01 촬상장치 및 신호처리방법

Country Status (7)

Country Link
US (1) US8471936B2 (ko)
EP (1) EP2031881B1 (ko)
JP (1) JP4548390B2 (ko)
KR (1) KR20090018803A (ko)
CN (1) CN101473659B (ko)
TW (1) TW200822764A (ko)
WO (1) WO2007145087A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495348B2 (en) * 2008-06-26 2013-07-23 Lsi Corporation Efficient root booting with solid state drives and redirect on write snapshots
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP5640371B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
EP2800378A4 (en) * 2011-12-27 2015-06-17 Fujifilm Corp COLOR IMAGING ELEMENT
US9041838B2 (en) 2012-02-14 2015-05-26 Gentex Corporation High dynamic range imager system
US9280803B2 (en) 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60838B2 (ja) * 1976-05-28 1985-01-10 ソニー株式会社 カラー固体撮像装置
JPS59154889A (ja) 1983-02-23 1984-09-03 Hitachi Denshi Ltd 固体カラ−撮像装置
JPH0458682A (ja) * 1990-06-28 1992-02-25 Canon Inc 撮像装置
EP0509820B1 (en) * 1991-04-19 1998-01-07 Canon Kabushiki Kaisha Image pickup apparatus
JPH04320372A (ja) * 1991-04-19 1992-11-11 Canon Inc 撮像装置
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JPH07250341A (ja) * 1994-03-11 1995-09-26 Asahi Optical Co Ltd 電子カメラのホワイトバランス調整装置
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
JP3787927B2 (ja) 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JPH1176159A (ja) 1997-09-09 1999-03-23 Fuji Photo Optical Co Ltd 複数の撮像素子を組み合わせた画像形成装置
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) * 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4423452B2 (ja) * 2000-12-27 2010-03-03 富士フイルム株式会社 固体撮像装置
JP2005175893A (ja) * 2003-12-11 2005-06-30 Fuji Film Microdevices Co Ltd ２板式カラー固体撮像装置及びデジタルカメラ
JP4717371B2 (ja) * 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
JP4617152B2 (ja) 2004-12-17 2011-01-19 株式会社マキタ 切断機の切断材位置決めフェンス
CN101861361B (zh) 2007-10-04 2012-07-18 中村宪司 含玻璃成型用组合物及其制造方法

Also Published As

Publication number Publication date
JP2007336387A (ja) 2007-12-27
JP4548390B2 (ja) 2010-09-22
CN101473659A (zh) 2009-07-01
CN101473659B (zh) 2011-06-15
TWI338511B (ko) 2011-03-01
US20100231745A1 (en) 2010-09-16
EP2031881B1 (en) 2011-11-16
EP2031881A4 (en) 2009-12-16
WO2007145087A1 (ja) 2007-12-21
US8471936B2 (en) 2013-06-25
EP2031881A1 (en) 2009-03-04
TW200822764A (en) 2008-05-16

Similar Documents

Publication Publication Date Title
US9288454B2 (en) Color imaging apparatus having color imaging element
US8704922B2 (en) Mosaic image processing method
US7626619B2 (en) Digital camera
KR20090018803A (ko) 촬상장치 및 신호처리방법
JP5698875B2 (ja) カラー撮像素子および撮像装置
WO2018198766A1 (ja) 固体撮像装置および電子機器
US8111298B2 (en) Imaging circuit and image pickup device
US20150256800A1 (en) Signal processing device, signal processing method, and signal processing program
US7259788B1 (en) Image sensor and method for implementing optical summing using selectively transmissive filters
US8045022B2 (en) Imaging apparatus for correcting a luminance signal
US20150042872A1 (en) Imaging device
JP2006303774A (ja) 撮像装置
JP4303525B2 (ja) 補間画素生成装置および方法
JP4269369B2 (ja) カメラ信号処理装置及びカメラ信号処理方法
JP4269368B2 (ja) カメラ信号処理装置及びカメラ信号処理方法
JP3515585B2 (ja) ２板式撮像装置
JP3406674B2 (ja) ２板式撮像装置
JP2585015B2 (ja) カラ−撮像装置
JP4273546B2 (ja) カメラ信号処理装置及びカメラ信号処理方法
JPH089395A (ja) カラー撮像装置
JPS60149286A (ja) カラ−固体撮像装置
JP2000236557A (ja) カラービデオカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application