KR20080083712A - 이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치 - Google Patents

이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치 Download PDF

Info

Publication number
KR20080083712A
KR20080083712A KR1020087019704A KR20087019704A KR20080083712A KR 20080083712 A KR20080083712 A KR 20080083712A KR 1020087019704 A KR1020087019704 A KR 1020087019704A KR 20087019704 A KR20087019704 A KR 20087019704A KR 20080083712 A KR20080083712 A KR 20080083712A
Authority
KR
South Korea
Prior art keywords
color
value
interpolation
interpolation point
pixel
Prior art date
Application number
KR1020087019704A
Other languages
English (en)
Inventor
셰인 칭-펭 허
Original Assignee
마이크론 테크놀로지, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크 filed Critical 마이크론 테크놀로지, 인크
Publication of KR20080083712A publication Critical patent/KR20080083712A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은, 컬러 평면 보간이 실행되는 픽셀 이미지 내에서 컬러-보간점을 선택하는 컬러 패턴에서의 컬러 평면 보간 방법 및 시스템을 제공한다. 컬러-보간점이 선택되면, 각 컬러-보간점에서 컬러 패턴에서의 각 컬러에 대한 값이 보간된다.

Description

이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및 장치{METHOD AND APPARATUS FOR PRODUCING BAYER COLOR MOSAIC INTERPOLATION FOR IMAGERS}
본 발명은 고체 이미지 센서에 사용하는 컬러 필터에 관한 것이다.
또한 이미저로 알려져 있는 이미지 센서는 1960년대말 및 1970년대초에 텔레비전 이미지 포착, 송신 및 디스플레이를 위해 주로 개발되었다. 이미저는 특수한 파장(광량자, x-선 등과 같은)의 입사 방사선을 흡수하고, 흡수된 방사선에 대응하는 전기 신호를 생성한다. 전하 결합 소자(CCD), 포토다이오드 어레이, 전하 주입 장치(CID), 하이브리드 초점면 어레이 및 CMOS 이미저를 포함하는 다수의 상이한 타입의 반도체 기반 이미저가 존재한다.
이들 이미저는 일반적으로 광센서를 포함하는 픽셀 셀의 어레이로 이루어지고, 여기에서 각 픽셀은 이미지가 어레이 상에 초점이 맞춰질 때 그 요소에 영향을 미치는 광의 강도에 대응하는 신호를 생성한다. 이들 신호는 그 후, 예를 들면, 모니터 상에 대응하는 이미지를 디스플레이하기 위해 저장되거나, 광 이미지에 대한 정보를 제공하도록 사용될 수도 있다. 광센서는 일반적으로 포토트랜지스터, 광도체 또는 포토다이오드이다. 각 픽셀에 의해 생성되는 신호의 크기는 따라서 광센서에 영향을 미치는 광량에 비례한다.
광센서가 컬러 이미지를 캡처(capture)하도록 하기 위해, 광센서는 예를 들면, 베이어(Bayer) 패턴을 사용할 때 적색(R) 광자, 녹색(G) 광자 및 청색(B) 광자를 분리하여 검출할 수 있어야 한다. 따라서, 각 픽셀은 하나의 컬러 또는 스펙트럼 대역만을 감지해야 한다. 이를 위해, 컬러 필터 어레이(CFA)가 일반적으로 픽셀의 전방에 위치하여, 각 픽셀이 그 관련 필터의 컬러의 광을 측정하게 된다. 따라서, 컬러 이미지 센서의 각 픽셀은 특정 패턴에 따라 적색, 녹색 또는 청색 필터 중 어느 하나로 덮인다.
대부분의 저가의 CMOS 또는 CCD 이미지 센서에 대해서는, 컬러 필터가 센서 셀과 일체화된다. 컬러 필터 패턴의 일반적인 예는 미국 특허 제3,971,065호(그 개시 내용이 참고로 여기에 통합되어 있다)에 설명되고 "베이어 패턴" 컬러 필터라고 통칭되는 타일드(tiled) 컬러 필터 어레이이다.
도 1에 도시된 바와 같이, 베이어 패턴(100)은 반복적인 적색(R), 녹색(G) 및 청색(B) 필터의 어레이이다. 베이어 패턴(100)에서, 적색, 녹색 및 청색 픽셀은, 교호하는 적색 및 녹색 픽셀이 어레이의 첫 번째 로우(105) 상에 있고 교호하는 청색 및 녹색 픽셀이 다음의 로우(110) 상에 있도록 배열된다. 이들 교호하는 로우들은 어레이의 전체에 걸쳐 반복된다. 따라서, 이미지 센서가 한 라인씩 판독될 때, 첫 번째 라인에 대한 픽셀 시퀀스는 GRGRGR 등을 나타내고, 그 후 교호하는 라인 시퀀스는 BGBGBG 등을 나타낸다. 이 출력은 순차 RGB 또는 sRGB라고 한다.
베이어 패턴(100)에서, 모든 3개의 기본 컬러에 대한 샘플링 레이트(sampling rates)는 인간 시각(human visual) 시스템의 예민함에 따라 조정된다. 즉, 인간의 눈이 가장 민감한 녹색이 더 큰 수의 센서에 의해 감지되는 한편, 인간의 시각이 더 낮은 해상도를 갖는 청색 및 녹색은 더 적은 수의 센서에 의해 감지된다. 이것은 베이어 패턴에서, 녹색 감지 요소가 다른 어레이 위치마다 일어나는 한편, 적색 감지 요소 및 청색 감지 요소는 4번째의 어레이 위치마다 일어나기 때문이다.
도 2에 도시된 바와 같이, 고체 이미지 센서에서는, 베이어 패터닝된 필터가 픽셀 센서 셀(205)의 어레이(200) 위에 형성될 수 있다. 특히, 픽셀 센서 셀(205)의 어레이(200)는 반도체 기판(210) 상에 형성된다. 각 픽셀 센서 셀(205)은 포토게이트, 광도체 또는 포토다이오드와 같은 임의의 광자-전하 변환 장치일 수 있는 감광 요소(215)를 갖는다. 컬러 필터 어레이(220)는 일반적으로 절연체 금속화 패턴을 함유하는 레벨간(interlevel) 유전층(ILD)(235) 및 패시베이션층(230)과 같은 여러 가지 금속화 및 절연층에 의해 광센서(215)로부터 분리되는 어레이(200) 내의 금속층(225) 위에 형성된다. 금속층(225)은 불투명하여 광을 감지하지 않는 픽셀의 영역을 차폐하는 데 사용될 수 있다. 볼록 렌즈(240)가 컬러 필터(220) 위에 형성된다. 동작 시에, 입사광은 렌즈들(240)에 의해 필터(220)를 통해 감광 요소(215)에 초점이 맞춰진다.
베이어 패턴에 있어서, 적색, 녹색 및 청색에 대한 값들이 각 픽셀에 대해 필요하다. 각 픽셀 센서 셀이 하나의 컬러만을 감지하기 때문에, 나머지 2개의 컬러에 대한 값들은 빠뜨린 컬러를 감지하는 인접하는 픽셀 셀로부터의 보간에 의해 계산된다. 이 컬러 평면 보간은 디모자이킹(demosaicing)으로 알려져 있다. 예를 들면, 도 1을 참조하면, 픽셀 센서 셀(115)이 녹색 필터와 관련하여 픽셀 센서 셀(115)이 녹색 광을 감지하게 하고 녹색 광만을 나타내는 신호를 생성하게 한다. 픽셀 센서 셀(115)에 대해 적색 및 청색 광의 양의 근사를 얻기 위해, 값이 인접하는 적색 픽셀 센서 셀(120 및 125) 및 인접하는 청색 픽셀 센서 셀(130 및 135) 각각으로부터 보간될 수 있다. 디모자이킹이 정확하게 실행되지 않으면, 결과적으로 생성된 이미지는 높은 가시 색의 인공물의 포함으로 나빠질 수 있다.
2002년 9월에 Bahadir K. Gunturk, Yucel Altunbasak 및 Russell M. Mersereau에 의해 작성된 IEEE Transactions on Image Prcessing, Vol. Ⅱ, No. 9에 공표된 "Color Plane Interpolation Using Alternating Projections"라는 명칭의 논문(그 개시내용은 참고로 여기에 통합되어 있다)이 여러 가지 디모자이킹 기술을 비교한다. 살명한 바와 같이, 이들 디모자이킹 기술의 각각은 그들 각각의 장점 및 단점을 갖는다.
설명한 바와 같이, 각 픽셀 센서 셀에 대해, 제1 컬러용으로 사용되는 값은 감지된 컬러에 의거하고, 나머지 2개의 컬러에 대한 값은 대응하는 인접 픽셀의 감지된 값으로부터 보간된 값에 의거한다. 각각의 감지된 값들은 픽셀의 중간에서의 컬러값으로 나타난다. 각각의 보간된 컬러값들은 또한 픽셀의 중간에서의 값으로 나타난다. 보간된 신호는 고유하게는, 원래 감지된 신호보다 더 낮은 품질로 되어 있다. 예를 들면, 픽셀의 중간에서 보간된 적색값은 동일한 픽셀의 중간에 대해 감지된 적색값과 달라야 한다. 이들 품질의 차는 디지털 카메라 시스템에 통상적으로는 통합되어 있는 샤프닝 스테이지(sharpening stage) 또는 다른 포스트 캡처 이미지 조정 프로그램에 의해 증폭될 수 있다. 따라서, 감지된 컬러값과 보간된 컬러값의 혼합으로 인해 픽처를 가로질러 품질 불일치가 생긴다. 인공물의 몇몇 구체적인 예를 아래의 절에 설명한다.
단지 빠뜨린 컬러 성분을 재구성하는 디모자이킹 방법은 소위 지퍼(zipper) 효과 및 랜덤 컬러 도트(random color dots)와 같은 인공물을 생성할 수 있다. 지퍼 효과는 보간 시의 변이에 의해 초래될 수 있고, 규칙적인 간격 예컨대, 2개의 픽셀마다 하나의 도트로 수평 또는 수직 라인을 따라 도트의 라인을 생성할 수 있다. 이것은 최종 이미지에 지퍼 효과를 초래하는 적색 및 청색값들의 분리 보간 시의 변이로부터 야기될 수 있다. 랜덤 컬러 도트는, 더 밝은 영역이 밝은 도트가 되고 더 어두운 영역이 어두운 도트가 될 때, 라인의 최종 포인트에서 및 이미지 내에서 에지를 따라 대부분 나타난다. 이 효과는 아마도, 보간 중에 날카로운 에지를 생성하려는 노력 및 컬러값을 결정할 때 다른 근처의 픽셀의 사용에 의해 초래된다. 지퍼 효과 및 랜덤 컬러 도트에 덧붙여, 특수한 베이어 모자이크(기본적인 4 셀 정사각형)에서 2개의 녹색 샘플이 상이한 픽셀 처리 채널에 의해 디지털화될 때 부가적인 불균형 문제가 야기된다.
따라서, 공지된 디모자이킹 기술의 단점을 완화시키는 컬러 평면 보간이 요망 및 요구되고 있다.
컬러 패턴 내에 존재하는 각 컬러에 대한 표면 컬러 평면 보간을 위해 픽셀 이미지 내에서 컬러-보간점을 선택하는 컬러 평면 보간 방법 및 장치가 제공된다. 컬러-보간점이 선택되면, 컬러 패턴 내의 각 컬러에 대한 값이 컬러-보간점들의 각각에 대해 보간된다. 컬러-보간점 및 컬러 패턴 내에 존재하는 각각의 컬러의 보간의 사용은 공지된 디모자이킹 기술의 단점의 일부를 감소 또는 제거하도록 돕는다.
본 발명의 이상의 및 다른 이점 및 특정들은 첨부하는 도면을 참조하여 아래에 제공되는 예시적인 실시예의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1은 종래의 컬러 필터 어레이의 포괄적인 도면이다.
도 2는 컬러 필터 어레이를 갖는 픽셀 어레이의 일부분의 횡단면도이다.
도 3은 본 발명의 제1 실시예에 따르는 3-컬러-보간(3-color-interpolation)점들의 포괄적인 도면이다.
도 4는 본 발명에 따르는 점들 "a", "b", "c", 및 "d"에 대한 3-컬러-보간점들의 포괄적인 도면이다.
도 5는 본 발명의 예시적인 실시예에 따라 구성된 픽셀 어레이를 갖는 CMOS 이미저 집적 회로(IC)의 블록도이다.
도 6은 본 발명에 따르는 CMOS 이미저를 갖는 프로세서 시스템을 도시한 도면이다.
도 7은 본 발명의 일 실시예의 프로세스를 도시하는 플로우차트이다.
이하의 상세한 설명에서는, 본 발명이 실시될 수 있는 특정 실시예의 예시에 의해 도시하고 그 일부를 형성하는 첨부하는 도면을 참조하여 설명을 행한다. 이들 실시예는 당업자가 본 발명을 실시하는 것이 가능하도록 충분히 상세히 기재되어 있으며, 다른 실시예가 이용될 수 있고, 본 발명의 사상 및 범위로부터 벗어남 없이 구조적, 논리적, 및 전기적인 변경이 이루어질 수 있는 것을 이해할 것이다.
용어 "기판"은 실리콘, 실리콘-온-인슐레이터(SOI) 또는 실리콘-온-사파이어(SOS) 기술, 도핑 및 미도핑 반도체, 베이스 반도체 파운데이션(foundation)에 의해 지지되는 실리콘의 에피택셜층 및 다른 반도체 구조들을 포함하는 반도체 베이스 재료로 이해되어야 한다. 또한, 이하의 설명에서 "기판"에 대해 참조가 이루어질 때, 이전의 처리 단계들은 베이스 반도체 구조 또는 파운데이션 내 및/또는 위에 영역들 또는 접합들을 형성하는 데 이용되어 왔을 수 있다. 또한, 반도체는 실리콘 베이스일 필요는 없고, 실리콘-게르마늄, 게르마늄, 또는 갈륨 비소화물에 의거할 수 있다.
용어 "픽셀" 또는 "픽셀 셀"은 광센서와, 광 방사를 전기 신호로 변환하기 위한 트랜지스터들 또는 광센서를 포함하는 화소 유닛 셀을 지칭한다. 예시할 목적으로, 본 명세서의 도면 및 설명에는 소수의 대표적인 픽셀 셀이 도시되지만, 일반적으로는 모든 픽셀 셀의 제조는 유사한 방식으로 동시에 진행된다. 이하의 상세한 설명은 따라서, 제한하고자 하는 의도로 취해진 것이 아니고, 본 발명의 범위는 첨부된 청구항들에 의해서 한정된다.
본 발명에 따르는 CMOS 이미저에 대한 참조는 본 발명의 단지 일례를 설명하기 위한 목적으로만 이루어진 것을 이해해야 한다. 본 발명은 CMOS 이미저에 제한 되는 것이 아니라, 픽셀 위에 컬러 필터를 채용하는 CCD 및 다른 이미저에도 적용하는 것이 쉽게 명백해질 것이다. 또한, 기존의 발명은 표준 3 컬러 베이어 패턴을 사용하여 설명된다. 본 발명은 표준 3 컬러 베이어 패턴에 제한되는 것이 아니라, 상이한 컬러를 사용하거나 3색 초과 또는 미만의 컬러를 사용하는 컬러 스페이스에 적용될 수도 있음을 이해해야 한다.
도 3은 본 발명의 제1 실시예에 따르는 3-컬러-보간점의 포괄적인 도면이다. 3-컬러-보간점은 도 3에서 x들로 식별된다. 표시 "x"는 300으로 라벨 붙여진다. 각 픽셀 센서 셀은 그 각각의 필터링된 컬러에 대해 감지된 값을 제공한다. 각 녹색(G) 픽셀 센서 셀은 녹색에 대해 감지된 값을 제공한다. 유사하게, 각 청색(B) 픽셀 센서 셀은 청색에 대해 감지된 값을 제공하고, 각 적색(R) 픽셀 센서 셀은 적색에 대해 감지된 값을 제공한다. 3-컬러 보간점 x의 각각에 대해, 다수의 감지된 픽셀 신호 값들이 그 점에 대한 값을 보간하는 데 사용된다. 이들 보간된 값들이 계산되면, 보간된 값들은 컬러 이미지를 재구성하는 데 사용된다. 3-컬러-보간점들 x의 각각에서, 녹색, 적색 및 청색에 대한 값들을 계산하면, 이 실시예에서는, 픽셀 센서 셀의 각각의 중심으로부터 픽셀 센서 셀의 코너로 값들의 위상 전이가 일어난다. 적색, 녹색 및 청색에 대한 값들의 각각의 보간은, 컬러들 중 하나에 대해 감지된 값과 종래 기술의 시스템에서 효과 있는 나머지 2개의 컬러의 보간된 값의 사용으로부터 기인하는 불균형을 제거한다. 당업자는 3-컬러-보간점들이 픽셀의 코너에 반드시 위치할 필요가 없으며, 그 대신에 상이한 점들에 위치할 수도 있음을 이해할 것이다. 예를 들면, 보간에 포함될 픽셀의 적절한 선택 및 계수들 의 적절한 선택에 의해, 3-컬러-보간점이, 2개의 픽셀의 경계를 따라 305에 나타낸 바와 같이 픽셀의 상부 및 하부 경계 사이의 중간에 위치하거나, 픽셀 중심에 상당하지 않는 다른 위치에 위치할 수 있다.
도 4는 본 발명의 일 실시예에 따라 점들 "a", "b", "c" 및 "d"에 대한 3-컬러-보간점들의 포괄적인 도면이다. 도 4에서, 각 픽셀 센서 셀은 그 컬러(G, R 또는 B) 및 표시법 xy로 표시되며, x는 픽셀 센서 셀이 어레이 내에 상주하는 로우를 나타내고 y는 칼럼을 나타낸다. 예를 들어, 픽셀 센서 셀(405)은 G11로 표시된다. G11은 픽셀 센서 셀(405)이 녹색 필터와 관련되고 로우 1 및 칼럼 1에 위치하는 것을 식별한다. 유사하게, 픽셀 센서 셀(410)은 B45로 표시되며, B45는 청색 필터와 관련되고 로우 4 및 칼럼 5에 위치하는 것을 나타낸다.
각 3-컬러-보간점 a, b, c 및 d에 대해, 녹색 컬러값, 적색 컬러값 및 청색 컬러값은 아래와 같이 보간될 수 있다:
3-컬러-보간점 "a"에 대해 보간된 값
예시적인 실시예에서, 도 4의 점 "a"에 대한 녹색값에 대한 보간은 픽셀 센서 셀 G24, G33, G35, G42, G44 및 G53에 대한 녹색의 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "a"에서 녹색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = G33*coef_g3 + G53*coef_g1;
Temp2 = G44*coef_g3 + G24*coef_g1;
Temp3 = G33*coef_g3 + G35*coef_g1;
Temp4 = G44*coef_g3 + G42*coef_g1; 및
Ga = (Temp1 + Temp2 + Temp3 + Temp4)/4,
여기에서, 계수 "coef_g3" 및 "coef_g1"은 쿼터-펠(quarter-pel) 위상 전이 필터를 구성하고, "coef_g3"과 "coef_g1"의 합이 1이 된다. 예시적인 실시예에서는, coef_g1 = 928/1024 및 coef_g3 = 1 - (928/1024) 또는 coef_g3 = 96/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp4는 점 "a"에서의 녹색값의 계산에 사용되는 중간값(interim value)이고, Temp 값들을 Ga 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "a"에 있어서의 적색값에 대한 보간은 픽셀 센서 셀 R32, R34, R52, R54에 있어서의 적색에 대해 감지된 값 및 픽셀 센서 셀 G22, G24, G31, G33, G35, G42, G44, G51, G53, G55, G62 및 G64에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "a"에서 적색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = R34 - (G33 + G35 + G24 + G44)/4;
Temp2 = R54 - (G53 + G55 + G44 + G64)/4;
Temp3 = R32 - (G31 + G33 + G22 + G42)/4;
Temp4 = R52 - (G51 + G53 + G42 + G62)/4;
Temp5 = Temp1*coef_r3 + Temp2*coef_r1;
Temp6 = Temp3*coef_r3 + Temp4*coef_r1;
Temp7 = Temp5*coef_r3 + Temp6*coef_r1; 및
Ra = Temp7 + Ga,
여기에서, 필터 계수 "coef_r3" 및 "coef_r1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_r3"과 "coef_r1"의 합이 1이 된다. 예시적인 실시예에서는, coef_r1 = 768/1024 및 coef_r3 = 1 - (768/1024) 또는 coef_r3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "a"에서의 청색값의 계산에 사용되는 중간값이고, Temp 값들을 Ra 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "a"에 있어서의 청색값에 대한 보간은 픽셀 센서 셀 B23, B25, B43, R45에 있어서의 청색에 대해 감지된 값 및 픽셀 센서 셀 G13, G15, G22, G24, G26, G33, G35, G42, G44, G46, G53 및 G55에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "a"에서 청색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = B43 - (G42 + G44 + G33 + G53)/4;
Temp2 = B23 - (G22 + G24 + G13 + G33)/4;
Temp3 = B45 - (G44 + G46 + G35 + G55)/4;
Temp4 = B25 - (G24 + G26 + G15 + G35)/4;
Temp5 = Temp1*coef_b3 + Temp2*coef_b1;
Temp6 = Temp3*coef_b3 + Temp4*coef_b1;
Temp7 = Temp5*coef_b3 + Temp6*coef_b1; 및
Ba = Temp7 + Ga,
여기에서, 필터 계수 "coef_b3" 및 "coef_b1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_b3"과 "coef_b1"의 합이 1이 된다. 예시적인 실시예에서는, coef_b1 = 768/1024 및 coef_b3 = 1 - (768/1024) 또는 coef_b3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "a"에서의 청색값의 계산에 사용되는 중간값이고, Temp 값들을 Ba 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
3-컬러-보간점 "b"에 대해 보간된 값
예시적인 실시예에서, 도 4의 점 "b"에 있어서의 녹색값에 대한 보간은 픽셀 센서 셀 G24, G33, G35, G44, G46 및 G55에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "b"에서 녹색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = G44*coef_g3 + G24*coef_g1;
Temp2 = G35*coef_g3 + G55*coef_g1;
Temp3 = G44*coef_g3 + G46*coef_g1;
Temp4 = G35*coef_g3 + G33*coef_g1; 및
Gb = (Temp1 + Temp2 + Temp3 + Temp4)/4,
여기에서, 계수 "coef_g3" 및 "coef_g1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_g3"과 "coef_g1"의 합이 1이 된다. 예시적인 실시예에서는, coef_g1 = 928/1024 및 coef_g3 = 1 - (928/1024) 또는 coef_g3 = 96/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp4는 점 "b"에서의 녹색값의 계산에 사용되는 중간값이고, Temp 값들을 Gb 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "b"에 있어서의 적색값에 대한 보간은 픽셀 센서 셀 R34, R36, R54, R56에 있어서의 적색에 대해 감지된 값 및 픽셀 센서 셀 G24, G26, G33, G35, G37, G44, G46, G53, G55, G57, G64 및 G66에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "b"에서 적색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = R34 - (G33 + G35 + G24 + G44)/4;
Temp2 = R54 - (G53 + G55 + G44 + G64)/4;
Temp3 = R36 - (G35 + G37 + G26 + G46)/4;
Temp4 = R52 - (G55 + G57 + G46 + G66)/4;
Temp5 = Temp1*coef_r3 + Temp2*coef_r1;
Temp6 = Temp3*coef_r3 + Temp4*coef_r1;
Temp7 = Temp5*coef_r3 + Temp6*coef_r1; 및
Rb = Temp7 + Gb,
여기에서, 필터 계수 "coef_r3" 및 "coef_r1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_r3"과 "coef_r1"의 합이 1이 된다. 예시적인 실시예에서는, coef_r1 = 768/1024 및 coef_r3 = 1 - (768/1024) 또는 coef_r3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "b"에서의 적색값의 계산에 사용되는 중간값이고, Temp 값들을 Rb 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "b"에 있어서의 청색값에 대한 보간은 픽셀 센서 셀 B23, B25, B43, R45에 있어서의 청색에 대해 감지된 값 및 픽셀 센서 셀 G13, G15, G22, G24, G26, G33, G35, G42, G44, G46, G53 및 G55에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "b"에서 청색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = B45 - (G44 + G46 + G35 + G55)/4;
Temp2 = B25 - (G24 + G26 + G15 + G35)/4;
Temp3 = B43 - (G42 + G44 + G33 + G53)/4;
Temp4 = B23 - (G22 + G24 + G13 + G33)/4;
Temp5 = Temp1*coef_b3 + Temp2*coef_b1;
Temp6 = Temp3*coef_b3 + Temp4*coef_b1;
Temp7 = Temp5*coef_b3 + Temp6*coef_b1; 및
Bb = Temp7 + Gb,
여기에서, 필터 계수 "coef_b3" 및 "coef_b1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_b3"과 "coef_b1"의 합이 1이 된다. 예시적인 실시예에서는, coef_b1 = 768/1024 및 coef_b3 = 1 - (768/1024) 또는 coef_b3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "b"에서의 청색값의 계산에 사용되는 중간값이고, Temp 값들을 Ba 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
3-컬러-보간점 "c"에 대해 보간된 값
예시적인 실시예에서, 도 4의 점 "c"에 있어서의 녹색값에 대한 보간은 픽셀 센서 셀 G33, G42, G44, G53, G55 및 G64에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "c"에서 녹색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = G53*coef_g3 + G33*coef_g1;
Temp2 = G44*coef_g3 + G64*coef_g1;
Temp3 = G53*coef_g3 + G55*coef_g1;
Temp4 = G44*coef_g3 + G42*coef_g1; 및
Gc = (Temp1 + Temp2 + Temp3 + Temp4)/4,
여기에서, 계수 "coef_g3" 및 "coef_g1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_g3"과 "coef_g1"의 합이 1이 된다. 예시적인 실시예에서는, coef_g1 = 928/1024 및 coef_g3 = 1 - (928/1024) 또는 coef_g3 = 96/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp4는 점 "c"에서의 녹색값의 계산에 사용되는 중간값이고, Temp 값들을 Gc 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "c"에 있어서의 적색값에 대한 보간은 픽셀 센서 셀 R32, R34, R52, R54에 있어서의 적색에 대해 감지된 값 및 픽셀 센서 셀 G22, G24, G31, G33, G35, G42, G44, G51, G53, G55, G62 및 G64에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "c"에서 적색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = R54 - (G53 + G55 + G44 + G64)/4;
Temp2 = R34 - (G33 + G35 + G24 + G44)/4;
Temp3 = R52 - (G51 + G53 + G42 + G62)/4;
Temp4 = R32 - (G31 + G33 + G22 + G42)/4;
Temp5 = Temp1*coef_r3 + Temp2*coef_r1;
Temp6 = Temp3*coef_r3 + Temp4*coef_r1;
Temp7 = Temp5*coef_r3 + Temp6*coef_r1; 및
Rc = Temp7 + Gc,
여기에서, 필터 계수 "coef_r3" 및 "coef_r1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_r3"과 "coef_r1"의 합이 1이 된다. 예시적인 실시예에서는, coef_r1 = 768/1024 및 coef_r3 = 1 - (768/1024) 또는 coef_r3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "c"에서의 적색값의 계산에 사용되는 중간값이고, Temp 값들을 Rc 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "c"에 있어서의 청색값에 대한 보간은 픽셀 센서 셀 B43, B45, B63, R65에 있어서의 청색에 대해 감지된 값 및 픽셀 센서 셀 G33, G35, G42, G44, G46, G53, G55, G62, G64, G66, G73 및 G75에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "c"에서 청색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = B43 - (G42 + G44 + G33 + G53)/4;
Temp2 = B63 - (G62 + G64 + G53 + G73)/4;
Temp3 = B45 - (G44 + G46 + G35 + G55)/4;
Temp4 = B65 - (G64 + G66 + G55 + G75)/4;
Temp5 = Temp1*coef_b3 + Temp2*coef_b1;
Temp6 = Temp3*coef_b3 + Temp4*coef_b1;
Temp7 = Temp5*coef_b3 + Temp6*coef_b1; 및
Bc = Temp7 + Gc,
여기에서, 필터 계수 "coef_b3" 및 "coef_b1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_b3"과 "coef_b1"의 합이 1이 된다. 예시적인 실시예에서는, coef_b1 = 768/1024 및 coef_b3 = 1 - (768/1024) 또는 coef_b3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "c"에서의 청색값의 계산에 사용되는 중간값이고, Temp 값들을 Bc 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
3-컬러-보간점 "d"에 대해 보간된 값
예시적인 실시예에서, 도 4의 점 "d"에 있어서의 녹색값에 대한 보간은 픽셀 센서 셀 G35, G44, G46, G53, G55 및 G64에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "d"에서 녹색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = G44*coef_g3 + G64*coef_g1;
Temp2 = G55*coef_g3 + G53*coef_g1;
Temp3 = G44*coef_g3 + G46*coef_g1;
Temp4 = G55*coef_g3 + G35*coef_g1; 및
Gd = (Temp1 + Temp2 + Temp3 + Temp4)/4,
여기에서, 계수 "coef_g3" 및 "coef_g1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_g3"과 "coef_g1"의 합이 1이 된다. 예시적인 실시예에서는, coef_g1 = 928/1024 및 coef_g3 = 1 - (928/1024) 또는 coef_g3 = 96/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp4는 점 "d"에서의 녹색값의 계산에 사용되는 중간값이고, Temp 값들을 Gd 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "d"에 있어서의 적색값에 대한 보간은 픽셀 센서 셀 R34, R36, R54, R56에 있어서의 적색에 대해 감지된 값 및 픽셀 센서 셀 G24, G26, G33, G35, G37, G44, G46, G53, G55, G57, G64 및 G66에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "d"에서 적색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = R54 - (G53 + G55 + G44 + G64)/4;
Temp2 = R34 - (G33 + G35 + G24 + G44)/4;
Temp3 = R56 - (G55 + G57 + G46 + G66)/4;
Temp4 = R36 - (G35 + G37 + G26 + G46)/4;
Temp5 = Temp1*coef_r3 + Temp2*coef_r1;
Temp6 = Temp3*coef_r3 + Temp4*coef_r1;
Temp7 = Temp5*coef_r3 + Temp6*coef_r1; 및
Rd = Temp7 + Gd,
여기에서, 필터 계수 "coef_r3" 및 "coef_r1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_r3"과 "coef_r1"의 합이 1이 된다. 예시적인 실시예에서는, coef_r1 = 768/1024 및 coef_r3 = 1 - (768/1024) 또는 coef_r3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "d"에서의 적색값의 계산에 사용되는 중간값이고, Temp 값들을 Rd 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
예시적인 실시예에서, 도 4의 점 "d"에 있어서의 청색값에 대한 보간은 픽셀 센서 셀 B43, R45, B63, B65에 있어서의 청색에 대해 감지된 값 및 픽셀 센서 셀 G33, G35, G42, G44, G46, G53, G55, G62, G64, G66, G73 및 G75에 있어서의 녹색에 대해 감지된 값을 사용하여 계산된다. 3-컬러-보간점 "d"에서 청색에 대해 보간된 값은 아래의 식을 사용하여 계산될 수 있다:
Temp1 = B45 - (G44 + G46 + G35 + G55)/4;
Temp2 = B65 - (G64 + G66 + G55 + G75)/4;
Temp3 = B43 - (G42 + G44 + G33 + G53)/4;
Temp4 = B63 - (G62 + G64 + G53 + G73)/4;
Temp5 = Temp1*coef_b3 + Temp2*coef_b1;
Temp6 = Temp3*coef_b3 + Temp4*coef_b1;
Temp7 = Temp5*coef_b3 + Temp6*coef_b1; 및
Bd = Temp7 + Gd,
여기에서, 필터 계수 "coef_b3" 및 "coef_b1"은 쿼터-펠 위상 전이 필터를 구성하고, "coef_b3"과 "coef_b1"의 합이 1이 된다. 예시적인 실시예에서는, coef_b1 = 768/1024 및 coef_b3 = 1 - (768/1024) 또는 coef_b3 = 256/1024이다. 당업자는 다른 필터 계수들이 본 발명의 범위 내에 있음을 이해할 것이다. Temp1-Temp7은 점 "d"에서의 청색값의 계산에 사용되는 중간값이고, Temp 값들을 Bd 식의 그 각각의 식들로 치환함으로써 소거될 수 있다.
상기 점들 a, b, c 및 d에 대해 주어지는 식들에 의해 설명된 바와 같이, 제시된 실시예에서, 녹색 보간된 값은 녹색(예컨대, 점 a에 있어서의 G33, G44)을 샘플링하여 3-컬러-보간점의 부분을 형성하는 것을 돕는 2개의 픽셀 셀에 대해 감지된 값들과, 녹색(예컨대, 점 a에 있어서의 G53, G24, G35 및 G42)을 샘플링하여 3-컬러-보간점으로부터 이격된 단일 픽셀인 4개의 부가적인 픽셀 셀에 대해 감지된 값들을 사용한다. 보간된 녹색값을 결정하는 데 사용되는 6개의 픽셀은 대응하는 또는 인접하는 픽셀 셀이라고 칭해진다. 또한, 녹색 보간 식에 나타내는 바와 같이, 예시 적인 실시예에서는, 2개의 픽셀 셀(예컨대, 점 a에 있어서의 G33, G44)의 감지된 녹색값들 상에 더 큰 가중이 위치하여, 삽입에 사용되는 부가적인 4개의 픽셀 셀(예컨대, 점 a에 있어서의 G53, G24, G35 및 G42)과 비교하여 3-컬-보간점을 형성하는 것을 돕는다. 상기 식들에 의해 나타내는 바와 같이, G33 및 G44에 대한 각각의 녹색 값들이 대응하는 식들에서 2회 나타나고, 필터 계수들이 또한 감지된 녹색값이 정확하게 가중되게 하는 데 사용된다. 예를 들면, 점 a에 있어서의 녹색값에 대한 보간에서는, 픽셀 셀 G33 및 G44에서 감지된 값들이 필터 계수 coef_g1을 사용하는 픽셀 셀 G53, G24, G35 및 G42에서 감지된 값들보다 더욱 무겁게 가중된다.
또한, 상기 점들 a, b, c 및 d에 대해 주어지는 식들에 의해 설명된 바와 같이, 예시적인 실시예에서, 적색 보간된 값은 적색을 샘플링하는 4개의 가장 가까운 픽셀 셀(예컨대, 점 a에 있어서의 R34, R54, R32 및 R52)에 대해 감지된 값들을 사용한다. 이들 적색 감지된 픽셀의 각각은 1 픽셀 폭이거나 3-컬러 보간점에 더 가깝다. 또한, 적색 감지된 픽셀의 각각에 대해, 적색 샘플 픽셀(점 a에 있어서의 보간 시의 픽셀 R34)을 둘러싸는 4개의 녹색 감지된 픽셀들(예컨대, G33, G35, G24 및 G44)가 보간된 적색값을 보간하는 데 사용된다. 예를 들면, 점 a에 있어서의 적색값의 보간 시에, R34, R54, R32 및 R52에서 감지된 적색값들이 사용된다. R34에 부가하여, 그것의 4개의 녹색 인접 픽셀 셀들 G33, G35, G24 및 G44에 대해 감지된 녹색값 들이 보간 시에 사용된다. 유사하게, R54에 대해 감지된 적색값들에 부가하여, 그것의 4개의 녹색 인접 픽셀 셀들 G53, G55, G44 및 G64에 대해 감지된 녹색값들이 점 a에서의 적색값에 대한 보간 시에 사용된다. 3-컬러-보간점들에 대한 청색 보간된 값들은, 청색값들을 샘플링하는 4개의 가장 가까운 픽셀들이 사용되고 그들 픽셀의 4개의 녹색 인접 픽셀 셀의 각각에 대해 감지된 녹색 값들이 사용되는 것을 제외하고 적색값들과 유사하게 계산된다.
설명한 바와 같이, 본 발명은 녹색, 적색 및 청색에 대해 보간된 값들이 얻어진 감지된 값들에 의거하여 계산되는 컬러 평면 보간을 위한 새롭고 독창적인 시스템 및 방법을 제공한다. 본 발명에서는, 감지된 값들과 보간된 값들 사이의 불균형이 3-컬러-보간점에 있어서의 각각의 컬러에 대한 값을 보간함으로써 제거된다. 당업자는 본 발명이 2개의 녹색, 하나의 청색 및 하나의 적색 픽셀의 코너에 있는 3-컬러-보간점의 위치를 설명하지만, 다른 3-컬러-보간점들이 발명의 범위 내에서 가능하다는 것을 이해할 것이다.
도 5는 예를 들면, 베이어 패턴으로 배열된 2개의 녹색 픽셀(G), 하나의 청색 픽셀(B) 및 하나의 적색 픽셀(R)을 갖는 영역(510)을 포함하는 로우 및 칼럼 내에 배열되는 복수의 픽셀을 포함하는 픽셀 어레이(505)를 갖는 CMOS 이미저 집적 회로(IC)(500)의 블록도를 도시한다. 어레이(505) 내의 각 로우의 픽셀은 모두 로우 선택 라인(515)에 의해 동시에 턴 온되고, 각 칼럼의 픽셀은 각각의 칼럼 선택 라인(520)에 의해 선택적으로 출력된다.
로우 라인(515)은 로우 어드레스 디코더(530)에 응답하여 로우 드라이버(525)에 의해 선택적으로 활성화된다. 칼럼 선택 라인(520)은 칼럼 어드레스 디코더(540)에 응답하여 칼럼 셀렉터(535)에 의해 선택적으로 활성화된다. 픽셀 어레이(505)는 픽셀 신호 판독을 위해 적절한 로우 및 칼럼 라인을 선택하는 어드레스 디코더(530, 540)를 제어하는 타이밍 및 제어 회로(545)에 의해 작동된다.
일반적으로 픽셀 리셋 신호(Vrst) 및 픽셀 이미지 신호(Vsig)를 포함하는 픽셀 칼럼 신호는 칼럼 셀렉터(535)와 관련된 샘플 및 홀드 회로(550)에 의해 판독된다. 차 신호(Vrst-Vsig)가 아날로그-디지털 컨버터(570)(ADC)에 의해 증폭되어 디지털화되는 각 픽셀에 대해 차동 증폭기(555)에 의해 산출된다. 아날로그-디지털 컨버터(570)는 디지털화된 픽셀 신호를 이미지 프로세서(575)에 공급하고, 이미지 프로세서(575)에서 본 발명의 방법이 일어난다.
픽셀 신호가 본 발명에 따라 보간되는 픽셀 어레이를 갖는 이미저 장치(605)를 포함하는 일반적인 프로세서 시스템이 도 6에서 600으로 전체적으로 도시된다. 이미저 장치(605)는 픽셀 어레이로부터 공급된 신호로부터 출력 이미지를 생성한다. 프로세서 기반 시스템은 CMOS 이미저 장치의 출력을 수신하는 시스템의 예이다. 제한됨 없이, 그러한 시스템은 컴퓨터 시스템, 카메라 시스템, 스캐너, 머신 비전 시스템, 의료 센서 시스템(의료 알약 센서와 같은) 및 자동차 진단 시스템과 다른 이미징 시스템을 포함할 수 있으며, 그들 모두는 본 발명을 이용할 수 있다.
컴퓨터 시스템과 같은 프로세서 기반 시스템(600)은 예컨대, 일반적으로 버 스(620)를 통해 입/출력(I/O) 장치(615)와 통신하는 중앙 처리 장치(CPU)(610), 예컨대, 마이크로프로세서를 포함한다. 이미저 장치(605)는 또한, 버스(620)나 다른 통신 링크를 통해 시스템과 통신한다. 컴퓨터 시스템(600)은 또한, 랜덤 액세스 메모리(RAM)(625)를포함하고, 컴퓨터 시스템의 경우에는 버스(620)를 통해 CPU(610)와 또한 통신하는 착탈 가능한 메모리(630)를 갖는 컴팩트 디스크(CP) ROM 및/또는 착탈 가능한 메모리(630)를 포함하는 플로피 디스크 드라이브와 같은 주변 장치를 포함할 수도 있다. 단일의 IC 칩 상에 프로세서(610), 이미저 장치(605) 및 메모리(625)를 집적하는 것이 또한 바람직할 수도 있다.
도 7은 본 발명의 일 실시예의 프로세스(700)를 설명하기 위한 플로우차트를 도시한다. 단계 705에서, 보간점이 선택된다. 본 발명의 예시적인 실시예에서, 보간점은 4개의 픽셀 셀의 교차점에 위치한다. 단계 710에서, 각 픽셀 센서 셀에 대해 감지된 값이 수신된다. 단계 715, 720 및 725에서, 제1 컬러, 제2 컬러 및 제3 컬러 각각에 대해 보간된 값들이 앞에서 열거된 식들에 따라 결정된다. 특히, 녹색에 대한 값을 보간하는 식들은 단계 715에서 적용되고, 적색에 대한 값을 보간하는 식들은 단계 720에서 적용되며, 청색에 대한 값을 보간하는 식들은 단계 725에서 적용된다. 단계 730에서, 컬러 이미지는 단계 715, 720 및 725에서 결정되는 보간된 값을 사용하여 재구성된다.
하나 이상의 3-컬러-보간점에서 녹색, 적색 및 청색에 대한 값들을 보간하는 다른 방법이 발명의 범위 내에 있으며, 본 발명은 상술한 계수들의 사용이나 식들에 한정되는 것이 아님을 이해해야 한다. 그 자체로, 상기 설명 및 도면은 본 발 명의 특징 및 이점을 달성하는 예시적인 실시예의 설명으로만 간주된다. 이하의 청구항들의 사상 및 범위 내에 있는 본 발명의 임의의 변형도 본 발명의 부분으로 간주되어야 한다. 따라서, 본 발명은 이상의 설명에 의해 한정되는 것으로 보지 않고, 첨부되는 청구항들의 범위에 의해서만 제한된다.

Claims (22)

  1. 컬러 평면 보간을 위해 복수의 컬러-보간점들을 선택하는 단계로서, 상기 컬러-보간점들의 각각은 이미지 상의 위치에 대응하고, 상기 컬러-보간점들의 각각은 이미지 픽셀의 중간점으로부터 오프셋되는 단계; 및
    상기 이미지의 픽셀값들을 사용하여 각 보간점에서 컬러 패턴의 복수의 컬러의 각각에 대한 값을 보간하는 단계를 포함하는, 이미지의 컬러 평면 보간 방법.
  2. 청구항 1에 있어서, 상기 컬러-보간점은 상기 픽셀 이미지 내의 3-컬러-보간점인, 이미지의 컬러 평면 보간 방법.
  3. 청구항 1에 있어서, 각 컬러에 대한 값을 보간하는 상기 단계는,
    상기 컬러-보간점에서 제1 컬러에 대한 값을 보간하는 단계,
    상기 컬러-보간점에서 제2 컬러에 대한 값을 보간하는 단계, 및
    상기 컬러-보간점에서 제3 컬러에 대한 값을 보간하는 단계를 포함하는, 이미지의 컬러 평면 보간 방법.
  4. 청구항 2에 있어서, 각 컬러에 대한 값을 보간하는 상기 단계는,
    상기 3-컬러-보간점에서 제1 컬러에 대한 값을 보간하는 단계,
    상기 3-컬러-보간점에서 제2 컬러에 대한 값을 보간하는 단계, 및
    상기 3-컬러-보간점에서 제3 컬러에 대한 값을 보간하는 단계를 포함하는, 이미지의 컬러 평면 보간 방법.
  5. 청구항 4에 있어서, 상기 3-컬러-보간점은 상기 이미지 내의 4개의 픽셀의 교차하는 코너에 위치하는, 이미지의 컬러 평면 보간 방법.
  6. 청구항 4에 있어서, 상기 제1 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점에 인접한 2개의 픽셀로부터 상기 제1 컬러에 대해 감지된 값과 상기 3-컬러 보간점으로부터 하나의 픽셀 폭을 넘지 않는 4개의 부가적인 픽셀로부터 상기 제1 컬러에 대해 감지된 값을 사용하는, 이미지의 컬러 평면 보간 방법.
  7. 청구항 6에 있어서, 상기 제2 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점으로부터 하나의 픽셀 폭을 넘지 않는 픽셀로부터 상기 제2 컬러에 대해 4개의 감지된 값과 상기 제2 컬러 픽셀의 각각에 인접하는 4개의 제1 컬러 픽셀의 각각에 대해 감지된 값을 사용하는, 이미지의 컬러 평면 보간 방법.
  8. 청구항 7에 있어서, 상기 제3 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점으로부터 하나의 픽셀 폭을 넘지 않는 픽셀로부터 상기 제3 컬러에 대해 4개의 감지된 값과 상기 제3 컬러 픽셀의 각각에 인접하는 4개의 제1 컬러 픽셀의 각각에 대해 감지된 값을 사용하는, 이미지의 컬러 평면 보간 방법.
  9. 이미지 픽셀 센서의 감지 어레이를 포함하는 컬러 이미징 장치로서,
    제1 컬러의 감지된 값을 산출하는 데 사용되는 제1의 복수의 이미지 픽셀 센서;
    제2 컬러의 감지된 값을 산출하는 데 사용되는 제2의 복수의 이미지 픽셀 센서;
    컬러-보간점이 이미지 픽셀의 중앙으로부터 오프셋되는 상기 컬러-보간점에 대해 상기 제1 컬러 및 상기 제2 컬러의 보간된 값들을 결정하도록 상기 제1 컬러의 상기 감지된 값 및 상기 제2 컬러의 상기 감지된 값을 사용하는 보간 수단; 및
    상기 제1 컬러 및 상기 제2 컬러의 보간된 값들을 사용하여 대표 이미지를 생성하는 것을 포함하는, 컬러 이미징 장치.
  10. 청구항 9에 있어서, 상기 컬러-보간점은 3-컬러-보간점이고,
    제3 컬러의 감지된 값을 산출하는 데 사용되는 제3의 복수의 이미지 픽셀 센서;
    컬러-보간점에 대한 상기 제1 컬러, 상기 제2 컬러 및 상기 제3 컬러의 보간된 값들을 결정하도록 상기 제1 컬러의 상기 감지된 값, 상기 제2 컬러의 상기 감지된 값 및 상기 제3 컬러의 상기 감지된 값을 사용하는 보간 수단을 더 포함하며, 상기 대표 이미지는 상기 제1 컬러, 상기 제2 컬러 및 상기 제3 컬러의 상기 보간된 값들을 사용하여 생성되는, 컬러 이미징 장치.
  11. 청구항 10에 있어서, 상기 3-컬러-보간점은 상기 감지 어레이 내의 4개의 픽셀의 교차하는 코너에 위치하는, 컬러 이미징 장치.
  12. 제1 컬러의 감지된 값을 산출하는 데 사용되는 제1의 복수의 이미지 픽셀 센서;
    제2 컬러의 감지된 값을 산출하는 데 사용되는 제2의 복수의 이미지 픽셀 센서;
    제3 컬러의 감지된 값을 산출하는 데 사용되는 제3의 복수의 이미지 픽셀 센서를 포함하는, 이미지 픽셀 센서의 어레이를 포함하는 이미징 장치, 및
    3-컬러-보간점에 대한 상기 제1 컬러, 상기 제2 컬러 및 상기 제3 컬러의 보간된 값들을 결정하도록 상기 제1 컬러의 상기 감지된 값, 상기 제2 컬러의 상기 감지된 값 및 상기 제3 컬러의 상기 감지된 값을 사용하여 보간을 실행하는 프로세서를 포함하며, 상기 보간은 모든 픽셀 센서의 중앙으로부터 오프셋되는 위치에 대해 실행되는, 처리 시스템.
  13. 청구항 12에 있어서, 상기 프로세서는 3-컬러-보간점에서 상기 보간을 실행하고, 상기 3-컬러-보간점은 상기 어레이 내의 4개의 픽셀 센서 셀의 교차하는 코너에 위치하는, 처리 시스템.
  14. 청구항 12에 있어서, 상기 프로세서는 3-컬러-보간점에서 상기 보간을 실행하고, 상기 3-컬러-보간점은 상기 어레이 내의 2개의 픽셀 센서 셀의 교차하는 측면에 위치하는, 처리 시스템.
  15. 청구항 13에 있어서, 상기 제1 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점에 인접한 2개의 픽셀로부터 상기 제1 컬러에 대해 감지된 값과 상기 3-컬러 보간점으로부터 하나의 픽셀 폭을 넘지 않는 4개의 부가적인 픽셀로부터 상기 제1 컬러에 대해 감지된 값을 사용하는, 처리 시스템.
  16. 청구항 15에 있어서, 상기 제2 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점으로부터 하나의 픽셀 폭을 넘지 않는 픽셀로부터 상기 제2 컬러에 대해 4개의 감지된 값과 상기 제2 컬러 픽셀의 각각에 인접하는 4개의 제1 컬러 픽셀의 각각에 대해 감지된 값을 사용하는, 처리 시스템.
  17. 청구항 16에 있어서, 상기 제3 컬러값에 대한 상기 보간은, 상기 3-컬러-보간점으로부터 하나의 픽셀 폭을 넘지 않는 픽셀로부터 상기 제3 컬러에 대해 4개의 감지된 값과 상기 제3 컬러 픽셀의 각각에 인접하는 4개의 제1 컬러 픽셀의 각각에 대해 감지된 값을 사용하는, 처리 시스템.
  18. 적색, 청색 및 녹색 스펙트럼 중 하나에서의 파장을 갖는 인가되는 광에 대 응하는 복수의 픽셀 센서의 각각으로부터 감지된 값을 획득하는 동작; 및
    적색, 청색 및 녹색 스펙트럼에서의 파장을 갖는 인가되는 광에 대응하는 상기 복수의 픽셀 센서로부터 감지된 값을 사용하여 3-컬러 보간점에 대해 적색값, 청색값 및 녹색값을 보간하는 동작을 포함하는, 디지털 컬러 신호의 처리 방법.
  19. 청구항 18에 있어서, 상기 3-컬러 보간점은 이미지 픽셀의 중앙으로부터 오프셋되는, 디지털 컬러 신호의 처리 방법.
  20. 컬러 평면 보간이 실행되는 픽셀 이미지 내에서 컬러-보간점을 선택하는 단계; 및
    각 컬러-보간점에서 상기 컬러 패턴 내의 각 컬러에 대한 값을 보간하는 단계를 포함하는, 컬러 패턴에 대한 상기 컬러 평면 보간을 컴퓨터로 실행할 수 있게 하는 컴퓨터 명령을 저장하는, 컴퓨터 판독 가능한 매체.
  21. 청구항 20에 있어서, 상기 컬러-보간점은 상기 픽셀 이미지 내의 3-컬러-보간점이고, 각 컬러에 대한 값을 보간하는 상기 단계는:
    상기 3-컬러-보간점에서 제1 컬러에 대한 값을 보간하는 단계,
    상기 3-컬러 보간점에서 제2 컬러에 대한 값을 보간하는 단계, 및
    상기 3-컬러 보간점에서 제3 컬러에 대한 값을 보간하는 단계를 포함하는, 컴퓨터 판독 가능한 매체.
  22. 복수의 픽셀 센서 셀의 각각에 대해 3-컬러 보간점에 대한 보간된 녹색값, 보간된 적색값 및 보간된 청색값을 산출하도록 수신된 신호로부터 보간하는 동작을 포함하고, 상기 수신된 신호는 청색, 적색 및 녹색 광에 대한 범위 중 하나에 속하는 파장을 갖고 인가되는 광량에 대응하는, 디지털 컬러 신호의 처리 방법.
KR1020087019704A 2006-01-12 2007-01-04 이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치 KR20080083712A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/330,320 US7456881B2 (en) 2006-01-12 2006-01-12 Method and apparatus for producing Bayer color mosaic interpolation for imagers
US11/330,320 2006-01-12

Publications (1)

Publication Number Publication Date
KR20080083712A true KR20080083712A (ko) 2008-09-18

Family

ID=38180661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019704A KR20080083712A (ko) 2006-01-12 2007-01-04 이미저용의 베이어 컬러 모자이크 보간을 생성하는 방법 및장치

Country Status (7)

Country Link
US (1) US7456881B2 (ko)
EP (1) EP1974549A2 (ko)
JP (1) JP2009524282A (ko)
KR (1) KR20080083712A (ko)
CN (1) CN101366288A (ko)
TW (1) TW200822763A (ko)
WO (1) WO2007087119A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9127361B2 (en) 2009-12-07 2015-09-08 Mks Instruments, Inc. Methods of and apparatus for controlling pressure in multiple zones of a process tool
KR20200112825A (ko) * 2017-12-05 2020-10-05 애어리3디 인크. 깊이 획득을 위한 명시야 이미지 처리 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
US7646910B1 (en) * 2006-04-19 2010-01-12 Ambarella, Inc. Digital video camera non-integer-ratio Bayer domain scaler
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
DE102008063970B4 (de) * 2008-12-19 2012-07-12 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors
TWI477155B (zh) * 2009-03-06 2015-03-11 Univ Nat Cheng Kung 色彩內插方法與應用此色彩內插方法之影像解馬賽克方法及其電腦程式產品
JP5121870B2 (ja) * 2010-03-25 2013-01-16 株式会社東芝 画像処理方法および画像処理装置
JP2012060434A (ja) * 2010-09-09 2012-03-22 Fuji Xerox Co Ltd 画素補間装置、画像読取装置、及び画素補間プログラム
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
US20150321644A1 (en) * 2012-08-06 2015-11-12 Conti Temic Microelectronic Gmbh Detection of Raindrops on a Pane by Means of a Camera and Illumination
CN105556944B (zh) * 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
CN103530856B (zh) * 2013-10-25 2017-05-17 上海交通大学 一种Bayer图像去椒盐噪声的方法和系统
JP6628743B2 (ja) * 2014-06-03 2020-01-15 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ナノ粒子分析システム及び方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
JPH08340455A (ja) * 1995-06-14 1996-12-24 Olympus Optical Co Ltd 画像信号処理装置
DE69712969T2 (de) 1996-03-29 2003-01-09 Sanyo Electric Co Farbkamera mit einem einzigen CCD-Farbbildsensor mit höherer Auflösung, der fähig ist, Geisterfarberzeugung zu begrenzen
JP3704238B2 (ja) * 1997-03-31 2005-10-12 株式会社リコー 撮像装置
KR100269205B1 (ko) * 1997-07-10 2000-10-16 윤종용 가변 임계치를 이용한 이진 영상의 보간 방법
US6563538B1 (en) 1997-09-26 2003-05-13 Nikon Corporation Interpolation device, process and recording medium on which interpolation processing program is recorded
US6507364B1 (en) * 1998-03-13 2003-01-14 Pictos Technologies, Inc. Edge-dependent interpolation method for color reconstruction in image processing devices
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
JP4292625B2 (ja) 1998-06-01 2009-07-08 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
KR100291628B1 (ko) 1999-06-19 2001-05-15 윤덕용 3차원 그래픽 텍스쳐 맵핑용 캐쉬 메모리 및 그의 캐쉬 미스페널티 저감방법
JP4317619B2 (ja) * 1999-07-22 2009-08-19 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理装置
JP2002125240A (ja) * 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd カラー撮像装置
US6917381B2 (en) * 2000-11-30 2005-07-12 Intel Corporation Color filter array and color interpolation algorithm
DE60235526D1 (de) * 2001-01-25 2010-04-15 Nikon Corp Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor
US6909750B2 (en) 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
JP2003009167A (ja) * 2001-06-26 2003-01-10 Olympus Optical Co Ltd 撮像装置
US6965705B1 (en) 2001-08-09 2005-11-15 Ndsp, Inc. Method and system for dynamic angle interpolation in image processing
US6642932B2 (en) * 2001-09-13 2003-11-04 The Hong Kong University Of Science And Technology Method and system for interpolation in color images
JP2005532004A (ja) 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、およびカメラ
JP3829985B2 (ja) 2002-10-31 2006-10-04 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20040114047A1 (en) * 2002-12-13 2004-06-17 Vora Poorvi L. Method for transforming an offset sensor array
US6944263B2 (en) 2002-12-31 2005-09-13 Tsinghua University Apparatus and methods for multiple view angle stereoscopic radiography
US6911955B2 (en) 2003-07-16 2005-06-28 Raytheon Company High strength fabric structure and seam therefor with uniform thickness and a method of making same
US7015930B2 (en) * 2003-08-01 2006-03-21 Ati Technologies Inc. Method and apparatus for interpolating pixel parameters based on a plurality of vertex values
US7019521B2 (en) 2003-09-15 2006-03-28 Neocera, Inc. Fault isolation of circuit defects using comparative magnetic field imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9127361B2 (en) 2009-12-07 2015-09-08 Mks Instruments, Inc. Methods of and apparatus for controlling pressure in multiple zones of a process tool
KR20200112825A (ko) * 2017-12-05 2020-10-05 애어리3디 인크. 깊이 획득을 위한 명시야 이미지 처리 방법

Also Published As

Publication number Publication date
WO2007087119A2 (en) 2007-08-02
CN101366288A (zh) 2009-02-11
TW200822763A (en) 2008-05-16
JP2009524282A (ja) 2009-06-25
US7456881B2 (en) 2008-11-25
US20070159544A1 (en) 2007-07-12
EP1974549A2 (en) 2008-10-01
WO2007087119A3 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
US7456881B2 (en) Method and apparatus for producing Bayer color mosaic interpolation for imagers
US8212900B2 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US8902330B2 (en) Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing same
US10021358B2 (en) Imaging apparatus, imaging system, and signal processing method
TWI266903B (en) Color filter array and solid imaging element
EP1530873B1 (en) One chip, low light level color camera
US7745779B2 (en) Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US20060044427A1 (en) Two narrow band and one wide band color filter for increasing color image sensor sensitivity
US20100149393A1 (en) Increasing the resolution of color sub-pixel arrays
US20080049112A1 (en) Cmos Image Sensor
JP2010534430A (ja) 画像センサの複数の構成要素の読み出し
JP4232086B2 (ja) 二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法
CN102292975A (zh) 固体摄像元件、照相机系统和固体摄像元件的驱动方法
JP2009194604A (ja) 撮像装置及び撮像装置の駆動方法
US7202895B2 (en) Image pickup apparatus provided with image pickup element including photoelectric conversion portions in depth direction of semiconductor
JP5702895B2 (ja) カラー撮像素子および撮像装置
CN207251823U (zh) 成像设备和成像系统
JPS61127290A (ja) 単板式カラ−撮像装置
Dyck et al. A 1024-Pixel CCD Line-Scan Image Sensor With Color Sensitivity

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application