KR20040066051A - 가중 그래디언트 기반 및 컬러 수정 보간 - Google Patents

가중 그래디언트 기반 및 컬러 수정 보간 Download PDF

Info

Publication number
KR20040066051A
KR20040066051A KR1020040003433A KR20040003433A KR20040066051A KR 20040066051 A KR20040066051 A KR 20040066051A KR 1020040003433 A KR1020040003433 A KR 1020040003433A KR 20040003433 A KR20040003433 A KR 20040003433A KR 20040066051 A KR20040066051 A KR 20040066051A
Authority
KR
South Korea
Prior art keywords
chrominance
luminance
gradient
channel
data
Prior art date
Application number
KR1020040003433A
Other languages
English (en)
Inventor
닐손안드레아스
노드블롬페이에르브이.더블유.
Original Assignee
다이얼로그 세미컨덕터 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다이얼로그 세미컨덕터 게엠베하 filed Critical 다이얼로그 세미컨덕터 게엠베하
Publication of KR20040066051A publication Critical patent/KR20040066051A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B11/00—Main component parts of lifts in, or associated with, buildings or other structures
    • B66B11/0005—Constructional features of hoistways
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B7/00—Other common features of elevators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명의 장치 및 방법은 이미지 센서로부터 구한 디지털 이미지 신호에 따라 작동된다. 센서는 다른 컬러 필터로 덮이고, 각각의 특정 필터를 통해 포토사이트 또는 픽셀로 전달된 컬러를 기록할 수만 있다. 이런 종류의 센서는 컬러 필터 어레이 또는 CFA 센서로서 공지되어 있다. 다른 컬러 필터들은 센서를 가로질러 예비형성된 패턴으로 배열된다. 완전한 컬러 이미지를 달성하기 위해 미싱 컬러 정보가 반전된 그래디언트 함수에 의해 얻어진 가중치의 세트에 의해 평가된다. 가중치의 세트는 4 나침 방향 즉, 북쪽, 동쪽, 서쪽 및 남쪽 방향에서 이웃 픽셀로부터 발견되거나 또는 수평 및 수직 방향에서 발견된다. 주위 픽셀들은 그래디언트함수를 사용하기 전에, 루미넌스 채널에 중심 픽셀을 더 양호하게 맞추기 위해 크로미넌스 채널에 의해 교정된다. 크로미넌스 채널은 유사한 방법으로 내삽되며 또한 반전된 그래디언트함수가 적용되기 전에 중심 픽셀을 더 양호하게 맞추도록 교정된다.

Description

가중 그래디언트 기반 및 컬러 수정 보간{Weighted gradient based and color corrected interpolation}
본 발명은 일반적으로 전자 촬상(electronic imaging) 분야에 관한 것으로, 특히 단일 컬러 센서를 가진 디지털 카메라에 있어서 손실 컬러 정보를 추정하기 위한 컬러 필터 어레이(CFA)에 관한 것이다.
컬러는 망막에 입사하는 400 nm ~ 700 nm 영역의 파장을 갖는 스펙트럼의 가시 영역의 광의 지각 결과이다. 사람의 눈에 관련된 광의 스펙트럼 분포는 각각 10 nm 밴드를 나타내는 31 개의 성분들로 종종 표현된다.
사람의 망막은 다소 상이한 스펙트럼 응답 곡선을 가진 입사 조사광에 응답하는 3 가지 종류의 컬러 수광기 콘 셀(photoreceptors cone cell)들을 가지고 있다. 정확하게 3 가지 타입의 컬러 수광기가 존재하기 때문에, 적절한 스펙트럼 가중 기능들이 사용된다면 3 개의 수치 성분들이 필요하며 컬러를 기술하는데 충분하다.
오늘날 디지털 촬상에 있어서 가장 흔한 소비자 카메라들은 단일 센서 카메라들이다. 이미지 센서는 포토사이트(photosite)들 또는 픽셀들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 포토사이트들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 포토사이트들이 상이한 컬러 조명을 수신하도록 필터링된다. 이 타입의 센서는 컬러필터 어레이 또는 CFA로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
가장 흔한 배열은 코닥에서 발명되었던 베이어(Bayer) 컬러 필터 어레이(CFA)이다. 컬러 이미지의 CFA는 흔히 사용되는 상기 "베이어" 패턴을 종종 따른다. 상기 베이어 CFA의 패턴은 도 1(종래 기술)에 도시되어 있다. 포토 사이트들의 전체 개수의 절반은 녹색(G)이고, 전체 개수의 4분의 1은 적색(R)과 청색(B)에 할당된다. 이 컬러 정보를 얻기 위해, 컬러 이미지 포토사이트들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 덮힌다. 필터들의 이 패턴, 즉 시퀀스는 변할 수 있으나, 광범위하게 채택되는 "베이어" 패턴은 도 1(종래 기술)에 도시된 바와 같이 반복되는 2 ×2 배열이다.
도 1(종래 기술)에 도시된 이 패턴은 사람 눈이 장면의 녹색 내용으로부터 루미넌스 데이터의 대부분을 도출한다는 전제에 기초하고 있고, 이미지의 "해상도"로부터 지각되는 이 루미넌스 데이터의 해상도이다. 그러므로, 픽셀들 중 보다 많은 픽셀들이 "녹색"이 되는 것을 보장함으로써, 적색, 녹색 및 청색 포토사이트들이 동일한 수인 상태에서 교번하는 R-G-B 컬러 필터에 비해 보다 높은 해상도 이미지가 생성될 수 있다.
단일 센서 카메라들은 CFA을 사용하여 입력 이미지를 공간적으로 샘플링한다. 따라서, 각각의 포토사이트는 단일 컬러 값만을 포함한다. 원래의 풀 컬러 이미지를 재구성하기 위해서는 각 픽셀에서의 손실 컬러들을 보간하는 디모자이킹(demosaicing) 단계가 수행되어야 한다. CFA 디모자이킹에서의 목적은컬러 충실도, 공간적 해상도, 불량 컬러들 없음, 재깅 에지들(no jagged edges) 없음, 에이리어싱 아티팩트들(aliasing artifacts) 없음 및 계산적인 현실을 포함한다. 첨예한 이미지와 소위 "지퍼 효과(zipper effect)" 또는 재깅된 에지 룩(jagged edge look) 간에 절충이 종종 존재한다. 컬러 정보를 상이한 방식들로 이용하는 여러가지 보간법들이 사용되고 있다.
설계자의 도전은 적은 계산 노력으로 고품질의 보간을 조합하는 알고리즘을 식별하는 것이다.
상기 문제들을 처리하는 이용 가능한 각종 특허들이 존재한다.
미국 특허(스미스 등의 6,366,318 호)는 컬러 이미지 픽셀들의 어레이로부터 도출되는 컬러 이미지 신호들을 발생하기 위한 방법을 설명하고 있으며, 컬러 픽셀들의 어레이는 서브샘플링된 컬러 픽셀들의 어레이를 발생하기 위해 서브샘플링된다. 균일하게 이격된 새로운 컬러 픽셀들의 어레이는 동일한 컬러의 포위 픽셀들을 사용하여 서브샘플링된 컬러 픽셀들로부터 보간되며, 다음에, 새로운 컬러 픽셀들의 어레이로부터 도출되는 컬러 이미지 신호들은 예컨대 컬러 필터 어레이 보간으로 처리된다. 전처리 단계에서 이 보정을 제공함으로써 통상의 이미지 처리 하드웨어 또는 소프트웨어의 나머지는 불규칙적인 서브샘플링 패턴에 의해 야기되는 특징적인 농담이 고르지 않고 웨이브된 아티팩트들을 현상하지 않고 결과적 서브샘플링된 CFA 이미지에 사용될 수 있다.
미국 특허(클라센 등의 6,268,939 호)는 서브샘플링된 루미넌스 및 크로미넌스 기초 데이터를 컬러 보정하는 효율을 향상시키기 위한 방법 및 장치를 공개한다. 특히, 본 발명은 선택된 픽셀 블록 내의 하나의 픽셀에 대해 컬러 공간들간에 풀 변환을 적용하는 방법에 관한 것이다. 크로미넌스값들은 변환된 픽셀의 루미넌스값에 상대적인 루미넌스값에 기초하여 나머지 픽셀들에 할당된다. 본 발명은 각종 타입의 컬러 공간들간을 변환하는데 사용될 수 있고, 장치 종속적인 데이터와 장치 독립적인 데이터의 처리에 사용될 수 있다.
미국 특허(아담스 등의 5,506,619 호)는 적어도 3 개의 별개의 컬러 값들을 그러나 각각의 포토 사이트 위치에 대해 하나의 컬러 값을 발생하는 행렬로 정렬된 컬러 포토사이트들을 가진 이미지 센서로부터 얻어지는 디지털화된 이미지 신호를 처리하기 위한 장치를 설명하고 있으며, 3 개의 상이한 컬러값들을 가질 수 있도록 각각의 포토 사이트 위치에 대해 컬러값들을 보간하는 구조가 제공되어 있다. 상기 장치는 디지털화된 이미지 신호를 저장하기 위한 이미지 버퍼와, 가까운 포토사이트 위치들에서의 손실 컬러 값보다 상이한 컬러들의 컬러값들로부터 포토사이트 위치들에 대한 추가적인 컬러값의 보간에 의해 포토사이트 위치로부터 손실된 적절한 컬러 값을 발생하기 위해 버퍼 기억 수단과 함께 동작하는 프로세서를 포함한다. 상기 프로세서는 또한 동일한 행과 열의 가까운 포토사이트들로부터 적어도 2 개의 이미지 방향들로 라플라시안(Laplacian) 2차 값들을 얻기 위한 구조를 포함하며, 이 구조는 손실 컬러값의 보간을 위해 선호되는 방향을 선택하고 선호된 방향과 일치하도록 선택된 가까운 다수의 컬러 값들로부터 손실 컬러 값을 보간하기 위해 라플라시안 2차 값들에 응답한다.
본 발명의 주요 목적은 컬러 필터 어레이에 의해 제공된 손실된 컬러 정보를 추정하기 위한 단일 센서 카메라에 대한 방법 및 장치를 달성하는 것이다.
본 발명의 다른 목적은 낮은 연산 비용으로 고품질의 보간을 행하는 시스템 및 장치를 달성하는 것이다.
본 발명의 또다른 목적은 고품질의 컬러 이미지를 제공하는 방법 및 장치를 달성하는 것이다.
도 1은 종래의 R-G-B 컬러 어레이의 기본 레이아웃을 도시하는 도면.
도 2는 보간 유닛을 갖는 단일 센서 CFA 카메라의 구성요소들을 도시하는 기능 블록도.
도 3은 본 발명의 주요 단계들의 흐름도.
도 4는 본 발명의 실시예의 세부 단계들의 흐름도.
도 5는 본 발명의 대안적인 실시에의 세부 단계들의 흐름도.
* 도면의 주요 부분에 대한 부호의 설명 *
20 : 단일 센서 CFA 카메라용 장치
21 : 기록 유닛
22 : 처리 유닛
23 : 노출 유닛
24 : A/D 미가공 영상
25 : 보간 유닛
26 : 컬러처리 유닛
본 발명의 목적들에 따르면, 단일 센서 카메라의 손실된 컬러 정보를 추정함으로써 풀 컬러 이미지를 얻는 방법이 달성된다. 상기 방법은 컬러 필터 어레이(CFA)를 포함하는 노출 유닛, 미가공 이미지(raw image)의 아날로그-디지털 변환기, 보간 유닛, 및 컬러 처리 유닛을 제공하는 단계를 포함한다. 이러한 방법은 녹색에 대한 프록시(proxy)로서 사용되는 루미넌스 채널을 보간하는 단계, 적색 및 청색에 대한 프록시로서 사용되는 크로미넌스 채널을 보간하는 단계, 루미넌스 채널을 보정하는 단계, 및 크로미넌스 채널을 보정하는 단계를 포함한다.
본 발명의 상기 목적들에 따르면, 단일 센서 카메라의 손실된 컬러 정보를 추정함으로써 풀 컬러 이미지를 얻는 방법이 달성된다. 상기 방법은 C-M-Y 컬러 필터 어레이(CFA)를 포함하는 노출 유닛, 미가공 이미지의 아날로그-디지털 변환기, 보간 유닛, 및 컬러 처리 유닛을 제공하는 단계를 포함한다. 이러한 방법은자홍색(magenta)에 대한 프록시로서 사용되는 루미넌스 채널을 보간하는 단계, 노란색 및 청록색(cyan)에 대한 프록시로서 사용되는 크로미넌스 채널을 보간하는 단계, 루미넌스 채널을 보정하는 단계, 및 크로미넌스 채널을 보정하는 단계를 포함한다.
본 발명의 목적들에 따르면, 단일 센서 카메라의 손실된 컬러 정보를 추정함으로써 풀 컬러 이미지를 얻는 방법이 달성된다. 상기 방법은 대각 베이어 패턴(Diagonal Bayer Pattern) 컬러 필터 어레이(CFA)를 포함하는 노출 유닛, 미가공 이미지의 아날로그-디지털 변환기, 보간 유닛, 및 컬러 처리 유닛을 제공하는 단계를 포함한다. 이러한 방법은 녹색에 대한 프록시로서 사용되는 루미넌스 채널을 보간하는 단계, 적색 및 청색에 대한 프록시로서 사용되는 크로미넌스 채널을 보간하는 단계, 루미넌스 채널을 보정하는 단계, 및 크로미넌스 채널을 보정하는 단계를 포함한다.
본 발명의 상기 목적들에 따르면, 단일 센서 카메라의 손실된 컬러 정보를 추정함으로써 풀 컬러 이미지를 얻는 방법이 달성된다. 상기 방법은 컬러 필터 어레이(CFA)를 포함하는 노출 유닛, 미가공 이미지의 아날로그-디지털 변환기, 보간 유닛, 및 컬러 처리 유닛을 제공하는 단계를 포함한다. 본 발명의 제 1 단계들은 루미넌스 및 크로미넌스 데이터를 사용하여 4개의 나침 방향들(four compass directions)에서 반전 및 표준화된 그래디언트 함수들(inverted and normalized gradient functions)을 연산하는 단계, 이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하여 루미넌스를 보간하는 단계, 및 고려된 루미넌스및 크로미넌스 데이터를 사용하여 반대편 루미넌스 위치들에서 크로미넌스를 추정하는 단계를 포함한다. 다음 단계들은 특정 방향들에서 크로미넌스 및 루미넌스 데이터를 사용하여 그래디언트 함수들을 연산하는 단계, 이전 단계로부터의 결과들을 사용하여 크로미넌스 및 루미넌스 데이터를 고려하여 크로미넌스를 보간하는 단계, 모든 컬러 채널들로부터의 정보를 사용하여 수평 및 수직으로 2개의 그래디언트 함수들을 연산하는 단계, 및 그래디언트 함수들이 같지 않을 경우, 루미넌스 채널을 수평 및 수직으로 보정하는 단계를 포함한다. 마지막 단계들은 고려된 강화된 루미넌스 및 크로미넌스 데이터를 사용하여 반대편 크로미넌스 위치들에서 크로미넌스를 추정하는 단계, 특정 방향들에서, 강화된 크로미넌스 및 루미넌스 데이터를 사용하여 반전 및 표준화된 그래디언트 함수들을 연산하는 단계, 및 이전 단계로부터의 결과들을 사용하여 크로미넌스 및 강화된 루미넌스 데이터를 고려하여 크로미넌스를 보간하는 단계를 포함한다.
본 발명의 상기 목적들에 따르면, 단일 센서 카메라의 손실된 컬러 정보를 추정함으로써 풀 컬러 이미지를 얻는 장치가 달성된다. 상기 장치는 컬러 필터 어레이(CFA)를 포함하는 노출 유닛, 미가공 이미지의 아날로그-디지털 변환기, 보간 유닛을 제공하는 단계를 포함하고, 상기 보간 유닛은 그래디언트 함수들에 의해 얻어진 가중치들의 세트에 의해 손실된 컬러 정보를 추정하고, 상기 가중된 함수들의 세트는 특정 방향들의 인접 픽셀들 및 처리 유닛으로부터 발견된다.
바람직한 실시예들은 낮은 연산 비용을 갖고 크로미넌스 및 루미넌스 값들의 고품질 보간을 사용하여 고화질 이미지들을 달성하는 장치 및 방법을 개시한다.
RGB 컬러 공간은 주로 포토사이트 위치에서의 적색, 녹색 및 청색의 레벨들을 나타내므로, 스펙트럼의 척도(measure)이다. 또한, 베이어 패턴 이미지의 컬러 보간으로부터 발생하는 것과 같은 RGB 컬러 공간 이미지는 "크로미넌스" 및 "루미넌스" 정보를 모두 갖는다. 루미넌스는 일반적으로 이미지 또는 포토사이트의 밝기 레벨을 나타내고, 크로미넌스는 컬러 스펙트럼에서의 컬러의 색조 또는 배치 및 상기 색조의 채도(saturation) 또는 명암도(intensity)를 나타낸다. 포토사이트 이미지당 1-컬러는 루미넌스 및 반대 크로마틱 신호들의 합과 같다. 정규 CFA 배치의 경우에, 루미넌스 및 크로미넌스는 공간적 주파수 도메인에 배치되어, 적절한 주파수 선택들에 의해 추정하는 방법을 제공한다. RGB 이미지에서, 녹색 플레인과 관련된 픽셀들은 대부분의 루미넌스 정보를 포함하지만, 청색 및 적색과 관련된 픽셀들은 대부분의 크로미넌스 정보를 포함한다. 이것은 베이어 CFA가 "적색 또는 청색 필터들"보다는 "녹색 필터들"을 2배 더 많이 포함하고 있기 때문이다. 녹색 이미지 데이터에 의해 근사되는 루미넌스가 더 정확하게 추정되는 것은 루미넌스 채널이 보간된 후에, 적색 및 청색 채널들에 의해 근사되는 크로미넌스 채널들이 보간되기 때문이다. 이에 기초하여, 루미넌스가 가능한 정확하게 보간되어 상기 채널로부터의 데이터가 크로미넌스 채널들에서 잘못된 변경을 생성하지 않도록 한다.
본 발명의 근간은, 루미넌스가 녹색 채널의 대용으로서 이용되며, 크로미넌스가 적색 및 청색 채널의 대용으로서 이용된다는 것이다. 루미넌스가 더욱 정확하다는 사실은 루미넌스 채널 뒤에 크로미넌스 채널들을 보간하기 때문이다. 이를기초하여, 루미넌스는 가능한 정확하게 보간되어 상기 채널로부터의 데이터가 크로미넌스 채널들에서 잘못된 변경을 생성하지 않도록 한다.
도 2는 본 발명의 신호 센서 CFA의 프론트 엔드(20)의 기본 성분들을 도시한다. 상기 프론트 엔드(20)는 두 성분, 즉 기록 유닛(21)과 처리 유닛(22)을 포함한다. 상기 기록 유닛(21)은 두 개의 모듈, 즉 노출 유닛(23)과 행 이미지의 아날로그/디지털 변환기(24)를 포함하고, 상기 처리 유닛(22)은 두 개의 모듈, 즉 보간 유닛(25)과 컬러 처리 유닛(26)을 포함한다. 상기 보간 유닛(25)이 본 발명의 키 포인트이다.
도 3은 본 발명의 상기 보간 방법의 기능적 블록도를 도시한다. 상기 방법은 두 개의 기본적인 단계들을 포함한다. 첫 번째 기본 단계(30)는 루미넌스 채널의 보간(300) 및 크로미넌스 채널들의 보간(301)을 포함하고, 다음의 기본 단계(31)는 크로미넌스 채널의 정정(311)에 앞서 루미넌스 채널의 정정(310)을 포함한다.
도 4는 도 3의 개략적 블록도에 비해 더욱 상세한 기능적 블록도를 도시한다. 도 3의 단계(300)는 도 4의 두 개의 단계들, 즉 단계 40 및 41로 분할된다. 본 발명의 알고리즘은 근접하는 검사들이 고려되는 단계(40)에서 개시하며, 여기에서 네 개의 나침 방향, 즉 남쪽, 북쪽, 동쪽 및 서쪽에서의 높은 공간 주파수 정보를 찾게 된다. 이러한 검사는 루미넌스 채널뿐 아니라 보간될 컬러 채널로부터도 그래디언트 정보를 수반한다. 원하는 것은 횡단의 보간이 아니라 에지들을 따른보간이므로, 그래디언트 함수들을 가중하는 반전된 그래디언트 함수 fgrad를 형성하여, 최소 그래디언트가 최대 가중치를 전달하고, 최대 그래디언트가 최소 가중치를 전달한다. 그래디언트들을 가중하는 본 발명은 주변의 근접치들을 잘 나타내는 값을 찾도록 한다. 보간의 등식들을 간략히 하기 위해, 함수 fgrad는 정규화되어 Fn으로 표시된다. 손실 루미넌스값의 더욱 정확한 추정을 얻기 위하여, 상이한 컬러 채널들간을 보다 적합하게 하는 정정을 위한 크로미넌스값들이 이용된다.
먼저, 그래디언트 함수들은 다음과 같이 규정된다:
여기서, L(i,j)은 녹색에 근접한 루미넌스이고, C(i,j)는 적색 및 청색에 근접한 크로미넌스이다.
그 다음, 이 그래디언트들이 반전되고:
여기서 x는 상기한 수식들(1)의 그래디언트 함수들이다.
그 다음, 반전된 그래디언트 함수들이 정규화되며;
여기서 x는 상기한 수식들(1)의 그래디언트 함수들이다.
다음 단계(41)는 상기한 바와 같이 정규화되고 반전된 그래디언트 함수들 Fn(x)을 이용하는 분실 루미넌스값들의 보간이다.
여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이고, C(i,j)는 적색 또는 청색에 의해 근접된 크로미넌스이다.
크로미넌스 채널들의 보간을 포함하는 도 3의 단계(301)는 도 4의 3개의 단계들(42, 43, 44)로 나뉘어진다. 상기 크로미넌스 채널들은 적색 및 청색에 의해 근접된다. 녹색 채널이 루미넌스를 위한, 적색 및 청색 채널이 크로미넌스를 위한 바람직한 대용이라는 가정을 더욱 이용함으로써, 크로미넌스 채널들에서의 보간이 동일한 방법으로 행해진다. 단계(42)는 고려된 루미넌스 및 크로미넌스 데이터를 사용하여 반대의 크로미넌스 위치들에서 크로미넌스를 추정하는 것을 포함한다. 다음의 수식은 예를 들어 하기와 같고:
여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이고, 여기서 C(i,j)는 적색 및 청색에 의해 근접된 크로미넌스이다.
다음의 단계(43)에서, 반전 및 정규화된 그래디언트 함수들은 4개의 나침 방향들에서 크로미넌스 및 루미넌스 데이터를 이용하여 계산된다. 상기한 수식(5)에서, 크로미넌스 채널들은 루미넌스가 보간 전에 거주했던 것과 같은 구조에 거주하게 된다. 상기 이전 단계(42)는 북, 서, 동 및 서의 4개의 나침 방향들에서 그래디언트들을 조사함으로써 향상된다. 그래디언트 함수들은 하기와 같이 구성된다.
여기서 C(i,j)는 적색 및 청색에 의해 근접된 크로미넌스이고, 여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이다.
이들 그래디언트 함수들은 수식(2) 및(3)에 나타난 반전 및 정규화와 같은 지금 반전되고 정규화된다. 다음 단계(44)는 반전된 그래디언트 함수 Fn(x)을 사용하여 루미넌스 위치들에서 보간에 의해 크로미넌스 채널들을 보간하는 것을 포함한다.
여기서 C(i,j)는 적색 및 청색에 의해 근접된 크로미넌스이고, 여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이다.
루미넌스 채널의 계산값들의 보정을 포함하는 도 3의 단계(310)는 도 4의 3개의 단계들(45, 46, 47)로 나뉘어진다. 단계(45)에서, 보정은 수평 그래디언트 함수(△H) 및 수직 그래디언트 함수(△V)를 규정함으로써 시작한다. 상기 보정은 모든 컬러 채널들에서 나온 그래디언트 정보르 포함한다. 등가의 수식들은 하기와 같다.
여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이고, CR (i,j)은 적색 크로미넌스 채널이고, CB (i,j)는 청색 크로미넌스 채널이다.
단계(46)에서, △H 및 △V를 위한 그래디언트 함수들 양자가 비교된다. 다음의 단계(47)에서, 양 그래디언트들은 평가되고, 양 그래디언트들이 수평 및 수직 방향에서 루미넌스의 추가 보정과 같지 않은 경우에 행해진다. 양 그래디언트들이 같은 경우에, 상기 보정이 스킵될 것이다. 루미넌스 채널의 상기 보정을 위해서는 하기의 수식들이 적용된다.
여기서 L(i,j)은 녹색에 의해 근접된 루미넌스이고, CR (i,j)은 적색 크로미넌스이고, CB (i,j)는 청색 크로미넌스이다.
크로미넌스 채널의 계산값들의 보정을 포함하는 도 3의 단계(311)는 도 4의 2개의 단계들(48, 49)로 나뉘어진다. 크로미넌스 채널들의 보정은 루미넌스 채널을 보간할 때 사용되는 동일한 보간 원리에 이어 수행된다.
단계(48)에서, 그래디언트 함수들은 수식(6)에 비교하여 다시 규정된다.
상기 식(10)에 따라 계산된 변형 그래디언트 함수들을 사용함으로써, 크로미넌스값들이 단계 44에서와 같이 식(7)을 사용한 보간에 의해 단계 49에서 보정된다.
도 5는 도 4에 도시된 단계들 43, 44 및 단계들 48-49를 대체하는 크로미넌스 채널들의 보간 및 보정을 수행하는 다른 방법을 기술한다. 크로미넌스 채널의 보간은, 도 4의 단계들 40 및 41에 도시된 것과 같이, 변경되지 않은 채로 있다. 식(5)를 사용하는 반대 크로미넌스 위치들에서의 크로미넌스의 추정을 포함하는 단계 42 또한 변경되지 않은 채로 있다. 도 4의 단계 43, 그래디언트 함수들의 계산은 단계 51로 대체된다. 단계 43에서 기술된, 4개의 나침 방향들에서의 주변 화소들이 어떻게 이용될 것인지를 결정하기 위해 반전 역 가중함수를 이용하는 것 대신에, 수평 그래디언트 함수 ΔH 및 수직 그래디언트 함수 ΔV가 다른 방식으로 계산된다. 상기 그래디언트 함수들은 다음 식과 같이 형성된다:
여기서, C(i,j)는 적색 또는 청색에 의해 근사된 크로미넌스이고, L(i,j)는 녹색에 의해 근사된 루미넌스이다.
완전히 점유된 크로미넌스 채널들을 얻기 위한 다음의 단계 52는 도 4의 단계 44에 대응하는 남아 있는 크로미넌스 화소값들의 보간이다. 이러한 접근방법에서, 단계 44에서 사용된 식(7)은 상기 식(11)에 따라 계산된 ΔH 및 ΔV의 값들을 사용하는 단계 52에서 수정된다. 남아 있는 화소값들을 계산하기 위한 수정된 식들은 다음과 같다:
여기서, C(i,j)는 적색 및 청색에 의해 근사된 크로미넌스이고, L(i,j)는 녹색에 의해 근사된 루미넌스이다.
루미넌스 채널의 보정을 커버하는 다음과 같은 단계들 45 내지 47은 변경되지 않은 채로 있다.
도 4의 단계48에 기술된, 크로미넌스 보정의 일부로서 그래디언트 함수들의 계산은 또한 단계 53에 의해 대안으로 대체될 수 있고 단계들 45, 46 및 47에서 계산된 향상된 루미넌스 채널의 이점을 취하고 있다.
식(11)에 나타낸 그래디언트 함수들은 다음과 같은 단계 53에서 다시 정의된다:
여기서, C(i,j)는 적색 또는 청색에 의해 근사된 크로미넌스이고 L(i,j)는 녹색에 의해 근사된 루미넌스이다.
이러한 다른 접근방법에서, 식(12)는 반대 위치들의 루미넌스 및 크로미넌스값들 모두를 이용하여 크로미넌스 화소값들의 최종 보정을 수행하기 위해 단계 54에서 다시 사용된다. 상기 접근방법에서 식(13)의 그래디언트 함수들이 지금 사용된다.
더욱이 단계들 48 및 49에서 기술된 크로미넌스 채널의 보정과 조합된, 크로미넌스 채널의 보간을 기술하는, 다른 단계들 51 및 52을 사용하는 것이 가능하다. 단계들 43 및 44에서 기술된 것과 같은 크로미넌스 채널의 보간을 수행하고 다른 단계들 53 및 54를 사용하여 크로미넌스 채널의 보정을 하는 것도 가능하다.
다른 대안적인 접근방법이 도 4 및 도 5에 도시된 루미넌스 채널 수정 단계(40-41)를 다룬다. 단계(40)는 4개의 나침 방향들에서 역 및 정규화 그래디언트 함수들의 계산을 포함한다. 식(1)을 사용하여 단계(40)에 기술된 바와 같이 4개의 나침 방향들에서 그래디언트 함수들의 계산은 수평 방향 및 수직 방향에서 그래디언트 함수들의 계산으로 대체된다.
여기서 C(i,j)는 적색이나 청색에 의해 근사된 크로미넌스(chrominance)이며, L(i,j)는 녹색에 의해 근사된 루미넌스이다.
이 대안법에서, 식(2)에서 수행된 그래디언트들의 역과, 식(3)에서 수행된 그래디언트의 정규화는 쓸모 없으며, 단계(41)에 도시된 루미넌스의 보간은 식(4)를 대신하여 다음의 식들(15)을 이용하여 수행된다.
여기서 C(i,j)는 적색 또는 청색에 의해 근사된 크로미넌스(chrominance)이며,L(i,j)는 녹색에 의해 근사된 루미넌스이다.
상기에 기술된 상이한 방법들은 R-G-B CFA에만 국한되지 않는다. 상보적 바이엘 패턴(complementary bayer pattern)은 다른 CFA이며, 사용될 수 있다.
R-G-B 패턴에 상보적인 상기 상보형 바이엘 패턴은 상기 테이블에 도시된 바와 같이 3가지 컬러를 포함하는데, 청록색, 자홍색, 및 노란색(CMY)이다. CMY CFA를 제공하는 상기에 기술된 방법들을 이용하는 2가지 상이한 방식들이 있다. 첫 번째 대안은 CMY 패턴을 RGB 패턴으로 변환하고, 기술된 바와 같이 정확하게 속행하는 것이다. 다른 대안은 자홍색용 프럭시(proxy)로서 루미넌스와, 노란색 및 청록색용 프록시로서 크로미넌스를 이용함으로써 직접 상기 CMY CFA를 사용하고, 상기에 기술된 바와 같이 속행하는 것이다.
대각 바이엘 패턴(diagonal bayer pattern) 및 그 상보 버전은 본 발명에 사용될 CFA들의 다른 대안들이다. 하기의 테이블은 컬러들, 적, 녹, 및 청을 갖는 이와 같은 대각 바이엘 패턴을 도시한다.
상기 대각 바이엘 패턴을 사용하면, 단계(43)에서 식(5)는 다음의 식으로 대체되어야만 한다:
여기서 C(i,j)는 적색 또는 청색에 의해 근사된 크로미넌스(chrominance)이며, L(i,j)는 녹색에 의해 근사된 루미넌스이다. 상기 대각 바이엘 패턴의 상보 버전은 자홍색용 프럭시(proxy)로서 루미넌스와, 노란색 및 청록색용 프록시로서 크로미넌스를 이용함으로써 쉽게 구현될 수 있으며, 상기에 기술된 바와 같이 속행될 수 있다.
본 발명에 따르면, 컬러 필터 어레이에 의해 제공된 손실된 컬러 정보를 추정하기 위한 단일 센서 카메라에 대한 방법 및 장치가 제공된다. 또한, 낮은 연산 비용으로 고품질의 보간을 행하는 시스템 및 장치가 제공되고, 고품질의 컬러 이미지를 제공할 수 있게 된다.
본 발명이 특히 본 발명의 양호한 실시예들을 참조하여 기술되고 도시되었다 하더라도, 당업자는 형태 및 상세에 있어서 각종 변형들이 본 발명의 정신 및 범위에 벗어나지 않고 행해질 수 있음을 알 것이다.

Claims (103)

  1. 단일 센서 카메라의 손실 컬러 정보(missing color information)를 추정함으로써 풀 컬러 이미지(full color image)를 획득하는 방법에 있어서,
    색상 필터 어레이(CFA), 미가공 이미지의 아날로그/디지털 변환기, 보간 유닛(interpolation unit), 및 컬러 처리 유닛을 포함하는 노출 유닛(exposure unit)을 제공하는 단계와;
    루미넌스 채널을 보간하는 단계와;
    크로미넌스 채널을 보간하는 단계와;
    루미넌스 채널을 수정하는 단계와;
    크로미넌스 채널을 수정하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  2. 제 1 항에 있어서,
    상기 컬러 필터 어레이는 바이어 패턴(Bayer Pattern) CFA인, 풀 컬러 이미지 획득 방법.
  3. 제 1 항에 있어서,
    상기 컬러 필터 어레이는 C-M-Y CFA이며, 상기 C-M-Y 값들은 R-G-B 값들로 변환되는, 풀 컬러 이미지 획득 방법.
  4. 제 1 항에 있어서,
    상기 컬러 어레이는 대각선 바이어 패턴 CFA인, 풀 컬러 이미지 획득 방법.
  5. 제 1 항에 있어서,
    상기 컬러 어레이는 상보적 대각선 바이어 패턴 CFA인, 풀 컬러 이미지 획득 방법.
  6. 제 1 항에 있어서,
    상기 루미넌스 채널의 보간은,
    루미넌스 및 크로미넌스 데이터를 이용하여 상기 4 나침 방위들로 반전 및 표준화된 그래디언트 함수들을 계산하는 단계와;
    이전 단계의 결과들을 이용하여 루미넌스 및 크로미넌스 데이터를 고려하여 상기 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  7. 제 6 항에 있어서,
    상기 4개의 나침 방위에서의 반전 및 표준화된 그래디언트 함수들의 계산은,
    상기 그래디언트 함수들을 계산하기 위해,
    을 포함하는 식들로서, L(i,j)은 녹색에 의해 근사된 루미넌스이고, C(i,j)은 적색 및 청색에 의해 근사된 크로미넌스인, 상기 식들과;
    위의 이들 그래디언트들을 반전하기 위해,
    을 포함하는 식들로서, x는 앞서 나타낸 상기 식들의 그래디언트 함수들인, 상기 식들과,
    위의 상기 반전된 그래디언트 함수들을 표준화하기 위해,
    을 포함하는 식들로서, x는 앞서 나타낸 상기 식들의 그래디언트 함수들인, 상기 식들을 포함하는, 풀 컬러 이미지 획득 방법.
  8. 제 6 항에 있어서,
    이전 단계의 결과들을 이용하여 루미넌스 및 크로미넌스 데이터를 고려하는상기 루미넌스의 보간은 4개의 나침 방위에서 표준화된 반전된 그래디언트 함수를 이용하여 손실 루미넌스 값들을 보간하기 위해 식
    을 포함하고,
    여기서 L(i,j)은 녹색에 의해 근사된 루미넌스이고, C(i,j)은 적색 및 청색에 의해 근사된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  9. 제 1 항에 있어서, 상기 루미넌스 채널의 보간은,
    루미넌스 및 크로미넌스 데이터를 이용하여 수평 및 수직 방향으로 그래디언트 함수들을 계산하는 단계와;
    이전 단계의 결과들을 이용하여 루미넌스 및 크로미넌스 데이터를 고려한 상기 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  10. 제 9 항에 있어서,
    수평 및 수직 방향으로 상기 그래디언트 함수들의 계산은 상기 그래디언트 함수들을 계산하기 위해 다음의 식들을 포함하고,
    여기서 L(i,j)는 녹색으로 근사화된 루미넌스이고 C(i,j)는 적색과 청색으로 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  11. 제 9 항에 있어서,
    이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하는 상기 루미넌스의 보간은 수평 및 수직 방향들로 그래디언트 함수들을 이용하여 누락된 루미넌스값들을 보간하기 위한 다음의 식을 포함하고,
    여기서 L(i,j)는 녹색으로 근사화된 루미넌스이고 C(i,j)는 적색 또는 청색으로 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  12. 제 1 항에 있어서, 상기 크로미넌스 채널들의 보간은,
    고려된 루미넌스 및 크로미넌스 데이터를 사용하여 반대의 크로미넌스 위치들에서 크로미넌스를 추정하는 단계;
    크로미넌스 및 루미넌스 데이터를 사용하여 4개의 나침(compass) 방향들로 반전 및 표준화된 그래디언트 함수들을 계산하는 단계; 및
    이전 단계의 결과들을 사용하여 크로미넌스 및 루미넌스 데이터를 고려하는 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  13. 제 12 항에 있어서,
    반대의 크로미넌스 위치들에서 크로미넌스를 추정하는 상기 단계는 상기 추정치를 계산하기 위한 다음의 식을 포함하고,
    여기서 L(i,j)는 녹색으로 근사화된 루미넌스이고 C(i,j)는 적색과 청색으로 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  14. 제 12 항에 있어서,
    크로미넌스 및 루미넌스 데이터를 사용하여 4개의 나침 방향들로 반전 및 표준화된 그래디언트 함수들을 계산하는 상기 단계는,
    을 포함하고,
    여기서 C(i,j)는 적색 또는 청색으로 근사화된 크로미넌스이고 L(i,j)는 녹색으로 근사화된 루미넌스인, 상기 그래디언트 함수들을 계산하는 식들,
    을 포함하고, 여기서 x는 상기 식들의 그래디언트 함수들인, 상기 그래디언트 함수들을 반전시키는 식들; 및
    로서, 여기서 x는 상기 식들의 그래디언트 함수들인, 상기 반전된 그래디언트 식들을 표준화하는 식을 포함하는, 풀 컬러 이미지 획득 방법.
  15. 제 12 항에 있어서,
    이전 단계의 결과들을 사용하여 크로미넌스 및 루미넌스 데이터를 고려하는 크로미넌스를 보간하는 상기 단계는,
    상기 반전되고 표준화된 그래디언트 함수들(Fn(x))을 이용하여 루미넌스 위치들에서 크로미넌스 채널들을 보간하는 식
    을 포함하고, 여기서 C(i,j)는 적색 또는 청색으로 근사화된 크로미넌스이고 L(i,j)는 녹색으로 근사화된 루미넌스인, 풀 컬러 이미지 획득 방법.
  16. 제 1 항에 있어서, 상기 크로미넌스 채널들의 보간은,
    고려된 루미넌스와 크로미넌스 데이터를 이용하여 반대 크로미넌스 위치들에서 크로미넌스를 추정하는 단계와,
    수평과 수직 방향에서 크로미넌스와 루미넌스 데이터를 이용하여 그래디언트 함수들을 계산하는 단계와,
    전단계의 결과들을 이용하여, 크로미넌스와 루미넌스 데이터를 고려하여 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  17. 제 16항에 있어서, 상기 반대 크로미넌스 위치들의 추정은,
    상기 추정을 계산하기 위한 다음의 수학식을 포함하며,
    여기서, L(i,j)은 녹색에 근사한 루미넌스이고, C(i,j)는 적색 및 청색에 근사한 루미넌스인, 풀 컬러 이미지 획득 방법.
  18. 제 16항에 있어서,
    수평△H와 수직 방향△V에서 크로미넌스와 루미넌스 데이터를 이용한 상기 그래디언트 함수들의 계산은, 다음의 수학식들을 포함하며,
    여기서, C(i,j)는 적색 및 청색에 근사한 크로미넌스이고, L(i,j)은 녹색에 근사한 크로미넌스인, 풀 컬러 이미지 획득 방법.
  19. 제 16항에 있어서,
    전단계의 결과들을 이용하여, 루미넌스 위치들에서 크로미넌스와 루미넌스를 고려한 상기 크로미넌스의 보간은, 다음의 수학식들을 포함하며,
    여기서, C(i,j)는 적색 및 청색에 근사한 크로미넌스이고, L(i,j)은 녹색에 근사한 크로미넌스인, 풀 컬러 이미지 획득 방법.
  20. 제 1항에 있어서, 상기 루미넌스 채널의 수정은,
    모든 컬러 채널들로부터의 정보를 이용하여, 수평으로 그리고 수직으로, 두 개의 그래디언트 함수들을 계산하는 단계와,
    평가 후에, 상기 그래디언트 함수들이 같지 않다면, 수평으로 또는 수직으로, 루미넌스 채널을 수정하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  21. 제 20항에 있어서,
    두 개의 그래디언트 함수들의 계산은 다음의 수학식들을 포함하며,
    여기서, L(i,j)은 녹색에 근사한 크로미넌스이고, CR (i,j)는 적색 크로미넌스 채널이고, CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  22. 제 20항에 있어서,
    계산 후에, 상기 그래디언트 함수들이 수평으로 그리고 수직으로 같지 않다면, 상기 루미넌스 채널의 수정은,
    상기 루미넌스 채널을 수정하기 위해 다음의 수학식들을 포함하며,
    여기서, L(i,j)은 녹색에 근사한 크로미넌스이고, CR (i,j)는 적색 크로미넌스 채널이고, CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  23. 제 1항에 있어서, 상기 크로미넌스 채널들의 수정은,
    강화된 크로미넌스 및 루미넌스 데이터를 이용하여 4개의 나침 방향들(compass directions)에서 반전되고 정규화된 그래디언트 함수들을 계산하는 단계와,
    전단계로부터의 결과를 이용하여, 크로미넌스와 강화된 루미넌스 데이터를 고려하여 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  24. 제 23항에 있어서,
    강화된 크로미넌스와 루미넌스 데이터를 이용하여, 상기 나침 방향들에서 상기 반전되고 정규화된 그래디언트 함수의 계산은,
    다음의 수학식들을 포함하는 상기 그래디언트 함수들을 계산하기 위한 수학식들을 포함하며,
    여기서, C(i,j)는 적색 및 청색에 근사한 크로미넌스이고, L(i,j)은 녹색에 근사한 크로미넌스이며;
    다음의 수학식을 포함하는 상기 그래디언트 함수들을 반전시키기 위한 수학식들을 포함하며;
    여기서, x는 상기 도시된 수학식의 상기 그래디언트(gradient) 함수이고,
    상기 역 그래디언트 함수를 규준화한 수학식은,
    과 같고, 여기서, x는 상기 도시된 수학식의 상기 그래디언트 함수인, 풀 컬러 이미지 획득 방법.
  25. 제 23 항에 있어서,
    선행 단계의 결과들을 사용하여 크로미넌스 및 향상된 루미넌스 데이터를 고려한 크로미넌스의 상기 보간은 상기 역 및 규준화된 그래디언트 함수들(Fn(x))을 활용하여 루미넌스 위치들과 반대 크로미넌스 위치들 모두의 크로미넌스의 정정을 결정하는, 상기 크로미넌스 채널들을 보간하는 다음 수학식을 포함하고,
    여기서, C(i,j)는 상기 크로미넌스(적색 또는 청색에 근사)이고, L(i,j)는 상기 루미넌스(녹색에 근사)인, 풀 컬러 이미지 획득 방법.
  26. 제 1 항에 있어서,
    상기 크로미넌스 채널들의 정정은,
    수평 및 수직 방향으로 향상된 크로미넌스 및 루미넌스를 사용하여 그래디언트 함수들을 계산하는 단계와,
    선행 단계로부터의 결과를 사용하여 크로미넌스 및 향상된 루미넌스 데이터를 고려하는 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  27. 제 26 항에 있어서,
    수평(ΔH) 및 수직(ΔV) 방향으로 향상된 크로미넌스 및 루미넌스 데이터를사용하는 상기 그래디언트 함수들의 계산은 다음 수학식을 포함하고,
    여기서, C(i,j)는 상기 크로미넌스(적색 또는 청색에 근사) 및 L(j,j)는 루미넌스(녹색에 근사)인, 풀 컬러 이미지 획득 방법.
  28. 제 26 항에 있어서,
    선행 단계의 결과들을 사용하여 크로미넌스 및 향상된 루미넌스 데이터를 고려한 크로미넌스의 상기 보간은 선행 단계로부터 수평 및 수직 방향의 그래디언트 함수들을 활용한 상기 크로미넌스 채널들을 보간하여 루미넌스 위치들과 반대 크로미넌스 위치들 모두의 크로미넌스의 정정을 결정하는 다음 수학식을 포함하고,
    여기서, C(i,j)는 상기 크로미넌스(적색 또는 청색에 근사)이고, L(i,j)는 상기 루미넌스(녹색에 근사)인, 풀 컬러 이미지 획득 방법.
  29. 단일 감지 카메라의 누락된 컬러 정보를 추정하여 풀 컬러 이미지를 얻는 방법으로서,
    C-M-Y 컬러 필터 어레이(CFA)와, 생 이미지(raw image)의 아날로그/디지털 변환기와, 보간 유닛과, 컬러 처리 유닛을 포함하는 노출 유닛을 제공하는 단계와,
    자홍색(magenta)용 프록시로서 사용되는 루미넌스 채널을 보간하는 단계와,
    루미넌스 채널을 정정하는 단계와,
    크로미넌스 채널을 정정하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  30. 제 29 항에 있어서,
    상기 루미넌스 채널을 보간하는 단계는,
    루미넌스 및 크로미넌스 데이터를 사용하여 네 콤파스 방향들의 역 및 규준화된 그래디언트 함수들을 계산하는 단계와,
    선행 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하는 상기 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  31. 제 30 항에 있어서,
    상기 네 콤파스 방향들의 역 및 규준화된 그래디언트 함수들을 계산하는 단계는,
    상기 그래디언트 함수들을 계산하는 다음 수학식들을 포함하고,
    여기서, L(i,j)는 상기 루미넌스(자홍색에 근사)이고, C(i,j)는 상기 크로미넌스(황색 또는 청녹색(cyan)에 근사)이고, 상기 그래디언트의 역 수학식은,
    를 포함하고, 여기서, x는 상기 수학식의 그래디언트 함수이고, 상기 역 그래디언트 함수를 규준화한 수학식은,
    를 포함하고, 여기서, x는 상기 도시된 수학식의 그래디언트 함수인, 풀 컬러 이미지 획득 방법.
  32. 제 30 항에 있어서,
    선행 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려한 상기 루미넌스의 상기 보간은 네 콤파스 방향들로 규준화한 역 그래디언트 함수를 이용한 누락된 후도 값들을 보간하는 다음 수학식을 포함하고,
    여기서, L(i,j)는 상기 루미넌스(자홍색에 근사)이고, C(i,j)는 상기 크로미넌스(황색 또는 청녹색에 근사)인, 풀 컬러 이미지 획득 방법.
  33. 제 29 항에 있어서, 상기 루미넌스 채널의 상기 보간은,
    루미넌스 및 크로미넌스 데이터를 사용하여 수평 및 수직 방향으로 그래디언트 함수들을 계산하는 단계와,
    선행 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터 고려하는 상기 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  34. 제 33 항에 있어서,
    상기 수평 및 수직 방향으로 그래디언트 함수들을 계산하는 단계는 상기 그래디언트 함수들을 계산하는 다음 수학식들을 포함하고,
    여기서, L(i,j)는 상기 루미넌스(자홍색에 근사)이고, C(i,j)는 상기 크로미넌스(황색 또는 청녹색에 근사)인, 풀 컬러 이미지 획득 방법.
  35. 제 33 항에 있어서,
    이전 단계의 결과들을 사용하는 루미넌스 및 크로미넌스 데이터를 고려한 루미넌스의 상기 보간은 수평 및 수직 방향으로 그래디언트 함수들을 이용하는 미싱 루미넌스 값들(missing luminance values)을 보간하는 식을 포함하는데,
    여기서, L(i, j)은 마젠타(magenta)에 접근된 루미넌스이고, C(i, j)는 옐로우 및 시안에 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  36. 제 29 항에 있어서, 상기 크로미넌스 채널들의 상기 보간은,
    고려된 루미넌스 및 크로미넌스 데이터를 사용하는 반대의 크로미넌스 위치들에서 크로미넌스를 평가하는 단계와,
    크로미넌스 및 루미넌스 데이터를 사용하는 4개의 나침 방향들로 반전 및 정규화된 그래디언트 함수들을 계산하는 단계와,
    이전 단계의 결과들을 이용하는 크로미넌스 및 루미넌스 데이터를 고려하여크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  37. 제 36 항에 있어서,
    반대의 크로미넌스 위치들에서 크로미넌스의 상기 평가는, 상기 평가를 계산하는 식을 포함하는데,
    여기서, L(i, j)은 마젠타(magenta)에 접근된 루미넌스이고, C(i, j)는 예로우 및 시안에 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  38. 제 36 항에 있어서,
    크로미넌스 및 루미넌스 데이터를 사용하는 4개의 나침 방향들로 반전 및 정규화된 그래디언트 함수들의 상기 계산은,
    상기 그래디언트 함수들을 계산하는 식들,
    를 포함하는데, 여기서, L(i, j)은 마젠타(magenta)에 접근된 루미넌스이고, C(i, j)는 옐로우 및 시안에 접근된 크로미넌스이며,
    상기 반전된 그래디언트 함수들을 정규화하는 식은,
    를 포함하는데, 여기서, x는 상기 도시된 식들의 그래디언트 함수들이고,
    상기 반전된 그래디언트 함수들을 정규화하는 식은,
    인데, 여기서, x는 상기 도시된 식들의 그래디언트 함수들인, 풀 컬러 이미지 획득 방법
  39. 제 36 항에 있어서,
    크로미넌스 및 루미넌스 데이터를 고려하여, 이전 단계의 결과를 이용하는 크로미넌스의 상기 보간은 상기 반전 및 정규화된 그래디언트 함수들 Fn(x)을 이용하는 루미넌스 위치들에서 크로미넌스 채널들을 보간하는 식을 포함하는데,
    여기서, C(i, j)는 적색 또는 청색에 접근된 크로미넌스이고, L(i, j)은 녹색에 접근된 루미넌스인, 풀 컬러 이미지 획득 방법.
  40. 제 29 항에 있어서, 크로미넌스 채널들의 상기 보간은,
    고려된 루미넌스 및 크로미넌스 데이터를 사용하는 반대의 크로미넌스 위치들에서 크로미넌스를 평가하는 단계와,
    수평 및 수직 방향으로 크로미넌스 및 루미넌스를 사용하는 그래디언트 함수들을 계산하는 단계와,
    이전 단계의 결과를 이용하는 크로미넌스 및 루미넌스 데이터를 고려한 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법
  41. 제 40 항에 있어서, 반대의 크로미넌스 위치들에서 크로미넌스의 상기 평가는,
    상기 평가를 계산하는 식,
    을 포함하고, 여기서, L(i, j)은 마젠타에 접근된 루미넌스이고, C(i, j)는 옐로우 및 시안에 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  42. 제 40 항에 있어서,
    수평 △H 및 수직 방향 △V으로 크로미넌스 및 루미넌스 데이터를 이용하는 그래디언트 함수들의 상기 계산은,
    을 포함하고,
    여기서, L(i, j)은 마젠타에 접근된 루미넌스이고, C(i, j)는 옐로우 및 시안에 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  43. 제 40 항에 있어서,
    이전 단계의 결과를 이용하는 크로미넌스 및 루미넌스를 고려한 크로미넌스의 상기 보간은,
    을 포함하고,
    여기서, L(i, j)은 마젠타에 접근된 루미넌스이고, C(i, j)는 옐로우 및 시안에 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  44. 제 29 항에 있어서, 상기 루미넌스 채널의 교정은,
    모든 칼러 채널로 부터의 정보를 사용하여서 2개의 그라디언트 함수(gradient function)를 수평 및 수직으로 평가하는 단계와,
    평가이후에도, 상기 그라디언트 함수가 동일하지 않게 된다면, 수평 또는 수직으로 루미넌스 채널을 교정하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  45. 제 44 항에 있어서, 상기 2개의 그라디언트 함수를 평가하는 단계는,
    를 포함하고,
    여기에서, L(i,j)는 마젠타에 의하여 접근되는 루미넌스이고, 그리고는 엘로우 크로미넌스(yellow chrominance) 채널이고,는 시안 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  46. 제 44 항에 있어서,
    평가이후에, 상기 그라디언트 함수가 수평 및 수직적으로 동일하지 않게 된다면, 상기 루미넌스 채널을 교정하는 단계는 루미넌스 채널을 교정하기 교정하기위한 식
    를 포함하고,
    여기에서, L(i,j)는 마젠타에 의하여 근접된 루미넌스이고,는 엘로우 크로미넌스 채널이며,는 시안 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  47. 제 29 항에 있어서, 상기 크로미넌스 채널을 교정하는 단계는,
    향상된 크로미넌스 및 루미넌스 데이터를 사용하여서 4개의 나침(compass) 방향에서 반전되고 표준화된 그라디언트를 평가하는 단계와,
    이전의 단계로 부터의 결과를 사용하여서 크로미넌스와 향상된 루미넌스 데이터를 고려하여서 크로미넌스를 삽입하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  48. 제 47 항에 있어서,
    향상된 크로미넌스와 루미넌스 데이터를 사용하여서 4개의 나침 방향에서 언버트되고 표준화된 그라디언트 함수의 평가 단계는,
    다음의 식을 포함하는 상기 그라디언트 함수를 평가하기 위한 식과;
    여기에서, L(i,j)는 마젠타에 의하여 근접된 루미넌스이고, C(i,j)는 엘로우 및 시안에 의하여 근접된 크로미넌스이며,
    다음의 식을 포함하는 그라디언트 함수를 언버트하기 위한 등식과:
    여기에서, x는 상기 도시된 등식의 그라디언트 함수이고,
    상기 인버트된 함수를 표준화하기 위한 등식을 포함하고,
    여기에서, x는 상기 도시된 등식의 그라디언트 함수인, 풀 컬러 이미지 획득 방법.
  49. 제 47 항에 있어서,
    이전의 단계 결과를 사용하여서 크로미넌스와 향상된 루미넌스를 고려하는크로미넌스의 보간법은, 루미넌스 위치와 대향된 크로미넌스 위치 둘다에서 크로미넌스의 교정을 결정하는 언버트되고 표준화된 그라디언트 함수 Fn(x)를 사용하여서 상기 크로미넌스 채널을 삽입하기 위한 등식
    를 포함하고, 여기에서, L(i,j)는 마젠타에 의하여 접근된 루미넌스이고, C(i,j)는 엘로우와 시안에 의하여 접근된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  50. 제 29항에 있어서, 상기 크로미넌스 채널의 보정은,
    수평 및 수직 방향으로 강화된 크로미넌스 및 루미넌스를 사용하는 연산 그래디언트 함수; 및
    이전 단계에서 파생된 결과를 사용하여 크로미넌스 및 강화된 루미넌스 데이터를 고려하는 보간 크로미넌스를 포함하는, 풀 컬러 이미지 획득 방법.
  51. 제 50항에 있어서,
    상기 수평(ΔH) 및 수직 방향(ΔV)으로 강화된 크로미넌스 및 루미넌스를 사용하는 연산 그래디언트 함수는 다음과 같은 방정식을 포함하며,
    여기서, L(i,j)는 마젠타색에 근접하는 루미넌스이고, C(i,j)는 노란색과 청록색에 근접하는 크로미넌스인, 풀 컬러 이미지 획득 방법.
  52. 제 50항에 있어서,
    이전 단계에서 파생된 결과를 사용하여 크로미넌스 및 강화된 루미넌스 데이터를 고려하는 보간 크로미넌스는 루미넌스 위치와 대향하는 크로미넌스 위치 모두에서 크로미넌스의 보정을 결정하는 이전 단계로부터 수평 및 수직 방향으로 그래디언트 함수들을 사용하여 크로미넌스 채널들을 보간하기 위한 방정식을 포함하며,
    여기서, L(i,j)는 마젠타색에 근접하는 루미넌스이고, C(i,j)는 노란색과 청록색에 근접하는 크로미넌스인, 풀 컬러 이미지 획득 방법.
  53. 단일 센서 카메라의 결여 컬러 정보를 산출함으로써 풀 컬러 이미지를 획득하기 위한 방법에 있어서,
    다이아고널 패턴 컬러 필터 어레이(CFA), 미노출 이미지의 아날로그/디지털 컨버터, 보간 유닛, 및 컬러 처리 유닛을 포함하는 노출 유닛을 제공하는 단계와;
    녹색 대신 사용된 보간 루미넌스 채널과;
    적색 및 청색 대신 사용된 보간 크로미넌스 채널과;
    보정 루미넌스 채널; 및
    보정 크로미넌스 채널을 포함하는, 풀 컬러 이미지 획득 방법.
  54. 제 53항에 있어서, 상기 루미넌스 채널의 보간은,
    루미넌스 및 크로미넌스 데이터를 사용하여 4개의 나침 방향으로 반전 및 정상화된 그래디언트 함수들을 산출하는 단계; 및
    이전 단계에서 파생된 결과를 사용하여 루미넌스 및 크로미넌스 데이터를 고려하여 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  55. 제 54항에 있어서,
    상기 4개의 나침 방향으로 반전 및 정상화된 그래디언트 함수들을 산출하는 단계는 다음의 방정식들을 포함하며,
    상기 그래디언트 함수들을 산출하기 위한 방정식;
    여기서, L(i,j)는 녹색에 근접하는 루미넌스이고, C(i,j)는 적색 및 청색에 근접하는 크로미넌스이고;
    상기 그래디언트들을 반전시키기 위한 방정식;
    여기서, x는 상술된 방정식들의 그래디언트 함수들이고;
    상기 반전 그래디언트 함수들을 정상화시키기 위한 방정식:
    을 포함하고,
    여기서 x는 상술된 방정식들의 그래디언트 함수들인, 풀 컬러 이미지 획득 방법.
  56. 제 54 항에 있어서,
    상기 이전 단계의 결과를 사용하여 루미넌스와 크로미넌스를 고려하는 상기루미넌스의 상기 보간은 4개의 나침 방향의 정규화된 반전 그래디언트 함수를 사용하여 누락 루미넌스 값을 보간하기 위한 수학식을 포함하고,
    여기서, L(i,j)는 녹색에 의해 근사화된 루미넌스이고, C(i,j)는 적색 또는 청색에 의해 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  57. 제 53 항에 있어서, 상기 루미넌스 채널의 상기 보간은,
    루미넌스 및 크로미넌스 데이터를 사용하여 수평 및 수직 방향으로 그래디언트 함수들을 연산하는 단계와,
    이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하여 상기 루미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  58. 제 57 항에 있어서,
    상기 수평 및 수직 방향의 그래디언트 함수의 연산은 그래디언트 함수를 연산하기 위한 수학식을 포함하고,
    여기서, L(i,j)는 녹색에 의해 근사화된 루미넌스이고, C(i,j)는 적색 및 청색에 의해 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  59. 제 57 항에 있어서,
    상기 이전 단계의 결과를 사용하여 루미넌스 및 크로미넌스 데이터를 고려하는 상기 루미넌스의 상기 보간은 수직 및 수평 방향의 그래디언트 함수를 사용하여 누락 루미넌스 값을 보간하기 위한 수학식을 포함하고,
    여기서, L(i,j)는 녹색에 의해 근사화된 루미넌스이고, C(i,j)는 적색 또는 청색에 의해 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  60. 제 53 항에 있어서, 상기 크로미넌스 채널의 상기 보간은,
    고려된 루미넌스 및 크로미넌스 데이터를 사용하여 반대 크로미넌스 위치의 크로미넌스를 추정하고,
    크로미넌스 및 루미넌스 데이터를 사용하여 4개의 나침 방향으로 반전 및 정규화된 그래디언트 함수를 연산하며,
    이전 단계의 결과를 사용하여 크로미넌스 및 루미넌스 데이터를 고려하여 크로미넌스를 보간하는 것을 포함하는, 풀 컬러 이미지 획득 방법.
  61. 제 60 항에 있어서,
    상기 반대 크로미넌스 위치의 크로미넌스의 추정은 상기 추정을 연산하기 위한 수학식을 포함하고,
    여기서, L(i,j)는 녹색에 의해 근사화된 루미넌스이고, C(i,j)는 적색 및 청색에 의해 근사화된 크로미넌스인, 풀 컬러 이미지 획득 방법.
  62. 제 60 항에 있어서,
    상기 크로미넌스 및 루미넌스 데이터를 사용한 4개의 나침 방향의 반전및 정규화된 그래디언트 함수의 상기 연산은,
    상기 그래디언트 함수를 연산하기 위한 수학식을 포함하고,
    여기서, L(i,j)는 녹색에 의해 근사화된 루미넌스이고, C(i,j)는 적색 또는 청색에 의해 근사화된 크로미넌스이고,
    상기 그래디언트 함수를 반전시키기 위한 수학식을 포함하고,
    여기서, x는 상기 수학식의 그래디언트 함수이며,
    상기 반전된 그래디언트 함수를 정규화하기 위한 수학식을 포함하고,
    여기서, x는 상기 수학식의 그래디언트 함수인, 풀 컬러 이미지 획득 방법.
  63. 제 60 항에 있어서,
    이전 단계의 결과를 사용하여 크로미넌스 및 루미넌스 데이터를 고려하는 상기 크로미넌스의 보간은 상기 반전 및 표준화 그래디언트 함수 Fn(x)를 이용하여 루미넌스 위치들에서 크로미넌스 채널들을 보간하기 위해 하기의 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  64. 제 53 항에 있어서, 상기 크로미넌스 채널들을 보간하는 단계는,
    고려된 루미넌스 및 크로미넌스 데이터를 사용하여 대향 크로미넌스 위치들에서의 크로미넌스를 추정하는 단계,
    크로미넌스 및 루미넌스 데이터를 사용하여 수평 방향 및 수직 방향의 그래디언트 함수를 연산하는 단계, 및
    이전 단계의 결과를 사용하여 크로미넌스 및 루미넌스 데이터를 고려하는 크로미넌스를 보간하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  65. 제 64 항에 있어서,
    상기 대향 크로미넌스 위치들에서의 크로미넌스를 추정하는 단계는 상기 추정을 연산하기 위해 하기의 방정식을 포함하고,
    여기서, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스, 상기 C(i,j)는 적색 및 청색에 의해 근사되는 크로미넌스인, 풀 컬러 이미지 획득 방법.
  66. 제 64 항에 있어서,
    상기 크로미넌스 및 루미넌스 데이터를 사용하여 수평 방향(ΔH) 및 수직 방향(ΔV)의 그래디언트 함수를 연산하는 단계는 하기의 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  67. 제 64 항에 있어서,
    상기 이전 단계의 결과를 사용하여 루미넌스 위치들에서 크로미넌스 및 루미넌스 데이터를 고려하는 크로미넌스의 보간 단계는 하기의 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  68. 제 53 항에 있어서, 상기 루미넌스 채널을 수정하는 단계는,
    모든 컬러 채널로부터의 정보를 사용하여 수평 및 수직으로 두개의 그래디언트 함수를 연산하는 단계와,
    평가 후에, 상기 그래디언트 함수들이 동일하지 않은 경우에, 수평 또는 수직으로 루미넌스 채널을 수정하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  69. 제 68 항에 있어서,
    상기 두개의 그래디언트 함수를 연산하는 단계는 하기의 방정식을 포함하고,
    여기서, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스, 상기 CR (i,j)는 적색 크로미넌스 채널, 상기 CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  70. 제 68 항에 있어서,
    상기 평가 후에, 상기 그래디언트 함수들이 동일하지 않은 경우에, 수평 또는 수직으로 루미넌스 채널을 수정하는 단계는 상기 루미넌스 채널을 수정하기 위해 하기의 방정식을 포함하고,
    여기서, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스, 상기 CR (i,j)는 적색 크로미넌스 채널, 상기 CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  71. 제 53 항에 있어서, 상기 크로미넌스 채널들을 수정하는 단계는,
    강화된 크로미넌스 및 루미넌스 데이터를 사용하여 반전 및 표준화 그래디언트 함수를 4개의 콤파스 방향으로 연산하는 단계와,
    이전 단계로부터의 결과를 사용하여 크로미넌스 및 강화된 루미넌스 데이터를 고려하는 크로미넌스 보간 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  72. 제 71 항에 있어서,
    향상된 크로미넌스 및 루미넌스 데이터를 사용하는 네개의 콤파스 방향으로 반전 및 표준화된 그래디언트 함수의 상기 연산은,
    상기 그래디언트 함수를 연산하기 위한 방정식과,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스,
    상기 그래디언트 함수를 변환하기 위한 방정식과
    여기서 X는 상술한 방정식의 그래디언트 함수,
    상기 변환된 그래디언트 함수를 표준화하기 위한 방적식을 포함하고,
    여기서, X는 상술한 방정식의 그래디언트 함수인, 풀 컬러 이미지 획득 방법.
  73. 제 71 항에 있어서,
    이전 단계의 결과를 사용하는 크로미넌스와 향상된 루미넌스 데이터를 고려한 상기 크로미넌스 보간법은 루미넌스 로케이션과 대향하는 크로미넌스 로케이션 양자에서 크로미넌스의 수정을 결정하는 상기 반전 및 표준화 그래디언트 함수(Fn(x))를 활용하는 상기 크로미넌스 채널을 보간하기 위한 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  74. 제 53 항에 있어서,
    상기 크로미넌스 채널의 수정은 향상된 크로미넌스 및 루미넌스를 수평 및 수직 방향에서 사용하는 그래디언트 함수 연산법과,
    이전 단계로부터의 결과를 사용하여 크로미넌스 및 향상된 루미넌스 데이터를 고려한 크로미넌스 보간법을 포함하는, 풀 컬러 이미지 획득 방법.
  75. 제 74 항에 있어서,
    향상된 크로미넌스와 루미넌스 데이터를 수평 방향(△H)과 수직 방향(△V)에서 사용하는 그래디언트 함수의 상기 연산법은
    다음의 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  76. 제 74 항에 있어서,
    이전 단계의 결과를 사용하는 크로미넌스 및 향상된 루미넌스 데이터를 고련한 상기 크로미넌스 보간법은 루미넌스 로케이션과 대향하는 크로미넌스 로케이션 양자에서 크로미넌스 수정을 결정하는 이전 단계로부터 수평 및 수직 방향으로 그래디언트 함수를 활용하는 상기 크로미넌스 채널을 보간하기 위한 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  77. 단일 센서 카메라의 분실 컬러 정보를 평가함으로써 풀 컬러 이미지를 획득하는 방법으로서,
    컬러 필터 어레이(CFA), 미가공 이미지(raw image)의 아날로그/디지털 컨버터, 보간(interpolation) 유닛, 및 컬러 처리 유닛을 포함하는 노출 유닛을 제공하는 단계와,
    루미넌스 채널의 보간을 준비하기 위해 루미넌스 및 크로미넌스 데이터를 사용하여 특정 방향으로의 그래디언트 함수들을 연산하는 단계와,
    이전 단계의 결과들을 이용하여 루미넌스 및 크로미넌스 데이터를 고려하여 루미넌스를 보간처리하는 단계와,
    고려되는 루미넌스 및 크로미넌스 데이터를 사용하여 대향하는 크로미넌스 위치들에서 크로미넌스를 평가하는 단계와,
    크로미넌스 채널의 보간을 준비하기 위해 크로미넌스 및 루미넌스 데이터를 사용하여 특정 방향으로의 그래디언트 함수들을 연산하는 단계와,
    이전 단계로부터의 결과들을 사용하여 크로미넌스 및 루미넌스 데이터를 고려하여 크로미넌스 위치들에서의 크로미넌스를 보간처리하는 단계와,
    루미넌스 채널의 수정을 준비하기 위해 모든 컬러 채널들로부터의 정보를 사용하여, 두개의 그래디언트 함수들을 수평 및 수직으로 연산하는 단계와,
    상기 그래디언트 함수들이 동일하지 않다면 루미넌스 채널을 수평 및 수직으로 수정하는 단계와,
    크로미넌스 채널의 수정을 준비하기 위해 보강된 크로미넌스 및 루미넌스 데이터를 사용하여 그래디언트 함수들을 연산하는 단계, 및
    이전 단계로부터의 결과들을 사용하여 크로미넌스 및 보강된 루미넌스 데이터를 고려하여 루미넌스 및 반대 크로미넌스 위치에서의 크로미넌스 수정을 결정하는 크로미넌스를 보간처리하는 단계를 포함하는, 풀 컬러 이미지 획득 방법.
  78. 제 77 항에 있어서,
    상기 컬러 필터 어레이는 바이어 패턴 R-G-B CFA 인, 풀 컬러 이미지 획득 방법.
  79. 제 77 항에 있어서,
    상기 컬러 필터 어레이는 C-M-Y CFA 이며, 상기 C-M-Y 수치는 R-G-B 수치로 전환되는, 풀 컬러 이미지 획득 방법.
  80. 제 77 항에 있어서,
    상기 루미넌스 채널의 보간을 준비하기 위한 상기 그래디언트 함수들의 연산은,
    그래디언트 함수를 네개의 콤파스 방향으로 연산하기 위한 하기의 방정식과,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스이고,
    이들 그래디언트를 반전시키기 위한 방정식과,
    여기서, x는 상술한 방정식의 그래디언트 함수이고,
    반전된 그래디언트 함수를 정상화시키기 위한 방정식을 포함하고,
    여기서, 상기 x는 상술한 방정식의 그래디언트 함수인, 풀 컬러 이미지 획득 방법.
  81. 제 77 항에 있어서,
    이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스를 고려하여 루미넌스 채널을 보간처리하는 단계는 정상화된 네 콤파스 방향으로의 반전 그래디언트함수를 사용하여 분실 루미넌스 수치를 보간처리하기 위한 방정식을 포함하고,
    여기서, 상기 C(i,j)는 적색 또는 청색에 의해 근사되는 크로미넌스, 상기 L(i,j)는 녹색에 의해 근사되는 루미넌스인, 풀 컬러 이미지 획득 방법.
  82. 제77항에 있어서,
    루미넌스 채널의 내삽을 준비하는 그래디언트함수의 상기 계산은 수평 및 수직 방향에서 그래디언트함수를 계산하는 아래 수학식을 구비하고,
    여기서 L(i,j)는 녹색에 가까운 루미넌스이며, C(i,j)는 적색 및 청색에 가까운 크로미넌스인, 풀 컬러 이미지 획득 방법.
  83. 제77항에 있어서,
    이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하는 루미넌스의 상기 내삽은 수평 및 수직 방향에서 그래디언트함수를 사용하여 미싱루미넌스치를 내삽하는 아래 수학식을 구비하고,
    여기서 L(i,j)는 녹색에 가까운 루미넌스이며, C(i,j)는 적색 및 청색에 가까운 크로미넌스인, 풀 컬러 이미지 획득 방법.
  84. 제77항에 있어서,
    대향한 크로미넌스 위치들에서의 크로미넌스의 상기 평가는 상기 평가를 계산하는 아래 수학식을 구비하고,
    여기서 L(i,j)는 녹색에 가까운 루미넌스이며, C(i,j)는 적색 및 청색에 가까운 크로미넌스인, 풀 컬러 이미지 획득 방법.
  85. 제 77 항에 있어서,
    크로미넌스 및 루미넌스 데이터를 사용하여 크로미넌스 채널의 내삽을 준비하는 그래디언트함수의 상기 계산은 4 나침 방향에서 상기 그래디언트함수를 계산하는 아래 수학식과;
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스이고; 그리고,
    상기 그래디언트함수를 반전하는 아래 수학식들과;
    여기서 x는 위에 도시된 수학식의 그래디언트함수이고, 및
    상기 반전된 그래디언트함수를 정상화하는 아래 수학식을 구비하고,
    여기서 x는 위에 도시된 수학식의 그래디언트함수인, 풀 컬러 이미지 획득 방법.
  86. 제 77 항에 있어서,
    이전 단계의 결과들을 사용하여 루미넌스 및 크로미넌스 데이터를 고려하는크로미넌스의 상기 내삽은 상기 반전된 및 정상화된 그래디언트함수들 Fn(x)를 사용하여 크로미넌스 채널들을 내삽하는 수학식을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  87. 제 77 항에 있어서,
    크로미넌스 및 루미넌스 데이터를 사용하여 크로미넌스 채널의 내삽을 준비하는 그래디언트함수의 상기 계산은 수평 및 수직 방향에서 그래디언트함수들을 계산하는 아래 수학식을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  88. 제 77 항에 있어서,
    수평 및 수직 방향에서 그래디언트들을 사용하여 크로미넌스 및 루미넌스 데이터를 고려하는 크로미넌스의 상기 내삽은 아래 수학식들을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  89. 제 77 항에 있어서,
    수평 및 수직 방향에서 2 그래디언트함수의 상기 계산은 아래 수학식들을 구비하고,
    여기서 L(i,j)는 녹색에 가까운 루미넌스이며, CR (i,j)는 적색 크로미넌스 채널이며, CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  90. 제 77 항에 있어서,
    평가후 수평 및 수직 방향에서 그래디언트함수들이 동일하지 않으면, 루미넌스 채널의 상기 교정은 루미넌스채널을 교정하는 아래 수학식을 구비하고,
    여기서 L(i,j)는 녹색에 가까운 루미넌스이며, CR (i,j)는 적색 크로미넌스 채널이며, CB (i,j)는 청색 크로미넌스 채널인, 풀 컬러 이미지 획득 방법.
  91. 제 77 항에 있어서,
    강화된 크로미넌스 및 루미넌스 데이터를 사용하여 크로미넌스 채널의 교정을 준비하는 그래디언트함수의 상기 계산은 4 나침 방향에서 상기 그래디언트함수들을 계산하는 아래 수학식들과;
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에가까운 루미넌스이고;
    상기 그래디언트함수를 반전하는 수학식들과;
    여기서 x는 위에 도시된 수학식의 그래디언트함수이고, 및
    상기 반전된 그래디언트함수를 정상화하는 아래 수학식을 구비하고,
    여기서 x는 위에 도시된 수학식의 그래디언트함수인, 풀 컬러 이미지 획득 방법.
  92. 제 77 항에 있어서,
    크로미넌스 및 강화된 루미넌스 데이터를 고려하는 크로미넌스의 상기 내삽은, 루미넌스 위치들과 대향한 크로미넌스 위치들 양쪽에서 크로미넌스의 교정을 결정하는 상기 반전된 및 정상화된 그래디언트함수 Fn(x)를 사용하여 크로미넌스 채널들을 내삽하는 아래 수학식을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  93. 제 77 항에 있어서,
    강화된 크로미넌스 및 루미넌스 데이터를 사용하여 크로미넌스 채널의 교정을 준비하는 그래디언트함수의 상기 계산은 수평 및 수직 방향에서 그래디언트함수들을 계산하는 아래 수학식을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  94. 제 77 항에 있어서,
    크로미넌스 및 강화된 루미넌스 데이터를 고려하는 크로미넌스의 상기 내삽은, 루미넌스 위치들과 대향한 크로미넌스 위치들 양쪽에서 크로미넌스의 교정을 결정하는 이전 단계로부터 수평 및 수직 방향에서 그래디언트함수들을 사용하여 크로미넌스 채널들을 내삽하는 아래 수학식을 구비하고,
    여기서, C(i,j)는 적색 또는 청색에 가까운 크로미넌스이며, L(i,j)는 녹색에 가까운 루미넌스인, 풀 컬러 이미지 획득 방법.
  95. 단일 센서 카메라의 미싱 컬러 정보를 평가함으로써 풀 컬러 이미지를 획득하는 장치에 있어서,
    컬러 필터 어레이(CFA)를 구비하는 노광 유닛;
    자연 이미지의 아날로그/디지털 컨버터;
    내삽 유닛; 및
    컬러 처리유닛을 구비하며;
    상기 내삽 유닛은 그래디언트함수들에 의해 얻은 가중치 세트에 의해 미싱 컬러 정보를 평가하고, 상기 가중치 세트는 특정 방향에서 이웃 픽셀들로부터 발견되는, 풀 컬러 이미지 획득 장치.
  96. 제 95 항에 있어서,
    상기 CFA는 바이엘 패턴 R-G-B 필터 어레이인, 풀 컬러 이미지 획득 장치.
  97. 제 95 항에 있어서,
    상기 CFA는 상보형(Complementary) 바이엘 패턴 필터 어레이인, 풀 컬러 이미지 획득 장치.
  98. 제 95 항에 있어서,
    상기 CFA는 사선형(Diagonal) 바이엘 패턴 필터 어레이인, 풀 컬러 이미지 획득 장치.
  99. 제 95 항에 있어서,
    상기 CFA는 상보형 사선형 바이엘 패턴 필터 어레이인, 풀 컬러 이미지 획득 장치.
  100. 제 95 항에 있어서,
    상기 가중 함수의 세트는 수평 및 수직 방향에서 이웃 픽셀들로부터 발견되는, 풀 컬러 이미지 획득 장치.
  101. 제 95 항에 있어서,
    상기 가중의 세트는 4 나침 방향에서 이웃 픽셀들로부터 발견되는, 풀 컬러 이미지 획득 장치.
  102. 제 95 항에 있어서,
    루미넌스는 녹색 채널을 위한 대용물(proxy)로서 사용되며, 크로미넌스는 적색 및 청색 채널을 위한 대용물로서 사용되는, 풀 컬러 이미지 획득 장치.
  103. 제95항에 있어서,
    루미넌스는 녹색 채널을 위한 대용물(proxy)로서 사용되며, 크로미넌스는 적색 및 청색 채널을 위한 대용물로서 사용되는, 풀 컬러 이미지 획득 장치.
KR1020040003433A 2003-01-16 2004-01-16 가중 그래디언트 기반 및 컬러 수정 보간 KR20040066051A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03392002.6 2003-01-16
EP03392002A EP1439715A1 (en) 2003-01-16 2003-01-16 Weighted gradient based colour interpolation for colour filter array

Publications (1)

Publication Number Publication Date
KR20040066051A true KR20040066051A (ko) 2004-07-23

Family

ID=32524283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040003433A KR20040066051A (ko) 2003-01-16 2004-01-16 가중 그래디언트 기반 및 컬러 수정 보간

Country Status (4)

Country Link
US (1) US7256828B2 (ko)
EP (1) EP1439715A1 (ko)
JP (1) JP2004343685A (ko)
KR (1) KR20040066051A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115866A1 (ko) * 2014-02-03 2015-08-06 삼성전자 주식회사 이미지의 색상 신호를 보간하는 방법 및 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
US20070292022A1 (en) * 2003-01-16 2007-12-20 Andreas Nilsson Weighted gradient based and color corrected interpolation
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
EP1641283B1 (en) * 2003-06-12 2019-01-09 Nikon Corporation Image processing method, image processing program, image processor
JP4510421B2 (ja) * 2003-10-20 2010-07-21 キヤノンファインテック株式会社 インクジェット記録用インク、インクジェット記録方法、インクカートリッジおよびインクジェット記録装置
US7376288B2 (en) * 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP5049460B2 (ja) * 2004-11-09 2012-10-17 イーストマン コダック カンパニー カラー撮像画像データの補間方法およびプログラム
CN100394883C (zh) * 2005-12-02 2008-06-18 清华大学 无线内窥镜系统的准无损图像压缩和解压缩方法
KR100738180B1 (ko) 2005-12-28 2007-07-10 매그나칩 반도체 유한회사 이미지 센서 및 이미지 센서의 칼라 보간 방법
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
WO2008086037A2 (en) * 2007-01-10 2008-07-17 Flextronics International Usa Inc. Color filter array interpolation
US7889245B2 (en) * 2007-01-12 2011-02-15 Seiko Epson Corporation Automatic white balancing of a digital image
US7920751B2 (en) * 2007-03-16 2011-04-05 General Electric Company Adaptive gradient weighting technique for detector bad cell correction
KR101340518B1 (ko) * 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US7986859B2 (en) * 2008-04-16 2011-07-26 Clarity Medical Systems, Inc. Converting bayer pattern RGB images to full resolution RGB images via intermediate hue, saturation and intensity (HSI) conversion
KR101515957B1 (ko) 2008-09-08 2015-05-04 삼성전자주식회사 컬러 보간 장치와 컬러 보간 방법
US20100104178A1 (en) * 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
CN101860680B (zh) * 2009-04-08 2011-12-21 鸿富锦精密工业（深圳）有限公司 影像处理装置及其影像处理方法
KR101335127B1 (ko) 2009-08-10 2013-12-03 삼성전자주식회사 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말
RU2551649C2 (ru) * 2011-02-28 2015-05-27 Фуджифилм Корпорэйшн Устройство формирования цветного изображения
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP5898428B2 (ja) 2011-08-09 2016-04-06 キヤノン株式会社 画像処理装置及びその制御方法
JP5818568B2 (ja) * 2011-08-09 2015-11-18 キヤノン株式会社 画像処理装置及びその制御方法
CN113242413B (zh) * 2021-07-12 2021-09-21 深圳市艾为智能有限公司 抗锯齿的rccb滤镜阵列插值计算方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US6268939B1 (en) * 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
US5990950A (en) * 1998-02-11 1999-11-23 Iterated Systems, Inc. Method and system for color filter array multifactor interpolation
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115866A1 (ko) * 2014-02-03 2015-08-06 삼성전자 주식회사 이미지의 색상 신호를 보간하는 방법 및 장치

Also Published As

Publication number Publication date
JP2004343685A (ja) 2004-12-02
US20040141072A1 (en) 2004-07-22
EP1439715A1 (en) 2004-07-21
US7256828B2 (en) 2007-08-14

Similar Documents

Publication Publication Date Title
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
US7728882B2 (en) Green reconstruction for image sensors
US8723995B2 (en) Extended dynamic range in color imagers
US5889554A (en) Process and system for generating a full color image of multispectral image from the image data of a CCD image sensor with a mosaic color filter
Losson et al. Comparison of color demosaicing methods
US7088392B2 (en) Digital image system and method for implementing an adaptive demosaicing method
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7082218B2 (en) Color correction of images
US20070292022A1 (en) Weighted gradient based and color corrected interpolation
US6970597B1 (en) Method of defining coefficients for use in interpolating pixel values
US7565007B2 (en) Image processing method, image processing program, and image processing apparatus
JP3806211B2 (ja) 撮像信号処理方法及び撮像信号処理装置
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
US20100265352A1 (en) Image processing apparatus, control method therefor, and storage medium
JP2011091483A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP3771054B2 (ja) 画像処理装置及び画像処理方法
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
US7146042B2 (en) Image processing apparatus and colorimetric system conversion method
US5821999A (en) Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor
JP3458080B2 (ja) カラー撮像装置
US7305141B2 (en) Contour filter for image sensor output signals
CN105046631A (zh) 图像处理设备和图像处理方法
JP5454156B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP3946913B2 (ja) 信号生成方法および装置並びに記録媒体
JP2003134523A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid