KR20080089649A - 적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법및 장치 - Google Patents

적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법및 장치 Download PDF

Info

Publication number
KR20080089649A
KR20080089649A KR1020087020308A KR20087020308A KR20080089649A KR 20080089649 A KR20080089649 A KR 20080089649A KR 1020087020308 A KR1020087020308 A KR 1020087020308A KR 20087020308 A KR20087020308 A KR 20087020308A KR 20080089649 A KR20080089649 A KR 20080089649A
Authority
KR
South Korea
Prior art keywords
green
pixel
green pixel
weighted
pixels
Prior art date
Application number
KR1020087020308A
Other languages
English (en)
Inventor
스제포 로버트 헝
잉 셰 노이에스
시앙-춘 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/470,619 external-priority patent/US8005297B2/en
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20080089649A publication Critical patent/KR20080089649A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

데모사익 프로세싱된 이미지에서 홀짝 미스매치에 의해 야기된 아티팩트의 소멸을 달성하기 위해 적응성 그린 채널 홀짝 미스매치 제거의 방법 및 장치가 개시된다. 하나의 적응성 접근에서, 레드 행에 대한 교정된 GR 채널 이득 및 블루 행에 대한 교정된 GB 채널 이득은 결정되고 오직 각 개별 영역에서의 유효 픽셀에 관한 함수이다. 교정 후에, 보정 프로세스에서, 영역의 레드 행에서의 그린 픽셀에 교정된 GR 채널 이득을 곱한다. 한편, 블루 열에서의 그린 픽셀에 교정된 GB 채널 이득을 곱한다. 따라서, 데모사익 프로세싱 이후에, 보정된 이미지는 그린 채널의 홀짝 미스매치에 의해 야기된 아티팩트를 본질적으로 가지지 않는다. 다른 방법으로는, 적응성 그린 채널 홀짝 미스매치 제거 방법은 홀수의 열 및 행을 갖는 영역의 중앙 그린 픽셀을 정규화된 가중된 그린 픽셀 총합으로 대체한다. 가중된 그린 픽셀 총합은 제 1 가중 계수에 의해 가중된 중앙 그린 픽셀, 제 2 가중 계수에 기초하여 가중된 그린 픽셀값의 제 1 티어 계층의 합계, 및 제 3 가중 계수에 기초하여 가중된 그린 픽셀값의 제 2 티어 계층의 합계를 가산한다.
적응성 그린 채널 홀짝 미스매치, 그린 픽셀, 데모사익 프로세싱

Description

적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법 및 장치{METHOD AND APPARATUS FOR ADAPTIVE AND SELF-CALIBRATED SENSOR GREEN CHANNEL GAIN BALANCING}
관련 출원의 교차 참조
본 출원은 먼저 출원된, 2006년 1월 19일에 출원된 미국 가출원 일련번호 제 60/760,769호 및 2006년 1월 18일에 출원된 미국 가출원 일련번호 제 60/759,842호에 대해 우선권을 주장하며, 여기에 그 전부가 참조로서 명백히 포함된다.
발명의 배경기술
Ｉ. 기술분야
본 발명은 일반적으로 이미지 보정 방법에 관한 것으로, 더 상세하게는, 그린 채널 홀짝 미스매치를 적응성 있게 제거하는 프로세스에 관한 것이다.
Ⅱ. 배경기술
센서 픽셀 카운트가 증가하면서, 각 픽셀 포토다이오드의 면적은 축소된다. 신호 판독 회로는 더 약한 신호 레벨을 읽기 및 전송하는 것에 대비하여야 한다. RGB 베이어 패턴 (RGB bayer pattern) 이 있는 센서의 경우, 홀수 및 짝수 행 상의 그린 채널은 보통 상이한 회로를 통해 판독된다. 더 상세하게는, 포토 다이오드의 금속 와이어 레이아웃, 전자 누설, 광 입사각 및 신호 출력 회로는 베이어 패턴 센서의 그린 채널이 밸런스 맞지 않은 (unbalanced) 응답을 나타내도록 한다. 이러한 밸런스 이상 (imbalance) 은 글로벌 및 로컬 변화를 포함한다. 회로 레이아웃이 일치하더라도, 불완전한 제조 프로세스는 판독 회로와 증폭기 회로가 미스매칭되게 할 수 있다. 또한, 컬러 필터 어레이 및 렌즈 코팅 및 탑재 등의 불균일성이 또한 그린 채널이 홀짝 미스매치를 나타내게 할 수 있다. 따라서, 전체 그린 채널 홀짝 미스매치는 위치에 의존하고 불균일하다. 그린 채널 홀짝 미스매치가 도 1에 도시된 아티팩트의 십자 빗금의 패턴으로 해석되기 때문에 그린 채널 홀짝 미스매치는 이미지 프로세싱 작업을 어렵게 한다.
도 1에서, 플랫 필드 이미지 (10) 는 데모사익 (demosaic) 동작으로 제작된다. 이 플랫 필드 이미지는 확산 렌즈로 렌즈가 커버되기 때문에 플랫한 것이다. 프로세싱된 후에 이미지 상에 어떤 텍스쳐도 있으면 안 된다. 그러나, 도 1에 보이는 바와 같이, 십자 빗금의 패턴이 전체 이미지 (10) 에 걸쳐 널리 퍼져 있다. 추가적인 검사는 이 아티팩트가 그린 채널 홀짝 미스매치에 의해 야기된다는 것을 밝혀낸다.
베이어 픽셀의 50%가 그린이기 때문에 데모사익 알고리즘은 보통 에지를 결정하는데 그린 채널 신호에 크게 의존한다. 대표적인 베이어 픽셀 배열이 도 10b에 도시된다. 그러나, 그린 채널 홀짝 미스매치가 있으면, 이러한 미스매치는 에지로서 취급되고 데모사익 모듈은 이러한 에지를 수직 방향 또는 수평 방향 중 하나로 유지하도록 노력한다. 데모사익 프로세싱 이후, 최종 결과는 도 1에 도시된 십자 빗금 패턴이다. 이 아티팩트는 이미지가 300 % 정도 줌된 경우에 가장 명백하다.
하나의 실패한 해결책은 글로벌 그린 채널 이득 밸런스를 제안한다. 채널 판독 및 증폭기 회로가 그린 홀짝 미스매치에 대한 유일한 팩터이면, 글로벌 그린 채널 이득 밸런스를 적용하는 것이 문제를 해결할 수도 있다. 그러나, SonyTM 3MP 센서의 경우, 그린 채널 이득 밸런스의 사용이 잘 되지 않았다. 추가적인 분석은 홀짝 미스매치가 전체 이미지에 걸쳐 균일하지 않다는 것을 밝혀낸다.
3MP 센서 이미지를 1 영역당 32×32 픽셀의 영역으로 분할하여, 영역-기반 채널 밸런스 교정으로 플랫 필드 이미지가 수행된다. 그린 채널을 밸런스 조정하는데 필요한 Gr 이득 및 Gb 이득이 도 2a 및 도 2b에 도시된다. 도 2a 및 도 2b에 용이하게 알 수 있는 바와 같이, 그린 채널 밸런스는 전체 이미지에 걸쳐 매우 불균일하다. 그 결과, 글로벌 그린 채널 이득을 적용하는 것은 문제를 해결하거나 도 1에 도시된 아티팩트의 십자 빗금 패턴을 제거할 수 없다.
다른 가능한 해결책은 적응성 베이어 필터를 채용하는 것이다. 적응성 베이어 필터는 홀짝 미스매치를 평활화 (smooth out) 하기 위해 그린 픽셀 상에만 적용될 수 있다. 문제는, 시험 중인 Sony 센서의 경우, 일부 영역이 13%의 그린 채널 홀짝 미스매치를 나타낸다는 것이다. 이러한 큰 미스매치가 평활화되려고 하면, 이미지의 본래 에지도 손상될 수 있다. 그 결과 이미지는 흐려진다.
또한, 적응성 베이어 필터의 산정 가격은 소프트웨어/펌웨어의 관점에서 비 교적 높다. 산정은 또한 상당한 양의 지연 시간을 스냅 샷 이미지 프로세싱에 추가한다. 도 3은 도 1의 플랫 필드 이미지에 적응성 베이어 필터를 적용한 후의 결과물인 이미지 (20) 를 도시한다. 결과물인 이미지 (20) 는 전체 프로세싱 파이프라인을 통과한다. 적응성 베이어 필터에서 알맞은 양의 평활화가 적용된다. 결과물인 이미지 (20) 에서 일부 십자 빗금 패턴 아티팩트가 평활화되며, 일부는 여전히 남아있다.
적응성 베이어 필터에서 매우 대량의 평활화가 적용되면, 이미지의 텍스처가 흐려지지만 십자 빗금 패턴은 완전히 제거될 수 있다.
베이어 도메인 상의 미가공 (raw) 이미지에 똑바른 (straightforward) 평활화가 수행되면, 에지 및 텍스처가 손상된다. 그린 픽셀 (Gr 및 Gb) 의 각 쌍이 동일하도록 강요되면, 높은 주파수 에지가 상한다.
발명의 개요
본 발명의 목적은 적응성 그린 채널 홀짝 미스매치에 의해 생성된 아티팩트의 소멸을 달성하기 위해 이러한 미스매치를 제공하는 것이다.
또한, 본 발명의 목적은 적응성 그린 채널 홀짝 미스매치에 의해 생성된 아티팩트의 소멸을 달성하기 위해 이러한 미스매치 제거 모듈을 제공하는 것이다.
또한, 본 발명의 목적은 그린 채널 홀짝 미스매치에 의해 생성된 아티팩트의 소멸을 달성하기 위해 이러한 미스매치를 적응성 있게 제거하기 위한 프로세서에 의해 실행가능한 프로그램 명령들을 제공하는 것이다.
본 발명의 추가적인 목적은 산정 복잡도를 최소화하고 이미지 프로세싱 속도 를 감소시키지 않는 방식으로 용이하게 구현되는 적응성 그린 채널 홀짝 미스매치 제거를 제공하는 것이다.
본 발명의 추가적인 목적은 이미지 컨텐츠 분산뿐만 아니라 실내 및 실외 이미지 분산을 보상하기 위해, 적응성 있게 교정하여 홀짝 미스매치를 영역별로 보정하는 방식으로 적응성 그린 채널 홀짝 미스매치 제거를 제공하는 것이다.
본 발명의 추가적인 목적은 공간에 따라 변하는 그린 채널 홀짝 미스매치를 적응성 있게 보정하는 방식으로 적응성 그린 채널 홀짝 미스매치 제거를 제공하는 것이다.
본 발명의 추가적인 목적은 고주파수 에지 및 수직 방향 또는 수평 방향 중 하나의 에지를 포함하는 에지의 상당한 유지로 그린 채널 홀짝 미스매치를 해결하기 위한 적응성 있는 접근법을 이용하는 방식으로 적응성 그린 채널 홀짝 미스매치 제거를 제공하는 것이다.
상기 목적의 관점에서, 본 발명의 목적은, 센서로부터의 미가공 이미지를 복수의 영역으로 분할하는 단계; 및 데모사익 프로세싱된 이미지에서 아티팩트의 소멸을 달성하기 위해, 각 영역에 대해, 미가공 이미지에서의 그린 채널 홀짝 미스매치를 적응성 있게 제거하는 단계를 포함하는 적응성 그린 채널 홀짝 미스매치 제거 방법에 의해 수행된다.
본 발명의 목적은 레드 행에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 이미지의 영역별로 교정함으로써 그린 채널 홀짝 미스매치를 적응성 있게 제거하는 방법에 의해 수행된다. 교정하는 단계 이후에, 그린 채널 홀짝 미스매치를 제거하기 위해, 각 개별 영역에 대해 교정된 레드 행의 그린 픽셀에 GR 채널 이득을, 그리고 블루 행의 그린 픽셀에 GB 채널 이득을, 영역별로 적용한다.
본 발명의 목적은 미가공 이미지에서의 각 영역에 대해, 중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키고; 제 1 티어 계층 합계를 형성하기 위해, 영역의 중앙 그린 픽셀에 따라 제 1 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하고; 제 2 티어 계층 합계를 형성하기 위해, 영역의 중앙 그린 픽셀에 따라 제 2 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하고; 가중된 그린 픽셀 총합을 형성하기 위해, 가중된 중앙 그린 픽셀값, 제 1 티어 계층 합계 및 제 2 티어 계층 합계를 합계함으로써 그린 채널 홀짝 미스매치를 적응성 있게 제거하는 방법에 의해 수행된다. 가중된 그린 픽셀 총합이 생성된 이후에, 가중된 그린 픽셀 총합이 정규화된다. 그린 채널 홀짝 미스매치를 제거하기 위해 정규화된 가중된 그린 픽셀 총합은 영역의 중앙 그린 픽셀값을 대체한다.
본 발명의 목적은 미가공 베이어 이미지로부터 그린 채널 홀짝 미스매치를 제거하는 방법에 의해 수행된다.
본 발명의 목적은 이득을 교정하는 경우에 이미지의 에지 픽셀을 영역별로 제거함으로써 데모사익 프로세싱 전에 그린 채널 홀짝 미스매치를 제거하는 방법에 의해 수행된다.
본 발명의 목적은, 교정 시에 유효 픽셀 쌍의 세트를 형성하기 위해 각 영역에서의 불량 픽셀 및 에지 픽셀을 필터링하는 적응성 그린 채널 홀짝 미스매치 제거 방법에 의해 수행된다.
본 발명의 목적은, 교정 시에 영역에서의 유효 픽셀 쌍의 수를 카운팅하고, 레드 행에 대한 유효 그린 픽셀의 평균수를 산정하며, 블루 행에 대한 유효 그린 픽셀의 평균수를 산정하는 적응성 그린 채널 홀짝 미스매치 제거 방법에 의해 수행된다.
본 발명의 목적은, 노이즈 분산을 감소시키기 위해, 교정 시에 GR 채널 이득 및 GB 채널 이득을 이전 이미지의 GR 채널 이득 및 GB 채널 이득으로 필터링하는 적응성 그린 채널 홀짝 미스매치 제거 방법에 의해 수행된다. 적용된 GR 채널 이득 및 적용된 GB 채널 이득은 각각 필터링된 GR 채널 이득 및 필터링된 GB 채널 이득이다.
본 발명의 목적은, 홀짝 미스매치를 보정하고 데모사익 프로세싱 후의 아티팩트의 소멸을 달성하기 위해 각 개별 영역에서의 레드 행의 그린 픽셀을 GR 채널 이득으로 곱하는 단계; 및 블루 행의 그린 픽셀을 GB 채널 이득으로 곱하는 단계를 포함하는 적응성 그린 채널 홀짝 미스매치 제거 방법에 의해 수행된다.
본 발명의 목적은, 실행 시에 GR 채널 이득 및 GB 채널 이득을 이미지에서의 영역별로 교정하도록 동작가능한 명령들을 포함하는 프로세싱 디바이스에 의해 실행가능한 프로그램 코드에 의해 수행된다. 명령들은 또한 이미지로부터 그린 채널 홀짝 미스매치를 적응성 있게 제거하기 위해, 각 개별 영역에 대해 교정된 GR 채널 이득 및 GB 채널 이득을 영역별로 적용하도록 동작가능하다.
본 발명의 목적은 GR 채널 이득 및 GB 채널 이득을 이미지에서의 영역별로 교정하는 수단을 포함하는 적응성 그린 채널 홀짝 미스매치 제거 모듈에 의해 수행된다. 모듈은 또한 그린 채널 홀짝 미스매치를 제거하기 위해 각 개별 영역에 대해 교정된 레드 행의 그린 픽셀에 GR 채널 이득을, 그리고 블루 행의 그린 픽셀에 상기 GB 채널 이득을 영역별로 적용하는 수단을 포함한다.
본 발명의 목적은, 중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키는 수단을 포함하는 적응성 그린 채널 홀짝 미스매치 제거 모듈에 의해 수행된다. 모듈은, 제 1 티어 계층 합계를 형성하기 위해 영역의 중앙 그린 픽셀에 따라 제 1 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단, 및 제 2 티어 계층 합계를 형성하기 위해 영역의 중앙 그린 픽셀에 따라 제 2 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단을 더 포함한다. 모듈은 가중된 그린 픽셀을 형성하기 위해 가중된 중앙 그린 픽셀값, 제 1 티어 계층 합계 및 제 2 티어 계층 합계를 합산하는 수단, 가중된 그린 픽셀 총합을 정규화하는 수단, 및 그린 채널 홀짝 미스매치를 제거하기 위해 중앙 그린 픽셀의 픽셀값을 정규화된 가중된 그린 픽셀 총합으로 대체하는 수단을 더 포함한다.
본 발명의 목적은, 실행 시에 중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키도록 동작가능한 명령들을 포함하는 프로 세싱 디바이스에 의해 실행가능한 프로그램 코드에 의해 수행된다. 프로그램 코드는 제 1 티어 계층 합계를 형성하기 위해 영역의 중앙 그린 픽셀에 따라 제 1 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하고, 제 2 티어 계층 합계를 형성하기 위해 영역의 중앙 그린 픽셀에 따라 제 2 티어 계층에서의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하도록 또한 동작가능하다. 프로그램 코드는 가중된 그린 픽셀 총합을 형성하기 위해 가중된 중앙 그린 픽셀값, 제 1 티어 계층 합계 및 제 2 티어 계층 합계를 합산하고, 가중된 그린 픽셀 총합을 정규화하며, 그린 채널 홀짝 미스매치를 제거하기 위해 중앙 그린 픽셀의 픽셀값을 정규화된 가중된 그린 픽셀 총합으로 대체하도록 또한 동작가능하다.
도면의 간단한 설명
전술한 개요뿐만 아니라, 본 발명의 바람직한 실시형태의 다음의 상세한 설명은 첨부 도면과 함께 읽는 경우에 더 잘 이해된다. 본 발명을 설명하기 위한 목적을 위해, 도면에서 현재 바람직한 실시형태가 도시된다. 그러나, 본 발명은 도시된 정밀한 배열에 제한되지 않는 것을 이해하여야 한다.
도 1은 데모사익 동작 이후의 플랫 필드 이미지 (300% 줌) 를 도시한다.
도 2a는 그린 채널 홀짝 미스매치 분포에 대한 Gb 이득 분포의 플롯을 도시하며, 여기서 각 점은 하나의 영역 (32×32 픽셀) 을 나타낸다.
도 2b는 그린 채널 홀짝 미스매치 분포에 대한 Gr 이득 분포의 플롯을 도시하며, 여기서 각 점은 하나의 영역 (32×32 픽셀) 을 나타낸다.
도 3은 적응 베이어 필터를 적용하여 알맞은 평활화를 이용하여 그린 채널 홀짝 미스매치를 처리한 후의 변경된 플랫 필드 이미지 (300% 줌) 를 도시한다.
도 4는 실내 이미지의 그린 채널 미스매치 (Gr/Gb) 의 플롯을 도시하며, 각 점은 하나의 영역 (32×32 픽셀) 을 나타낸다.
도 5는 실외 이미지의 그린 채널 미스매치 (Gr/Gb) 의 플롯을 도시하며, 각 점은 하나의 영역 (32×32 픽셀) 을 나타낸다.
도 6a 및 도 6b는 그린 채널 홀짝 미스매치 제거 방법의 적응 영역별 그린 채널 이득 자기-교정 프로세스의 흐름도를 도시한다.
도 7은 그린 채널 홀짝 미스매치 제거 방법의 보정 프로세스의 흐름도를 도시한다.
도 8은 유효 픽셀 쌍의 평균 GB 및 GR 값을 계산하기 위한 흐름도를 도시한다.
도 9는 각 GB, GR 쌍에 대한 평균 이득을 계산하기 위한 흐름도를 도시한다.
도 10a는 하나의 영역이 십자 빗금으로 되고 4×3 영역으로 분할된 미가공 베이어 이미지를 도시한다.
도 10b는 8×8 픽셀로 분할된 도 10a의 십자 빗금 영역을 도시한다.
도 11은 그린 채널 홀짝 미스매치 제거 모듈을 통합한 스냅 샷 이미징 디바이스의 블록도를 도시한다.
도 12는 영역별 이득 보정 및 데모사익 후의 플랫 필드 이미지를 도시하며, 각 영역 사이즈는 32×32이다 (300% 줌).
도 13a는 그린 픽셀 인덱스된 베이어 패턴을 도시한다.
도 13b는 그린 픽셀 인덱스되고 레드 픽셀 인덱스된 베이어 패턴을 도시한다.
도 14a 내지 도 14e는 적응성 채널 밸런싱을 위한 다른 적응성 그린 채널 홀짝 미스매치 제거 방법의 흐름도를 도시한다.
도 15a는 적응성 채널 밸런싱을 이용하지 않은 플랫 필드 이미지 (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 15b는 적응성 채널 밸런싱을 이용한 플랫 필드 이미지 (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 16a는 적응성 채널 밸런싱을 이용하지 않은 해상도 차트 이미지 (중앙 원) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 16b는 적응성 채널 밸런싱을 이용한 해상도 차트 이미지 (중앙 원) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 17a는 적응성 채널 밸런싱을 이용하지 않은 해상도 차트 이미지 (수직선) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 17b는 적응성 채널 밸런싱을 이용한 해상도 차트 이미지 (수직선) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 18a는 적응성 채널 밸런싱을 이용하지 않은 해상도 차트 이미지 (수평선) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 18b는 적응성 채널 밸런싱을 이용한 해상도 차트 이미지 (수평선) (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 19a는 적응성 채널 밸런싱을 이용하지 않은 맥베스 (MacBeth) 차트 이미지 (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 19b는 적응성 채널 밸런싱을 이용한 맥베스 차트 이미지 (300% 줌 및 데모사익 프로세싱 이용) 를 도시한다.
도 20a는 적응성 채널 밸런싱 및 데모사익 프로세싱을 이용하지 않은 맥베스 차트 이미지를 도시한다.
도 20b는 적응성 채널 밸런싱을 이용하지 않고 데모사익 프로세싱을 이용한 맥베스 차트 이미지를 도시한다.
바람직한 실시형태의 설명
본 발명은 많은 상이한 형태의 실시형태가 허락되지만, 명세서 및 첨부 도면은 본 발명의 이용에 관한 실시예로서 일부 형태만을 개시한다. 본 발명은 이와 같이 설명한 실시형태에 한정하려는 의도가 아니며, 본 발명의 범주는 청구의 범위에서 지적된다.
본 발명에 따른 그린 채널 홀짝 미스매치 제거 방법의 바람직한 실시형태는 스냅 샷 이미지의 특정 적용을 이용하여 후술한다. 그러나, 당업자는 본 발명이 그린 채널 보정을 요구하는 다른 유형의 이미지에 대해서도 적합하다는 것을 인지한다. 이하 도면을 상세히 참조하여, 본 발명에 따라 일반적으로 100 및 120으로 지시된 자기-교정 프로세스 및 보정 프로세스가 도 6a, 도 6b 및 도 7에 도시되며, 동일한 부호는 전체에 걸쳐 동일한 요소를 나타내는데 이용된다.
그러나, 본 발명의 이해를 위해, 홀짝 미스매치는 미스매칭된 레드 및 그린 픽셀이 있는 레드 행 상의 그린 픽셀, 및 블루 및 그린 픽셀이 있는 블루 행 상의 그린 픽셀을 지칭한다. 이전에 언급한 다수의 이유 때문에, 장면이 평활한 플랫 필드 이미지이더라도 그린 픽셀 응답은 상이하다. 미스매치는 보통 Gr/Gb의 비율로서 특징지을 수 있다. Gr은 레드 행 상의 그린 픽셀을 의미하고, Gb는 블루 행 상의 그린 픽셀을 의미한다. 이상적으로, 이 비율은 1.0이어야 한다.
도 2a 및 도 2b에 도시된 바와 같이, 그린 채널 홀짝 미스매치는 전체 이미지에 걸쳐 매우 불균일하다. 미스매치 패턴은 간단한 방법으로 모델링될 수 없다. 그린 채널 미스매치가 센서마다 변하는 것은 명백하다. 또한, 동일한 센서 모델의 상이한 모듈은 벗어날 수 있다. 동일한 센서에 의해 캡처된 도 4의 실내 이미지의 그린 채널 미스매치와 도 5의 실외 이미지의 그린 채널 미스매치를 비교함으로써, 그린 채널 미스매치는 이미지 컨텐츠에도 의존한다는 것을 쉽사리 알 수 있다.
대표적인 제 1 실시형태에서, 그린 채널 홀짝 미스매치 제거 방법은 도 6a 및 도 6b와 관련하여 설명한 적응 영역별 그린 채널 이득 자기-교정 프로세스 (100) 및 도 7과 관련하여 설명한 보정 프로세스 (120) 를 포함한다. 일반적으로, 그린 채널 홀짝 미스매치 제거 방법은 적응 영역별 그린 채널 이득 자기-교정 프로세스 (100) 로 그린 채널 미스매치를 보상한 후, 보정 프로세스 (120) 에서 스냅 샷 이미징 디바이스 (200) 의 센서 모듈 (도 11의 210) 로부터 출력된 모든 최종 스냅 샷 이미지에 그린 채널 이득을 영역별로 적용한다.
이하, 도 6a, 도 6b, 도 8, 도 9, 도 10a 및 도 10b를 참조하면, 적응 영역별 그린 채널 이득 자기-교정 프로세스 (100) 는, 센서 모듈 (도 11의 210) 로부터 출력된 전체 이미지 (150), 예를 들어, 미가공 이미지가 M×M 픽셀 (도 10b) 로 된 X×Y 영역 (도 10a) 으로 분할되는 단계 S102로 시작하며, 여기서 M은 2의 배수이다. 대표 실시형태에서, 이미지 (150) 는 각 영역이 8×8 픽셀로 분할된 4×3 (X=4, Y=3) 영역으로 분할된다. 이 실시예의 경우, 이미지 (150) 에 12 개 영역이 있다. R1로 라벨링된 빗금 영역은 도 10b에 도시된 바와 같이 M×M 픽셀로 분할된다. 이미지 (150) 는 미가공 베이어 이미지이고, 데모사익 프로세싱 (230) 되지 않았다. 따라서, 도 10b는 영역 R1의 미가공 베이어 표현을 도시한다.
예시만을 목적으로, 도 10b의 첫번째 행은 교차하는 그린 및 블루 픽셀이 있는 블루 행이다. 블루 행에서의 그린 펙셀은 GB로 표시한다. 첫번째 행 바로 다음의 두번째 행은 교차하는 그린 및 레드 픽셀을 갖는 레드 행이다. 레드 행 상의 그린 픽셀은 GR로 표시한다. 대표 실시형태에서, 도 10b의 첫번째 열은 교차하는 그린 및 레드 픽셀을 포함한다.
도 6a의 흐름도로 다시 돌아가면, 단계 S102는, 영역이 1로 설정된 단계 S103을 수반한다. 단계 S103 뒤로, 각 영역에 대해 레드 행 및 블루 행 상의 인접하는 그린 픽셀 GR 및 GB의 비율이 계산되는 단계 S104가 뒤따른다. 대표 실시형태에서, 모든 영역의 2 개의 GB, GR 픽셀 쌍이 선택된다. 단계 S104 뒤로, 불량 픽셀 및 에지 픽셀이 필터링되는 단계 S106이 뒤따른다.
불량 픽셀은 동일한 컬러의 이웃하는 픽셀에 기초하여 검출될 수 있다. 예를 들어, 동일한 컬러의 현재 픽셀과 이웃하는 픽셀의 비교가 임의의 임계값을 초과하면, 현재 픽셀은 불량한 것으로 결정될 수도 있다. 한편, 에지 픽셀 검출은 A×A 사이즈 및 2-D 콘볼루션의 윈도우를 채용할 수도 있다. 2-D 콘볼루션의 출력이 임계값과 비교된다. 출력이 임계값보다 크면, 출력은 에지이다. 크지 않으면, 출력은 에지가 아니다. 수많은 불량 픽셀 검출 및 에지 픽셀 검출 알고리즘이 있다. 따라서, 불량 픽셀 검출 및 에지 픽셀 검출에 관한 상기 설명은 예시만을 목적으로 한다.
단계 S106 뒤로, Gr_avg 및 Gb_avg로 표시한, 영역 내의 비불량 픽셀에 대한 GB 및 GR 픽셀값의 평균이 계산되는 단계 S108가 뒤따른다. 단계 S108 뒤로, 도 6b의 단계 S110이 뒤따른다. 이하 설명할 수학식 (1) 및 수학식 (2) 에 기초하여, 각각 Gr_avg 및 Gb_avg가 계산된다.
이하 도 8을 참조하여, Gr_avg 및 Gb_avg 픽셀값을 계산하는 프로세스를 설명한다. 또한, Gr_avg 및 Gb_avg을 계산하는 대표 코드가 이 섹션 다음의 어펜딕스 (Appendix) 에서 제공된다. 단계 S108의 프로세스는, 고려중인 영역에서의 유효 픽셀 쌍의 수 (#VP) 가 카운팅 또는 결정되는 단계 S140으로 시작한다. 유효 쌍은 필터링 단계 S106 후에 남는 비불량 픽셀 쌍이다. 단계 S140 뒤로, i가 0으로 설정된 단계 S142가 뒤따른다. 단계 S142 뒤로, i가 영역의 유효 쌍의 수 (#VP) 미만인지 여부를 결정하는 결정 단계인 S144가 뒤따른다. 결정이 "예"이면, Gr_sum로 표시한 합계는 단계 S146에서 레드 행에서의 비불량 그린 픽셀 GR의 GR 픽셀값에 대해 계산된다. 단계 S146 뒤로, Gb_sum으로 표시한 합계가 블루 행에서의 비불량 그린 픽셀 GB의 GB 픽셀값에 대해 계산되는 단계 S148이 뒤따른다. 단계 S148 뒤로, i가 1 만큼 증분되는 단계 S150이 뒤따른다.
단계 S150은 단계 S144로 복귀한다. 단계 S144, S146, S148 및 S150은 환상 (loop) 이고, i가 유효 쌍의 수 미만일 때까지 반복된다. 따라서, 단계 S146에서, 합계는 영역에서 각 대응하는 비불량 GR 픽셀의 그린 픽셀값 만큼 증분된다. 단계 S148에서, 합계는 각 대응하는 비불량 GB 픽셀의 그린 픽셀값 만큼 증분된다. 일단 모든 비불량 GR 및 GB 픽셀이 개별적으로 합계되면, 단계 S144 뒤로, Gr_avg (영역의 레드 행에서의 비불량 그린 픽셀의 평균 픽셀값) 이
[수학식 (1)]
Gr_avg = Gr_sum/영역당 유효 쌍의 수
와 같이 정의된 수학식 (1) 에 기초하여 계산되는 단계 S152가 뒤따른다. 단계 S152 뒤로, Gb_avg (영역의 블루 행에서의 비불량 그린 펙셀의 평균 픽셀값) 이
[수학식 (2)]
Gb_avg = Gb_sum/영역당 유효 쌍의 수
와 같이 정의된 수학식 (2) 에 기초하여 계산되는 단계 S154가 뒤따른다.
이하 도 6b 및 도 9를 참조하여, 단계 S110에서 2 개의 채널 그린 픽셀값의 평균 이득 Gr_gain 및 Gb_gain이 계산된다. 이는 더 약한 그린 채널이 디지털 이득> 1이 적용되고, 더 강한 그린 채널이 디지털 이득< 1.0이 적용된다는 것을 의 미한다. 이 프로세스의 목표는 상이한 컬러 채널들 중에서가 아니라 2 개의 채널로부터 그린 픽셀을 밸런싱하여, 이득 < 1.0 을 적용하는 것이 컬러 시프트를 야기하지 않는 것임에 주목한다. 따라서, 각 (GB, GR) 쌍의 채널 이득은
[수학식 (3)]
avg = (Gr_avg + Gb_avg)/2
[수학식 (4)]
Gr_gain = avg/GR_avg
[수학식 (5)]
Gb_gain = avg/GB_avg
와 같이 정의된 단계 S160에서의 수학식 (3), 단계 S162에서의 수학식 (4) 및 단계 S164에서의 수학식 (5) 에서 도출될 수 있으며, 여기서 avg는 영역 내의 비불량 또는 유효 픽셀 쌍에 대해 수학식 (1) 에서 계산된 레드 행에서의 유효 (비불량) 그린 픽셀 GR과 수학식 (2) 에서 계산된 블루 행에서의 유효 (비불량) 그린 픽셀 GR과의 평균으로부터 계산된 평균값이다.
단계 S110는 단계 S112로 통과하는 Gr_gain 및 Gb_gain의 채널 이득을 생성한다. 단계 S112에서, 현재 이미지 (150) 의 Gr_gain 및 Gb_gain은 노이즈 변화를 감소시키기 위해 이전 이미지의 채널 이득 (Gr_gain 및 Gb_gain) 으로 저역통과 필터링될 수 있다. 현재 이미지의 필터링된 Gr_gain 및 Gb_gain은 Gr_gain' 및 Gb_gain'으로 표시된다.
단계 S112를 나타내는 박스는 보정 프로세스에서의 계산에 이용하기 위해 저 장되는 Gr_gain' 및 Gb_gain'으로 표시된 2개의 출력을 가진다. 단계 S112 뒤로, 영역이 증분되는 단계 S114가 뒤따른다.
각 영역에 대해 Gr_gain' 및 Gb_gain'이 필터링되면 Gr_gain 및 Gb_gain을 계산하기 위해 도 6a 및 도 6b에서의 프로세스가 반복된다. 따라서, 단계 S114 뒤로, 더 많은 임의의 영역이 있는지 여부를 결정하기 위한 결정 단계 S116이 뒤따른다. "예"이면, 단계 S116는 도 6a의 S104로 복귀하여, 다음 영역을 자기-교정한다. 그렇지 않고, 더 이상 영역이 없으면, 자기-교정 프로세스 (100) 는 2 개의 채널 이득 종료를 교정한다.
이하 도 7을 참조하여, 각 영역에 대해 Gr_gain' 및 Gb_gain'을 이용한 보정 프로세스 (120) 를 설명한다. 프로세스 (120) 는, 영역이 1로 설정된 단계 S122로 시작한다. 단계 S122 뒤로, 블루 행에서의 각 그린 픽셀 GB의 픽셀값과 Gb_gain'이 곱해지는 단계 S124가 뒤따른다. 단계 S124 뒤로, 레드 행에서의 각 그린 픽셀 GR의 픽셀값이 Gr_gain'과 곱해지는 단계 S126이 뒤따른다. 단계 S126 뒤로, 영역이 증분되는 단계 S128이 뒤따른다. 단계 S128 뒤로, 더 많은 임의의 영역이 있는지 여부에 관한 결정이 이루어지는 단계 S130이 뒤따른다. "아니오"이면, 프로세스 (120) 는 종료한다. 그렇지 않고, "예"이면, 단계 S130은, 다음 영역에 보정이 적용되는 단계 S124로 복귀한다.
32×32 픽셀의 영역 사이즈에 있어, 자기-교정 및 보정 프로세스 (100 및 120) 는 테스트 이미지로 수행되고, 테스트 이미지의 데모사익 출력은 임의의 십자 빗금 패턴을 더 이상 나타내지 않는다. 32×32의 영역 사이즈가 충분히 작기 때문에, 보정된 이미지는 임의의 인식가능한 영역 경계 아티팩트를 나타내지 않는다. 그러나, 영역 사이즈가 너무 크면, 예를 들어, 256×256이면, 덩어리로 된 (blockiness) 아티팩트는 인식가능하다. 도 12는 데모사익 프로세싱 후의 보정된 이미지 (10') 를 도시한다. 도 1과 비교하여, 도 12의 이미지 (10') 는 매우 향상된 것이다.
이하 도 11을 참조하여, 스냅 샷 이미징 디바이스 (200) 는 렌즈 (202), 및 이미지 프로세싱 유닛 (212) 및 컬러 필터링 유닛 (214) 을 갖는 센서 모듈 (210) 을 포함한다. 컬러 필터링 유닛 (214) 은 미가공 베이어 이미지를 생성하는 베이어 컬러 필터 어레이이다. 이 미가공 베이어 이미지는 그린 채널 홀짝 미스매치 제거 모듈 (220) 에 의해 보정된다. 단일 픽셀 위치에서의 모든 삼원색 레드, 그린 및 블루에 대한 센서 값은 인접 픽셀로부터 삽입 (interpolate) 된다. 이 삽입 프로세스는 데모사익 프로세싱 유닛 (230) 에 의해 수행된다. 픽셀 레플리케이션 (replication), 바이리니어 인터폴레이션 (bilinear interpolation) 및 메디안 인터폴레이션과 같은 수개의 데모사익 방법이 있다. 적응성 그린 채널 홀짝 미스매치 제거 모듈 (220) 의 출력은 데모사익 프로세싱 유닛 (230) 에 보정된 미가공 베이어 이미지를 제공한다.
그린 채널 홀짝 미스매체 제거 모듈 (220) 에 의해 수행된 그린 채널 홀짝 미스매치 제거 방법은 펌웨어, 소프트웨어, 및 하드웨어를 이용하여 구현될 수 있다. 디지털 신호 프로세서 (DSP; 222) 가 한번에 하나의 영역을 판독하는 펌웨어 구현의 경우, ARM (Advanced RISC Machine; 226) 은 DSP (222) 로 Gr_gain' 및 Gb_gain'을 공급한다. DSP (222) 는 그린 픽셀에 대해 곱셈을 수행한다. 프로세싱이 실시중이고, 즉, 입력 및 출력 픽셀은 동일한 버퍼 (228) 를 공유한다. 즉, 이미지 픽셀은 프로세싱을 위해 다른 버퍼를 배분할 필요 없이 새로운 값으로 직접 대체될 수 있다. 프로그램 명령들 (224) 은 실행되는 경우에 적응 영역별 그린 채널 이득 자기-교정 프로세스 (100) 및 보정 프로세스 (120) 를 수행하도록 동작가능하다.
DSP (222) 및 ARM (226) 이 그린 채널 홀짝 미스매치 제거 모듈 (220) 의 일부로서 도시되며, 스냅 샷 이미징 디바이스 (200) 는 이미지 프로세싱 유닛 (212), 컬러 필터링 유닛 (214) 및 데모사익 프로세싱 유닛 (230) 에서 기능을 수행하기 위해 DSP (222) 및 ARM (226) 을 이미 포함할 수도 있다. 따라서, 프로그램 명령들 (224) 을 실행하기 위한 프로세싱 디바이스는 이미 존재할 수도 있다.
한편, 소프트웨어 구현의 경우, 프로그래밍 언어, 예를 들어, 제한 없이 C 코드로 기록된 프로그램 명령들은 ARM (226) 상에서 실행되어, 미가공 베이어 이미지와 같은 미가공 이미지를 영역들로 분할하고 그 영역에 대한 Gr_gain' 및 Gb_gain'를 이용하여 그린 픽셀에 대해 곱셈을 수행한다. ARM (226) 은 일반적으로 미리 존재하고 프로그램 명령들 (224) 을 실행하는데 이용될 수도 있다. 따라서, ARM (226) 은 자기 교정 및 보정 프로세스 (100 및 120) 둘 다를 수행한다. 소프트웨어 구현으로, 프로세싱을 위해 다른 버퍼를 분배할 필요 없이 이미지 픽셀이 새로운 값으로 직접 대체될 수 있도록 프로세싱이 또한 실시중이다.
하드웨어 구현의 경우, 자기-교정 및 보정 프로세스 (100 및 120) 는 룩업 테이블의 사이즈가 문제가 되지 않는 한 하드웨어에서 구현될 수 있다.
그린 채널 홀짝 미스매치는 이미지 프로세서의 비디오 프론트 엔드 (VFE) 프로세싱에 대해 완전히 새로운 문제를 만든다. 불균일 미스매치 분포의 성질로 인해, 글로벌 채널 이득은 문제를 해결하지 않았다. 영역별 교정 및 보정 프로세스 (100 및 120) 는 불균일 미스매치 분포와 관련된 문제를 해결하기 위한 효율적이고 신속한 방법을 제공한다.
도 13a는 이후 더 상세하게 설명될 그린 픽셀 인덱스된 통상적인 RGB 베이어 패턴을 도시한다. 홀짝 미스매치를 제거하기 위해 그린 채널을 적응성 있게 밸런싱하는 대안적인 적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 은 도 14a 내지 도 14e의 흐름도 및 도 13a 및 도 13b의 이미지와 관련하여 설명한다. 이 실시형태에서, 프로그램 명령들 (도 11의 224) 은 여기서 설명한 적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 을 수행하도록 동작가능한 명령들을 포함하도록 변경된다.
적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 은, 도 13a에서 가장 잘 알 수 있는 미가공 베이어 이미지와 같은 미가공 이미지가 획득되는 단계 S302로 시작한다. 도 13a는 방법 (300) 의 이해가 가능하도록 인덱스된 그린 픽셀을 가진다. 단계 S302 뒤로, 이미지로부터 N×N 픽셀의 영역이 만들어지는 단계 S304가 뒤따른다. 대표 실시형태에서, N은 홀수이고 5와 동일하다. 단계 S304 뒤로, 중앙 그린 픽셀 (CGP) 이 선택되는 단계 S306이 뒤따른다. 이 실시형태에서, CGP는 도 13a에서 G22로 표시된다. 단계 S306 뒤로, CGP (G22) 에 제 1 가중 계수가 할당되는 단계 S308이 뒤따른다. 대표 실시형태에서, 제 1 가중 계수는 8이다. 단계 S308 뒤로, CGP로부터 1 픽셀의 거리에서의 영역 N×N 에서의 모든 그린 픽셀에 대해 제 2 가중 계수가 할당되는 단계 S310이 뒤따른다. 대표 실시형태에서, 반대 그린 채널에 있는 4 개의 근처 그린 픽셀이 있고, CGP까지의 거리는 1이다. 거리가 1 픽셀인 이들 근처 픽셀은 여기서 "GP1"으로 지칭하고 이와 함께 제 1 티어 계층 (tier layer) 을 정의한다. 제 1 티어 계층의 GP1은 G11, G13, G31 및 G33으로 인덱스된 그린 픽셀을 포함한다. 대표 실시형태에서, 제 2 가중 계수는 4이다.
단계 S310 뒤로, CGP (G22) 로부터 거리가 2 픽셀인 그린 픽셀에 제 3 가중 계수가 할당되는 단계 S312가 뒤따른다. 거리가 2 픽셀인 이들 근처 픽셀은 여기서 "GP2"로 지칭되고 이와 함께 제 2 티어 계층을 정의한다. 대표 실시형태에서, G00, G02, G04, G20, G24, G40, G42 및 G44로서 인덱스된 제 2 티어 계층에서의 8 개의 GP2가 있고 각각은 1의 가중 계수를 얻는다. 따라서, 전체 가중 계수는 32이고, 5 비트의 다운시프트 또는 25로 나누기에 의해 정규화가 용이하게 행해질 수 있으며, 픽셀 값은 2진 표현을 이용하여 8, 10 또는 12 비트로 표현될 수도 있다. 정규화는 후술한다.
단계 S312 뒤로, F_max, F_min이 설정 및 계산되는 단계 S314가 뒤따른다. F_max는 최대 그린 미스매치의 비율의 상한 임계값이다. F_min은 최대 그린 미스매치의 비율의 하한 임계값이다. 단계 S314 뒤로, 오프셋이 계산되는 단계 S316이 뒤따르며, 여기서 오프셋은 평활화를 수행하는 강도 임계값이다.
그린 채널 미스매치의 하나의 중요한 요소는 둘러싼 레드 픽셀의 크로스 토크 (cross talk) 이다. 즉, Gr/Gb 채널 분산은 레드 채널 값에 따른다. 따라서, 오프셋은 공간에 따라 변하는 그린 채널 홀짝 미스매치를 정확히 제거하기 위해 둘러싼 레드 픽셀에 적응이다. 대표 실시형태에서, 둘러싼 레드 픽셀은 R10, R12, R14, R30, R32, 및 R34 (도 13b) 로 인덱스되고 표시된다. 대표 실시형태에서, 6 개의 둘러싼 레드 픽셀이 있다. 오프셋 파라미터는
[수학식 (6)]
오프셋 = k*평균(R10, R12, R14, R30, R32, R34)
로서 수학식 (6) 에 의해 정의되며, 여기서 k는 크로스 토크에 대한 보정 크기를 조절하는 파라미터이고, R10, R12, R14, R30, R32, R34는 대응하는 인덱스된 레드 픽셀에 대한 픽셀 값을 표시한다.
또한, 오프셋은 지나치게 큰 오프셋 임계값을 피하기 위해 오프셋 캡 (Offset Cap) 으로서 표시된 상수로 캡된다. 따라서, 단계 S316 뒤로 단계 S317이 뒤따르는데, 여기서 오프셋이 오프셋 캡보다 크면, 오프셋은 단계 S318에서 오프셋 캡 또는 다른 상수로 설정된다. 단계 S318 뒤로, 단계 S319가 뒤따른다. 그러나, 오프셋이 오프셋 캡 이하이면, 단계 S317 뒤로 단계 S319가 뒤따른다.
단계 S319에서, CGP (G22) 에 있어서, 변수 P_max, P_min 및 G_sum은
[수학식 (7)]
P_max = max(F_max*G22, G22+오프셋)
[수학식 (8)]
P_min = min(F_min*G22, G22-오프셋)
[수학식 (9a)]
G_sum = G22 << 3
와 같이 정의된 수학식 (7), 수학식 (8) 및 수학식 (9a) 에 의해 계산되며, 여기서 G22는 중앙 픽셀 G22의 그린 픽셀 값을 표시하고; P_max는 그린 픽셀의 최대값이며; P_min는 그린 픽셀의 최소값이다. 또한, 부호 "<<"는 3 비트의 업시프트를 표시한다. 즉, G_sum은 가중 계수 8 (23) 을 곱한 그린 중앙 픽셀 G22의 픽셀 값과 동일하다. 따라서, 수학식 (9a) 은 또한
[수학식 (9b)]
G_sum = G22의 픽셀값*G22의 가중 계수
와 같이 정의된 수학식 (9b) 로 기재될 수 있다.
용이하게 알 수 있는 바와 같이, 수학식 (9a) 또는 수학식 (9b) 의 G_sum은 중앙 그린 픽셀 (CGP) G22의 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시킨다.
단계 S319 뒤로, 중앙 그린 픽셀 (CGP) G22에서 거리 1에 있는 제 1 그린 픽셀이 제 1 티어 계층에서 획득되는 단계 S320이 뒤따른다. 단계 S320 뒤로, 그린 픽셀 GP1의 픽셀 값이 P_min 이상이고 P_max 이하인지 여부에 관한 결정이 이루 어지는 단계 S322가 뒤따른다 (단계 S322 참조). 즉, 단계 S322는 평가 중인 그린 픽셀이 범위 내에 있는지 여부를 결정한다. 단계 S322에서의 결정이 "예"이면, 단계 S322 뒤로, 값 G_sum이 2 비트 업시프트된 (픽셀 G11로 인덱스된 것과 같은) 제 1 그린 픽셀 GP1의 그린 픽셀값 만큼 증가하여 제 1 티어 계층의 가중 픽셀값을 생성하는 단계 S324가 뒤따른다. 더 상세하게는, G_sum이 수학식 (10a) 및 수학식 (10b) 만큼 증가하며,
[수학식 (10a)]
G_sum += GP1 << 2; 또는
[수학식 (10b)]
G_sum = G_sum + (GP1*GP1의 가중 계수)
(제 1 티어 계층의 가중 계수 = 4)
여기서 GP1은 중앙 그린 픽셀을 둘러싼 제 1 티어 계층에서의 인덱스된 그린 픽셀의 픽셀값이다. 대표 실시형태에서, 제 1 티어 계층에서의 GP1은 G11, G13, G31 및 G33을 포함한다. 그 결과, 수학식 (10a) 또는 수학식 (10b) 의 G_sum은, 평가 중인 그린 픽셀값 GP1이 P_min과 P_max에 의해 정의된 범위 내에 있으면 제 1 티어 계층 가중 계수 (4), 즉 (22) 을 곱한 각 GP1 (G11, G13, G31 및 G33) 의 픽셀값 만큼 증가한다.
한편, 단계 S322에서의 결정이 "아니오"이면, 그린 픽셀 GP1의 픽셀값은 P_min 이하이고/이하이거나 P_max 이상이다. 즉, 평가 중인 그린 픽셀 값 GP1 은 범위 밖에 있다. 따라서, 단계 S322 뒤로, 값 G_sum이 2 업시프트된 G22로 표시된 중앙 그린 픽셀값의 픽셀값 만큼 증가하는 단계 S326이 뒤따른다. 더 상세하게는, G_sum은 수학식 (11a) 또는 수학식 (11b) 만큼 증가하며,
[수학식 (11a)]
G_sum += G22 << 2; 또는
[수학식 (11b)]
G_sum = G_sum + (G22*GP1의 가중 계수)
(제 1 티어 계층의 가중 계수 = 4)
여기서 G22는 인덱스된 중앙 그린 픽셀 G22의 픽셀값을 표시한다. 제 1 티어 계층의 G13, G31 및 G33에 동일한 동작 및 가중이 주어진다. 평가 중인 그린 픽셀 GP1이 P_min과 P_max에 의해 정의된 범위 밖에 있으면, 수학식 (11a) 또는 수학식 (11b) 에서의 G_sum 수학식이 이용된다. 수학식 (11a) 또는 수학식 (11b) 에서 용이하게 알 수 있는 바와 같이, 티어 계층의 범위 밖의 그린 픽셀은 중앙 그린 픽셀 G22의 픽셀 값으로 대체된다.
단계 S324 및 S326 뒤로, 다른 GP1이 있는지 여부를 결정하는 단계 S328 이 뒤따른다. 있으면, 단계 S322, S324, S326이 다음 GP1의 픽셀 값에 기초하여 재평가되도록, 단계 S328은 단계 S320으로 복귀한다.
단계 S320, S322, S324, S326, 및 S328에 의해 정의된 환상의 끝에서, 수학식 (10a), (10b), (11a) 및/또는 (11b) 의 G_sum이 일반적으로 제 1 티어 계층 합계를 형성하는 제 1 티어 계층의 가중 그린 픽셀값을 함께 가산한다. 제공된 제안 프로그램 코드에서, G_sum 수학식은 또한 가중 중앙 그린 픽섹값의 미리 계산된 G_sum에 제 1 티어 계층 합계를 가산한다.
제 1 티어 계층에 더 이상 GP1이 있지 않으면, 단계 S328 뒤로, 중앙 그린 픽셀 (CGP) G22 로부터 거리 2인 제 1 그린 픽셀이 제 2 티어 계층에서 획득되는 단계 S330이 뒤따른다. 단계 S330 뒤로, 그린 픽셀 GP2의 픽셀값이 P_min 이상이고 P_max 이하이거나 또는 범위 내에 있는지 여부에 관한 결정이 이루어지는 단계 S332가 뒤따른다 (단계 S332 참조). 단계 S332에서의 결정이 "예"이면, 단계 S332 뒤로, (픽셀 G00으로 인덱스된 것과 같은) 제 1 그린 픽셀 GP2의 그린 픽셀값만큼 값 G_sum이 증가하는 단계 S334가 뒤따른다. 더 상세하게는, G_sum은 수학식 (12a) 또는 수학식 (12b) 에 의해 증가하며,
[수학식 (12a)]
G_sum += GP2; 또는
[수학식 (12b)]
G_sum = G_sum + GP2*GP2의 가중 계수
(제 2 티어 계층의 가중 계수 = 1)
여기서 GP2는 제 2 티어 계층에서의 인덱스된 그린 픽셀의 픽셀값이다. 대표 실시형태에서, 제 2 티어 계층에서의 GP2는 G00, G02, G04, G20, G24, G42 및 G44를 포함한다. 그 결과, 평가 중인 그린 픽셀값 GP2가 P_min과 P_min에 의해 정의된 범위 내이면 가중 계수가 1이기 때문에, G_sum은 GP2의 픽셀값 만큼 증가한다.
한편, 단계 S332에서의 결정이 그린 픽셀 GP2의 픽셀값이 P_min 이하이고/이하이거나 P_max 이상 또는 범위 밖이라고 하면, 단계 S332 뒤로, 값 G_sum이 G22로 표시한 중앙 그린 픽셀값의 픽셀값 만큼 증가하는 단계 S336이 뒤따른다. 더 상세하게는, G_sum은 수학식 (13a) 또는 수학식 (13b) 만큼 증가하며,
[수학식 (13a)]
G_sum += G22; 또는
[수학식 (13b)]
G_sum = G_sum +(G22*GP2의 가중 계수)
(제 2 티어 계층의 가중 계수 = 1)
여기서, G22는 인덱스된 중앙 그린 픽셀 G22의 픽셀값을 표시한다. 제 2 티어 계층에서의 G00, G02, G04, G20, G24, G42 및 G44로 표시한 GP2에 동일한 동작 및 가중이 주어진다. 수학식 (13a) 또는 수학식 (13b) 에서의 G_sum 수학식은 평가 중인 그린 픽셀값 GP2가 P_min 및 P_max로 정의된 범위 밖에 있으면 이용된다. 따라서, 제 2 티어 계층에서의 범위 밖 그린 픽셀의 그린 픽셀값은 중앙 그린 픽셀 G22의 픽셀값으로 대체된다.
용이하게 알 수 있는 바와 같이, 수학식 (12a), 수학식 (12b), 수학식 (13a) 및/또는 수학식 (13b) 은 제 2 티어 계층의 가중된 픽셀값을 합산한다.
단계 S334 및 단계 S336 뒤로, 다른 GP2가 있는지 여부를 결정하는 단계 S338이 뒤따른다. 있으면, 단계 S338은, 단계 S332, S334, S336이 다음 GP2의 픽셀값에 기초하여 재평가되는 단계 S330으로 복귀한다. 단계 S330, S332, S334, S336 및 S338로 정의된 환상의 끝에서, G_sum은 제 2 티어 계층 합계를 형성하는 제 2 티어 계층의 가중된 그린 픽셀값을 함께 가산한다. 제공된 제안 프로그램 코드에서, G_sum은 또한 제 2 티어 계층 합계, 제 1 티어 계층 합계 및 가중된 중앙 그린 픽셀값을 함께 가산하여 가중 그린 픽셀 총합을 형성한다.
이하 도 14e를 참조하여, N×N (N=5) 영역의 그린 픽셀이 프로세싱된 후에, G_sum (가중된 그린 픽셀 총합) 은 단계 S340에서 정규화된다. G_sum (가중된 그린 픽셀 총합) 은 G_sum을 5 비트 (25 = 2진 표현에 있어 총 가중 계수 32) 다운시프팅함으로써 정규화된다. 총 가중 계수는 제 1 가중 계수, 제 1 티어 계층에서의 그린 펙셀의 수를 곱한 제 2 가중 계수 및 제 2 티어 계층에서의 그린 픽셀의 수를 곱한 제 3 가중 계수의 총합과 동일하다. 대표 실시형태에서, 제 1 가중 계수는 8이다. 제 1 티어 계층에서의 그린 픽셀의 수를 곱한 제 2 가중 계수는 16이다. 제 2 티어 계층에서의 그린 픽셀의 수를 곱한 제 3 가중 계수는 8이다.
단계 S342에서, 중앙 그린 픽셀 G22의 픽셀값은 단계 S340에서 계산된 정규화된 G_sum으로 대체된다. 더 상세하게는, 중앙 그린 픽셀 (G22) 의 새로운 픽셀값은 수학식 (14) 에 의해 정의되며,
[수학식 (14)]
새로운 G22 = G_sum >> 5
여기서 G22는 중앙 그린 픽셀 G22의 픽셀값을 표시하고, 기호 ">>"는 다운시 프팅을 표시하며; 수학식 (14) 의 G_sum은 가중된 그린 픽셀 총합이다. 5 비트 다운시프팅하는 것은 25 또는 32로 나누는 것과 같다.
적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 으로, 중앙 그린 픽셀 (G22) 에 근사한 (close) 그린 픽셀에 있어, 이들은 저역통과 필터링을 수행하는데 이용된다. 그린 픽셀이 정의된 근사의 범위 밖이면, 이들은 스킵 (중앙 그린 픽셀의 픽셀값으로 대체) 된다. 대표 실시형태에서, 정의된 근사는 거리가 1 픽셀 또는 거리가 2 픽셀에 있는 픽셀이다. 따라서, 정규화 계수는 상수이다. 따라서, 나누기는 심플 다운시프트로 대체될 수 있다.
단계 S342 뒤로, 더 이상의 영역이 없을 때까지 이미지의 다음 영역에 대해 방법 (300) 이 반복되는 단계 S344가 뒤따른다. 단계 S344에서, 결정이 "아니오"이면, 더 이상 영역이 없을 때부터 방법 (300) 은 끝난다. 한편, 결정이 "예"이면, 단계 S344은 도 14a의 단계 S304로 환상으로 다시 돌아가서 전체 프레임 이미지의 다음 영역에 대해 프로세스를 반복한다.
다른 방법으로는, 단계 S344는 모든 중앙 픽셀이 동시에 정규화되게 하는 정규화 단계 S340 이전의 위치로 이동될 수도 있다.
값 P_max 및 P_min이 비율 및 오프셋 파라미터 둘 다를 이용한다는 것을 주목한다. 작은 신호의 경우, 비율은 유용한 범위를 생성할 수 없다. 오프셋의 도움으로, [P_min, P_max]의 의미 있는 범위를 제공할 수 있다. 부수 이득은 당연히 노이즈의 감소이다. 큰 신호의 경우, 비율은 교정 프로세스 동안에 밝 은 그레이 신호로부터 추정되고 교정된 최고 불량 Gr/Gb 비율 미스매치를 조절 및 매칭한다.
적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 으로, 센서 (예를 들어, 센서 모듈 (210)) 의 최고 불량 미스매치만이 종래 지식으로서 알려져 있다. 런 타임에서, 변경 또는 튜닝하기 위한 파라미터가 없다. 최고 불량 미스매치는 센서 교정 절차 동안에 알려진다.
실험 결과:
도 15a, 도 15b, 도 16a, 도 16b, 도 17a, 도 17b, 도 18a, 도 18b, 도 19a, 도 19b, 도 20a 및 도 20b는, 데모사익 프로세싱을 이용함과 함께, 적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 을 이용한 이미지와 그 방법을 이용하지 않은 이미지의 비교를 나타낸다. 적응성 그린 채널 홀짝 미스매치 제거 방법 (300)(이후 "적응성 그린 채널 밸런싱 방법"으로 지칭) 으로, 고주파수 성분 (선명한 직선 및 곡선) 이 매우 잘 유지되고 십자 빗금 패턴이 제거된다는 것을 용이하게 알 수 있다. 적응성 그린 채널 밸런싱 방법으로는 새로운 아티팩트가 이미지에 도입되지 않는다. 도 15a, 도 15b, 도 16a, 도 16b, 도 17a, 도 17b, 도 18a, 도 18b, 도 19a, 도 19b, 도 20a 및 도 20b의 이미지는 F_max=1.13, F_min=0.87 및 오프셋을 5로 제한하여 프로세싱된다. 도 15a 및 도 15b는 적응성 그린 채널 밸런싱 방법을 이용하지 않은 플랫 필드 이미지 및 적응성 그린 채널 밸런싱 방법을 이용한 플랫 필드 이미지 (300% 줌 및 데모사익 이용) 를 도시하고; 도 16a 및 도 16b는 적응성 그린 채널 밸런싱 방법을 이용하지 않은 해상도 차트 이미지 (중앙 원) 및 적응성 그린 채널 밸런싱 방법을 이용한 해상도 차트 이미지 (중앙 원)(300% 줌 및 데모사익 프로세싱 이용) 를 도시하고; 도 17a 및 도 17b는 적응성 그린 채널 밸런싱 방법을 이용하지 않은 해상도 차트 이미지 (수직선) 및 적응성 그린 채널 밸런싱 방법을 이용한 해상도 차트 이미지 (수직선)(300% 줌 및 데모사익 프로세싱 이용) 를 도시하고; 도 18a 및 도 18b는 적응성 그린 채널 밸런싱 방법을 이용하지 않은 해상도 차트 이미지 (수평선) 및 적응성 그린 채널 밸런싱 방법을 이용한 해상도 차트 이미지 (수평선)(300% 줌 및 데모사익 프로세싱 이용) 를 도시하며; 도 19a 및 도 19b는 적응성 채널 밸런싱 알고리즘을 이용하지 않은 맥베스 차트 이미지 및 적응성 채널 밸런싱 알고리즘을 이용한 맥베스 차트 이미지 (300% 줌 및 데모사익 프로세싱 이용) 를 도시하며; 도 20a 및 도 20b는 적응성 채널 밸런싱을 이용하지 않은 맥베스 차트 이미지 및 적응성 채널 밸런싱을 이용한 맥베스 차트 이미지 (데모사익 프로세싱 이용) 를 도시한다.
도 15b, 도 16b, 도 17b, 도 18b, 도 19b 및 도 20b로부터 용이하게 알 수 있는 바와 같이, 적응성 그린 채널 밸런싱 방법 (300) 은 홀짝 미스매치 아티팩트 (십자 빗금 패턴) 가 제거될 수 있는 동안, 이미지에서 에지를 매우 잘 보존한다. 적응성 그린 채널 밸런싱 방법 (300) 은 런-타임 튜닝 또는 감시가 필요하지 않다. 최고 불량 홀짝 미스매치의 오프-라인 교정만이 적응성 그린 채널 밸런싱 방법 (300) 에서 이용된 파라미터 (F_max 및 F_min) 를 결정하는데 필요하다. 교정 절차는 그린 채널 미스매치 이득 및 이득 분산을 제공한다. 이에 기초하여, 파라미터 (F_max 및 F_min) 가 도출될 수 있다.
적응성 그린 채널 밸런싱 방법 (300) 은 하드웨어, 펌웨어 또는 소프트웨어에서 구현되는데 적절하다.
본 발명의 실시형태의 전술한 설명은 예시 및 설명을 목적으로 제시되었다. 개시된 명확한 형태로 본 발명을 제한하거나 철저히 규명해 내려는 의도가 아니며, 변경 및 변화가 상기 교시의 관점에서 가능하거나 본 발명의 실시로부터 얻어질 수도 있다. 당업자가 본 발명을 다양한 실시형태로 그리고 예기되는 특정 용도에 적절한 다양한 변경예로 이용하도록 발명의 원리 및 그 실제 적용을 설명하기 위해 실시형태들이 선택 및 설명된다. 본 발명의 범주는 이에 첨부된 청구의 범위 및 그 균등물에 의해 한정되도록 의도된다.
어펜딕스
영역 내의 비불량 그린 픽셀의 Gr_avg 및 Gb_avg 값은 다음의 절차에 따라 산정된다.
(i=0; i< 영역당 유효 쌍의 수; i++) 에 대해,
{
Gr_sum += GR;
Gb_sum += GB;
}
Gr_avg = Gr_sum/영역당 유효 쌍의 수
Gb_avg = Gb_sum/영역당 유효 쌍의 수
각 (GB, GR) 쌍의 채널 이득은 유사 코드를 이용하여 도출될 수 있다.
avg = (Gr_avg + Gb_avg)/2;
Gr_gain = avg/GR_avg;
Gb_gain = avg/GB_avg
다음의 코드는 다른 적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 에 대해 이용될 수도 있다.
P_max = max(F_max*G22, G22+오프셋);
P_min = min(F_min*G22, G22-오프셋); 및
G_sum = G22 <<3
다음의 대표 코드는 제 1 티어 계층에서의 그린 중앙 픽셀로부터 1의 거리에 있는 그린 픽셀에 기초하여 파라미터 G_sum을 합산하기 위한 다른 적응성 그린 채널 홀짝 미스매치 제거 방법 (300) 에 대해 이용될 수도 있다.
G11에 대해,
(G11>=P_min 및 G11<=P_max) 이면,
G_sum += G11 << 2; (가중 = 4)
그 외에,
G_sum += G22 << 2
G13, G31 및 G33에 동일한 동작 및 가중이 주어진다.
다음의 대표 코드는 제 2 티어 계층에서의 그린 중앙 픽셀로부터 2의 거리에 있는 그린 픽셀에 기초하여 파라미터 G_sum을 합산하기 위한 다른 적응성 그린 채 널 홀짝 미스매치 제거 방법 (300) 에 대해 이용될 수도 있다.
G00에 대해,
(G00 >= P_min 및 G00<=P_max) 이면,
G_sum += G00; (가중 = 1)
그 외에,
G_sum += G22
G02, G04, G20, G24, G40, G42 및 G44에 동일한 동작 및 가중이 주어진다.

Claims (50)

  1. 레드 행 (row) 에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 이미지의 영역별로 교정하는 단계, 및
    그린 채널 홀짝 미스매치 (odd-even mismatch) 를 제거하기 위해, 각 개별 영역에 대해 교정된 상기 레드 행의 그린 픽셀에 상기 GR 채널 이득을, 그리고 상기 블루 행의 그린 픽셀에 상기 GB 채널 이득을, 영역별로 적용하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  2. 제 1 항에 있어서,
    상기 이미지는 미가공 베이어 이미지인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  3. 제 1 항에 있어서,
    상기 교정하는 단계는, 유효 픽셀 쌍의 세트를 형성하기 위해 상기 각 개별 영역에서의 불량 픽셀 및 에지 픽셀을 필터링아웃 (filtering out) 하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  4. 제 3 항에 있어서,
    상기 교정하는 단계는,
    상기 각 개별 영역에서의 상기 유효 픽셀 쌍의 수를 카운팅하는 단계;
    상기 레드 행에 대한 유효 그린 픽셀의 평균수를 산정하는 단계; 및
    상기 블루 행에 대한 유효 그린 픽셀의 평균수를 산정하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  5. 제 4 항에 있어서,
    상기 GR 채널 이득 및 상기 GB 채널 이득은 상기 레드 행에 대한 유효 그린 픽셀 및 상기 블루 행에 대한 유효 그린 픽셀의 상기 산정된 평균수에 관한 함수인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  6. 제 1 항에 있어서,
    상기 교정하는 단계는,
    상기 GR 채널 이득 및 상기 GB 채널 이득을 이전 이미지의 GR 채널 이득 및 GB 채널 이득으로 필터링하는 단계를 포함하며,
    상기 적용하는 단계의 상기 적용된 GR 채널 이득 및 상기 적용된 GB 채널 이득은 상기 필터링된 GR 채널 이득 및 상기 필터링된 GB 채널 이득인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  7. 제 1 항에 있어서,
    상기 적용하는 단계는,
    상기 각 개별 영역에서의 상기 레드 행의 그린 픽셀을 상기 GR 채널 이득으로 곱하는 단계; 및
    상기 블루 행의 그린 픽셀을 상기 GB 채널 이득으로 곱하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  8. 명령들을 포함하는 프로세싱 디바이스에 의해 실행되는 프로그램 코드로서,
    상기 명령들은 실행 시에,
    레드 행 (row) 에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 이미지의 영역별로 교정하도록 동작가능하고,
    그린 채널 홀짝 미스매치 (odd-even mismatch) 를 적응 제거하기 위해, 각 개별 영역에 대해 교정된 상기 레드 행의 그린 픽셀에 상기 GR 채널 이득을, 그리고 상기 블루 행의 그린 픽셀에 상기 GB 채널 이득을, 영역별로 적용하도록 동작가능한, 프로그램 코드.
  9. 제 8 항에 있어서,
    교정하도록 동작가능한 상기 명령들은, 유효 픽셀 쌍의 세트를 형성하기 위해 상기 각 개별 영역에서의 불량 픽셀 및 에지 픽셀을 필터링아웃하도록 동작가능한 명령들을 포함하는, 프로그램 코드.
  10. 제 9 항에 있어서,
    교정하도록 동작가능한 상기 명령들은,
    상기 각 개별 영역에서의 상기 유효 픽셀 쌍의 수를 카운팅하고;
    상기 레드 행에 대한 유효 그린 픽셀의 평균수를 산정하며;
    상기 블루 행에 대한 유효 그린 픽셀의 평균수를 산정하도록 동작가능한 명령들을 포함하는, 프로그램 코드.
  11. 제 10 항에 있어서,
    상기 GR 채널 이득 및 상기 GB 채널 이득은 상기 레드 행에 대한 유효 그린 픽셀 및 상기 블루 행에 대한 유효 그린 픽셀의 상기 산정된 평균수에 관한 함수인, 프로그램 코드.
  12. 제 8 항에 있어서,
    교정하도록 동작가능한 상기 명령들은,
    상기 GR 채널 이득 및 상기 GB 채널 이득을 이전 이미지의 GR 채널 이득 및 GB 채널 이득으로 필터링하도록 동작가능한 명령들을 포함하며,
    상기 GR 채널 이득을 적용하도록 동작가능한 명령들 및 상기 적용된 GB 채널 이득은 상기 필터링된 GR 채널 이득 및 상기 필터링된 GB 채널 이득을 적용하는, 프로그램 코드.
  13. 제 8 항에 있어서,
    적용하도록 동작가능한 상기 명령들은,
    상기 각 개별 영역에서의 상기 레드 행의 그린 픽셀을 상기 GR 채널 이득으로 곱하고;
    상기 블루 행의 그린 픽셀을 상기 GB 채널 이득으로 곱하도록 동작가능한 명령들을 포함하는, 프로그램 코드.
  14. 레드 행 (row) 에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 이미지의 영역별로 교정하는 교정하는 수단, 및
    그린 채널 홀짝 미스매치 (odd-even mismatch) 를 제거하기 위해, 각 개별 영역에 대해 교정된 상기 레드 행의 그린 픽셀에 상기 GR 채널 이득을, 그리고 상기 블루 행의 그린 픽셀에 상기 GB 채널 이득을, 영역별로 적용하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  15. 제 14 항에 있어서,
    상기 이미지는 미가공 베이어 이미지인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  16. 제 14 항에 있어서,
    상기 교정하는 수단은, 유효 픽셀 쌍의 세트를 형성하기 위해 상기 각 개별 영역에서의 불량 픽셀 및 에지 픽셀을 필터링아웃하는 수단을 포함하는, 적응성 그 린 채널 홀짝 미스매치 제거 모듈.
  17. 제 16 항에 있어서,
    상기 교정하는 수단은,
    상기 영역에서의 상기 유효 픽셀 쌍의 수를 카운팅하는 수단;
    상기 레드 행에 대한 유효 그린 픽셀의 평균수를 산정하는 수단; 및
    상기 블루 행에 대한 유효 그린 픽셀의 평균수를 산정하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  18. 제 17 항에 있어서,
    상기 GR 채널 이득 및 상기 GB 채널 이득은 상기 레드 행에 대한 유효 그린 픽셀 및 상기 블루 행에 대한 유효 그린 픽셀의 상기 산정된 평균수에 관한 함수인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  19. 제 17 항에 있어서,
    상기 교정하는 수단은,
    상기 GR 채널 이득 및 상기 GB 채널 이득을 이전 이미지의 GR 채널 이득 및 GB 채널 이득으로 필터링하는 수단을 포함하며,
    상기 적용하는 수단의 상기 적용된 GR 채널 이득 및 상기 적용된 GB 채널 이득은 상기 필터링된 GR 채널 이득 및 상기 필터링된 GB 채널 이득인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  20. 제 19 항에 있어서,
    상기 적용하는 수단은,
    상기 각 개별 영역에서의 상기 레드 행의 그린 픽셀을 상기 GR 채널 이득으로 곱하는 수단; 및
    상기 블루 행의 그린 픽셀을 상기 GB 채널 이득으로 곱하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  21. 센서로부터의 미가공 이미지를 복수의 영역으로 분할하는 단계; 및
    데모사익 (demosaic) 프로세싱된 이미지에서 아티팩트 (artifact) 의 소멸을 달성하기 위해, 각 영역에 대해, 상기 미가공 이미지에서의 그린 채널 홀짝 미스매치 (odd-even mismatch) 를 적응 제거하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  22. 제 21 항에 있어서,
    상기 미가공 이미지는 미가공 베이어 이미지인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  23. 제 21 항에 있어서,
    상기 제거하는 단계는,
    레드 행에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 이미지의 영역별로 교정하는 단계, 및
    그린 채널 홀짝 미스매치를 제거하기 위해, 각 개별 영역에 대해 교정된 상기 레드 행의 그린 픽셀에 상기 GR 채널 이득을, 그리고 상기 블루 행의 그린 픽셀에 상기 GB 채널 이득을, 영역별로 적용하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  24. 제 21 항에 있어서,
    상기 제거하는 단계는,
    상기 미가공 이미지에서의 상기 각 개별 영역에 대해,
    중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키는 단계;
    제 1 티어 계층 (tier layer) 합계를 형성하기 위해, 상기 각 영역의 상기 중앙 그린 픽셀에 따라 제 1 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 단계;
    제 2 티어 계층 합계를 형성하기 위해, 상기 각 영역의 상기 중앙 그린 픽셀에 따라 제 2 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 단계;
    가중된 그린 픽셀 총합을 형성하기 위해, 상기 가중된 중앙 그린 픽셀값, 상 기 제 1 티어 계층 합계 및 상기 제 2 티어 계층 합계를 합산하는 단계;
    상기 가중된 그린 픽셀 총합을 정규화하는 단계; 및
    상기 중앙 그린 픽셀의 픽셀값을 상기 정규화된 가중된 그린 픽셀 총합으로 대체하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  25. 제 24 항에 있어서,
    상기 발생시키는 단계는,
    상기 가중된 중앙 그린 픽셀값을 발생시키기 위해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  26. 제 24 항에 있어서,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계 이전에,
    상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값이 일 범위 (a range) 내에 있는지 여부를 결정하기 위해, 상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값을 픽셀 최대값 및 픽셀 최소값과 비교하는 단계;
    대응하는 범위 내 (within-range) 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 각 그린 픽셀의 픽셀값에 상기 제 1 가중 계수를 곱하는 단계; 및
    대응하는 범위 밖 (out-of-range) 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 단계를 더 포함하며,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계는, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  27. 제 26 항에 있어서,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계 이전에,
    상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값이 상기 범위 내에 있는지 여부를 결정하기 위해, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값을 상기 픽셀 최대값 및 상기 픽셀 최소값과 비교하는 단계;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 각 그린 픽셀의 픽셀값에 상기 제 2 가중 계수를 곱하는 단계; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값 에 상기 제 2 가중 계수를 곱하는 단계를 더 포함하며,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계는, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  28. 제 26 항에 있어서,
    최대 그린 미스매치의 비율의 상한 임계값 (F_max) 을 설정하는 단계;
    상기 최대 그린 미스매치의 비율의 하한 임계값 (F_min) 을 설정하는 단계;
    공간에 따라 변하는 그린 채널 홀짝 미스매치를 제거하기 위해, 상기 중앙 그린 픽셀 (CGP) 을 둘러싼 레드 픽셀에 적응할 수 있는 오프셋을 계산하는 단계;
    P_max = max(F_max*CGP, CGP+오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최대값 (P_max) 을 계산하는 단계; 및
    P_min = min(F_min*CGP, CGP-오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최소값 (P_min) 을 계산하는 단계를 더 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  29. 제 28 항에 있어서,
    상기 오프셋을 계산하는 단계는,
    상기 둘러싼 레드 픽셀에 대해 둘러싼 레드 픽셀값의 평균을 k에 곱하는 단계를 포함하며,
    여기서 k는 크로스 토크 (cross talk) 에 대한 보정의 크기를 조절하는 파라미터인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  30. 센서로부터의 미가공 이미지를 복수의 영역으로 분할하는 수단; 및
    데모사익 (demosaic) 프로세싱된 이미지에서 아티팩트의 소멸을 달성하기 위해, 상기 미가공 이미지에서의 각 영역에서 그린 채널 홀짝 미스매치를 적응성 있게 제거하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  31. 제 30 항에 있어서,
    상기 미가공 이미지는 미가공 베이어 이미지인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  32. 제 30 항에 있어서,
    상기 제거하는 모듈은,
    레드 행에 대한 그린 (GR) 채널 이득 및 블루 행에 대한 그린 (GB) 채널 이득을 상기 미가공 이미지의 영역별로 교정하는 수단, 및
    상기 그린 채널 홀짝 미스매치를 제거하기 위해, 각 개별 영역에 대해 교정된 상기 레드 행의 그린 픽셀에 상기 GR 채널 이득을, 그리고 상기 블루 행의 그린 픽셀에 상기 GB 채널 이득을, 영역별로 적용하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  33. 제 32 항에 있어서,
    상기 제거하는 수단은,
    중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키는 수단;
    제 1 티어 계층 (tier layer) 합계를 형성하기 위해, 상기 각 영역의 상기 중앙 그린 픽셀에 따라 제 1 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단;
    제 2 티어 계층 합계를 형성하기 위해, 상기 각 영역의 상기 중앙 그린 픽셀에 따라 제 2 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단;
    가중된 그린 픽셀 총합을 형성하기 위해, 상기 가중된 중앙 그린 픽셀값, 상기 제 1 티어 계층 합계 및 상기 제 2 티어 계층 합계를 합산하는 수단;
    상기 가중된 그린 픽셀 총합을 정규화하는 수단; 및
    상기 중앙 그린 픽셀의 픽셀값을 상기 정규화된 가중된 그린 픽셀 총합으로 대체하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  34. 제 33 항에 있어서,
    상기 발생시키는 수단은,
    상기 가중된 중앙 그린 픽셀값을 발생시키기 위해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  35. 제 33 항에 있어서,
    상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값이 일 범위 (a range) 내에 있는지 여부를 결정하기 위해, 상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값을 픽셀 최대값 및 픽셀 최소값과 비교하는 수단;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 각 그린 픽셀의 픽셀값에 상기 제 1 가중 계수를 곱하는 수단; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 수단을 더 포함하며,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 수단은, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  36. 제 35 항에 있어서,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하기 전에, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값이 상기 범위 내에 있는지 여부를 결정하기 위해, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값을 상기 픽셀 최대값 및 상기 픽셀 최소값과 비교하는 수단;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 각 그린 픽셀의 픽셀값에 상기 제 2 가중 계수를 곱하는 수단; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 2 가중 계수를 곱하는 수단을 더 포함하며,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 수단은, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  37. 제 36 항에 있어서,
    최대 그린 미스매치의 비율의 상한 임계값 (F_max) 을 설정하는 수단;
    상기 최대 그린 미스매치의 비율의 하한 임계값 (F_min) 을 설정하는 수단;
    공간에 따라 변하는 그린 채널 홀짝 미스매치를 제거하기 위해, 상기 중앙 그린 픽셀 (CGP) 을 둘러싼 레드 픽셀에 적응할 수 있는 오프셋을 계산하는 수단;
    P_max = max(F_max*CGP, CGP+오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최대값 (P_max) 을 계산하는 수단; 및
    P_min = min(F_min*CGP, CGP-오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최소값 (P_min) 을 계산하는 수단을 더 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  38. 제 37 항에 있어서,
    상기 오프셋을 계산하는 수단은,
    상기 둘러싼 레드 픽셀에 대해 둘러싼 레드 픽셀값의 평균을 k에 곱하는 수단을 포함하며,
    여기서 k는 크로스 토크 (cross talk) 에 대한 보정의 크기를 조절하는 파라미터인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  39. 미가공 이미지에서의 각 개별 영역에 대해,
    중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키는 단계;
    제 1 티어 계층 (tier layer) 합계를 형성하기 위해, 상기 각 개별 영역의 상기 중앙 그린 픽셀에 따라 제 1 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 단계;
    제 2 티어 계층 합계를 형성하기 위해, 상기 각 개별 영역의 상기 중앙 그린 픽셀에 따라 제 2 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 단계;
    가중된 그린 픽셀 총합을 형성하기 위해, 상기 가중된 중앙 그린 픽셀값, 상기 제 1 티어 계층 합계 및 상기 제 2 티어 계층 합계를 합산하는 단계;
    상기 가중된 그린 픽셀 총합을 정규화하는 단계; 및
    상기 중앙 그린 픽셀의 픽셀값을 상기 정규화된 가중된 그린 픽셀 총합으로 대체하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  40. 제 39 항에 있어서,
    상기 발생시키는 단계는,
    상기 가중된 중앙 그린 픽셀값을 발생시키기 위해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 단계를 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  41. 제 40 항에 있어서,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계 이전에,
    상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값이 일 범위 (a range) 내에 있는지 여부를 결정하기 위해, 상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값을 픽셀 최대값 및 픽셀 최소값과 비교하는 단계;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 개별 그린 픽셀의 상기 픽셀값에 상기 제 1 가중 계수를 곱하는 단계; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 단계를 더 포함하며,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계는, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  42. 제 41 항에 있어서,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계 이전에,
    상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값이 상기 범위 내에 있는지 여부를 결정하기 위해, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값을 상기 픽셀 최대값 및 상기 픽셀 최소값과 비교하는 단계;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 개별 그린 픽셀의 상기 픽셀값에 상기 제 2 가중 계수를 곱하는 단계; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 2 가중 계수를 곱하는 단계를 더 포함하며,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 단계는, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  43. 제 41 항에 있어서,
    최대 그린 미스매치의 비율의 상한 임계값 (F_max) 을 설정하는 단계;
    상기 최대 그린 미스매치의 비율의 하한 임계값 (F_min) 을 설정하는 단계;
    공간에 따라 변하는 그린 채널 홀짝 미스매치를 제거하기 위해, 상기 중앙 그린 픽셀 (CGP) 을 둘러싼 레드 픽셀에 적응할 수 있는 오프셋을 계산하는 단계;
    P_max = max(F_max*CGP, CGP+오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최대값 (P_max) 을 계산하는 단계; 및
    P_min = min(F_min*CGP, CGP-오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최소값 (P_min) 을 계산하는 단계를 더 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  44. 제 43 항에 있어서,
    상기 오프셋을 계산하는 단계는,
    상기 둘러싼 레드 픽셀에 대해 둘러싼 레드 픽셀값의 평균을 k에 곱하는 단계를 포함하며,
    여기서 k는 크로스 토크 (cross talk) 에 대한 보정의 크기를 조절하는 파라미터인, 적응성 그린 채널 홀짝 미스매치 제거 방법.
  45. 중앙 그린 픽셀에 대한 제 1 가중 계수에 기초하여 가중된 중앙 그린 픽셀값을 발생시키는 수단;
    제 1 티어 계층 (tier layer) 합계를 형성하기 위해, 일 영역의 상기 중앙 그린 픽셀에 따라 제 1 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 2 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단;
    제 2 티어 계층 합계를 형성하기 위해, 상기 영역의 상기 중앙 그린 픽셀에 따라 제 2 티어 계층 내의 둘러싼 그린 픽셀에 대한 제 3 가중 계수에 기초하여 가중된 그린 픽셀값을 합산하는 수단;
    가중된 그린 픽셀 총합을 형성하기 위해, 상기 가중된 중앙 그린 픽셀값, 상 기 제 1 티어 계층 합계 및 상기 제 2 티어 계층 합계를 합산하는 수단;
    상기 가중된 그린 픽셀 총합을 정규화하는 수단; 및
    상기 중앙 그린 픽셀의 픽셀값을 상기 정규화된 가중된 그린 픽셀 총합으로 대체하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  46. 제 45 항에 있어서,
    상기 발생시키는 수단은,
    상기 가중된 중앙 그린 픽셀값을 발생시키기 위해, 상기 중앙 그린 픽셀값에 상기 제 1 가중 계수를 곱하는 수단을 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  47. 제 45 항에 있어서,
    상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값이 일 범위 (a range) 내에 있는지 여부를 결정하기 위해, 상기 제 1 티어 계층에서의 각 그린 픽셀의 픽셀값을 픽셀 최대값 및 픽셀 최소값과 비교하는 수단;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 개별 그린 픽셀의 상기 픽셀값에 상기 제 1 가중 계수를 곱하는 수단; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있지 않은 상기 제 1 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값 에 상기 제 1 가중 계수를 곱하는 수단을 더 포함하며,
    상기 제 1 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 수단은, 상기 범위 내에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 1 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  48. 제 47 항에 있어서,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 수단에 의한 합계 이전에, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값이 상기 범위 내에 있는지 여부를 결정하기 위해, 상기 제 2 티어 계층에서의 각 그린 픽셀의 픽셀값을 상기 픽셀 최대값 및 상기 픽셀 최소값과 비교하는 수단;
    대응하는 범위 내 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 개별 그린 픽셀의 상기 픽셀값에 상기 제 2 가중 계수를 곱하는 수단; 및
    대응하는 범위 밖 가중된 그린 픽셀값을 형성하기 위해, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 각 그린 픽셀에 대해, 상기 중앙 그린 픽셀값에 상기 제 2 가중 계수를 곱하는 수단을 더 포함하며,
    상기 제 2 티어 계층 합계를 형성하기 위해, 그린 픽셀값을 합산하는 수단은, 상기 범위 내에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 내 가중된 그린 픽셀값과, 상기 범위 밖에 있는 상기 제 2 티어 계층에서의 모든 그린 픽셀의 상기 범위 밖 가중된 그린 픽셀값을 합산하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  49. 제 38 항에 있어서,
    최대 그린 미스매치의 비율의 상한 임계값 (F_max) 을 설정하는 수단;
    상기 최대 그린 미스매치의 비율의 하한 임계값 (F_min) 을 설정하는 수단;
    공간에 따라 변하는 그린 채널 홀짝 미스매치를 제거하기 위해, 상기 중앙 그린 픽셀 (CGP) 을 둘러싼 레드 픽셀에 적응할 수 있는 오프셋을 계산하는 수단;
    P_max = max(F_max*CGP, CGP+오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최대값 (P_max) 을 계산하는 수단; 및
    P_min = min(F_min*CGP, CGP-오프셋) 과 같이 정의된 수학식에 기초하여 상기 픽셀 최소값 (P_min) 을 계산하는 수단을 더 포함하는, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
  50. 제 49 항에 있어서,
    상기 오프셋을 계산하는 수단은,
    상기 둘러싼 레드 픽셀에 대해 둘러싼 레드 픽셀값의 평균을 k에 곱하는 수단을 포함하며,
    여기서 k는 크로스 토크 (cross talk) 에 대한 보정의 크기를 조절하는 파라 미터인, 적응성 그린 채널 홀짝 미스매치 제거 모듈.
KR1020087020308A 2006-01-19 2007-01-17 적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법및 장치 KR20080089649A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US76076906P 2006-01-19 2006-01-19
US60/760,769 2006-01-19
US75984206A 2006-01-20 2006-01-20
US60/759,842 2006-01-20
US11/470,619 US8005297B2 (en) 2006-01-18 2006-09-06 Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US11/470,619 2006-09-06

Publications (1)

Publication Number Publication Date
KR20080089649A true KR20080089649A (ko) 2008-10-07

Family

ID=40151127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020308A KR20080089649A (ko) 2006-01-19 2007-01-17 적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법및 장치

Country Status (2)

Country Link
JP (1) JP2009536470A (ko)
KR (1) KR20080089649A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5267290B2 (ja) * 2009-04-07 2013-08-21 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142149A (ja) * 2000-11-06 2002-05-17 Mega Chips Corp 画像処理回路
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization

Also Published As

Publication number Publication date
JP2009536470A (ja) 2009-10-08

Similar Documents

Publication Publication Date Title
US8005297B2 (en) Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
JP4662584B2 (ja) 画像センサのライン毎ノイズ除去装置及び方法
US7580070B2 (en) System and method for roll-off correction in image processing
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP2053842B1 (en) Noise correction circuit, imaging apparatus, and noise correction method
US8164661B2 (en) Method and apparatus for eliminating defective pixels and noise
US20110149122A1 (en) Method and apparatus providing noise reduction while preserving edges for imagers
US20070133893A1 (en) Method and apparatus for image noise reduction
US20030169353A1 (en) Method and apparatus for processing sensor images
JP5060535B2 (ja) 画像処理装置
KR101665137B1 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
JP5060447B2 (ja) ノイズキャンセル処理回路および固体撮像装置
US20090002530A1 (en) Apparatus and method for processing images
WO2012042771A1 (ja) 画像処理装置、画像処理方法及び集積回路
US9123105B2 (en) Image processing device, image processing method, image capturing device, computer program, and recording medium
US7471842B2 (en) Method and apparatus for dynamically detecting pixel values
KR20080089649A (ko) 적응성 및 자기-교정 센서 그린 채널 이득 밸런싱의 방법및 장치
KR20080015545A (ko) 결함 화소 검출 방법 및 이를 위해 사용되는 장치
US7834920B2 (en) Image sensor for filtering and coring pixel data and related methods
KR101619089B1 (ko) 영상잡음 제거방법
JP4397869B2 (ja) スミア補正方法及びスミア補正回路
CN116939374B (zh) 镜头阴影矫正方法、装置及电子设备
CN101371592A (zh) 用于自适应且自校准传感器绿色通道增益平衡的方法及设备
KR20230164604A (ko) 다중 스펙트럼 rgb-nir 센서에 의해 획득된 이미지를 처리하는 시스템 및 방법
Chang Kernel-size selection for defect pixel identification and correction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee