KR20210148822A - 압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링 - Google Patents

압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링 Download PDF

Info

Publication number
KR20210148822A
KR20210148822A KR1020200169465A KR20200169465A KR20210148822A KR 20210148822 A KR20210148822 A KR 20210148822A KR 1020200169465 A KR1020200169465 A KR 1020200169465A KR 20200169465 A KR20200169465 A KR 20200169465A KR 20210148822 A KR20210148822 A KR 20210148822A
Authority
KR
South Korea
Prior art keywords
pixel
green
pixels
cluster
sampled
Prior art date
Application number
KR1020200169465A
Other languages
English (en)
Inventor
탈 번스테인
갈 비탄
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210148822A publication Critical patent/KR20210148822A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N9/0455—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/374—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 센서 데이터의 다운-업 샘플링을 위한 방법은, 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 다운 샘플링의 데시메이션 인자(decimation factor)는 슈퍼 베이어 패턴에서 컬러 클러스터의 크기에 대응하고, 다운 샘플링 후 넌-그린(non-green) 픽셀 클러스터에 가장 가까운 2개의 그린 픽셀들은 각 그린 클러스터에 남아있고, 그리고 각 넌-그린 픽셀 클러스터는 4개의 다운 샘플링된 그린 픽셀들에 의해 경계가 정해짐; 및 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 넌-그린 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들로부터 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계를 포함하고, 여기서 넌-그린 컬러 픽셀들의 업 샘플링은 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)된다.

Description

압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링{IMAGE SENSOR DOWN-UP SAMPLING USING A COMPRESSED GUIDE}
본 개시의 실시 예들은 CMOS(Complementary Metal-Oxide Semiconductor) 센서를 사용하는 이미지 처리를 위한 방법들에 관한 것이다. 보다 상세하게는, 본 개시의 실시 예들은 베이어(Bayer) 컬러 필터 어레이의 샘플링된 변형을 사용하는 고해상도 센서들을 처리하는 것의 보상에 관한 것이다.
고해상도 CMOS 센서 패턴들은 장면으로부터 많은 양의 정보를 획득할 수 있지만, 정보는 고르지 않게 분산된다. 이러한 패턴들을 사용하는데 있어 어려운 점은 이러한 패턴들을 표준 베이어 패턴으로 조정하고, 이미지에 걸쳐 장면의 데이터를 고르게 분산시키는 것이다. 컬러 필터 어레이(CFA; color filter array)는 컬러 정보를 캡처하기 위해 이미지 센서의 센서들 위에 배치된 컬러 필터들의 어레이다. 베이어 필터 모자이크는 50% 그린(green), 25% 레드(red), 및 25% 블루(blue)인 광 센서들의 스퀘어 그리드(square gird) 상에서 통상적으로 사용되는 RGB 컬러 필터들의 CFA이다. 베이어 필터 모자이크는 인간의 눈의 생리를 모방하기 위해 레드 또는 블루보다 2배 많은 그린 요소들을 사용하고, 인간의 눈은 낮에 그린 광에 가장 민감하다. 광 센서들에 의해 감지된 샘플 값들은 보간(interpolate)된 후 이미지 픽셀들이 된다. 베이어-필터 카메라들의 로우(raw) 출력은 베이어 패턴으로 지칭된다. 단순한 베이어 패턴은 하나의 레드 픽셀, 하나의 블루 픽셀, 및 2개의 대각선으로 마주보는(diagonally opposite) 그린 픽셀들을 갖는 반복되는 2 x 2 픽셀을 포함하는 반면에, 슈퍼 베이어 패턴은 단순한 베이어 패턴의 배열을 모방하는 컬러가 동일한 픽셀들의 클러스터(cluster)들을 포함한다. 그러나, 각 픽셀은 3개의 컬러들 중 하나만 기록하도록 필터링되므로, 각 픽셀로부터의 데이터는 각 픽셀 고유의 각각의 레드, 그린, 및 블루 값들을 완전하게 지정(specify)할 수 없다. 풀-컬러 이미지를 얻기 위해, 디모자이싱 알고리즘(demosaicing algorithm)은 각 픽셀에 대한 완전한 레드, 그린, 및 블루 값들의 세트를 보간하기 위해 사용된다. 이러한 알고리즘은 주변 픽셀들의 컬러들을 사용하여 특정 픽셀에 대한 컬러 값을 추정하게 한다.
본 개시의 목적은 풀 해상도 이미지로부터 압축된 데이터에 의해 가이드되는, 다운 샘플링된 CFA 이미지로부터 풀 해상도 그린 픽셀 이미지를 추정하기 위한 시스템들 및 방법들을 제공하는데 있다.
본 개시의 예시적인 실시 예들은 풀 해상도 이미지로부터 압축된 데이터에 의해 가이드되는, 다운 샘플링된 CFA 이미지로부터 풀 해상도 그린 픽셀 이미지를 추정하기 위한 시스템들 및 방법들에 관한 것이다. 다운 샘플링 프로세스에서 해상도 손실은 에지 맵 또는 방향 맵과 같은 고해상도지만 낮은 비트에이지 가이드(low bittage guide)로 보상된다.
본 개시의 실시 예에 따르면, 이미지 센서 데이터의 다운-업 샘플링 방법이 제공되고, 상기 방법은 상기 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 상기 다운 샘플링의 데시메이션 인자(decimation factor)는 상기 슈퍼 베이어 패턴에서 컬러 클러스터의 크기에 대응하고, 다운 샘플링 후 넌-그린(non-green) 픽셀 클러스터에 가장 가까운 2개의 그린 픽셀들은 각 그린 클러스터에 남아있고, 그리고 각 넌-그린 픽셀 클러스터는 4개의 다운 샘플링된 그린 픽셀들에 의해 경계가 정해짐; 및 상기 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 상기 넌-그린 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계를 포함하고, 여기서 상기 넌-그린 컬러 픽셀들의 상기 업 샘플링은 상기 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)된다.
본 개시의 추가 실시 예에 따르면, n x n 컬러 픽셀 어레이에 대한 상기 데시메이션 인자는 n2이고, 그리고 상기 그린 픽셀들을 다운 샘플링하는 단계는 대체 픽셀 어레이 행들을 위해 상기 n x n 컬러 픽셀 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 상기 2개의 대각선으로 마주보는 코너들을 유지하는 것을 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 압축된 어레이는 픽셀 방향 맵 또는 에지 맵 중 하나이고, 상기 픽셀 방향 맵은 각 픽셀에 대한 6개의 방향들 중 하나를 지정(specify)하고, 상기 6개의 방향들은 수평(horizontal), 수직(vertical), 슬래시(slash), 백슬래시(backslash), 플랫(flat), 및 알 수 없음(unknown)이다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀 방향 맵은 상기 이미지 센서 데이터를 레드 클러스터, 그린 클러스터, 및 블루 클러스터로 분할함으로써 결정되고, 상기 방법은 각 클러스터 내에서, 각 픽셀에 대한 최대-최소 측정을 사용하여 상기 각 픽셀이 플랫인지 결정하고 그리고 상기 최대-최소 측정을 임계 값과 비교하는 것, 여기서 픽셀에 대한 상기 최대-최소 측정이 상기 임계 값보다 작으면 상기 픽셀은 플랫으로 결정됨, 그리고 상기 픽셀이 넌-플랫으로 결정되면, 상기 픽셀에 대한 방향을 결정하는 것을 더 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 각 픽셀이 플랫인지 결정하는 것은 각 픽셀에 대한 픽셀들의 픽셀 패치(patch)를 연관시키는 것, 여기서 상기 픽셀 패치는 컬러 픽셀 어레이의 크기보다 큼; 상기 픽셀 패치 내에서 픽셀들의 각 컬러 그룹에 대한 상기 최대-최소 측정을 계산하는 것; 그리고 상기 최대-최소 측정의 3개의 값들이 모두 상기 임계 값보다 낮으면 상기 픽셀 패치의 중심(center)에 있는 픽셀을 플랫으로 결정하는 것을 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀에 대한 방향을 결정하는 것은 상기 수평, 상기 수직, 상기 슬래시, 및 상기 백슬래시에 대한 상기 픽셀 패치에서의 동일한 컬러를 갖는 인접한 픽셀들의 모든 쌍 사이의 차이들을 계산하는 것, 동일한 방향으로의 상기 차이들을 합산하는 것; 그리고 상기 픽셀 패치의 중심에 있는 상기 픽셀에 대한 방향으로 상기 차이들의 가장 낮은 합을 갖는 합계를 선택하는 것을 포함하고, 여기서 픽셀 방향의 차이가 미리 결정된 간격 내에서 다른 방향들의 차이들보다 작지 않으면, 상기 픽셀의 방향은 알 수 없음으로 표시된다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀 방향 맵을 사용하여 상기 넌(non, 비)-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는:
Figure pat00001
에 따라서, 상기 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 업 샘플링되는 클러스터에서 플랫 또는 알 수 없음 방향 픽셀(
Figure pat00002
)을 보간하는 것(단계), 여기서 A는 업 샘플링된 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
Figure pat00003
)의 거리들임; 상기 다운 샘플링된 그린 픽셀들(g1, g2)이 픽셀(
Figure pat00004
)과 동일 선상에 있으면,
Figure pat00005
에 따라서, 업 샘플링된 상기 클러스터에서 수평, 수직, 슬래시, 또는 백슬래시 방향 픽셀(
Figure pat00006
)을 보간하는 것(단계), 여기서 d1, d2는 각각 픽셀(
Figure pat00007
)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들임; 픽셀(
Figure pat00008
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00009
,
Figure pat00010
,
Figure pat00011
에 따라서,
업 샘플링된 상기 클러스터에서 수평 또는 수직 방향 픽셀(
Figure pat00012
)을 보간하는 것(단계), 여기서 p1 및 p2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00013
)에 가장 가까운 2개의 픽셀들이고, g1, g2는 p1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 픽셀(p1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 p2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 픽셀(p2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들임; 그리고 픽셀(
Figure pat00014
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00015
,
Figure pat00016
,
Figure pat00017
에 따라서,
업 샘플링된 상기 클러스터에서 슬래시 또는 백슬래시 방향 픽셀(
Figure pat00018
)을 보간하는 것(단계)을 포함하고, 여기서 c1 및 c2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00019
)에 가장 가까운 2개의 코너 포인트들이고, g1, g2는 c1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 포인트(c1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 c2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 포인트(c2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들이다.
본 개시의 추가 실시 예에 따르면, 상기 에지 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는 업 샘플링될 픽셀(
Figure pat00020
)로부터 상기 4개의 다운 샘플링된 그린 픽셀들 각각으로 가상의 직선들을 그리고(drawing), 픽셀(
Figure pat00021
)로부터 다운 샘플링된 그린 픽셀(gk)로의 가상의 직선들이 에지 픽셀과 교차하면 상기 다운 샘플링된 그린 픽셀(gk)을 제거하는 것; 그리고
Figure pat00022
에 따라서, 상기 4개의 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 상기 픽셀(
Figure pat00023
)을 보간하는 것을 포함하고, 여기서,
Figure pat00024
,
Figure pat00025
,
Figure pat00026
, 그리고
Figure pat00027
이고, 여기서 A는 업 샘플링될 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
Figure pat00028
)의 거리들이고, 상기 4개의 다운 샘플링된 그린 픽셀들이 모두 제거되면 가장 가까운 다운 샘플링된 픽셀로부터 상기 픽셀(
Figure pat00029
)을 보간한 것은
Figure pat00030
이다.
본 개시의 다른 실시 예에 따르면, 컴퓨터로 판독 가능한 컴퓨터 판독 가능 프로그램 스토리지 장치가 제공되고, 상기 컴퓨터 판독 가능 프로그램 스토리지 장치는 상기 컴퓨터에 의해 실행되는 명령어들의 프로그램을 명백하게(tangibly) 구현하여 이미지 센서 데이터의 다운-업 샘플링을 위한 방법을 수행하고, 상기 방법은 상기 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 n x n 컬러 픽셀 어레이(array)에 대한 데시메이션 인자(decimation factor)는 n2이고, 그리고 상기 그린 픽셀들을 다운 샘플링하는 단계는 대체 픽셀 어레이 행들을 위해 상기 n x n 컬러 픽셀 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 상기 2개의 대각선으로 마주보는 코너들을 유지하는 것을 포함함; 및 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린(non-green) 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 넌-그린 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계를 포함하고, 여기서 상기 넌-그린 컬러 픽셀들의 상기 업 샘플링은 상기 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)된다.
본 개시의 추가 실시 예에 따르면, 상기 다운 샘플링의 상기 데시메이션 인자는 상기 슈퍼 베이어 패턴에서 컬러 클러스터의 크기에 대응하고, 다운 샘플링 후 넌-그린 픽셀 클러스터에 가장 가까운 2개의 그린 픽셀들은 각 그린 클러스터에 남아있고, 그리고 각 넌-그린 픽셀 클러스터는 4개의 다운 샘플링된 그린 픽셀들에 의해 경계가 정해진다.
본 개시의 추가 실시 예에 따르면, 상기 압축된 어레이는 픽셀 방향 맵 또는 에지 맵 중 하나이고, 상기 픽셀 방향 맵은 각 픽셀에 대한 6개의 방향들 중 하나를 지정(specify)하고, 상기 6개의 방향들은 수평(horizontal), 수직(vertical), 슬래시(slash), 백슬래시(backslash), 플랫(flat), 및 알 수 없음(unknown)이다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀 방향 맵은 상기 이미지 센서 데이터를 레드 클러스터, 그린 클러스터, 및 블루 클러스터로 분할함으로써 결정되고, 상기 방법은 각 클러스터 내에서, 각 픽셀에 대한 최대-최소 측정을 사용하여 상기 각 픽셀이 플랫인지 결정하고 그리고 상기 최대-최소 측정을 임계 값과 비교하는 것, 여기서 픽셀에 대한 상기 최대-최소 측정이 상기 임계 값보다 작으면 상기 픽셀은 플랫으로 결정됨, 그리고 상기 픽셀이 넌-플랫으로 결정되면, 상기 픽셀에 대한 방향을 결정하는 것을 더 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 각 픽셀이 플랫인지 결정하는 것은 각 픽셀에 대한 픽셀들의 픽셀 패치(patch)를 연관시키는 것, 여기서 상기 픽셀 패치는 컬러 픽셀 어레이의 크기보다 큼; 상기 픽셀 패치 내에서 픽셀들의 각 컬러 그룹에 대한 상기 최대-최소 측정을 계산하는 것; 그리고 상기 최대-최소 측정의 3개의 값들이 모두 상기 임계 값보다 낮으면 상기 픽셀 패치의 중심(center)에 있는 픽셀을 플랫으로 결정하는 것을 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀에 대한 방향을 결정하는 것은 상기 수평, 상기 수직, 상기 슬래시, 및 상기 백슬래시에 대한 상기 픽셀 패치에서의 동일한 컬러를 갖는 인접한 픽셀들의 모든 쌍 사이의 차이들을 계산하는 것, 동일한 방향으로의 상기 차이들을 합산하는 것; 그리고 상기 픽셀 패치의 중심에 있는 상기 픽셀에 대한 방향으로 상기 차이들의 가장 낮은 합을 갖는 합계를 선택하는 것을 포함하고, 여기서 픽셀 방향의 차이가 미리 결정된 간격 내에서 다른 방향들의 차이들보다 작지 않으면, 상기 픽셀의 방향은 알 수 없음으로 표시된다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀 방향 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는
Figure pat00031
에 따라서, 상기 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 업 샘플링되는 클러스터에서 플랫 또는 알 수 없음 방향 픽셀(
Figure pat00032
)을 보간하는 것, 여기서 A는 업 샘플링된 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
Figure pat00033
)의 거리들임; 상기 다운 샘플링된 그린 픽셀들(g1, g2)이 픽셀(
Figure pat00034
)과 동일 선상에 있으면,
Figure pat00035
에 따라서, 업 샘플링된 상기 클러스터에서 수평, 수직, 슬래시, 또는 백슬래시 방향 픽셀(
Figure pat00036
)을 보간하는 것, 여기서 d1, d2는 각각 픽셀(
Figure pat00037
)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들임; 픽셀(
Figure pat00038
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00039
,
Figure pat00040
,
Figure pat00041
에 따라서,
업 샘플링된 상기 클러스터에서 수평 또는 수직 방향 픽셀(
Figure pat00042
)을 보간하는 것, 여기서 p1 및 p2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00043
)에 가장 가까운 2개의 픽셀들이고, g1, g2는 p1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 픽셀(p1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 p2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 픽셀(p2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들임; 그리고 픽셀(
Figure pat00044
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00045
,
Figure pat00046
,
Figure pat00047
에 따라서,
업 샘플링된 상기 클러스터에서 슬래시 또는 백슬래시 방향 픽셀(
Figure pat00048
)을 보간하는 것을 포함하고, 여기서 c1 및 c2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00049
)에 가장 가까운 2개의 코너 포인트들이고, g1, g2는 c1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 포인트(c1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 c2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 포인트(c2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들이다.
본 개시의 추가 실시 예에 따르면, 상기 에지 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는: 업 샘플링될 픽셀(
Figure pat00050
)로부터 상기 4개의 다운 샘플링된 그린 픽셀들 각각으로 가상의 직선들을 그리고(drawing), 픽셀(
Figure pat00051
)로부터 다운 샘플링된 그린 픽셀(gk)로의 가상의 직선들이 에지 픽셀과 교차하면 상기 다운 샘플링된 그린 픽셀(gk)을 제거하는 것; 그리고
Figure pat00052
에 따라서, 상기 4개의 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 상기 픽셀(
Figure pat00053
)을 보간하는 것을 포함하고, 여기서,
Figure pat00054
,
Figure pat00055
,
Figure pat00056
, 그리고
Figure pat00057
이고, 여기서 A는 업 샘플링될 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
Figure pat00058
)의 거리들이고, 상기 4개의 다운 샘플링된 그린 픽셀들이 모두 제거되면 가장 가까운 다운 샘플링된 픽셀로부터 상기 픽셀(
Figure pat00059
)을 보간한 것은
Figure pat00060
이다.
본 개시의 다른 실시 예에 따르면, 이미지 센서 데이터의 다운-업 샘플링 방법이 제공되고, 상기 방법은, 상기 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 n x n 컬러 픽셀 어레이(array)에 대한 데시메이션 인자(decimation factor)는 n2이고, 그리고 상기 그린 픽셀들을 다운 샘플링하는 단계는 대체 픽셀 어레이 행들을 위해 상기 n x n 컬러 픽셀 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 상기 2개의 대각선으로 마주보는 코너들을 유지하는 것을 포함함; 상기 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)되는 넌-그린(non-green) 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계, 여기서 상기 압축된 어레이는 픽셀 방향 맵이고, 상기 픽셀 방향 맵은 각 픽셀에 대한 6개의 방향들 중 하나를 지정(specify)하고, 상기 6개의 방향들은 수평(horizontal), 수직(vertical), 슬래시(slash), 백슬래시(backslash), 플랫(flat), 및 알 수 없음(unknown)이고, 상기 픽셀 방향 맵은 상기 이미지 센서 데이터를 레드 클러스터, 그린 클러스터, 및 블루 클러스터로 분할함으로써 결정됨; 각 클러스터 내에서, 각 픽셀에 대한 최대-최소 측정을 사용하여 상기 각 픽셀이 플랫인지 결정하고 그리고 상기 최대-최소 측정을 임계 값과 비교하는 단계, 여기서 픽셀에 대한 상기 최대-최소 측정이 상기 임계 값보다 작으면 상기 픽셀은 플랫으로 결정됨; 및 상기 픽셀이 넌-플랫으로 결정되면, 상기 픽셀에 대한 방향을 결정하는 단계를 포함한다.
본 개시의 추가 실시 예에 따르면, 상기 각 픽셀이 플랫인지 결정하는 것은 각 픽셀에 대한 픽셀들의 픽셀 패치(patch)를 연관시키는 것, 여기서 상기 픽셀 패치는 컬러 픽셀 어레이의 크기보다 큼; 상기 픽셀 패치 내에서 픽셀들의 각 컬러 그룹에 대한 상기 최대-최소 측정을 계산하는 것; 그리고 상기 최대-최소 측정의 3개의 값들이 모두 상기 임계 값보다 낮으면 상기 픽셀 패치의 중심(center)에 있는 픽셀을 플랫으로 결정하는 것을 포함하고, 그리고 상기 픽셀에 대한 방향을 결정하는 것은 상기 수평, 상기 수직, 상기 슬래시, 및 상기 백슬래시에 대한 상기 픽셀 패치에서의 동일한 컬러를 갖는 인접한 픽셀들의 모든 쌍 사이의 차이들을 계산하는 것, 동일한 방향으로의 상기 차이들을 합산하는 것; 그리고 상기 픽셀 패치의 중심에 있는 상기 픽셀에 대한 방향으로 상기 차이들의 가장 낮은 합을 갖는 합계를 선택하는 것을 포함하고, 여기서 픽셀 방향의 차이가 미리 결정된 간격 내에서 다른 방향들의 차이들보다 작지 않으면, 상기 픽셀의 방향은 알 수 없음으로 표시된다.
본 개시의 추가 실시 예에 따르면, 상기 넌-그린 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는 상기 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 수행된다.
본 개시의 추가 실시 예에 따르면, 상기 픽셀 방향 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는
Figure pat00061
에 따라서, 상기 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 업 샘플링되는 클러스터에서 플랫 또는 알 수 없음 방향 픽셀(
Figure pat00062
)을 보간하는 것, 여기서 A는 업 샘플링된 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
Figure pat00063
)의 거리들임; 상기 다운 샘플링된 그린 픽셀들(g1, g2)이 픽셀(
Figure pat00064
)과 동일 선상에 있으면,
Figure pat00065
에 따라서, 업 샘플링된 상기 클러스터에서 수평, 수직, 슬래시, 또는 백슬래시 방향 픽셀(
Figure pat00066
)을 보간하는 것, 여기서 d1, d2는 각각 픽셀(
Figure pat00067
)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들임; 픽셀(
Figure pat00068
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00069
,
Figure pat00070
,
Figure pat00071
에 따라서,
업 샘플링된 상기 클러스터에서 수평 또는 수직 방향 픽셀(
Figure pat00072
)을 보간하는 것, 여기서 p1 및 p2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00073
)에 가장 가까운 2개의 픽셀들이고, g1, g2는 p1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 픽셀(p1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 p2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 픽셀(p2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들임; 그리고 픽셀(
Figure pat00074
)과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
Figure pat00075
,
Figure pat00076
,
Figure pat00077
에 따라서,
업 샘플링된 상기 클러스터에서 슬래시 또는 백슬래시 방향 픽셀(
Figure pat00078
)을 보간하는 것을 포함하고, 여기서 c1 및 c2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00079
)에 가장 가까운 2개의 코너 포인트들이고, g1, g2는 c1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 포인트(c1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 c2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 포인트(c2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들이다.
본 개시의 실시 예에 따르면, 풀 해상도 이미지로부터 압축된 데이터에 의해 가이드되는, 다운 샘플링된 CFA 이미지로부터 풀 해상도 그린 픽셀 이미지를 추정하기 위한 시스템들 및 방법들이 제공된다.
도 1은 본 개시의 실시 예에 따른, 다양한 CFA 패턴들을 도시한다.
도 2는 본 개시의 실시 예에 따른, 압축된 데이터에 의해 가이드되는 다운-업 샘플링 프로세스의 순서도이다.
도 3은 본 개시의 실시 예에 따른, 노나(Nona) 패턴 데이터로부터의 그린 픽셀들의 다운 샘플링을 도시한다.
도 4는 본 개시의 실시 예에 따른, 쌍 선형(bilinear) 보간을 수행하기 위한 가장 가까운 그린 픽셀들을 도시한다.
도 5는 본 개시의 실시 예에 따른, 방향 맵을 생성하는 방법의 순서도이다.
도 6은 본 개시의 실시 예에 따른, 단순한 베이어 패턴 케이스에서의 픽셀 커플들에 대한 일부 예시들을 도시한다.
도 7은 본 개시의 실시 예에 따른, 그린 픽셀들의 보간된 업 샘플링을 가이드하기 위한 방향들을 사용하는 방법의 순서도이다.
도 8은 본 개시의 실시 예에 따른, 픽셀이 방향을 가질 때 보간의 예시들을 도시한다.
도 9는 본 개시의 실시 예에 따른, 업 샘플링을 위한 에지 맵의 사용을 도시한다.
도 10 내지 도 15는 본 개시의 실시 예들에 따른, 다운-업 샘플링의 예시들을 도시한다.
도 16은 본 개시의 실시 예에 따른, 압축된 데이터에 의해 가이드되는 다운-업 샘플링을 위한 방법을 구현하는 시스템의 블록도이다.
본 명세서에서 설명된 본 개시의 예시적인 실시 예들은 압축된 데이터에 의해 가이드(guide)되는 다운-업 샘플링을 위한 시스템들 및 방법들을 일반적으로 제공한다. 실시 예들은 다양한 수정들 및 대안적인 형태들에 민감하지만, 그것들의 특정 실시 예들은 도면에서의 예시의 방법으로 도시되고 본 명세서에서 보다 상세하게 설명될 것이다. 그러나, 본 개시는 개시된 특정 형태들로 제한하는 것으로 의도되지 않으며, 이와 대조적으로, 본 개시는 본 개시의 기술적 사상 및 범위에 속하는 모든 수정들, 균등물들, 및 대안들을 포함하는 것으로 이해되어야 한다.
본 개시의 실시 예들은 테트라(Tetra) 또는 노나(Nona) 셀 CFA(color filter array)들과 같은 업 샘플링된 베이어(up sampled Bayer) CFA 패턴들에 기초한 CMOS 이미지 센서들에 관한 것이다. 도 1은 본 개시의 실시 예에 따른, 여러 CFA 패턴들을 도시한다. 왼쪽에서 오른쪽으로, 도시된 패턴들은 단순한 베이어 패턴, 각 컬러 클러스터가 2 x 2 픽셀 어레이인 슈퍼 베이어 패턴인 테트라 패턴, 및 각 컬러 클러스터가 3 x 3 픽셀 어레이인 다른 슈퍼 베이어 패턴인 노나 패턴이다. 다른 슈퍼 베이어 패턴은 각 컬러 클러스터가 4 x 4 픽셀 어레이인 헥사(Hexa) 패턴이다. 도시된 패턴들은 예시적인 것이고 비-제한적이며, 그리고 다른 패턴들이 더 큰 크기의 컬러 픽셀 어레이들에 기초하여 존재한다. 그린(green) 픽셀들은 센서 영역의 절반을 차지하며, 이는 그린 픽셀들의 빛에 대한 높은 반응성 그리고 자연 광이 레드(red) 또는 블루(blue)보다 그린 요소들을 더 포함한다는 사실 때문이다.
이러한 이유로, 실시 예에 따르면, 센서 이미지 처리는 캡처된 장면으로부터 미세한 세부 사항(fine detail)들을 추출하기 위해 풀 해상도(full resolution) 그린 맵을 사용한다. 이미지 처리 파이프라인의 하나의 중요한 기능은, 리모자이싱(remosaicing)으로 알려진 프로세스인, 노나 패턴 또는 테트라 패턴과 같은, 더 큰 크기의 슈퍼-베이어 컬러 픽셀 어레이로부터 베이어 패턴을 추정하는 것이다. 리모자이싱 프로세스에서의 초기 단계는 획득된 데이터를 고르게 분산시키기 위해 그린 픽셀들의 풀(full) 이미지를 생성하는 것이다. 본 개시의 실시 예에 따른 원리는 업-샘플링 프로세스에서 에지(edge) 맵 또는 방향 맵과 같은 고해상도지만 낮은 비트에이지 가이드(low bittage guide)를 사용함으로써 다운-샘플링 프로세스에서 해상도 손실을 보상하는 것이다.
본 개시의 실시 예에 따르면, 저전력 방법은 다운 샘플링된 데이터를 사용하여 큰 크기의 픽셀 어레이 패턴 센서 데이터로부터 그린 이미지의 풀 해상도를 추정하기 위해 사용되고, 그리고 다운 샘플링 프로세스에서 손실된 미세한 세부 사항을 검색(retrieve, 또는 회수)하기 위해 고해상도 압축 데이터에 의해 가이드된 업 샘플링이 수행된다. 설명의 단순화를 위해, 본 개시의 실시 예들은 노나 패턴을 처리하기 위해 설명될 것이지만, 본 발명이 속한 기술 분야에서의 통상의 기술자는 다른 크기의 컬러 픽셀 어레이들에 대해 설명된 방법들을 쉽게 구현할 수 있다.
도 2는 본 개시의 실시 예에 따른, 압축된 데이터에 의해 가이드되는 노나 패턴에 대한 다운-업 샘플링 프로세스의 순서도이다. 이제 도면을 참조하면, 이미지 센서로부터 수신된 슈퍼-베이어 노나 패턴이 주어지고, 첫 단계(201)는 블루 및 레드 노나 셀들에서 그린 픽셀들을 추정하기 위해 가장 관련성이 높은 픽셀들을 유지하기 위해 그린 픽셀들을 다운 샘플링하는 것(단계)이다. 실시 예에 따르면, 9의 인자(factor)로 데시메이션(decimation)이 수행되고, 여기서 2개의 그린 픽셀들이 각 그린 클러스터로부터 유지되므로 각 블루 및 레드 노나 셀 추정에 대해 4개의 그린 이웃들이 있다. 보다 일반적으로, n x n 컬러 픽셀 어레이에 대해, 데시메이션은 n2의 인자에 의한 것이지만, 4개의 그린 이웃들은 각 n x n 셀 추정에 대해 유지된다. 일 실시 예에서, 유지되는 이러한 그린 이웃들은 레드 또는 블루 노나 셀에 가장 가깝지만, 실시 예들은 이에 제한되지 않는다. 다른 실시 예들에서, 레드 또는 블루 노나 셀에 반드시 가장 가까운 것은 아닌 그린 이웃 픽셀들이 유지된다. 도 3은 노나 패턴 데이터로부터 그린 픽셀들의 9의 인자의 다운 샘플링을 도시한다. 비록 각 3 x 3 클러스터에서 9개의 그린 픽셀들 중 2개가 유지되지만, 레드 또는 블루 픽셀들의 어떤 것도 유지되지 않음에 유의해야 한다. 또한, 단계(202)에서, 업 샘플링을 가이드하는데 사용되는, 방향 맵 또는 에지 맵은 슈퍼-베이어 패턴으로부터 생성된다. 에지 맵들을 생성하는 방법들은 본 발명이 속한 기술 분야에서 알려졌다. 방향 맵을 생성하는 방법은 이하에서 설명될 것이다.
일반적으로, 실시 예에 따른 다운 샘플링을 위해, 도 3의 좌측에서의 노나 어레이에서 도시된 바와 같이, 규칙은 대체 어레이 행(row)들을 위해 스퀘어(square) 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 2개의 대각선으로 마주보는 코너들을 유지하는 것이다.
다운 샘플링 후, 저해상도 그린 픽셀들이 남아있다. 일 실시 예에 따르면, 단계(203)에서, 업 샘플링된 그린 맵을 생성하기 위해 업 샘플링이 수행된다. 업 샘플링을 수행하기 위해, 픽셀 방향 맵 또는 에지 맵과 같은, 가이드로서 고해상도에서 희석된(diluted) 데이터가 사용된다. 업 샘플링은 레드 및 블루 픽셀들뿐만 아니라, 다운 샘플링 동안 제거된 그린 픽셀들에 대해서도 수행된다. 단계(204)에서, 업 샘플링된 그린 맵은 풀 컬러 이미지를 생성하기 위해 리모자이싱 된다.
일 실시 예에 따르면, 패턴에 기초하여, 단순한 쌍-선형 보간(simple bi-linear interpolation)이 컬러 픽셀들에 대한 가장 가까운 이웃들에 사용될 수 있다. 에지 크기가 A인 스퀘어 형상의 코너들에서 4개의 기준(reference) 픽셀들(g1, g2, g3, g4)을 갖고, 여기서 A는 2개의 인접한 보간된 픽셀들 사이의 거리이고, g1로부터 거리가 (dx, dy)인 픽셀(p)에 대해서, 쌍 선형 보간 수식(1)은 다음과 같다.
Figure pat00080
수식(1)의 업 샘플링 보간 공식은 컬러 어레이의 크기와 관계 없이 동일하다.
일 실시 예에 따르면, 단위 크기의 픽셀을 가정하면, n = 3인 경우 노나 패턴에 대해서 A =
Figure pat00081
픽셀들 이다. 도 4는 4개의 가장 가까운 그린 픽셀들로부터 레드 픽셀들을 보간하는 예시들을 도시하고, 그리고 스퀘어 변 길이인, 2개의 인접한 보간된 픽셀들 사이의 거리인, A를 도시한다.
일 실시 예에 따르면, 업 샘플링에 사용되는 압축된 가이드는 3 비트 방향 맵이고, 3 비트 방향 맵은 각 픽셀에 대해 6개의 옵션들 중 하나를 가리키고, 6개의 옵션들은: 수평(horizontal) 방향, 수직(vertical) 방향, 백슬래시(backslash) 방향, 슬래시(slash) 방향, 플랫(flat) 영역, 및 알 수 없음 표시(unknown indication)이다. 도 5는 본 개시의 실시 예에 따른, 방향 맵을 생성하는 방법의 순서도이다. 방향 맵을 생성하는 첫 단계(501)는 이미지를 레드, 그린, 및 블루 클러스터들로 분할한 다음, 각 클러스터에서 개별적으로 작업하는 것이다.
일 실시 예에 따르면, 다음 단계(502)는, 각 클러스터 내에서, 최대-최소 측정(Max-Min measurement)을 사용하여, 그리고 그것을 임계 값과 비교하여 각 픽셀들의 영역이 플랫인지 결정하는 것이다. 이것은 패치에서 각 컬러에 대한 최대 및 최소에 대한 픽셀들의 패치를 검색하고, 그리고 컬러에 대한 최대-최소 값을 계산함으로써 성취될 수 있다. 더 나은 통계를 얻기 위해, 검색될 패치의 크기는 픽셀 어레이 패턴의 클러스터 크기보다 커야 하고, 따라서 패치는 다른 컬러들의 클러스터들과 겹칠 것이다. 이 후, “최대-최소(max-min)” 값은 평탄도(flatness) 임계 값과 비교된다. 3개의 최대-최소 값들이 이러한 임계 값보다 작으면, 패치의 중심(center)에 있는 픽셀은 플랫으로 결정된다. 이러한 계산은 컬러 클러스터 내에서 각 픽셀에 대해 수행되고, 따라서 주어진 클러스터는 플랫 및 넌-플랫(non-flat) 픽셀들을 포함할 수 있다.
다음으로, 넌-플랫 픽셀들에 대해, 픽셀의 방향이 계산된다. 단계(503)에서, 방향은 4개의 더블-사이드 방향(DSD; double-sided direction)들에서 픽셀 쌍들 사이의 차이를 계산함으로써 결정되고, 4개의 더블-사이드 방향들은: 수평(H); 수직(V); 수평으로부터 반-시계 방향(counter-clockwise)으로 45° 회전된 대각선 방향인, 슬래시(S); 및 수평으로부터 반-시계 방향으로 135° 회전된 대각선 방향인, 백슬래시(B)이고, 이러한 차이들이 가장 작은 방향이 찾아 진다.
계산은 패치에서 동일한 컬러를 갖는 인접한 픽셀들의 모든 쌍에 대해 수행되고, 총합 4개의 합계들에 대해, 단계(504)에서 동일한 방향에 대한 이러한 차이들이 합산된다. 단계(505)에서, 가장 낮은 차이 합을 갖는 합계의 방향이 선택된 방향이다.
도 6은 수평, 수직, 슬래시, 및 백슬래시(또는 블래시(blash)) 방향들에 대한 간단한 베이어 패턴 케이스에서의 픽셀 커플들에 대한 일부 예시들을 도시한다. 제2 단계는, 자동 초점 픽셀(auto focus pixel)들 또는 매우 노이즈가 많은 픽셀들과 같은, 클러스터에 “배드(bad)” 픽셀들이 있는 경우에만 사용된다.
좋은 방향을 찾을 수 없으면, 이는 메인(main) 방향의 차이가 다른 방향들보다 크거나 또는 상당히 작지 않다는 것을 의미함, 픽셀의 방향은 “알 수 없음(unknown)”으로 표시될 것이고, 이는 픽셀에 대한 방향을 찾을 수 없다는 것을 의미한다.
도 7은 본 개시의 실시 예에 따른, 그린 픽셀들의 보간된 업 샘플링을 가이드하기 위한 방향들을 사용하는 방법의 순서도이다. 단계(701)에서, 플랫이거나 또는 알 수 없음 방향을 갖는 픽셀들에 대해, 수식(1)의 쌍 선형 보간 공식이 사용될 수 있다. 수식(1)은 다음과 같다.
Figure pat00082
여기서,
Figure pat00083
는 업 샘플링된 클러스터에서 픽셀 값을 나타내고, 그리고 g1, g2, g3, 및 g4는 다운 샘플링된 그린 픽셀들이다.
일 실시 예에 따르면, 픽셀이 수평(H)/수직(V)/슬래시(S)/백슬래시(B) 방향을 가질 때 다른 보간이 사용된다. 일 실시 예에 따르면, 2개의 케이스들(a, b)이 있다.
제1 케이스(a). 방향(수평(H)/수직(V)/슬래시(S)/백슬래시(B))에서 동일 선상(collinear)으로 다운 샘플링된 그린 픽셀들이 있다:
이 경우, 단계(702)에서, 선형 보간이 방향에서 2개의 가장 가까운 픽셀들에 사용된다.
Figure pat00084
여기서, [g1, g2]는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, 그리고 [d1, d2]는 추정된 픽셀로부터 동일 선상에 있는 다운 샘플링된 그린 픽셀들로의 거리들이다.
후술되는 것은 도 8에서 도시된 일부 예시들이다:
● 방향이 “수직(V)”이고, 픽셀이 [p1, p4, p7] 또는 [p3, p6, p9] 중 하나이면, [g1, g9] 또는 [g4, g12]를 각각 사용;
● 방향이 “슬래시(S)”이고, 픽셀이 [p2, p4] 또는 [p6, p8] 중 하나이면, [g4, g11] 또는 [g2, g9]을 각각 사용;
● “수평(H)” 및 “블래시(B)” 방향들은 유사하게 계산된다.
제2 케이스(b). 방향에서 동일 선상(collinear)으로 다운 샘플링된 그린 픽셀들이 없다.
이 경우, 제1 케이스(a)와 합치(agree)하는 2개의 가장 가까운 픽셀들을 계산하기 위해 2개의 선형 보간이 사용되고, 그리고 2개의 결과들을 평균화한다.
후술되는 것은 도 8에서 도시된 일부 예시들이다.
● 방향이 “수직(V)”이고, 픽셀이 p2 또는 p5 또는 p8 중 하나이면, [p1, p3] 또는 [p4, p6] 또는 [p7, p9]를 각각 계산하고, 그리고 2개의 결과들을 평균화한다. 여기서, 단계(703)에서,
Figure pat00085
,
Figure pat00086
,
Figure pat00087
여기서, p1 및 p2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00088
)에 가장 가까운 2개의 픽셀들이고, g1, g2는 p1에 가장 가까운 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, [d1, d2]는 각각 픽셀(p1)로부터 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 p2에 가장 가까운 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, [d3, d4]는 각각 픽셀(p2)로부터 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들이다.
● 방향이 “슬래시(S)”이고, 픽셀이 p1, p3, p5, p7, 또는 p9 중 하나이면, 슬래시 방향에 수직인 선(line) 상에 있는 픽셀의 2개의 대각선으로 마주보는 코너 포인트(diagonally opposite corner point)들을 사용하여 “슬래시(S)” 방향으로 선형 보간을 수행하고, 그리고 계산된 픽셀은 이러한 2개의 포인트들의 평균이다. 여기서, 단계(704)에서,
Figure pat00089
,
Figure pat00090
,
Figure pat00091
,
여기서, c1 및 c2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
Figure pat00092
)에 가장 가까운 2개의 코너 포인트들이고, g1, g2는 c1에 가장 가까운 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, [d1, d2]는 각각 포인트(c1)로부터 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 c2에 가장 가까운 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, [d3, d4]는 각각 포인트(c2)로부터 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들이다.
● “수평(H)” 및 “블래시(B)” 방향들은 유사하게 계산된다.
일 실시 예에 따르면, 이미지에서 2개의 대각선으로 마주보는 코너 포인트들을 사용하여 “슬래시(S)” 방향으로 선형 보간을 수행하기 위해, 첫 번째 단계는 추정된 픽셀의 각 코너 포인트에 동일 선상에 있는 가장 가까운 다운 샘플링된 그린 픽셀들을 찾는 것이고, 각 코너 포인트 하나는 음(negative)의 슬래시(또는 음의 블래시) 방향이고, 다른 하나는 양(positive)의 슬래시(또는 양의 블래시) 방향이다. 도 8에서의 픽셀(p1)에 대해, 상단 좌측 코너의 경우, 가장 가까운 다운 샘플링된 그린 픽셀들 중 하나는 g5이지만, 다른 하나는 도면에 도시된 클러스터 위에 있는 픽셀임에 유의해야 한다. p1의 하단 우측 코너의 경우, 가장 가까운 다운 샘플링된 그린 픽셀들은 g11 및 g4이다. 각 코너에 대한 픽셀 값은 가장 가까운 동일 선상에 있는 다운 샘플링된 그린 픽셀들의 선형 보간이다. 이 후, 추정된 픽셀은 2개의 코너 포인트들을 선형 보간하여 결정된다.
일 실시 예에 따르면, 업 샘플링에 사용되는 또 다른 가이드는 에지 맵이다. 에지 맵의 경우, 첫 번째 단계는, 도 9에 도시된 바와 같이, 추정된 픽셀 사이에서 4개의 다운 샘플링된 그린 픽셀들로 가상의 직선들을 그리는(draw) 것이다. 선들 중 하나가 에지 픽셀을 가로지르면(across), 즉, 넌-에지 픽셀로부터 에지 픽셀로 이동하거나 또는 그 반대로 이동하면, 이러한 픽셀은 보간에 사용되지 않는다.
일 실시 예에 따르면, 보간을 수행하기 위해, 관련된 쌍 선형 가중치들이 다음과 같이 계산된다.
Figure pat00093
Figure pat00094
임에 유의해야 한다.
만약, 픽셀(gk)이 보간으로부터 제거되면, 다음과 같이 계산된다.
Figure pat00095
계산에서 픽셀이 하나만 있는 경우, 예를 들어, gj, 보간은 매우 간단하다:
Figure pat00096
= gj. 4개의 픽셀들이 모두 제거된 특별한 케이스에서, 이러한 경우는 드물음, 가장 가까운 다운 샘플링된 픽셀이 사용될 것이다:
Figure pat00097
.
일 실시 예에 따르면, 압축된 데이터로 가이드된 다운-업 샘플링 프로세스의 효과는 가장 많이 처리되는 데이터 크기가 감소하는 것이고, 따라서 전력을 덜 소모하고 그리고 하드웨어 구현들에서 게이트 카운트(gate count)를 감소시키고 소프트웨어 구현들에서 런타임을 감소시킨다. 전력 소모는 단순한 다운 및 업 샘플링 방식들에 비해서 상대적으로 적은 해상도 손실로 최대 50%까지 감소될 수 있다.
도 10 내지 도 15는, “새로운(new)”으로 마크된, 왼쪽의 실시 예에 따른 압축된 데이터로 가이드된 다운-업 샘플링 프로세스에 의해 생성된 이미지 및 “참조(reference)”로 마크된, 오른쪽의 고해상도 보간에 의해 생성된 이미지 사이의 비교들을 보여준다. 비록 데이터가 저해상도 입력으로부터 처리되더라도 고해상도 세부 사항들이 새로운 이미지들에서 보존된다. 일부 경우들에서, 도 13에 도시된 바와 같이, 실시 예에 따른 압축된 데이터로 가이드된 다운-업 샘플링 프로세스는 노이즈 감소로 인해 해상도를 향상시킨다.
본 개시의 실시 예들은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들, 또는 이들의 조합의 다양한 형태들로 구현될 수 있음이 이해될 것이다. 일부 실시 예들에서, 본 개시는 주문형 반도체(ASIC; application-specific integrated circuit), 또는 필드 프로그래머블 게이트 어레이(FPGA; field programmable gate array)와 같은 하드웨어로 구현될 수 있다. 다른 실시 예들에서, 본 개시는 컴퓨터 판독 가능 프로그램 스토리지 장치에서 구현되는 유형의 애플리케이션 프로그램과 같은 소프트웨어로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로드 될 수 있고, 그리고 이러한 기계에 의해 실행될 수 있다.
도 16은 본 개시의 실시 예에 따른 CMOS 이미지 센서 압축된 가이드 다운-업 샘플링을 위한 방법을 구현하는 시스템의 블록도이다. 이제 도 16을 참조하면, 본 발명을 구현하는 컴퓨터 시스템(161)은, 그 중에서도, 프로세서(예를 들어, CPU)(162), 메모리(163), 및 입출력(I/O; input/output) 인터페이스(164)를 포함할 수 있다. 컴퓨터 시스템(161)은 일반적으로 I/O 인터페이스(164)를 통해서 디스플레이(165) 그리고 마우스 및 키보드와 같은 다양한 입력 장치들(166)과 연결된다. 지원 회로들(예를 들어, 컴퓨터 시스템(161)을 지원하는 신호 소스(168))은 캐시(cache), 전원 공급 장치들(power supplies), 클럭 회로들, 및 통신 버스와 같은 회로들을 포함할 수 있다. 프로세서(162)는 그래픽 처리 장치(GPU; graphics processing unit) 또는 전용 하드웨어(HW)일 수 있다. 메모리(163)는 랜덤 액세스 메모리(RAM; random access memory), 읽기 전용 메모리(ROM; read only memory), 디스크 드라이브, 테이프 드라이브, 등 또는 이들의 조합들을 포함할 수 있다. 본 개시는 메모리(163) 내에 저장되고 프로세서(162)에 의해 실행되는 루틴(routine)(167)으로서 구현될 수 있다. 이와 같이, 컴퓨터 시스템(161)은 본 개시의 루틴(167)을 실행할 때 특정 목적의 컴퓨터 시스템이 되는 범용 컴퓨터 시스템이다. 대안적으로, 상술된 바와 같이, 본 개시의 실시 예들은 프로세서(162)와 신호 통신하는 ASIC 또는 FPGA(167)로 구현될 수 있다.
컴퓨터 시스템(161)은 또한 운영 체제 및 마이크로 명령어 코드를 포함한다. 본 명세서에서 설명된 다양한 프로세서들 및 기능들은 운영 체제를 통해 실행되는 애플리케이션 프로그램의 일부(또는 이들의 조합) 또는 마이크로 명령어 코드의 일부일 수 있다. 또한, 다양한 다른 주변 장치들은 추가 데이터 스토리지 장치 및 인쇄 장치와 같은 컴퓨터 플랫폼과 연결될 수 있다.
첨부된 도면들에서 묘사된 성분(constituent) 컴퓨터 구성 요소들 및 방법 단계들의 일부는 소프트웨어로 구현될 수 있으므로, 시스템 구성 요소들(또는 프로세스 단계들) 사이의 실제 연결들은 본 개시가 프로그래밍되는 방식에 따라 달라질 수 있음이 더 이해될 것이다. 본 명세서에서 제공된 본 개시의 교시들을 고려하면, 본 발명이 속한 기술 분야에서의 통상의 기술자는 본 발명의 이러한 그리고 유사한 구현들 또는 구성 요소들을 숙고할 수 있을 것이다.
본 발명은 예시적인 실시 예들을 참조하여 상세하게 설명되었지만, 본 발명이 속한 기술 분야에서의 통상의 기술자는 후술되는 청구 범위에서 명시된 본 발명의 범위 및 기술적 사상을 벗어나지 않으면서 다양한 수정들 몇 대체들이 그 안에서 이루어질 수 있음을 이해할 것이다.

Claims (10)

  1. 이미지 센서 데이터의 다운-업 샘플링 방법에 있어서:
    상기 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 상기 다운 샘플링의 데시메이션 인자(decimation factor)는 상기 슈퍼 베이어 패턴에서 컬러 클러스터의 크기에 대응하고, 상기 다운 샘플링 후 넌-그린(non-green) 픽셀 클러스터에 가장 가까운 2개의 그린 픽셀들은 각 그린 클러스터에 남아있고, 그리고 각 넌-그린 픽셀 클러스터는 4개의 다운 샘플링된 그린 픽셀들에 의해 경계가 정해짐; 및
    상기 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 상기 넌-그린 픽셀 클러스터에 가장 가까운 상기 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계를 포함하고, 여기서 상기 넌-그린 컬러 픽셀들의 상기 업 샘플링은 상기 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)되는 방법.
  2. 제 1 항에 있어서,
    n x n 컬러 픽셀 어레이에 대한 상기 데시메이션 인자는 n2이고, 그리고
    상기 그린 픽셀들을 다운 샘플링하는 단계는 대체 픽셀 어레이 행들을 위해 상기 n x n 컬러 픽셀 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 상기 2개의 대각선으로 마주보는 코너들을 유지하는 것을 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 압축된 어레이는 픽셀 방향 맵 또는 에지 맵 중 하나이고, 상기 픽셀 방향 맵은 각 픽셀에 대한 6개의 방향들 중 하나를 지정(specify)하고, 상기 6개의 방향들은 수평(horizontal), 수직(vertical), 슬래시(slash), 백슬래시(backslash), 플랫(flat), 및 알 수 없음(unknown)인 방법.
  4. 제 3 항에 있어서,
    상기 픽셀 방향 맵은 상기 이미지 센서 데이터를 레드 클러스터, 그린 클러스터, 및 블루 클러스터로 분할함으로써 결정되고,
    상기 방법은:
    각 클러스터 내에서, 각 픽셀에 대한 최대-최소 측정을 사용하여 상기 각 픽셀이 플랫인지 결정하고 그리고 상기 최대-최소 측정을 임계 값과 비교하는 것, 여기서 픽셀에 대한 상기 최대-최소 측정이 상기 임계 값보다 작으면 상기 픽셀은 플랫으로 결정됨, 그리고
    상기 픽셀이 넌-플랫으로 결정되면, 상기 픽셀에 대한 방향을 결정하는 것을 더 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 각 픽셀이 플랫인지 결정하는 것은:
    각 픽셀에 대한 픽셀들의 픽셀 패치(patch)를 연관시키는 것, 여기서 상기 픽셀 패치는 컬러 픽셀 어레이의 크기보다 큼;
    상기 픽셀 패치 내에서 픽셀들의 각 컬러 그룹에 대한 상기 최대-최소 측정을 계산하는 것; 그리고
    상기 최대-최소 측정의 3개의 값들이 모두 상기 임계 값보다 낮으면 상기 픽셀 패치의 중심(center)에 있는 픽셀을 플랫으로 결정하는 것을 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 픽셀에 대한 방향을 결정하는 것은:
    상기 수평, 상기 수직, 상기 슬래시, 및 상기 백슬래시에 대한 상기 픽셀 패치에서의 동일한 컬러를 갖는 인접한 픽셀들의 모든 쌍 사이의 차이들을 계산하는 것,
    동일한 방향으로의 상기 차이들을 합산하는 것; 그리고
    상기 픽셀 패치의 중심에 있는 상기 픽셀에 대한 방향으로 상기 차이들의 가장 낮은 합을 갖는 합계를 선택하는 것을 포함하고,
    여기서 픽셀 방향의 차이가 미리 결정된 간격 내에서 다른 방향들의 차이들보다 작지 않으면, 상기 픽셀의 방향은 알 수 없음으로 표시되는 방법.
  7. 제 3 항에 있어서,
    상기 픽셀 방향 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는:
    Figure pat00098
    에 따라서,
    상기 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 업 샘플링되는 클러스터에서 플랫 또는 알 수 없음 방향 픽셀(
    Figure pat00099
    )을 보간하는 것,
    여기서 A는 업 샘플링된 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
    Figure pat00100
    )의 거리들임;
    상기 다운 샘플링된 그린 픽셀들(g1, g2)이 픽셀(
    Figure pat00101
    )과 동일 선상에 있으면,
    Figure pat00102
    에 따라서,
    업 샘플링된 상기 클러스터에서 수평, 수직, 슬래시, 또는 백슬래시 방향 픽셀(
    Figure pat00103
    )을 보간하는 것,
    여기서 d1, d2는 각각 픽셀(
    Figure pat00104
    )로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들임;
    픽셀(
    Figure pat00105
    )과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
    Figure pat00106
    ,
    Figure pat00107
    ,
    Figure pat00108
    에 따라서,
    업 샘플링된 상기 클러스터에서 수평 또는 수직 방향 픽셀(
    Figure pat00109
    )을 보간하는 것,
    여기서 p1 및 p2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
    Figure pat00110
    )에 가장 가까운 2개의 픽셀들이고, g1, g2는 p1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 픽셀(p1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 p2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 픽셀(p2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들임; 그리고
    픽셀(
    Figure pat00111
    )과 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 없으면,
    Figure pat00112
    ,
    Figure pat00113
    ,
    Figure pat00114
    에 따라서,
    업 샘플링된 상기 클러스터에서 슬래시 또는 백슬래시 방향 픽셀(
    Figure pat00115
    )을 보간하는 것을 포함하고,
    여기서 c1 및 c2는 동일 선상에 있는 다운 샘플링된 그린 픽셀들이 있는 픽셀(
    Figure pat00116
    )에 가장 가까운 2개의 코너 포인트들이고, g1, g2는 c1에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d1, d2는 각각 포인트(c1)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g1, g2)로의 거리들이고, g3, g4는 c2에 가장 가까운 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들이고, d3, d4는 각각 포인트(c2)로부터 상기 동일 선상에 있는 다운 샘플링된 그린 픽셀들(g3, g4)로의 거리들인 방법.
  8. 제 3 항에 있어서,
    상기 에지 맵을 사용하여 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계는:
    업 샘플링될 픽셀(
    Figure pat00117
    )로부터 상기 4개의 다운 샘플링된 그린 픽셀들 각각으로 가상의 직선들을 그리고(drawing), 픽셀(
    Figure pat00118
    )로부터 다운 샘플링된 그린 픽셀(gk)로의 가상의 직선들이 에지 픽셀과 교차하면 상기 다운 샘플링된 그린 픽셀(gk)을 제거하는 것; 그리고
    Figure pat00119
    에 따라서,
    상기 4개의 다운 샘플링된 그린 픽셀들(g1, g2, g3, g4)로부터 상기 픽셀(
    Figure pat00120
    )을 보간하는 것을 포함하고,
    여기서,
    Figure pat00121
    ,
    Figure pat00122
    ,
    Figure pat00123
    , 그리고
    Figure pat00124
    이고,
    여기서 A는 업 샘플링될 상기 클러스터의 에지 길이이고 그리고 dx, dy는 그린 픽셀(g1)로부터의 픽셀(
    Figure pat00125
    )의 거리들이고, 상기 4개의 다운 샘플링된 그린 픽셀들이 모두 제거되면 가장 가까운 다운 샘플링된 픽셀로부터 상기 픽셀(
    Figure pat00126
    )을 보간한 것은
    Figure pat00127
    인 방법.
  9. 컴퓨터로 판독 가능한 컴퓨터 판독 가능 프로그램 스토리지 장치에 있어서, 상기 컴퓨터 판독 가능 프로그램 스토리지 장치는 상기 컴퓨터에 의해 실행되는 명령어들의 프로그램을 명백하게(tangibly) 구현하여 이미지 센서 데이터의 다운-업 샘플링을 위한 방법을 수행하고, 상기 방법은:
    상기 이미지 센서 데이터의 슈퍼 베이어 패턴(super Bayer pattern)에서 그린 픽셀들을 다운 샘플링하는 단계, 여기서 n x n 컬러 픽셀 어레이(array)에 대한 데시메이션 인자(decimation factor)는 n2이고, 그리고 상기 그린 픽셀들을 상기 다운 샘플링하는 단계는 대체(alternate) 픽셀 어레이 행들을 위해 상기 n x n 컬러 픽셀 어레이의 2개의 대각선으로 마주보는 코너(diagonally opposite corner)들을 뒤집으면서(flipping) 상기 2개의 대각선으로 마주보는 코너들에 픽셀들을 유지하는 단계를 포함함; 및
    넌-그린 픽셀 클러스터에 가장 가까운 남아있는 그린 픽셀들에 관한 각 넌-그린(non-green) 픽셀의 쌍 선형 보간(bilinear interpolation)에 의해 상기 가장 가까운 남아있는 그린 픽셀들로부터 상기 넌-그린 픽셀 클러스터 내에서 넌-그린 컬러 픽셀들을 업 샘플링하는 단계를 포함하고, 여기서 상기 넌-그린 컬러 픽셀들의 상기 업 샘플링은 상기 이미지 센서 데이터에 대응하는 압축된 어레이(array)에 의해 가이드(guide)되는, 컴퓨터 판독 가능 프로그램 스토리지 장치.
  10. 제 9 항에 있어서,
    상기 다운 샘플링의 상기 데시메이션 인자는 상기 슈퍼 베이어 패턴에서 컬러 클러스터의 크기에 대응하고, 다운 샘플링 후 넌-그린 픽셀 클러스터에 가장 가까운 2개의 그린 픽셀들은 각 그린 클러스터에 남아있고, 그리고 각 넌-그린 픽셀 클러스터는 4개의 다운 샘플링된 그린 픽셀들에 의해 경계가 정해지는, 컴퓨터 판독 가능 프로그램 스토리지 장치.
KR1020200169465A 2020-05-29 2020-12-07 압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링 KR20210148822A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/888,291 US11399160B2 (en) 2020-05-29 2020-05-29 Image sensor down-up sampling using a compressed guide
US16/888,291 2020-05-29

Publications (1)

Publication Number Publication Date
KR20210148822A true KR20210148822A (ko) 2021-12-08

Family

ID=78704451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169465A KR20210148822A (ko) 2020-05-29 2020-12-07 압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링

Country Status (2)

Country Link
US (1) US11399160B2 (ko)
KR (1) KR20210148822A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
US11350048B1 (en) 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
US11869169B2 (en) * 2021-08-10 2024-01-09 Samsung Electronics Co., Ltd. Adaptive sub-pixel spatial temporal interpolation for color filter array

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131067B2 (en) * 2008-09-11 2012-03-06 Seiko Epson Corporation Image processing apparatus, image processing method, and computer-readable media for attaining image processing
US9443292B2 (en) * 2013-06-26 2016-09-13 Apple Inc. Blind defringing for color images
CN104036700B (zh) * 2014-05-30 2016-02-03 京东方科技集团股份有限公司 显示面板、显示方法和显示装置
US9582853B1 (en) * 2015-08-03 2017-02-28 Intel Corporation Method and system of demosaicing bayer-type image data for image processing

Also Published As

Publication number Publication date
US11399160B2 (en) 2022-07-26
US20210377497A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
KR20210148822A (ko) 압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링
US7283164B2 (en) Method for detecting and correcting defective pixels in a digital image sensor
US8253832B2 (en) Interpolation for four-channel color filter array
US8125546B2 (en) Color filter array pattern having four-channels
US8228396B2 (en) Image processing apparatus, image capturing apparatus, and image distortion correction method
CN100366045C (zh) 一种实现缩放的图像转换方法
US8040558B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
KR20110023757A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
WO2022061879A1 (zh) 图像处理方法、装置和系统，计算机可读存储介质
TWI547169B (zh) 影像處理方法與模組
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN111539892A (zh) Bayer图像的处理方法、系统、电子设备和存储介质
US11854157B2 (en) Edge-aware upscaling for improved screen content quality
US20220254050A1 (en) Noise reduction circuit for dual-mode image fusion architecture
KR20150050347A (ko) 초-해상도 이미지 프로세싱을 수행하는 이미징 디바이스 및 컴퓨터 그리고 그 수행 방법
US20240169481A1 (en) Demosaicing circuit for demosaicing quad bayer raw image data
WO2008029625A1 (fr) Dispositif de traitement d'image, procÉDÉ de traitement d'image, et programme
CN101639932B (zh) 一种数字图像分辨率增强的方法及系统
US6847396B1 (en) Interpolation method for producing full color images in using a single-chip color sensor
US8213710B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in non-fully populated shift invariant matrix
EP3882847B1 (en) Content based anti-aliasing for image downscale
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
JP4868249B2 (ja) 映像信号処理装置
US20140355872A1 (en) Method for determining interpolating direction for color demosaicking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal