KR100569747B1 - 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체 - Google Patents

비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체 Download PDF

Info

Publication number
KR100569747B1
KR100569747B1 KR1020017003984A KR20017003984A KR100569747B1 KR 100569747 B1 KR100569747 B1 KR 100569747B1 KR 1020017003984 A KR1020017003984 A KR 1020017003984A KR 20017003984 A KR20017003984 A KR 20017003984A KR 100569747 B1 KR100569747 B1 KR 100569747B1
Authority
KR
South Korea
Prior art keywords
image
color
pixel
scaling
super
Prior art date
Application number
KR1020017003984A
Other languages
English (en)
Other versions
KR20010075439A (ko
Inventor
아챠리야틴쿠
메츠워너
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20010075439A publication Critical patent/KR20010075439A/ko
Application granted granted Critical
Publication of KR100569747B1 publication Critical patent/KR100569747B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Abstract

CFA(Color Filter Array)(도2)에서의 시작 위치(510)를 지시함으로써 스케일링 영역을 정의하고, 상기 스케일링 영역(515)의 다운스케일링된 버전인 수퍼-픽셀을 생성하는 방법이 기재되는데, 여기서, 상기 수퍼-픽셀은 완전히 컬러 보간되고, 상기 다운스케일링 및 상기 컬러 보간은 통합된 방식으로 이루어진다.
디지털 카메라, 이미지 처리, 프로세서, 스케일링, 컬러 보간

Description

비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체{A NEW SCALING ALGORITHM FOR EFFICIENT COLOR REPRESENTATION/RECOVERY IN VIDEO}
본 발명은 일반적으로 이미지 처리에 관한 것으로, 특히 이미지 스케일링(scaling) 및 컬러 보간(interpolation)/복구(recovery)에 관한 것이다.
장면/환경의 디지털 이미지는 그것이 포함하고 있는 픽셀의 로우(row) 및 칼럼(column)의 수로 정의되는 특정 크기를 가진다. 이에 따라, 이미지 크기 또는 "해상도(resolution)"는 칼럼의 수를 로우의 수에 곱한 것으로 표현된다. 예를 들어, 768 x 576 의 해상도를 갖는 이미지는 전체 442,368개의 픽셀에 대해 768개의 칼럼 및 576개의 로우를 가진다.
종종, 카메라와 같은 이미징 장치에 의해 포착된 것과 같은, 또는 이후에 표현되는 것과 같은 이미지의 원래의 크기는 특정 애플리케이션에 대해 매우 크다. 보다 큰 해상도의 이미지는 보다 많은 이미지 정보(영역당 보다 많은 픽셀)를 포함하여 낮은 해상도의 이미지보다는 보다 바람직한 시각적 품질이 될 수 있지만, 대역폭, 이미지 및 다른 제약들이 낮은 해상도의 이미지를 사용하도록 하게된다. 디 지털 카메라와 같은 장치에 대해서는, 보다 작은 해상도의 이미지를 사용함으로써, 전체 비용을 감소시키는 것이 바람직하고, 이에 따라 그 장치에 필요한 저장 소자가 또한 보다 작아질 수 있다. 예를 들어, 화상 회의 환경에서는, QCIF(Quarter Common Intermediate Format)와 같은 소정의 표준화된 이미지 포맷이 정의되어, 수신 및 송신 노드는 불일치된 이미지 크기를 변환하는데 관여할 필요가 없다. 화상 회의에서는, 종종 일정한 "프레임(frame)" 속도(개별적인 이미지 프레임이 수신 및/또는 출력에 대해 렌더링되는 속도)를 유지하는 것이 바람직할 수 있다. 이 프레임 속도를 유지하기 위해, 대부분의 포착된 디지털 이미지 크기, 특히 디지털 카메라로부터 포착된 디지털 이미지 크기보다 통상적으로 작은 QCIF와 같은 포맷이 정의되어 있다. 이미지가 원래 특정 애플리케이션에 의해 요구된 것과 동일한 해상도가 아닐 수 있기 때문에, 이미지 스케일링과 같은 주지된 프로세스가 적용된다. 이미지가 스케일 "업(up)"되면 그 크기가 증가하고, 스케일 "다운(down)"되면 그 크기가 감소한다. 여기서 이후에 "스케일링" 또는 "스케일링된 이미지"라고 언급하면, 다운 스케일링 또는 이미지 크기에서의 감소를 의도하는 의미로 이 용어를 사용한다.
이미지의 스케일링은, 이미지의 일부를 잘라냄으로써 해상도를 감소시키는 이미지 크로핑(cropping)과는 구별되어야 한다. 스케일링은, 이미지의 크기는 감소되지만, 스케일링 되지 않은 이미지(이후, "원래의(original)" 또는 "스케일링되지 않은(unscaled)"과 같이 다양하게 언급됨)에서의 전체 장면/환경은 거의 대부분 유지된다. 원래의 이미지로부터의 장면은 완전히 남아있지만, 스케일링 후에는 보다 낮은 해상도로 표현된다.
이미지 스케일링은 이 기술 분야에서 몇몇 방식으로 수행되고 있다. 대부분의 일반적인 스케일링 기법은 특정 이미지 영역에서 동일한 가중치(weighting)로 픽셀을 평균화하고 나서, 그 영역에서의 전체 픽셀을 "10분의 1제거(또는 데시메이팅(decimate)" 또는 버림으로써, 스케일링된 이미지에서의 픽셀을 생성하게 된다. 평균화된 픽셀은 픽셀의 전체 영역을 교체하는데, 이때 교체된 영역은 평균화된 영역과 같은 크기일 필요는 없다. 예를 들어, 원래 이미지에서 픽셀의 각 2x2 영역이 스케일링된 이미지에서 단일 픽셀로 교체되는 2:1 스케일링 절차를 생각하자. 스케일링된 이미지 픽셀의 값을 결정할 때, 3x3 이웃과 같은, 교체된 2x2 영역보다 큰 영역을 함께 평균화하는 것이 바람직할 수 있다. 이러한 예에서, "샘플링" 영역(3x3)은 "스케일링" 영역(2x2) 보다 크게 되고, 보다 많은 이미지가 고려되도록 확인할 때에 유용하게 되어, 그 스케일링 영역에서 시작하고 이전 스케일링 영역 위로 번지는 형태가 적당한 고려로 제공되어 진다. 그러나, 샘플링 영역 내의 각 픽셀이 동등한 가중으로 제공되는 평균화 방법은 몇몇 관점에서 부적당하다. 본래, 픽셀의 동등한 평균화는 보다 많은 원 이미지 정보를 잃는 효과가 있다. 동등한 가중 평균화는, 이미지 영역의 모든 부분을 동일하게 취급하여 모든 픽셀을 10분의 1 제거하기 때문에, 이미지 형태를 잘 식별할 수 없게 된다.
이미지 스케일링에 추가로, 이하에서 설명된 바와 같이 이미지 센서에 의해 생성된 픽셀 위치에서 잃어버린(missing) 컬러를 복구하기 위해, 통상적으로 독립적인 다른, 컬러 보간이라 부르는 이미징 처리 기법이 적용된다. 디지털 스틸 및 비디오 카메라, 및 다른 이미징 장치에서, 미처리 이미지(raw image)는, 각각이 오직 특정 컬러의 세기값을 갖는 픽셀의 직교하는 로우 및 칼럼으로 먼저 표현된다. RGB(Red, Green, Blue) 서브-샘플링 이미징 장치의 경우, 이미지는 "베이어(Bayer)" 패턴으로 획득 및 저장된다. 3가지 컬러 평면이 컬러 필터 어레이(CFA)를 이용하여 서브-샘플링될 때, 베이어 패턴은 이미지의 하나의 로우에 대해 포함되고, 적색(Red) 및 녹색(Green) 픽셀을 택일하여, 다음의 로우에 대해 청색(Blue) 및 녹색(Green) 픽셀을 택일하게 된다. 예를 들어, 픽셀의 첫번째 4개의 로우(각 픽셀은 통상적으로 8-비트 값을 가짐)에 대한 베이어 패턴은 다음과 같을 수 있다(이후에 동일한 패턴을 반복하는 로우를 가짐).
G R G R G R ...
B G B G B G ...
G R G R G R ...
B G B G B G ...
.
.
.
결과적으로, 각 픽셀 위치는 오직 하나의 컬러 성분에 대한 세기값을 포함한다. 일부 이미징 장치의 경우에 베이어 패턴의 각 픽셀이 8-비트 해상도(즉, 픽셀은 0-255로부터의 컬러 범위의 세기를 표현하는 값임)를 갖는다고 가정하면, 하나 가 모두 3가지 R, G, B 성분을 가지는 "완전한 컬러(full color)" 픽셀은 24-비트 값이 될 것이다. 컬러 보간은 각 픽셀의 컬러 보간을 위한 2개의 잃어버린 컬러 성분의 복구이다.
종종, 스케일링 및 컬러 보간은 독립적이고 개별적인 프로세스에 의해 수행된다. 스케일링이 컬러 보간 이전에 수행되는 경우, 컬러 컨텐트에 대한 원래의 센서 정보가 보간 프로세스에 주지되지 않아서 나쁜 품질의 이미지를 가져올 수 있다. 그러나, 스케일링 및 컬러 보간이 모두 최종 이미지에 대해 요구되는 것이 이전에 주지된 경우, 양쪽 모두를 수행하는 통합된 기법에 대한 필요성이 존재한다. 또한, 종래의 스케일링 및 컬러 보간 기술의 단점을 생각하면, 그 통합 기술은 허용가능한 이미지 품질을 산출하도록 설계되어야 한다.
더욱이, 구현예에 대하여, 스케일링이 CMOS 이미징 장치와 같은 하드웨어에서 구현되는 경우, 특히, 많은 다른 기능들이 장치에 의해 수행되어야 할 때, 스케일링 절차의 계산상의 복잡성을 감소시키는 것이 중요하다. 이미징 장치가 화상회의를 위해 이미지 프레임(개별적인 스틸 이미지의 시퀀스)을 전송하는데 사용되는 경우, 그 전송은 프레임 속도를 유지하도록 충분히 빨라야 하고, 포착된 이미지 프레임을 목적지 노드로 전송 및 패키징하는데 사용되는 처리 장치(컴퓨터 시스템)와 이미징 장치 사이의 인터페이스의 대역폭 능력과 호환가능 해야 한다. 모션 및 스틸 이미징 모두를 제공하는 이중-모드(dual-moded)인 장치에서, 교환 가능한 스케일링의 상이한 레벨을 쉽게 제공할 수 있는 방법 및 장치가 요구된다.
발명의 요약
CFA(Color Filter Array)에서의 시작 위치를 지시함으로써 스케일링 영역을 정의하고, 상기 스케일링 영역(515)의 다운스케일링된 버전인 수퍼-픽셀을 생성하는 방법이 기재되는데, 여기서, 상기 수퍼-픽셀은 완전히 컬러 보간되고, 상기 다운스케일링 및 상기 컬러 보간은 통합된 방식으로 이루어진다.
도1은 4:1 스케일링을 수행하기 위한 본 발명의 일실시예의 흐름도.
도2는 본 발명의 적어도 일실시예에 따라 스케일링된 원래의 CFA 영역을 도시한 도면.
도3a 내지 도3c는 예시적인 적색 서브-이미지 CFA 영역에 대해 마스크를 획득하기 위한 필터 애플리케이션의 단계를 도시한 도면.
도4a는 4:1 스케일링된 이미지 수퍼-픽셀에서의 적색 성분을 얻기 위해 적용된 예시적인 마스크를 도시한 도면.
도4b는 4:1 스케일링된 이미지 수퍼-픽셀에서의 청색 성분을 얻기 위해 적용된 예시적인 마스크를 도시한 도면.
도4c는 4:1 스케일링된 이미지 수퍼-픽셀에서의 녹색 성분을 얻기 위해 적용된 예시적인 마스크를 도시한 도면.
도5는 본 발명의 실시예에 따른 블록도.
도6은 본 발명의 일실시예의 시스템 블록도.
도면을 참조하여, 본 발명의 예시적 실시예가 이제 기재될 것이다. 예시적 실시예는 본 발명의 양태를 설명하기 위해 제공되며, 본 발명의 범위를 제한하도록 구성되지 않는다. 예시적 실시예는 블록도 또는 흐름도에 대해 먼저 기재된다. 흐름도에 대하여, 흐름도 내의 각 블록은 방법 단계, 및 그 방법 단계를 수행하기 위한 장치 요소들 모두를 나타낸다. 구현예에 따라, 대응하는 장치 요소들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구성될 수 있다.
도1은 4:1 스케일링을 수행하기 위한 본 발명의 일실시예의 흐름도이다.
도1에 기재된 기술은, 예를 들어 이미지 센서 또는 이미지 센서의 집합으로부터 유도되는 바와 같이, CFA(Color Filter Array) 형태로 이미지에 대해 특별하게 적용될 수 있다. 일반적인 CFA 패턴은 적색(R), 녹색(G), 청색(B)의 3가지 컬러 중의 하나에 관련된 어레이 내에 각 픽셀 위치를 갖는 베이어 패턴(도2에 도시되고 이하에서 기재됨)이다. 녹색(G)에 관련된 픽셀은 각각 적색 또는 청색 관련 픽셀에 대해 두배로 나타난다. 각 픽셀은 그 하나가 R, G, B의 3가지 컬러 성분을 모두 포함하는 "완전한(full)" 컬러 픽셀로 나타나는데 적합하도록 고려되는 3가지 컬러(R, G, B) 중의 오직 하나에 연관된다.
본 발명의 일실시예에 따르면, 먼저, CFA에서 초기 위치가 설정된다(단계110). 이 위치는 샘플링 영역 및 스케일링 영역에 대한 시작점을 결 정하게 된다. 예를 들면, 첫번째 4x4 스케일링 영역에 대한 제1 시작 위치는 칼럼1, 로우1(R11)에서의 적색 픽셀이다(도2 참조). 4:1 스케일링에 있어서, 알맞은 필터링은 "수퍼-픽셀(super-pixel)"에 대해 모두 3개의 R, G, B 성분을 복구하기 위해 각 서브-이미지(컬러 평면) 영역에 적용된다. 도3에 대한 이하의 설명 및 기재는, 제1 수퍼-픽셀(X11)에 대한 적색 성분을 획득하기 위하여, 픽셀(R11)에서 시작하는 적색 서브-이미지에 대해 적용된 매트릭스("마스크")이다. 그 마스크를 생성하기 위한 3-탭(three-tap) 필터링을 이용하여, 서브-이미지의 총 32 또는 9 픽셀 위치가 결과적인 마스크의 샘플링 영역 내에 있게 된다. 마스크 프러덕트(도4a에 도시된)는 4:1 스케일링된 이미지 수퍼-픽셀의 적색 성분을 복구하기 위해, 다음에 함께 합산된다(단계125). 이 합산은, 필터링 애플리케이션 또는 프러덕트가 어레이에 개별적으로 저장되고 이후에 함께 가산되는 동안에, 누적을 실행함으로써 달성될 수 있다. 다음으로, 스케일링된 이미지 픽셀의 적색 성분의 단일 세기값 표본을 획득하기 위해, 마스크 결과를 마스크의 총 가중치(weighting)로 나눔으로써, 마스크 결과가 정규화된다(단계130). 단계(120)에 따라, 도4a, 도4c 및 도b에 각각 도시된 마스크를 이용하여, 수퍼-픽셀의 R, G, B 성분을 획득하기 위해 필터링이 적용된다. 모든 3가지 성분은 요구된 설계에 따라 동시적으로 또는 연속적으로 결정될 수 있다. 도4a에 도시된 마스크의 경우에는, 제수(divisor)가 16(모든 마스크 계수의 합)이 된다. 정규화된 마스크 결과는 서브-이미지의 컬러와 동일한 컬러에 관련된 스케일링 이미지에서의 수퍼-픽셀의 성분을 나타낸다. 초기 픽셀 위치의 경 우, 먼저 정규화된 마스크 결과는 스케일링된 이미지(도2 참조) 수퍼-픽셀(X11)의 적색 성분 Rx11이 될 것이다. 그리고 나서, 정규화된 마스크 결과는 스케일링된 이미지에 대해 어레이에 저장된다(단계140). 원래의 CFA 픽셀은, 다음의 스케일링된 이미지 픽셀을 결정할 때 그들 중 일부가 재사용될 수 있기 때문에, 완전히 폐기되지는 않는다. 제1 수퍼-픽셀의 적색 성분에 대한 마스크(도4a에 도시된)는 샘플링 영역 내에 픽셀(R15)을 포함한다. 필터가 3-탭 필터이기 때문에, 수퍼-픽셀 내의 성분에 대한 샘플링 영역은 픽셀의 추가의 로우 및 칼럼에 더하여 스케일링 영역을 포함한다. 수퍼-픽셀의 녹색 및 청색 성분은 유사한 방식으로 획득되지만, 도4c 및 도4b에 각각 도시된 마스크에 기반한다. 수퍼-픽셀에 대한 3가지 성분이 모두 결정되고 나면, 다음의 스케일링 영역의 시작 위치가 되는, CFA 내의 다음의 시작 위치를 결정한다. 스케일링 이미지 내의 모든 수퍼-픽셀이 계산된 경우, 통합된 스케일링 및 컬러 보간 절차가 완료된 것으로 여겨진다. 그렇지 않으면, 단계(120 내지 150)가 선택된 시작 위치에 대해 반복되어, 다음의 수퍼-픽셀(그에따른 성분)이 결정될 수 있다.
도2는 본 발명의 적어도 하나의 실시예에 따라 스케일링된 원래의 CFA 영역을 도시하고 있다.
도2에 도시된 CFA는 3가지의 구별된 컬러 평면 - 적색(R), 녹색(G), 청색(B) - 을 포함하는 것과 같이 보여진다. 적색 컬러 평면에 속하는 또는 관련되는 픽셀은 앞이 "R"로 지정되고, 청색 컬러 평면에 관련된 픽셀은 앞이 "B"로 지정된다. 녹색 컬러 평면에 관련된 픽셀은 앞이 "G"로 지정된다. 도2에 도시된 바와 같은 베 이어 패턴 CFA의 하나의 특성은 컬러 평면에 관련된 픽셀들이 로우 및 칼럼으로 교번된다는 것이다. 따라서, 시작 픽셀 위치를 가정하면, 그 시작 픽셀 위치와 동일한 로우 내의 각각 다른 칼럼들을 고려하고 나서, 그 로우가 완료된 후에, 다음의 연속된 로우를 스킵하고, 그 다음의 제3 로우에 대해 제1 로우의 절차를 반복함으로써, 시작 위치와 동일한 컬러 픽셀의 서브-이미지를 획득 또는 추출할 수 있다. 도2에 도시된 CFA는 디지털 카메라 또는 다른 센서 시스템과 같은 이미징 장치로부터 획득할 수 있는 미처리(raw) 이미지 데이터의 표본이다.
종래의 스케일링 기법은 어떤 타입의 컬러 보간도 수행하지 않는다. 이러한 기법은, 입력 이미지가 베이어 패턴 형태가 아니라, 완전한 RGB 컬러 정보를 포함하는 각 픽셀을 가진다는 가정으로 개발되었다. 완전한 컬러 픽셀 이미지에 알맞을 수 있는 스케일링 이미지에서 원래의 픽셀을 간단히 버리는 평균화 및/또는 데시메이션(decimation) 기법은 CFA 이미지에 대해 직접 적용하는데에는 적합하지 않을 수 있다. 예를 들어, 이미지의 2:1 스케일링 다운을 제공하는 평균화를 이용하는 스케일링 기법은 도2의 칼럼1, 로우1에서의 R11 값을, R11과 3개의 이웃한 픽셀 G21, G12, B22의 평균으로 대체한다. 그러나, 각 픽셀이 상이한 색차(chrominance)(또는 컬러) 및 휘도(luminance)(또는 밝기) 정보를 포함하기 때문에, 이러한 평균화는 부적절하다. 2개의 녹색 픽셀 G21 및 G12는 주로 휘도 정보를 포함하고, B22 및 R11은 주로 색차 정보를 포함한다. 스케일링된 이미지에 속하는 필수적인 픽셀을 얻기 위해 이러한 방식으로 4개의 컬러 평면을 혼합하는 것은 적색 컬러 정보를 파괴 및 왜곡한다. 마찬가지로, G 또는 B 픽셀에 적용된 평균화 는, 이미지에 대해 그안에 포함된 정보(색차와 같은)를 파괴하는 컬러 평면 정보의 혼합을 초래하게 된다. 유사하게, 스케일링시에 단지 G21, G12 및 B22 픽셀을 완전히 버리는(데시메이팅하는) 강제 스케일링(brute-force scaling)은 보다 많은 이미지 정보를 파괴하는 효과를 가질 수 있고, 컬러 보간과 같은 기법에 의해 완전한 컬러 이미지로 변환될 수 있는 CFA를 필수적으로 남기게 된다.
본 발명의 일실시예에 따라, CFA 이미지에 대해 이러한 장애를 극복하고 효과를 달성하기 위해, 각 컬러 평면 서브-이미지에 대해 마스크를 적용하고, 하나의 수퍼-픽셀로 결과를 결합함으로써, 스케일링 및 컬러 보간이 동시에 달성된다. 필터는 서브-이미지 영역에 대해 로우-방향을 적용하고 나서, 칼러-방향도 역시 적용할 수 있다. 이렇게 적용된 경우, 필터는 서브-이미지 내의 픽셀의 세기값이 곱해진 계수(마스크)의 매트릭스를 형성하게 된다. 결과적인 도트 프러덕트값(즉, 모든 마스크 프러덕트의 합)은 도1에 도시된 바와 같이 마스크의 가중치에 대하여 정규화된다. 그리고 나서, 이 정규화된 값은 수퍼-픽셀의 컬러 성분(R, G, B)의 값을 나타내게 된다.
4:1 스케일링에 대한 "스케일링" 영역(고정된 경계를 이용하여 도2에 도시된)은, 4:1 스케일링의 경우에는 스케일링된 이미지 수퍼-픽셀로 변환되는 픽셀의 4x4 원래의 CFA 영역으로, 또는 2:1 스케일링의 경우에는, 4x4 CFA 영역으로 구성된다. 본 발명의 일실시예에 따르면, 스케일링된 이미지 수퍼-픽셀의 모든 3가지 성분을 결정하는 각 컬러 평면 서브-이미지에 대해 마스크가 적용된다. 마스크에 의해 변환된 픽셀의 수인 샘플링 영역은 스케일링 영역보다 크다. 예를 들면, 적색 성분 Rx11에서 4:1 스케일링 이미지 수퍼-픽셀이 결정되어야 하는 경우, 3x3 마스크가 적색 픽셀 R11, R13, R15, R31, R33, R35, R51, R53 및 R55에 대해 적용된다. 마찬가지로, 스케일링 이미지 수퍼-픽셀 X11의 녹색 성분 Gx11은 원래의 CFA내의 픽셀 G12, G14, G21, G23, G32, G34, G41 및 G43에 대해 2x4 마스크를 적용함으로써 결정될 수 있다. 따라서, 샘플링 영역은 스케일링 영역보다 크다. 이하에 기술된 바와 같이, 이것은 통상적인 스케일링 기법보다 보다 적절하게 에지 특성을 검출하도록 돕는, 스케일링된 이미지 내의 2개의 동일한 서브-이미지 픽셀에 대해 사용된 샘플링의 오버랩을 이끈다.
이렇게 할 때, 각 스케일링 이미지 수퍼-픽셀 Xij은 3개의 컬러 성분 Rxij, Gxij, Bxij을 가진다. 4:1 스케일링된 이미지는, 각각이 원래의 CFA 내의 4-로우 및 4-칼럼 스퀘어 스케일링 영역을 대체하는 수퍼-픽셀 Xij로 구성된다. 따라서, 원래의 CFA가 MxN 크기를 가지는 경우, 4:1 스케일링된 이미지는
Figure 112001006998513-pct00001
또는
Figure 112001006998513-pct00002
크기를 가질 것이다. 유용하게, 각 스케일링 이미지 수퍼-픽셀은 또한 완전한 컬러 정보를 가지게 되어, 그에 따라, 개별적으로 적용되는 컬러 보간 절차의 필요성이 없어진다.
도3a 내지 도3c는 예시적인 적색 서브-이미지 CFA 영역에 대해 마스크를 획득하기 위한 필터 애플리케이션의 단계를 보여준다.
도3a는 원래의 CFA에서의 적색 서브-이미지 영역을 나타낸다. 수직 및 수평적으로 모두 적용된 3-탭 필터는 9개의 프러덕트의 마스크를 포함하게 된다. 적색 컬러 평면 서브-이미지에 대한 9개 픽셀의 이 샘플링 영역은 CFA에서 연속적이고 인접하게 나타나지 않고, 오프셋이 된다. 적색 서브-이미지는, 그 안의 모든 다른 픽셀 칼럼 및 로우(도2 참조)를 스킵함으로써, 원래의 CFA로부터 획득된다.
만일, 본 발명의 일실시예에 따른 {1,2,1}의 계수를 가진 3-탭 필터가 도3a의 원래의 서브-이미지에 대해 수평 방식(즉, 필터가 서브-이미지 로우를 가로질러 적용된)으로 적용된 경우, 그 결과는 도3b에 도시된 프러덕트의 어레이(마스크)가 될 것이다. 3-탭 필터 {1,2,1}가 이제 도3b의 결과 어레이에 대해 수직 방향으로 적용되면, 도3c의 마스크가 될 것이다. 도3c에 도시된 마스크는, 도1에 대해 전술된 바와 같이, 단일 값을 산출하도록 함께 합산되고 나서 정규화될 수 있는 마스크 프러덕트의 표본이다.
결과적인 마스크에 따라, 중앙의 픽셀(R33과 같은)은 서브-이미지 영역 내의 코너 픽셀의 가중치보다 적어도 4배로 주어진다. 도3c를 참조하면, 코너가 아닌 측의 픽셀(영역의 처음과 마지막 로우 및 칼럼)은, 마스크를 적용한 결과에 따라 4배로 가중된 중심 픽셀의 1/2의 가중치가 된다. 또한, 에지 특성이 이 서브-이미지 내의 어디에 놓일지에 대한 예측이 불가능하다 하더라도, 에지를 완전하게 표현할 수 없는 어떤 픽셀도 종래의 스케일링 필터에 있어서와 같이 우위를 차지하지 않는다. 샘플링 영역 근처에서 픽셀 간의 상관 관계를 유지함으로써, 에지 특성이 적절하게 나타나고 데시메이팅되지 않는 보다 나은 통계상의 보증이 존재하게 된다. 이것은, 중대한 시각적 영향을 갖는(즉, 선명하게 보일 수 있는) 에지 특성이 대개 적어도 1개 또는 2개 이상의 픽셀의 영역을 통과하기 때문에 특히 그러하다. 도4b 에 도시된 바와 같이, 수퍼-픽셀 X11의 청색 성분 Bx11를 얻기 위한 마스크는 도3c의 마스크에 대한 그것의 계수에서 동일하며, 두 방향으로 3-탭 필터를 적용함으로써 획득될 수 있다.
도4a는 4:1 스케일링 이미지 수퍼-픽셀에서 적색 성분을 획득하도록 적용된 예시적인 마스크를 도시하고 있다.
도3을 다시 참조하면, 전술한 3-탭(three-taps) 필터는 샘플링된 서브-이미지에 대해 먼저 로우-방향으로 적용되고 나서, 로우-방향 적용의 결과에 대해 컬럼-방향으로 다시 적용될 수 있다. 스케일링 이미지 수퍼-픽셀에서의 성분의 세기값은 서브-이미지 샘플링 영역에 대한 필터링 동작으로부터 얻어지는 이러한 마스크를 적용함으로써 결정된다. 예를 들면, M은 로우이고, N은 주어진 스케일링 영역에 대해 CFA의 시작하는 좌측-최상위 코너 픽셀의 칼럼 수이다. 로우 및 칼럼 수는 이해를 돕기 위해 쉼표로 구분된다. 도4a는 수퍼-픽셀 Xij의 적색 성분을 결정하는데 필요한 마스크를 보여준다. 예를 들어, 도2를 참조 하면, 스케일링 이미지 수퍼-픽셀 X11은 도4a의 마스크에 의해 결정되는 적색 성분 Rx11을 갖는다. 도4a에 도시된 마스크 프러덕트는 단일 값을 얻기 위해 함께 합산된다. CFA 내의 각 픽셀은 통상적으로 8-비트의 값(0-255)인 세기 해상도 집합을 가지기 때문에, 마스크 프러덕트의 합계는 이러한 값에 대해 정규화되어야 한다. 이것은 마스크 프러덕트의 합을 마스크 계수의 합으로 간단히 나눔으로써 달성된다. 계수 4를 갖는 하나의 항, 계수 2를 갖는 4개 항 및 계수 1을 갖는 4개의 항이 있기 때문에, 도4a 마스크 의 총 "가중치(weight)"(계수들의 합)는 16이다. 따라서, 스케일링 이미지 수퍼-픽셀 X11의 적색 성분 Rx11은 [R11+2*R13+R15+2*R31+4*R33+2*R35+R51+2*R53+R55]/16이 된다(로우 및 컬럼 수를 분리하는 쉼표가 이 식에서는 삭제되었음). 마찬가지로, 스케일링 이미지 수퍼-픽셀 X12의 적색 성분 Rx12(도2 참조)(이것의 스케일링 영역은 M=1, N=5와 같은 R15의 시작 위치를 가짐)는 다음의 식을 계산함으로써 얻어질 수 있다: [R15+2*R17+R19+2*R35+4*R37+2*R39+R55+2*R57+R59]/16
샘플링 영역을 가로지르는 마스크 계수의 분포는, 샘플링 영역 내의 중앙 픽셀과 코너 픽셀 간의 스케일링된 이미지에서의 상대적인 범위 또는 표현이 단지 4배라는 것을 나타낸다. 이것은 에지 검출시에, 어떤 픽셀도 과도한 가중치가 주어지지 않고 다른 평균화가 주어지지 않기 때문에, 중앙과 같은 영역 내의 보다 중요한 영역을 보다 잘 커버하기 위한 기능을 돕는다.
도4b는 4:1 스케일링된 이미지에서의 수퍼-픽셀의 청색 성분을 획득하기 위해 적용된 예시적인 마스크를 보여준다.
스케일링 이미지 수퍼-픽셀 X에서 청색 성분 B에 대해 사용된 마스크는 도4a의 마스크와 유사하고, 여기서 마스크 어레이에서의 계수의 분포는 동일하다. 그러나, 마스킹을 위해 샘플링된 픽셀은 적색 서브-이미지 영역이 아니라, 제2 청색 서브-이미지 영역을 나타내는 이들 픽셀과 완전히 다르다. 청색 서브-이미지 영역에 대한 샘플링 영역의 시작 픽셀은 원래의 CFA에서의 B22이다(도2 참조). B12 위치에서 시작하는 3-탭 필터는, 도3a 내지 도3c에서의 적색 서브-이미지에 대해 도시된 것과 같이, 청색 서브-이미지에 대해 수직 및 수평적으로 적용될 수 있다. 결과적인 마스크는 도4b에 도시되어 있다. 적색 성분 Rx11에 대하여, 청색 성분은 마스크 프러덕트를 합산하여 마스크의 총 가중치(16)로 나눔으로써 획득될 수 있다. 도2를 다시 참조하면, 4:1 스케일링 이미지 수퍼-픽셀 X의 청색 성분 B는 이 절차에 의해 생성된다. 또한, 스케일링 영역의 시작 위치(M,N)를 고려하면, 청색 성분 Bx11(수퍼-픽셀 X11에 대해) 및 Bx12(수퍼-픽셀 X12에 대해)는 각각 스케일링 영역 시작 위치 M=1, N=1 및 M=1, N=5를 갖는다. 이 성분들은 다음과 같이 계산된다:
Bx11 = [B22 +2*B24+B26+2*B42+4*B44+2*B46+B62+2*B64+B66]/16
Bx12 = [B26 +2*B28+B20+2*B46+4*B48+2*B40+B66+2*B68+B60]/16
여기서, "0"은 CFA의 열번째 칼럼을 나타낸다.
도4c는 4:1 스케일링된 이미지에서의 수퍼-픽셀의 녹색 성분을 획득하기 위해 적용된 예시적인 마스크를 보여준다.
전술한 바와 같이, 스케일링 이미지 수퍼-픽셀 Xij에 대하여, 적색 성분 Rxij, 녹색 성분 Gxij 및 청색 성분 Bxij의 3가지 성분이 생성될 필요가 있다. 본 발명은, MxN CFA로부터 적, 녹, 청의 3가지 컬러 평면의 각각에 대한 세기값으로 구성되도록 대개 고려되는 1/4 크기의 완전한 컬러를 생성하기 위해, 스케일링과 컬러 보간을 결합시킨다. 베이어 패턴 CFA에서, 적색 및 청색 픽셀 로우에 교번적으로 관측되지만, 녹색 픽셀은 매 로우마다 각각 관측될 수 있다. 따라서, 적색 또는 청색에 비해, 2배 많은 녹색 픽셀이 나타난다. 녹색 픽셀은 스태거 패턴(staggered pattern)으로 정렬되고, 그 이미지의 시각적 구별을 위해 결정적이 되는 이미지의 보다 많은 중요 "휘도" 정보를 포함한다. 이러한 이유로, 도4c에 도시된 녹색 마스크는 도4a 및 도4b의 적색 및 청색 마스크로부터 각각 현저하게 변한다.
도4c는 녹색 성분을 획득하기 위한 마스크에서의 9가 아닌 단지 8개의 프러덕트만이 존재하는 것을 보여준다. 또한, 마스크 프러덕트를 구성하는 계수는, 도4a 및 도4b에서와 같이, 마스크에서 대칭이 아니다. 따라서, 도3a 내지 도3c에 도시된 것과 같이 2차원에서의 필터 애플리케이션은 도4c에서 결과적인 마스크를 생성하는데 어려움이 있을 것이다. 마스크 계수의 합은 16으로 남아있지만, 그 가중치는 2개의 픽셀에 집중된다.
도1을 다시 참조하면, 수퍼-픽셀 X11에 대한 스케일링 영역은 G23 및 G32인 CFA에서 중앙에 위치된 2개의 녹색 픽셀을 가진다. 영역 안에 고려된 모든 다른 녹색 픽셀들은 에지/코너 상에 있다. 따라서, 그 스케일링 영역에서 거의 대부분이 필수적인 휘도 정보가 되는 것으로 나타나는 중앙의 녹색 픽셀은 마스크 계수 4로 할당된다. 도4c를 참조하면, 중앙의 녹색 픽셀 GM+1, N+2 및 GM+2, N+1은 4로 가중된다. 따라서, 수퍼-픽셀 X11의 녹색 성분 Gx11은 다음과 같이 나타낼 수 있다: [G12+G14+2*G21+4*G23+4*G32+2*G34+G41+G43]/16. 마찬가지고, 수퍼-픽셀 X12의 녹색 성분 Gx12는 [G16+G18+2*G25+4*G27+4*G36+2*G38+G45+G47]/16 로 나타낼 수 있다.
또한, 도4a 내지 도4c는 4로 크기가 스케일링 다운된 이미지의 픽셀에 대한 마스크를 보여준다. 1/4 크기의 이미지 스케일링은 대개 화상 회의와 같은 모션 비디오 애플리케이션에서 사용된다. 1/2 크기 또는 2:1 스케일링이 필요한 다른 애플리케이션에서, 전술한 마스킹 절차는 다음과 같이 수정될 수 있다. 2:1 스케일링된 이미지에 대해, 원래의 스케일링되지 않은 CFA 내의 픽셀의 모든 2개의 로우 및 칼럼은 단일 스케일링된 이미지 픽셀로 감소 또는 매핑될 수 있다. 이 경우는 도2에 도시되어 있으며, 여기서 2:1 스케일링된 이미지 영역은 원래의 CFA에서 스케일링 영역의 1/2 크기로 보여진다. 프러덕트(즉, 샘플링 기준)의 크기 및 수는 수정되거나 또는 위에서 기재된 것과 같을 수 있다. 화상 회의 애플리케이션에 대한 필요성과 같이, 이중-모드(2:1 및 4:1) 스케일링과 같은 빠른 하드웨어 구현이 요구되는 경우, 각각에 대해 개별적인 마스킹을 사용하는 것이 불리할 수 있다.
도5는 본 발명의 실시예에 따른 블록도이다.
도5는 이미지 캡처 장치의 내부 이미지 처리 및 압축 구성요소의 블록도이다. 센서(500)는 어떤 소스로부터의 세기값인 픽셀 성분을 생성한다. 센서(500)에 의해 생성된 m-비트 픽셀값은 캡처 인터페이스(510)로 전송된다. 디지털 카메라 환경에서의 센서(500)는 통상적으로 하나의 "센싱" 위치에 대해 R, G, B 성분 중의 어느 하나로 센싱하게 된다. 이에 따라, 각 픽셀의 세기값은 3가지 컬러 평면(픽셀) 중의 오직 하나에 연관된다. 캡처 인터페이스(510)는 센서에 의해 생성된 이미지를 포착하고, 개별 픽셀에 대해 컬러 연관을 식별하는 태그(TAG)를 추가한다. 태그는, 예를 들면, 각각 R(적색), G(짝수 로우의 녹색), G(홀수 로우의 녹색), B(청색) 픽셀에 대해 00, 01, 10 및 11과 같이, 각각 2비트이다. 전체 이미지에 대한 이러한 모든 픽셀의 집합이 CFA이다.
센서 장치에서, 센서 평면 내의 일부 픽셀 셀들이 조명 조건에 대해 적절하게 응답하지 않는 것은 통상적이다. 결과적으로, 이들 셀로부터 생성된 픽셀값은 결점이 있을 수 있다. 이들 픽셀을 "무효 픽셀(dead pixel)"이라고 부른다. "픽셀 교체(pixel substituion)" 유닛(515)은 각 무효 픽셀을 로우에서의 바로 이전의 유효 픽셀로 교체한다.
RAM 테이블(516)은 센서에 의해 공급된 무효 픽셀의 로우 및 칼럼 인덱스로 구성된다. 이 RAM 테이블(516)은 포착된 이미지에 대한 무효 픽셀의 위치를 식별하도록 한다. 압축 모듈(525)은 센서로부터 포착된 원래의 픽셀의 각각의 m-비트(10b로 표시된) 세기값을 n-비트 세기값으로 변환하는 변환기에 기반한 룩업 테이블이고, 여기서, m<n(통상적으로 m=10, n=8)이다. RAM 테이블(526)은 압축 모듈(525)을 수반하여, 이 예시적인 센서 압축 테이블의 엔트리를 저장한다. 이데 따라, CFA 내의 각 픽셀은 3가지 컬러 평면 중의 하나로 나타나는 n-비트값이 된다.
압축 후, 스케일링 및 컬러 보간(SCI) 유닛(527)이 이미지를 스케일링 다운하는데 사용된다. 원래의 이미지 크기가 MxN 인 경우, 2:1 스케일링 동작은 이미지 크기를 M/2 x N/2로 스케일링 다운하고, 4:1 스케일링 동작은 M/4 x N/4 로 스케일링 다운하지만, 각 스케일링된 픽셀은 3가지 컬러 성분을 모두 가진다. RAM(528)은 SCI 유닛(527)을 수반하여, 스케일링/컬러 보간 동작 동안에 중간 저장을 위해 사용된다.
본 발명의 다양한 실시예에 따르면, 스케일링 유닛(527)은 스케일링 및 컬러 보간을 모두 효과적으로 동시에 수행할 수 있다. 본 발명의 일실시예에 있어서, 서브-이미지(특정 컬러 평면에서 선택된 픽셀)에 대해, 컬러 서브-이미지 R, G, B 당 하나의 마스크인, 마스크의 집합을 적용함으로써, 4:1 스케일링이 달성된다. 마스크가 1과 4의 계수(승수)로 구성되기 때문에, 주어진 픽셀에 대한 세기값을 좌측으로 시프트하는 시프트 레지스터를 이용함으로써, 마스크가 구현될 수 있다.
본 발명의 일실시예에서, 마스크 프러덕트는 함께 합산되고 정규화되어, 스케일링된 이미지 픽셀을 산출하게 된다. 시프트 레지스터 및 버퍼를 이용하는 필터 설계는 모든 칼럼 또는 로우에서 획득된 프러덕트를 누산기(accumulator)로 가산하는 가산기(adder)가 수반될 수 있다. 9개(또는 녹색의 경우에는 8개)의 프러덕트가 모두 누적되었을 때, 누산기의 결과는 우측으로 4비트를 시프트 아웃하거나, 또는 사실상, 각 3개의 마스크에 대한 마스크 가중치인 16으로 나누는 다른 시프트 레지스터로 패스될 수 있다. 대안적으로, 픽셀의 각 로우 또는 컬럼이 처리되어짐에 따라, 이로부터의 결과인 프러덕트는 함께 합산되고 나서 정규화될 수 있다. 예를 들면, 3-탭 필터의 출력은 프러덕트를 함께 합산하기 위해 가산기로 패스될 수 있다. 그리고 나서, 이 합은, 4(1+2+1)인 필터 탭의 합으로 정규화될 수 있다. 4로 나누는 것은 2비트 우측으로 시프트함으로써(다시 시프트 레지스터를 이용하여) 달성될 수 있다. 각각의 정규화된 로우 및 칼럼 결과는 누산될 수 있고, 필터가 샘플링 영역에 대해 완전히 적용되면, 이 누적된 값은 다시 정규화로 나누어질 수 있다.
원래의 CFA는 SCI에 의해 4가 아닌 팩터 2로 스케일링될 수 있다. 이 기술 분야의 통상의 지식을 가진 자는 2:1 또는 N:1을 구현하기 위해 전술된 방법을 쉽 게 수정할 수 있을 것이다. 상기 구현에 있어서, 스케일링된 이미지 데이터는 보다 빠르게 생성되고, 도6에 도시된 다른 이미지 처리 유닛에 전송되어, 결국 버스(560) 상의 이미지 데이터 및 이미지 캡처 장치의 출력의 전송을 촉진하게 된다. 이것은 특히 프레임 속도 유지가 중요한 화상 회의에서 사용되는 4:1 스케일링 동작에 유리하다. 스케일링된 이미지의 품질은 또한 종래의 4:1 스케일링을 개선하여, 효과적인 컬러 보간이 동시에 수행되어 완전한 컬러인 스케일링 이미지 데이터를 산출할 수 있다. CFA가 각각 n-비트의 픽셀을 가진다면, 스케일링된 이미지에서의 각 수퍼-픽셀은 각 컬러 성분에 대해 n 비트인 이에 연관된 3*n 비트를 가질 것이다. 컬러 성분값은 요구에 따라 연쇄되거나 또는 개별적으로 전송될 수 있다. 수퍼-픽셀마다 획득된 스케일링된 이미지 데이터는 스케일링된 이미지 데이터를 처리 및 전송하기 쉬은 블록으로 압축 및 인코딩하는 압축 유닛(530) 및 인코더(535)로 패스될 수 있다. 그리고 나서, 압축 및 인코딩된 데이터는 데이터 패킹 유닛(540)에 의해 함께 패킹되고, 버스(560)를 통해 전송되기 위해 DMA 제어기(550)로 출력된다. 버스 기법, 어드레싱 프로토콜 및 DMA 제어기는 시스템 설계 분야에서 주지된 것이며, 요구된 애플리케이션에 맞도록 쉽게 수정/특수화될 수 있다.
RAM 테이블(516, 526, 528, 534)은, 필요에 따라 그들의 데이터가 로딩되어 이후에 수정될 수 있도록, 버스(560)와 직접 통신할 수 있다. 또한, 이러한 RAM 테이블 및 다른 RAM 테이블이 필요에 따라 스케일링된 이미지 데이터를 저장하는데 사용될 수 있다. 스케일링 유닛(527)의 독립적인 구성요소들(선택기, 시프터, 레지스터, 제어 어드레스 신호)이 상세히 기술되지 않았지만, 이 기술 분야의 통상의 지식을 가진 자는 이러한 스케일링 장치를 쉽게 구현할 수 있을 것이다. 동시 효과 및 편의와 컬러 보간은, 종래의 스케일링만을 사용하는 기법에 비해 보다 좋은 방식으로 보존된 에지 특성을 가질 수 있는 스케일링된 컬러 이미지인 고품질을 생산하는 장점을 가진다. 본 발명이 R, G, B CFA에 대해 기술되었지만, MWY(Magenta, White, Yellow)와 같은 다양한 CFA 구조에 대해 적용될 수도 있다.
도6은 본 발명의 일실시예의 시스템도이다.
카메라(630)에 연결된 PC와 같은, 일반적인 또는 특별한 목적의 컴퓨팅 또는 데이터 처리 머신이 될 수 있는 컴퓨터 시스템(610)이 도시되어 있다. 카메라(630)는 디지털 카메라, 디지털 비디오 카메라, 다른 이미지 캡처 장치 또는 이미징 시스템, 또는 이들의 조합일 수 있고, 장면(640)의 센서 이미지를 포착하는데 사용된다. 필수적으로, 포착된 이미지는 이미지 처리 회로(632)에 의해 처리되어, ROM, RAM, 또는 고정 디스크와 같은 다른 저장 장치일 수 있는 이미지 메모리 유닛(634)에 효과적으로 저장될 수 있다. 컴퓨터 시스템(610)으로 향해지는 이미지 메모리 유닛(634) 내에 포함된 이미지는, 종래의 스케일링 및 독립적인 컬러 보간으로 인한 이미지 특성의 손실을 에지 특성을 잘 보존함으로써 완화시키도록 강화된다. 스틸 이미징을 수행할 수 있는 대부분의 디지털 카메라에서, 이미지는 먼저 저장되고, 나중에 다운로드된다. 이것은 카메라(630)가 추가 지연없이 다음의 객체/장면을 빠르게 포착할 수 있게 한다. 그러나, 디지털 비디오 카메라의 경우, 특히, 실시간 화상 회의에서 사용하는 경우에는, 이미지를 빠르게 포착할 뿐만 아니라, 빠르게 처리하여 카메라(630) 밖으로 송신하는 것이 중요하다. 다양한 실시예에서 본 발명은 이미지 처리 회로(632)의 다른 부분으로 컬러 이미지 데이터의 빠른 처리율을 제공하는데 적합하여, 이미지 프레임의 전체 전송 속도는 그들의 실제 속성에 의해 컬러 보간하지 않는 통상의 스케일링 기법 보다 증가된다.
본 발명의 이 실시예에서, 이미지 스케일링 및 컬러 보간은 이미징 처리 회로(632) 내에서 수행된다. 이미지가 스케일링/보간된 후에, 전송을 위해 압축될 수 있다. 전송된 이미지 데이터의 압축 해제는 Pentium?(인텔 코퍼레이션사의 제품), 및 명령어 어드레스 및 결과 데이터를 저장/로딩하는데 사용되는 RAM과 같은 메모리(611)를 이용하여 달성될 수 있다. 대안의 실시예에서, 스케일링/컬러 보간은 하드웨어로 직접보다는 컴퓨터 시스템(610) 상에서 실행되는 소프트웨어 애플리케이션으로 달성될 수 있다. 카메라(630)로부터 다운로드한 후에 스케일링 이미지 수퍼-픽셀을 생성하는데 사용되는 애플리케이션은 C++과 같은 언어로 쓰여진 소스 코드로부터 실행가능하게 컴파일될 수 있다. 이미지 스케일링에 필요한 명령어에 대응하는 실행가능 파일의 명령어는 디스크(618) 또는 메모리(611)에 저장될 수 있다. 이 기술 분야에 통상의 지식을 가진 자에게는 전술한 방법에 따라 스케일링 및 동시에 컬러 보간하는 컴퓨팅 머신을 프로그램하는 것은 쉽게 명확해질 것이다. 또한, 본 발명의 다양한 실시예는 스케일링 및 컬러 보간을 제공하는 비디오 디스플레이 어댑터 또는 그래픽 처리 유닛 상에서 구현될 수 있다.
컴퓨터 시스템(610)은 프로세서(612) 및 메모리(611)로/로부터 정보 전송을 도모하는 시스템 버스(613), 및 I/O 버스(615)에 연결된 브릿지(614)를 가진다. I/O 버스(615)는 디스플레이 어댑터(616), 디스크(618), 및 시리얼 포트와 같은 I/O 포트(617)와 같은 다양한 I/O 장치를 연결한다. 이러한 I/O 장치, 버스 및 브릿지의 많은 조합이 본 발명에서 사용될 수 있고, 도시된 조합은 단지 이러한 하나의 가능한 조합의 예시이다.
장면(640)의 이미지와 같은 이미지가 카메라(630)에 의해 포착되면, 이들은 이미지 처리 회로(632)로 전송된다. 이미지 처리 회로(632)는, 다른 기능들 사이에 포착된 이미지의 스케일링 다운과 동시에 컬러 보간을 실행하는 집적회로 및 다른 요소들로 구성된다. 여기서 논의된 스케일링/보간 기법은 카메라(630)에 의해 포착된 장면(640)의 원래의 CFA를 저장하기 위해 이미지 메모리 유닛을 사용할 수 있다. 또한, 동일한 메모리 유닛이 스케일링/보간된 이미지 데이터를 저장하는데 사용될 수 있다. 모든 픽셀이 스케일링, 처리, 및 렌더링을 위해 컴퓨터 시스템(610)으로 전송되고 나면, 카메라(630)는 다음의 이미지를 포착할 수 있다. 컬러 보간에서의 스케일링 기법의 속성은, 카메라(630)가 순수한 그레이 스케일 타입의 카메라보다 복잡하지 않음에도 불구하고, 그레이 스케일이라기 보다는 컬러인 모션 카메라로 동작하도록 한다. 유저 또는 애플리케이션이 이미지의 다운로드를 요구/요청하면, 이미지 메모리 유닛에 저장된 스케일링 압축 이미지는 이미지 메모리 유닛(634)로부터 I/O 포트(617)로 전송된다. I/O 포트(617)는 스케일링 및 압축된 이미지 데이터를 메모리(611), 또는 선택적으로 디스크(618)에 일시적으로 저장하기 위해, 도시된 버스-브릿지 계층구조(I/O 버스(615)-브릿지(614)-시스템 버스(613))를 이용한다.
압축된 이미지는, 실행을 위해 프로세서(612)를 사용할 수 있는, 알맞은 애 플리케이션 소프트웨어(또는 하드웨어)에 의해 컴퓨터 시스템(612) 상에서 압축해제된다. 그리고 나서, 이미지 데이터는 디스플레이 어댑터(616)를 이용하여 렌더링/스케일링된 컬러 이미지(650)로 렌더링될 수 있다. 스케일링된 컬러 이미지는 원래의 포착된 장면보다 크기가 작게 보여진다. 이것은 장면의 원래의 센서 포착 크기가 필요하지 않은 많은 이미지 애플리케이션에서 바람직하다. 화상 회의 애플리케이션에서, 압축 및 스케일링된 형태에서의 이미지 데이터는 네트워크 또는 통신 시스템을 통해, 컴퓨터 시스템(610)에 추가로 또는 제외한 다른 노드 또는 컴퓨터 시스템과 통신하도록 하여, 화상회의 세션이 이루어질 수 있다. 본 발명의 일실시예에서, 스케일링 및 컬러 보간이 카메라 상에서 이미 달성되기 때문에, 이미지 데이터를 화상 회의 세션에서의 다른 노드로 직접 전송할 수 있도록 하는 카메라(630) 내의 통신 포트를 구현하는 것이 가능하게 된다. 컴퓨터 시스템(610)의 유저가 어디서나 모니터(620) 상에서 그 장면을 보기를 원하는 경우, 스케일링 및 컬러 보간된 이미지 데이터는 컴퓨터 시스템(610)과 네트워크를 통해 전송된 다른 노드로 모두 전송될 수 있다. 또한, 본 발명의 다양한 실시예는 필요에 따라 효과 적인 소프트웨어 스케일링이 구현될 수 있도록 한다. 이미 기술한 바와 같이, 스케일링/보간된 컬러 이미지는, 스케일링 프로세스 및 사실상 내재된 프로세서인 컬러 보간의 동시 속성으로 인해, 통상적인 스케일링 동작보다 시각적으로 정확한 에지 특성을 가질 수 있다. 최종 결과는, 컬러 보간하지 않고, 다른 장치/프로세스 또는 이미징 세션의 스테이지에 대해 그 업무를 남겨 놓는 통상의 스케일링 방법과 비교하여, 모니터(620) 또는 화상 회의 세션에서의 다른 노드 상에서 디스플레이되는 고품질의 렌더링/스케일링 이미지(650)가 된다.
본 발명이 특정한 예시적인 실시예를 참조하여 설명되었다. 그러나, 첨부된 청구항에서 기술되는 바와 같이, 본 발명의 보다 넓은 사상 및 범위에서 벗어나지 않는 한, 다양한 수정 및 변경이 가능하다는 것은 명백한 사실이다. 따라서, 본 명세서 및 도면은 제한적 관점이라기 보다는 하나의 예시로서 간주되어야 한다. 이에 따라, 본 발명의 범위는 첨부한 청구항에 의해서만 제한되어야 한다.

Claims (15)

  1. CFA(Color Filter Array) 이미지에서 시작 위치를 지시함으로써 스케일링 영역을 정의하는 단계; 및
    상기 스케일링 영역의 다운스케일링된(downscaled) 버전인 수퍼-픽셀을 생성하는 단계 - 여기서, 상기 수퍼-픽셀은 상기 CFA 이미지의 서브-이미지 영역에 대해 마스크를 적용하고, 상기 수퍼-픽셀의 컬러 성분을 형성하기 위해 상기 마스크를 적용한 결과를 정규화(normalizing)함으로써 완전히(fully) 컬러 보간되고, 상기 서브-이미지 영역은 모두 동일한 컬러 평면의 픽셀들을 갖고, 상기 컬러 성분은 상기 서브 영역에 연관된 컬러를 가짐 -
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 CFA는 3가지 컬러 평면 중의 오직 하나에 연관되는 각각의 픽셀을 갖는
    방법.
  3. 제2항에 있어서,
    상기 컬러 평면은 적색(Red), 녹색(Green) 및 청색(Blue)인
    방법.
  4. 제2항에 있어서,
    상기 CFA는 베이어 패턴(Bayer pattern)으로 정렬되는
    방법.
  5. 제1항에 있어서,
    상기 다운스케일링은 4 대 1 다운스케일링인
    방법.
  6. 제3항에 있어서,
    상기 각 수퍼-픽셀에 대한 완전한 컬러 해상도는 각 수퍼-픽셀이 상기 적색, 녹색 및 청색 평면의 3가지 모두에 대한 성분을 가지고 있다는 것을 나타내는
    방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 마스크는 상기 이미지 영역의 중앙 부분 이외에서 발생하는 에지 특성을 나타내기 위한 능력을 유지하면서 상기 중앙 부분에 알맞도록 구성되는
    방법.
  9. 제2항에 있어서,
    상기 컬러 평면은 심홍색(Magenta), 백색(White) 및 황색(Yellow)인
    방법.
  10. 복수의 컬러 성분 중 오직 하나의 성분에 각각 연관된 CFA 픽셀들을 다운스케일링된 수퍼-픽셀들로 변환하도록 구성된 통합 스케일링 및 컬러 보간 유닛
    을 포함하고,
    여기서, 상기 각각의 수퍼-픽셀은, 모두 동일한 컬러 평면의 픽셀을 갖는 상기 CFA 픽셀의 서브-이미지 영역에 대해 마스크를 적용하고, 상기 각 수퍼-픽셀의 컬러 성분을 형성하기 위해 상기 마스크를 적용한 결과를 정규화함으로써 상기 컬러 성분 모두를 갖고, 상기 컬러 성분은 상기 서브-이미지 영역에 연관된 컬러를 갖는
    장치.
  11. 제10항에 있어서,
    상기 통합 스케일링 및 컬러 보간 유닛에 연결되어, 상기 수퍼-픽셀 데이터를 저장하도록 구성된 메모리
    를 포함하는 장치.
  12. 제10항에 있어서,
    상기 통합 스케일링 및 컬러 보간 유닛에 연결되어, 상기 CFA에 대해 베이어 패턴 데이터로 제공하기 위한 이미지 센서
    를 포함하는 장치.
  13. 제10항에 있어서,
    상기 통합 스케일링 및 컬러 보간 유닛은 이미징 장치 내에 포함되는
    장치.
  14. 제13항에 있어서,
    상기 이미징 장치는 디지털 카메라인
    장치.
  15. 명령어들의 시퀀스를 저장하는 머신 판독가능 매체에 있어서,
    상기 명령어들은, 머신에 의해 실행되는 경우, 상기 머신으로 하여금,
    CFA(Color Filter Array) 이미지에서 시작 위치를 지시함으로써 스케일링 영역을 정의하는 단계; 및
    상기 스케일링 영역의 다운스케일링된(downscaled) 버전인 수퍼-픽셀을 생성하는 단계 - 여기서, 상기 수퍼-픽셀은 상기 CFA 이미지의 서브-이미지 영역에 대해 마스크를 적용하고, 상기 수퍼-픽셀의 컬러 성분을 형성하기 위해 상기 마스크를 적용한 결과를 정규화함으로써 완전히(fully) 컬러 보간되고, 상기 서브-이미지 영역은 모두 동일한 컬러 평면의 픽셀들을 갖고, 상기 컬러 성분은 상기 서브 영역에 연관된 컬러를 가짐 -
    를 포함하는 프로세스를 수행하도록 하는
    머신 판독가능 매체.
KR1020017003984A 1998-09-29 1999-09-16 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체 KR100569747B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/163,022 1998-09-29
US09/163,022 US6236433B1 (en) 1998-09-29 1998-09-29 Scaling algorithm for efficient color representation/recovery in video

Publications (2)

Publication Number Publication Date
KR20010075439A KR20010075439A (ko) 2001-08-09
KR100569747B1 true KR100569747B1 (ko) 2006-04-11

Family

ID=22588123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017003984A KR100569747B1 (ko) 1998-09-29 1999-09-16 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체

Country Status (8)

Country Link
US (1) US6236433B1 (ko)
JP (1) JP4261062B2 (ko)
KR (1) KR100569747B1 (ko)
AU (1) AU5927699A (ko)
DE (1) DE19983600B4 (ko)
GB (1) GB2357927B (ko)
TW (1) TW456153B (ko)
WO (1) WO2000019728A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237157B1 (ko) 2006-05-01 2013-02-25 엘지디스플레이 주식회사 표시장치의 다운 샘플링 방법 및 장치
KR101406562B1 (ko) 2007-05-22 2014-06-12 엘지전자 주식회사 다운 샘플링 장치 및 방법

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US7030917B2 (en) * 1998-10-23 2006-04-18 Hewlett-Packard Development Company, L.P. Image demosaicing and enhancement system
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
US7095164B1 (en) 1999-05-25 2006-08-22 Intel Corporation Display screen
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US6697534B1 (en) 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
US6658399B1 (en) 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6625308B1 (en) 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US7106910B2 (en) * 1999-10-01 2006-09-12 Intel Corporation Color video coding scheme
US7053944B1 (en) 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6812963B1 (en) * 1999-10-29 2004-11-02 Hewlett-Packard Development Company, L.P. Focus and exposure measurement in digital camera using charge binning
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US7158178B1 (en) 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6507350B1 (en) * 1999-12-29 2003-01-14 Intel Corporation Flat-panel display drive using sub-sampled YCBCR color signals
US6961472B1 (en) 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US6748118B1 (en) 2000-02-18 2004-06-08 Intel Corporation Method of quantizing signal samples of an image during same
US6738520B1 (en) * 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
US6775413B1 (en) 2000-09-18 2004-08-10 Intel Corporation Techniques to implement one-dimensional compression
US6636167B1 (en) * 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US6563439B1 (en) 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
US6766286B2 (en) 2001-03-28 2004-07-20 Intel Corporation Pyramid filter
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
US6889237B2 (en) * 2001-03-30 2005-05-03 Intel Corporation Two-dimensional pyramid filter architecture
WO2002089105A2 (en) 2001-05-02 2002-11-07 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
US7219309B2 (en) 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US6989862B2 (en) * 2001-08-23 2006-01-24 Agilent Technologies, Inc. System and method for concurrently demosaicing and resizing raw data images
EP1308888A1 (en) * 2001-11-06 2003-05-07 STMicroelectronics S.r.l. A method of processing digital images
JP2003299112A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP3682482B2 (ja) * 2002-04-24 2005-08-10 コニカミノルタフォトイメージング株式会社 撮像装置
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US7477781B1 (en) 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
ITTO20021072A1 (it) * 2002-12-10 2004-06-11 St Microelectronics Srl Procedimento e sistema per elaborare segnali video, ad esempio per la visualizzazione su display a colori di piccole dimensioni, relativo prodotto informatico.
JP4497945B2 (ja) * 2003-02-04 2010-07-07 キヤノン株式会社 撮像装置
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7372484B2 (en) * 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
FI115587B (fi) * 2003-12-03 2005-05-31 Nokia Corp Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
US20050185836A1 (en) * 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
US20050207676A1 (en) * 2004-03-16 2005-09-22 Wen-Kuo Lin Method for decimating image data filtered by a bayer pattern color filter array
FI20045157A (fi) * 2004-04-29 2005-10-30 Nokia Corp Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
CN100366045C (zh) * 2005-01-11 2008-01-30 北京中星微电子有限公司 一种实现缩放的图像转换方法
KR100630734B1 (ko) * 2005-01-13 2006-10-02 삼성전자주식회사 적응적 ｙ/ｃ 분리를 위한 디지털 영상 신호 처리 장치 및방법
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7551177B2 (en) * 2005-08-31 2009-06-23 Ati Technologies, Inc. Methods and apparatus for retrieving and combining samples of graphics information
US20070133902A1 (en) * 2005-12-13 2007-06-14 Portalplayer, Inc. Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US8054344B2 (en) * 2006-06-16 2011-11-08 Raytheon Company Imaging system and method with intelligent digital zooming
CN102282586B (zh) * 2009-01-19 2017-05-10 诺基亚技术有限公司 用于减少图像数据的大小的方法和装置
JP5191407B2 (ja) * 2009-01-20 2013-05-08 三洋電機株式会社 画像処理装置
US8284232B2 (en) * 2009-01-30 2012-10-09 Hewlett-Packard Development Company, L.P. Equalization of video streams
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
US8577185B2 (en) * 2010-03-17 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for interpolating and rendering image on mobile devices
WO2014080068A1 (en) * 2012-11-26 2014-05-30 Nokia Corporation An arrangement for image processing
JP2016092664A (ja) * 2014-11-07 2016-05-23 株式会社ニコン デジタルカメラ、画像出力プログラムおよび画像記録プログラム
KR20160149842A (ko) * 2015-06-19 2016-12-28 삼성전자주식회사 영상 처리 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
JPH0759098A (ja) * 1993-06-30 1995-03-03 Eastman Kodak Co 輝度階調を用いたフルカラーイメージ適応的補間装置
EP0810795A2 (en) * 1996-05-29 1997-12-03 Eastman Kodak Company A particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
KR19980013288U (ko) * 1996-08-30 1998-06-05 양재신 차량용 브레이크 스위치의 장착구조
KR19980057038A (ko) * 1996-12-30 1998-09-25 김영환 칼라 필터 어레이 및 그 신호 처리 회로

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5053861A (en) * 1989-07-24 1991-10-01 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5189526A (en) * 1990-09-21 1993-02-23 Eastman Kodak Company Method and apparatus for performing image compression using discrete cosine transform
US5172227A (en) * 1990-12-10 1992-12-15 Eastman Kodak Company Image compression with color interpolation for a single sensor image system
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US5418565A (en) * 1994-02-15 1995-05-23 Eastman Kodak Company CFA compatible resolution reduction in a single sensor electronic camera
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5778106A (en) * 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
US5926218A (en) * 1996-06-04 1999-07-20 Eastman Kodak Company Electronic camera with dual resolution sensors
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
ATE235789T1 (de) * 1996-10-31 2003-04-15 Stuttgart Mikroelektronik Lichtempfindliche sensoreinheit für eine elektronische kamera, mit einer flächigen anordnung von bildpunkten sowie verfahren zum auslesen der bildpunkte zur farbsignalverarbeitung
US6046772A (en) * 1997-07-24 2000-04-04 Howell; Paul Digital photography device and method
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
JPH0759098A (ja) * 1993-06-30 1995-03-03 Eastman Kodak Co 輝度階調を用いたフルカラーイメージ適応的補間装置
EP0810795A2 (en) * 1996-05-29 1997-12-03 Eastman Kodak Company A particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
JPH1066094A (ja) * 1996-05-29 1998-03-06 Eastman Kodak Co カラーフィルターアレイパターン
KR19980013288U (ko) * 1996-08-30 1998-06-05 양재신 차량용 브레이크 스위치의 장착구조
KR19980057038A (ko) * 1996-12-30 1998-09-25 김영환 칼라 필터 어레이 및 그 신호 처리 회로

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237157B1 (ko) 2006-05-01 2013-02-25 엘지디스플레이 주식회사 표시장치의 다운 샘플링 방법 및 장치
KR101406562B1 (ko) 2007-05-22 2014-06-12 엘지전자 주식회사 다운 샘플링 장치 및 방법

Also Published As

Publication number Publication date
GB2357927A (en) 2001-07-04
US6236433B1 (en) 2001-05-22
DE19983600T1 (de) 2001-10-18
AU5927699A (en) 2000-04-17
GB2357927B (en) 2002-11-27
TW456153B (en) 2001-09-21
JP2002526999A (ja) 2002-08-20
GB0106060D0 (en) 2001-05-02
KR20010075439A (ko) 2001-08-09
JP4261062B2 (ja) 2009-04-30
WO2000019728A1 (en) 2000-04-06
DE19983600B4 (de) 2006-10-19

Similar Documents

Publication Publication Date Title
KR100569747B1 (ko) 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체
US6348929B1 (en) Scaling algorithm and architecture for integer scaling in video
US7015962B2 (en) Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 12-bit YCrCb color space
US6366694B1 (en) Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
US6215916B1 (en) Efficient algorithm and architecture for image scaling using discrete wavelet transforms
KR100855025B1 (ko) 디지털 컬러 행렬 이미지를 다운스케일링하기 위한 방법 및장치
US6366692B1 (en) Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space
TWI407800B (zh) 馬賽克影像的改良處理
JP7182907B2 (ja) カメラの画像データ処理方法およびカメラ
US6809765B1 (en) Demosaicing for digital imaging device using perceptually uniform color space
JP2002516540A (ja) 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP3942569B2 (ja) 撮像装置および画像データの変換方法
US20090046182A1 (en) Pixel aspect ratio correction using panchromatic pixels
JPH09284798A (ja) 信号処理装置
CN102143322A (zh) 摄像设备及其控制方法
KR20050015711A (ko) 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
US6842191B1 (en) Color image restoration with anti-alias
US6553153B1 (en) Method and apparatus for reducing video data
CN108307162B (zh) 高效灵活的色彩处理器
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
CN110692240A (zh) 立体拍摄装置
JP4997172B2 (ja) 画像分割処理用の画像信号処理装置、方法及びプログラム
EP2248102A2 (en) Method and device for reconstructing a color image
WO2004006565A2 (en) Method and apparatus for signal processing, computer program product, computing system and camera
JP2004201311A (ja) オフセットセンサアレイを変形する方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20040227

Effective date: 20060127

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090402

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee