KR20060051537A - 가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법 - Google Patents

가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법 Download PDF

Info

Publication number
KR20060051537A
KR20060051537A KR1020050088247A KR20050088247A KR20060051537A KR 20060051537 A KR20060051537 A KR 20060051537A KR 1020050088247 A KR1020050088247 A KR 1020050088247A KR 20050088247 A KR20050088247 A KR 20050088247A KR 20060051537 A KR20060051537 A KR 20060051537A
Authority
KR
South Korea
Prior art keywords
channels
green
pixel
image
blue
Prior art date
Application number
KR1020050088247A
Other languages
English (en)
Other versions
KR101201047B1 (ko
Inventor
헨리크 에스. 멜바르
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060051537A publication Critical patent/KR20060051537A/ko
Application granted granted Critical
Publication of KR101201047B1 publication Critical patent/KR101201047B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Abstract

(베이어 색 필터 어레이에 의해 생성된 것과 같은) 모자이크 샘플링 패턴으로된 이미지 픽셀 값들을 직사각형 샘플링 패턴들에 대응하는 4개의 색 채널로 매핑시키는 새로운 색 공간이 제공된다. 이들 새로운 채널들은 직사각형 샘플링 그리드에 대응하기 때문에, 이 채널은 압축과 같은 프로세싱 단계들에 보다 잘 순응한다. 일 실시예에서, 최초의 모자이크 패턴 픽셀들로부터 새로운 4-채널 색 공간으로의 변환은 정수 연산으로 가역성 있게 이루어진다. 이는 모자이크 (예를 들면, 본래의, 또는 본래의 CCD(Charged Couple Device)) 이미지를 위한 효과적인 무손실 이미지 압축 시스템을 구현할 수 있게 한다.
모자이크 샘플링 패턴, CCD 이미지, RGB, 인코딩, 디코딩, 베이어 패턴

Description

가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를 인코딩하는 시스템 및 방법{A SYSTEM AND METHOD FOR ENCODING MOSAICED IMAGE DATA EMPLOYING A REVERSIBLE COLOR TRANSFORM}
도 1은 본 발명을 구현하는 예시적인 시스템을 구성하는 범용 컴퓨팅 장치를 도시하는 도면.
도 2는 단일한-CCD 디지털 카메라에 캡춰된 색 이미지의 통상적인 베이어 모자이크이며, 여기서 녹색(G) 픽셀은 적색(R) 및 청색(B) 픽셀의 2배가 됨.
도 3은 도 2에 도시된 것과 같은 통상적인 3채널 베이어-모자이크 색 이미지의, 각각이 채널{Y, Dg, Co, Cg} 중에 하나인, 최초 사이즈의 1/4인 4개의 정규 이미지로의 매핑을 도시함.
도 4는 본 발명의 시스템 및 방법에 따른 색 변환의 예를 도시한 도면. 왼쪽 상단: 픽셀 위치 당 3가지 색(RGB)를 가지는 완전한-해상도 최초의 색 이미지. 오른쪽 상단: 도 2의 샘플링 패턴에 따른, 최초의 것의 베이어 모자이크 버전이며 이는 단일한 CCD 카메라의 출력을 시뮬레이션함. 왼쪽 하단: 베이어 모자이크 이미지의 확대, 여기서 R, G, 및 B 위치들 각각으로부터 점프(jump) 강도들을 명확하게 볼 수 있음. 오른쪽 하단: 본 발명의 YDgCoCg 변환에 의해 형성된 4개의 서브-이미지(왼쪽 상단부터 시계방향으로: Y, Dg, Cg, Co).
도 5a 및 5b는 본 발명의 시스템 및 방법의 YDgCoCg 가역성 변환을 이용하는 본래의 CCD 이미지들의 예시적인 압축 시스템을 도시하는 것으로, 도 5a는 인코더를 도시하는 한편, 도 5b는 대응하는 디코더를 도시함. 이용될 수 있는 하나의 무손실 이미지 코덱은 PTC 코덱[7]이 있으나, 본 발명의 시스템 및 방법의 가역성 변환은 임의의 무손실 압축 시스템에서 이용될 수 있음.
도 6a는 본 발명의 일 실시예에 따른 무손실 인코딩 프로세스의 흐름도.
도 6b는 본 발명의 일 실시예에 따른 무손실 디코딩 프로세스의 흐름도.
도 7은 본 발명의 시스템 및 방법에 따른 래더(ladder) 연산들을 통한 정수형-가역성의 YDgCoCg-R 색 공간 변환의 예시적인 구현을 도시. 상단: 2x2 기본 정방향 및 역방향 래더 연산자. 중간: 정방향 YDgCoCg-R 변환. 하단: 역변환.
도 8a 및 8b는 본 발명의 시스템 및 방법의 YDgCoCg 가역성 변환을 이용하는 본래의 CCD 이미지들의 예시적인 손실 압축 시스템을 도시하는 것으로, 다양한 손실 압축기가, 원하는 경우, 본 발명의 시스템 및 방법에 이용되어 높은 압축률을 얻을 수 있으며, 도 8a는 인코더를 도시하는 한편, 도 8b는 대응하는 디코더를 도시함.
도 9a는 본 발명의 일 실시예에 따른 손실 인코딩 프로세스의 흐름도.
도 9b는 본 발명의 일 실시예에 따른 손실 디코딩 프로세스의 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
163: 카메라
191: 모니터
508a, 508b, 508c, 508d: 무손실 인코더
518a, 518b, 518c, 518d: 무손실 디코더
808a, 808b, 808c, 808d: 손실 인코더
818a, 818b, 818c, 818d: 손실 디코더
[1] R. Kimmel, “Demosaicing: image reconstruction from color CCD samples,” IEEE Trans. on Image Processing, vol. 8, pp. 1221-1228, Sept. 1999.
[2] T. Toi and M. Ohita, “A subband coding technique for image compression in single CCD cameras with Bayer color filter arrays,” IEEE Trans. Consumer Electronics, vol. 45, pp. 176-180, Feb. 1999.
[3] S.Y. Lee and A. Ortega, “A novel approach of image compression in digital cameras with a Bayer color filter array,” IEEE Int. Conf. Image Processing, Thessaloniki, Greece, vol. 3, pp. 482-485, Oct 2001.
[4] C. C. Koh, J. Mukherjee, and S. K. Mitra, “New efficient methods of image compression in digital cameras with color filter array,” IEEE Trans. Consumer Electronics, vol. 49, pp. 1448-1456, Nov. 2003.
[5] P. Lux, “A novel set of closed orthogonal functions for picture coding,” Arch. Elek. Ubertragung, vol. 31, pp. 267-274, 1977.
[6] F. A. M. K. Bruekers and A. W. M. van den Enden, “New networks for perfect inversion and perfect reconstruction,” IEEE J. Selected Areas Commun., vol. 10, pp. 130-136, Jan. 1992.
[7] H. S. Malvar, “A system and method for progressively transform coding digital data,” U.S. Patent No. 6,771,828 issued August 3, 2004.
[8] R. C. Calderbank, I. Daubechies, W. Sweldens, and B.-L.Yeo, “Wavelet transforms that map integers to integers,” Appl. Comput. Harmon. Anal., vol. 5, no. 3, pp. 332-369, 1998.
[9] H. S. Malvar and G. Sullivan, “YCoCg-R: a color space with RGB reversibility and low dynamic range,” Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, Doc. No. JVT-I014, Trondheim, Norway, July 2003.
[10] P. Lux, “A novel set of closed orthogonal functions for picture coding,” Arch. Elek. Ubertragung, vol. 31, pp. 267-274, 1977.
본 발명은 색 이미지 데이터를 인코딩하고 디코딩하는 시스템 및 방법에 관한 것으로, 보다 상세히는 가역성의 색 변환을 채용함으로써 모자이크된 샘플링 패턴으로 포맷팅된 이미지 데이터를 압축하는 시스템 및 방법에 관한 것이다.
통상적인 디지털 카메라는 하나의 감광 센서 및 색 필터 어레이를 이용한다. 색 필터 어레이 내의 각 픽셀 엘리먼트는 하나의 색 성분, 통상적으로, 적색, 녹 색, 또는 청색의 강도 정보를 기록한다. 대부분의 적용에서, 캡춰된 데이터는 완전한 색 이미지로 내삽(interpolate)된 다음, 이 이미지는 압축된다. 베이어-패턴(Bayer-patterned) 색 필터 어레이가 바람직한 색 필터 어레이로서 종종 이용된다. 이 유형의 필터에서는, 녹색 필터가 적색 및 청색 필터와 함께 비월주사(interlace)된다.
그러나, 색 내삽은 압축 이후가 아닌, 압축 이전에 수행될 때, 보다 좋은 이미지 품질 및 높은 압축률이 달성될 수 있음을 유의한다. 이미지 압축에 있어서의 목적은 통상적으로 높은 이미지 품질을 유지하면서도 압축된 데이터의 압축률을 증가시키는 것이다.
그러나, 데이터를 압축하기 이전에 내삽하는 알려진 이미지 압축 시스템에서도 여러가지 문제점이 있다. 예를 들면, JPEG(Joint Photographic Experts Group) 압축 제품으로 색 필터 어레이 데이터를 직접 압축하는 것은 낮은 품질 이미지를 산출한다. 그러나, 베이어 패턴 색 필터 어레이 데이터가 3원색 성분(적색, 녹색, 청색)으로 분리된다면, 적색 및 청색 성분들은 조밀한 4각형 어레이로 다운-샘플링되고 바로 압축될 수 있다. 이와 같이 하기 위하여, 베이어 포맷을 대표하는 오점형(quincunx) 녹색 픽셀의, 압축에 적절한 형태로의 변환을 찾아낼 필요성이 있다. Lee와 Ortega[3]는 픽셀 정보를 베이어 패턴 색 필터 어레이로부터 다른 범위로 매핑시키는 가역성의 변환을 이용한다. 이 매핑은 최초의 비월주사된 어레이를 마름모로 회전시켜, 데이터를 모두 묶는다. 그러나, 변환 이후에 압축되어야 할 데이터의 형태는 직사각형이 아니므로 통상적인 JPEG 압축에 적합하지 못하다. Toi 및 Ohita[2]는 오점형 녹색 어레이를 프로세싱하기 위해 분리되지 않은 2차원 다이아몬드 필터를 이용하는 색 필터 어레이 데이터 압축에 부대역 분해를 적용시킨다. 그 다음 최적 비율-왜곡에 대한 부대역이 인코딩된다. 이미지 데이터의 재구성이 데이터를 디코딩하고 통합하고 내삽함으로써 수행되어 결과물인 완전한 색 이미지를 획득한다. 이 방법도 어느 정도 계산적인 비용이 들고 정수 연산으로는 정확한 가역성을 허용하지 않기 때문에, 무손실 압축에 적절하지 못하다. Koh, Mukherjee 및 Mitra [4]도 또한 전체 색 내삽 이전에 색 필터 어레이 데이터를 압축하는 방법을 연구하였다. 이 시스템에서, 이미지 내용물이 압축의 성능 및 삽입 알고리즘에 영향을 미쳤고 때때로 이미지 품질에 불리한 영향을 미쳤다.
일반적으로, - 손실 압축 및 무손실 압축인 - 2가지 압축 유형이 존재한다. 무손실 압축은 압축 및 압축해제 이후에 최초의 데이터가 정확하게 복원되도록 하는 반면, 손실 압축은 압축 및 압축해제 이후에 데이터가 최초의 데이터와 약간 달라지도록 복원되게 하는 것이다. 손실 압축은 통상적으로 무손실 압축보다 더 좋은 압축률을 제공하는 반면, 무손실 압축은 압축해제 이후에도 더 좋은 이미지 품질을 제공한다는 점에서 이들 2가지 유형의 압축 간의 상반관계(trade-off)가 존재한다.
본 명세서의 나머지 부분에서는, 설명은 2개의 각 괄호 안에 포함된 숫자 지정자에 의해 식별되는 다양한 개개의 공개를 참조함을 유의한다. 예를 들면, 이러한 참조는 "참조[1]" 또는 간단히 "[1]"을 인용함으로써 식별될 수 있다. 각 지정자에 대응하는 공개들의 리스트는 발명의 종래 기술의 문헌 정보 섹션에서 볼 수 있다.
본 발명의 시스템 및 방법은, 베이어 데이터 포맷을 대표하는 모자이크-패턴 픽셀을 정규 패턴에 대응하는 4색 채널에 매핑시킴으로써 이전 이미지 압축 스킴의 전술한 한계를 극복한다. 본 발명의 몇몇의 실시예에서, 정수 값을 가지는 변환 행렬 및 역변환 행렬들이 채용된다. 이는 계산적인 복잡도를 감소시키며, 무손실 압축은 쉽게 수행될 수 있다. 그 다음 이들 가역성 색 변환 및 각 색 채널에 대한 무손실 코덱을 이용함으로써 디지털 카메라로부터의 본래의 CCD(Charged Couple Device) 데이터에 대한 무손실 압축 시스템이 구축될 수 있다.
본 발명은 (베이어 색 필터 어레이[1]에 의해 생성된 것과 같은) 모자이크 샘플링 패턴으로 된 이미지 픽셀 값들을 직사각형 샘플링 패턴들에 대응하는 4 색 채널로 매핑시키는 새로운 색 공간을 포함한다. 이들 새로운 채널들은 직사각형 샘플링 그리드에 대응하기 때문에, 이 채널은 압축과 같은 프로세싱 단계들에 보다 잘 순응한다.
본 발명의 추가적인 양태는 최초의 모자이크 패턴 픽셀들로부터 새로운 4-채널 색 공간으로의 변환이 정수 연산으로 가역성 있게 이루어질 수 있다는 점이다. 이 점은 모자이크 (예를 들면, 본래의, 또는 본래의 CCD) 이미지를 위한 효과적인 무손실 이미지 압축 시스템을 구현할 수 있게 한다. 본 발명의 시스템 및 방법의 한 동작하는 실시예에서, (PNG - "휴대용 네트워크 그래픽" - 와 같은) 픽셀 값 예측에 기초하는 시스템보다 좋은 압축 결과 및 보다 낮은 계산적인 복잡도를 가지는 이 변환은, 순차적인 변환 코덱(PTC)[7]에서 이용되었다. 그러나, 이 변환은 임의의 통상적인 코덱으로 적용될 수 있다.
본 발명의 4-채널 변환이 임의의 손실 이미지 코덱과 결합된 정수형-가역성 형태 또는 감소된-복잡도 형태 중 하나에서 이용될 수 있는 경우에서와 같이, 무손실 압축이 불필요할 때, 본 발명의 일 실시예는 손실된 결과를 제공할 수도 있다.
본 발명의 시스템 및 방법은 비교적 낮은 계산적인 복잡도를 가지고 본래의 CCD 카메라 데이터를 효과적으로 압축할 수 있게 하여, 카메라 제조업체들을 매료시킨다. 본 발명의 시스템 및 방법은 또한 더 높은 이미지 품질을 제공하고 데이터를 다른 싸이트들에 전송하는 데에 있어 더 낮은 대역폭 요구량 및 이미지 데이터를 저장 매체에 저장하는데에 있어 더 낮은 저장소 요구량을 제공한다.
본 발명의 시스템 및 방법은 또한 (PTC와 같은) 무손실 및 손실 압축 모두를 지원하는 코덱이 모자이크-센서 디지털 카메라에서 이용되도록 하여 높은 압축률(손실) 및 본래의 것에 가장 충실한 (무손실) 포맷 모두를 지원한다. 이는, 손실 압축과 무손실 압축에 서로 다른 코덱들이 채용되어, 펌웨어 사이즈 또는 칩 게이트 카운트를 증가시키는, 본래의 모드를 지원하는 현재 디지털 카메라보다 더 바람직하다.
여기서 기술한 이점들 외에, 본 발명의 다른 이점들은 본 명세서의 이하 상세한 설명이 본 명세서에 첨부된 도면에 관련하여 설명될 때 보다 명백해질 것이다.
본 특허의 출원은 적어도 하나의 채색된 도면을 포함한다. 색 도면(들)을 포함하는 본 특허의 사본은 요청 및 필요한 요금을 지불했을 때 미국 특허청이 제공할 것이다.
본 발명의 특정한 특징, 양태, 및 이점은 이하의 설명, 특허 청구 범위 및 첨부된 도면에 관련하여 보다 잘 이해될 것이다.
본 발명의 바람직한 실시예의 이하 설명에서, 본 명세서의 일부를 형성하고 본 발명이 실행될 수 있는 예시적인 특정 실시예로서 도시된 첨부된 도면으로의 참조가 이루어졌다. 다른 실시예들이 이용될 수 있고 본 발명의 범위를 벗어나지 않는 구조적인 변경이 이루어질 수 있다고 이해된다.
1.0 예시적인 오퍼레이팅 환경
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 예를 나타낸다. 컴퓨팅 시스템 환경(100)은 단지 적절한 컴퓨팅 환경의 일 예이며 본 발명의 사용 또는 기능의 범위에 제한을 가하도록 의도된 것은 아니다. 컴퓨팅 환경(100)은 예시적인 오퍼레이팅 환경(100)에 도시된 컴포넌트들 중의 임의의 하나 또는 조합에 관하여 임의의 종속성(dependency) 또는 요구사항(requirement)을 갖는 것으로 해석되어서는 안된다.
본 발명은 많은 다른 범용 또는 특수목적 컴퓨팅 시스템 환경들 또는 구성들과 함께 동작된다. 본 발명과 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경, 및/또는 구성의 예로는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드(hand-held) 또는 랩탑 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 시스 템, 셋 탑 박스(set top box), 프로그램가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기의 시스템 또는 장치 중의 임의의 것을 포함하는 분산형 컴퓨팅 환경 등이 포함되지만, 이에 한정되지 않는다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 일반적으로 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크된 원격 프로세싱 장치에 의해 태스크를 수행하는 분산형 컴퓨팅 환경에서 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 국부 및 원격 컴퓨터 저장 매체 내에 모두 위치할 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110)의 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들로는, 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(120)에 연결시키는 시스템 버스(121)가 포함될 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇가지 유형의 버스 구조 중의 임의의 것일 수 있다. 예로서, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 인핸스드 ISA(Enhanced ISA; EISA) 버스, 비디오 일렉트로닉스 표준 어소시에이션 (VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 알려진 주변 컴포넌트 상호접속(PCI) 버스를 포함하지만, 이에 한정되는 것은 아니다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형(removable) 및 비분리형(non-removable) 매체를 둘다 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 둘다 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터(110)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다. 통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘 등의 변조된 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하도록 설정되거나 변환된 특성을 하나 또는 그 이상을 갖는 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 등의 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체 를 포함하지만, 이에 한정되지 않는다. 상술한 것들 중의 임의의 조합이 컴퓨터 판독가능 매체의 범위 내에 또한 포함되어야 한다.
시스템 메모리(130)는 ROM(131) 및 RAM(132) 등의 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같은 때에 컴퓨터(110) 내의 구성요소들 간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(133; BIOS)은 일반적으로 ROM(131)에 저장된다. RAM(132)은 일반적으로 프로세싱 유닛(120)에 즉시 액세스될 수 있고 및/또는 프로세싱 유닛(120)에 의해 현재 작동되는 프로그램 모듈 및/또는 데이터를 포함한다. 예로서, (한정하고자 하는 것은 아님) 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 도시한다.
컴퓨터(110)는 또한 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 1에는 비분리형 비휘발성 자기 매체로부터 판독하거나 그 자기 매체에 기록하는 하드 디스크 드라이브(141), 분리형 비휘발성 자기 디스크(152)로부터 판독하거나 그 자기 디스크에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광 매체 등의 분리형 비휘발성 광 디스크(156)로부터 판독하거나 그 광 디스크에 기록하는 광 디스크 드라이브(155)가 도시되어 있다. 예시적인 오퍼레이팅 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD(Digital versatile disk), 디지털 비디오 테이프, 고체 RAM, 고체 ROM 등을 포함하지만 이에 한정되지 않는다. 하드 디스크 드라이브(141)는 일반적으로 인터페 이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 일반적으로 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
앞서 기술되고 도 1에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(110)를 위한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 도 1에서, 예를 들어, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시된다. 이들 컴포넌트는 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)와 동일할 수도 있고 다를 수도 있음을 유의한다. 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 다른 복사본(different copies)임을 나타내기 위하여 다른 번호를 부여하였다. 사용자는 일반적으로 마우스, 트랙볼, 또는 터치 패드라 불리우는 포인팅 장치(161) 및 키보드(162)와 같은 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. (도시되지 않은) 기타 입력 장치는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 입력 장치 및 그외의 입력 장치는 시스템 버스(121)에 연결된 사용자 입력 인터페이스(160)를 통해 종종 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 포트(USB)와 같은 기타 인터페이스 및 버스 구조에 의해 접속될 수 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치는 또한 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터외에도, 컴퓨터는 또한 출력 주변 인터페이스(195)를 통해 접속될 수 있는 스피커(197) 및 프린터(196) 등의 기타 주변 출력 장치를 포함할 수 있다. 본 발명의 특별한 취지로, 일련의 이미지(164)를 캡춰할 수 있는 (디지털/전자 정지 또는 비디오 카메라, 또는 필름/사진 스캐너와 같은) 카메라(163) 또한 퍼스널 컴퓨터(110)로의 입력 장치로서 포함될 수 있다. 또한, 단지 하나의 카메라가 도시되지만, 복수의 카메라가 퍼스널 컴퓨터(110)로의 입력 장치로서 포함될 수 있다. 하나 이상의 카메라로부터의 이미지(164)는 적절한 카메라 인터페이스(165)를 통하여 컴퓨터(110)에 입력된다. 이 인터페이스(165)는 시스템 버스(121)에 접속되므로, 이미지가 RAM(132), 또는 컴퓨터(110)와 관련된 다른 데이터 저장 장치 중 하나로 라우팅되고 이 장치들에 저장되도록 한다. 그러나, 이미지 데이터는 반드시 카메라(163)를 이용하지 않고도 전술된 컴퓨터 판독가능 매체 중 임의의 것으로부터 컴퓨터(110)에 입력될 수 있음을 유의한다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer) 장치, 또는 기타 공통 네트워크 노드일 수 있으며, 비록 도 1 에는 메모리 저장 장치(181)만이 도시되어 있지만, 컴퓨터(110)에 관하여 상술한 구성요소 중 다수 또는 모든 구성요소를 일반적으로 포함한다. 도 1에 도시된 논리적 접속은 근거리 통신망(LAN; 171) 및 원거리 통신망(WAN; 173)을 포함하지만, 그 외의 네트워크를 포함할 수도 있다. 이러한 네트 워크 환경은 사무실, 기업 광역 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.
LAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 일반적으로 인터넷 등의 WAN(173)을 통해 통신을 구축하기 위한 모뎀(172) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타 적절한 메카니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110)에 관하여 도시된 프로그램 모듈 또는 그 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예로서 (한정하고자 하는 것은 아님), 도 1은 메모리 장치(181)에 상주하는 원격 애플리케이션 프로그램(185)을 도시한다. 도시된 네트워크 접속은 예시적인 것이며, 컴퓨터들간의 통신 링크를 구축하는 그 외의 수단이 사용될 수 있다고 인식될 것이다.
여기서는 예시적인 오퍼레이팅 환경이 기술되었고, 본 발명의 상세한 설명 섹션의 나머지 부분은 본 발명을 채용하는 프로그램 모듈의 설명에 치중할 것이다.
2.0 가역성의 색 변환을 채용하는 모자이크 이미지 데이터를 인코딩하는 시스템 및 방법
본 발명에 따른 시스템 및 방법은 이하의 섹션들에서 보다 상세히 기술된다.
2.1 본 발명의 일반적인 설명
본 발명은 (베이어 색 필터 어레이[1]에서 생성된 것 것과 같은) 모자이크 샘플링 패턴으로된 이미지 픽셀 값들을 직사각형 샘플링 패턴들에 대응하는 4개의 색 채널들에 매핑시키는 새로운 색 공간을 포함한다. 이들 새로운 채널들이 직사각형 샘플링 그리드에 대응하기 때문에, 이 채널들은 압축과 같은 프로세싱 단계들에 보다 잘 순응한다.
본 발명의 추가적인 양태는 최초의 모자이크 패턴 픽셀들로부터 새로운 4-채널 색 공간으로의 변환이 정수 연산으로 가역성 있게 이루어질 수 있다는 점이다. 이 점은 모자이크 (예를 들면, 본래의, 또는 본래의 CCD) 이미지를 위한 효과적인 무손실 이미지 압축 시스템을 구현할 수 있게 한다. (PNG - "휴대용 네트워크 그래픽" - 와 같은) 픽셀 값 예측에 기초하는 시스템보다 좋은 압축 결과 및 보다 낮은 계산적인 복잡도를 가지는, 이 변환은 PTC 코덱[7]에서 이용되었다. 그러나, 본 발명의 시스템 및 방법은 무손실 및 손실 압축 모두에서 이용될 수 있다.
도 2는 단일한-CCD 디지털 카메라로부터의 픽셀 값(202)의 통상적인 패턴을 도시한다. 서로 다른 카메라들은 서로 다른 패턴들을 이용할 수 있지만, 거의 모든 카메라가 녹색(G) 픽셀이 적색(R) 및 청색(B) 픽셀의 2배가 되는 베이어 디자인 및, 녹색 픽셀들과 각각의 적색-청색 쌍에 대한 대각선 인접 관계(오점형 패턴)를 따른다.
픽셀들이 도 2와 같은 패턴을 가지는 이미지를 압축하기를 원한다면, 단일-채널(예를 들면, 흑백) 이미지로 설계된 표준 압축기에 단지 픽셀 값들만을 입력 할 수 없다. (인접한 픽셀들이 동일한 색들로 되어 있지 않기 때문에) 값들에 있어서의 점프(jump)가 압축된 데이터의 사이즈를 상당히 증가시키는 고주파 성분들 을 산출한다.
본 발명은 도 2의 것과 같은 패턴의 이미지가 최초의 이미지 사이즈의 1/4인 4개의 이미지에 매핑시킨다. 각각의 4개의 이미지는 독립적으로 압축되는 독립된 색 채널로서 보일 수 있다. 4개의 이미지는, 자신의 픽셀들이 이 4개의 채널 각각에서 정규적으로 샘플링된 패턴에 대응하기 때문에 평활하다. 그러므로, 이들은 임의의 무손실 이미지 압축기로 잘 압축되었다.
본 발명은 도 2의 것들과 같이 모자이크 패턴인 픽셀들을 정규 패턴에 대응하는 4개의 색 채널들에 매핑시키는 방법이다. 기본 아이디어는 "매크로픽셀"이라 칭하는 픽셀들의 모든 2x2 블럭 마다 도 2의 것에서와 같은 베이어 샘플링 그리드가 일반적이라는 관찰에서 유래하였다. 따라서, 본래의 모자이크 이미지의 각 2x2 매크로픽셀에 대하여, 자신의 G1, G2, R, 및 B 값을, 4개의 채널: Y, Dg, Co, Cg에 대응하는, 4개의 새로운 픽셀들에 매핑시킨다. 그러므로, 이들 채널들 각각은 도 3에 도시된 바와 같이, 정규적으로 샘플링된 새로운 이미지를 생성한다. 보다 상세히는, 최초의 3-채널 베이어 모자이크 이미지(302)는, 각각이 채널 {Y, Dg, Co, 및 Cg}(304, 306, 308 및 310) 중 하나이며, 사이즈가 최초의 이미지의 1/4인 4개의 정규 이미지에 매핑된다. 최초의 모자이크 이미지가 N × N 픽셀을 가진다면, 각각의 색 채널 이미지는 N/2 × N/2 픽셀을 갖는다.
매크로픽셀 G1, G2, R, 및 B 값들의 집합으로부터 4개의 변환된 색 채널들의 4개의 픽셀 값 Y, Dg, Co, 및 Cg로 매핑시키는 것은
Figure 112005052953597-PAT00001
으로 주어진다.
역 변환은
Figure 112005052953597-PAT00002
로 주어짐을 쉽게 알 수 있다.
YDgCoCg 색 공간은 다음과 같은 몇몇의 흥미로운 특성들을 가진다.
·Y 채널은 바로, 녹색 분포가 50%이고 R 및 B의 분포가 25%인, 매크로픽셀에서의 모든 4개의 최초의 값의 평균이다. 그러므로, Y는 휘도 채널로서 보일 수 있다. 즉, 이 채널은 이미지의 흑백 정보를 포함한다. Y의 동적인 범위는 최초의 G1, G2, R, 및 B 픽셀 각각의 동적인 범위와 동일하다.
·Dg, Co 및 Cg는 모두 색 채널들이다. 매크로픽셀이 G1 = G2 = R = B인 값 을 가진다면, 매크로픽셀은 바로 Dg = Co = Cg = 0인 흑백 레벨이다.
·Dg는 "차이 녹색" 채널이다. 최초의 이미지의 픽셀 값이 평활해질수록, Dg 픽셀들의 값은 더 작아지는 것이 바람직하다.
·앞선 YCoCg 색 공간 디자인 [9]에서와 마찬가지로, Cg는 "초과 녹색" 채널이다; 수학식(2)에서 볼 수 있듯이, 최초의 녹색 값들은 단지 휘도 Y, 차이 녹색 Dg, 및 초과 녹색 Cg로부터 재구성될 수 있다. 중점이 오렌지색인 (녹색 값들에 의존하는) 적색과 노란색 간의 색조에 대응하여, 입력 픽셀들이 R = 최대값 및 B = 최소값을 가질 때 Co 값이 가장 커지기 때문에 Co는 (확실하지는 않지만) 오렌지색 채널과 유사하다.
수학식 1 및 수학식 2에서의 변환 행렬들 및 역변환 행렬들의 한 흥미로운 양태는 이 행렬들의 엔트리들이 0, 1/4, 1/2, 또는 1과 같은 절대값을 가진다는 것이다. 이는, 픽셀 값들이 정수인 경우, 이들 인수들에 의한 곱이, 오른쪽-시프트 연산자들에 의해 구현될 수 있기 때문에, 계산적인 복잡도를 감소시키게 된다.
보통 베이어 모자이크 (본래의) 이미지는, 베이어 패턴을 고려하는, 이전에 인코딩된 이웃 값에 기초하여 본래의 이미지 내의 특정 픽셀의 값을 예측하는 비선형 예측자를 통해 인코딩된다. 몇몇의 출판물들은 베이어-모자이크 {R, G1, G2, B} 데이터를 휘도 및 채도 채널들 [3], [4]에 매핑시키는 색 공간 변형의 이용을 고려해왔지만, (오직 하나의 휘도 채널을 가지기 때문에) 2개의 휘도 채널 및 2개의 색 채널을 이용하여, 본 발명에 따른 시스템 및 방법의 4개의 채널 공간보다 더 높은 엔트로피 표현을 유도한다. 또한, [3], [4]의 변환 행렬들은 이들의 엔트리 들이 분수이기 때문에, 수학식 1 및 수학식 2의 변환 행렬들 보다 더 높은 복잡도를 가진다. 결과적으로, [3], [4]의 구조는 정수 연산으로는 정확한 가역성을 허용하지 않기 때문에, 무손실 압축과 같은 적용에는 적합하지 못하다.
도 4는 본 발명에 따른 시스템 및 방법의 색 공간 변환을 이용하는 예를 도시한다. 왼쪽 상단 이미지(402)는 픽셀 위치 당 3개의 색(RGB)를 가지는 완전한-해상도 최초의 색 이미지이다. 오른쪽 상단의 이미지(404)는 도 2의 샘플링 패턴에 따른 최초의 것의 베이어 모자이크 버전이며, 이는 단일한-CCD 카메라의 출력을 시뮬레이션한다. 왼쪽 하단 이미지(406)는 베이어 모자이크 이미지의 확대이며, 여기서 R, G, 및 B 위치들 각각으로부터 점프 강도들을 명확하게 볼 수 있다. 오른쪽 하단 이미지(408)는 본 발명의 YDgCoCg 변환에 의해 형성된 4개의 서브-이미지(왼쪽 상단부터 시계방향으로: Y, Dg, Cg, Co)를 도시한다. 베이어 모자이크 이미지에서의 픽셀 값들 간의 불연속성이 뚜렷하여, 이 이미지는 단일한-채널 압축기에 직접적으로 입력되어서는 안된다. 본 발명의 4-채널 색 공간 변환에 의해 생성된 4개의 서브-이미지는 매우 평활하므로, 압축에 용이하게 적용된다. 또한, 대부분의 정보는 Y(휘도 채널) 내에 있다는 것을 알 수 있다. Dg 이미지는 녹색 내의 그라디언트(gradient)가 가장 큰 곳의 상세를 바로 볼 수 있고, Co 및 Cg 이미지는 오직 색 정보만 포함하기 때문에 매우 부드럽다. 그러므로, Dg, Co, 및 Cg 서브-이미지는 각각 보통 Y 서브 이미지의 압축된 버전의 사이즈보다 훨씬 작은 사이즈로 압축될 수 있다.
2.2 정수 미만 연산의 정확한 역변환(exact inversion under integer arithmetic)
본 발명의 새로운 4-채널 색 공간 변형의 주된 적용들 중 하나는 본래의(베이어 모자이크) 이미지의 무손실 압축이다. 이를 위하여, 압축을 위해 최초의 {R, G1, G2, B} 픽셀들을 변환된 {Y, Dg, Co, Cg} 픽셀들로 매핑할 뿐 아니라, 압축 해지 이후에 디코딩된 {Y, Dg, Co, Cg} 픽셀들을 최초의 {R, G1, G2, B} 값들에 정확히 반대로 매핑할 수도 있어야 하는 것이 필요하다.
대부분의 경우, 본질적으로 모든 디지털 카메라에서 이용되는 아날로그/디지털 변환기가 정수-값 출력들을 산출하기 때문에, 최초의 픽셀 G1, G2, R, 및 B 값은 정수값이다. 또한, 이 값들을 무손실 압축기에 입력하고자 할때 특히, 변환된 픽셀 값 Y, Dg, Co, 및 Cg가 정수값이 되기를 일반적으로 원한다. 정수 연산을 이용한다면, 수학식 1 및 수학식 2에서의 1/4 또는 1/2와 같은 인자들로 곱하는 것은 작은 손실(truncation) 에러를 일으킨다(예를 들면, 정수 연산에서, 1/2 × 333 = 333 >> 1 = 166이 되지만 정확한 값은 166.5일 것이다). 비록 작은 값이라도, 이들 에러는 변환된 정수 Y, Dg, Co, 및 Cg 값들로부터 최초의 정수 G1, G2, R, 및 B 값을 정확하게 재구성하는 것에 지장을 줄 것이다. 그러므로, 수학식 2가 수학적으로는 실수의 정확한 인버스(inverse)를 나타내지만, 이 인버스는 정수 연산으로는 정확하지 못한다.
그러나, 본 발명은 또한 정수 미만 연산의 정확한 역변환이 수행되도록 수학식 1 및 수학식 2에서의 변환 및 역변환을 계산하는 방법을 포함한다. 이 방법은, 예를 들면, 도 5a 및 도 5b의 블럭도에 의하여 본래의 CCD(모자이크) 이미지들을 위한 무손실 이미지 압축 시스템을 구현하도록 한다.
본 발명의 한 무손실 구현의 인코더(502)가 도 5a에 도시된다. 이 인코더는 채널 분리기(504), 4-채널 색 변환 모듈(506), 4개의 무손실 인코더(508a, 508b, 508c, 508d) 및 멀티플렉서(510)를 포함한다. 인코딩 과정의 예시적인 흐름도는 도 6a에 도시된다. 도 6a의 프로세스 동작(602)에 도시된 바와 같이, 본래의 CCD 데이터가 채널 분리기에 입력된다. 채널 분리기는 (베이어 포맷으로 된) 본래의 CCD 데이터를 (예를 들면, 베이어 포맷으로된 R, G1, G2, 및 B 인접 픽셀들의 모든 집합마다) 매크로-픽셀 단위 상의 4개의 채널, R, G1, G2, 및 B로 분리시킨다. 그 다음, 프로세스 동작(604)에서 도시된 바와 같이, 4개의 채널 색 변환은 R, G1, G2, 및 B 채널들을 Y, Dg, Co, 및 Cg 색 공간 또는 Y, Dg, Co, 및 Cg 채널들로 전환시킨다(프로세스 동작(606)). 이는 각각이 최초의 입력 데이터 사이즈의 1/4인, Y, Dg, Co, 및 Cg 성분들에 대한 4개의 서브-이미지를 산출한다. 4개의 서브-이미지들은 각각 무손실 인코더에 입력된다(프로세스 동작(608)). 그 다음 각 서브-이미지 중 하나인, 4개의 인코딩된 채널이 결합되어(프로세스 동작(610)) 인코딩된 파일 또는 비트스트림을 산출한다.
디코더가 도 5b에 도시된다. 이 디코더는 디멀티플렉서(516), 4개의 무손실 디코더(518a, 518b, 518c, 518d), 4-채널 색 역변환(520), 및 채널 결합기(522)를 포함한다. 디코딩 프로세스의 예시적인 흐름도가 도 6b에 도시된다. 도 6b의 프로세스 동작(612)에 도시된 바와 같이, 인코딩된 파일 또는 비트스트림이 인코딩된 파일 또는 비트스트림을 개별 인코딩된 채널들로 분리시키는(프로세스 동작(614)) 디멀티플렉서에 입력된다. 개별 인코딩된 채널들 각각은 각 인코딩된 채널을 Y, Dg, Co, 및 Cg 성분으로 디코딩하는(프로세스 동작(616)) 무손실 디코더에 입력된다. 그 다음 4-채널 색 역변환은 Y, Dg, Co, 및 Cg 성분을 R, G1, G2 및 B 채널로 변환시킨다(프로세스 동작(618)). 그 다음 프로세스 동작(620)에 도시된 바와 같이, 채널 결합기는 R, G1, G2 및 B 채널을 (베이어 포맷으로 된) 디코딩된 CCD 데이터로 결합시킨다.
수학식 1 및 수학식 2에서의 변환/역변환 쌍의 정수형-가역성의 구현의 핵심은 1/2 및 1/4에 의한 곱에서 일련의 손실 에러를 정확하게 제어하는 것이다. 한 구현에서, 이 구성은 [7], [9]에서의 가역성의 2x2 래더 구조에 기초한다.
2.3 YDgCoCg -R 변환 및 역변환
본 발명의 정수-가역성의 4-채널 색 변환은 PTC 코덱 [7],[9]에서 이용되는 YCoCg-R 변환과 유사하게도, YDgCoCg-R 변환이라 칭한다. 모든 최초의 픽셀 값 및 변환된 팩셀 값을 정수라고 생각하면, YDgCoCg-R 변환 및 YDgCoCg-R 역변환은 이하의 의사코드(pseudo-code)에 의해 기술된다.
YDgCoCg-R 변환
Figure 112005052953597-PAT00003
YDgCoCg-R 역변환
Figure 112005052953597-PAT00004
수학식 4의 역변환은 수학식 3의 변환의 정확한 인버스임을 알면, 역변환은 동일한 중간 값들을 복구하고, 이 값들로부터 동일한 최초의 값을 복구함을 유의한다. 이는 이 역변환이이 정확하게 반대의 순서로 각 수학식을 역으로 수행하기 때문이다. 따라서, 역 변환 수학식의 손실 에러는 변환 수학식의 에러와 동일하지만, 부호는 반대이다. 따라서, 손실 에러는 상쇄된다.
수학식 3 및 수학식 4에서의 계산이 도 7의 흐름도에 의해 나타날 수 있다. 변환 및 역변환이 간단한 2개의 입력, 2개의 출력 래더 연산자의 반복적인 적용을 통해 계산되는 것을 알 수 있는데, 여기에서 2개의 입력 x와 y는 2개의 출력 (x+y)/2 및 x-y에 매핑된다. 이러한 2x2 래더 변환은 "평균/차이 래더" [10]라 칭하며, 평균 출력 (x+y)/2는 역 래더에 의해 상쇄되는 작은 손실 에러를 가진다. 이 래더 구조는 가역성의 블럭 변환 [6], [7] 및 가역성의 파장 변환[8]을 포함하는 가역성 변환들을 위한 많은 기법의 근간이 되어왔다.
그러므로 새로운 가역성의 YDgCoCg-R 색 공간 변환은 이전의 YCoCg-R 가역성 변환[9]의 확장이다. YCoCg-R이 가역성의 방식으로 완전한-해상도 {R,G,B} 데이터를 휘도/채도 채널들에 매핑시키기에 유용한 한편, YDgCoCg-R은 가역성의 방식으로, 베이어 모자이크 {R,G,B} 데이터를 평활한 휘도/채도 채널들에 매핑시키기에 유용하다.
2.4 스케일링되는 (Scaled) 변환
몇몇의 적용에서 한 적용은 정수 연산으로의 정확한 가역성을 보존할 필요가 없을 수 있지만 어떤 적용은 베이어 모자이크 이미지와 동등한 4개의 색 채널 표현 간의 효과적인 매핑을 여전히 원할 수 있다. 한 예는 손실 압축, 즉, 도 5a 및 5b의 시스템과 유사하지만 손실 인코더 및 디코더를 가지는 시스템이다. 이러한 시스템은 디지털 카메라에서의 베이어 모자이크 CCD 센서에 의해 생성된 이미지의 손실 압축을 수행하는 효과적인 방식일 수 있으며, 모자이크되지 않은(내삽) 필터를 먼저 적용시킨 다음 JPEG와 같이, 손실 압축기로 결과인 3개의 채널 RGB 이미지를 인코딩하는 종래의 접근법보다 더 나은 결과를 낼 수 있다.
정수 연산으로의 정확한 가역성이 필요하지 않는 경우, 단지 변환의 행들 및 역변한의 열들을 적절하게 스케일링함으로써 변환 행렬들 및 역변환 행렬들을 간단하게 할 수 있다. 예를 들면, 인수 2에 의해 Co, Cg, 및 Dg 채널을 스케일링할 수 있어서, 변환 계산은
Figure 112005052953597-PAT00005
가 된다.
이에 대한 역변환은 다음과 같이 주어진다.
Figure 112005052953597-PAT00006
이러한 형태에서, 역 변환은 오직 덧셈과 뺄셈만을 포함하며, 어떠한 곱셈 및 시프트도 포함하지 않아 매우 간단하다. 그래서, 상술한 형태는 디코더 복잡도가 인코더 복잡도보다 더 중요한 경우의 적용에 매우 적절하다.
마찬가지로, 변환을 계산하기에 간단하게 하는 방식으로 행렬들을 스케일링할 수 있다. 가장 간단한 형태는
Figure 112005052953597-PAT00007
이다.
이에 대한 역변환은 다음과 같이 주어진다.
Figure 112005052953597-PAT00008
수학식 1 및 수학식 2에서의 원래 공식은, 변환 및 역변환이 동일한 계산적 복잡도를 가진다는 점에서 균형잡힌 구현이 된다. 또한 앞서 나타낸 바와 같이 정수 연산으로의 정확한 가역성(무손실 변환)이 허용된다. 수학식 5 내지 6 및 수학 식 7 내지 8에서의 스케일링된 버전들은, 각각, 더 간단한 역변환 또는 더 간단한 변환을 할 수 있게 한다.
수학식 1 내지 2에서의 스케일링은 무손실 변환들을 산출할 수 있는 것만이 아님을 유의한다. 다른 스케일링이, 도 7의 래더 네트워크에서의 적절한 수정으로, 무손실 변환을 산출할 수 있다. 이러한 변경들은 본 발명의 소량의 확장일 뿐며, 따라서 이 변경 모두가 명확하게 기술되어야 할 필요는 없다.
본래의 CCD (모자이크) 이미지를 위한 손실 압축 시스템의 구현의 개략이 도 8a 및 8b의 블럭도로 도시된다. 이러한 구현에서, 한 구현은, 더 낮은 복잡도를 가지는 것이 인코더인지 디코더인지에 따라, 상술한 YDgCoCg 변환 및 역변환의 스케일링된 버전들 중 하나를 이용할 수 있다.
본 발명에 따른 손실 압축 시스템의 인코더(802)가 도 8a에 도시된다. 이 인코더는 채널 분리기(804), 4-채널 색 변환(806), 4개의 손실 인코더(808a, 808b, 808c, 808d), 및 멀티플렉서(810)를 포함한다. 예시적인 흐름도는 도 9a에 도시된다. 도 9a의 프로세스 동작(902)에서 도시된 바와 같이, 본래의 CCD 데이터가 채널 분리기에 입력된다. 채널 분리기는 (베이어 포맷으로 된) 본래의 CCD 데이터를 매크로-픽셀 단위로 된 4개의 채널, R, G1, G2, 및 B로 분리시킨다. 그 다음, 프로세스 동작(904)에 도시된 바와 같이, 4개의 채널 색 변환은 R, G1, G2, 및 B를 Y, Dg, Co, 및 Cg 채널로 전환한다(프로세스 동작(906)). 이는, 각각이 최초의 입력 데이터 사이즈의 1/4인 Y, Dg, Co, 및 Cg 성분에 대한 4개의 서브-이미지를 산출한다. 4개의 서브-이미지들은 각각이 손실 인코더에 입력된다(프로세스 동작 (908)). 그 다음 각 서브-이미지 중 하나인, 4개의 인코딩된 채널이 결합되어(프로세스 동작(910)) 인코딩된 파일 또는 비트스트림을 산출한다.
디코더(814)가 도 8b에 도시된다. 이 디코더는 디멀티플렉서(816), 4개의 손실 디코더(818a, 818b, 818c, 818d), 4-채널 색 역변환(820), 및 채널 결합기(822)를 포함한다. 예시적인 흐름도가 도 9b에 도시된다. 도 9b의 프로세스 동작(912)에 도시된 바와 같이, 인코딩된 파일 또는 비트스트림이 인코딩된 파일 또는 비트스트림을 개별 인코딩된 채널들로 분리시키는(프로세스 동작(914)) 디멀티플렉서에 입력된다. 이 개별 인코딩된 채널들 각각은 각 인코딩된 채널을 Y, Dg, Co 및 Cg 성분으로 디코딩하는(프로세스 동작(916)) 손실 디코더에 입력된다. 그 다음 4-채널 색 역변환은 Y, Dg, Co, 및 Cg 성분을 R, G1, G2, 및 B 채널로 변환시킨다(프로세스 동작(918)). 그 다음 프로세스 동작(920)에 도시된 바와 같이, 채널 결합기는 R, G1, G2, 및 B 채널들을 (베이어 포맷으로된) 디코딩된 CCD 데이터로 결합시킨다.
본 발명의 상술한 설명은 예시 및 설명을 위하여 제시되었다. 이는 제시된 정확한 형태로 본 발명을 제한하거나 총 망라하는 것을 의도하지 않는다. 상술한 가르침에 비추어 많은 수정 및 변경이 가능하다. 본 발명의 범위는 이 상세한 설명에 의해서가 아니라 특허 청구 범위에 의하여 제한된다고 의도된다.
본 발명의 시스템 및 방법은, 베이어 데이터 포맷을 대표하는 모자이크-패턴 픽셀을 정규 패턴에 대응하는 4색 채널에 매핑시킴으로써 이전 이미지 압축 스킴의 전술한 한계를 극복한다. 본 발명의 몇몇의 실시예에서, 정수 값을 가지는 변환 행렬 및 역변환 행렬들이 채용된다. 이는 계산적인 복잡도를 감소시키며, 무손실 압축은 쉽게 수행될 수 있다. 그 다음 이들 가역성 색 변환 및 각 색 채널에 대한 무손실 코덱을 이용함으로써 디지털 카메라로부터의 본래의 CCD(Charged Couple Device) 데이터에 대한 무손실 압축 시스템이 구축될 수 있다.

Claims (36)

  1. 모자이크 이미지 데이터를 인코딩 하는 방법으로서,
    본래의 CCD(charged couple device) 이미지 데이터를 입력하고,
    상기 본래의 CCD 데이터를 매크로-픽셀 단위로 된 적색(R), 제1 녹색(G1), 제2 녹색(G2) 및 청색(B) 채널로 분리시키고 - 각각의 매크로-픽셀은 제1 녹색과 제2 녹색의 대각선으로 인접한 픽셀 및 대각선으로 인접한 적색-청색 쌍의 픽셀 R, B의 집합을 포함함 - ,
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널을, 각각이 최초의 이미지 사이즈의 1/4인 이미지를 나타내는 Y, Dg, Co, 및 Cg 색 공간 채널로 변환시키고 - 각각의 매크로 픽셀에서 상기 Y 채널은 휘도를 나타내고, 상기 Dg는 상기 제1 녹색 픽셀과 상기 제2 녹색 픽셀 간의 차를 나타내며, 상기 Co 및 Cg 채널은 색 채널임 - , 및
    상기 Y, Dg, Co 및 Cg 채널 각각을 인코더로 개별적으로 인코딩하는 프로세스 동작들을 포함하는 방법.
  2. 제1항에 있어서,
    인코딩 이후에 상기 Y, Dg, Co 및 Cg 채널을 결합시키는 프로세스 동작을 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 결합된 Y, Dg, Co 및 Cg 채널을 저장된 파일로 출력하는 프로세스 동작을 더 포함하는 방법.
  4. 제2항에 있어서,
    상기 결합된 Y, Dg, Co 및 Cg 채널을 비트 스트림으로서 출력하는 프로세스 동작을 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널은 변환 행렬
    Figure 112005052953597-PAT00009
    을 이용하여 Y, Dg, Co 및 Cg 색 공간 채널로 변환되는 방법.
  6. 제1항에 있어서,
    상기 변환은 정수 미만 연산의 정확한 역변환(exact inversion under integer arithmetic)이 수행되는 방식으로 계산되는 방법.
  7. 제6항에 있어서,
    상기 변환은 각 매크로-픽셀 마다,
    Co를 상기 적색 픽셀에서 상기 청색 픽셀을 뺀 것으로서 계산하고,
    Dg를 상기 제2 녹색 픽셀에서 상기 제1 녹색 픽셀을 뺀 것으로서 계산하고,
    제1 중간 변수 u를 상기 청색 픽셀에 Co를 더한 것으로서 계산하고,
    제2 중간 변수 v를 상기 제1 녹색 픽셀에 Dg를 더한 것으로서 계산하고,
    Cg를 상기 제2 중간 변수 v에서 상기 제1 중간 변수 u를 뺀 것으로서 계산하고,
    Y를 상기 제1 중간 픽셀 u에 Cg를 더한 것으로서 계산하는 프로세스 동작들에 의해 계산되는 방법.
  8. 모자이크 이미지 데이터를 디코딩하는 방법으로서,
    결합된 Y, Dg, Do 및 Cg 채널을 입력하고,
    상기 결합된 채널들을 개별적인 Y, Dg, Co 및 Cg 채널로 분리시키고,
    상기 Y, Dg, Co 및 Cg 채널 각각을 디코더로 디코딩하고,
    상기 Y, Dg, Co 및 Cg 채널을 적색, 제1 녹색, 제2 녹색 및 청색 채널로 변환시키고,
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널을 결합하여 모자이크 색 이미지를 출력하는 프로세스 동작을 포함하는 방법.
  9. 제8항에 있어서,
    상기 Y, Dg, Co 및 Cg 채널은 변환 행렬
    Figure 112005052953597-PAT00010
    을 이용함으로써 변환되는 방법.
  10. 제8항에 있어서,
    상기 변환은 각각의 매크로 픽셀마다
    제1 중간 변수 u를 Y에서 Cg를 뺀 것으로서 계산하고,
    제2 중간 변수 v를 상기 제1 중간 변수 u에 Cg를 더한 것으로서 계산하고,
    제1 녹색 픽셀을 상기 제2 중간 변수 v에서 Dg를 빼는 것으로서 계산하고,
    청색 픽셀을 상기 제1 중간 변수 u에서 Co를 빼는 것으로서 계산하고,
    제2 녹색 픽셀을 상기 제1 녹색 픽셀에 Dg를 더한 것으로서 계산하고,
    적색 픽셀을 상기 청색 픽셀에 Co를 더한 것으로서 계산하는 프로세스 동작들에 의해 계산되는 방법.
  11. 3색 공간의 이미지를 4색 공간으로 변환시키는 방법으로서,
    녹색(G) 픽셀이 적색(R) 및 청색(B) 픽셀의 2배가 되고 녹색 픽셀과 각 적색-청색 쌍에 대하여 대각선으로 인접한 3색 공간의 이미지를 입력하는 단계,
    3색 공간으로 된 상기 이미지를 매크로 픽셀들로 나누는 단계 - 각각의 매크로 픽셀은 대각선으로 인접한 녹색 픽셀 G1, G2 및 대각선으로 인접한 적색-청색 쌍의 픽셀 R, B의 집합을 포함함 - ,
    각 매크로 픽셀에 대하여, 상기 R, G1, G2 및 B 픽셀들을 4색 공간 Y, Dg, Co, 및 Cg에 매핑시켜 각각이 Y, Dg, Co, 및 Cg 픽셀들로 완전히 구성된 4개의 서브-이미지를 획득하는 단계 - 각각 Y는 휘도를 나타내고, Dg는 상기 G1과 G2 픽셀 간의 차를 나타내며, Co 및 Cg는 색을 나타냄 -,
    상기 Y, Dg, Co 및 Cg 서브-이미지 각각을 개별적으로 압축하는 단계, 및
    상기 압축된 서브-이미지들을 결합하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 서브-이미지 각각은 무손실 인코더로 압축되는 방법.
  13. 제11항에 있어서,
    상기 R, G1, G2 및 B 픽셀은
    Figure 112005052953597-PAT00011
    의 실수배(multiple)에 의하여 Y, Dg, Co 및 Cg 색 공간으로 매핑되는 방법.
  14. 제11항에 있어서,
    상기 R, G1, G2 및 B 픽셀들은
    Figure 112005052953597-PAT00012
    에 의해 Y, Dg, Co 및 Cg 색 공간으로 매핑되는 방법.
  15. 제11항에 있어서,
    상기 G1, G2, R 및 B 픽셀은 변환 행렬
    Figure 112005052953597-PAT00013
    을 이용하여 Y, Dg, Co 및 Cg 색 공간으로 매핑되어, 상기 변환을 간단히 하는 방법.
  16. 제11항에 있어서,
    상기 결합되어 압축된 서브-이미지를 파일에 저장하는 프로세스 동작을 더 포함하는 방법.
  17. 제11항에 있어서,
    상기 결합되어 압축된 서브-이미지를 비트스트림으로 출력하는 프로세스 동작을 더 포함하는 방법.
  18. 제11항 기재의 방법을 수행하는 컴퓨터-실행가능 명령어를 가지는 컴퓨터 판독가능 매체.
  19. 4색 공간으로된 이미지를 3색 공간으로 변환시키는 방법으로서,
    Y, Dg, Co, Cg 색 공간으로된 이미지를 입력하는 단계,
    Y, Dg, Co 및 Cg 색 공간으로된 상기 이미지를 Y, Dg, Co 및 Cg 채널로 분리시키는 단계,
    상기 Y, Dg, Co 및 Cg 채널 각각을 디코딩하는 단계,
    상기 디코딩된 Y, Dg, Co 및 Cg 채널을 R, G1, G2 및 B 채널로 변환시키는 단계, 및
    상기 R, G1, G2 및 B 채널을 결합하여 색 이미지를 획득하는 단계
    를 포함하는 방법.
  20. 제19항에 있어서,
    상기 Y, Dg, Co 및 Cg 픽셀은 변환 행렬
    Figure 112005052953597-PAT00014
    을 이용하여 디코딩되는 방법.
  21. 제20항에 있어서,
    상기 Y, Dg, Co 및 Cg 픽셀이 변환 행렬
    Figure 112005052953597-PAT00015
    을 이용하여 디코딩되어 상기 디코딩을 간단히 하는 방법.
  22. 제21항에 있어서,
    상기 Y, Dg, Co 및 Cg 픽셀은
    변환 행렬
    Figure 112005052953597-PAT00016
    을 이용하여 디코딩되는 방법.
  23. 본래의 CCD 이미지 데이터를 입력하고,
    상기 본래의 CCD 데이터를 매크로-픽셀 단위로 된 적색(R), 제1 녹색(G1), 제2 녹색(G2), 및 청색(B) 채널로 분리시키고 - 상기 각각의 매크로 픽셀은 제1 녹색 및 제2 녹색의 대각선으로 인접한 픽셀 및 대각선으로 인접한 적색-청색 쌍의 픽셀 R, B의 집합을 포함함 -,
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널을, 각각이 최초의 이미지 사이즈의 1/4인 이미지를 나타내는 Y, Dg, Co 및 Cg 색 공간 채널로 변환시키고 - 각각의 매크로-픽셀에서, 상기 Y 채널은 휘도를 나타내고, 상기 Dg는 상기 제1 녹색 픽셀과 상기 제2 녹색 픽셀 간의 차를 나타내며, 상기 Co 및 Cg 채널은 색 채널임 -, 및
    상기 Y, Dg, Co 및 Cg 채널 각각을 인코더로 개별적으로 인코딩하고, 상기 Y, Dg, Co 및 Cg 채널을 결합하는 프로세스 동작들에 의해 인코딩된 색 이미지를 디코딩하는 방법으로서,
    Y, Dg, Co, Cg 색 공간으로 된 이미지를 입력하고,
    Y, Dg, Co 및 Cg로된 상기 이미지를 Y, Dg, Co 및 Cg 채널로 분리시키고,
    이용된 상기 인코딩을 역으로 이용하여 상기 Y, Dg, Co 및 Cg 채널 각각을 개별적으로 디코딩하고,
    상기 디코딩된 Y, Dg, Co 및 Cg 채널을 R, G1, G2, 및 B 채널로 변환시키고,
    상기 R, G1, G2, 및 B 채널을 결합하여 색 이미지를 획득하는 프로세스 동작들
    을 포함하는 방법.
  24. 제23항에 있어서,
    상기 이미지는 변환 행렬
    Figure 112005052953597-PAT00017
    을 이용하여 R, G1, G2 및 B로부터 Y, Dg, Co 및 Cg로 변환되었고,
    상기 Y, Dg, Co 및 Cg 채널은
    Figure 112005052953597-PAT00018
    을 이용하여 R, G1, G2 및 B 채널로 변환되는 방법.
  25. 제23항에 있어서,
    변환 행렬의 열들은 스케일링되어 디코딩 계산들을 간단히 하는 방법.
  26. 제23항에 있어서,
    상기 이미지는 변환 행렬
    Figure 112005052953597-PAT00019
    을 이용하여 R, G1, G2 및 B로부터 Y, Dg, Co 및 Cg로 변환되었고, 상기 Y, Dg, Co 및 Cg 채널은
    Figure 112005052953597-PAT00020
    를 이용하여 R, G1, G2 및 B 채널로 변환되는 방법.
  27. 제23항에 있어서,
    변환 행렬의 행들이 스케일링되어 인코딩 계산을 간단히 하는 방법.
  28. 제23항에 있어서,
    상기 이미지는 변환 행렬
    Figure 112005052953597-PAT00021
    을 이용하여 R, G1, G2 및 B로부터 Y, Dg, Co 및 Cg로 변환되고,
    상기 Y, Dg, Co 및 Cg 채널은 변환 행렬
    Figure 112005052953597-PAT00022
    을 이용하여 R, G1, G2 및 B 채널로 변환되는 방법.
  29. 본래의 베이어 이미지를 인코딩하는 시스템으로서,
    본래의 베이어 이미지 데이터를 입력하는 것,
    상기 본래의 베이어 이미지 데이터를 매크로 픽셀 단위로 된 적색(R), 제1 녹색(G1), 제2 녹색(G2) 및 청색(B) 채널로 분리시키는 것 - 상기 각각의 매크로-픽셀은 제1 녹색과 제2 녹색의 대각선으로 인접한 픽셀 및 대각선으로 인접한 적색-청색 쌍의 픽셀 R, B의 집합을 포함함 - ,
    상기 적색, 제1 녹색, 제2 녹색, 및 청색 채널을, 각각이 최초의 이미지 사 이즈의 1/4인 이미지를 나타내는 Y, Dg, Co 및 Cg 채널로 변환시키는 것 - Y는 휘도이고, Dg는 상기 제1 녹색 픽셀과 상기 제2 녹색 픽셀 간의 차이며, Co 및 Cg는 색 채널임, 및
    Y, Dg, Co 및 Cg 채널 각각을 인코딩하는 것
    을 포함하는 시스템.
  30. 제29항에 있어서,
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널은 변환 행렬
    Figure 112005052953597-PAT00023
    을 이용하여, Y, Dg, Co 및 Cg 색 공간 채널로 변환되는 시스템.
  31. 제29항에 있어서,
    상기 R, G1, G2 및 B 채널은, 각각의 매크로-픽셀에 대하여,
    Co를 상기 적색 픽셀에서 상기 청색 픽셀을 빼는 것으로서 계산하고,
    Dg를 상기 제2 녹색 픽셀에서 상기 제1 녹색 픽셀을 빼는 것으로서 계산하고,
    제1 중간 변수 u를 상기 청색 픽셀에 Co를 더하는 것으로서 계산하고,
    제2 중간 변수 v를 상기 제1 녹색 픽셀에 Dg를 더한 것으로서 계산하고,
    Cg를 상기 제2 중간 변수 v에서 상기 제1 중간 변수 u를 빼는 것으로서 계산하고,
    Y를 상기 제1 중간 픽셀 u에 Cg를 더한 것으로서 계산함으로써,
    Y, Dg, Co 및 Cg 채널로 변환되는 시스템.
  32. 제31항에 있어서,
    상기 채널들은 2개의 입력, 2개의 출력 래더 연산자의 반복되는 적용들을 이용하여 변환되고, 상기 연산자에서 2개의 입력 x 및 y는 2개의 출력 (x+y)/2 및 x-y에 매핑되는 시스템.
  33. 본래의 베이어 이미지를 디코딩하는 시스템으로서,
    Y, Dg, Co, Cg로된 이미지를 입력하는 것,
    상기 이미지를 Y, Dg, Co 및 Cg 채널로 분리하는 것,
    인코딩 프로세스를 역으로 이용하여 상기 Y, Dg, Co 및 Cg 채널 각각을 디코딩하는 것,
    상기 디코딩된 Y, Dg, Co 및 Cg 채널을 적색, 제1 녹색, 제2 녹색 및 청색 채널로 변환시키는 것, 및
    상기 적색, 제1 녹색, 제2 녹색 및 청색 채널을 결합하여, 색 이미지를 획득 하는 것
    을 포함하는 시스템.
  34. 제33항에 있어서,
    상기 디코딩된 Y, Dg, Co 및 Cg 채널에 적용되는 변환 행렬은
    Figure 112005052953597-PAT00024
    을 포함하는 시스템.
  35. 제33항에 있어서,
    상기 디코딩된 Y, Dg, Co 및 Cg 채널은, 각각의 매크로-픽셀에 대하여,
    제1 중간 변수 u를 Y에서 Cg를 뺀 것으로서 계산하고,
    제2 중간 변수 v를 상기 제1 중간 변수 u에 Cg를 더한 것으로서 계산하고,
    제1 녹색 픽셀을 상기 제2 중간 변수 v에서 Dg를 뺀 것으로서 계산하고,
    청색 픽셀을 상기 제1 중간 변수 u에서 Co를 뺀 것으로서 계산하고,
    제2 녹색 픽셀을 상기 제1 녹색 픽셀에 Dg를 더한 것으로서 계산하고,
    적색 픽셀을 상기 청색 픽셀에서 Co를 더한 것으로서 계산함으로써
    R, G1, G2 및 B 채널로 변환되는 시스템.
  36. 제35항에 있어서,
    상기 채널은 2개의 입력, 2개의 출력 래더 연산자의 반복되는 적용들을 이용하여 변환되고, 상기 연산자에서 2개의 입력 x 및 y는 2개의 출력 (x+y)/2 및 x-y에 매핑되는 시스템.
KR1020050088247A 2004-10-19 2005-09-22 가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법 KR101201047B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/968,236 US7480417B2 (en) 2004-10-19 2004-10-19 System and method for encoding mosaiced image data employing a reversible color transform
US10/968,236 2004-10-19

Publications (2)

Publication Number Publication Date
KR20060051537A true KR20060051537A (ko) 2006-05-19
KR101201047B1 KR101201047B1 (ko) 2012-11-14

Family

ID=36046413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050088247A KR101201047B1 (ko) 2004-10-19 2005-09-22 가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US7480417B2 (ko)
EP (1) EP1657909B1 (ko)
JP (1) JP4884734B2 (ko)
KR (1) KR101201047B1 (ko)
CN (1) CN100586147C (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
WO2006098494A1 (en) * 2005-03-18 2006-09-21 Sharp Kabushiki Kaisha Video compression using residual color transform
KR101088375B1 (ko) * 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
KR100982685B1 (ko) * 2005-10-13 2010-09-17 알제이에스 테크놀로지, 인코포레이티드 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법
US8098964B2 (en) * 2006-02-06 2012-01-17 Microsoft Corp. Raw image processing
US8243340B2 (en) * 2006-02-23 2012-08-14 Microsoft Corporation Pre-processing of image data for enhanced compression
US7796836B2 (en) * 2006-03-03 2010-09-14 General Atomics Color condensation for image transformation and/or compression
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
TWI350695B (en) * 2006-10-18 2011-10-11 Realtek Semiconductor Corp Image encoding/decoding apparatus and method thereof
ES2486295T3 (es) 2007-04-11 2014-08-18 Red.Com, Inc. Cámara de vídeo
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8471921B1 (en) * 2008-06-23 2013-06-25 Marvell International Ltd. Reducing optical crosstalk and radial fall-off in imaging sensors
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
US8194977B2 (en) * 2008-12-09 2012-06-05 Microsoft Corporation Remote desktop protocol compression acceleration using single instruction, multiple dispatch instructions
CN101902650B (zh) * 2009-05-27 2012-06-27 中国科学院微电子研究所 一种适用于Bayer图像格式的无损压缩方法
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법
CN101996609B (zh) * 2009-08-13 2013-01-23 上海奇码数字信息有限公司 图形处理中的像素格式转换方法和装置
JP2011119868A (ja) * 2009-12-01 2011-06-16 Sony Corp 画像処理装置及び画像処理方法
CN102075750B (zh) * 2011-01-07 2014-06-18 深圳市融创天下科技股份有限公司 一种rgb空间的视频编解码方法、装置和系统
CN103348675B (zh) * 2011-01-28 2016-05-25 日本电气株式会社 二维信号编码设备和二维信号编码方法
JP5777398B2 (ja) * 2011-05-13 2015-09-09 キヤノン株式会社 画像処理装置、画像処理装置の画像処理方法及びプログラム
KR20130025276A (ko) * 2011-09-01 2013-03-11 삼성전자주식회사 이미지 파일 압축 시스템 및 그 압축 방법
JP6056124B2 (ja) * 2011-09-05 2017-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
CN102510324B (zh) * 2012-01-02 2014-08-20 西安电子科技大学 多输入多输出 y 信道中基于网络编码的信号传输方法
US9098887B2 (en) * 2012-10-12 2015-08-04 Mediatek Inc. Image compression method and apparatus for encoding pixel data of frame into interleaved bit-stream, and related image decompression method and apparatus
US20140185928A1 (en) * 2012-12-28 2014-07-03 Shai Ben NUN Hardware-supported huffman coding of images
KR101523767B1 (ko) * 2013-01-17 2015-06-01 연세대학교 산학협력단 컬러 영상 부호화/복호화 장치 및 방법
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
CN104427349B (zh) * 2013-08-20 2017-09-29 清华大学 一种Bayer图像压缩方法
US9613394B2 (en) * 2013-08-28 2017-04-04 Intel Corporation Lossy color compression using adaptive quantization
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US9357236B2 (en) * 2014-03-13 2016-05-31 Intel Corporation Color compression using a selective color transform
US10284879B2 (en) 2014-07-03 2019-05-07 Sony Corporation Image processing apparatus and method based on integerprecision image data
WO2016056977A1 (en) * 2014-10-06 2016-04-14 Telefonaktiebolaget L M Ericsson (Publ) Coding and deriving quantization parameters
US9363421B1 (en) * 2015-01-12 2016-06-07 Google Inc. Correcting for artifacts in an encoder and decoder
FR3032297A1 (fr) * 2015-02-04 2016-08-05 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif de compression d'une image numerique couleur
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
US10163192B2 (en) 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
JP6663201B2 (ja) * 2015-10-27 2020-03-11 キヤノン株式会社 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体
US10269326B2 (en) 2015-12-19 2019-04-23 Intel Corporation Method and apparatus for color buffer compression
CN105657385B (zh) * 2015-12-31 2018-02-23 上海集成电路研发中心有限公司 一种针对原始图像数据的压缩方法
US10863158B2 (en) 2016-05-17 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP6775339B2 (ja) * 2016-06-30 2020-10-28 キヤノン株式会社 画像符号化装置及びその制御方法
EP3649783A1 (en) 2017-07-05 2020-05-13 Red.Com, Llc Video image data processing in electronic devices
US10721470B2 (en) * 2018-07-06 2020-07-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compression of a raw image
US10861405B2 (en) * 2018-07-09 2020-12-08 Samsung Display Co., Ltd. Color transform for RGBG subpixel format
WO2020191516A1 (zh) * 2019-03-22 2020-10-01 华为技术有限公司 一种图像数据处理的装置和方法
GB2619640A (en) * 2019-07-05 2023-12-13 V Nova Int Ltd Quantization of residuals in video coding
EP4052216A1 (en) * 2019-10-30 2022-09-07 intoPIX s.a. Image processor
CN111225213B (zh) * 2020-01-21 2022-06-03 北京空间机电研究所 一种Bayer格式图像分色彩通道压缩方法
US11405622B2 (en) * 2020-04-22 2022-08-02 Apple Inc. Lossless compression techniques
EP4134913A4 (en) * 2020-04-23 2023-03-29 Huawei Technologies Co., Ltd. IMAGE CODING AND DECODING METHOD AND APPARATUS
TW202147850A (zh) * 2020-05-01 2021-12-16 美商Ｏｐ解決方案公司 用於組合無損和有損寫碼之方法和系統
CN111654705B (zh) * 2020-06-05 2022-11-11 电子科技大学 基于色彩空间转换的马赛克图像压缩方法
JP2022122682A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
CN113852820B (zh) * 2021-08-30 2023-06-30 电子科技大学 一种新型色彩空间转换矩阵生成方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4724395A (en) * 1985-08-05 1988-02-09 Polaroid Corporation Median filter for reconstructing missing color samples
US5260808A (en) * 1991-04-23 1993-11-09 Canon Kabushiki Kaisha Image processing apparatus
US5686960A (en) * 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
US5373322A (en) 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5731988A (en) * 1995-05-08 1998-03-24 Richo Company, Ltd. Method and apparatus for reversible color conversion
JPH0937202A (ja) * 1995-07-19 1997-02-07 Matsushita Electric Ind Co Ltd デジタルカメラ
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
JPH11112977A (ja) * 1997-09-30 1999-04-23 Sharp Corp 画像撮像圧縮システム
JP3748164B2 (ja) * 1998-02-06 2006-02-22 富士通株式会社 パターン抽出装置
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
JP3655116B2 (ja) * 1999-02-12 2005-06-02 富士通株式会社 チャージポンプ回路の駆動方法及び電圧変換回路
JP4361991B2 (ja) * 1999-08-20 2009-11-11 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理装置
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
US6873658B2 (en) * 1999-12-20 2005-03-29 Texas Instruments Incorporated Digital still camera system and method
US6771828B1 (en) * 2000-03-03 2004-08-03 Microsoft Corporation System and method for progessively transform coding digital data
JP4097873B2 (ja) * 2000-03-06 2008-06-11 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
US6847396B1 (en) * 2000-04-26 2005-01-25 Sunplus Technology Co., Ltd. Interpolation method for producing full color images in using a single-chip color sensor
JP2002171531A (ja) * 2000-12-01 2002-06-14 Biitekku:Kk 単板カラーカメラの画素信号処理方法
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
JP2002359846A (ja) * 2001-05-31 2002-12-13 Sanyo Electric Co Ltd 画像復号方法および装置
US7155066B2 (en) * 2001-05-31 2006-12-26 Agilent Technologies, Inc. System and method for demosaicing raw data images with compression considerations
US7006699B2 (en) * 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
JP4012201B2 (ja) * 2002-12-18 2007-11-21 ノキア コーポレイション 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム
US7236191B2 (en) * 2003-04-30 2007-06-26 Nokia Corporation Method and system for image processing with pixel interpolation using second order gradients
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform

Also Published As

Publication number Publication date
EP1657909A3 (en) 2010-06-02
US7480417B2 (en) 2009-01-20
JP2006121669A (ja) 2006-05-11
CN1764232A (zh) 2006-04-26
KR101201047B1 (ko) 2012-11-14
CN100586147C (zh) 2010-01-27
JP4884734B2 (ja) 2012-02-29
US20060083432A1 (en) 2006-04-20
EP1657909B1 (en) 2013-07-17
EP1657909A2 (en) 2006-05-17

Similar Documents

Publication Publication Date Title
KR101201047B1 (ko) 가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법
Koh et al. New efficient methods of image compression in digital cameras with color filter array
JP5149310B2 (ja) クロマ・サンプル位置決め情報のシグナリングおよび使用
US5412427A (en) Electronic camera utilizing image compression feedback for improved color processing
Malvar et al. Progressive-to-lossless compression of color-filter-array images using macropixel spectral-spatial transformation
KR20010025085A (ko) 2-차원 이산 웨이브렛 변환을 바탕으로 지각적 무손실이미지를 산출하는 컬러 이미지의 압축
CN101521751B (zh) 摄像设备
US8660345B1 (en) Colorization-based image compression using selected color samples
EP1613097A1 (en) Digital video signal compression and decompression method and apparatus
TW200843515A (en) Computational complexity and precision control in transform-based digital media codec
Hernandez-Cabronero et al. Lossless compression of color filter array mosaic images with visualization via JPEG 2000
JP2010141922A (ja) ウェーブレット変換システム、方法、及びコンピュータプログラム製品
Lee et al. Lossless compression of HDR color filter array image for the digital camera pipeline
Lukac et al. Single-sensor camera image compression
JP4012201B2 (ja) 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム
US10939138B1 (en) Quality control engine for video decompression
US10979737B1 (en) Key and difference block video compression
US11470355B1 (en) Quality control engine for video compression
CN113365016A (zh) 一种地图影像数据实时获取系统及方法
JPH1169377A (ja) 画像情報符号化装置及びそれを応用した装置
JP2004320301A (ja) 画像圧縮装置及び画像処理システム
Bruna et al. Predictive differential modulation for CFA compression
TWI792265B (zh) 用於彩色濾波器陣列(cfa)型樣影像之寫碼技術
JP2011171801A (ja) 送信信号変換装置および送信信号変換プログラム、並びに、受信信号変換装置および受信信号変換プログラム
Nallaperumal et al. New efficient image compression method for single sensor digital camera images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 7