KR20220090559A - 이미지 프로세서 - Google Patents

이미지 프로세서 Download PDF

Info

Publication number
KR20220090559A
KR20220090559A KR1020227017841A KR20227017841A KR20220090559A KR 20220090559 A KR20220090559 A KR 20220090559A KR 1020227017841 A KR1020227017841 A KR 1020227017841A KR 20227017841 A KR20227017841 A KR 20227017841A KR 20220090559 A KR20220090559 A KR 20220090559A
Authority
KR
South Korea
Prior art keywords
type
image
component
pixel
pixels
Prior art date
Application number
KR1020227017841A
Other languages
English (en)
Inventor
발렌땡 데씨
갸엘 루브루와
빠스꺌 뻴르그랭
빠스꺌 –y르그랭
Original Assignee
인투픽스 에스에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19206373.3A external-priority patent/EP3816926A1/en
Application filed by 인투픽스 에스에이 filed Critical 인투픽스 에스에이
Publication of KR20220090559A publication Critical patent/KR20220090559A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

본 발명은 베이어 패턴으로 배열된 3가지 유형의 컬러 픽셀(R, G, B)을 포함하는 이미지(200)를 처리하는 이미지 프로세서에 관한 것이다. 상기 이미지 프로세서는 상기 베이어 패턴에 대응하는 패턴으로 배열된 3가지 유형의 성분(Y, Cr, Cb)으로 구성된 역상관된 이미지를 제공한다. 상기 이미지 프로세서는 상기 이미지의 제1 유형의 픽셀(G)에 대한 대체물로서 역상관된 이미지의 제1 유형의 성분(Y)을 제공하며, 이에 의해 상기 제1 유형의 성분(Y)은 제1 유형의 픽셀(G)과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)은 상기 제1 유형의 픽셀(G)에 대한 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)의 전체적인 가산에 대응하는 전체적인 양(+)의 가중 인자를 가진다. 상기 이미지 프로세서는 상기 이미지의 제2 유형의 픽셀(R)에 대한 대체물로서 역상관된 이미지의 제2 유형의 성분(Cr)을 제공하며, 이에 의해 상기 제2 유형의 성분(Cr)은 제2 유형의 픽셀(R)과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제2 유형의 픽셀(R)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산에 대응하는 전체적인 음(-)의 가중 인자를 가진다. 상기 이미지 프로세서는 상기 이미지의 제3 유형의 픽셀(B)에 대한 대체물로서 역상관된 이미지의 제3 유형의 성분(Cb)을 제공하며, 이에 의해 상기 제3 유형의 성분(Cb)은 제3 유형의 픽셀(B)과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제3 유형의 픽셀(B)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산에 대응하는 전체적인 음(-)의 가중 인자를 가진다.

Description

이미지 프로세서
본 발명의 일 양태는 베이어 패턴(Bayer pattern)으로 배열된 3가지 유형의 컬러 픽셀로 구성된 이미지를 처리하도록 구성된 이미지 프로세서에 관한 것이다. 이미지 프로세서는 예를 들어, 인코딩 효율을 향상시키는 인코딩 시스템에서 전처리기로서 사용될 수 있다. 본 발명의 다른 양태들은 인코딩 시스템, 이미지 처리 방법, 및 이미지 프로세서용 컴퓨터 프로그램에 관한 것이다.
미국 특허 제6,154,493호는 원시 이미지 데이터를 컬러 평면 차이 채널들을 포함하는 복수의 채널로 분할하는 기술을 설명한다. 이들 채널 각각은 2차원 이산 웨이블릿 변환을 사용하여 개별적으로 압축된다. 압축은 양자화를 활용하며, 이에의해 압축된 채널 데이터의 복원이 지각적으로 손실이 없는 이미지를 생성할 수 있다. 이 기술은 베이어 패턴 형식으로 이미지들에서 직접 동작한다. 양자화 임계값들이 처리 중인 채널 및 이산 웨이블릿 변환(DWT) 서브 대역에 따라 달라질 수 있는 양자화를 위해 정의된다.
컬러 픽셀이 베이어 패턴으로 배열된 이미지를 기반으로 비교적 고도로 역상관된 이미지를 얻을 수 있게 하는 개선된 이미지 처리가 필요로 되는바, 이는 주어진 압축률에서 더 나은 이미지 품질을 제공하는 더 높은 코딩 효율을 달성할 수 있게 한다.
청구항 1에 정의된 바와 같은 본 발명의 양태에 따르면, 베이어 패턴(Bayer pattern)으로 배열된 3가지 유형의 컬러 픽셀을 포함하는 이미지를 처리하여 상기 베이어 패턴에 대응하는 패턴으로 배열된 3가지 유형의 성분으로 구성된 역상관된 이미지(de-corrected image)를 획득하도록 구성된 이미지 프로세서가 제공되며,
이에 의해, 상기 베이어 패턴에 따르면, 상기 이미지는 제1 유형의 2개의 대각선으로 배치된 컬러 픽셀, 제2 유형의 컬러 픽셀, 및 제3 유형의 컬러 픽셀을 포함하는 2 x 2 컬러 픽셀들의 블록의 직사각형 어레이이고;
이에 의해, 상기 베이어 패턴에 대응하는 패턴에 따르면, 상기 역상관된 이미지는 제1 유형의 2개의 대각선으로 배치된 성분, 제2 유형의 성분, 및 제3 유형의 성분을 포함하는 2 x 2 성분들의 블록의 직사각형 어레이이며;
상기 프로세서는:
- 상기 이미지의 제1 유형의 픽셀에 대한 대체물로서 역상관된 이미지의 제1 유형의 성분을 제공하도록 구성되어, 이에 의해 상기 제1 유형의 성분은 제1 유형의 픽셀과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제2 및 제3 유형의 이웃하는 픽셀들은 상기 제1 유형의 픽셀에 대한 상기 제2 및 제3 유형의 이웃하는 픽셀들의 전체적인 가산(addition)에 대응하는 전체적인 양(+)의 가중 인자를 가지며;
- 상기 이미지의 제2 유형의 픽셀에 대한 대체물로서 역상관된 이미지의 제2 유형의 성분을 제공하도록 구성되어, 이에 의해 상기 제2 유형의 성분은 제2 유형의 픽셀과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들은 제2 유형의 픽셀로부터의 상기 제1 유형의 이웃하는 픽셀들의 전체적인 감산(subtraction)에 대응하는 전체적인 음(-)의 가중 인자를 가지며; 및
- 상기 이미지의 제3 유형의 픽셀에 대한 대체물로서 역상관된 이미지의 제3 유형의 성분을 제공하도록 구성되어, 이에 의해 상기 제3 유형의 성분은 제3 유형의 픽셀과 이웃 픽셀들을 포함하는 이미지의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들은 제3 유형의 픽셀로부터의 상기 제1 유형의 이웃하는 픽셀들의 전체적인 감산에 대응하는 전체적인 음(-)의 가중 인자를 갖는다.
청구항 12, 청구항 14 및 청구항 15에 정의된 바와 같은 본 발명의 추가의 양상에 따르면, 각각의 인코딩 시스템, 이미지를 처리하는 방법, 및 컴퓨터 프로그램 제품이 제공된다.
이하에서 정의된 바와 같은 이미지 프로세서는 예를 들어 이미지 센서에 의해 생성된 이미지와 같은 그러한 베이어 패턴으로 배열된 3가지 유형의 컬러 픽셀로 구성된 이미지를 효과적으로 역상관시킬 수 있다. 3가지 유형의 컬러 픽셀은 예를 들어, 적색(red), 녹색(green), 청색(blue)일 수 있으며, 이에 의해 녹색 픽셀은 적색 및 청색 픽셀보다 2배 더 많이 발생한다. 다른 예로서, 3가지 유형의 컬러 픽셀은 예를 들어 황색(yellow), 청녹색(cyan) 및 자주색(magenda)일 수 있거나 임의의 다른 컬러 조합(color scheme)에 따를 수 있다. 이미지 프로세서는 해당 유형의 이미지를 효율적으로 역상관시키기 때문에, 그에 의해 생성된 역상관된 이미지가 효율적으로 인코딩될 수 있다. 이것은 비교적 적은 양의 데이터로 구성된 인코딩된 이미지로 주어진 이미지 품질을 얻을 수 있게 한다. 달리 말하면, 인코딩된 이미지는 인코딩된 이미지가 포함할 수 있는 주어진 데이터 양에 대해 비교적 좋은 품질을 갖는다. 그럼에도 불구하고, 이미지 프로세서는 정보 손실을 일으킬 필요가 없다. 즉, 원래 형태의 이미지가 이미지 프로세서에 의해 생성된 역상관된 이미지를 기반으로 완벽하게 복원될 수 있다.
이하에서는, 본 발명의 예시로서 주어진 몇몇 실시예들이 첨부된 도면을 참조하여 상세히 설명될 것이다. 여기서는, 추가 특징들로서 그 중 일부는 종속항에 정의되어 있는 특징들이 제시될 것이고, 이점들이 더 명확해질 것이다.
도 1은 카메라의 블록선도이다.
도 2는 카메라의 이미지 센서에 의해 제공되는 원시 이미지의 개략선도이다.
도 3은 카메라의 이미지 프로세서의 블록선도이다.
도 4는 원시 이미지에 기초하여 이미지 프로세서의 역상관 모듈에 의해 제공되는 역상관된 이미지의 개략선도이다.
도 5는 역상관된 이미지를 제공하는 역상관 모듈의 블록선도이다.
도 6은 역상관 모듈이 수행하는 제1 역상관 동작을 나타내는 개념선도이다.
도 7은 제1 역상관 동작에 의해 획득된 중간의 역상관된 이미지의 개략선도이다.
도 8은 역상관 모듈이 수행하는 제2 역상관 동작을 나타내는 개념선도이다.
도 9는 역상관된 이미지에 기초하여 이미지 프로세서의 퀀컹스 웨이블릿 필터링 모듈에 의해 제공되는 부분적으로 웨이블릿 필터링된 역상관된 이미지의 개략선도이다.
도 10은 부분적으로 웨이블릿 필터링된 역상관된 이미지를 제공하는 퀀컹스 웨이블릿 필터링 모듈의 블록선도이다.
도 11은 퀀컹스 웨이블릿 필터링 모듈이 수행하는 제1 웨이블릿 필터링 동작을 설명하기 위한 개념선도이다.
도 12는 제1 웨이블릿 필터링 동작에 의해 획득된 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지의 개략선도이다.
도 13은 퀀컹스 웨이블릿 필터링 모듈이 수행하는 제2 웨이블릿 필터링 동작을 나타내는 개념선도이다.
도 14는 부분적으로 웨이블릿 필터링된 역상관된 이미지에서 동일 유형의 성분들에 기초하여 이미지 프로세서의 2차원 웨이블릿 필터링 모듈에 의해 제공되는 서브 대역들의 세트의 개략선도이다.
도 15는 2차원 웨이블릿 필터링 모듈에 의해 적용될 수 있고 역상관 모듈이 수행하는 제1 및 제2 역상관 동작뿐만 아니라 퀀컹스 웨이블릿 필터링 모듈이 수행하는 제1 및 제2 웨이블릿 필터링 동작과 개념적으로 관련되는 Le Gall 5/3 유형의 웨이블릿 필터링의 개략선도이다.
도 1은 카메라(100)를 개략적으로 도시한다. 도 1은 카메라(100)의 블록선도를 제공한다. 카메라(100)는 예를 들어, 포토 카메라 또는 비디오 카메라, 혹은 이미지 또는 비디오, 또는 이들 둘 다를 각각 캡처할 수 있는 포토 카메라 및 비디오 카메라의 조합일 수 있다. 카메라(100)는 캡처된 이미지 또는 비디오, 혹은 이들 둘 다를 인코딩된 형태로 더 저장할 수 있다. 카메라(100)는 캡처된 이미지 또는 비디오 혹은 이들 둘 다의 인코딩된 버전을 전송할 수 있다. 카메라(100)는 예를 들어, 스마트 폰 또는 다른 유형의 전자 장치의 일부일 수 있다.
도 1에 도시된 카메라(100)는 이미지 센서(101), 이미지 프로세서(102), 인코더(103), 저장 장치(104) 및 통신 인터페이스(105)를 포함한다. 이미지 센서(101)는 예를 들어, 녹색 감응 픽셀 센서, 적색 감응 픽셀 센서 및 청색 감응 픽셀 센서와 같은 그러한 3가지 유형의 컬러 픽셀 센서를 포함할 수 있다. 이러한 컬러 픽셀 센서는 이른바 베이어 패턴으로 배열될 수 있으며, 이에 의해 녹색 감응 픽셀 센서는 적색 감응 픽셀 센서 및 청색 감응 픽셀 센서보다 2배 더 많다.
도 2는 카메라(100)의 이미지 센서(101)가 제공할 수 있는 원시 이미지(200)를 도시한다. 도 2는 원시 이미지(200)의 개략 선도를 제공한다. 원시 이미지(200)는 3가지 유형의 컬러 픽셀, 즉 녹색 픽셀(G)인 제1 유형의 컬러 픽셀, 적색 픽셀 (R)인 제2 유형의 컬러 픽셀, 및 청색 픽셀(B)인 제3 유형의 컬러 픽셀을 포함한다. 이들 컬러 픽셀은 베이어 패턴으로 배열된다. 녹색 픽셀(G)은 적색 픽셀(R) 및 청색 픽셀(B)보다 2배 많이 발생한다. 이들 3가지 유형의 컬러 픽셀은 도 2에 도시된 바와 같이 인터리브된다. 알 수 있는 바와 같이, 베이어 패턴에 따르면, 원시 이미지(200)는 2개의 대각선으로 배치된 녹색 픽셀(G), 적색 픽셀(R) 및 청색 픽셀(B)을 포함하는 2x2 컬러 픽셀 블록의 직사각형 어레이이다.
카메라(100)는 기본적으로 다음과 같이 동작한다. 이미지 프로세서(102)는 저주파 휘도 성분, 고주파 휘도 성분에 대한 서브 대역 세트, 적색 기반 색도성분에 대한 서브 대역 세트를 포함할 수 있는 원시 이미지(200)의 역상관되고 웨이블릿 필터링된 버전을 제공한다. 원시 이미지(200)의 역상관 및 웨이블릿 필터링된 버전은 원시 이미지(200)와 동일한 양의 정보를 포함할 수 있다. 즉, 원시 이미지(200)는 원시 이미지(200)의 역상관 및 웨이블릿 필터링된 버전에 기초하여 완벽하게 복원될 수 있다. 이것은 이미지 프로세서(102)가 정보 손실을 야기할 필요가 없고 따라서 이미지 품질의 손실을 야기할 필요가 없다는 것을 의미한다. 이미지 프로세서(102)에 대해서는 이후에 더 상세히 설명하기로 한다.
인코더(103)는 원시 이미지(200)의 역상관되고 웨이블릿 필터링된 버전을 인코딩한다. 그렇게 하는데 있어서, 인코더(103)는 데이터 압축을 적용할 수 있고, 그럼으로써 일부 정보 손실을 야기할 수 있고 따라서 일부 품질 손실을 야기할 수 있다. 예를 들어, 인코더(103)는 미국 특허 제9,332,258호에 설명된 방식으로 동작할 수 있다.
이후에 더 상세히 설명될 이미지 프로세서(102)는 인코더(103)가 주어진 이미지 품질에 대해 비교적 높은 데이터 압축률을 달성할 수 있게 한다. 달리 말하면, 이미지 프로세서(102)는 인코더(103)가 주어진 데이터 압축률에 대해 비교적 높은 품질의 인코딩된 이미지를 제공할 수 있게 한다. 즉, 이미지 프로세서(102)는 비교적 높은 인코딩 효율을 달성하는데 기여한다. 이미지 프로세서(102)와 인코더(103)는 공동으로, 도 1에 도시된 바와 같이, 비교적 높은 인코딩 효율을 달성할 수 있는 인코딩 시스템(106)으로서 간주될 수 있다. 인코딩 시스템(106)은 예를 들어, 집적 회로의 형태로 구현될 수 있다.
저장 장치(104)는 인코딩 시스템(106)이 제공하는 인코딩된 이미지를 저장할 수 있다. 저장 장치(104)는 예를 들어, 고체 상태 저장 장치 또는 디스크 기반 저장 장치, 혹은 이들의 조합 뿐만 아니라 다른 유형의 저장 장치를 포함할 수 있다.
통신 인터페이스(105)는 인코딩된 이미지를 외부 장치로 전송할 수 있으며, 이 외부 장치는 예를 들어, 직접 통신 링크 또는 통신 네트워크를 통해 카메라(100)와 통신 가능하게 연결될 수 있다. 통신 인터페이스(105)는 예를 들어, USB 포트, 블루투스 인터페이스, 또는 Wi-Fi 인터페이스, 혹은 이들의 임의의 조합뿐만 아니라 다른 유형의 통신 인터페이스를 포함할 수 있다.
디코딩 시스템은 원시 이미지(200)의 카피 본을 획득하기 위해 인코딩된 이미지를 디코딩할 수 있다. 디코딩 시스템은 예를 들어, 카메라(100) 또는 외부 장치, 혹은 이들 둘 다에 포함될 수 있다. 디코딩 시스템은 편의와 단순화를 위해 도 1에 도시되지 않았다. 일반적으로, 디코딩 시스템은 앞서 설명된 바와 같이 그리고 이후에 더 상세히 설명되는 바와 같이, 인코딩 시스템(106)이 수행하는 동작들과 반대되는 동작들을 수행할 수 있다.
인코딩된 이미지를 디코딩하여 획득된 원시 이미지(200)의 카피 본은 예를 들어, 디스플레이에 적합한 이미지를 획득하기 위해 다양한 이미지 처리 동작들을 거칠 수 있다. 이러한 이미지 처리 동작들은 예를 들어, 디베이어링(debayering), 감마 보정, 백색 밸런싱 및 노이즈 제거를 포함할 수 있다. 용어, '디베이어링'은 베이어 패턴을 효과적으로 제거하고, 예를 들어 기존의 RGB 패턴과 같은 표시 장치에 적합한 패턴으로 대체하는 동작을 의미한다. 원시 이미지(200)의 디베이어링된 버전을 인코딩하기보다는 앞서 설명된 바와 같이 원시 이미지(200)를 인코딩하는 것의 이점은 정보 손실이 적어 더 높은 이미지 품질을 달성할 수 있다는 것이다.
도 3은 카메라(100)의 이미지 프로세서(102)를 개략적으로 도시한 것이다. 도 3은 이미지 프로세서(102)의 블록선도를 제공한다. 이미지 프로세서(102)는 역상관 모듈(301), 퀀컹스 웨이블릿 필터링 모듈(302), 및 2차원 웨이블릿 필터링 모듈(303)을 포함한다. 이들 모듈은 예를 들어, 전용 회로, 프로그래밍 가능 회로, 또는 적절하게 프로그래밍된 프로세서, 혹은 이들의 임의의 조합의 형태로 구현될 수 있다.
이미지 프로세서(102)는 기본적으로 다음과 같이 동작한다. 역상관 모듈(301)은 원시 이미지(200)에 기초하여 역상관된 이미지(304)를 획득하기 위해 다양한 픽셀 대체 동작을 수행한다. 보다 구체적으로, 역상관 모듈(301)은 원시 이미지(200)의 녹색 픽셀(G)를 휘도 성분(Y)로 대체한다. 역상관 모듈(301)은 추가로 원시 이미지(200)의 적색 픽셀(R) 및 청색 픽셀(B)를 적색 기반 색도 성분(Cr) 및 청색 기반 색도 성분(Cb)로 각각 대체한다.
도 4는 역상관 모듈(301)이 제공하는 역상관된 이미지(304)를 개략적으로 도시한 것이다. 도 3은 역상관된 이미지(304)의 개략선도를 제공한다. 휘도 성분(Y), 적색 기반 색도 성분(Cr), 및 청색 기반 색도 성분(Cb) 역시 베이어 패턴으로 배열된다. 적색 기반 색도 성분(Cr)과 청색 기반 색도 성분(Cb)의 2배인 휘도 성분(Y)이 있다. 알 수 있는 바와 같이, 역상관된 이미지(304)는 2개의 대각선으로 배치된 휘도 성분(Y), 적색 기반 색도 성분(Cr), 및 청색 기반 색도 성분(Cb)를 포함하는 2 x 2 성분의 블록들의 직사각형 어레이이다.
보다 구체적으로, 원시 이미지(200)에서 녹색 픽셀(G)의 대체를 구성하는 역상관된 이미지(304)에서 휘도 성분(Y)은 원시 이미지(200)에서 관련 녹색 픽셀(G)과 이웃 픽셀들의 가중 조합이다. 가중 조합에서, 이웃하는 적색 및 청색 픽셀(R, B)은 전체 양(+)의 가중 인자(weighting factor)를 갖는다. 이는 이웃하는 적색 및 청색 픽셀(R, B)을 대체되는 녹색 픽셀(G)에 전체적으로 가산한 것에 대응한다. 반대로, 이웃하는 녹색 픽셀(G)은 전체적으로 음(-)의 가중 인자를 가질 수 있다. 이는 대체되는 녹색 픽셀(G)로부터 이웃하는 녹색 픽셀(G)를 전체적으로 감산한 것에 해당한다.
예를 들어, 휘도 성분(Y)을 제공하는 가중 조합은 다음과 같을 수 있다:
Y(i,j) = +7/8*G(i.j) - 1/16*G(i-1, j-1) - 1/16* G(i+1, j-1) - 1/16* G(i-1, j+1) - 1/16* G(i+1, j+1) - 1/32*G(i-2,j) - 1/32*G(i,j-2) - 1/32*G(i+2,j) - 1/32*G(i,j+2) + 1/8*B(i,j-1) + 1/8*B(i,j+1) +1/8*R(i-1,j) + 1/8*R(i+1, j).
이 식에서, 콤마로 구분된 괄호 사이의 2개의 변수는 도 2에 도시된 원시 이미지(200)에서 관련 픽셀의 위치를 나타내며, 이에 의해 i 및 j는 각각, 형성되는 휘도 성분(Y)(i,j) 및 이에 의해 대체되는 녹색 픽셀(G)(i,j)의 수평 및 수직 방향에서의 위치를 나타낸다.
이 실시예에서, 4개의 바로 이웃하는 청색 및 적색 픽셀 B(i,j-1), B(i,j+1), R(i-1,j) R(i+1,j)는 모두, 대체되는 녹색 픽셀(G)(i,j)에 가산된다. 4개의 가장 가까운 녹색 픽셀 G(i-1, j-1), G(i+1, j-1), G(i-1, j+1), G(i+1, j+1)은 모두, 대체되는 녹색 픽셀 G(i,j)에서 감산된다. 또한, 4개의 추가적인 이웃한 녹색 픽셀 G(i-2,j), G(i,j-2), G(i+2,j), G(i,j+2) 역시 대체되는 녹색 픽셀 G(i,j)로부터 감산된다. 4개의 가장 가까운 이웃한 녹색 픽셀 G(i-1, j-1), G(i+1, j-1), G(i-1, j+1), G(i+1, j+1)은 대체되는 녹색 픽셀 G(i.j)에 관하여 x-구성으로 있다. 4개의 추가적인 이웃한 녹색 픽셀 G(i-2,j), G(i,j-2), G(i+2,j), G(i,j+2)는 대체되는 녹색 픽셀 G(i.j)에 관하여 x-구성으로 있다. 4개의 가장 가까운 이웃한 녹색 픽셀 G(i-1, j-1), G(i+1, j-1), G(i-1, j+1), G(i+1, j+1)는 4개의 추가적인 이웃한 녹색 픽셀 G(i-2,j), G(i,j-2), G(i+2,j), G(i, j+2)는 가중 인자가 -1/32인 4개의 추가적인 이웃한 녹색 픽셀 G(i-2,j), G(i,j-2), G(i+2,j), G(i,j+2)보다 높은 가중 인자 즉, -1/16을 갖는다.
원시 이미지(200)의 적색 픽셀(R)의 대체를 구성하는 역상관된 이미지(304)의 적색 기반 색도 성분(Cr)은 관련 적색 픽셀(R)의 픽셀과 이웃 픽셀들의 가중 조합이다. 이 가중 조합에서, 이웃하는 녹색 픽셀(G)은 전체 음의 가중 인자를 갖는다. 이것은 대체되는 적색 픽셀(R)에서 이웃하는 녹색 픽셀(G)의 전체 감산에 해당한다.
적색 기반 색도 성분(Cr)을 제공하는 가중 조합은 다음과 같을 수 있다.
Cr(i,j) = R(i,j) - 1/4*G(i-1,j) - 1/4*G(i,j-1) - 1/4*G(i+1,j) - 1/4*G(i,j+1).
이 식에서도, 콤마로 구분된 괄호 사이의 2개의 변수는 도 2에 도시된 원시 이미지(200)에서 관련 픽셀의 위치를 나타내며, 이에 의해 i 및 j는 각각, 형성되는 적색 기반 색도 성분 Cr(i,j) 및 그것으로 대체되는 적색 픽셀 R(i,j)의 수평 및 수직 방향의 위치를 나타낸다. 이 실시예에서, 4개의 바로 이웃하는 녹색 픽셀(G)(i-1,j), G(i,j-1), G(i+1,j), G(i,j+1)는 모두, 대체되는 적색 픽셀 R(i,j)로부터 감산된다.
마찬가지로, 원시 이미지(200)의 청색 픽셀(B)의 대체를 구성하는 역상관된 이미지(304)의 청색 기반 색도 성분(Cb)은 관련 청색 픽셀(B)과 이웃 픽셀들의 가중 조합이다. 가중 조합에서, 이웃한 녹색 픽셀들(G)는 전체 음의 가중 인자를 갖는다. 이는 대체되는 청색 픽셀(B)로부터 이웃한 녹색 픽셀들(G)을 전체적으로 감산한 것에 해당한다.
청색 기반 색도 성분(Cb)을 제공하는 가중 조합은 다음과 같을 수 있다:
Cb(i,j) = B(i,j) - 1/4*G(i-1,j) - 1/4*G(i,j-1) - 1/4*G(i+1,j) - 1/4*G(i,j+1).
이 식에서도 콤마로 구분된 괄호 사이의 2개의 변수는 도 2에 도시된 원시 이미지(200)에서 관련 픽셀의 위치를 나타내며, 이에 의해 i 및 j는 각각, 형성되는 청색 기반 색도 성분 Cb(i,j)과 그것에 의해 대체되는 청색 픽셀 B(i,j)의 수평 및 수직 방향의 위치를 나타낸다. 이 실시예에서, 4개의 바로 이웃하는 녹색 픽셀 G(i-1,j), G(i,j-1), G(i+1,j), G(i,j+1)은 모두, 이전에 제시된 적색 기반 색도 성분 Cr(i,j)을 제공하는 가중 조합에서와 같이, 대체되는 청색 픽셀 B(i,j)로부터 감산된다.
도 5는 도 3에 도시된 이미지 프로세서(102)의 일부를 형성하는 역상관 모듈(301)의 실시예를 개략적으로 도시한다. 도 5는 이하에서 간단히 역상관 모듈(301)로 지칭될 역상관 모듈(301)의 본 실시예에 따른 블록선도를 제공한다. 역상관 모듈(301)은 입력 버퍼 메모리(501), 색도 성분 형성 모듈(502), 중간 버퍼 메모리(503), 및 휘도 성분 형성 모듈(504)을 포함한다.
역상관 모듈(301)은 기본적으로 다음과 같이 동작한다. 입력 버퍼 메모리(501)는 도 2에 도시된 원시 이미지(200)의 적어도 일부를 일시적으로 저장한다. 색도 성분 형성 모듈(502)은 입력 버퍼 메모리(501)로부터 원시 이미지(200)의 적색 픽셀(R)뿐만 아니라 4개의 바로 이웃하는 녹색 픽셀(G)을 검색한다. 그 후, 색도 성분 형성 모듈(502)은 이전에 언급한 바와 같이 적색 픽셀(R)과 4개의 바로 이웃하는 녹색 픽셀(G)들과의 사이에 가중 조합을 만듦으로써 적색 기반 색도 성분(Cr)을 형성한다. 이러한 방식으로, 색도 성분 형성 모듈(502)은 원시 이미지(200)에서 적색 픽셀(R)의 대체를 구성하는 역상관된 이미지(304)에 대한 각각의 적색 기반 색도 성분(Cr)을 형성한다.
색도 성분 형성 모듈(502)은 유사한 방식으로 청색 기반 색도 성분(Cb)을 형성한다. 즉, 색도 성분 형성 모듈(502)은 입력 버퍼 메모리(501)로부터 원시 이미지(200)의 청색 픽셀(B)뿐만 아니라 바로 이웃한 4개의 녹색 픽셀(G)을 검색한다. 그 후, 색도 성분 형성 모듈(502)은 이전에 언급한 바와 같이 청색 픽셀(B)과 바로 이웃한 4개의 녹색 픽셀들(G)과의 사이에 가중 조합을 만듦으로써 청색 기반 색도 성분(Cb)을 형성한다.
도 6은 전술한 바와 같이, 적색 기반 색도 성분(Cr)과 청색 기반 색도 성분(Cb)의 형성을 도시한다. 이것은 제1 역상관 동작으로서 간주될 수 있다. 도 6은 역상관된 이미지(304)에 대한 색도 성분(Cr, Cb)을 형성하는 제1 역상관 동작의 개념선도를 제공한다. 도 6에서, 원시 이미지(200)의 일부는 이 도면의 좌측 절반에 표시되는 반면, 역상관된 이미지(304)의 일부는 이 동일 도면의 우측 절반에 표시된다. 원시 이미지(200)에서 적색 픽셀(R)과 4개의 바로 이웃하는 녹색 픽셀들(G) 뿐만 아니라 청색 픽셀(B)과 4개의 바로 이웃한 녹색 픽셀(G)이 표시된다. 또한, 역상관된 이미지(304)에서 전술한 적색 픽셀(R)의 대체를 구성하는 적색 기반 색도 성분(Cr)이 표시됨과 아울러 역상관된 이미지(304)의 전술한 청색 픽셀(B)의 대체를 구성하는 청색 기반 색도 성분(Cb)이 표시된다. 또한, 가중 인자들이 표시되며, 이는 이전에 언급한 것과 대응한다.
도 7은 색도 성분 형성 모듈(502)에 의해 제공되는 중간 역상관된 이미지(700)를 개략적으로 도시한다. 도 7은 중간 역상관된 이미지(700)의 개략선도를 제공한다. 중간 역상관된 이미지(700)는 각각의 적색 및 청색 픽셀(B)이 각각의 적색 기반 색도 성분(Cr) 및 각각의 청색 기반 색도 성분(Cb)으로 대체된 원시 이미지(200)의 수정된 버전에 대응한다. 원시 이미지(200)의 녹색 픽셀들(G)은 아직 대체되지 않았으므로 존재한다. 중간 역상관된 이미지(700)의 적어도 일부는 도 5에 도시된 역상관 모듈(301)의 중간 버퍼 메모리(503)에 일시적으로 저장된다.
다시 도 5를 참조하면, 휘도 성분 형성 모듈(504)은 중간 버퍼 메모리(503)로부터 중간 역상관된 이미지(700)의 녹색 픽셀(G)을 검색할 뿐만 아니라, 바로 이웃하는 4개의 색 픽셀(Cr, Cb) 즉, 2개의 적색 기반 색 픽셀(Cr) 및 2개의 청색 기반 색도 픽셀(Cb)을 검색한다. 그 후, 휘도 성분 형성 모듈(504)은 녹색 픽셀(G)과 4개의 바로 이웃하는 색도 픽셀(Cr, Cb)의 가중 조합을 만듦으로써 휘도 성분(Y)을 형성한다. 이러한 방식으로, 휘도 성분 형성 모듈(504)은 원시 이미지(200)에서 녹색 픽셀(G)의 대체를 구성하는 역상관된 이미지(304)에 대한 각각의 휘도 성분(Y)을 형성한다. 따라서, 휘도 성분 형성 모듈(504)은 도 6에 도시된 중간 역상관된 이미지(700)에 기초하여 도 4에 도시된 역상관된 이미지(304)를 제공하며, 이는 도 5에 도시된 역상관 모듈(301)의 중간 버퍼 메모리(503)에 일시적으로 저장된다.
도 8은 전술한 바와 같은 휘도 성분(Y)의 형성을 도시한다. 이것은 제2 역상관 동작으로서 간주될 수 있다. 도 8은 역상관된 이미지(304)에 대한 휘도 성분(Y)을 형성하는 제2 역상관 동작의 개념선도를 제공한다. 도 8에서, 중간 역상관된 이미지(700)의 일부는 이 도면의 좌측 절반에 표현되는 반면, 역상관된 이미지(304)의 일부는 이 동일 도면의 우측 절반에 표현된다. 중간 역상관된 이미지(700)에서 녹색 픽셀(G) 및 4개의 바로 이웃하는 색도 성분(Cb, Cr)이 표시된다. 또한, 역상관된 이미지(304)의 휘도 성분(Y)이 표시되며, 이는 전술한 녹색 픽셀(G)의 대체를 구성한다. 또한, 가중 인자들이 표시된다. 이것들이 도 6에 나타낸 가중 인자와 결합 될 때, 휘도 성분(Y)을 형성하기 위해 이전에 언급한 것에 대응하는 가중 인자들이 얻어진다.
도 5에 도시된 역상관 모듈(301)은 픽셀들에 가중 인자들을 적용한 결과로부터의 정수 및 반올림으로 동작할 수 있다. 이는 비교적 간단하고 비용이 적게 드는 구현을 가능하게 한다. 숫자를 반올림하는 다양한 방법들이 있다. 예를 들어, 적색 기반 색도 성분(Cr)의 형성과 청색 기반 색도 성분(Cb)의 형성은 다음과 같은 방식으로 적응될 수 있다:
Cb(i,j) = B(i,j) - ROUNDDOWN(1/4*G(i-1,j) + 1/4*G(i,j-1) + 1/4*G(i+1,j) + 1/4*G(i,j+1)); 및
Cr(i,j) = R(i,j) - ROUNDDOWN(1/4*G(i-1,j) + 1/4*G(i,j-1) + 1/4*G(i+1,j) + 1/4*G(i,j+1)).
유사하게, 휘도 성분(Y)의 형성은 다음과 같은 방식으로 적응될 수 있다:
Y(i,j) = G(i,j) + ROUNDDOWN(1/8*Cr(i-1,j) + 1/8*Cb(i,j-1) + 1/8*Cr(i+1,j) + 1/8*Cb(i,j+1)).
디코더에서, 역상관 모듈(301)의 대응물인 모듈은 다음 중 하나를 수행함으로써 앞서 언급한 식을 정확히 역전시키도록 적응될 수 있다:
G(i,j) = Y(i,j) - ROUNDDOWN(1/8*Cr(i-1,j) + 1/8*Cb(i,j-1) + 1/8*Cr(i+1,j) + 1/8*Cb(i,j+1));
R(i,j) = Cr(i,j) + ROUNDDOWN(1/4*G(i-1,j) + 1/4*G(i,j-1) + 1/4*G(i+1,j) + 1/4*G(i,j+1)); 및
B(i,j) = Cb(i,j) + ROUNDDOWN(1/4*G(i-1,j) + 1/4*G(i,j-1) + 1/4*G(i+1,j) + 1/4*G(i,j+1)).
이들 식에서, ROUNDDOWN은 숫자를 가장 가까운 정수로 내림하는 연산자를 나타낸다.
다시 도 3에 도시된 이미지 프로세서(102)를 참조하면, 퀀컹스 웨이블릿 필터링 모듈(302)은 도 4에 도시된 역상관된 이미지(304)의 휘도 성분들(Y)에 웨이블릿 필터링 동작을 적용한다. 사실, 퀀컹스 웨이블릿 필터링 모듈(302)은 휘도 성분 (Y)을 휘도 성분(Y)의 제1 어레이 세트 및 휘도 성분(Y)의 제2 어레이 세트로 분해한다. 제1 세트에 속하는 휘도 성분(Y)의 어레이는 제2 세트의 휘도 성분(Y)의 어레이와 인터리브된다. 예를 들어, 휘도 성분(Y)의 제1 어레이 세트는 도 4에 도시된 역상관된 이미지(304)의 고른(even) 라인에 대응할 수 있는 반면, 휘도 성분(Y) 의 제2 어레이 세트는 역상관된 이미지(304)의 고르지 않은(uneven) 라인에 대응할 수 있고, 그 반대의 경우도 마찬가지이다.
퀀컹스 웨이블릿 필터링 모듈(302)은 제1 어레이 세트에 속하는 휘도 성분(Y)에 대한 고주파 휘도 성분(YH)을 제공할 수 있다. 그 경우에, 퀀컹스 웨이블릿 필터링 모듈(302)은 제2 어레이 세트에 속하는 휘도 성분(Y)에 대한 저주파 휘도 성분(YL)을 제공할 수 있다. 실제로, 고주파 휘도 성분(YH)은 제1 어레이 세트에 속하는 휘도 성분(Y)을 대체한다. 저휘도 성분(YL)은 제2 어레이 세트에 속하는 휘도 성분(Y)을 대체한다.
도 9는 퀀컹스 웨이블릿 필터링 모듈(302)에 의해 제공되는 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)를 개략적으로 도시한다. 도 9는 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)의 개략선도를 제공한다. 이 예에서, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)의 고른 라인은 고주파 휘도 성분(YH)을 포함하는 반면, 고르지 못한 라인은 저주파 휘도 성분(YL)을 포함한다. 따라서, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에서, 각각의 상이한 유형의 성분은 모자이크 어레이보다는 이항 어레이(dyadic arrays)로 편성된다. 이 특징은 만일 예를 들어, 도 1에 도시된 카메라(100)의 인코더(103)가 이항 어레이로 편성된 성분들을 처리하도록 특별히 설계된 경우 관련될 수 있다. 이는 예를 들어 인코더(103)가 앞서 언급한 미국 특허 제9,332,258호에 설명된 방식으로 동작하는 경우일 수 있다.
도 10은 도 3에 도시된 이미지 프로세서(102)의 일부를 형성하는 퀀컹스 웨이블릿 필터링 모듈(302)의 실시예를 도시한다. 도 10은 이후에 단순히 퀀컹스 웨이블릿 필터링 모듈(302)로 지칭될 퀀컹스 웨이블릿 필터링 모듈(302)의 본 실시예에 따른 블록선도를 제공한다. 퀀컹스 웨이블릿 필터링 모듈(302)은 입력 버퍼 메모리(1001), 고주파 휘도 성분 형성 모듈(1002), 중간 버퍼 메모리(1003), 및 저주파 휘도 성분 형성 모듈(1004)을 포함한다.
퀀컹스 웨이블릿 필터링 모듈(302)은 기본적으로 다음과 같이 동작한다. 입력 버퍼 메모리(1001)는 도 4에 도시된 역상관된 이미지(304)의 적어도 일부를 일시적으로 저장한다. 고주파 휘도 성분 형성 모듈(1002)은 역상관된 이미지(304)로부터의 휘도 성분(Y)뿐만 아니라 처음에 언급한 휘도 성분(이후, 편의상 중앙 휘도 성분(Y)이라 칭한다)에 관하여 퀀컹스 구성으로 있는 4개의 바로 이웃하는 휘도 성분(Y)을 입력 버퍼 메모리(1001)로부터 검색한다. 중앙 휘도 성분(Y)은 제1 어레이 세트에 속할 수 있는 반면, 바로 이웃하는 휘도 성분(Y)은 제2 어레이 세트에 속할 수 있다. 예를 들어, 중앙 휘도 성분(Y)은 역상관된 이미지(304)에서 고른 라인에 존재할 수 있는 반면, 4개의 바로 이웃하는 휘도 성분(Y)중 2개는 전술한 고른 라인 바로 위의 고르지 않은 라인에 존재할 수 있고, 바로 이웃하는 4개의 휘도 성분(Y)중 다른 2개는 전술한 고른 라인 바로 아래의 고르지 않은 라인에 존재할 수 있다.
고주파 휘도 성분 형성 모듈(1002)은 한편으로 중앙 휘도 성분(Y)과 다른 한편으로 바로 이웃하는 4개의 휘도 성분(Y) 사이에 가중 조합을 만듦으로써 고주파 휘도 성분(YH)을 형성한다. 가중 조합은 다음과 같이 표현할 수 있다:
YH(i,j) = Y(i,j) - 1/4*Y(i-1,j-1) - 1/4*Y(i+1,j-1) - 1/4*Y(i+1,j+1) - 1/4*Y(i-1,j+1).
여기서, 전술한 바와 같이, 콤마로 구분된 괄호 사이의 2개의 변수는 도 4에 도시된 역상관된 이미지(304)와 관련된 휘도 성분의 위치를 나타내며, 이에 의해 i 및 j는 각각, 형성되는 고주파 휘도 성분 YH(i,j) 및 그것에 의해 대체되는 휘도 성분 Y(i,j)의의 수평 및 수직 방향에서의 위치를 나타낸다.
도 11은 제1의 부분적 웨이블릿 필터링 동작으로 간주될 수 있는 고주파 휘도 성분(YH)의 형성을 도시한다. 도 11은 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에 대한 고주파 휘도 성분(YH)을 형성하는 제1의 부분적 웨이블릿 필터링 동작의 개념선도를 제공한다. 도 11에서, 역상관된 이미지(304)의 일부는 이 도면의 좌측 절반에 표현되는 반면, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)의 일부는 이 동일 도면의 우측 절반에 표현된다. 휘도 성분(Y)의 제1 어레이 세트에 속하는 휘도 성분(Y) 및 제2 어레이 세트에 속하는 휘도 성분(Y)은 역상관된 이미지(304)에서 상이한 음영들로 표시된다. 이 예에서, 휘도 성분(Y)의 어레이는 역상관된 이미지(304)의 라인에 대응한다. 역상관된 이미지(304)의 제1 어레이 세트에 속하는 휘도 성분(Y) 및 제2 어레이 세트에 속하는 4개의 바로 이웃하는 휘도 성분(Y)이 도 11에 표시되어 있다. 또한, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)의 고주파 휘도 성분(YH)가 표시되며, 이는 처음에 언급된 휘도 성분의 대체를 구성한다. 또한, 이전에 표시된 것과 대응하는 가중 인자들이 표시된다.
도 12는 고주파 휘도 성분 형성 모듈(1002)에 의해 제공되는 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)를 개략적으로 도시한다. 도 12는 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)의 개략선도를 제공한다. 이 이미지(1200)는 제1 세트의 어레이에 속하는 각각의 휘도 성분(Y)이 각각의 고주파 휘도 성분(YH)으로 대체된 역상관된 이미지(304)의 수정된 버전에 대응한다. 제2 어레이 세트에 속하는 역상관된 이미지(304)의 휘도 성분(Y)은 아직 대체되지 않았으며 따라서 존재한다. 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)의 적어도 일부는 도 10에 도시된 퀀컹스 웨이블릿 필터링 모듈(302)의 중간 버퍼 메모리(1003)에 일시적으로 저장된다.
다시 도 10을 참조하면, 저주파 휘도 성분 형성 모듈(1004)은 중간 버퍼 메모리(1003)로부터 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)의 휘도 성분(Y) 뿐만 아니라 퀀컹스 구성으로 있는 4개의 바로 이웃하는 고주파 휘도 성분(YH)를 검색한다. 이 예에서 휘도 성분(Y)은 제2 어레이 세트에 속하는 반면, 바로 이웃한 고주파 휘도 성분(YH)은 제1 어레이 세트에 속하는 휘도 성분(Y)을 대체한다. 예를 들어, 휘도 성분(Y)은 역상관된 이미지(304)에서 고르지 않은 라인에 존재할 수 있고 따라서 중간의 부분적으로 웨이블릿 필터링된 버전(1200)에 존재할 수 있는 반면, 4개의 바로 이웃하는 고주파 휘도 성분들(YH) 중 2개는 전술한 고르지 않은 라인 바로 위의 고른 라인에 존재할 수 있고, 바로 이웃하는 4개의 휘도 성분(Y) 중 나머지 2개는 전술한 고르지않은 라인 바로 아래의 고른 라인에 존재할 수 있다.
저주파 휘도 성분 형성 모듈(1004)은 한편으로는 휘도 성분(Y)과 다른 한편으로는 바로 이웃하는 4개의 고주파 휘도 성분(YH)의 가중 조합을 만듦으로써 저주파 휘도 성분(YL)을 형성한다. 가중 조합은 다음과 같이 표현할 수 있다.
YL(i,j) = Y(i,j) + 1/8*YH(i-1,j-1) + 1/8*YH(i+1,j-1) + 1/8*YH(i+1,j+1) + 1/8*YH(i-1,j+1).
여기서, 전술한 바와 같이, 콤마로 구분된 괄호 사이의 2개의 변수는 도 12에 도시된 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)에 관련된 휘도 성분의 위치를 나타내며, 이에 의해 i 및 j는 각각, 형성되는 저주파 휘도 성분 YL(i,j) 및 그것에 의하여 대체되는 휘도 성분 Y(i,j)의 수평 및 수직 방향에서의 위치를 나타낸다.
도 13은 제2의 부분적 웨이블릿 필터링 동작으로 간주될 수 있는 저주파 휘도 성분(YL)의 형성을 예시한다. 도 13은 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에 대한 저주파 휘도 성분(YL)을 형성하는 제2의 부분적 웨이블릿 필터링 동작의 개념선도를 제공한다. 도 13에서, 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)의 일부는 이 도면의 좌측 절반에 표시되는 반면, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)의 일부는 이 동일 도면의 우측 절반에 표시된다.
중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)의 휘도 성분(Y)뿐만 아니라 4개의 바로 이웃한 고주파 휘도 성분(YH)이 도 13에 표시되어 있다. 또한, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에서 저주파 휘도 성분(YL)이 표시되며, 이는 전술한 휘도 성분의 대체를 구성하고, 또한, 앞서 나타낸 것에 대응하는 가중 인자가 표시된다.
도 5에 도시된 역상관 모듈(301)과 같이, 도 10에 도시된 퀀컹스 웨이블릿 필터링 모듈(302)은 성분들에 가중 인자를 적용한 결과로 정수 및 반올림으로 동작할 수 있다. 이것 역시 비교적 간단하고 저렴한 구현을 가능하게 한다. 예를 들어, 일 예로 앞서 제시된 가장 가까운 정수로 반올림하는 것과 같은 그러한 숫자를 반올림하는 다양한 방법들이 있다.
다시 도 3에 도시된 이미지 프로세서(102)를 참조하면, 2차원 웨이블릿 필터링 모듈(303)은 도 9에 도시된 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에서 적색 기반 색도 성분(Cr), 청색 기반 색도 성분(Cb) 및 저주파 휘도 성분(YL)에 개별적으로 2차원 웨이블릿 필터링을 적용한다. 즉, 이 이미지에서 적색 기반 색도 성분(Cr)은 사실상 2차원 웨이블릿 필터링을 거치는 서브 이미지를 구성한다. 유사하게, 청색 기반 색도 성분(Cb)은 사실상 이 필터링을 거치는 다른 서브 이미지를 구성하고, 저주파 휘도 성분(YL)은 2차원 웨이블릿 필터링을 거치는 또 다른 서브 이미지를 구성한다.
2차원 웨이블릿 필터링은 연속적으로 수행되는 2개의 1차원 웨이블릿 필터링 동작을 포함할 수 있다. 2개의 1차원 웨이블릿 필터링 동작 중 하나는 수평 방향으로 수행될 수 있는 반면, 다른 1차원 웨이블릿 필터링 동작은 수직 방향으로 수행될 수 있다. 예를 들어, 서브 이미지 성분은 먼저 1차원 웨이블릿 필터에 라인 방식으로 적용될 수 있다. 이 제1 웨이블릿 필터링 동작은 그 후 수평 고주파 서브 대역과 수평 저주파 서브 대역을 생성한다. 후속적으로, 수평 고주파 서브 대역의 성분은 수평 고주파/수직 고주파 서브 대역 및 수평 고주파/수직 저주파 서브 대역을 생성하는 1차원 웨이블릿 필터에 칼럼 방식으로 적용될 수 있다. 수평 저주파 서브 대역의 성분은 수평 저주파/수직 고주파 서브 대역 및 수평 저주파/수직 저주파 서브 대역을 생성하는 1차원 웨이블릿 필터에 적용될 수 있다.
도 14는 2차원 웨이블릿 필터링 모듈(303)에 의해 제공되는 서브 대역들의 세트를 도시한다. 도 14는 수평 방향의 주파수(FH)를 나타내는 수평축과 수직 방향의 주파수(FV)를 나타내는 수직축을 갖는 2차원 주파수 선도이다. 이 예에서, 이전에 언급한 4개의 서브 대역 즉, 참조 번호(1401)로 지정된 수평 고주파/수직 고주파 서브 대역, 참조 번호(1402)로 지정된 수평 고주파/수직 저주파 서브 대역, 참조 번호(1403)로 지정된 수평 저주파/수직 고주파 서브 대역 및 수평 저주파/수직 저주파 서브 대역이 있다. 이들 4개의 서브 대역은 전술한 바와 같이 서브 이미지의 2차원 웨이블릿 필터링의 결과이며, 이에 의해 서브 이미지는 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)에서 동일한 유형의 성분에 의해 형성된다. 따라서, 도 4에 도시된 4개의 서브 대역은 적색 기반의 색도 성분(Cr), 청색 기반의 색도 성분(Cb) 또는 저주파 휘도 성분(YL)에 의해 생성될 수 있다.
도 15는 Le Gall 5/3 유형의 웨이블릿 필터링을 나타낸다. 도 15는 이 웨이블릿 필터링의 개념적인 선도를 제공한다. 도 15를 참조하여 이후에 설명하는 Le Gall 5/3 유형의 웨이블릿 필터링은 2차원 웨이블릿 필터링 모듈(303)이 수행하는 전술한 1차원 웨이블릿 필터링 동작에 대응할 수 있다. 또한, Le Gall 5/3 유형의 웨이블릿 필터링은 역상관 모듈(301)이 수행하는 제1 및 제2 역상관 동작과 개념적으로 관련이 있을 뿐만 아니라, 퀀컹스 웨이블릿 필터링 모듈(302)이 수행하는 제1 및 제2 웨이블릿 필터링 동작과 관련이 있다. 이에 대해서는 이하에서 보다 상세히 설명한다.
Le Gall 5/3 유형의 웨이블릿 필터링은 도 15의 상부에 일련의 비교적 작은 원으로 표현된 일련의 입력 샘플에 적용된다. 이들 작은 원의 일부는 흰색 채움을 갖는 반면, 이들 작은 원의 다른 부분은 흑색 채움을 갖는다. 이들은 이하에서 각각 백색 입력 샘플 및 흑색 입력 샘플로 지칭된다. 백색 입력 샘플은 도 15에 도시된 바와 같이 흑색 입력 샘플과 인터리브된다. Le Gall 5/3 유형의 웨이블릿 필터링은 흑색 입력 샘플에 대해 고주파 출력 샘플을 제공하고 흰색 입력 샘플에 대해 저주파 출력 샘플을 제공한다. 고주파 출력 샘플은 도 15의 중간 부분에 표시되는 반면, 저주파 출력 샘플은 이 도면의 아래 부분에 표시된다.
한편으로 흑색 입력 샘플과 다른 한편으로 바로 이웃한 2개의 백색 입력 샘플의 가중 조합을 만듦으로써 흑색 입력 샘플에 대한 고주파 출력 샘플이 형성된다. 이 가중 조합에서, 흑색 입력 샘플은 +1의 가중 인자를 갖고, 2개의 바로 이웃하는 백색 입력 샘플은 도 15에 나타낸 바와 같이 -0.5의 가중 인자를 갖는다. 따라서 가중 조합은 흑색 입력 샘플과 바로 이웃한 2개의 흰색 입력 샘플 간의 차이를 나타낸다. 이 가중 조합의 결과인 고주파 출력 샘플은 사실상 그것이 형성되는 흑색 입력 샘플을 대체한다.
흰색 입력 샘플과 바로 이웃한 2개의 고주파 출력 샘플의 가중 조합을 만듦으로써 흰색 입력 샘플에 대한 저주파 출력 샘플이 형성된다. 가중 조합에서 이들 2개의 고주파 출력 샘플은 도 15에 도시된 바와 같이 관련된 백색 입력 샘플에 바로 이웃한 2개의 흑색 입력 샘플의 위치를 사실상 대체한다. 가중 조합에서, 도 15에 도시된 바와 같이, 백색 입력 샘플은 +1의 가중 인자를 갖고 그들의 바로 이웃하는 고주파 출력 샘플은 가중 인자 +0.25를 갖는다. 따라서, 가중 조합은 흰색 입력 샘플과 바로 이웃한 2개의 고주파 출력 샘플의 가중 합이다. 가중 조합의 결과인 저주파 출력 샘플은 사실상 그것이 형성되는 흰색 입력 샘플을 대체한다.
앞서 언급된 바와 같이, 역상관 모듈(301)이 역상관된 이미지(304)를 형성하기 위해 이미지 프로세서(102)에서 수행하는 제1 및 제2 역상관 동작은 개념적으로 앞서 논의된 Le Gall 5/3 유형의 웨이블릿 필터링과 관련된다. 보다 구체적으로, 도 6에 도시된 적색 기반 색도 성분(Cr) 및 청색 기반 색도 성분(Cb)의 형성은 개념적으로, 1차원 특성을 갖는 도 15에 도시된 Le Gall 5/3 유형의 웨이블릿 필터링에서 고주파 출력 샘플 형성의 2차원 확장으로 간주될 수 있다. 도 15에 도시된 바와 같이 고주파 출력 샘플을 형성하기 위해 1차원에서 2개의 바로 이웃한 입력 샘플을 취하는 대신에, 색도 성분의 형성은 도 6에 도시된 바와 같이 2차원으로 바로 이웃하는 4개의 픽셀을 취하는 것을 포함한다. 고주파 출력 샘플을 제공하는 가중 조합에서 가중 인자의 합은 색도 성분을 제공하는 가중 조합에서 가중 인자의 합과 같다. 처음으로 언급된 가중 조합에는 가중 인자가 각각 -0.5인 2개의 이웃이 있고, 마지막으로 언급된 가중 조합에는 가중 인자가 각각 -0.25인 4개의 이웃이 있다.
유사하게, 도 8에 도시된 휘도 성분(Y)의 형성은 개념적으로, 1차원 특성을 갖는 도 15에 도시된 Le Gall 5/3 유형의 웨이블릿 필터링에서 저주파 출력 샘플 형성의 2차원 확장으로 간주될 수 있다. 도 15에 도시된 바와 같이 저주파 출력 샘플을 형성하기 위해 1차원에서 바로 이웃하는 2개의 고주파 출력 샘플을 취하는 대신에, 휘도 성분(Y)의 형성은 도 8에 도시된 바와 같이 2차원에서 바로 이웃하는 4개의 색도 픽셀을 취하는 것을 포함한다. 다시, 저주파 출력 샘플을 제공하는 가중 조합에서 가중 인자의 합은 휘도 성분을 제공하는 가중 조합에서 가중 인자의 합과 같다. 처음으로 언급된 가중 조합에는 가중 인자가 각각 +0.25인 2개의 이웃이 있고, 마지막으로 언급된 가중 조합에는 가중 인자가 각각 +0.125인 4개의 이웃이 있다.
앞에서 또한 언급한 바와 같이, 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)를 형성하기 위해 퀀컹스 웨이블릿 필터링 모듈(302)이 이미지 프로세서(102)에서 수행하는 제1 및 제2 웨이블릿 필터링 동작은 개념적으로, 전술한 Le Gall 5/3 유형의 웨이블릿 필터링과 관련이 있다. 보다 구체적으로, 도 11에 도시된 고주파 휘도 성분(YH)의 형성은 개념적으로, 1차원 특성을 갖는 도 15에 도시된 Le Gall 5/3 유형의 웨이블릿 필터링에서 고주파 출력 샘플 형성의 2차원 확장으로 간주될 수 있다. 도 15에 도시된 바와 같이 고주파 출력 샘플을 형성하기 위해 1차원에서 2개의 바로 이웃한 입력 샘플을 취하는 대신에, 고주파 휘도 성분(YH)의 형성은 도 11에 도시된 바와 같이 4개의 이웃하는 휘도 픽셀을 2차원으로 취하는 것을 포함한다. 고주파 출력 샘플을 제공하는 가중 조합에서 가중 인자의 합은 고주파 휘도 성분을 제공하는 가중 조합에서 가중 인자의 합과 같다. 처음으로 언급된 가중 조합에는 가중 인자가 각각 -0.5인 2개의 이웃이 있고, 마지막으로 언급된 가중 조합에는 가중 인자가 각각 -0.25인 4개의 이웃이 있다.
유사하게, 도 13에 도시된 저주파 휘도 성분(YL)의 형성은 개념적으로, 1차원 특성을 갖는 도 15에 도시된 Le Gall 5/3 유형의 웨이블릿 필터링에서 저주파 출력 샘플 형성의 2차원 확장으로 간주될 수 있다. 도 15에 도시된 바와 같이 저주파 출력 샘플을 형성하기 위해 1차원에서 2개의 바로 이웃하는 고주파 출력 샘플을 취하는 대신에, 저주파 휘도 성분(YL)의 형성은 도 8에 도시된 바와 같이 4개의 이웃하는 고주파 휘도 성분(YH)을 2차원으로 취하는 것을 포함한다. 다시, 저주파 출력 샘플을 제공하는 가중 조합에서 가중 인자의 합은 저주파 휘도 성분을 제공하는 가중 조합에서 가중 인자의 합과 같다. 처음으로 언급된 가중 조합에는 가중 인자가 각각 +0.25인 2개의 이웃이 있고, 마지막으로 언급된 가중 조합에는 가중 인자가 각각 +0.125인 4개의 이웃이 있다.
도 1에 도시된 카메라(100)에서, 이미지 프로세서(102)는 따라서 도 10에 도시된 부분적으로 웨이블릿 필터링된 역상관된 이미지(900)를 획득하기 위해 도 2에 도시된 원시 이미지(200)를 처리하며, 이는 4개의 서브 이미지 즉, 고주파 휘도 성분(YH)을 포함하는 서브 이미지, 저주파 휘도 성분(YL)을 포함하는 서브 이미지, 적색 기반 색도 성분(Cr)을 포함하는 서브 이미지 및 청색 기반 색도 성분(Cb)을 포함하는 서브 이미지의 조합으로 간주될 수 있다. 또한, 이미지 프로세서(102)는 마지막으로 언급된 3개의 하위 이미지 각각에 대해 도 14에 도시된 바와 같이 4개의 서브 대역의 세트를 제공한다. 그 후, 인코더(103)는 정보 손실 없이 도 2에 도시된 원시 이미지(200)를 나타낼 수 있는 다음의 데이터 즉, 고주파 휘도 성분(YH), 저주파 휘도 성분(YL)을 나타내는 4개의 서브 대역, 적색 기반 색도 성분(Cr)을 나타내는 4개의 서브 대역 및 청색 기반 색도 성분(Cb)을 나타내는 4개의 서브 대역을 효율적으로 인코딩할 수 있다.
주목사항
도면을 참조하여 전술한 실시예들은 예시로서 제시된 것이다. 본 발명은 수많은 상이한 방식으로 구현될 수 있다. 이를 설명하기 위해 일부 대안이 간략하게 언급된다.
본 발명은 이미지 처리, 비디오 처리, 또는 이들 둘 다에 관련된 다양한 유형의 제품 또는 방법에 적용될 수 있다. 제시된 실시예들은 이미지 및 비디오 압축에 적용되는 본 발명의 예를 제공한다. 그러나, 본 발명은 예를 들어 이미지의 분할된 저장 및/또는 전송을 위한 이미지의 다중 해상도 뷰의 제공, 이미지에서 객체/속성을 검출하고 분할을 달성하기 위한 이미지 분석, 및 디베이어링 알고리즘을 위한 분석 필터와 같은 다른 유형의 이미지 및 비디오 처리에 적용될 수 있다.
본 발명에 따른 이미지 프로세서를 구현하는 다양한 방법이 있다. 제시된 실시예의 모듈들 모두는 전용 또는 프로그래밍 가능한 전기 회로에 의해, 혹은 적절하게 프로그래밍된 프로세서, 혹은 이들의 조합에 의해 구현될 수 있다. 컴퓨터 프로그램은 도 1 내지 도 15를 참조하여 설명된 이미지 프로세서에 의해 수행되는 하나 이상의 동작을 정의할 수 있다. 이와 관련하여, 블록선도들 각각은 또한 적어도 부분적으로, 그러한 컴퓨터 프로그램의 흐름도를 나타내는 것으로 간주될 뿐만 아니라 컴퓨터 프로그램을 실행할 때 프로세서가 수행할 수 있는 방법을 나타내는 것으로 간주될 수 있다. 예를 들어, 도 5에 도시된 역상관 모듈은 역상관 단계를 나타내는 것으로 간주될 수 있다. 유사하게, 다른 모듈들은 방법의 단계를 나타내는 것으로 간주될 수 있다.
본 발명에 따른 제품 또는 방법에서 역상관 픽셀-성분 변환 방식을 구현하는 수많은 상이한 방법들이 있다. 제시된 실시예들에서, 앞서 설명된 바와 같이 Le Gall 5/3 유형의 웨이블릿 필터링과 개념적으로 관련된 픽셀-성분 변환 방식이 적용된다. 보다 구체적으로, 이러한 개념적 관계에서, 제시된 실시예들에서 적색 및 청색 픽셀인 제2 및 제3 유형의 픽셀은 사실상 관련 웨이블릿 필터링의 1차원 커널의 확장인 2차원 필터 커널을 사용하여 고주파 성분이 제공되는 샘플들로 간주될 수 있으며, 이에 의해 가중 인자의 수정이 적용된다. 제시된 실시예들에서 녹색 픽셀인 제1 유형의 픽셀은 사실상 관련 웨이블릿 필터링의 1차원 커널의 확장인 2차원 필터 커널을 다시 사용하여 저주파 성분이 제공되는 샘플로 간주될 수 있으며, 이에 의해 가중 인자의 수정이 적용된다.
다른 실시예에서, 픽셀-성분 변환 방식은 예를 들어, Daubechies 9/7 유형의 웨이블릿 필터링 또는 13/7 기반 웨이블릿 필터링과 같은 상이한 유형의 웨이블릿 필터링에 기초할 수 있다. 전술한 유형의 웨이블릿 필터링 중 하나에 기초한 픽셀-성분 변환 방식은 제시된 실시예들에서 픽셀-성분 변환 방식보다 구현하기가 더 복잡할 수 있다. 예를 들어, Daubechies 9/7 유형의 웨이블릿 필터링에 기초한 픽셀-성분 변환 방식은 도 5 내지 8을 참조하여 전술한 제1 및 제2 역상관 동작보다 더 많은 부분적 역상관 동작을 포함할 수 있다. 즉, Daubechies 9/7 유형의 웨이블릿 필터링에 기초한 역상관 모듈은 도 5에 도시된 역상관 모듈(301)보다 더 많은 기능 블록을 요할 수 있다.
Le Gall 5/3 유형의 웨이블릿 필터링보다 더 복잡한 유형의 웨이블릿 필터링에 기초한 픽셀-성분 변환 방식은 픽셀을 대체하는 성분을 정의하는 보다 복잡한 가중 조합을 제공한다. 이는 픽셀을 대체하는 성분을 형성하기 위해 더 많은 이웃 픽셀이 고려되기 때문이다. 그럼에도 불구하고, 앞에서 언급되고 첨부된 청구범위에 정의된 가중 조합에 관한 일반 규칙이 여전히 적용될 것이다. 즉, 제1 유형의 성분을 제공하는 가중 조합에서, 제2 및 제3 유형의 이웃하는 픽셀들은 대체되는 제1 유형의 픽셀에 대한 제2 및 제3 유형의 이웃 픽셀들의 전체적인 가산에 대응하는 전체적인 양의 가중 인자를 갖는다. 반대로, 제2 또는 제3 유형의 성분을 제공하는 가중 조합에서, 제1 유형의 이웃 픽셀은 각각, 대체되는 제2 또는 제3 유형의 픽셀로부터 제1 유형의 이웃 픽셀의 전체적인 감산에 대응하는 전체적인 음의 가중인자를 갖는다.
예를 들어 Le Gall 5/3 유형 웨이블릿 필터링과 같은 특정 유형의 웨이블릿 필터링과 개념적으로 관련된 역상관 픽셀-성분 변환 방식을 구현하는 수많은 다른 방식들이 있음을 또한 주목해야 한다. 예를 들어, 제시된 실시예들은 다음과 같이 단순화될 수 있는 구현을 설명한다. 적색 기반 색도 성분(Cr)을 제공하는 가중 조합은 2개의 연속하는 라인들에서의 픽셀만 고려함으로써 단순화된다. 적색 픽셀 R(i,j)가 연속하는 2개 라인 중 하위 라인에 있는 경우 가중 조합은 다음과 같이 표현될 수 있다:
Cr(i,j) = R(i,j) - 1/4*G(i-1,j) - 1/2*G(i,j-1) - 1/4*G(i+1,j)
도 6을 참조하면, 그 경우, 적색 기반 색도 성분(Cr)으로 대체된 적색 픽셀(R)의 바로 아래에 있는 녹색 픽셀(G)은 생략된다. 이 생략은 적색 픽셀(R) 바로 위에 있는 녹색 픽셀(G)에 대한 가중 인자를 2배로 하여 보상된다. 따라서 0.25 대신 0.5가 된다. 이는 전술한 녹색 픽셀(G)을 수평으로 미러링하는 것과 동일하므로 이 동일 픽셀 역시 적색 픽셀(R) 바로 아래에 위치하게 됨으로써 생략된 녹색 픽셀(G)을 대신하게 된다.
적색 픽셀 R(i,j)이 연속된 2개 라인의 위쪽에 있는 경우 가중 조합은 다음과 같이 표현될 수 있다:
Cr(i,j) = R(i,j) - 1/4*G(i-1,j) - 1/4*G(i+1,j) - 1/2*G(i,j+1)
도 6을 참조하면, 이 경우, 적색 기반 색도 성분(Cr)으로 대체된 적색 픽셀(R) 바로 위에 있는 녹색 픽셀(G)은 생략된다. 이 생략은 적색 픽셀(R) 바로 아래에 있는 녹색 픽셀(G)에 대한 가중 인자를 2배로 하여 보상된다. 따라서 0.25 대신 0.5가 된다.
동일한 방식으로, 청색 기반 색도 성분(Cb)을 제공하는 가중 조합은 2개의 연속 라인의 픽셀만을 고려함으로써 단순화된다. 청색 픽셀 B(i,j)가 연속된 2개 라인 중 하위 라인에 있는 경우 가중 조합은 다음과 같이 표현될 수 있다:
Cb(i,j) = B(i,j) - 1/4*G(i-1,j) - 1/2*G(i,j-1) - 1/4*G(i+1,j).
도 6을 참조하면, 그 경우, 청색 기반 색도 성분(Cb)에 의해 대체된 청색 픽셀(B)의 바로 아래에 있는 녹색 픽셀(G)은 생략된다. 이 생략은 청색 픽셀(B) 바로 위에 있는 녹색 픽셀(G)에 대한 가중 인자를 2배로 하여 보상된다. 따라서 0.25 대신 0.5가 된다.
청색 픽셀 B(i,j)가 연속된 2개 라인의 위쪽에 있는 경우 가중 조합은 다음과 같이 표현될 수 있다:
Cb(i,j) = B(i,j) - 1/4*G(i-1,j) - 1/4*G(i+1,j) - 1/2*G(i,j+1).
도 6을 참조하면, 이 경우, 청색 기반 색도 성분(Cb)으로 대체된 청색 픽셀(B)의 바로 위에 있는 녹색 픽셀(G)은 생략된다. 이 생략은 청색 픽셀(B) 바로 아래에 있는 녹색 픽셀(G)에 대한 가중 인자를 2배로 하여 보상되며, 따라서 0.25 대신 0.5가 된다.
휘도 성분(Y)을 제공하는 가중 조합은 도 7에 예시된 중간 역상관된 이미지(700)에서만 2개의 연속 라인 상의 픽셀 및 색도 성분을 고려함으로써 유사하게 단순화될 수 있다. 대체되는 휘도 픽셀 Y(i,j)와 녹색 픽셀 G(i,j)가 수평으로 이웃한 청색 기반 색도 성분(Cb)과 수직으로 이웃한 적색 기반 색도 성분(Cr)과 함께 2개의 연속하는 라인의 아래에 있는 경우, 가중 조합은 다음과 같이 표현될 수 있다:
Y(i,j) = G(i,j) + 1/8*Cb(i-1,j) + 1/4*Cr(i,j-1) + 1/8*Cb(i+1,j).
수평으로 이웃한 적색 기반 색도 성분(Cr) 및 수직으로 이웃한 청색 기반 색도 성분(Cb)을 갖는 이전의 경우의 변형에서 가중 조합은 다음과 같이 표현될 수 있다:
Y(i,j) = G(i,j) + 1/8*Cr(i-1,j) + 1/4*Cb(i,j-1) + 1/8*Cr(i+1,j).
도 8을 참조하면, 후자의 경우, 휘도 성분(Y)으로 대체된 녹색 픽셀(G) 바로 아래에 있는 청색 기반의 색 성분(Cb)은 생략된다. 이 생략은 녹색 픽셀(G) 바로 위에 있는 청색 기반 색도 성분(Cb)에 대한 가중 인자를 2배로 하여 보상되며, 따라서 +0.125 대신 +0.25가 된다. 이는 전술한 청색 기반 색도 성분(Cb)을 수평으로 미러링하는 것과 동일하므로 동일한 성분이 녹색 픽셀(G) 바로 아래에 있도록 하여 생략된 청색 기반 색도 성분(Cb)을 대신하게 된다.
대체되는 휘도 픽셀 Y(i,j)와 녹색 픽셀 G(i,j)이 수평으로 이웃한 청색 기반 색도 성분(Cb)와 수직으로 이웃한 적색 기반 색도 성분(Cr)과 함께 2개의 연속 라인의 상단에 있는 경우, 가중 조합은 다음과 같이 표현될 수 있다:
Y(i,j) = G(i,j) + 1/8*Cb(i-1,j) + 1/8*Cb(i+1,j) + 1/4*Cr(i,j+1).
수평으로 이웃한 적색 기반 색도 성분(Cr) 및 수직으로 이웃한 청색 기반 색도 성분(Cb)을 갖는 이전의 경우의 변형에서 가중 조합은 다음과 같이 표현될 수 있다:
Y(i,j) = G(i,j) + 1/8*Cr(i-1,j) + 1/8*Cr(i+1,j) + 1/4*Cb(i,j+1)
도 8을 참조하면, 후자의 경우, 휘도 성분(Y)으로 대체된 녹색 픽셀(G) 바로 위에 있는 청색 기반의 색도 성분(Cb)은 생략된다. 이 생략은 녹색 픽셀(G) 바로 아래에 있는 청색 기반 색도 성분(Cb)에 대한 가중 인자를 2배로 하여 보상되며, 따라서 +0.125 대신 +0.25가 된다.
도 10에 도시된 퀀컹스 웨이블릿 필터링 모듈(302)에 의해 휘도 성분(Y)에 적용되는 웨이블릿 필터링 동작은 유사한 방식으로 단순화할 수 있다. 즉, 단순화된 웨이블릿 필터링 동작은 도 4에 도시된 역상관된 이미지(304)에서만 연속되는 2개 라인의 휘도 성분을 고려할 수 있다. 도 11을 참조하면, 이는 고주파 휘도 성분(YH)이 형성되는 휘도 성분(Y) 바로 아래 라인에 있는 휘도 성분(Y)을 무시함을 의미할 수 있다. 이 경우, 고주파 휘도 성분(YH)이 형성되는 휘도 성분(Y) 바로 위에 있는 나머지 휘도 성분(Y)에 대한 가중 인자는 -0.25가 아닌 -0.5가 되도록 2배가 될 수 있다. 반대로, 단순화는 고주파 휘도 성분(YH)이 형성되는 휘도 성분(Y) 바로 위 라인에 있는 휘도 성분(Y)을 무시하는 것을 의미할 수 있다. 그 경우, 나머지 휘도 성분(Y)에 대한 가중 인자도 2배가 된다.
퀀컹스 웨이블릿 필터링 모듈(302)에 의해 적용되는 웨이블릿 필터링 동작은 도 12에 예시된 중간의 부분적으로 웨이블릿 필터링된 역상관된 이미지(1200)에서만 2개의 연속 라인에 대한 휘도 성분(Y) 및 고주파 휘도 성분(YH)을 고려함으로써 더 단순화될 수 있다. 도 13을 참조하면, 이러한 단순화는 저주파 휘도 성분(YL)이 형성되는 휘도 성분(Y)의 바로 아래 라인에 있는 고주파 휘도 성분(YH)을 무시하는 것을 의미할 수 있다. 이 경우, 저주파 휘도 성분(YL)이 형성되는 휘도 성분(Y) 바로 위에 있는 나머지 고주파 휘도 성분(YH)에 대한 가중 인자는 + 0.125대신 +0.25가 되도록 2배가 될 수 있다. 반대로, 단순화는 고주파 휘도 성분(YH)이 형성되는 휘도 성분(Y) 바로 위 라인에 있는 고주파 휘도 성분(YH)을 무시하는 것을 의미할 수 있다. 그 경우, 나머지 휘도 성분(Y)에 대한 가중 인자도 2배가 된다.
이전에 제시된 설명은 본 발명에 따라 역상관 픽셀-성분 변환을 구현하는 수많은 상이한 방법이 있음을 예시한다. 변환은 완벽하게 가역적인 방식으로 또는 불완벽하게 가역적인 방식으로 적용될 수 있다. 예를 들어, 압축률이 비교적 낮은 비디오 인코딩에서 고품질을 위해서는 완벽하게 가역적인 변환이 선호될 수 있다. 반대로, 비교적 높은 압축률을 갖는 비디오 인코딩에서는 불완벽하게 가역적인 변환이 허용될 수 있고 심지어 선호될 수 있다.
다른 양태에서, 본 발명에 따른 제품 또는 방법에서 휘도 성분(Y)에 적용되는 웨이블릿 필터링 동작을 구현하는 수많은 상이한 방식이 있다. 제시된 실시예에서, 휘도 성분(Y)에 대한 제1 어레이 세트 및 제2 어레이 세트로의 라인 방식 분해가 있다. 다른 실시예에서, 이러한 분해는 컬럼 방식일 수 있다. 보다 일반적으로, 상기 및 제시된 실시예에서 나타낸 바와 같이 라인 방식 처리 대신에 칼럼 방식 처리를 구현하는 것이 가능하다.
일반적으로, 본 발명을 구현하는 수많은 상이한 방법이 있으며, 이에 의해 상이한 구현은 상이한 토폴로지를 가질 수 있다. 주어진 토폴로지에서 단일 엔터티가 여러 기능을 수행하거나 여러 엔터티가 단일 기능을 공동으로 수행할 수 있다. 이 점에서 도면은 매우 예시적이다.
앞서 언급한 내용은 도면을 참조하여 설명된 실시예들이 본 발명을 제한하는 것이 아니라 본 발명을 예시하는 것임을 입증한다. 본 발명은 첨부된 청구항의 범위 내에 드는 수많은 대안적인 방식으로 구현될 수 있다. 청구 범위의 균등성의 의미 및 범위 내에서 발생하는 모든 변경은 그 범위 내에 포괄되어야 한다. 청구범위에서의 참조 부호는 청구범위를 제한하는 것으로 해석되어서는 안된다. 청구범위에서 "포함하다(comprise)"라는 동사는 청구 범위에 기재된 것 이외의 다른 요소 또는 다른 단계의 존재를 배제하지 않는다. "포함(include)" 및 "포함(contain)"과 같은 유사한 동사에도 동일하게 적용된다. 제품에 관한 청구항에서 구성 요소의 단수 언급은 제품이 그러한 요소를 복수 포함할 수 있음을 배제하지 않는다. 마찬가지로, 방법에 관한 청구항에서 단수의 단계에 대한 언급은 방법이 복수의 그러한 단계를 포함할 수 있음을 배제하지 않는다. 각각의 종속 청구항이 각각의 추가 특징을 정의한다는 단순한 사실은 청구항에 반영된 것 이외의 추가 특징의 조합을 배제하지 않는다.

Claims (16)

  1. 베이어 패턴(Bayer pattern)으로 배열된 3가지 유형의 컬러 픽셀(R, G, B)을 포함하는 이미지(200)를 처리하여 상기 베이어 패턴에 대응하는 패턴으로 배열된 3가지 유형의 성분(Y, Cr, Cb)으로 구성된 역상관된 이미지(de-corrected image)(304)를 획득하도록 구성된 이미지 프로세서로서,
    상기 베이어 패턴에 따르면, 상기 이미지(200)는 제1 유형의 2개의 대각선으로 배치된 컬러 픽셀(G), 제2 유형의 컬러 픽셀(R), 및 제3 유형의 컬러 픽셀(B)을 포함하는 2 x 2 컬러 픽셀들의 블록의 직사각형 어레이이고;
    상기 베이어 패턴에 대응하는 패턴에 따르면, 상기 역상관된 이미지(304)는 제1 유형의 2개의 대각선으로 배치된 성분(Y), 제2 유형의 성분(Cr), 및 제3 유형의 성분(Cb)을 포함하는 2 x 2 성분들의 블록의 직사각형 어레이이며;
    상기 프로세서는:
    - 상기 이미지(200)의 제1 유형의 픽셀(G)에 대한 대체물로서 역상관된 이미지(304)의 제1 유형의 성분(Y)을 제공하도록 구성되어, 이에 의해 상기 제1 유형의 성분(Y)은 제1 유형의 픽셀(G)과 이웃 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)은 상기 제1 유형의 픽셀(G)에 대한 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)의 전체적인 가산(addition)에 대응하는 전체적인 양(+)의 가중 인자를 가지며;
    - 상기 이미지(200)의 제2 유형의 픽셀(R)에 대한 대체물로서 역상관된 이미지(304)의 제2 유형의 성분(Cr)을 제공하도록 구성되어, 이에 의해 상기 제2 유형의 성분(Cr)은 제2 유형의 픽셀(R)과 이웃 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제2 유형의 픽셀(R)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산(subtraction)에 대응하는 전체적인 음(-)의 가중 인자를 가지며; 및
    - 상기 이미지(200)의 제3 유형의 픽셀(B)에 대한 대체물로서 역상관된 이미지(304)의 제3 유형의 성분(Cb)을 제공하도록 구성되어, 이에 의해 상기 제3 유형의 성분(Cb)은 제3 유형의 픽셀(B)과 이웃 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제3 유형의 픽셀(B)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산에 대응하는 전체적인 음(-)의 가중 인자를 갖는, 이미지 프로세서.
  2. 제1항에 있어서,
    상기 이미지 프로세서는:
    - 먼저, 제2 유형의 각 픽셀들(R)의 대체물로서 제2 유형의 각 성분들(Cr)을 제공하고 제3 유형의 각 픽셀들(B)의 대체물로서 제3 유형의 각 성분들(Cb)을 제공하도록 구성되고, 및, 후속적으로,
    - 제1 유형의 각 성분들(Y)의 대체물로서 제1 유형의 각 픽셀들(G)을 제공하도록 구성되어, 이에 의해 상기 제1 유형의 성분(Y)은 상기 제1 유형의 성분의 대체물인 제1 유형의 픽셀(G)과, 상기 제2 및 제3 유형의 픽셀들에 대한 대체물로서 제공되고 상기 제1 유형의 픽셀과 클러스터를 형성하는 제2 유형의 성분(Cr) 및 제3 유형의 성분(Cb)과의 가중 조합에 기초하여 제공되는, 이미지 프로세서.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 유형의 성분를 형성하는 가중 조합은:
    - 대체되는 제1 유형의 픽셀에 대해 x-구성으로 있는 제1 유형의 가장 가까운 이웃하는 픽셀들; 및,
    - 대체되는 제1 유형의 픽셀에 대해 +-구성으로 있는 제1 유형의 추가의 이웃하는 픽셀들;을 포함하는, 이미지 프로세서.
  4. 제3항에 있어서,
    x-구성으로 있는 제1 유형의 가장 가까운 이웃하는 픽셀들은 +-구성으로 있는 제1 유형의 추가의 이웃하는 픽셀들보다 가중 조합에서 더 큰 가중 인자를 가지는, 이미지 프로세서.
  5. 제4항에 있어서,
    상기 제1 유형의 성분을 형성하는 가중 조합에서:
    - 대체되는 제1 유형의 픽셀은 +7/8의 가중 인자를 가지고;
    - x-구성으로 있는 제1 유형의 가장 가까운 이웃하는 픽셀들은 -1/16의 가중 인자를 가지며;
    - +-구성으로 있는 제1 유형의 추가의 이웃하는 픽셀들은 -1/32의 가중 인자를 가지고; 및
    - 상기 제2 및 제3 유형의 이웃하는 픽셀들은 +1/8의 가중 인자를 가지는, 이미지 프로세서.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 유형의 성분을 형성하는 가중 조합에서:
    - 대체되는 제2 유형의 픽셀은 +1의 가중 인자를 가지고; 및
    - 제1 유형의 이웃하는 픽셀들은 -1/4의 가중 인자를 갖는 제1 유형의 4개의 바로 이웃하는 픽셀들인, 이미지 프로세서.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제3 유형의 성분을 형성하는 가중 조합에서:
    - 대체되는 제3 유형의 픽셀은 +1의 가중 인자를 가지고; 및
    - 제1 유형의 이웃하는 픽셀들은 -1/4의 가중 인자를 갖는 제1 유형의 4개의 바로 이웃하는 픽셀들인, 이미지 프로세서.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 이미지 프로세서는 제1 유형의 고주파 성분(YH) 및 제1 유형의 저주파 성분(YL)을 얻기 위해 상기 역상관된 이미지(304)의 제1 유형의 성분들(Y)에 웨이브렛 기반 필터링을 적용하도록 구성되고,
    상기 웨이블릿 기반 필터링은 제1 유형의 주파수 성분들(Y)을 제1 유형의 성분들의 제1 세트의 어레이 및 제1 유형의 성분들의 제2 세트의 어레이로 분해하는 것을 포함하며, 제1 세트에 속하는 제1 유형의 성분들의 어레이는 제2 세트에 속하는 제1 유형의 성분들의 어레이와 인터레이스되고, 이에 의해 제 1 유형의 고주파 성분들(YH)은 제1 세트의 어레이에 속하는 제1 유형의 성분들에 대해 제공되고, 제1 유형의 저주파 성분들(YL)은 제2 세트의 어레이에 속하는 제1 유형의 성분들에 대해 제공되는, 이미지 프로세서.
  9. 제8항에 있어서,
    제 1 유형의 고주파 성분(YH)은 제1 어레이 세트에 속하는 제1 유형의 성분과 제2 어레이 세트에 속하는 제1 유형의 이웃하는 성분들과의 사이의 가중 조합이며, 제 1 유형의 저주파 성분(YL)은 제2 세트의 어레이에 속하는 제1 유형의 성분과 이웃하는 고주파 성분들의 가중 합인, 이미지 프로세서.
  10. 제9항에 있어서,
    - 상기 제1 유형의 고주파 성분(YH)을 형성하는 가중 조합에서, 제1 세트의 어레이에 속하는 제1 유형의 성분은 +1의 가중 인자를 가지고, 제2 세트의 어레이에 속하는 제1 유형의 이웃하는 성분들은 -1/4의 가중 인자를 가지며; 및,
    - 상기 제1 유형의 저주파 성분(YL)을 형성하는 가중 합에서, 제2 세트의 어레이에 속하는 제1 유형의 성분은 +1의 가중 인자를 가지고 이웃하는 고주파 성분은 +1/8의 가중 인자를 가지는, 이미지 프로세서.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 제1 유형의 저주파 성분들(YL)에, 상기 역상관된 이미지(304)의 제2 유형의 성분들(Cr)에, 및 상기 역상관된 이미지(304)의 제3 유형의 성분들(Cb)에, 2차원 웨이블릿 기반 필터링을 적용하도록 구성되는, 이미지 프로세서.
  12. 제1항 내지 제11항 중 어느 한 항에 따른 이미지 프로세서, 및 역상관된 이미지(304)와 상기 역상관된 이미지를 웨이블릿 기반으로 필터링한 버전 중 적어도 하나를 인코딩하도록 구성된 인코더를 포함하는, 인코딩 시스템.
  13. 제12항에 있어서,
    제11항에 따른 이미지 프로세서를 포함하고, 상기 인코더는:
    - 제1 유형의 고주파 성분(YH);
    - 제1 유형의 저주파 성분(YL)에 2차원 웨이블릿 기반 필터링을 적용하여 생성된 서브 대역;
    - 상기 역상관된 이미지(304)의 제2 유형의 성분(Cr)에 2차원 웨이블릿 기반 필터링을 적용하여 생성된 서브 대역; 및
    - 상기 역상관된 이미지(304)의 제3 유형의 성분(Cb)에 2차원 웨이블릿 기반 필터링을 적용하여 생성된 서브 대역;을 인코딩하도록 구성되는, 인코딩 시스템.
  14. 베이어 패턴(Bayer pattern)으로 배열된 3가지 유형의 컬러 픽셀(R, G, B)을 포함하는 이미지(200)를 처리하여 상기 베이어 패턴에 대응하는 패턴으로 배열된 3가지 유형의 성분(Y, Cr, Cb)으로 구성된 역상관된 이미지(de-corrected image)(304)를 획득하는 방법으로서,
    상기 베이어 패턴에 따르면, 상기 이미지(200)는 제1 유형의 2개의 대각선으로 배치된 컬러 픽셀(G), 제2 유형의 컬러 픽셀(R), 및 제3 유형의 컬러 픽셀(B)을 포함하는 2 x 2 컬러 픽셀들의 블록의 직사각형 어레이이고; 및,
    상기 베이어 패턴에 대응하는 패턴에 따르면, 상기 역상관된 이미지(304)는 제1 유형의 2개의 대각선으로 배치된 성분(Y), 제2 유형의 성분(Cr), 및 제3 유형의 성분(Cb)을 포함하는 2 x 2 성분들의 블록의 직사각형 어레이이며;
    상기 방법은:
    - 상기 이미지(200)의 제1 유형의 픽셀(G)에 대한 대체물로서 역상관된 이미지(304)의 제1 유형의 성분(Y)을 제공하는 단계로서, 이에 의해 상기 제1 유형의 성분은 제1 유형의 픽셀(G)과 이웃 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)은 상기 제1 유형의 픽셀(G)에 대한 상기 제2 및 제3 유형의 이웃하는 픽셀들(R, B)의 전체적인 가산(addition)에 대응하는 전체적인 양(+)의 가중 인자를 가지는, 상기 제1 유형의 성분(Y)을 제공하는 단계;
    - 상기 이미지(200)의 제2 유형의 픽셀(R)에 대한 대체물로서 역상관된 이미지(304)의 제2 유형의 성분(Cr)을 제공하는 단계로서, 이에 의해 상기 제2 유형의 성분은 제2 유형의 픽셀(R)과 이웃 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제2 유형의 픽셀(R)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산(subtraction)에 대응하는 전체적인 음(-)의 가중 인자를 가지는, 상기 제2 유형의 성분(Cr)을 제공하는 단계; 및,
    - 상기 이미지(200)의 제3 유형의 픽셀(B)에 대한 대체물로서 상기 역상관된 이미지(304)의 제3 유형의 성분(Cb)을 제공하는 단계로서, 이에 의해 상기 제3 유형의 성분은 제3 유형의 픽셀(B)과 이웃하는 픽셀들을 포함하는 이미지(200)의 픽셀들의 클러스터의 가중 조합이고, 상기 제1 유형의 이웃하는 픽셀들(G)은 제3 유형의 픽셀(B)로부터의 상기 제1 유형의 이웃하는 픽셀들(G)의 전체적인 감산에 대응하는 전체적인 음(-)의 가중 인자를 가지는, 상기 제3 유형의 성분(Cb)을 제공하는 단계;를 포함하는, 방법.
  15. 이미지 프로세서가 제14항에 따른 방법을 수행할 수 있게 하는 명령어 세트를 포함하는 컴퓨터 프로그램 제품.
  16. 제14항에 따른 방법을 적용하여 획득된 역상관된 이미지(304)를 처리하도록 구성되는 이미지 프로세서로서, 베이어 패턴으로 배열된 3가지 유형의 픽셀들(R, G, B)을 포함하는 이미지(200)를 재구성하도록 구성되는, 이미지 프로세서.
KR1020227017841A 2019-10-30 2020-10-30 이미지 프로세서 KR20220090559A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP19206373.3 2019-10-30
EP19206373.3A EP3816926A1 (en) 2019-10-30 2019-10-30 Image processor
EP19219481 2019-12-23
EP19219481.9 2019-12-23
PCT/EP2020/080609 WO2021084118A1 (en) 2019-10-30 2020-10-30 Image processor

Publications (1)

Publication Number Publication Date
KR20220090559A true KR20220090559A (ko) 2022-06-29

Family

ID=73014532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227017841A KR20220090559A (ko) 2019-10-30 2020-10-30 이미지 프로세서

Country Status (8)

Country Link
US (1) US20230005103A1 (ko)
EP (1) EP4052216A1 (ko)
JP (1) JP2023506122A (ko)
KR (1) KR20220090559A (ko)
CN (1) CN114902276A (ko)
AU (1) AU2020373323A1 (ko)
BR (1) BR112022008312A2 (ko)
WO (1) WO2021084118A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11606578B1 (en) 2021-08-26 2023-03-14 Intopix S.A. Method and apparatus for performing compression of a color image
WO2023025487A1 (en) 2021-08-26 2023-03-02 Intopix Method and apparatus for performing compression of a colour image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6154493A (en) 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
JP2000308021A (ja) * 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
US8428120B2 (en) * 2007-12-11 2013-04-23 Taiwan Imagingtek Corporation Method and apparatus of Bayer pattern direct video compression
US9332258B2 (en) 2013-03-01 2016-05-03 intoPIX SA Method and device for display stream compression

Also Published As

Publication number Publication date
JP2023506122A (ja) 2023-02-15
CN114902276A (zh) 2022-08-12
US20230005103A1 (en) 2023-01-05
EP4052216A1 (en) 2022-09-07
AU2020373323A1 (en) 2022-06-02
WO2021084118A1 (en) 2021-05-06
BR112022008312A2 (pt) 2022-08-09

Similar Documents

Publication Publication Date Title
JP4559622B2 (ja) 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
Zhang et al. Lossless compression of color mosaic images
EP0651562A1 (en) An electronic camera utilizing image compression feedback for improved color processing
WO2008067472A2 (en) A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
CN110612722B (zh) 对数字光场图像编码和解码的方法和设备
KR20220090559A (ko) 이미지 프로세서
Suzuki Wavelet-based spectral–spatial transforms for CFA-sampled raw camera image compression
Lee et al. Camera-aware multi-resolution analysis for raw image sensor data compression
CN110868603B (zh) 一种Bayer图像压缩方法
GB2456492A (en) Image processing method
WO2019237659A1 (en) Blind compressive sampling method, apparatus and imaging system
US8947551B2 (en) Method and apparatus for frame rotation in the JPEG compressed domain
EP4150907A1 (en) Adaptive image enhancement using inter-channel correlation information
Miyazawa et al. Lossless coding of light field camera data captured with a micro-lens array and a color filter
EP3816926A1 (en) Image processor
TW202137746A (zh) 圖像處理裝置
Amba et al. Demosaicing using dual layer feedforward neural network
Trifan et al. A survey on lossless compression of Bayer color filter array images
Cao et al. A generalized model for detection of demosaicing characteristics
US20040207737A1 (en) Image compression apparatus and image processing system
Richter Rate allocation for bayer-pattern image compression with JPEG XS
US11785352B2 (en) Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium
Kumar et al. A Study and Analysis of Images in Different Color Models
Patil et al. Compression of Bayer Colour Filter Array Images
US10778890B1 (en) Video denoising systems and methods

Legal Events

Date Code Title Description
A201 Request for examination