KR102666666B1 - 이미지 부호화 장치 및 이미지 복호화 장치 - Google Patents

이미지 부호화 장치 및 이미지 복호화 장치 Download PDF

Info

Publication number
KR102666666B1
KR102666666B1 KR1020180063230A KR20180063230A KR102666666B1 KR 102666666 B1 KR102666666 B1 KR 102666666B1 KR 1020180063230 A KR1020180063230 A KR 1020180063230A KR 20180063230 A KR20180063230 A KR 20180063230A KR 102666666 B1 KR102666666 B1 KR 102666666B1
Authority
KR
South Korea
Prior art keywords
pixel
value
mode
pixels
values
Prior art date
Application number
KR1020180063230A
Other languages
English (en)
Other versions
KR20190137260A (ko
Inventor
이원석
Original Assignee
삼성전자주식회사
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180063230A priority Critical patent/KR102666666B1/ko
Priority to US16/288,815 priority patent/US10848696B2/en
Priority to CN201910470046.2A priority patent/CN110557637B/zh
Publication of KR20190137260A publication Critical patent/KR20190137260A/ko
Priority to US17/060,620 priority patent/US11290667B2/en
Priority to US17/705,784 priority patent/US11800248B2/en
Application granted granted Critical
Publication of KR102666666B1 publication Critical patent/KR102666666B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

개시된 일 실시 예에 따른 이미지 부호화 장치는 부호화 모드들 중 하나에 기초하여, 원본 픽셀들의 값들에 대한 부호화 데이터를 포함하는 비트스트림을 생성하기 위한 컴프레서 및 비트스트림을 복원함으로써 참조 픽셀들의 값들을 생성하기 위한 복원기를 포함할 수 있다. 부호화 모드들은, 원본 픽셀들 각각의 값과 참조 픽셀들 중 적어도 하나로부터 결정된 참조 값 사이의 차분 값에 기초하여 비트스트림을 생성하는 제1모드 및 원본 픽셀들의 값들 중 적어도 두 개의 평균 값에 기초하여 비트스트림을 생성하는 제2모드를 포함할 수 있다.

Description

이미지 부호화 장치 및 이미지 복호화 장치{APPARATUS FOR ENCOING IMAGE AND APPARATUS FOR DECODING IMAGE}
본 발명은 전자 장치에 관한 것으로서, 구체적으로는 이미지 부호화 장치 및 이미지 복호화 장치에 관한 것이다.
이미지 부호화 또는 이미지 압축은 원본 이미지 데이터로부터 원본 이미지 데이터보다 작은 크기의 부호화된 이미지 데이터를 생성하는 과정을 지칭할 수 있다. 또한, 이미지 복호화 또는 이미지 압축 해제는 부호화된 이미지 데이터 또는 비트스트림(bitstream)을 복호화함으로써 복원 이미지 데이터를 생성하는 과정을 지칭할 수 있다. 복원 이미지 데이터는, 부호화 및 복호화 방식에 따라 원본 이미지 데이터와 동일할 수도 있고 상이할 수도 있다.
최근, 다양한 전자 장치들에 듀얼 카메라가 탑재되거나 초당 촬영 가능한 이미지의 개수가 증가함에 따라, 전자 장치 내에 저장되는 이미지 데이터의 크기가 증가하는 추세이다.
베이어 패턴의 원본 이미지를 부호화하기 위한 장치 및 복호화하기 위한 장치가 제공될 수 있다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
이미지 부호화 장치는, 부호화 모드들 중 하나에 기초하여, 원본 픽셀들의 값들에 대한 부호화 데이터를 포함하는 비트스트림을 생성하기 위한 컴프레서, 및 상기 비트스트림을 복원함으로써 참조 픽셀들의 값들을 생성하기 위한 복원기를 포함하고, 상기 컴프레서는, 상기 부호화 모드들 중 제1모드에서, 상기 원본 픽셀들의 값들 각각과 상기 참조 픽셀들의 값들 중 적어도 하나에 기반하는 참조 값 사이의 차분 값에 기초하여 상기 비트스트림을 생성하고, 상기 부호화 모드들 중 제2모드에서, 상기 원본 픽셀들의 값들 중 적어도 두 개의 평균 값에 기초하여 상기 비트스트림을 생성할 수 있다.
이미지 복호화 장치는, 부호화 모드들 중 하나에 기초하여, 수신된 비트스트림을 복호화하여 원본 픽셀들의 값들에 대한 복원 픽셀들의 값들을 생성하기 위한 디컴프레서; 및 상기 복원 픽셀들의 값들로부터 참조 픽셀들의 값들을 생성하기 위한 복원기를 포함하고, 디컴프레서는, 상기 부호화 모드들 중 제1 모드에서, 상기 비트스트림으로부터 수신되는 차분 값과 상기 참조 픽셀들의 값들 중 적어도 하나에 기반하는 참조 값에 기초하여 상기 비트스트림을 복호화하고, 상기 부호화 모드들 중 제2 모드에서, 상기 비트스트림으로부터 수신되는 평균 값에 기초하여 상기 비트스트림을 복호화하고, 상기 차분 값은 상기 원본 픽셀들의 값들 각각과 상기 참조 값 사이의 차이를 나타내고, 상기 평균 값은 상기 원본 픽셀들의 값들 중 적어도 두 개를 평균한 값일 수 있다.
메모리와 연결되는 이미지 센서는, 부호화 모드들 중 하나에 기초하여, 베이어 컬러 패턴의 원본 픽셀들의 값들에 대한 부호화 데이터를 생성하기 위한 부호화 장치, 상기 메모리의 상기 부호화 데이터에 대한 입력 및 출력 동작을 제어하기 위한 메모리 컨트롤러, 및 상기 메모리로부터 출력되는 상기 부호화 데이터를 복호화함으로써 상기 원본 픽셀들의 값들에 대한 복원 픽셀들의 값들을 생성하기 위한 복호화 장치를 포함하고, 상기 부호화 장치는, 상기 부호화 모드들 중 제1모드에서, 상기 원본 픽셀들의 값들 각각과 참조 픽셀들의 값들 중 적어도 하나에 기반하는 참조 값 사이의 차분 값에 기초하여 상기 부호화 데이터를 생성하고, 상기 부호화 모드들 중 제2모드에서, 상기 원본 픽셀들의 값들 중 적어도 두 개의 평균 값에 기초하여 상기 부호화 데이터를 생성하는 포함할 수 있다.
개시된 이미지 처리 장치는, 원본 베이어 이미지에 대한 압축을 수행할 수 있다. 압축을 통해 이미지 데이터의 크기가 감소됨에 따라, 이미지 처리 장치의 메모리 공간 효율성 또는 대역폭 효율성이 상승할 수 있다.
도1은 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도2는 일 실시 예에 따라, 베이어 컬러 필터를 통해 획득된 베이어 패턴의 이미지를 나타낸다.
도3은 일 실시 예에 따른 부호화 장치의 블록도를 나타낸다.
도4는 일 실시 예에 따라, 도3의 부호화 장치가 DPCM(Differential Pulse Code Modulation) 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
도5a는 일 실시 예에 따라, 도3의 부호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
도5b는 다른 실시 예에 따라, 도3의 부호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
도5c는 다른 실시 예에 따라, 도3의 부호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
도6은 일 실시 예에 따라, 도1의 이미지 처리 장치에서 사용될 수 있는 부호화 모드들에 대한 정보를 나타내는 표이다.
도7은 일 실시 예에 따라, 도3의 부호화 장치가 도6에 나타난 부호화 모드들 중에서 현재 원본 픽셀 데이터들에 대한 부호화 모드를 결정하기 위한 방법의 흐름도를 나타낸다.
도8은 일 실시 예에 따른 복호화 장치의 블록도를 나타낸다.
도9는 일 실시 예에 따라, 도8의 복호화 장치가 DPCM 모드에 기초하여 원본 픽셀 데이터들을 복호화하는 동작을 나타낸다.
도10은 일 실시 예에 따라, 도8의 복호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 복호화하는 동작을 나타낸다.
도11은 다른 실시 예에 따라, 도8의 복호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 복호화하는 동작을 나타낸다.
도12는 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도13은 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
아래에서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자들(이하, 통상의 기술자들)이 본 발명을 용이하게 실시할 수 있도록, 첨부되는 도면들을 참조하여 몇몇 실시 예가 명확하고 상세하게 설명될 것이다.
도1은 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
이미지 처리 장치(1000)는 전하 결합 소자 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이용하여 피사체에 대한 이미지를 캡처 및/또는 저장할 수 있는 전자 장치로서, 디지털 카메라, 디지털 캠코더, 모바일 폰, 또는 태블릿 컴퓨터를 포함할 수 있다.
도1을 참조하면, 이미지 처리 장치(1000)는 베이어 컬러 필터(1200), 부호화 장치(1400), 복호화 장치(1600), 및 어플리케이션 프로세서(1800)를 포함할 수 있다. 도1에 도시된 모듈들은 하나의 프로세서에 의해 구현될 수도 있으며, 모듈들 각각은 서로 다른 프로세서에 의해 독립적으로 구현될 수도 있다.
베이어 컬러 필터(Bayer Color Filter, 1200)는 광 신호로부터 원본 픽셀 데이터들을 획득할 수 있다. 원본 픽셀 데이터들은 원본 픽셀의 픽셀 값(pixel value)을 의미할 수 있다. 베이어 패턴은 사람의 눈이 피사체의 그린 성분으로부터 루미넌스(luminance) 데이터의 대부분을 도출한다는 전제에 기초한다. 베이어 컬러 필터(1200)에 포함된 픽셀들 중 절반은 그린(Green) 신호를 검출하며, 나머지 4분의 1은 레드(Red) 신호를, 나머지 4분의 1은 블루(Blue) 신호를 검출할 수 있다. 일 실시 예에 따라, 베이어 컬러 필터(1200)는 레드(R) 픽셀, 블루(B) 픽셀, 및 2개의 그린(G) 픽셀들을 포함하는 2 x 2 크기의 셀(Cell)들이 반복적으로 배치되는 구성일 수 있다. 다른 실시 예에 따라, 베이어 컬러 필터(1200) 는 레드 픽셀, 블루 픽셀, 및 2개의 와이드 그린(wide green, W) 픽셀들을 포함하는 2 x 2 크기의 셀들이 반복적으로 배치되는 구성일 수 있다.
부호화 장치(1400)는 베이어 컬러 필터(1200)를 통해 획득된 원본 픽셀 데이터들을 압축하여 이미지 데이터의 크기를 감소시킬 수 있다. 도2를 참조하면, 베이어 이미지(2000)는 일 실시 예에 따라 베이어 컬러 필터(1200)를 통해 획득된 베이어 패턴의 원본 픽셀 데이터들을 나타낸다. 일 실시 예에 따라, 부호화 장치(1400)는 참조 픽셀 데이터들(2400)을 이용하여 원본 픽셀 데이터들(2200)에 대한 부호화 데이터를 생성할 수 있다. 또는, 부호화 장치(1400)는 참조 픽셀 데이터들(2400)을 이용하지 않고 원본 픽셀 데이터들(2200)의 평균 값을 이용하여 부호화 데이터를 생성할 수 있다.
부호화 장치(1400)는 도2의 원본 픽셀 데이터들(2200)과 같이, 기준 개수의 연속하는 원본 픽셀 데이터들을 하나의 부호화 단위(또는, 채널)로서 결정할 수 있다. 하나의 부호화 단위에 포함된 원본 픽셀 데이터들은, 부호화 모드에 대한 정보를 저장하기 위한 모드 영역과 원본 픽셀들의 값에 대한 부호화 데이터를 저장하기 위한 픽셀 영역으로 구성되는 비트스트림으로 부호화될 수 있다.
부호화 장치(1400)의 상세한 동작은 도3 내지 7을 참조하여 후술한다.
다시 도1을 참조하면, 복호화 장치(1600)는 부호화 장치(1400)로부터 생성된 부호화 데이터(즉, 비트스트림)를 수신하고, 수신된 부호화 데이터에 대한 복호화를 수행함으로써 복호화 데이터를 생성할 수 있다. 복호화 장치(1600)는 복호화 데이터를 어플리케이션 프로세서(1800)로 전달할 수 있다. 복호화 장치(1600)의 상세한 동작은 도8 내지 11을 참조하여 후술한다.
어플리케이션 프로세서(1800)는 중앙 처리 장치(CPU), 마이크로프로세서(Microprocessor), 또는 MCU(Micro Controller Unit)일 수 있다. 어플리케이션 프로세서(1800)는 복호화 장치(1600)로부터 수신된 복호화 데이터들에 대해 후 처리(post processing)를 수행할 수 있다. 후 처리는, 이미지 아티팩트들(artifacts)에 대한 이미지 향상 알고리즘(Image Enhancement Algorithm)의 적용을 의미할 수 있다. 예를 들어, 어플리케이션 프로세서(1800)는 수신된 복호화 데이터에 대해 화이트 밸런싱(white balancing), 디노이징(denoising), 디모자이킹(demosaicking), 렌즈 쉐이딩(lenz shading), 및 감마 보정(gamma corrections) 등을 수행할 수 있으나 이에 제한되지 않는다.
이하, '픽셀' 또는 '픽셀 값'은 베이어 컬러 필터를 구성하는 픽셀 엘리먼트들을 통해 광 신호로부터 출력 또는 획득되는 정보 또는 값을 의미할 수 있다. 이하, ‘원본 픽셀들'은, 이미지 내에서 현재 부호화 또는 복호화하고자 하는 단위 원본 픽셀들의 픽셀 값들을 의미할 수 있다. 이하, ‘참조 픽셀들'은, 원본 픽셀들의 부호화를 위해 참조되는 픽셀들의 픽셀 값들을 의미할 수 있다. 이하, ‘복원 픽셀들'은, 원본 픽셀들에 대한 부호화 데이터를 복호화함으로써 생성되는 복원 픽셀들의 픽셀 값들을 의미할 수 있다.
도3은 일 실시 예에 따른 부호화 장치의 블록도를 나타낸다.
부호화 장치(3000)는 수신된 원본 픽셀들을 압축함으로써 부호화 데이터를 포함하는 비트스트림을 출력할 수 있다. 부호화 장치(3000)는 도1의 부호화 장치(1400)의 상세한 실시 예를 나타낸다. 따라서, 이하 생략된 내용이라 하더라도 도1의 부호화 장치(1400)에 관하여 기술된 내용은 도3의 부호화 장치(3000)에도 적용될 수 있다.
도3을 참조하면, 부호화 장치(3000)는 배드 픽셀 검출기(3200), 컴프레서(3400), 복원기(3600), 및 참조 픽셀 버퍼(3800)를 포함할 수 있다. 부호화 장치(3000)는 배드 픽셀 검출기(3200), 컴프레서(3400), 복원기(3600), 및 참조 픽셀 버퍼(3800)를 총괄적으로 제어하는 중앙 프로세서(미도시)를 포함할 수 있다. 또는, 배드 픽셀 검출기(3200), 컴프레서(3400), 복원기(3600), 및 참조 픽셀 버퍼(3800)가 각각의 자체 프로세서(미도시)에 의해 작동되며, 프로세서(미도시)들이 상호 유기적으로 작동함에 따라 부호화 장치(3000)가 전체적으로 작동될 수도 있다. 또는, 부호화 장치(3000)의 외부 프로세서(미도시)의 제어에 따라, 배드 픽셀 검출기(3200), 컴프레서(3400), 복원기(3600), 및 참조 픽셀 버퍼(3800)가 제어될 수도 있다.
배드 픽셀 검출기(3200)는 베이어 컬러 필터에 의해 획득되는 픽셀 데이터들에 존재하는 배드 픽셀(Bad Pixel)을 검출할 수 있다. 배드 픽셀은 베이어 컬러 필터의 특정 위치에 존재하는 물리적 에러로 인해 야기되는 정적 배드 픽셀(Static Bad Pixel)과 불규칙적으로 야기되는 동적 배드 픽셀(Dynamic Bad Pixel)을 포함할 수 있다. 일 실시 예에 따라, 배드 픽셀 검출기(3200)는 검사 대상이 되는 픽셀을 중심으로 수평 방향에 위치하는 복수 픽셀들의 신호 레벨을 비교하여 검사 대상 픽셀이 전체 이미지의 에지 영역에 포함되는지 판단하고, 검사 대상 픽셀이 에지 영역에 포함되지 않는 경우 검사 대상 픽셀의 불량 여부를 판단할 수 있다. 일 실시 예에 따라, 타겟 픽셀의 주변 픽셀들의 신호 레벨을 비교함으로써, 배드 픽셀이 검출될 수 있다. 배드 픽셀 검출기(3200)는 배드 픽셀로 판단된 픽셀들에 대해, 배드 픽셀임을 나타내는 어트리뷰트(Attribute) 정보(예를 들어, 플래그)를 태깅(tagging)할 수 있다.
컴프레서(3400)는 원본 픽셀들에 대한 부호화를 수행할 수 있다. 일 실시 예에 따라, 컴프레서(3400)에 의해 수신되는 원본 픽셀들은 배드 픽셀 검출기(3200)에 의해 배드 픽셀 여부가 표시된 픽셀들일 수 있다. 컴프레서(3400)는, 부호화 모드들 중 하나에 기초하여 원본 픽셀에 대한 부호화 데이터를 포함하는 비트스트림을 생성할 수 있다. 부호화 모드들은, 원본 픽셀들 각각의 값과 적어도 하나의 참조 픽셀로부터 결정된 참조 값 사이의 차분 값에 기초하여 부호화가 수행되는 DPCM(Differential Pulse Code Modulation)모드와 원본 픽셀들의 값들의 평균 값에 기초하여 부호화가 수행되는 평균 모드를 포함할 수 있다. DPCM 모드에서 이용되는 참조 픽셀은, 이전에 부호화된 원본 픽셀을 의미하는 것으로서, 참조 픽셀에 대한 정보는 참조 픽셀 버퍼(3800)로부터 독출될 수 있다. 컴프레서(3400)가 부호화를 수행하는 동작은 도4내지 7을 참조하여 상세히 후술한다.
복원기(3600)는 컴프레서(3400)로부터 출력되는 부호화 데이터를 복원함으로써 참조 픽셀들을 생성할 수 있다. 이전에 부호화된 픽셀을 참조한다는 의미는, 이전의 원본 픽셀을 참조 픽셀로서 사용하는 것이 아니라 원본 픽셀을 부호화한 후 복호화 된 픽셀을 사용한다는 것을 의미한다. 부호화 장치(3000)에는 이전의 원본 픽셀에 대해, 원본 픽셀에 대한 정보와 원본 픽셀이 부호화 및 복호화 된 픽셀에 대한 정보가 모두 존재하지만 복호화 장치(예를 들어, 도1의 1600)에는 원본 픽셀에 대한 정보를 알 수가 없다. 즉, 부호화 장치(3000)에서 참조 픽셀로서 이전의 원본 픽셀을 사용하면 복호화 장치에서는 부호화 장치(3000)에서 참조했던 이전의 원본 픽셀에 대한 정보가 없기 때문에 복원의 결과가 달라지고, 부호화 장치(3000)와 복호화 장치 사이에 불일치가 발생할 수 있다. 따라서, 부호화 장치(3000)는 이전에 부호화된 원본 픽셀들을 다시 복원한 픽셀을 참조 픽셀로서 사용하여야 한다.
복원기(3600)는 복원된 픽셀을 메모리(미도시)에 저장할 수 있다. 메모리(미도시)는 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM)와 같은 휘발성 메모리, 플래시 메모리, PRAM(Phase-change Random Access Memory), MRAM(Magnetic Random Access Memory), ReRAM(Resistive Random Access Memory), 및 FRAM(Ferroelectrics Random Access Memory)과 같은 비휘발성 메모리를 포함할 수 있다.
참조 픽셀 버퍼(3800)는 메모리(미도시)로부터 현재 원본 픽셀들에 대한 부호화를 위한 적어도 하나의 참조 픽셀에 대한 정보를 추출할 수 있다. 참조 픽셀은, 원본 픽셀들의 주변에 위치한 픽셀(neighborhood pixel)들일 수 있다. 일 실시 예에 따라, 참조 픽셀 버퍼(3800)는 원본 픽셀들의 부호화를 위해 필요한 원본 픽셀들의 주변 픽셀들의 픽셀 값들을 저장하기 위한 라인 메모리들로 구성될 수 있다. 일 실시 예에 따른 참조 픽셀 버퍼(3800)는, DRAM 또는 SRAM과 같은 휘발성 메모리로 구현될 수 있으나 이에 제한되지 않는다.
이하, 도4 내지 7c를 참조하여 부호화 장치(3000)의 상세한 동작들을 설명한다. 도4 내지 7c를 참조하여 설명되는 동작들은 컴프레서(3400)에 의해 수행될 수 있다.
도4는 일 실시 예에 따라, 도3의 부호화 장치가 DPCM 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
DPCM 모드에서, 부호화 장치(3000)는 적어도 하나의 참조 픽셀로부터 결정된 참조 값에 기초하여 원본 픽셀들(4200)을 부호화할 수 있다. 일 실시 예에 따라, 원본 픽셀들(4200) 상단의 2개 라인에 위치한 픽셀들이 참조 픽셀들로서 사용될 수 있다. 원본 픽셀들(4200)은 그린 픽셀인 제1원본 픽셀(GT0), 레드 픽셀인 제2 원본 픽셀(RT0), 그린 픽셀인 제3 원본 픽셀(GT1), 및 레드 픽셀인 제4 원본 픽셀(RT1)을 포함할 수 있다. 다른 실시 예에 따라, 제2 원본 픽셀(RT0)과 제4 원본 픽셀(RT1)은 블루 픽셀일 수도 있으나 설명의 편의를 위해 레드 픽셀인 것으로 가정된다. 원본 픽셀들(4200) 각각은 압축되기 전의 픽셀들로서, 예를 들어, 원본 픽셀들(4200) 각각의 픽셀 값은 0보다 크거나 같고 1024보다 작은 값으로 표현될 수 있다.
원본 픽셀들(4200)이 부호화됨으로써 생성되는 비트스트림(4800)을 참조하면, 비트스트림(4800)은 부호화 모드에 대한 정보(예를 들어, DPCM 모드를 나타내는 비트열)를 저장하기 위한 모드 영역(Mode)과 픽셀 값에 대한 정보를 저장하기 위한 픽셀 영역들(DPCM1 내지 DPCM4)을 포함할 수 있다. 보다 구체적으로, 비트스트림(4800)은, 제1 원본 픽셀(GT0)에 대한 부호화 데이터를 저장하기 위한 제1픽셀 영역(DPCM1), 제2 원본 픽셀(RT0)에 대한 부호화 데이터를 저장하기 위한 제2픽셀 영역(DPCM2), 제3 원본 픽셀(GT1)에 대한 부호화 데이터를 저장하기 위한 제3픽셀 영역(DPCM3), 및 제4 원본 픽셀(RT1)에 대한 부호화 데이터를 저장하기 위한 제4픽셀 영역(DPCM4)으로 구성될 수 있다.
모드 영역(Mode)은 M 비트의 데이터를 포함할 수 있다. 제1픽셀 영역(DPCM1), 제2픽셀 영역(DPCM2), 제3픽셀 영역(DPCM3), 및 제4픽셀 영역(DPCM4) 각각은 N 비트의 데이터를 포함할 수 있다. M 과 N 은 0보다 큰 양의 정수이다. 이하, M 과 N 이 4인 것으로 가정된다.
부호화 장치(3000)는 제1 원본 픽셀(GT0)의 픽셀 값과 참조 값 사이의 차분 값(d1)을 제1픽셀 영역(DPCM1)에 저장할 수 있다. 일 실시 예에 따라, 참조 값으로서, 제1 원본 픽셀(GT0)의 좌측 상단에 위치한 참조 픽셀(G0)의 픽셀 값과 우측 상단에 위치한 참조 픽셀(G1)의 픽셀 값의 평균 값이 사용될 수 있다. 즉, 제1픽셀 영역(DPCM1)에 저장되는 차분 값(d1)은 아래 수학식 1에 의해 결정될 수 있다.
[수학식 1]
d1 = (G0 + G1) / 2 - GT0
부호화 장치(3000)는 제2 원본 픽셀(RT0)의 픽셀 값과 참조 값 사이의 차분 값(d3)을 제2픽셀 영역(DPCM2)에 저장할 수 있다. 일 실시 예에 따라, 참조 값으로서, 제2 원본 픽셀(RT0)의 두 개 라인 상단에 위치한 참조 픽셀(RB1)의 픽셀 값이 사용될 수 있다. 즉, 제2픽셀 영역(DPCM2)에 저장되는 차분 값(d3)은 아래 수학식 2에 의해 결정될 수 있다.
[수학식 2]
d3 = RB1 - RT0
부호화 장치(3000)는 제3 원본 픽셀(GT1)의 픽셀 값과 참조 값 사이의 차분 값(d2)을 제3픽셀 영역(DPCM3)에 저장할 수 있다. 일 실시 예에 따라, 참조 값으로서, 제3 원본 픽셀(GT1)의 좌측 상단에 위치한 참조 픽셀(G1)의 픽셀 값과 우측 상단에 위치한 참조 픽셀(G2)의 픽셀 값의 평균 값이 사용될 수 있다. 즉, 제3픽셀 영역(DPCM3)에 저장되는 차분 값(d2)은 아래 수학식3에 의해 결정될 수 있다.
[수학식 3]
d2 = (G1 + G2) / 2 - GT1
부호화 장치(3000)는 제4 원본 픽셀(RT1)의 픽셀 값과 참조 값 사이의 차분 값(d4)을 제4픽셀 영역(DPCM4)에 저장할 수 있다. 일 실시 예에 따라, 참조 값으로서, 제4원본 픽셀(RT1)의 두 개 라인 상단에 위치한 참조 픽셀(RB2)의 픽셀 값이 사용될 수 있다. 즉, 제4픽셀 영역(DPCM4)에 저장되는 차분 값(d4)은 아래 수학식 4에 의해 결정될 수 있다.
[수학식 4]
d4 = RB2 - RT1
수학식 1 내지 4에 의해 결정되는 차분 값들(d1, d2, d3, d4) 각각은 음의 값 또는 양의 값일 수 있기 때문에, 픽셀 영역들(DPCM1, DPCM2, DPCM3, DPCM4) 각각의 가장 상위 비트는 부호(sign) 정보를 나타내는 부호 비트일 수 있다. 예를 들어, 수학식 1에 의해 결정된 차분 값(d1)이 '-6'인 경우 제1픽셀 영역(DPCM1)에는 음의 값을 나타내는 부호 비트 '1'와 '6'을 나타내는 비트열 '110' 을 포함하는 비트열 '1110'이 저장될 수 있다.
일 실시 예에 따른 부호화 장치(3000)는, 수학식 1 내지 4에 의해 결정되는 차분 값들(d1, d2, d3, d4) 각각에 대해, 대응되는 픽셀 영역의 크기에 기초하여 비트 쉬프트(bit shift) 연산을 수행할 수 있다. 예를 들어, 부호화 장치(3000)는, 제1 픽셀 영역(DPCM1)에 할당된 비트 개수가 4이고 차분 값(d1)이 1610(100002)인 경우, 차분 값(d1)에 대해 오른쪽 비트 쉬프트('>>') 연산을 2회 수행한 비트열 '100' 를 부호 비트 '0'와 함께 제1 픽셀 영역(DPCM1)에 저장할 수 있다. 부호화 장치(3000)는, 쉬프트 연산이 수행된 횟수에 대한 정보를 모드 영역(Mode)에 저장할 수 있다.
다만, 도4를 참조하여 설명한 원본 픽셀들의 부호화를 위해 참조되는 픽셀들의 위치는 하나의 실시 예일 뿐이며 변경될 수 있다. 예를 들어, 부호화 장치(3000)는, 도3의 배드 픽셀 검출기(3200)에 의해 배드 픽셀로 판단된 참조 픽셀들을 참조 값을 결정하는 데에 사용하지 않을 수 있다.
부호화 장치(3000)는, 제1원본 픽셀(GT0)을 부호화하는 경우, 참조 픽셀(G0)이 배드 픽셀이면 참조 픽셀(G0, G1)의 평균 값이 아닌 참조 픽셀(G1)의 픽셀 값을 참조 값으로 결정할 수 있다. 참조 픽셀(G0, G1)이 모두 배드 픽셀이면, 참조 픽셀(G5)의 픽셀 값이 참조 값으로서 결정될 수 있다. 참조 픽셀 (G0, G1, G5) 모두가 배드 픽셀이면, 대각선 방향에 위치한 참조 픽셀들(G4, G6) 중 적어도 하나의 픽셀 값에 기초하여 참조 값이 결정될 수 있다.
부호화 장치(3000)는, 예를 들어, 제2원본 픽셀(RT0)을 부호화하는 경우, 참조 픽셀(RB1)이 배드 픽셀이면, 참조 픽셀(RB0, RB2, RB3)들을 소팅(sorting)하여 중간 값을 선택하고, 선택된 중간 값을 참조 값으로 결정할 수 있다.
도5a는 일 실시 예에 따라, 도3의 부호화 장치가 제1평균 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
부호화 장치(3000)는 제1평균 모드에 기초하여 원본 픽셀들(5220)를 부호화하여 비트스트림(5300)을 생성할 수 있다.
비트스트림(5300)을 참조하면, 비트스트림(5300)은 부호화 모드에 대한 정보(예를 들어, 제1평균 모드임을 나타내는 비트열)를 포함하는 모드 영역(5340), 그린 픽셀인 제1원본 픽셀(GT0)과 제3원본 픽셀(GT1)에 대한 부호화 데이터를 저장하기 위한 제1픽셀 영역(5360), 및 레드 픽셀인 제2원본 픽셀(RT0)과 제4원본 픽셀(RT1)에 대한 부호화 데이터를 저장하기 위한 제2픽셀 영역(5380)을 포함할 수 있다.
부호화 장치(3000)는 제1원본 픽셀(GT0)의 픽셀 값과 제3원본 픽셀(GT1)의 픽셀 값의 제1평균 값을 제1픽셀 영역(5360)에 저장할 수 있다. 부호화 장치(3000)는, 제1픽셀 영역(5360)의 크기에 따라 제1평균 값에 대한 비트 쉬프트 연산을 수행할 수 있다. 예를 들어, 제1픽셀 영역(5360)에 할당된 비트 개수가 8이고, 제1평균 값이 48810(=1111010002) 인 경우, 제1평균 값에 대한 오른쪽 비트 쉬프트 연산('>>')을 2회 수행하여 '11110100' 를 제1픽셀 영역(5360)에 저장할 수 있다. 이러한 경우, 두 개의 원본 픽셀들(GT0, GT1) 각각에 대한 부호화 데이터는 서로 동일하므로, 제1픽셀 영역(5360)에 제1원본 픽셀(GT0)과 제3원본 픽셀(GT1)의 부호화 데이터가 함께 저장된다.
부호화 장치(3000)는 제2원본 픽셀(RT0)의 픽셀 값과 제4원본 픽셀(RT1)의 픽셀 값의 제2평균 값을 제2픽셀 영역(5380)에 저장할 수 있다. 제2평균 값 역시 제2픽셀 영역(5380)의 크기에 따라, 제1평균 값이 제1픽셀 영역(5360)에 저장되는 방식과 동일한 방식으로 적절하게 비트 쉬프트 연산이 수행될 수 있다.
도5a를 참조하여 설명한 제1평균 모드는, 원본 픽셀들(5220)의 상단이 수평 에지(Horizontal Edge)일 때 효율적일 수 있다. 이러한 경우, 원본 픽셀들(5220)과 상단에 위치한 참조 픽셀들의 공간적 상관성(Spatial Correlation)이 거의 없기 때문에, 원본 픽셀들(5220) 자체의 픽셀 값들을 이용하여 부호화하는 것이 더 효율적이다.
도5b및 5c는 다른 실시 예에 따라, 도3의 부호화 장치가 평균 모드에 기초하여 원본 픽셀 데이터들을 부호화하는 동작을 나타낸다.
도5b는 부호화 장치(3000)가 제2평균 모드에 기초하여 원본 픽셀들(5420)을 부호화하여 비트스트림(5500)을 생성하는 동작을 나타내고, 도5c는 부호화 장치(3000)가 제3평균 모드에 기초하여 원본 픽셀들(5620)을 부호화하여 비트스트림(5700)을 생성하는 동작을 나타낸다. 제2평균 모드와 제3평균 모드에 기초한 부호화는, 원본 픽셀들의 상단에 수평 에지가 존재하고, 원본 픽셀들 내부에도 에지 영역에 포함되는 픽셀이 존재할 때 효율적일 수 있다.
먼저 도5b를 참조하면, 원본 픽셀들(5420) 중 제4원본 픽셀(RT1)이 에지 영역에 포함되는 픽셀일 수 있다. 비트스트림(5500)은 부호화 모드에 대한 정보(예를 들어, 제2평균 모드임을 나타내는 비트열)를 저장하기 위한 모드 영역(5520), 제1원본 픽셀(GT0)과 제3원본 픽셀(GT1)에 대한 부호화 데이터를 저장하기 위한 제1픽셀 영역(5540), 제2원본 픽셀(RT0)에 대한 부호화 데이터를 저장하기 위한 제2픽셀 영역(5560), 및 제4원본 픽셀(RT1)에 대한 부호화 데이터를 저장하기 위한 제3픽셀 영역(5580)을 포함할 수 있다.
부호화 장치(3000)는 제1원본 픽셀(GT0)의 픽셀 값과 제3원본 픽셀(GT1)의 픽셀 값의 평균 값을 제1픽셀 영역(5540)에 저장할 수 있다. 다만, 제4원본 픽셀(RT1)은 에지 성분이기 때문에, 제2원본 픽셀(RT0)과 제4원본 픽셀(RT1)의 공간적 상관성이 거의 없다. 따라서, 제2원본 픽셀(RT0)과 제4원본 픽셀(RT1)에 대한 평균 값을 부호화 데이터로 사용할 경우, 손실되는 정보의 크기가 클 수 있다. 따라서, 부호화 장치(3000)는 제2원본 픽셀(RT0)과 제4원본 픽셀(RT1) 각각에 대한 픽셀 값을 별도의 변환 없이(제2픽셀 영역(5560)과 제3픽셀 영역(5580)의 크기에 따라 수행되는 비트 쉬프트 연산은 제외한다), 제2픽셀 영역(5560)과 제3픽셀 영역(5580)으로 각각 저장할 수 있다.
도5c를 참조하면, 원본 픽셀들(5620) 중 제1원본 픽셀(GT0)이 에지 성분일 수 있다. 비트스트림(5700)은 부호화 모드에 대한 정보(예를 들어, 제3평균 모드임을 나타내는 비트열)를 저장하기 위한 모드 영역(5720), 제1원본 픽셀(GT0)에 대한 부호화 데이터를 저장하기 위한 제1픽셀 영역(5740), 제3원본 픽셀(GT1)에 대한 부호화 데이터를 저장하기 위한 제2픽셀 영역(5760), 및 제2원본 픽셀(RT0)과 제4원본 픽셀(RT1)에 대한 부호화 데이터를 저장하기 위한 제3픽셀 영역(5780)을 포함할 수 있다.
제3평균 모드에 기초하여 원본 픽셀들(5620)를 부호화하는 방법은 도5b를 참조하여 설명한 제2평균 모드에 기초한 부호화 방법과 유사하다. 차이점은, 원본 픽셀들(5620)의 에지 성분은 제1원본 픽셀(GT0)이기 때문에, 제1원본 픽셀(GT0)과 제3원본 픽셀(GT1) 각각에 대한 픽셀 값이 별도의 변환 없이(제1픽셀 영역(5740)과 제2픽셀 영역(5760)의 크기에 따라 수행되는 비트 쉬프트 연산은 제외한다), 제1픽셀 영역(5740)과 제2픽셀 영역(5760)으로 각각 저장된다는 것이다. 부호화 장치(3000)는 제2원본 픽셀(RT0)의 픽셀 값과 제4원본 픽셀(RT1)의 픽셀 값의 평균 값을 제3픽셀 영역(5780)에 저장할 수 있다.
일 실시 예에 따라, 부호화 장치(3000)는 도5b를 참조하여 설명한 제2평균 모드와 도5c를 참조하여 설명한 제3평균 모드를 동일한 부호화 모드로 취급하되, 제2평균 모드와 제3평균 모드를 서로 구별하기 위한 추가 비트를 비트스트림에 포함시킬 수 있다. 예를 들어, 비트스트림(5500)의 모드 영역(5520)과 비트스트림(5700)의 모드 영역(5720)은 서브 모드 정보를 나타내기 위한 추가 영역을 포함할 수 있다. 부호화 장치(3000)는 추가 영역에 각각 '0' 또는 '1'의 값을 기록함으로써 제2평균 모드와 제3평균 모드를 구별할 수 있다. 이러한 경우, 서브 모드 정보를 나타내기 위한 추가 영역으로 인해, 비트스트림(5500)과 비트스트림(5700)의 픽셀 영역들의 크기가 감소될 수 있다.
도6은 일 실시 예에 따라, 도1의 이미지 처리 장치에서 사용될 수 있는 부호화 모드들에 대한 정보를 나타내는 표이다.
표(6000)을 참조하면, 부호화 모드들은 크게 도4를 참조하여 설명한 DPCM 모드, 도5a 내지 5c를 참조하여 설명한 평균 모드, 및 PCM(Pulse Code Modulation) 모드를 포함할 수 있다. 표(6000)의 첫 번째 열(Mode)에는 12개의 부호화 모드(모드 0-12)들이 기재되어 있다. 두 번째 열(Method)에는 12개 부호화 모드들 각각이 사용하는 부호화 방법(DPCM, 평균, 및 PCM)이 기재되어 있다. 세 번째 열(Shift G)에는 그린 픽셀에 대한 차분 값 또는 평균 값을 비트스트림의 픽셀 영역에 저장하기 위해 수행되는 비트 쉬프트 연산의 횟수가 기재되어 있다. 네 번째 열(Shift R/B)에는 레드 또는 블루 픽셀에 대한 차분 값 또는 평균 값을 비트스트림의 픽셀 영역에 저장하기 위해 수행되는 비트 쉬프트 연산의 횟수가 기재되어 있다.
표(6000)는 부호화 장치(1400)와 복호화 장치(1600) 사이의 약속이다. 즉, 표(6000)는, 복호화 장치(1600)가 부호화 장치(1400)로부터 수신된 비트스트림에 기초하여 복원 픽셀을 생성하기 위해 필요한 정보를 나타낸다. 표(6000)에 기재된 정보들은 실험적으로 획득되는 값들일 수 있다.
예를 들어, 부호화 장치(1400)는 표(6000)의 모드 4에 기초하여 원본 픽셀들을 압축하고, 생성되는 비트스트림의 모드 영역에 '4'를 기록할 수 있다. 복호화 장치(1600)는 부호화 장치(1400)로부터 수신되는 비트스트림의 모드 영역으로부터 '4'를 파싱할 수 있다. 복호화 장치(1600)는 표(6000)를 참조하여 현재 원본 픽셀들이 DPCM 모드로 압축이 되었으며, 제1픽셀 영역과 제3픽셀 영역 각각에 저장된 그린 픽셀에 대한 차분 값이 3회 비트 쉬프트 연산이 수행된 결과 값임을 알 수 있다. 또한, 제2픽셀 영역과 제4픽셀 영역 각각에 저장된 레드/블루 픽셀에 대한 차분 값이 3회 비트 쉬프트 연산이 수행된 결과 값임을 알 수 있다.
예를 들어, 부호화 장치(1400)는 표(6000)의 모드 10에 기초하여 원본 픽셀들을 압축하고, 생성되는 비트스트림의 모드 영역에 '10'을 기록할 수 있다. 복호화 장치(1600)는 표(6000)를 참조하여 현재 원본 픽셀들이 평균 모드로 압축이 되었으며, 제1픽셀 영역에 저장된 그린 픽셀들에 대한 평균 값이 2회 비트 쉬프트 연산이 수행된 결과 값임을 알 수 있다. 또한, 제2픽셀 영역에 저장된 레드/블루 픽셀들에 대한 평균 값이 2회 비트 쉬프트 연산이 수행된 결과 값임을 알 수 있다.
일 실시 예에 따라, 표(6000)의 모드 12는 PCM 모드를 나타낼 수 있다. PCM 모드란, 현재 원본 픽셀들의 픽셀 값들을 별도의 변환 없이, 대응되는 픽셀 영역의 크기에 맞게 상위 비트 값들만을 비트스트림에 포함시키는 모드로서, 일 실시 예에 따른 부호화 장치(1400)는, 모드0부터 12까지를 이용하여 순차적으로 부호화를 시도하고, 모두 실패할 경우 PCM 모드에 기초하여 부호화를 수행할 수 있다.
도7은 일 실시 예에 따라, 도3의 부호화 장치가 도6에 표시된 부호화 모드들 중 원본 픽셀 데이터들에 대한 부호화 모드를 결정하기 위한 방법의 흐름도를 나타낸다.
단계 S7100에서, 부호화 장치(3000)는, 원본 픽셀들을 DPCM 모드에 기초하여 부호화할 수 있는지 판단할 수 있다. 예를 들어, 부호화 장치(3000)는, 도6의 표(6000)에 표시된 모드 1 내지 9 각각에 기초하여 원본 픽셀들을 부호화할 수 있는지를 순차적으로 판단할 수 있다. 즉, 부호화 장치(3000)는 현재 모드로 부호화가 가능(Yes)하면 현재 DPCM모드(모드 n, n은 1내지 9중 어느 하나)를 부호화 모드로 결정(S7200)하고 그렇지 않으면(No) 다음 DPCM모드에 대한 부호화 가능 여부를 판단할 수 있다. 모드 1부터 모드9로 갈수록 비트 쉬프트 연산 횟수가 증가하므로, 번호가 작은 모드로 부호화를 수행할수록 압축에 따른 원본 데이터의 손실이 덜 발생됨을 의미하기 때문이다.
예를 들어, 부호화 장치(3000)는 도6의 표(6000)에 표시된 모드1에 기초하여 원본 픽셀들을 부호화할 수 있는지 판단할 수 있다. 표(6000)를 참조하면, 모드1은 비트 쉬프트 연산을 수행하지 않는 모드이다. 따라서, 제1원본 픽셀(GT0)에 대한 차분 값(d1), 제2원본 픽셀(RT0)에 대한 차분 값(d2), 제3원본 픽셀(GT1)에 대한 차분 값(d3), 및 제4원본 픽셀(RT1)에 대한 차분 값(d4) 중 어느 하나가 픽셀 영역의 크기로 정해진 4비트 내에서 표현될 수 없는 경우 부호화 장치(3000)는 원본 픽셀들을 모드1을 사용하여 부호화할 수 없는 것으로 판단할 수 있다. 즉, 부호화 장치(3000)는 모드1을 사용할 수 있는 것으로 판단되면 모드1을 원본 픽셀들에 대한 부호화 모드로 결정하지만, 모드1을 사용할 수 없는 것으로 판단되면, 다음 DPCM모드(즉, 모드2)를 사용할 수 있는지를 판단할 수 있다.
부호화 장치(3000)는 DPCM 모드에 기초하여 원본 픽셀들을 부호화할 수 없는 것(No)으로 판단하면, 단계 S7300에서 원본 픽셀들을 평균 모드에 기초하여 부호화할 수 있는지 판단할 수 있다. 예를 들어, 부호화 장치(3000)는, 도6의 표(6000)에 표시된 모드10 내지 11 각각에 기초하여 현재 원본 픽셀들을 부호화할 수 있는지를 순차적으로 판단할 수 있다. 현재 평균 모드(모드 k, k는 10 또는 11)로 부호화가 가능한 것으로 판단되면, 부호화 장치(3000)는 단계 S7500에서 추가적인 테스트를 수행할 수 있다. 그러나, 모드 10 및 11 중 어떠한 모드를 사용하여도 부호화가 가능하지 않은 것으로 판단되면(No), 단계 S7400 에서 PCM 모드를 원본 픽셀들에 대한 부호화 모드로 결정할 수 있다.
단계 S7500 에서, 부호화 장치(3000)는 단계 S7300에서 부호화가 가능할 것으로 판단되는 평균 모드(모드 k)와 PCM 모드의 압축에 따른 데이터 손실 정도를 비교할 수 있다. 상술한 바와 같이, 비트스트림에 할당된 픽셀 영역의 크기에 따라 비트 쉬프트 연산이 수행될 수 있는데, 부호화 장치(3000)는 평균 모드(모드 k)와 PCM모드 각각에서 수행되는 비트 쉬프트 연산 횟수를 비교함으로써, 데이터 손실 정도를 비교할 수 있다. 만약, PCM 모드의 데이터 손실 정도가 단계 S7300에서 결정된 평균 모드(모드 k)의 데이터 손실 정도보다 클 것으로 판단되는 경우(Yes), 단계 S7300에서 결정된 평균 모드(모드 k)를 원본 픽셀들에 대한 부호화 모드로 결정할 수 있다(S7600). 그러나, PCM 모드의 데이터 손실 정도가 단계 S7300에서 결정된 평균 모드(모드 k)의 데이터 손실 정도보다 크지 않을 것으로 판단되는 경우(No), 부호화 장치(3000)는 PCM 모드를 현재 원본 픽셀들에 대한 부호화 모드로 결정할 수 있다(S7400).
도8은 일 실시 예에 따른 복호화 장치의 블록도를 나타낸다.
복호화 장치(8000)는 도1의 복호화 장치(1600)의 상세한 실시 예를 나타낸다. 따라서, 이하 생략된 내용이라 하더라도 도1의 복호화 장치(1600)에 관하여 기술된 내용은 도8의 복호화 장치(8000)에도 적용될 수 있다. 복호화 장치(8000)에서 도3의 부호화 장치(3000)에 대응되는 동작이 수행될 수 있음을 본 실시 예가 속하는 기술분야의 통상의 기술자는 쉽게 이해할 수 있을 것이다.
도8을 참조하면, 복호화 장치(8000)는 배드 픽셀 검출기(8200), 디컴프레서(8400), 복원기(8600), 및 참조 픽셀 버퍼(8800)를 포함할 수 있다. 복호화 장치(8000)는 배드 픽셀 검출기(8200), 디컴프레서(8400), 복원기(8600), 및 참조 픽셀 버퍼(8800)를 총괄적으로 제어하는 중앙 프로세서(미도시)를 포함할 수 있다. 또는, 배드 픽셀 검출기(8200), 디컴프레서(8400), 복원기(8600), 및 참조 픽셀 버퍼(8800)가 각각의 자체 프로세서(미도시)에 의해 작동되며, 프로세서(미도시)들이 상호 유기적으로 작동함에 따라 복호화 장치(8000)가 전체적으로 작동될 수도 있다. 또는, 복호화 장치(8000)의 외부 프로세서(미도시)의 제어에 따라, 배드 픽셀 검출기(8200), 디컴프레서(8400), 복원기(8600), 및 참조 픽셀 버퍼(8800)가 제어될 수도 있다.
배드 픽셀 검출기(8200), 복원기(8600), 및 참조 픽셀 버퍼(8800)는 도3의 배드 픽셀 검출기(3200), 복원기(3600), 및 참조 픽셀 버퍼(3800)와 대응되는 구성이므로 상세한 설명은 생략한다.
디컴프레서(8400)는 도3의 부호화 장치(3000)로부터 수신되는 비트스트림으로부터 부호화 모드를 결정하고, 결정된 부호화 모드에 기초하여 복원 픽셀 데이터들을 생성할 수 있다. 일 실시 예에 따라, 디컴프레서(8400)는 수신된 비트스트림의 모드 영역에 포함된 정보를 파싱하고 파싱된 정보에 기초하여 원본 픽셀들에 대한 부호화 모드를 결정할 수 있다.
이하, 도9 내지 11을 참조하여 복호화 장치(8000)의 상세한 동작들을 설명한다. 도9 내지 11을 참조하여 설명되는 동작들은 디컴프레서(8400)에 의해 수행될 수 있다.
도9는 일 실시 예에 따라, 도8의 복호화 장치가 DPCM 모드에 기초하여 원본 픽셀들을 복호화하는 동작을 나타낸다.
복호화 장치(8000)는 수신된 비트스트림(9000)의 모드 영역(Mode)을 참조하여 원본 픽셀들에 대한 부호화 모드를 DPCM 모드로 결정할 수 있다. 예를 들어, 부호화 모드가 도6의 모드 1로 결정되었다고 가정한다.
복호화 장치(8000)는 제1픽셀 영역(DPCM1)으로부터 독출된 제1차분 값(d1)과 참조 값을 사용하여 제1원본 픽셀(GR0)에 대한 제1복원 픽셀(G'R0)을 생성할 수 있다. DPCM 모드에서 그린 픽셀은 원본 픽셀의 좌측 상단에 위치한 참조 픽셀의 픽셀 값과 우측 상단에 위치한 참조 픽셀의 픽셀 값의 평균 값을 참조 값으로 사용하여 부호화되므로, 복호화 장치(8000)는 참조 픽셀에 대한 정보를 참조 픽셀 버퍼(8800)로부터 읽고, 읽어온 참조 픽셀 정보에 기초하여 참조 값을 결정할 수 있다. 즉, 복호화 장치(8000)는 아래 수학식 5를 사용하여 제1복원 픽셀(G'R0)의 값을 결정할 수 있다.
[수학식 5]
G'R0 = (G0 + G1) / 2 - d1 (G0, G1 은 참조 픽셀)
복호화 장치(8000)는 제2픽셀 영역(DPCM2)으로부터 독출된 제2차분 값(d2)과 참조 값을 사용하여 제2원본 픽셀(RR0)에 대한 복원 픽셀(R'R0)을 생성할 수 있다. DPCM 모드에서 레드 또는 블루 픽셀은 원본 픽셀의 두 개 라인 상단에 위치한 참조 픽셀의 픽셀 값을 참조 값으로 사용하여 부호화되므로, 복호화 장치(8000)는 참조 픽셀에 대한 정보를 참조 픽셀 버퍼(8800)로부터 읽고, 읽어온 참조 픽셀 정보에 기초하여 참조 값을 결정할 수 있다. 즉, 복호화 장치(8000)는 아래 수학식 6을 사용하여 제2복원 픽셀(R'R0)의 값을 결정할 수 있다.
[수학식 6]
R'R0 = RB1 - d2 (RB1 은 참조 픽셀)
복호화 장치(8000)는 제3픽셀 영역(DPCM3)과 제4픽셀 영역(DPCM4)으로부터 제3차분 값(d3)과 제4차분 값(d4)을 각각 독출하고, 독출된 값들과 참조 값을 이용하여 제3복원 픽셀(G'R1)과 제4복원 픽셀(R'R1)을 생성할 수 있다. 복호화 장치(8000)가 제3복원 픽셀(G'R1)과 제4복원 픽셀(R'R1)을 생성하는 방법은 제1복원 픽셀(G'R0)과 제2복원 픽셀(R'R0)을 복원하는 방법과 동일하므로 상세한 설명은 생략한다.
일 실시 예에 따라, 복호화 장치(8000)는 픽셀 영역들로부터 독출되는 차분 값들(d1, d2, d3, d4) 각각에 대해 부호화 장치(3000)에서 수행된 비트 쉬프트 연산과 대응되는 역 방향의 비트 쉬프트 연산을 수행할 수 있다.
예를 들어, 부호화 모드가 도6의 모드3으로 결정된 경우, 복호화 장치(8000)는 제1픽셀 영역(DPCM1)으로부터 독출된 제1차분 값(d1)과 제3픽셀 영역(DPCM3)으로부터 독출된 제3차분 값(d3)에 대해 왼쪽 비트 쉬프트 연산('<<')을 2회 수행하고, 수행된 값들에 기초하여 제1복원 픽셀(G'R0)과 제3복원 픽셀(G'R1)을 생성할 수 있다. 복호화 장치(8000)는 제2픽셀 영역(DPCM2)으로부터 독출된 제2차분 값(d2)과 제4픽셀 영역(DPCM4)으로부터 독출된 제4차분 값(d4)에 대해 왼쪽 비트 쉬프트 연산('<<')을 3회 수행하고, 수행된 값들에 기초하여 제2복원 픽셀(R'R0)과 제4복원 픽셀(R'R1)을 생성할 수 있다.
도10은 일 실시 예에 따라, 도8의 복호화 장치가 평균 모드에 기초하여 원본 픽셀들을 복호화하는 동작을 나타낸다.
복호화 장치(8000)는 수신된 비트스트림(10000)의 모드 영역(10020)을 참조하여 원본 픽셀들에 대한 부호화 모드를 평균 모드인 것으로 결정할 수 있다.
복호화 장치(8000)는 제1픽셀 영역(10040)으로부터 독출된 제1평균 값(d1)을 제1복원 픽셀(G'R0)과 제3복원 픽셀(G'R1)의 픽셀 값으로 결정할 수 있다.
복호화 장치(8000)는 제2픽셀 영역(10060)으로부터 독출된 제2평균 값(d2)을 제2복원 픽셀(R'R0)과 제4복원 픽셀(R'R1)의 픽셀 값으로 결정할 수 있다.
일 실시 예에 따른 복호화 장치(8000)는, DPCM 모드에서와 마찬가지로, 모드 영역(10020)으로부터 독출되는 정보에 기초하여, 제1픽셀 영역(10040)으로부터 독출된 제1평균 값(d1)과 제2픽셀 영역(10060)으로부터 독출된 제2평균 값(d2) 각각에 대해 왼쪽 비트 쉬프트 연산('<<')을 수행할 수 있다.
예를 들어, 부호화 모드가 도6의 모드 10으로 결정된 경우, 복호화 장치(8000)는 제1평균 값(d1)에 왼쪽 비트 쉬프트 연산('<<')이 2회 수행된 값을 제1복원 픽셀(G'R0)과 제3복원 픽셀(G'R1)의 픽셀 값으로 결정하고, 제2평균 값(d2)에 왼쪽 비트 쉬프트 연산('<<')이 2회 수행된 값을 제2복원 픽셀(R'R0)과 제4복원 픽셀(R'R1)의 픽셀 값으로 결정할 수 있다.
도11은 다른 실시 예에 따라, 도8의 복호화 장치가 평균 모드에 기초하여 원본 픽셀들을 복호화하는 동작을 나타낸다.
복호화 장치(8000)는 수신된 비트스트림(10000)의 모드 영역(10020)을 참조하여 원본 픽셀들에 대한 부호화 모드를 평균 모드인 것으로 결정할 수 있다. 예를 들어, 부호화 모드가 도6의 모드 11로 결정되었다고 가정한다. 일 실시 예에 따라, 복호화 장치(8000)는 모드 정보를 포함하는 모드 영역(11020)에 추가 영역(Sub mode)이 포함된 경우, 부호화 모드를 모드11로 결정할 수 있다.
도5b및 5c를 참조하여 상술한 바와 같이, 추가 영역(Sub mode)으로부터 독출되는 값에 따라 복호화 방법이 다르게 결정될 수 있다. 예를 들어, 추가 영역(Sub mode)으로부터 독출되는 값이 '0'인 경우, 원본 픽셀들 중 우측 픽셀에 에지 성분이 존재함을 나타내고, 독출되는 값이 '1'인 경우, 원본 픽셀들 중 좌측 픽셀에 에지 성분이 존재함을 나타낼 수 있다.
추가 영역(Sub mode)으로부터 독출되는 값이 '0'인 경우, 도6의 표(6000)에 정의된 비트 쉬프트 연산 횟수에 따라, 복호화 장치(8000)는 제1픽셀 영역(11040)으로부터 독출되는 값(d1)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제1복원 픽셀(GR0)의 픽셀 값 및 제3복원 픽셀(GR1)의 픽셀 값으로 결정할 수 있다. 복호화 장치(8000)는 제2픽셀 영역(11060)으로부터 독출되는 값(d2)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제2복원 픽셀(R'R0)의 픽셀 값으로 결정할 수 있다. 또한, 복호화 장치(8000)는 제3픽셀 영역(11080)으로부터 독출되는 값(d3)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제4복원 픽셀(R'R1) 의 픽셀 값으로 결정할 수 있다.
추가 영역(sub mode)으로부터 독출되는 값이 '1'인 경우, 도6의 표(6000)에 정의된 비트 쉬프트 연산 횟수에 따라, 복호화 장치(8000)는 제1픽셀 영역(11040)으로부터 독출되는 값(d1)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제1복원 픽셀(G'R0) 의 픽셀 값으로 결정할 수 있다. 복호화 장치(8000)는 제2픽셀 영역(11060)으로부터 독출되는 값(d2)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제3복원 픽셀(G'R1)의 픽셀 값으로 결정할 수 있다. 또한, 복호화 장치(8000)는 제3픽셀 영역(11080)으로부터 독출되는 값(d3)에 왼쪽 비트 쉬프트 연산('<<')을 5회 수행한 값을 제2복원 픽셀(R'R0)의 픽셀 값 및 제4복원 픽셀(R'R1)의 픽셀 값으로 결정할 수 있다.
도12는 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
이미지 처리 장치(12000)는 도1의 이미지 처리 장치(1000)의 상세한 실시 예를 나타낸다. 따라서, 이하 생략되는 내용이라도, 도1의 이미지 처리 장치(1000)에 대하여 기술된 내용은 이미지 처리 장치(12000)에도 적용될 수 있다.
도12를 참조하면, 이미지 처리 장치(12000)는 이미지 센서(12200), 메모리(12400), 및 어플리케이션 프로세서(12600)를 포함할 수 있다.
이미지 센서(12200)는 광 신호로부터 컬러 정보를 추출하여 디스플레이에서 구현하기 위한 전자 부품이다. 이미지 센서(12200)는 부호화 장치(12220), 복호화 장치(12240), 및 메모리 컨트롤러(12260)를 포함할 수 있다. 이미지 센서(12200)를 3단 적층(3 stack) 센서라고도 한다.
부호화 장치(12220)는 도1 내지 7을 참조하여 설명한 부호화 장치(1400)의 동작을 수행할 수 있다. 즉, 부호화 장치(12220)는 입력 받은 베이어 패턴의 원본 픽셀들을 DPCM 모드 및 평균 모드에 기초하여 부호화하고, 부호화 데이터를 포함하는 비트스트림을 생성할 수 있다. 부호화 장치(12220)에 의해 생성된 비트스트림은 메모리 컨트롤러(12260)로 전달될 수 있다.
메모리 컨트롤러(12260)는 메모리(12400)의 부호화 데이터에 대한 입력 및 출력 동작을 제어할 수 있다. 부호화 장치(12220)로부터 생성된 비트스트림은, 메모리 컨트롤러(12260)의 제어 하에, 메모리(12400)로 입력될 수 있다. 메모리 컨트롤러(12260)는 메모리(12400) 내의 전반적인 동작들을 제어하기 위한 다양한 연산을 수행하기 위한 전용 논리 회로(예를 들어, FPGA, ASICs 등)를 포함할 수 있다.
메모리(12400)는 이미지 센서(12200)와 연결되며, 이미지 프레임들을 저장할 수 있다. 메모리(12400)는 이미지 프레임들에 대한 원본 데이터가 아닌 부호화 장치(12220)에 의해 생성된 부호화 데이터들을 저장할 수 있다. 따라서, 원본 데이터를 메모리(12400)에 저장하는 것에 비해, 메모리(12400)에 저장될 수 있는 이미지 프레임의 개수가 크게 증가할 수 있다. 메모리(12400)는 예로서, 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM)와 같은 휘발성 메모리, 플래시 메모리, PRAM, MRAM, ReRAM, 및 FRAM과 같은 비휘발성 메모리를 포함할 수 있다.
메모리(12400)는 메모리 컨트롤러(12260)의 제어 하에, 복호화 장치(12240)로 부호화 데이터를 포함하는 비트스트림을 출력할 수 있다. 복호화 장치(12240)는 도1 및 8 내지 12을 참조하여 설명한 복호화 장치(1600)의 동작을 수행할 수 있다. 즉, 복호화 장치(12240)는 메모리 컨트롤러(12260)로부터 수신된 비트스트림으로부터 부호화 모드에 대한 정보를 독출하고, 독출된 부호화 모드에 기초하여 복원 이미지 데이터를 생성할 수 있다.
어플리케이션 프로세서(12600)는 이미지 센서(12200)로부터 수신된 이미지 데이터에 기초하여 다양한 영상 처리 기법을 적용할 수 있다. 어플리케이션 프로세서(12600)는 도1의 어플리케이션 프로세서(1800)에 대응될 수 있으므로 상세한 설명은 생략한다.
도13은 일 실시 예에 따른 이미지 처리 장치의 블록도를 나타낸다.
이미지 처리 장치(13000)는 도1의 이미지 처리 장치(1000)의 상세한 실시 예를 나타낸다. 따라서, 이하 생략되는 내용이라도, 도1의 이미지 처리 장치(1000)에 대하여 기술된 내용은 이미지 처리 장치(13000)에도 적용될 수 있다.
도13를 참조하면, 이미지 처리 장치(13000)는 이미지 센서(13200), MIPI(Mobile Industry Processor Interface, 13400), 및 어플리케이션 프로세서(13600)를 포함할 수 있다. 이미지 센서(13200)를 2단 적층(2 stack) 센서라고도 한다.
이미지 센서(13200)는 ISP(Image Signal Processor, 13220) 및 부호화 장치(13240)를 포함할 수 있다. ISP(13220)는 베이어 패턴의 원본 이미지 데이터에 대한 전처리를 수행할 수 있다. 전처리는 이미지 데이터의 질을 개선할 수 있는 다양한 이미지 향상 알고리즘의 적용을 의미할 수 있다. 전처리된 이미지 데이터는 부호화 장치(13240)로 전달될 수 있다.
부호화 장치(13240)는 ISP(13220)로부터 수신된 베이어 패턴의 원본 이미지 데이터를 부호화하고 부호화 데이터를 포함하는 비트스트림을 출력할 수 있다. 부호화 장치(13240)는 도1내지 7을 참조하여 설명한 부호화 장치(1400)의 동작을 수행할 수 있다. 즉, 부호화 장치(13240)는 입력 받은 원본 픽셀들을 DPCM 모드 및 평균 모드에 기초하여 비트스트림을 생성할 수 있다. 부호화 장치(13240)에 의해 생성된 비트스트림은 MIPI(13400)로 전달될 수 있다.
MIPI(13400)는 이미지 센서(13200)와 어플리케이션 프로세서(13600)의 중간 연결자로서, 전기적 신호를 전달할 수 있는 회로로 구성되는 전자 부품이다. MIPI(13400)는 수신된 비트스트림을 어플리케이션 프로세서(13600)로 전달하기 위한 인터페이스 동작을 수행할 수 있다. MIPI(13400)는 부호화 장치(13240)로부터 수신된 비트스트림을 어플리케이션 프로세서(13600)로 전달할 수 있다. 따라서, 이미지 처리 장치(13000)는, 이미지 센서(13200)로부터 어플리케이션 프로세서(13600)로 이미지 프레임들에 대한 원본 데이터를 전송하는 대신 부호화 데이터를 전송함으로써, 이미지 센서(13200)와 어플리케이션 프로세서(13600) 사이의 초당 이미지 프레임의 전송 개수가 크게 증가할 수 있다.
어플리케이션 프로세서(13600)는 MIPI(13400)로부터 부호화 데이터를 포함하는 비트스트림을 수신할 수 있다. 어플리케이션 프로세서(13600)는 수신된 비트스트림을 복호화하기 위한 복호화 장치(13620)를 포함할 수 있다. 즉, 복호화 장치(13620)는 MIPI(13400)로부터 수신된 비트스트림으로부터 부호화 모드에 대한 정보를 독출하고, 독출된 부호화 모드에 기초하여 복원 이미지 데이터를 생성할 수 있다. 어플리케이션 프로세서(13600)는 복원 이미지 데이터에 대해 다양한 영상 처리 기법을 적용할 수 있다.
위 설명들은 본 발명을 구현하기 위한 예시적인 구성들 및 동작들을 제공하도록 의도된다. 본 발명의 기술 사상은 위에서 설명된 실시 예들뿐만 아니라, 위 실시 예들을 단순하게 변경하거나 수정하여 얻어질 수 있는 구현들도 포함할 것이다. 또한, 본 발명의 기술 사상은 위에서 설명된 실시 예들을 앞으로 용이하게 변경하거나 수정하여 달성될 수 있는 구현들도 포함할 것이다.

Claims (10)

  1. 부호화 모드들 중 하나에 기초하여, 원본 픽셀들의 값들에 대한 부호화 데이터를 포함하는 비트스트림을 생성하기 위한 컴프레서;
    상기 비트스트림을 복원함으로써 참조 픽셀들의 값들을 생성하기 위한 복원기; 및
    상기 참조 픽셀들의 값들로부터 배드 픽셀을 검출하기 위한 배드 픽셀 검출기를 포함하고,
    상기 컴프레서는, 상기 부호화 모드들 중 제1모드에서, 상기 원본 픽셀들의 값들 각각과 상기 참조 픽셀들의 값들 중 적어도 하나에 기반하는 참조 값 사이의 차분 값에 기초하여 상기 비트스트림을 생성하고, 상기 부호화 모드들 중 제2모드에서, 상기 원본 픽셀들의 값들 중 적어도 두 개의 평균 값에 기초하여 상기 비트스트림을 생성하고, 그리고 상기 제1모드 하에서, 상기 배드 픽셀의 값은 상기 참조 값을 결정하기 위해 사용하지 않는 이미지 부호화 장치.
  2. 제1항에 있어서,
    상기 컴프레서는, 상기 제1모드와 상기 제2모드 중 하나의 모드를 상기 원본 픽셀들의 값들에 대한 부호화 모드로 결정하고,
    상기 비트스트림은, 상기 결정된 부호화 모드에 대한 정보를 저장하기 위한 모드 영역 및 상기 차분 값 또는 상기 평균 값을 저장하기 위한 픽셀 영역을 포함하는 이미지 부호화 장치.
  3. 제2항에 있어서,
    상기 원본 픽셀들의 값은, 베이어 컬러 필터에 의해 획득되는 제1픽셀의 값, 제2픽셀의 값, 제3픽셀의 값, 및 제4픽셀의 값을 포함하고,
    상기 제1픽셀과 상기 제2픽셀은 그린 픽셀이고, 상기 제3픽셀과 상기 제4픽셀은 레드 또는 블루 픽셀인 이미지 부호화 장치.
  4. 제3항에 있어서,
    상기 컴프레서는, 상기 제1모드에서, 제1참조 픽셀의 값과 제2참조 픽셀의 값의 평균 값과 상기 제1픽셀의 값 사이의 제1차분 값, 및 제3참조 픽셀의 값과 제4참조 픽셀의 값의 평균 값과 상기 제2픽셀의 값 사이의 제2차분 값을 상기 픽셀 영역에 포함시키고,
    상기 제1참조 픽셀과 상기 제2참조 픽셀은 상기 제1픽셀의 상단 라인에 위치하고, 상기 제3참조 픽셀과 상기 제4참조 픽셀은 상기 제2픽셀의 상단 라인에 위치하는 이미지 부호화 장치.
  5. 제3항에 있어서,
    상기 컴프레서는, 상기 제1모드에서, 제5참조 픽셀의 값과 상기 제3픽셀의 값 사이의 제3차분 값, 및 제6참조 픽셀의 값과 상기 제4픽셀의 값 사이의 제4차분 값을 상기 픽셀 영역에 포함시키고,
    상기 제5참조 픽셀은 상기 제3픽셀의 두 개 라인 위에 위치하고, 상기 제6참조 픽셀은 상기 제4픽셀의 두 개 라인 위에 위치하는 이미지 부호화 장치.
  6. 삭제
  7. 제3항에 있어서,
    상기 컴프레서는, 상기 제2모드에서, 상기 제1픽셀의 값과 상기 제2픽셀의 값에 대한 제1평균 값 및 상기 제3픽셀의 값과 상기 제4픽셀의 값에 대한 제2평균 값 중 적어도 하나를 상기 픽셀 영역에 포함시키는 이미지 부호화 장치.
  8. 제2항에 있어서,
    상기 컴프레서는, 상기 픽셀 영역의 크기에 기초하여, 상기 차분 값 또는 상기 평균 값에 대한 비트 쉬프트 연산을 수행하고, 상기 비트 쉬프트 연산의 수행 횟수에 대한 정보를 상기 모드 영역에 포함시키는 이미지 부호화 장치.
  9. 부호화 모드들 중 하나에 기초하여, 수신된 비트스트림을 복호화하여 원본 픽셀들의 값들에 대한 복원 픽셀들의 값들을 생성하기 위한 디컴프레서;
    상기 복원 픽셀들의 값들로부터 참조 픽셀들의 값들을 생성하기 위한 복원기; 및
    상기 참조 픽셀들의 값들로부터 배드 픽셀을 검출하기 위한 배드 픽셀 검출기를 포함하고,
    디컴프레서는, 상기 부호화 모드들 중 제1 모드에서, 상기 비트스트림으로부터 수신되는 차분 값과 상기 참조 픽셀들의 값들 중 적어도 하나에 기반하는 참조 값에 기초하여 상기 비트스트림을 복호화하고, 상기 부호화 모드들 중 제2 모드에서, 상기 비트스트림으로부터 수신되는 평균 값에 기초하여 상기 비트스트림을 복호화하고,
    상기 차분 값은 상기 원본 픽셀들의 값들 각각과 상기 참조 값 사이의 차이를 나타내고, 상기 평균 값은 상기 원본 픽셀들의 값들 중 적어도 두 개를 평균한 값인 이미지 복호화 장치.
  10. 제9항에 있어서,
    상기 비트스트림은, 상기 제1모드와 상기 제2모드 중 하나의 모드를 나타내는 정보를 저장하기 위한 모드 영역 및 상기 차분 값 또는 상기 평균 값을 저장하기 위한 픽셀 영역을 포함하고,
    상기 디컴프레서는, 상기 모드 영역을 참조하여 상기 원본 픽셀들의 값들에 대한 부호화 모드를 결정하는 이미지 복호화 장치.
KR1020180063230A 2018-06-01 2018-06-01 이미지 부호화 장치 및 이미지 복호화 장치 KR102666666B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180063230A KR102666666B1 (ko) 2018-06-01 이미지 부호화 장치 및 이미지 복호화 장치
US16/288,815 US10848696B2 (en) 2018-06-01 2019-02-28 Apparatus for encoding image, apparatus for decoding image and image sensor
CN201910470046.2A CN110557637B (zh) 2018-06-01 2019-05-31 对图像编码的设备、对图像解码的设备及图像传感器
US17/060,620 US11290667B2 (en) 2018-06-01 2020-10-01 Apparatus for encoding image, apparatus for decoding image and image sensor
US17/705,784 US11800248B2 (en) 2018-06-01 2022-03-28 Apparatus for encoding image, apparatus for decoding image and image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180063230A KR102666666B1 (ko) 2018-06-01 이미지 부호화 장치 및 이미지 복호화 장치

Publications (2)

Publication Number Publication Date
KR20190137260A KR20190137260A (ko) 2019-12-11
KR102666666B1 true KR102666666B1 (ko) 2024-05-20

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160165236A1 (en) * 2014-12-09 2016-06-09 Sony Corporation Intra and inter-color prediction for bayer image coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160165236A1 (en) * 2014-12-09 2016-06-09 Sony Corporation Intra and inter-color prediction for bayer image coding

Similar Documents

Publication Publication Date Title
US11800248B2 (en) Apparatus for encoding image, apparatus for decoding image and image sensor
US8098959B2 (en) Method and system for frame rotation within a JPEG compressed pipeline
JP5695080B2 (ja) 圧縮画像データの解像度ベースのフォーマット
TWI555386B (zh) 原始格式影像資料處理技術
TW201729596A (zh) 包括有影像資料之影像單位之編碼／解碼方法及裝置，影像資料係由亮度道及至少一色訊道表示
CN110612722B (zh) 对数字光场图像编码和解码的方法和设备
JP2016508700A (ja) ビデオカメラ
US11818369B2 (en) Image sensor module, image processing system, and image compression method
US20220020181A1 (en) Image sensor module, image processing system, and image compression method
US11770541B2 (en) Image encoder, image decoder, and image processing method
US11856320B2 (en) Image encoder, an image sensing device, and an operating method of the image encoder
US10304213B2 (en) Near lossless compression scheme and system for processing high dynamic range (HDR) images
US20150365685A1 (en) Method and system for encoding and decoding, encoder and decoder
JP2009194760A (ja) 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム
KR20180041441A (ko) 결함화소 정보 기록장치, 결함화소 보정장치 및 방법
KR102666666B1 (ko) 이미지 부호화 장치 및 이미지 복호화 장치
JP6352625B2 (ja) 画像データ圧縮回路、画像データ圧縮方法及び撮像装置
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
US20230061368A1 (en) Image Encoding Method and Apparatus, and Image Decoding Method and Apparatus
US11823417B2 (en) Camera module, image processing system and image compression method
CN115150370B (zh) 一种图像处理的方法
KR20220009849A (ko) 포화 픽셀을 이용하는 이미지 압축 방법, 인코더, 및 전자 장치
CN111866513A (zh) 影像压缩方法及影像压缩器