KR101559763B1

KR101559763B1 - 비트 위치에 기초한 영상 분리를 이용한 영상 부호화, 복호화 방법 및 장치

Info

Publication number: KR101559763B1
Application number: KR1020080086286A
Authority: KR
Inventors: 문영호; 심우성; 박성범; 최대웅; 최종범; 윤재원; 김중현
Original assignee: 삼성전자주식회사
Priority date: 2008-07-02
Filing date: 2008-09-02
Publication date: 2015-10-13
Also published as: KR20100004038A

Abstract

n 비트의 픽셀 값들을 포함하는 입력 영상의 상위 n-m 비트에 기초한 비트 프레인들 및 하위 m 비트에 기초한 영상을 각각 비트 플레인 기반 영상 부호화 방법 및 블록 기반 영상 부호화 방법을 이용해 부호화, 복호화하는 영상 부호화, 복호화 방법 및 장치가 개시된다.

비트 플레인, 인트라 예측, 영상

Description

비트 위치에 기초한 영상 분리를 이용한 영상 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding image using separation of image based on bit location}

본 발명은 영상 부호화, 복호화 방법 및 장치에 관한 것으로 보다 상세히는 복수 비트의 픽셀 값들을 포함하는 영상을 부호화, 복호화하는 방법 및 장치에 관한 것이다.

n 비트의 픽셀 값을 포함하는 입력 영상을 n 개의 비트 플레인(bit plane)으로 분리하고, 분리 결과 생성된 각각의 비트 플레인 즉, 이진 영상을 압축 부호화하는 방법들이 널리 이용되고 있다.

JBIG(Join Bilevel Image expert Group)이 이진 영상을 압축 부호화, 복호화하는 방법들의 대표적인 예이다. JBIG은 프린터나 팩시밀리와 같이 이진 영상을 생성해 입력 영상을 처리하는 시스템에서 효율적인 압축 부호화, 복호화를 수행하기 위해 JPEG(Joint Photographic Experts Group)에서 분리된 별도의 영상 압축 표준이다.

이진 영상을 생성해 입력 영상을 처리하는 영상 부호화, 복호화 방법을 이용 하면, 픽셀 값을 가지지 않는 여백 또는 특정 픽셀 값이 반복되는 직선 등을 많이 포함하는 영상을 효율적으로 부호화, 복호화할 수 있다.

본 발명이 해결하고자 하는 기술적 과제는 영상을 부호화, 복호화하는 방법 및 장치를 제공하는데 있고, 보다 상세히는 n 비트의 픽셀 값들을 포함하는 영상을 부호화, 복호화하는 방법 및 장치를 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 부호화 방법은 n 비트의 픽셀 값들을 포함하는 입력 영상으로부터 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 픽셀 값들의 하위 m 비트에 기초한 영상을 생성하는 단계; 상기 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화하는 단계; 및 상기 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 부호화 방법을 이용해 부호화하는 단계를 포함하고, 상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 비트 플레인 기반 영상 부호화 방법을 이용해 부호화하는 단계는 상기 n-m 개의 비트 플레인들을 JBIG(Joint Bi-level Image Experts Group) 표준에 따라 무손실 압축 부호화하는 단계를 포함한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 블록 기반 영상 부호화 방법을 이용해 부호화하는 단계는 복수의 인트라 예측 모드 중 선택된 하나의 인트라 예측 모드에 기초해 상기 m 하위 비트의 픽셀 값에 기초한 영상에 포함된 블록들을 예측 부호화하는 단계를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 복호화 방법은 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하기 위해 상기 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 복호화 방법을 이용해 각각 복호화하는 단계; 상기 픽셀 값의 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 복호화 방법을 이용해 복호화하는 단계; 및 상기 복호화 결과 생성된 n-m 개의 비트 플레인들 및 상기 하위 m 비트 픽셀 값에 기초한 영상에 기초해 상기 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하는 단계를 포함하고, 상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는 n 비트의 픽셀 값들을 포함하는 입력 영상으로부터 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 픽셀 값들의 하위 m 비트에 기초한 영상을 생성하는 영상분리부; 상기 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화하는 제1부호화부; 상기 m 하위 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 부호화 방법을 이용해 부호화하는 제2부호화부; 및 상기 제1 부호화부 및 상기 제2 부호화부에서 생성된 데이터를 다중화하는 다중화부를 포함하고, 상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 복호화 장치는 n 비트의 픽셀 값들을 포함하는 출력 영상에 대한 데이터를 상기 픽셀 값들 의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들에 대한 데이터 및 상기 픽셀 값의 하위 m 비트의 픽셀 값에 기초한 영상에 대한 데이터로 역다중화하는 역다중화부; 상기 픽셀 값의 상기 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 복호화 방법을 이용해 각각 복호화하는 제1 복호화부; 상기 픽셀 값의 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 복호화 방법을 이용해 복호화하는 제2 복호화부; 및 상기 복호화 결과 생성된 n-m 개의 비트 플레인들 및 상기 하위 m 비트 픽셀 값에 기초한 영상에 기초해 상기 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하는 영상복원부를 포함하고, 상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는 상기된 영상 부호화 및 복호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상분리부(110), 제1부호화부(120), 제2부호화부(130) 및 다중화부(140)를 포함한다.

영상분리부(110)는 n 비트의 픽셀 값들을 포함하는 입력 영상을 픽셀 위치에 기초해 복수의 비트 플레인(bit-plane)과 하위 비트에 기초한 영상으로 분리한다. 상위 n-m 비트에 기초해 n-m 개의 비트 플레인들을 생성하고, 하위 m 비트에 기초해 소정의 영상을 생성한다. 여기서, n이 양의 정수이고, m이 0<m<n을 만족하는 양의 정수이다. 도 2 내지 4를 참조하여 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 n 비트의 픽셀 값들을 포함하는 영상을 도시한다.

도 2에서는 8 비트의 픽셀 값들을 포함하는 입력 영상(200)을 도시한다. 각각의 픽셀 위치에서 픽셀 값은 8 비트의 이진열로 표현된다. 픽셀 값들은 YUV 색공간에서의 픽셀 값인 경우에는 해당 픽셀 위치에서 휘도 값 또는 색차 값일 수도 있고, RGB 색공간에서의 픽셀 값인 경우에는 해당 픽셀 위치에서 R 값, G 값 또는 B 값일 수 있다.

도 2에 도시된 입력 영상 중 상위 4 개의 비트를 이용해 비트 플레인을 생성하면, 도 3a 내지 3d에 도시된 네 개의 비트 플레인들(310 내지 340)이 생성된다. 영상분리부(110)는 입력 영상에 포함된 픽셀 값들의 최상위 비트의 이진 값들만으로 구성된 도 3a의 비트 플레인(310)을 생성하고, 그 다음 상위 비트의 이진 값들만으로 구성된 도 3b의 비트 플레인(320)을 생성한다. 이를 상위 4 비트까지 반복하여 총 4 개의 비트 플레인들(310 내지 340)을 생성한다.

또한, 영상분리부(110)는 도 4에 도시된 하위 4 비트의 값을 픽셀 값으로 하는 영상(400)을 생성한다.

도 2 내지 4는 n=8 이고, m=4 인 경우를 예로 들어 설명하였으나, 이는 예시 적인 것이며, n이 양의 정수이고, m이 0<m<n을 만족하는 양의 정수이기만 하면, 도 2 내지 4와는 다르게 n과 m이 설정될 수 있다. 예를 들어, n=16, m=8 인 경우가 있을 수도 있고, n=8, m=6인 경우가 있을 수도 있다.

픽셀 값의 상위 비트에 비해 하위 비트가 무작위한 값(random value)을 가질 확률이 더 높음이 실험적으로 밝혀져 있다. 따라서, 본 발명의 일 실시예에 따른 영상 부호화, 복호화 장치는 이러한 특징을 이용해 보다 효율적으로 영상을 부호화하기 위해 상위 비트들과 하위 비트들을 서로 다른 방법의 부호화 방법을 이용해 부호화한다. 이를 위해 영상분리부(110)는 픽셀 값들의 상위 n-m 비트에 기초한 비트 플레인들 및 하위 m 비트에 기초한 영상을 생성한다.

영상분리부(110)가 픽셀 값들을 분리하여 영상을 생성함에 있어, 부호화에 적합하도록 n 비트의 픽셀 값들을 소정의 전처리 과정을 통해 변환할 수 있다. 전처리 과정의 예로 픽셀 값들의 n 비트의 이진열들을 그레이 코드(gray code)로 변환한다.

도 2에 도시된 입력 영상의 첫 번째 열의 픽셀 값이 "127, 127, 128, 128, 128, 128, 128, ..."인 경우를 예로 들어 설명한다. 이 경우 픽셀 값들의 이진열은 "01111111, 01111111, 10000000, 10000000, 10000000, 10000000, 10000000, 10000000, ..." 이다. 이 경우 상위 4 비트와 하위 4비트를 분리하면, 하위 4 비트의 픽셀 값이 "1111, 1111, 0000, 0000, 0000, 0000, 0000, ..." 즉, "15, 15, 0, 0, 0, 0, 0, ..."이다. 상위 비트와 하위 비트의 분리 전에 1 차이의 픽셀 값들이 하위 비트를 분리하면, 15 차이의 픽셀 값들이 된다. 이 경우 하위 4 비트의 픽셀 값들 사이의 연관성이 떨어져 부호화의 압축률이 떨어진다. 이를 해결하기 위해 픽셀 값들을 그레이 코드로 변환하고, 변환된 그레이 코드들을 상위 비트와 하위 비트로 분리한다.

전술한 예에서 픽셀 값들의 이진열을 그레이 코드로 변환하면, "01000000, 01000000, 11000000, 11000000, 11000000, 11000000, 11000000, ..."로 변환되어 하위 4 비트의 픽셀 값이 모두 "0000"이므로 하위 비트에 기초한 영상의 압축 부호화 효율이 높아진다.

제1부호화부(120)는 영상분리부(110)에서 생성된 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화한다. 예를 들어, JBIG 표준에 따라 각각의 비트 플레인들을 무손실 압축 부호화한다. 비트 플레인을 부호화하는 방법은 종래 기술에 따른 이진 영상의 부호화 방법을 따른다. 부호화 결과 n-m 개의 비트 플레임들에 대한 비트스트림이 생성된다.

제2부호화부(130)는 영상분리부(110)에서 생성된 하위 m 비트에 기초한 영상(400)을 블록 기반 영상 부호화 방법을 이용해 부호화한다. 전술한 바와 같이 하위 m 비트의 값들은 상위 비트들에 비해 무작위적인 값을 가질 확률이 높다. 그런데, 블록 기반 영상 부호화는 영상을 블록 단위로 인터 예측 또는 인트라 예측하고, 예측 결과 생성된 예측 블록을 원본 블록에서 감산하여 레지듀얼 블록을 생성하여 부호화하기 때문에 무작위적인 픽셀 값들의 시간적, 공간적 중복성을 제거하기 용이하다. 따라서, 제2부호화부(130)는 하위 m 비트에 기초한 영상(400)을 H.264와 같은 블록 기반 영상 부호화 방법을 이용해 블록 단위로 예측 부호화한다.

이 때, 무손실 부호화를 위해 H.264의 우회 모드(by-pass mode)를 이용할 수 있다. 우회 모드는 레지듀얼 블록을 이산 코사인 변환하지 않고, 레지듀얼 블록에 포함된 레지듀얼 값들을 바로 엔트로피 부호화하는 부호화 모드로서, 양자화 파라미터(quantization parameter : qP)를 0 으로 설정하고, 레지듀얼 값들을 우회 모드로 부호화하면, 무손실로 레지듀얼 값들을 부호화할 수 있다. 이산 코사인 변환 과정에서 발생하는 손실 및 양자화에서 발생하는 손실을 제거함으로써 무손실로 레지듀얼 값들을 부호화한다. 도 5를 참조하여 상세히 설명한다.

도 5는 본 발명의 일 실시예에 따른 제2부호화부(130)를 도시한다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 제2부호화부(130)는 예측부(510) 및 엔트로피부호화부(520)를 포함한다.

예측부(510)는 하위 m 비트 영상(400)을 블록 단위로 인터 예측 또는 인트라 예측한다. 하위 m 비트의 영상(400)의 소정의 블록(이하, '현재 블록'이라 함)을 예측함에 있어, 현재 블록에 포함된 m 비트의 값들을 이용해 참조 픽처를 검색하여 인터 예측하거나, 현재 블록이 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀들을 이용해 인트라 예측한다. 인트라 예측과 관련하여 도 6 내지 7을 참조하여 상세히 후술한다.

도 6은 본 발명의 일 실시예에 따른 인트라 예측 모드들을 도시한다.

H.264는 4*4 크기의 블록의 픽셀 값을 예측함에 있어 모두 9 가지의 인트라 예측 모드를 제공한다. 수직(vertical) 모드, 수평(horizontal) 모드, DC(direct current) 모드, 대각선 왼쪽(diagonal down-left) 모드, 대각선 오른쪽(diagonal down-right) 모드, 수직 오른쪽(vertical right) 모드, 수직 왼쪽(vertical left) 모드, 수평 위쪽(horizontal-up) 모드 및 수평 아래쪽(horizontal-down) 모드가 H.264의 인트라 예측 모드들이다. 본원 발명에 따른 예측부(510)는 하위 m 비트의 영상(400)에 포함된 현재 블록을 예측함에 있어, 이러한 예측 모드들 중에서 수직 모드, 수평 모드 및 DC 모드를 이용해 인트라 예측할 수 있다.

상기 9 개의 인트라 예측 모드들 중에서 수직 모드, 수평 모드, DC 모드가 실제 인트라 예측을 수행할 때 가장 많이 이용되는 모드들이므로, 세 가지 인트라 예측 모드 중 하나를 이용해 현재 블록을 인트라 예측할 수 있다. H.264의 다른 인트라 모드들도 모두 이용하는 경우 인트라 예측 모드를 나타내기 위한 비트가 추가적으로 필요하므로, 선택할 수 있는 인트라 예측 모드들의 개수를 최소화하여 비트를 절약한다.

도 7a 내지 7e는 본 발명의 또 다른 실시예에 따른 인트라 예측 모드들을 도시한다. 도 7a 내지 7e는 도 6에 도시된 인트라 예측 모드들 이외에 하위 픽셀 값들의 무작위성을 고려하여 보다 정확하게 현재 블록을 예측할 수 있는 인트라 예측 모드들을 도시한다.

도 7a에 도시된 인트라 예측 모드는 현재 블록을 인트라 예측함에 있어, 소정의 픽셀(이하, '현재 픽셀'이라 함)에 가장 가까이 인접한 픽셀들의 픽셀 값에 기초해 인트라 예측한다. 이 때 현재 픽셀에 가장 가까이 인접한 픽셀은 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀들(A, B, C, D, I, J, K, L 및 X) 및 현재 블록에 포함된 이전에 예측된 픽셀들 중 하나이다.

예를 들어, 픽셀 a의 예측 값은 픽셀 A, X 및 I의 픽셀 값 중 적어도 하나에 기초해 결정한다. 또한, 픽셀 b의 예측 값은 픽셀 A, B의 픽셀 값 및 픽셀 a의 예측 값 중 적어도 하나에 기초해 결정한다. 픽셀 f의 예측 값은 픽셀 a, b 및 e의 예측 값 중 적어도 하나에 기초해 결정한다. 예를 들어 설명한 픽셀들 이외에 다른 픽셀들도 화살표 방향에 따라 예측 값을 설정할 수 있다.

현재 픽셀에 가장 가까이 인접한 픽셀들의 픽셀 값 또는 예측 값을 그대로 현재 픽셀의 예측 값으로 설정할 수 있고, 픽셀들의 평균값을 현재 픽셀의 예측 값으로 결정할 수도 있다.

예를 들어, 전술한 픽셀 a의 예측 값을 픽셀 A, X 및 I의 픽셀 값들의 평균값에 기초해 예측하고, 픽셀 b의 예측 값을 픽셀 A, B의 픽셀 값 및 픽셀 a의 예측 값의 평균값에 기초해 결정할 수 있다. 또한, 픽셀 f의 예측 값을 픽셀 a, b 및 e의 예측 값의 평균값에 기초해 결정할 수 있다.

도 7b에 도시된 인트라 예측 모드는 현재 블록을 인트라 예측함에 있어, 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀들 중 현재 픽셀로부터 가장 가까운 수평 거리 및 가장 가까운 수직 거리 중 더 가까운 거리의 픽셀의 픽셀 값에 기초해 현재 픽셀을 결정한다.

예를 들어, 픽셀 b의 예측 값을 픽셀 B의 픽셀 값에 기초해 예측하고, 픽셀 g의 예측 값을 픽셀 C의 픽셀 값에 기초해 결정한다. 또한, 픽셀 j의 예측 값을 픽셀 k에 기초해 결정한다.

픽셀 a, f, k 및 p의 픽셀 값들은 이전에 부호화된 영역에 포함되어 있는 픽셀들까지의 수평 거리와 수직 거리가 동일하므로, 둘 중 하나의 픽셀 값에 기초해 결정한다. 도 7b에서는 현재 블록의 상부에 위치한 픽셀들 A, B, C 및 D의 픽셀 값들에 기초하여 픽셀 a, f, k 및 p의 예측 값을 설정하였으나, 픽셀들 I, J, K 및 L의 픽셀 값들에 기초해 예측 값을 설정할 수도 있다.

도 7c에 도시된 인트라 예측 모드는 도 7b에 도시된 인트라 예측 모드에서 픽셀 a의 예측 방법만을 달리한 인트라 예측 모드이다. 픽셀 a는 이전에 부호화된 세 개의 픽셀들 A, I 및 X에 인접해 있다. 따라서, 보다 정확한 예측을 위해 픽셀들 A, I 및 X 중 하나의 값만을 이용해 예측 값을 설정하지 않고 픽셀들 A, I 및 X의 평균값을 이용해 예측 값을 설정한다.

도 7d에 도시된 인트라 예측 모드는 현재 블록을 인트라 예측함에 있어, 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀 중 현재 픽셀로부터 가장 가까운 수평 거리의 픽셀의 픽셀 값 및 가장 가까운 수직 거리의 픽셀의 픽셀 값의 평균값에 기초해 현재 픽셀의 예측 값을 설정한다.

예를 들어, 픽셀 a의 예측 값은 픽셀 A 및 I의 픽셀 값들의 평균값에 기초해 설정한다. 또한, 픽셀 g의 값은 픽셀 C 및 J의 픽셀 값들의 평균값에 기초해 설정한다. 이 때, 픽셀 d, h, l, m, n 및 o는 평균값을 이용하지 않고, 수직 또는 수평 방향으로만 예측을 수행한다. 다시 말해, 픽셀 m, n 및 o는 픽셀 L의 픽셀 값에 기초해 예측 값을 설정하고, 픽셀 d, h 및 l은 픽셀 D의 픽셀 값에 기초해 예측 값을 설정한다. 픽셀 d, h 및 l은 수평 거리가 너무 커서 픽셀 I, J 및 K의 픽셀 값을 참조할 필요가 없고, 픽셀 m, n 및 o는 수직 거리가 너무 커서 픽셀 A, B 및 C를 참조할 필요가 없기 때문이다.

도 7e에 도시된 인트라 예측 모드는 도 7d에 도시된 인트라 예측 모드에서 대각 방향의 픽셀들 즉, 픽셀 a, f, k 및 p의 예측 방법만을 달리한 인트라 예측 모드이다.

대각 방향의 픽셀들은 각각의 픽셀에 가장 인접한 픽셀들의 픽셀 값들 또는 예측 값들의 평균에 기초해 예측 값을 설정한다. 픽셀 a의 예측 값은 픽셀 A, M 및 I의 픽셀 값들의 평균값에 기초해 설정하고, 픽셀 f의 예측 값은 픽셀 a, b 및 e의 예측 값들의 평균값에 기초해 설정한다.

다시 도 5를 참조하면, 예측부(510)에서 인터 예측 또는 인트라 예측을 이용해 현재 블록을 예측하여 예측 블록을 생성하면, 엔트로피부호화부(520)는 원본 블록에서 예측 블록을 감산한 레지듀얼 블록을 엔트로피 부호화한다. 레지듀얼 블록에 포함된 레지듀얼 값들을 CABAC(Context-Adaptive Binary Arithmetic Coding) 또는 CAVLC(Context-Adaptive Variable Length Coding)를 이용하여 엔트로피 부호화하여 비트스트림을 생성한다. 전술한 예측 및 엔트로피 부호화를 블록 단위로 계속해서 반복하면, 전체 하위 4 비트의 영상에 대한 비트스트림이 생성된다.

다시 도 1을 참조하면, 제2 부호화부(130)가 하위 m 비트의 영상에 대한 비트스트림을 생성하면, 다중화부(140)는 제1 부호화부(120)에서 생성된 n-m 비트 플레인들에 기초한 비트스트림 및 제2 부호화부(130)에서 생성된 비트스트림을 다중화하여 입력 영상에 대한 비트스트림을 생성한다.

도 1 내지 7과 관련하여 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치를 이용해 입력 영상을 부호화하면, 종래 기술에 따른 비트 플레인 기반 영상 부호화 방법을 이용해 상위 비트에 대한 비트 플레인들을 효율적으로 부호화하면서, 무작위성이 강한 하위 비트들은 블록 기반 영상 부호화 방법에 의해 부호화할 수 있어 효율적인 무손실 부호화가 가능해 진다.

도 8은 본 발명의 일 실시예에 따른 영상을 부호화하는 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 단계 810에서 상기 n-m 비트에 기초한 n-m 개의 비트 필레인들 및 하위 m 비트에 기초한 영상을 생성한다. n 비트의 픽셀 값들을 포함하는 입력 영상을 픽셀 위치에 따라 상이한 부호화 방법을 이용해 부호화하기 위해 복수의 비트 플레인들 및 하위 비트에 기초한 영상으로 분리한다. 이 때 n 비트의 픽셀 값들을 그레이 코드들로 변한하고, 그레이 코드들로부터 영상을 분리할 수 있음은 전술하였다.

단계 820에서 영상 부호화 장치(100)는 단계 810에서 생성된 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화한다. 비트 플레인들을 각각 JBIG 표준에 따라 각각의 비트 플레인들을 무손실 압축 부호화한다.

단계 830에서 영상 부호화 장치(100)는 단계 810에서 생성된 하위 m 비트의 영상을 블록 기반 영상 부호화 방법을 이용해 부호화한다. H.264와 같은 종래 기술에 따른 블록 기반 영상 부호화 방법을 이용해 예측 부호화한다. 인터 예측 또 는 인트라 예측을 이용해 하위 m 비트의 영상을 블록 단위로 예측하고, 레지듀얼 블록들을 엔트로피 부호화한다. 이 때 도 6 및 7a 내지 7e에 도시된 인트라 예측 모드 중 하나에 기초해 블록 단위로 인트라 예측할 수 있음은 전술하였다.

도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 역다중화부(910), 제1복호화부(920), 제2복호화부(930) 및 영상복원부(940)를 포함한다.

역다중화부(910)는 n 비트의 픽셀 값들을 포함하는 출력 영상에 대한 비트스트림를 수신하고, 수신된 데이터를 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들에 대한 비트스트림 및 하위 m 비트에 기초한 영상에 대한 비트스트림으로 역다중화한다.

제1복호화부(920)는 역다중화부(910)로부터 n-m 개의 비트 플레인들에 대한 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 n-m 개의 비트 플레인들을 복원한다. 도 1의 제1부호화부(120)에 대응되는 모듈로서 제1부호화부(120)와 마찬가지로 JBIG 표준에 따라 각각의 비트 플레인들을 복호화한다.

제2복호화부(930)는 역다중화부(910)로부터 하위 m 비트의 영상에 대한 비트스트림을 수신하고, 수신된 비트스트림을 H. 264와 같은 블록 기반 영상 복호화 방법을 이용해 복호화한다. 복호화 결과 하위 m 비트의 영상에 대한 레지듀얼 값들이 복원된다. 도 1의 제2부호화부(130)에 대응되는 모듈로서 도 10을 참조하여 상세히 설명한다.

도 10은 본 발명의 일 실시예에 따른 제2복호화부(130)를 도시한다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 제2복호화부(130)는 엔트로피복호화부(1010) 및 예측부(1020)를 포함한다.

엔트로피복호화부(1010)는 하위 m 비트의 영상에 대한 비트스트림을 수신하고, 수신된 비트스트림을 엔트로피 복호화한다. CABAC 또는 CAVLC를 이용하여 엔트로피 복호화하여, 하위 m 비트의 영상에 포함된 레지듀얼 블록을 복원한다.

예측부(1020)는 현재 블록을 인터 예측 또는 인트라 예측을 이용해 예측하여 예측 블록을 생성한다. 도 6 및 7a 내지 7e에 도시된 인트라 예측 모드 중 하나의 인트라 예측 모드를 이용해 현재 블록의 예측 블록을 생성한다. 예측 블록은 엔트로피복호화부(1010)에서 생성된 레지듀얼 블록에 가산된다. 엔트로피 복호화 및 예측을 블록 단위로 반복하여 하위 m 비트의 영상을 복원한다.

다시 도 9를 참조하면, 영상복원부(940)는 제1복호화부(920)에서 복원된 n-m 개의 비트 플레인들 및 제2 복호화부(930)에서 복원된 하위 m 비트의 영상에 기초해 n 비트의 픽셀 값들을 포함하는 출력 영상을 복원한다. 도 1의 영상분리부(100) 및 도 2 내지 4와 관련하여 전술한 영상 분리 과정을 반대로 수행한다.

도 11은 본 발명의 일 실시예에 따른 영상을 복호화하는 방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, 단계 1110에서 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 복호화 방법을 이용해 각각 복호화한다. JBIG 표준에 따라 각각의 비트 플레 인들을 복호화할 수 있다.

단계 1120에서 영상 복호화 장치(900)는 하위 m 비트에 기초한 영상을 블록 기반 영상 복호화 방법을 이용해 복호화한다. 수신된 비트스트림을 H. 264와 같은 블록 기반 영상 복호화 방법을 이용해 예측 복호화하여 하위 m 비트의 영상을 복원한다. 하위 m 비트의 영상에 대한 비트스트림을 엔트로피 복호화하여 레지듀얼 블록들을 복원한다. 그런 다음 도 6 및 7a 내지 7e에 도시된 인트라 예측 모드를 이용해 하위 m 비트의 영상에 포함되어 있는 블록들의 예측 블록들을 생성하여 생성된 예측 블록들을 레지듀얼 블록들에 가산하여 하위 m 비트의 영상을 복원한다.

단계 1130에서 영상 복호화 장치는 단계 1110에서 생성된 n-m 개의 비트 플레인들 및 단계 1120에서 생성된 하위 m 비트의 영상에 기초해 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성한다. 도 2 내지 4와 관련하여 전술한 영상 분리의 과정을 반대로 수행한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

도 3a 내지 3d는 본 발명의 일 실시에에 따른 복수의 비트 플레인들을 도시한다.

도 4는 본 발명의 일 실시예에 따른 하위 비트에 기초한 영상을 도시한다.

도 5는 본 발명의 일 실시예에 따른 블록 기반 영상 부호화를 수행하는 부호화부를 도시한다.

도 7a 내지 7e는 본 발명의 또 다른 실시예에 따른 인트라 예측 모드들을 도시한다.

도 10은 본 발명의 일 실시예에 따른 블록 기반 영상 복호화를 수행하는 복호화부를 도시한다.

Claims

영상 부호화 방법에 있어서,

n 비트의 픽셀 값들을 포함하는 입력 영상으로부터 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 픽셀 값들의 하위 m 비트에 기초한 영상을 생성하는 단계;

상기 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화하는 단계; 및

상기 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 부호화 방법을 이용해 부호화하는 단계를 포함하고,

상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 비트 플레인 기반 영상 부호화 방법을 이용해 부호화하는 단계는

상기 n-m 개의 비트 플레인들을 JBIG(Joint Bi-level Image Experts Group) 표준에 따라 무손실 압축 부호화하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 블록 기반 영상 부호화 방법을 이용해 부호화하는 단계는

복수의 인트라 예측 모드 중 선택된 하나의 인트라 예측 모드에 기초해 상기 하위 m 비트의 픽셀 값에 기초한 영상에 포함된 블록들을 예측 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 3 항에 있어서, 상기 복수의 인트라 예측 모드는

수평 모드(horizontal mode), 수직 모드(vertical mode) 및 평균값 모드(DC mode) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 3 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 소정 픽셀에 인접한 픽셀들의 픽셀 값에 기초해 상기 소정 픽셀을 예측하는 예측 모드를 포함하고,

상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값은 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀의 픽셀 값 및 상기 소정의 픽셀에 인접한 이전에 예측된 픽셀의 예측 값 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 5 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값의 평균값에 기초해 상기 소정 픽셀을 예측하는 예측 모드를 포함하고,

상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값은 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀들의 픽셀 값 및 상기 소정의 픽셀에 인접한 이전에 예측된 픽셀들의 예측 값 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 3 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정의 픽셀을 예측함에 있어, 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀 중 상기 픽셀로부터 가장 가까운 수평 거리의 픽셀의 픽셀 값 및 가장 가까운 수직 거리의 픽셀의 픽셀 값의 평균에 기초해 상기 소정의 픽셀을 예측하는 예측 모드를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 3 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 픽셀 중 상기 픽셀로부터 가장 가까운 수평 거리 및 가장 가까운 수직 거리 중 더 가까운 거리의 픽셀의 픽셀 값에 기초해 상기 소정의 픽셀을 예측하는 예측 모드를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 하위 m 비트에 기초한 영상은

상기 입력 영상의 픽셀 값들의 비트열들의 그레이 코드(gray code)의 상위 n-m 비트에 기초한 비트 플레인들 및 상기 그레이 코드의 하위 m 비트에 기초한 영상인 것을 특징으로 하는 영상 부호화 방법.
영상 복호화 방법에 있어서,

n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하기 위해 상기 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 복호화 방법을 이용해 각각 복호화하는 단계;

상기 픽셀 값의 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 복호화 방법을 이용해 복호화하는 단계; 및

상기 복호화 결과 생성된 n-m 개의 비트 플레인들 및 상기 하위 m 비트 픽셀 값에 기초한 영상에 기초해 상기 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하는 단계를 포함하고,

상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 하는 영상 복호화 방법.
제 10 항에 있어서, 상기 비트 플레인 기반 영상 복호화 방법을 이용해 복호화하는 단계는

JBIG(Joint Bi-level Image Experts Group) 표준에 따라 무손실 압축된 상기 n-m 개의 비트 플레인들을 복호화하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 복호화 방법.
제 10 항에 있어서, 상기 블록 기반 영상 복호화 방법을 이용해 복호화하는 단계는

복수의 인트라 예측 모드 중 하나의 예측 모드에 기초해 상기 하위 m 비트의 픽셀 값에 기초한 영상에 포함된 블록들을 예측 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 12 항에 있어서, 상기 복수의 인트라 예측 모드는

수평 모드(horizontal mode), 수직 모드(vertical mode) 및 평균값 모드(DC mode) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 12 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 소정 픽셀에 인접한 픽셀들의 픽셀 값에 기초해 상기 소정 픽셀을 예측하는 예측 모드를 포함하고,

상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값은 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 픽셀의 픽셀 값 및 상기 소정의 픽셀에 인접한 이전에 예측된 픽셀의 예측 값 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 14 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값의 평균값에 기초해 상기 소정 픽셀을 예측하는 예측 모드를 포함하고,

상기 소정의 픽셀에 인접한 픽셀들의 픽셀 값은 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 픽셀들의 픽셀 값 및 상기 소정의 픽셀에 인접한 이전에 예측된 픽셀들의 예측 값 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 12 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정의 픽셀을 예측함에 있어, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 픽셀 중 상기 픽셀로부터 가장 가까운 수평 거리의 픽셀의 픽셀 값 및 가장 가까운 수직 거리의 픽셀의 픽셀 값의 평균에 기초해 상기 소정의 픽셀을 예측하는 예측 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 12 항에 있어서, 상기 복수의 인트라 예측 모드는

현재 블록의 소정 픽셀을 예측함에 있어, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 픽셀 중 상기 픽셀로부터 가장 가까운 수평 거리 및 가장 가까운 수직 거리 중 더 가까운 거리의 픽셀의 픽셀 값에 기초해 상기 소 정의 픽셀을 예측하는 예측 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 10 항에 있어서, 상기 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 하위 m 비트에 기초한 영상은

상기 출력 영상의 픽셀 값들의 비트열들의 그레이 코드(gray code)의 상위 n-m 비트에 기초한 비트 플레인들 및 상기 그레이 코드의 하위 m 비트에 기초한 영상인 것을 특징으로 하는 영상 복호화 방법.
영상 부호화 장치에 있어서,

n 비트의 픽셀 값들을 포함하는 입력 영상으로부터 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들 및 상기 픽셀 값들의 하위 m 비트에 기초한 영상을 생성하는 영상분리부;

상기 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 부호화 방법을 이용해 각각 부호화하는 제1부호화부;

상기 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 부호화 방법을 이용해 부호화하는 제2부호화부; 및

상기 제1 부호화부 및 상기 제2 부호화부에서 생성된 데이터를 다중화하는 다중화부를 포함하고,

상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 하는 영상 부호화 장치.
영상 복호화 장치에 있어서,

n 비트의 픽셀 값들을 포함하는 출력 영상에 대한 데이터를 상기 픽셀 값들의 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들에 대한 데이터 및 상기 픽셀 값의 하위 m 비트에 기초한 영상에 대한 데이터로 역다중화하는 역다중화부;

상기 픽셀 값의 상기 상위 n-m 비트에 기초한 n-m 개의 비트 플레인들을 비트 플레인 기반 영상 복호화 방법을 이용해 각각 복호화하는 제1 복호화부;

상기 픽셀 값의 하위 m 비트의 픽셀 값에 기초한 영상을 블록 기반 영상 복호화 방법을 이용해 복호화하는 제2 복호화부; 및

상기 복호화 결과 생성된 n-m 개의 비트 플레인들 및 상기 하위 m 비트 픽셀 값에 기초한 영상에 기초해 상기 n 비트의 픽셀 값들을 포함하는 출력 영상을 생성하는 영상복원부를 포함하고,

상기 n은 양의 정수이고, 상기 m은 0<m<n을 만족하는 양의 정수인 것을 특징으로 하는 영상 복호화 장치.
제 1 항 내지 제 18 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.