KR100809603B1

KR100809603B1 - 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법

Info

Publication number: KR100809603B1
Application number: KR1020060049270A
Authority: KR
Inventors: 서정일; 정세윤; 김규헌; 강경옥; 홍진우; 심동규; 이영렬; 오승준; 안창범; 남정학
Original assignee: 한국전자통신연구원; 광운대학교 산학협력단
Priority date: 2005-12-01
Filing date: 2006-06-01
Publication date: 2008-03-06
Also published as: KR20070057618A

Abstract

본 발명은 화소 단위 예측 DPCM(Difference Pulse Code Modulation)을 적용하여 공간적 중복성을 제거함으로써 압축 성능을 향상시킬 수 있는 장치 및 방법에 관한 것이다. 본 발명의 영상 부호화 장치는 참조 영상과 현재 영상 간에 시간적 또는 공간적 예측을 수행하여 부호화할 현재 블록에 대응되는 예측 블록을 생성하는 블록 예측부, 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부, 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측부 및 차분 영상 블록을 엔트로피 부호화하는 엔트로피 부호화부를 포함하며, 비디오 코딩의 압축률을 향상시키는 효과가 있다.

비디오 압축, DPCM

Description

화소 단위 기반 영상 부호화 및 복호화 장치 및 방법{Method and Apparatus for video coding on pixel-wise prediction}

도 1a 내지 1c 는 H.264/AVC에서 9가지 인트라 예측 모드를 도시한다.

도 2a 및 2b는 본 발명의 바람직한 제 1 실시예로서, 무손실 영상 부호화 장치의 구성도 및 흐름도를 도시한다.

도 3a 및 3b 는 본 발명의 일 실시예에서 DPCM 을 이용하여 현재 화소 예측시 사용되는 주변 화소 및 화소 위치에 따른 예측 방법을 도시한다.

도 4 는 무손실 영상 부호화 장치의 제 1 실시예를 도시한다.

도 5 는 무손실 영상 부호화 장치의 제 2 실시예를 도시한다.

도 6a 및 6b 는 본 발명의 바람직한 일 실시예로서 무손실 영상 복호화 장치 및 흐름도를 도시한다.

도 7 은 무손실 영상 복호화 장치의 일 실시예를 도시한다.

도 8a 및 8b 는 본 발명의 바람직한 제 2 실시예로서, 화소단위 예측 영상 부호화 장치의 일 예를 도시한다.

도 9 는 본 발명의 바람직한 제 2 실시예로서, 화소단위 예측 영상 복호화 장치의 일 예를 도시한다.

도 10 은 본 발명의 무손실 영상 부호화 장치를 이용한 실험조건을 도시한 다.

도 11 은 도 10 의 실험 조건하에서 H.264의 인트라 코딩 방식과 본 발명의 DPCM방식과의 프레임 당 비트수를 도시한다.

본 발명에서는 비디오 데이터 코딩에 있어 무손실 압축 환경에서 블록 기반 예측이 아닌 화소 단위 예측을 사용하여 압축 성능을 향상시킬 수 있는 장치 및 방법을 제안한다.

최근에 의료영상이나 컨텐츠 저작 응용을 위한 무손실 압축 부호화에 대한 요구가 증가하고 있다. 이러한 요구에 부응하기 위해 H.264/AVC (Advanced Video Coding) FRExt에서는 새로운 무손실 압축 방식이 지원되었다.

H.264/AVC는 현재 가장 널리 사용되고 있는 동영상 압축 표준의 하나로서 ITU-T Video Coding Expert Group (VCEG)과 ISO/IEC Moving Picture Experts Group (MPEG)이 함께한 Joint Video Team (JVT)에 의해 개발되었다.

H.264/AVC의 부호화 방식은 크게 현재 프레임 내에서 이전의 부호화된 주변 블록을 이용하여 현재 코딩 블록을 예측하는 인트라 부호화 방식과 이전에 부호화된 주변 프레임을 이용하여 현재 블록을 예측하는 인터 부호화 방식이 있다.

두 방식 모두 다양한 크기의 블록을 사용하여 공간 예측/움직임 추정을 수행한 후 변환 부호화 과정을 거친 계수들을 부호화한다. 이 같은 블록 기반의 부호 화 방식은 손실 압축을 배경으로 개발되었기 때문에 무손실 압축에는 최적의 성능을 낼 수 없는 문제점을 내포하고 있다.

또한 손실 압축의 경우 블록 기반 변환 부호화와 양자화를 거치면서 데이터 손실이 발생하게 된다. 이러한 데이터 손실은 디코딩 과정에서 인코딩시 사용했던 예측 값을 정확히 파악할 수 없게 하는 요인이 된다. 또한 정확하지 않은 예측 값은 추후에 복호되는 블록들에게 계속 전달되는 문제점이 있다.

상기와 같은 문제점을 해결하기 위하여 본 발명은 블록 기반 예측이 아닌 화소 단위 예측 DPCM(Difference Pulse Code Modulation)을 적용하여 공간적 중복성을 제거함으로써 압축 성능을 향상시킬 수 있는 장치 및 방법을 제안한다.

또한, 소정 크기의 블록에 대한 인트라 예측을 수행할 때 예측 모드의 선택 시, 인트라 예측 모드에 화소단위 예측 모드(DPCM 모드)를 추가하여 데이터 압축률을 높이는 방법을 제시한다.

인코딩된 영상을 디코딩하기 위해서는 보상을 위해 이전 화소 값이 존재해야 하는데 손실 압축 방식에서는 복원된 이전 화소 값이 원래 영상의 화소 값과 정확히 같지 않게 됨으로 인코더 쪽에서 부호화 하였던 영상과 다른 영상이 나오게 된다. 따라서 본 발명에서 제안하는 DPCM 방법은 무 손실 압축 방식을 근간으로 하여 부호화 하는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예에서, 무손실 영상 부호화 장치는 참조 영상과 현재 영상 간에 시간적 또는 공간적 예측을 수행하여 부호화할 현재 블록에 대응되는 예측 블록을 생성하는 블록 예측부; 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부; 상기 차분 영상 블록의 각 화소에 DPCM(Differential Pulse Code Modulation)을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화(Rate Distortion Optimization) 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측부;및 상기 차분 영상 블록을 엔트로피 부호화하는 엔트로피 부호화부;를 포함한다.

본 발명의 또 다른 바람직한 일 실시예에서, 무손실 영상 복호화 장치는 레이트 디스토션 최적화 값에 기초하여 선택적으로 DPCM을 수행한 차분 영상 블록을 엔트로피 인코딩한 계수 및 상기 차분 영상에 DPCM을 수행하였는지 여부에 대한 수행정보를 포함한 비트스트림을 수신하는 수신부; 상기 수행정보를 기초로 상기 엔트로피 인코딩한 계수에 대하여 선택적으로 IDPCM(Inverse Differential Pulse Code Modulation)을 수행하여 차분 영상 블록을 복원하는 화소복원부;및 상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 움직임 보상부;를 포함한다.

본 발명의 또 다른 바람직한 일 실시예로서, 비디오 코덱 장치는 참조 영상과 현재 영상 간에 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부; 상기 차분 영상 블 록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측부; 상기 차분 영상 블록을 엔트로피 부호화하여 생성한 비트스트림에 선택적으로 IDPCM(Inverse Differential Pulse Code Modulation)을 수행하여 차분 영상 블록을 복원하는 화소복원부;및 상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 움직임 보상부;를 포함한다.

본 발명의 또 다른 바람직한 일 실시예로서, 영상 부호화 장치는 입력된 비디오 프레임을 구성하는 현재 블록의 코드 모드가 인트라 모드 블록인지 인터 모드 블록인지 구분하고, 인트라 모드 블록에 해당하는 경우 상기 인트라 모드 블록에 인트라 예측 적용 결과값과 DPCM 수행 결과값 각각의 레이트 디스토션 최적화 값에 기초하여 예측 모드를 결정하는 예측 모드 결정부;를 포함한다.

본 발명의 바람직한 일 실시예로서 무손실 영상 부호화 방법은 참조 영상과 현재 영상 간에 시간적 또는 공간적 예측을 수행하여 부호화할 현재 블록에 대응되는 예측 블록을 생성하는 단계; 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 단계; 상기 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측 단계;및 상기 차분 영상 블록을 엔트로피 부호화하는 단계;를 포함한다.

본 발명의 바람직한 일 실시예로서 무손실 영상 복호화 방법은 레이트 디스 토션 최적화 값에 기초하여 선택적으로 DPCM을 수행한 차분 영상 블록을 엔트로피 인코딩한 계수 및 상기 차분 영상에 DPCM을 수행하였는지 여부에 대한 수행정보를 포함한 비트스트림을 수신하는 단계; 상기 수행정보를 기초로 상기 엔트로피 인코딩한 계수에 대하여 선택적으로 IDPCM을 수행하여 차분 영상 블록을 복원하는 화소복원 단계;및 상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 단계;를 포함한다.

본 발명의 바람직한 일 실시예로서 비디오 코덱 방법은 참조 영상과 현재 영상 간에 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 단계; 상기 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측 단계; 상기 차분 영상 블록을 엔트로피 부호화하여 생성한 비트스트림에 선택적으로 IDPCM을 수행하여 차분 영상 블록을 복원하는 화소복원 단계;및 상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 단계;를 포함한다.

본 발명의 또 다른 바람직한 일 실시예로서 영상 부호화 방법은 입력된 비디오 프레임을 구성하는 현재 블록의 모드가 인트라 모드 블록인지 인터 모드 블록인지 구분하고, 인트라 모드 블록에 해당하는 경우 상기 인트라 모드 블록에 인트라 예측 적용 결과값 및 DPCM 수행 결과값 각각의 레이트 디스토션 최적화 값에 기초 하여 예측 모드를 결정하는 예측 모드 결정단계;를 포함한다.

이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

두 방식 모두 다양한 크기의 블록을 사용하여 공간 예측/움직임 추정을 수행한 후 변환 부호화 과정을 거친 계수들을 부호화한다. 이러한 H.264/AVC의 인트라 예측은 어느 한 화소를 예측하는데 있어 그와 인접한 화소가 유사한 값을 가질 가능성이 많다는 특성을 이용한 것이다.

도 1 a 내지 1c 에 도시된 H.264/AVC의 9가지 모드에 대한 방향성과 같이 H.264/AVC의 4×4와 8×8 블록의 경우 9가지 방향성을 고려한 예측 모드를 이용하여 현재 블록의 화소 값을 예측한다. 예를 들어, 모드 0 (vertical)이 선택되면 위 블록의 A, B, C 또는 D 화소 값에 의해서 같은 열에 위치한 모든 화소 값들은 하나의 값에 의해서 예측 되어진다.

그로 인해, H.264/AVC의 인트라 예측 후 생성된 차분 영상은 블록 내 화소들 간에 중복성이 존재할 가능성이 있다. 이 차분 영상에 대해 화소단위 Difference Pulse Code Modulation (DPCM)을 적용하여 공간적 중복성을 제거하는 부호화 방법을 이하에서 보다 상세히 살펴보기로 한다.

도 2a 및 2b 는 본 발명의 바람직한 제 1 실시예로서, 무손실 영상 부호화 장치의 구성도 및 흐름도를 도시한다.

본 발명의 바람직한 제 1 실시예로서, 무손실 영상 부호화 장치(200)는 블록 예측부(210), 차분 영상 생성부(220), 화소 예측부(230), 엔트로피 부호화부(240) 및 참조 데이터 생성부(250)를 포함한다.

블록 예측부(210)는 참조 영상과 현재 영상 간에 공간적 중복성을 제거하는 인트라 예측 내지 이전에 부호화된 주변 영상을 이용하여 현재 블록의 시간적 중복성을 제거하는 인터 예측을 거쳐 부호화할 현재 블록에 대응되는 예측 블록을 생성한다(S210).

차분영상 생성부(220)는 예측 블록의 화소와 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호만으로 이루어진 차분 영상을 생성한다(S220).

화소 예측부(230)는 차분영상 생성부(220)에서 생성된 차분 영상 블록의 각 화소에 DPCM(Differential Pulse Code Modulation)을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정한다(S230).

화소 예측부(230)는 영상의 종류에 따라 움직임이 큰 영상의 경우 인트라 예 측이나 인터예측이 최적으로 선택된 경우에도 차분 영상에 발생할 수 있는 공간적 중복성을 줄여 부호화의 압축 효율을 높이는 기능을 수행한다(S240).

다만, 차분 영상 블록 내부의 각 화소에 DPCM을 적용하여 중복성을 제거하는 방법이 모든 블록에 대하여 최적의 성능을 보이지는 않는다. 일부 블록들은 DPCM을 적용하지 않은 경우 보다 적은 에러를 지니므로, 수학식 (1)의 RDO 값에 따라 DPCM 예측을 사용하기 않고 부호화 되기도 한다(S230, S250).

즉, 화소 예측부(230)에서는 수학식 (1)의 H.264 표준에서 제시한 레이트 디스토션 최적화 값(R-D optimazatoin, 이하 'RDO')에 따라 선택적으로 DPCM을 수행하여 차분 영상 블록 내부의 화소간 중복성을 제거한다. 따라서 화소 예측부(230)에서는 현재 블록에 대해서 DPCM 수행 여부를 참조데이터 생성부(250)로 알려주어야 한다.

....수학식(1)

수학식(1)에서 Distortion은 원 영상과 복원된 영상과의 차이이고, Rate는 실제 엔트로피 코딩에 의해 생기는 비트 수를 의미한다.

는 Lagrangian 상수이다. 최적 모드는 식 (1)의 J 값을 최소로 하는 모드가 결정되어 진다.

엔트로피 부호화부(240)는 차분 영상 블록을 엔트로피 부호화한다. 그 후 엔트로피 부호화된 계수들은 매크로 블럭 내의 각 블럭을 디코딩하는데 필요한 부가적인 정보들(예측 모드, 움직임 벡터 정보 등)과 함께 비트 스트림을 형성하여 NAL(Network Abstraction Layer)를 통해 전송되거나 저장된다(S250).

참조데이터 생성부(250)는 차분 영상 블록을 디코딩하여 이후의 예측을 위한 참조데이터를 생성한다. 참조데이터 생성부(250)는 화소 예측부(230)로부터 DPCM 수행여부를 알리는 신호를 수신한다.

상기 신호로부터 화소 예측부(230)에서 DPCM을 수행한 것으로 판단되는 경우, 참조데이터 생성부(250)에서는 IDPCM(Inverse Differential Pulse Code Modulation)을 수행하여 차분 영상 블록을 복원하고, 화소 예측부(230)에서 DPCM을 수행하지 않은 경우, IDPCM을 수행하지 않는다.

또한 무손실 영상 부호화 장치(200)에서는 현재 블록에 대해 DPCM 사용 여부를 디코더로 알려주어야 한다. 이 경우 압축 비트스트림에 추가 정보가 되지만, DPCM 을 사용함에 따라 획득하게 되는 비트 이익이 훨씬 크다. 이에 대해서는 도 6 및 도 7과 관련하여 보다 상세히 설명하기로 한다.

도 3a 및 3b 는 본 발명의 일 실시예에서 차분 영상 블록 내부의 화소간 중복성을 제거하기 위하여, DPCM 을 이용하여 현재 화소 예측시 사용되는 주변 화소 및 화소 위치에 따른 예측 방법을 도시한다.

본 발명에서 이용하는 DPCM 방법을 사용한 예측은 주변 블록의 화소 값만을 이용한 종래의 방식과는 달리 주변블록의 화소 값과 블록 내의 화소 값들을 모두 이용하여 현재 블록의 화소들을 예측한다.

현재 부호화 되는 블록의 크기는 4× 4, 8× 8 또는 소정의 N× N 블록 크기를 가질 수 있다. 도 3a에서는 본 발명의 일 실시예로써 소정의 N× N블록에 대해 현재 화소 x(300)의 밝기 값을 예측하기 위해서 사용되는 주변 화소를 도시한다.

현재 화소의 x(300)의 밝기 값을 예측하기 위하여 좌측에 인접한 화소 a(310)와 위에 위쪽에 인접한 화소 b(320)와 좌상측에 인접한 화소 c(330)를 이용한다.

도 3b 에서는 실시 예로써 4× 4블록에 대해 화소 위치에 따라서 예측 방법이 다름을 도시한다.

도 3b에서 현재 부호화되는 블록의 첫 번째 화소(350)는 주변에 인접한 화소 값이 없으므로 예측 없이 H.264의 인트라 예측 후 생성된 차분 영상의 값을 그대로 사용한다.

첫 화소를 제외한 가장 상위 줄의 화소(360)들에 대해서는 수평 방향, 즉 왼쪽에 있는 주변 화소들만 존재한다. 따라서 좌측 화소를 사용하여 예측한다. 사용되는 예측 방법은 기본적인 DPCM 방법으로 현재 화소의 좌측 화소가 예측 값이 되며, 현재 화소와 예측 화소의 차이 값을 가지고 부호화한다.

한편 첫 화소를 제외한 가장 좌측열의 화소(370)들은 수직 방향, 즉 위에 위치한 주변 화소만 존재한다. 따라서 위 화소를 사용하여 예측한다. 예측 방법은 상기 기술한 방법과 유사하게 현재 화소의 위 화소가 예측 값이 되며, 현재 화소와 예측 화소의 차이 값을 가지고 부호화한다. 그 외의 나머지 화소들은(380) 주변 화소들이 모두 존재하므로 이 주변 화소들을 이용하여 예측된다.

화소 예측부(230)에서 이용하는 화소 단위 예측 방법은 여러 가지 계산식에 따라 예측 이루어질 수 있으며, 본 명세서에서는 경계 검출 예측방법(Edge detected predictor)을 하나의 실시 예로 사용하는 것으로 한다. 따라서 본 명세서에서 이용한 경계 검출 예측방법이 화소 단위 예측 방법을 제한하는 것이 아님을 주의하여야 한다.

경계 검출 예측 방법은 다음과 같다.

본 발명에서는, 경계 검출 예측 방법으로 이용되는 EDP 알고리듬인 상기 수학식과 도 3b의 화소의 위치에 따라 화소 값을 구한다.

예를 들어, 화소 c(330)값이 가장 클 때, 화소 a(310), b(320) 중 큰 값이 화소 c(330)와 유사한 값을 가진 경계라고 판단하고 화소 a(310), b(320) 중 작은 값을 x(300)의 예측 값으로 사용한다.

반대로 화소 c(330)가 가장 작은 값일 때에는 화소 a(310), b(320) 중 큰 값을 x(300)의 예측 값으로 사용하게 된다. 그 밖의 경우는 경계가 없다고 판단하고 정의된 수식 a+b-c 에 의해서 x(300)값을 예측하게 된다.

도 4 는 무손실 영상 부호화 장치의 제 1 실시예를 도시한다.

도 4를 참조하면, 입력되는 현재프레임으로부터 소정크기 (예를 들어 4x4 블록)의 블록에 대해서 부호화하기 위하여 인트라 예측부 또는 인터 예측부를 통하여 차분 영상 블록(400)을 생성한다.

그 후 차분 영상 블록에 DPCM 을 수행하고, 차분 영상 블록에 DPCM을 수행하지 않은 경우와 각각 레이트 디스토션 최적화(Rate Distortion Optimization) 값을 비교하여 차분 영상 블록에 화소 단위 예측 방법인 DPCM을 적용할 것인지를 선택한다(420).

그 후 차분 영상 블록에 DPCM을 적용하는지 여부에 대한 정보가 포함된 Mode Flag를 다음 프레임을 위해 참조 프레임을 만들기 위하여 인코더의 복원 경로(430)로 전송한다. Mode Flag 값을 기초로 인코더의 복원 경로(430)에서 IDPCM을 수행할지 여부를 결정한다(440). 그 후 선택적으로 DPCM이 적용된 차분 영상 블록을 엔트로피 부호화 한다. 이 경우 무손실 부호화이므로, 변환 부호화 과정과 양자화 과정은 생략되어 엔트로피 코딩된다.

도 5 는 무손실 영상 부호화 장치의 제 2 실시예를 도시한다.

도 5 는 도 4에 변환 부호화 과정(510)과 양자화 과정(520)을 부과한 영상 부호화를 도시한다.

이 경우 영상 부호화 장치 내에서 도 2의 참조데이터 생성부(250)에 해당하는 복원 경로상에 역양자화부(521) 및 역변환부(511)를 더 포함한다.

도 6a 및 6b 는 본 발명의 바람직한 일 실시예로서 무손실 영상 복호화 장치 및 흐름도를 도시한다. 무손실 영상 복호화 장치는 도 2, 도 4 및 도 5의 실시예들 을 통해 인코딩된 영상에 대하여 디코딩을 수행한다.

무손실 영상 복호화 장치(600)는 수신부(610), 화소 복원부(620) 및 움직임 보상부(630)를 포함한다.

수신부(610)는 레이트 디스토션 최적화 값에 기초하여 선택적으로 DPCM을 수행한 차분 영상 블록을 엔트로피 인코딩한 계수 및 차분 영상 블록에 DPCM을 수행하였는지 여부에 대한 수행정보(mode flag)를 포함한 비트스트림을 수신한다(S610).

화소복원부(620)는 상기 수행정보(mode flag)를 기초로 상기 엔트로피 인코딩한 계수에 대하여 선택적으로 IDPCM(Inverse Differential Pulse Code Modulation)을 수행하여 차분 영상 블록을 복원한다. 화소복원부(620)에서 수행하는 IDPCM은 도 2 의 참조 데이터 생성부에서 수행하는 IDPCM과 동일하다(S620, S630).

예를 들어, 무손실 부호화 장치에서 만약 현재 블록이 DPCM 방식의 화소 단위 예측을 사용하였다면, 복호기에 mode flag 값 1을 보내주고, 화소 단위 예측을 사용하지 않았다면 mode flag 값 0을 보내준다.

화소 단위 예측 DPCM이 부호화 장치 내에서 수행되지 않은 경우(mode flag 값 0), 복호화 장치에서는 기존의 Intra 방법과 동일하게, 이미 디코딩된 주변 블록의 화소를 기초로 공간 예측 보상을 수행한다.

화소 단위 예측 DPCM이 부호화 장치 내에서 수행된 경우(mode flag 값 1), 복호기는 부호기에서 사용했던 DPCM 방법에 대응되는 방식으로 현재 블록을 IDPCM 방식으로 복호하여 영상을 얻을 수 있다. mode flag 값은 무손실 부호화 장치에서 출력하는 비트스트림에 포함되고 무손실 복호화 장치(600)의 수신부(610)에서 수신한다.

움직임 보상부(630)는 상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 공간적 시간적 예측에 대한 움직임 보상을 수행하여 현재 블록의 영상을 복원을 수행한다(S640).

도 7 은 무손실 영상 복호화 장치의 일 실시예를 도시한다.

도 7 은 도 5의 실시예를 통해 인코딩된 영상을 디코딩하기 위한 영상 복호화 장치를 도시한다. 본 발명에서 제시한 화소 단위 예측인 DPCM 방식의 예측이 사용될 경우 화소 단위의 계산 결과가 부호화되기 때문에 복호화 과정에서 부호화 과정과 동일한 복원을 하기 위해서는 DCT와 양자화기 및 IDCT 와 역양자화기는 생략될 수 있다. 복호화 과정에서 결정된 mode flag 값(710)에 따라 화소 단위 복호 여부(720)를 결정한다.

도 8a 및 8b 는 본 발명의 바람직한 제 2 실시예로서, 화소단위 예측 영상 부호화 장치 및 흐름도의 일 예를 도시한다. 도 8은 인트라 예측에 DPCM 예측 모드가 추가된 구성을 도시한다.

도 8의 영상 부호화 장치는 예측 모드 결정부(810), 차분 영상 생성부(820), 참조 데이터 생성부(840) 및 엔트로피 부호화부(860)를 포함하고, 변환기 및 양자화기(830)를 더 포함할 수 있다.

변환기 및 양자화기(830)를 더 포함하는 경우, 참조 데이터 생성부(840)는 이에 대응되는 역변환기 및 역양자화기(850)를 더 포함한다.

블록 분류부(800)는 H.264/AVC에 새로운 예측 모드로서 화소 단위 예측 방법을 포함한다. 먼저 입력된 비디오 프레임을 구성하는 현재 블록의 코드 모드가 인트라 모드 블록인지 인터 모드 블록인지 구분하고(S810), 예측 모드 결정부(810) 인트라 모드 블록에 해당하는 경우 상기 인트라 모드 블록에 인트라 예측 적용 결과값과 DPCM 수행 결과값 각각에 대해 수학식 (1)의 레이트 디스토션 최적화 값을 구한 후 이에 기초하여 DPCM 예측 모드를 적용할 것인지 Intra 예측 모드를 적용할 것인지 결정한다(S820).

도 2, 도 4 및 도 5에서 제시된 본 발명의 바람직한 제 1 실시예에서는 기존 H.264의 공간적/시간적 예측 이후에 얻어진 차분 영상에 대해서 화소 단위 예측을 사용하지만 도 8에서는 기존 영상 압축 방식 표준안 중의 하나인 H.264의 인트라 예측과 별도로 원래 영상 내에서 화소 단위 예측인 DPCM 예측 모드를 새로운 예측 모드로 사용한다.

H.264/AVC는 블록의 크기에 따라서 다른 예측 모드가 존재할 수 있지만, 본 발명에서는 블록의 크기에 관계없이 새로운 모드로써 DPCM 방법을 사용한다. 또한, DPCM 방법을 사용한 예측은 주변 블록의 화소 값만을 이용한 종래의 방식과는 달리 주변블록의 화소 값과 블록 내의 화소 값들을 모두 이용하여 현재 블록의 화소들을 예측한다.

차분영상 생성부(820)는 예측 모드 결정부(810)에서 결정된 예측모드로 상기 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상 기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성한다.

참조 데이터 생성부(840)는 차분 영상 블록을 디코딩하여 이후의 예측을 위한 참조데이터를 생성한다.

엔트로피 부호화부(860)는 차분 영상 생성부(820)에서 생성된 상기 차분 영상 블록을 엔트로피 부호화한다.

도 9에 도시된 복호화 장치는 도 8의 부호화 장치에서 전송한 비트스트림을 복호화 한다. 이 경우 복호화 장치 내에서는 수신한 비트스트림이 인트라 코딩, 인터 코딩, DPCM 코딩인지에 따라 선택적으로 복호화 된다. 비트스트림이 어떠한 코딩인지 여부는 이미 도 8에서 부호화시 비트스트림 내에 그 정보를 포함하여 전송한다.

부호화 장치에서 DPCM 예측 방법이 선택된 경우 예측 모드 복원부(920)는 차분 영상 블록에 대하여 주변 화소 중 현재 화소 예측에 사용했던 화소 값을 구하고, 그 후 그 값을 더하여 실제 영상의 화소 값을 구하는 과정을 현재 복호화 되는 차분 영상 블록 내의 모든 화소에 대하여 IDPCM 을 수행한다.

그리고, 도 8에서 변환기 및 양자화기(830)를 포함하지 않은 경우 복호화 과정에서 부호화 과정과 동일한 복원을 하기 위해서는 이에 대응되는 역변환기 와 역양자화기(920)는 생략될 수 있다.

도 10 은 본 발명의 무손실 영상 부호화 장치를 이용한 실험조건을 도시한다. H.264에서 실험영상으로 권고하는 영상을 이용하여 본 발명에서 제안하는 소정의 DPCM을 적용한 실험 조건을 도시한다.

도 11 은 도 10 의 실험 조건하에서 H.264의 인트라 코딩 방식과 본 발명의 DPCM방식과의 프레임 당 비트수를 도시한다. 그리고 각 영상의 100프레임에 대해서 DPCM 방식이 사용된 블록의 비율과 압축 향상 효율을 보여준다. 본 발명에서 제안된 DPCM방식은 영상에 따라 차이가 있으나 평균적으로는 전체 블록의 90% 이상이 선택되어 인코딩 부호화가 이루어진다. 또한 본 발명을 사용하면 압축율도 평균 약 17.5% 정도 향상되었다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.

그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따르면, 영상 전송이나 저장을 위한 부호화 과정에서 인트라 예측이나 움직임 예측을 한 후의 차분 영상의 비트율을 크게 줄임으로써 코딩의 압축률을 향상시킬 수 있다. 기존의 H.264/AVC FRExt의 무손실 압축방식 보다 약 12%～25% 정도 향상된 코딩 효율을 보여준다.

본 발명에서 사용된 DPCM 방식은 화소 단위로 영상을 처리하기 때문에 무 손실 압축 방식을 사용하여 동영상을 압축하는 기술에 특별한 효과가 있다.

또한 본 발명에서는 기존의 H.264/AVC 의 예측 방법과 DPCM 방식 화소 단위 예측을 레이트 디스토션 최적화 값에 따라 선택적으로 사용함으로써 압축 효율을 극대화 하는 효과가 있다.

Claims

참조 영상과 현재 영상 간에 시간적 또는 공간적 예측을 수행하여 부호화할 현재 블록에 대응되는 예측 블록을 생성하는 블록 예측부;

상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부;

상기 차분 영상 블록의 각 화소에 DPCM(Differential Pulse Code Modulation)을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화(Rate Distortion Optimization) 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측부;및

상기 차분 영상 블록을 엔트로피 부호화하는 엔트로피 부호화부;를 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
제 1 항에 있어서,

상기 차분 영상 블록을 디코딩하여 다음 블록 예측을 위한 참조데이터를 생성하는 참조데이터 생성부;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
제 2 항에 있어서, 상기 화소 예측부는

DPCM 수행여부를 알리는 신호를 상기 참조데이터 생성부로 전송하는 것을 특 징으로 하는 화소 단위 기반 영상 부호화 장치.
제 2 항에 있어서,

상기 화소 예측부를 통해 얻은 차분 영상 블록을 변환하는 변환부; 및

상기 변환된 차분 영상 블록을 양자화하여 상기 엔트로피 부호화부로 전송하는 양자화부;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
제 4 항에 있어서, 상기 참조데이터 생성부는

상기 양자화부에 대응되는 상기 양자화된 차분 영상을 역양자화하는 역양자화부; 및

상기 변환부에 대응되는 상기 역양자화된 차분 영상을 역변환하는 역변환부;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
제 1 항에 있어서, 상기 화소 예측부에서 DPCM은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 예측하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
제 6 항에 있어서, 상기 현재 화소의 밝기 값
은 c가 상기 차분 영상 블록 내의 경계 화소이고, a ,b 는 상기 화소 c의 주변 화소일 때,

화소 c값이 가장 큰 값인 경우, 화소 a, b 중 작은 값을 상기 현재 화소 x의 예측 값으로 사용하고, 화소 c가 가장 작은 값인 경우, 화소 a, b 중 큰 값을 x의 예측 값으로 사용하며, 그 외의 경우 경계가 없다고 판단하고 정의된 수식 a+b-c 에 의해서 x값을 예측하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 장치.
레이트 디스토션 최적화 값에 기초하여 선택적으로 DPCM을 수행한 차분 영상 블록을 엔트로피 인코딩한 계수 및 상기 차분 영상에 DPCM을 수행하였는지 여부에 대한 수행정보를 포함한 비트스트림을 수신하는 수신부;

상기 수행정보를 기초로 상기 엔트로피 인코딩한 계수에 대하여 선택적으로 IDPCM(Inverse Differential Pulse Code Modulation)을 수행하여 차분 영상 블록을 복원하는 화소복원부;및

상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 움직임 보상부;를 포함하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 장치.
제 8 항에 있어서,

상기 수신한 비트스트림을 역양자화하는 역양자화부; 및

역양자화화된 비트스트림을 역변환하여 상기 화소복원부로 전송하는 역변환부;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 장치.
제 8항에 있어서, 상기 화소 복원부에서 IDPCM은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 복원하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 장치.
참조 영상과 현재 영상 간에 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부;

상기 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측부;

상기 차분 영상 블록을 엔트로피 부호화하여 생성한 비트스트림에 선택적으로 IDPCM을 수행하여 차분 영상 블록을 복원하는 화소복원부;및

상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 움직임 보상부;를 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 11 항에 있어서, 상기 화소 예측부는 DPCM 수행여부에 대한 정보를 비트스트림에 포함하여 상기 화소복원부로 전송하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 11 항에 있어서,

상기 DPCM을 선택적으로 수행한 차분 영상을 디코딩하여 다음 블록을 예측하기 위한 참조데이터를 생성하는 참조데이터 생성부;를 더 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 13 항에 있어서, 상기 화소 예측부는

DPCM 수행여부를 알리는 신호를 상기 참조데이터 생성부로 전송하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 11 항에 있어서, 상기 화소 예측부에서 DPCM 및 IDPCM 각각은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 예측, 복원하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 15 항에 있어서, 상기 현재 화소의 밝기 값
은 c가 상기 차분 영상 블록 내의 경계 화소이고, a ,b 는 상기 화소 c의 주변 화소일 때,

화소 c값이 가장 큰 값인 경우, 화소 a, b 중 작은 값을 상기 현재 화소 x의 예측 값으로 사용하고, 화소 c가 가장 작은 값인 경우, 화소 a, b 중 큰 값을 x의 예측 값으로 사용하며, 그 외의 경우 경계가 없다고 판단하고 정의된 수식 a+b-c 에 의해서 x값을 예측하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
입력된 비디오 프레임을 구성하는 현재 블록의 코드 모드가 인트라 모드 블록인지 인터 모드 블록인지 구분하는 블록 분류부; 및

인트라 모드 블록에 해당하는 경우 상기 인트라 모드 블록에 인트라 예측 적용 결과값과 DPCM 수행 결과값 각각의 레이트 디스토션 최적화 값에 기초하여 예측 모드를 결정하는 예측 모드 결정부;를 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 17 항에 있어서,

상기 결정된 예측모드로 상기 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 차분영상 생성부; 및

상기 차분 영상 블록을 엔트로피 부호화하는 엔트로피 부호화부;를 더 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 18 항에 있어서,

상기 차분 영상 블록을 디코딩하여 다음 블록을 예측하기 위한 참조데이터를 생성하는 참조데이터 생성부;를 더 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 19 항에 있어서,

상기 차분 영상 블록을 변환하는 변환부; 및

상기 변환된 차분 영상 블록을 양자화하여 상기 엔트로피 부호화부로 전송하는 양자화부;를 더 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
제 20 항에 있어서, 상기 참조데이터 생성부는

상기 양자화부에 대응되고 상기 양자화된 차분 영상을 역양자화하는 역양자화부; 및

상기 변환부에 대응되며 상기 역양자화된 차분 영상을 역변환하는 역변환부;를 더 포함하는 것을 특징으로 하는 화소단위 기반 비디오 코덱 장치.
참조 영상과 현재 영상 간에 시간적 또는 공간적 예측을 수행하여 부호화할 현재 블록에 대응되는 예측 블록을 생성하는 단계;

상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 단계;

상기 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측 단계;및

상기 차분 영상 블록을 엔트로피 부호화하는 단계;를 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 22 항에 있어서, 상기 차분 영상 블록을 디코딩하여 다음 블록을 예측하기 위한 참조데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 23 항에 있어서, 상기 화소 예측 단계는

DPCM 수행 여부를 알리는 신호를 상기 참조데이터 생성 단계로 전송하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 23항에 있어서,

상기 화소 예측 단계를 통해 얻은 차분 영상 블록을 변환하고 양자화하는 단 계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 22 항에 있어서, 상기 화소 예측 단계에서 DPCM은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 예측하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 26항에 있어서, 상기 현재 화소의 밝기 값
은 c가 상기 차분 영상 블록 내의 경계 화소이고, a ,b 는 상기 화소 c의 주변 화소일 때,

화소 c값이 가장 큰 값인 경우, 화소 a, b 중 작은 값을 상기 현재 화소 x의 예측 값으로 사용하고, 화소 c가 가장 작은 값인 경우, 화소 a, b 중 큰 값을 x의 예측 값으로 사용하며, 그 외의 경우 경계가 없다고 판단하고 정의된 수식 a+b-c 에 의해서 x값을 예측하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
레이트 디스토션 최적화 값에 기초하여 선택적으로 DPCM을 수행한 차분 영상 블록을 엔트로피 인코딩한 계수 및 상기 차분 영상에 DPCM을 수행하였는지 여부에 대한 수행정보를 포함한 비트스트림을 수신하는 단계;

상기 수행정보를 기초로 상기 엔트로피 인코딩한 계수에 대하여 선택적으로 IDPCM을 수행하여 차분 영상 블록을 복원하는 화소복원 단계;및

상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 단계;를 포함하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 방법.
제 28 항에 있어서,

상기 수신한 비트스트림을 역양자화하고 역변환하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 방법.
제 28 항에 있어서, 상기 화소 복원 단계에서 DPCM, IDPCM 각각은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 예측, 복원하는 것을 특징으로 하는 화소 단위 기반 영상 복호화 방법.
참조 영상과 현재 영상 간에 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 단계;

상기 차분 영상 블록의 각 화소에 DPCM을 수행한 결과와 수행하지 않은 결과 각각에 대한 레이트 디스토션 최적화 값에 기초하여 상기 차분 영상 블록의 각 화소에 DPCM 적용여부를 결정하는 화소 예측 단계;

상기 차분 영상 블록을 엔트로피 부호화하여 생성한 비트스트림에 선택적으 로 IDPCM을 수행하여 차분 영상 블록을 복원하는 화소복원 단계;및

상기 IDPCM을 선택적으로 수행한 차분 영상 블록을 기초로 움직임 보상을 수행하는 단계;를 포함하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
제 31 항에 있어서,

상기 화소 예측 단계는 DPCM 수행여부에 대한 정보를 비트스트림에 포함하여 상기 화소복원 단계로 전송하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
제 32 항에 있어서,

상기 DPCM을 선택적으로 수행한 차분 영상을 디코딩하여 참조데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
제 33 항에 있어서, 상기 화소 예측단계는

DPCM 수행여부를 알리는 신호를 상기 참조데이터 생성 단계로 전송하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
제 31 항에 있어서, 상기 화소 예측단계에서 DPCM은

상기 차분 영상 블록 내의 주변 화소의 밝기 값을 기초로 현재 화소의 밝기값을 예측하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
제 35 항에 있어서, 상기 현재 화소의 밝기 값
은 c가 상기 차분 영상 블록 내의 경계 화소이고, a ,b 는 상기 화소 c의 주변 화소일 때,

화소 c값이 가장 큰 값인 경우, 화소 a, b 중 작은 값을 상기 현재 화소 x의 예측 값으로 사용하고, 화소 c가 가장 작은 값인 경우, 화소 a, b 중 큰 값을 x의 예측 값으로 사용하며, 그 외의 경우 경계가 없다고 판단하고 정의된 수식 a+b-c 에 의해서 x값을 예측하는 것을 특징으로 하는 화소 단위 기반 비디오 코딩 방법.
입력된 비디오 프레임을 구성하는 현재 블록의 모드가 인트라 모드 블록인지 인터 모드 블록인지 구분하는 단계;및

인트라 모드 블록에 해당하는 경우 상기 인트라 모드 블록에 인트라 예측 적용 결과값 및 DPCM 수행 결과값 각각의 레이트 디스토션 최적화 값에 기초하여 예측 모드를 결정하는 예측 모드 결정단계;를 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 37 항에 있어서,

상기 결정된 예측모드로 상기 부호화할 현재 블록에 대응되는 예측 블록을 생성하고 상기 예측 블록의 화소와 상기 현재 블록의 대응하는 화소들 사이의 차에 해당하는 잔차 신호로 이루어진 차분 영상 블록을 생성하는 단계; 및

상기 차분 영상 블록을 엔트로피 부호화하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 38 항에 있어서,

상기 차분 영상 블록을 디코딩하여 참조데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 39 항에 있어서,

상기 차분 영상 블록을 변환하고 양자화하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 40 항에 있어서, 상기 참조데이터 생성단계는

상기 변환되고 양자화된 차분 영상 블록을 역양자화 하고 역변환하는 단계;를 더 포함하는 것을 특징으로 하는 화소 단위 기반 영상 부호화 방법.
제 22 항 내지 제 41 항 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체.