KR20100035104A

KR20100035104A - 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법

Info

Publication number: KR20100035104A
Application number: KR1020090085571A
Authority: KR
Inventors: 김하윤; 문주희; 이영렬; 김해광; 전병우; 김기백; 박형미
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2008-09-25
Filing date: 2009-09-10
Publication date: 2010-04-02
Also published as: US9113166B2; US20120106633A1; KR101483497B1

Abstract

본 발명은 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법에 관한 것이다.

본 발명은 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시킬 수 있다.

영상, 부호, 복호, 임펄스, 잔차, 신호, 스캔

Description

임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법{Video Encoding/Decoding Apparatus and Method of Considering Impulse Signal}

본 발명은 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 장치 및 방법에 관한 것이다.

MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다.

이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 정수형의 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT'라 칭함), 변환 블록 크기의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 양자화(Quantization), 엔트로피 부호화(Entropy Coding) 등으로 구성되어 있다.

H.264/AVC에 따른 영상 데이터의 부호화 방법은 그 예측 방식에 따라 크게 인트라 예측 부호화와 인터 예측 부호화로 구분할 수 있다. 인트라 예측은 하나의 참조 픽처에서 부호화할 대상이 되는 현재 블록의 화소를 그 주변에 위치하는 주변 블록의 화소를 이용하여 예측한다. 인터 예측은 일 방향 또는 양 방향의 참조 픽처 내에서 현재 블록과 가장 유사한 블록의 화소를 이용하여 현재 블록의 화소를 예측한다.

H.264와 같은 대다수의 영상 압축 기술에서는 인터 예측 또는 인트라 예측 등을 통해 예측된 예측 화소와 원래의 화소 간의 차이만을 부호화하여 영상 데이터를 압축함으로써, 영상의 시간적 중복성과 공간적 중복성을 제거한다. 예측 화소와 원래의 화소 간의 차이가 작을수록 압축되는 영상 데이터의 크기가 작아져서 압축 효율이 향상된다.

따라서, 영상 압축 분야에서는 예측의 정확도를 높여 압축 효율을 향상시키기 위해, 영상의 특성에 따라 인터 예측을 수행할지 인트라 예측을 수행할지 여부를 결정하는 기술, 예측의 정확도를 높일 수 있는 예측 기술 등 다양한 예측 기술과 부호화 기술이 개발되고 있다.

하지만, 여러 가지 이유로 인해 화소가 항상 정확하게 예측될 수 있는 것은 아니다. 이 경우, 정확하게 예측되지 않은 화소와 원래의 화소 간의 차이는 다른 화소의 차이보다 크다. 이와 같이, 원래의 화소와 예측된 화소와의 차이 즉, 잔차 신호 중 다른 잔차 신호보다 큰 특정 잔차 신호를 임펄스 성분의 잔차 신호라고 하는데, 임펄스 성분의 잔차 신호는 압축의 효율을 저하하는 문제점이 있다.

전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하고 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부; 및 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성 단계; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 현재 블 록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부; 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 임펄스 성분의 잔차 신호를 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시킬 수 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1 및 도 2는 인트라 예측 및 인터 예측에 따라 예측하는 모습을 나타낸 예시도이다.

인트라 예측에는 인트라 4x4 예측, 인트라 16x16 예측 및 인트라 8x8 예측 등이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함하고 있다. 도 1에서는 인트라 4x4 예측에서의 9 가지 예측 모드를 도시하였다.

도 1을 참조하면, 인트라 4x4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.

도시하지는 않았지만, 인트라 8x8 예측에는 인트라 4x4 예측과 동일한 예측 모드가 있으며, 인트라 16x16 예측에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다.

인터 예측은 움직임 추정 기법 및 움직임 보상 기법을 이용하여 화소를 예측한다. 도 2를 참조하면, 영상은 일련의 정지 영상(Still Image)으로 구성된다. 이 정지 영상들은 픽처 그룹(GOP: Group of Picture) 단위로 구분된다. 각 정지 영상을 픽처 또는 프레임(Frame)이라 한다. 하나의 픽처 그룹에는 I 픽처, P 픽처, B 픽처가 포함된다. I 픽처는 참조 픽처를 사용하지 않고 자체적으로 부호화되는 픽처이며, P 픽처와 B 픽처는 참조 픽처를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation)을 수행하여 부호화되는 픽처이다. 특히, B 픽처는 과거의 픽처와 미래의 픽처를 각각 순방향 및 역방향 즉, 양방향으로 예측하여 부호화되는 픽처이다.

P 픽처를 부호화하기 위한 움직임 추정과 움직임 보상은 I 픽처를 참조 픽처로서 이용한다. B 픽처를 부호화하기 위한 움직임 추정 및 움직임 보상은 I 픽처와 P 픽처를 참조 픽처로서 이용한다.

도 3은 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.

영상 부호화 장치(300)는 예측부(310), 감산부(320), 변환부(330), 양자화부(340), 스캔부(350), 부호화부(360), 역 양자화부(370), 역 변환부(380) 및 가산부(390)를 포함하여 구성될 수 있다.

예측부(310)는 영상에서 현재 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(310)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 기 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 또한, 예측부(310)는 예측 모드에 대한 정보를 부호화부(360)로 전달하여 부호화부(360)로 하여금 예측 모드에 대한 정보를 부호화하도록 할 수 있다.

감산부(320)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(320)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부(310)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)인 잔차 블록을 생성한다.

변환부(330)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(330)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.

양자화부(340)는 변환부(330)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)한다. 여기서, 양자화부(340)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weightrd Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.

스캔부(350)는 양자화부(340)에 의해 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열을 생성한다.

부호화부(360)는 스캔부(350)에 의해 생성된 양자화 주파수 계수열을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 또한, 부호화부(360)는 예측부(310)에서 현재 블록을 예측한 예측 모드에 대한 정보를 함께 부호화할 수 있다.

역 양자화부(370)는 양자화부(340)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)한다. 즉, 역 양자화부(370)는 앙자화된 잔차 블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.

역 변환부(380)는 역 양자화부(370)에 의해 역 양자화된 잔차 블록을 역 변환(Inverse Transform)한다. 즉, 역 변환부(380)는 역 양자화된 잔차 블록의 주파수 계수들을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역 변환부(380)는 변환부(330)에서 사용한 변환한 방식을 역으로 사용하여 역 변환할 수 있다.

가산부(390)는 예측부(310)에서 예측된 예측 블록과 역 변환부(380)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 예측부(310)에 참조 픽처로서 저장되어 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용된다.

도 3에서는 도시하지 않았지만, 예측부(310)와 가산부(390) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(390)에 의해 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

한편, 변환부(330)에서 잔차 블록의 잔차 신호를 주파수 영역으로 변환하여 주파수 계수를 생성하면, 잔차 신호는 저주파 성분과 고주파 성분으로 분해된다. 이와 같이, 분해된 주파수 계수를 양자화한 후 스캔부(350)에서 지그재그 스캔을 수행하면, 도 5에 도시한 5A와 같이, 잔차 블록에 임펄스 성분이 발생하지 않았을 경우 저주파 성분의 주파수 계수는 '0'이 아닌 값을 갖고 DC 성분의 주파수 계수의 위치에 몰리며, 고주파 성분의 주파수 계수들은 '0'이 되어 무시할 수 있다. 따라서, DC 성분의 주파수 계수 주위에 몰리 양자화 주파수 계수만을 부호화하므로, 도 4에 도시한 바와 같이, 높은 압축 효과를 얻을 수 있다. 도 4를 통해, 잔차 신호를 변환한 주파수 계수의 분포를 알 수 있는데, DC 성분의 주파수 계수 주위에 '0'이 아닌 값이 몰린 것을 알 수 있다.

하지만, 예측의 정확도가 저하되어 임펄스 성분의 잔차 신호가 잔차 블록 내의 여기저기에서 발생한 경우, 임펄스 성분의 잔차 신호를 주파수 영역으로 변환하 면 고주파수 성분의 주파수 계수로 변환되고, 도 5에 도시한 5B와 같이, 고주파 성분의 주파수 계수들이 발생한다. 고주파 성분의 주파수 계수는 양자화 과정을 수행한 후 지그재그 스캔하게 되면 양자화 주파수 계수열의 마지막 부분에 위치하게 되는데, 그로 인해 양자화 주파수 계수열의 마지막 부분에 '0'이 아닌 값이 발생하게 되며, 최종적인 비트스트림의 데이터 량이 커진다. 즉, 임펄스 성분의 잔차 신호가 없다면, 부호화된 비트스트림의 데이터 크기를 줄일 수 있지만, 임펄스 성분의 잔차 신호가 발생함에 따라 고주파수 성분의 주파수 계수가 큰 값을 갖게 되어, 부호화된 비트스트림의 데이터 량이 증가하고 그에 따라 압축의 효율이 저하된다. 따라서, 이러한 임펄스 성분의 잔차 신호가 잔차 블록 내에 포함된 경우, 효율적으로 부호화할 수 있어야 한다.

본 발명은 임펄스 성분의 잔차 신호가 잔차 블록 내에 포함된 경우, 효율적으로 부호화하기 위한 영상 부호화/복호화 방법과 장치를 제공한다. 본 발명에서, 임펄스 성분의 잔차 신호란 잔차 블록 내의 잔차 신호 중 그 절대값이 기 설정된 값 이상인 잔차 신호를 말한다.

도 6은 본 발명의 제 1 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)는 예측부(610), 감산부(620), 변환부(630), MxN 변환부(640), AxB 변환부(642), MxN 양자화부(650), AxB 양자화부(652), 스캔부(660), 부호화부(670), MxN 역 양자화부(680), AxB 역 양자화부(682), MxN 역 변환부(690), AxB 역 변환부(692) 및 가산부(694)를 포함하 여 구성될 수 있다.

이러한 영상 부호화 장치(600)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.

예측부(610) 및 감산부(620)는 각각 도 3을 통해 전술한 영상 부호화 장치(300)의 예측부(310) 및 감산부(320)와 동일 또는 유사한 기능을 수행하므로, 상세한 설명은 생략한다. 또한, MxN 변환부(640), MxN 양자화부(650), MxN 역 양자화부(680), MxN 역 변환부(690)와 AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)는 각각 도 3을 통해 전술한 영상 부호화 장치의 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같이, 잔차 블록을 주파수 영역으로 변환하고 변환된 주파수 계수를 양자화하며, 양자화된 주파수 계수를 역 양자화하고 역 변환한다.

다만, MxN 변환부(640), MxN 양자화부(650), MxN 역 양자화부(680), MxN 역 변환부(690)는, 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같이, 현재 블록의 블록 크기와 동일한 MxN 블록 단위로 변환 및 양자화와 역 양자 화 및 역 변환을 수행하는데, AxB 블록 단위로 변환 및 양자화와 역 양자화 및 역 변환을 수행하는 AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)와 구별하기 위해 그 명칭을 달리했을 뿐이다. 반면, AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)는 잔차 블록을 변환하고 양자화한 후 역 양자화하고 역 변환하는 방식은 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 같지만, 잔차 블록을 AxB 블록 단위로 변환하고 양자화한 후 역 양자화하고 역 변환한다는 점에서 다르다.

이하에서는, AxB 변환부(642), AxB 양자화부(652), AxB 역 양자화부(682), AxB 역 변환부(692)를 설명하는 데 있어서, 변환부(330), 양자화부(340), 역 양자화부(370), 역 변환부(380)와 상이한 점을 중심으로 설명한다.

부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록 내에 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 MxN 잔차 블록 및 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하여 해당 잔차 블록을 MxN 변환부(640) 또는 AxB 변환부(642)로 전달한다.

즉, 부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록을 AxB 블록 단위로 부호화할지 또는 MxN 블록 단위로 부호화할지 여부를 결정하여, MxN 잔차 블록 또는 AxB 잔차 블록을 각각 MxN 변환부(640) 또는 AxB 변환부(642)로 전달한다. 즉, 부호화 모드 결정부(630)는 감산부(620)로부터 전달되는 MxN 잔차 블록 내 모든 잔차 신호 중 소정 크기의 임펄스 성분보다 큰 잔차 신호 즉, 임펄스 성분의 잔차 신호가 하나 이상 있는지 여부를 확인하여, 임펄스 성분의 잔차 신호가 하나 이상 있는 경우에는 하나 이상의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고, AxB 잔차 블록을 AxB 변환부(642)로 전달한다. 여기서, 부호화 모드 결정부(630)는 임펄스 성분의 잔차 신호가 있는지 여부를 확인하는 데 있어서, MxN 잔차 블록 내 모든 잔차 신호의 절대값을 기 설정된 값(기 설정된 소정 크기의 임펄스 성분의 잔차 신호의 값)과 비교하여 하나 이상의 잔차 신호의 절대값이 기 설정된 값 이상인지 여부를 확인하고, 기 설정된 값 이상인 잔차 신호가 잔차 블록 내에 포함되어 있는지 여부를 확인함으로써, 잔차 블록 내에 임펄스 성분의 잔차 신호가 있는지 여부를 확인할 수 있다.

AxB 잔차 블록은, 도 7에 도시한 바와 같이, MxN 잔차 블록 내에서 임펄스 성분의 잔차 신호를 모두 포함하는 사각형 형태의 블록으로 구성할 수 있다. AxB 잔차 블록에서, A와 B는 각각 사각형 형태의 블록의 행과 열의 수를 나타낸다. 도 7을 참조하면, 7A에 나타낸 바와 같이 MxN 잔차 블록의 최하단 행의 양끝에 임펄스 성분의 잔차 신호가 있는 경우, AxB 잔차 블록의 크기는 1x4가 된다. 이러한 방식으로 모든 임펄스 성분의 잔차 신호를 포함하도록 사각형 형태의 블록을 구성하면, 7B, 7C 및 7D에 도시한 바와 같이, AxB 잔차 블록의 크기는 각각 4x3, 2x2, 3x4가 된다.

이와 같이 구성된 AxB 잔차 블록 내의 잔차 신호는 AxB 블록 단위로 변환, 양자화, 스캔되어 부호화되는 AxB 부호화를 통해 비트스트림으로 생성되고, MxN 잔차 블록 내의 잔차 신호 중 AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호는 임펄스 성분의 잔차 신호보다 무시해도 될 만큼 작다고 가정하여, 임의의 값으로 설 정하여 부호화하는데, 임의의 값은 '0'이 될 수 있다. 도 8을 참조하면, 8A에 도시한 바와 같이, 잔차 신호 x1 내지 x16를 포함하는 MxN 잔차 블록에서 빗금친 임펄스 성분의 잔차 신호 x6, x9, x15를 모두 포함하도록 3x3 크기로 구성되는 AxB 잔차 블록의 x5 내지 x7, x9 내지 x11, x13 내지 x15는 3x3 블록 단위로 변환, 양자화, 스캔되어 부호화되고, 나머지 잔차 신호 x1 내지 x4, x8, x12, x16은 '0'과 같은 임의의 값으로 설정되어 부호화될 수 있다. 다만, '0'은 임의의 값을 예시적으로 나타낸 것일 뿐, 임의의 값이 반드시 '0'의 값을 가져야 하는 것은 아니며, '-1', '1' 등과 같이 다양한 값으로 설정될 수 있다.

즉, MxN 잔차 블록 내에서 AxB 잔차 블록을 제외한 나머지 잔차 신호는 임펄스 성분의 잔차 신호보다 무시해도 될 만큰 작다고 가정하므로, 나머지 잔차 신호의 값을 그대로 이용하지 않고 해당 블록, 매크로블록, 슬라이스, 픽처 등에서 영상 복호화 장치에서 AxB 잔차 블록에 추가하여 MxN 잔차 블록을 생성하고 복원할 때 최적의 성능을 낼 수 있는 값을 찾아 결정하고 그 값을 가지는 잔차 신호를 대체 잔차 신호로서 결정할 수 있으며, 이러한 대체 잔차 신호는 부호화되거나 그대로 대체 잔차 신호 정보가 되어 비트스트림에 포함될 수 있다. 추후 영상 복호화 장치에서는 MxN 잔차 블록을 복원할 때, 비트스트림으로부터 대체 잔차 신호 정보를 추출하고 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 AxB 잔차 블록을 제외한 나머지 잔차 신호로 이용할 수 있다. 이러한 대체 잔차 신호의 값은 전술한 바와 같이 영상 부호화 장치에서 최적의 성능을 낼 수 있는 값을 찾아서 결정할 수도 있지만, '0', '-1', '1' 등의 값으로 기 설정될 수도 있으며, 이 경우 대체 잔차 신호 정보가 생성되지 않고 비트스트림에 포함되지도 않을 수 있으며, 영상 복호화 장치에서도 기 설정된 값을 나머지 잔차 신호로 이용하여 MxN 잔차 블록을 복원할 수 있다.

임펄스 성분의 잔차 신호인지 여부를 판단하기 위해 기 설정하는 값(a)을 적절히 설정하면, 기 설정된 값(a)보다 작은 잔차 신호(b)는 -a<b<a (단, a는 양수)와 같은 범위 내에 존재하며, 변환, 양자화, 역 양자화, 역 변환 등의 과정을 거치면 양자화 오류가 추가되어 원래의 잔차 신호의 값 b가 아닌 다른 값 c가 될 수 있다. 예를 들어, b가 -2일 때, b를 변환, 양자화, 역 양자화, 역 변환하면, 양자화 오류가 추가되어 -3이라는 c값이 복원될 수 있으며, 더 나아가서는 그 부호가 달라져서 +1이라는 값이 복원될 수도 있다.

이러한 예처럼, 절대값이 작은 잔차 신호는 변환과 양자화, 역 양자화와 역 변환을 통해 복원되면 그 값이 '0' 주변에서 그 부호가 '+'에서 '-'로 또는 '-'에서 '+'로 변경될 수 있기 때문에, 임펄스 성분의 잔차 신호를 판별하기 위해 기 설정하는 값(a)를 적절히 설정하면, AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호들은 평균적으로 '0'의 값으로 몰리게 되는 경향이 있다. 따라서, 임펄스 성분의 잔차 신호를 판별하기 위해 기 설정하는 값(a)를 적절히 설정하고, AxB 잔차 블록에 포함되지 않은 나머지 잔차 신호들의 값을 '0', '-1', '1' 등과 같은 기설정된 임의의 값으로 설정하함으로써 그 나머지 잔차 신호들은 따로 부호화하지 않거나 최적의 성능을 내는 대체 잔차 신호를 찾아 그 값만을 부호화하여도 손실이 발생하지 않는다. 따라서, 복호화를 위해 나머지 잔차 신호들의 값을 부호화하여 영상 복 호화 장치로 보내 주지 않거나 나머지 잔차 신호들을 대체할 수 있는 하나의 대체 잔차 신호를 그대로 또는 부호화하여 대체 잔차 신호 정보만을 전송해 주면 되며, 영상 복호화 장치에서는 이와 같이 부호화된 비트스트림을 복호화할 때, 나머지 잔차 신호들에 대해서는 '0', '-1', '1' 등의 기 설정된 값으로 설정하거나 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써 원래의 잔차 신호들을 모두 복원할 수 있다.

또한, 부호화 모드 결정부(630)는 잔차 블록 내에 임펄스 성분의 잔차 신호가 있는 경우에는 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은지 여부를 확인하여, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우에만 AxB 잔차 블록을 AxB 변환부(642)로 전달할 수 있다. 즉, 임펄스 성분의 잔차 신호를 모두 포함하는 AxB 잔차 블록을 구성하는데, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일한 경우에는, MxN 잔차 블록 전체에 걸쳐서 임펄스 성분의 잔차 신호가 존재하기 때문에, 기존 방식 즉, MxN 잔차 블록으로 부호화한다.

또한, 부호화 모드 결정부(630)는 MxN 잔차 블록 내 모든 잔차 신호 중 임펄스 성분의 잔차 신호가 없는 경우에는 MxN 잔차 블록을 MxN 변환부(640)로 전달하여 현재 블록과 같은 크기의 블록 단위로 부호화할 수 있도록 하되, MxN 잔차 블록의 모든 잔차 신호를 임의의 값인 '0'으로 설정할 수 있다. 잔차 블록 내에 임펄스 성분의 잔차 신호가 없는 경우, 전술한 바와 같이, 모든 잔차 신호가 변환과 양자화 및 역 양자화와 역 변환된 후 복원되면 그 값이 '0' 근처에서 몰리기 때문에, '0'으로 설정하여 부호화하더라도 큰 손실이 없을 수 있기 때문이다.

또한, 부호화 모드 결정부(630)는 AxB 잔차 블록을 부호화하는 것으로 결정하면, AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 부호화부(670)로 전달할 수 있다. 여기서, AxB 부호화란 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고 AxB 잔차 블록을 AxB 블록 단위로 예측, 변환, 양자화하고 스캔하여 부호화하는 것을 말한다. 부호화 모드 결정부(630)는 AxB 잔차 블록의 블록 형태 정보와 AxB 잔차 블록의 블록 위치 정보를 AxB 변환부(642)로 전달한다.

예를 들어, AxB 잔차 블록의 블록 형태 정보로서는 3x4, 2x3 등의 블록 크기를 지정한 정보가 될 수 있으며, AxB 잔차 블록의 블록 위치 정보로서는 MxN 잔차 블록 내에서 처음으로 임펄스 성분의 잔차 신호가 나타나는 위치에 대한 좌표의 수직 성분값과 수평 성분값으로 나타내거나 AxB 잔차 블록의 제일 좌측의 제일 상단의 잔차 신호의 위치가 MxN 잔차 블록 내에서 어느 곳에 위치하는지를 나타내는 좌표 등의 정보가 될 수 있으며, AxB 블록 단위로 부호화를 수행했음을 나타내는 부호화 식별 정보로서는 '1' 또는 '0' 값을 갖는 플래그가 되어, 플래그가 '1'인 경우에는 AxB 블록 단위로 부호화했음을 나타내고 '0'인 경우에는 MxN 블록 단위로 부호화했음을 나타낼 수 있다.

AxB 변환부(642)는 부호화 모드 결정부(630)로부터 AxB 잔차 블록의 블록 형태 정보와 AxB 잔차 블록의 블록 위치 정보 및 AxB 잔차 블록을 전달받으면, AxB 블록 단위로 주파수 변환을 수행하여 주파수 계수를 갖는 AxB 잔차 블록을 생성한 다. AxB 변환부(642)는 다양한 변환 방식으로 변환을 수행할 수 있다. 예를 들어, AxB 잔차 블록의 각 행과 각 열의 잔차 신호에 대해 1차원 변환을 각각 수행한다.

도 9를 참조하면, Y=A X B라는 식과 같은 행렬의 곱으로 변환을 수행할 수 있다. 도 9에서, 행렬 X는 3x2 블록 크기를 갖는 AxB 잔차 블록을 나타내는 행렬이며, 행렬 A는 길이가 A인 1차원 수평 방향 기저벡터 {(a1, a2, a3), (b1, b2, b3), (c1, c2, c3)}를 포함하는 행렬을 나타내며, 행렬 B는 길이가 B인 1차원 수직 방향 기저벡터{(d1, d2), (e1, e2)}를 포함하는 행렬을 나타낸다. 행렬은 Y는 A 행렬, X 행렬, B 행렬의 곱으로써 수직 방향과 수평 방향으로 변환된 변환 계수를 나타낸다. 임펄스 성분의 잔차 신호보다 작은 값을 갖는 나머지 잔차 신호들은 무시해도 될 만큼 작다고 가정한 값이므로, '0'으로 가정한다.

AxB 양자화부(652)는 AxB 변환부(642)에 의해 변환된 AxB 잔차 블록을 양자화하여, 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이를 위해, AxB 양자화부(652)는 양자화 파라미터(QP: Quantization Parameter)에 따라 주어지는 양자화 단계(Q Step: Quantization Step)을 이용하여 양자화할 수 있다.

스캔부(660)는 MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 기존의 스캔 방식을 이용하여 양자화 주파수 계수열을 생성하거나, AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 AxB 블록 형태에 따라 다른 스캔 방식을 이용하여 양자화 주파수 계수열을 생성한다.

예를 들어, 스캔부(660)는 플래그의 값이 '0'이어서 부호화 식별 정보가 MxN 부호화를 나타내는 경우, MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 통상적인 지그재그 스캔 방식에 따라 스캔하고, 플래그 값이 '1'이어서 부호화 식별 정보가 AxB 부호화를 나타내는 경우, AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 통상적인 지그재그 스캔 방식을 AxB 블록 형태에 따라 수정한 스캔 방식에 따라 스캔한다. 이러한 수정된 스캔 방식은 도 10에 예시적으로 나타낸 바와 같은 방식일 수 있으며, AxB 블록 형태에 따라 다양한 스캔 방식으로 수정될 수 있다.

부호화부(670)는 스캔부(660)에서 스캔한 양자화 주파수 계수열을 엔트로피 부호화 등 다양한 부호화 기법을 이용하여 부호화함으로써 비트스트림을 생성한다. 이때, 부호화부(670)는 변환 모드 결정부(630)로부터 전달된 모드 정보를 비트스트림에 삽입할 수 있다.

MxN 역 양자화부(680)는 MxN 양자화부(650)에 의해 양자화된 MxN 잔차 블록의 양자화 주파수 계수를 역 양자화하여 주파수 계수를 갖는 MxN 잔차 블록을 생성하고, MxN 역 변환부(690)는 MxN 역 양자화부(680)에 의해 역 양자화된 MxN 잔차 블록의 주파수 계수를 역 변환하여 복원된 잔차 신호를 갖는 복원된 MxN 잔차 블록을 생성한다.

AxB 역 양자화부(682)는 AxB 양자화부(652)에 의해 양자화된 AxB 잔차 블록의 양자화 주파수 계수를 역 양자화하여 주파수 계수를 갖는 AxB 잔차 블록을 생성하고, AxB 역 변환부(692)는 AxB 역 양자화부(682)에 의해 역 양자화된 AxB 잔차 블록의 주파수 계수를 역 변환하여 복원된 잔차 신호를 갖는 복원된 AxB 잔차 블록 을 생성한다. 여기서, AxB 역 양자화하고 AxB 역 변환하는 것은 전술한 AxB 양자화하고 AxB 변환하는 것을 역으로 수행하면 된다.

MxN 잔차 블록 생성부(694)는 AxB 역 변환부(692)로부터 전달되는 AxB 잔차 블록을 MxN 잔차 블록의 해당 위치에 대입하여 MxN 잔차 블록을 복원한다. 이때, MxN 잔차 블록 생성부(694)는 AxB 잔차 블록의 블록 위치 정보를 이용하여 해당 위치에 대입할 수 있으며, AxB 잔차 블록에 포함되지 않는 나머지 잔차 신호에는 임의의 값(예를 들면 '0')을 할당함으로써, 최종적인 MxN 잔차 블록을 생성한다.

가산부(696)는 MxN 역 변환부(690) 또는 MxN 잔차 블록 생성부(694)로부터 전달되는 복원된 MxN 잔차 블록을 예측부(610)에서 예측된 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.

도 11은 본 발명의 제 1 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

영상 부호화 장치(600)는 부호화하고자 하는 영상이 입력되면 영상을 매크로블록 또는 매크로블록의 서브 블록 단위로 구분하고 인터 예측 모드 또는 인트라 예측 모드 등의 다양한 부호화 모드 중 최적의 부호화 모드를 결정하여 결정된 부호화 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다. 이때, 부호화 모드로서 인트라 모드가 결정되어 인트라 예측을 수행하는 경우, 영상 부호화 장치(600)는 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는데(S1110), 현재 블록의 크기 가 MxN 크기라면, MxN 크기를 갖는 MxN 잔차 블록이 생성된다.

영상 부호화 장치(600)는 MxN 잔차 블록 내의 잔차 신호를 분석하여 임펄스 성분의 잔차 신호가 있는지 여부를 확인한다(S1120). 영상 부호화 장치(600)는 단계 S1120의 확인 결과, 임펄스 성분의 잔차 신호가 있는 경우에는 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성하고, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은지 여부를 확인하여(S1130), 작은 경우에만 AxB 잔차 블록을 부호화하여 비트스트림을 생성한다(S1140). AxB 잔차 블록을 부호화하는 방법에 대해서는 도 6 내지 도 10을 통해 전술한 바와 같다.

한편, 영상 부호화 장치(600)는 단계 S1120의 확인 결과, 잔차 블록 내에 임펄스 성분의 잔차 신호가 없는 경우에는 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하고(S1150), MxN 잔차 블록을 부호화하여 비트스트림을 생성한다(S1160). 또한, 영상 부호화 장치(600)는 단계 S1130의 확인 결과, 잔차 블록 내에 임펄스 성분의 잔차 신호가 있지만 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작지 않고 같은 경우에는 단계 S1160으로 진행하여 MxN 잔차 블록을 부호화한다. 이때, 부호화되는 MxN 잔차 블록은 단계 S1150을 거치지 않은 잔차 블록 즉, 단계 S1110에서 생성된 MxN 잔차 블록이다.

이와 같은 방식으로 부호화하면, 임펄스 성분의 잔차 신호를 포함하는 작은 크기의 잔차 블록의 잔차 신호만을 부호화하고 나머지 잔차 신호는 '0', '-1', '1' 등 기 설정된 임의의 값으로 설정하여 부호화하지 않거나 나머지 잔차 신호들을 대표해서 최적의 성능을 가지는 대체 잔차 신호 하나만을 부호화하면 되므로, 부호화 되어 생성되는 비트스트림의 양을 줄일 수 있고 그에 따라 압축 효율이 향상된다.

*영상 부호화 장치(600)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

도 12는 본 발명의 제 1 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)는 복호화부(1210), 역 스캔부(1220), MxN 역 양자화부(1230), AxB 역 양자화부(1230), MxN 역 변환부(1240), AxB 역 변환부(1242), MxN 잔차 블록 생성부(1250), 예측부(1260) 및 가산부(1270)를 포함하여 구성될 수 있다.

이러한 영상 부호화 장치(1200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.

복호화부(1210)는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하여 역 스캔부(1220)로 전달한다. 이때, 복호화부(1210)는 비트스트림으로부터 모드 정보를 추출할 수 있는데, 모드 정보는 도 6을 통해 전술한 모드 정보와 동일한 정보일 수 있으며, 역 스캔부(1220)로 전달된다.

역 스캔부(1220)는 복호화부(1210)로부터 전달되는 양자화 주파수 계수열을 역 스캔하는데, 복호화부(1210)로부터 전달되는 모드 정보에 따라 기존의 지그재그 스캔 방식을 이용하여 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 MxN 잔차 블록을 생성하거나 AxB 블록 형태에 따라 수정한 스캔 방식을 이용하여 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 AxB 잔차 블록을 생성할 수 있다. 예를 들어, 모드 정보에 포함된 부호화 식별 정보를 나타내는 플래그가 '0'인 경우에는, 기존의 지그재그 스캔 방식에 따라 양자화 주파수 계수열을 역 스캐닝하고, 부호화 식별 정보를 나타내는 플래그가 '1'인 경우에는, 모드 정보에 포함된 AxB 블록 형태 정보에 의해 식별되는 블록의 형태에 따라 다른 지그재그 스캔 방식으로 양자화 주파수 계수열을 역 스캐닝할 수 있다. AxB 블록 형태 정보에 의해 식별되는 블록의 형태에 따라 다른 지그재그 스캔 방식으로 역 스캐닝하는 것은 도 10을 통해 전술한 스캔 방식의 역순으로 스캐닝함으로써 수행될 수 있다. 이와 같이, 모드 정보에 따라 다른 역 스캐닝을 수행하여 각 잔차 블록이 생성되면, 역 스캔부(1220)는 생성된 잔차 블록이 MxN 잔차 블록인 경우에는 MxN 역 양자화부(1230)로 전달하고, AxB 잔차 블록인 경우에는 AxB 역 양자화 부(1232)로 전달한다.

MxN 역 양자화부(1230)와 MxN 역 변환부(1240) 및 AxB 역 양자화부(1232)와 AxB 역 변환부(1242)는 도 6을 통해 전술한 MxN 역 양자화부(680)와 MxN 역 변환부(690) 및 AxB 역 양자화부(682)와 AxB 역 변환부(692)와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.

MxN 잔차 블록 생성부(1250)는 AxB 역 변환부(1242)로부터 전달되는 AxB 잔차 블록을 MxN 잔차 블록의 해당 위치에 대입하여 MxN 잔차 블록을 복원한다. 이때, MxN 잔차 블록 생성부(1250)는 복호화부(1210)에 의해 비트스트림으로부터 추출된 AxB 잔차 블록의 블록 위치 정보를 이용하여 해당 위치에 대입할 수 있으며, AxB 잔차 블록에 포함되지 않는 나머지 잔차 신호에는 기 설정된 임의의 값(예를 들면 '0', '-1', '1' 등)을 할당하거나 비트스트림으로부터 대체 잔차 신호 정보를 추출한 경우에는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써, 최종적인 MxN 잔차 블록을 생성한다.

예측부(1260)는 현재 블록을 예측하여 예측 블록을 생성하고, 가산부(1270)는 MxN 역 변환부(1240) 또는 MxN 잔차 블록 생성부(1250))로부터 전달되는 복원된 MxN 잔차 블록을 예측부(1260)에서 예측된 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.

도 13은 본 발명의 제 1 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(1200)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.

이를 위해, 영상 복호화 장치(1200)는 비트스트림을 복호화하여 잔차 블록을 추출한다(S1310). 이때, 영상 복호화 장치(1200)는 비트스트림에서 모드 정보를 추출한다.

영상 복호화 장치(1200)는 모드 정보를 확인하여 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함되었는지 여부를 판단하여(S1320), 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함된 경우에는 AxB 잔차 블록을 모드 정보에 포함된 블록 형태 정보에 따라 역 스캔하고 AxB 블록 단위로 역 양자화하여 역 변환함으로써, AxB 잔차 블록을 복원하고(S1330), 모드 정보에 포함된 블록 위치 정보에 따라 복원된 AxB 잔차 블록을 MxN 잔차 블록에 대입하고 나머지 잔차 신호를 기 설정된 임의의 값 또는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 할당함으로써, MxN 잔차 블록을 복원한다(S1340). 한편, 영상 복호화 장치(1200)는 단계 S1320의 판단 결과, 모드 정보에 AxB 부호화를 나타내는 부호화 식별 정보가 포함되지 않은 경우에는 MxN 잔차 블록을 통상적인 방식에 따라 역 스캔하고 역 양자화하여 역 변환함으로써 복원한다(S1350).

영상 복호화 장치(1200)는 현재 블록을 예측하여 예측 블록을 생성하고, 단계 S1340 또는 단계 S1350에서 복원된 MxN 잔차 블록과 가산하여 현재 블록을 복원 한다(S1360). 이와 같이, 복원된 현재 블록은 픽처 단위로 저장되어 복원 영상으로서 출력되거나 참조 픽처로서 저장되어 다음 블록을 예측하는 데 활용된다.

도 14는 본 발명의 제 2 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 제 2 실시예에 따른 영상 부호화 장치(1400)는 영상을 부호화하는 장치로서, 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함할 뿐만 아니라, 비율 계산부(1410)를 추가로 포함한다. 본 발명의 제 2 실시예에 따른 영상 부호화 장치(1400)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하는데, 다만 AxB 잔차 블록 내의 전체 잔차 신호 중에서 임펄스 성분의 잔차 신호가 차지하는 비율인 임펄스 비율에 따라 AxB 부호화를 수행할지 여부를 결정한다. 이하에서는 도 6을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.

비율 계산부(1410)는 부호화 모드 결정부(620)에 의해 AxB 부호화가 결정되어 AxB 잔차 블록을 전달받으면, AxB 잔차 블록 내의 전체 잔차 신호 중에서 임펄스 성분의 잔차 신호가 차지하는 비율인 임펄스 비율(AxB 잔차 블록 내의 임펄스 성분의 잔차 신호의 개수/AxB 잔차 블록 내의 전체 잔차 신호의 개수)을 계산하고, 계산된 비율을 기 설정된 임계값과 비교하여 임계값 이상인 경우에만 AxB 잔차 블록과 모드 정보를 AxB 변환부(643)로 전달하고, 임계값 미만인 경우에는 기존 방식처럼 MxN 잔차 블록을 부호화할 수 있도록, MxN 잔차 블록을 MxN 변환부(640)로 전 달하거나 부호화 모드 결정부(620)로 하여금 MxN 잔차 블록을 MxN 변환부(640)로 전달하도록 제어한다. 따라서, 임펄스 비율이 임계값 이상인 경우에만 부호화 식별 정보를 나타내는 플래그를 '1'로 설정하여 AxB 부호화를 수행함을 나타낼 수 있고, 부호화 식별 정보와 블록 형태 정보와 블록 위치 정보를 AxB 변환부(642)로 전달할 수 있으며, 임펄스 비율이 임계값 미만인 경우에는 부호화 식별 정보를 나타내는 플래그를 '0'로 설정할 수 있다.

도 15는 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

본 발명의 제 2 실시예에 따른 영상 부호화 방법은 단계 S1510 내지 단계 S1530는 도 11을 통해 전술한 단계 S1110 내지 단계 S1130과 동일 또는 유사하고, 단계 S1550 내지 단계 S1570은 도 11을 통해 전술한 단계 S1140 내지 단계 S1160과 동일 또는 유사하다. 다만, 본 발명의 제 2 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(1400)는 단계 S1530에서 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우 임펄스 비율을 계산하고 기 설정된 임계값과 비교하여(S1540), 임펄스 비율이 임계값 이상인 경우에만 단계 S1550으로 진행하여 AxB 잔차 블록을 부호화하여 비트스트림을 생성하고, 임펄스 비율이 임계값 미만인 경우에는 단계 S1570으로 진행하여 MxN 잔차 블록을 부호화하여 비트스트림을 생성한다.

본 발명의 제 2 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)와 동일하게 구성되며, 영상을 부호화하여 비트스트림을 생성하는 방법도 도 11을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 방법과 동일하다. 이는 영상 부호화 장치(1400)에서 임펄스 비율에 따라 그 부호화 방식을 달리할 뿐, 복호화 방법은 동일하기 때문이다.

도 16은 본 발명의 제 3 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 제 3 실시예에 따른 영상 부호화 장치(1600)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함하여 구성된다. 다만, 부호화 모드 결정부(1610)와 MxN 잔차 블록 생성부(1620)의 기능이 각각 부호화 모드 결정부(630)와 MxN 잔차 블록 생성부(694)의 기능과 일부 상이하다.

즉, 본 발명의 제 3 실시예에 따른 영상 부호화 장치(1600)의 부호화 모드 결정부(1610)는 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 구성할 때, 사각형 블록 형태뿐만 아니라 대각선 방향으로 위치한 임펄스 성분의 잔차 신호를 포함할 수 있도록 대각선 블록 형태의 AxB 잔차 블록을 구성할 수 있다.

이를 위해, 부호화 모드 결정부(1610)는 AxB 잔차 블록을 구성할 때, MxN 잔차 블록 내에 대각선 방향의 임펄스 성분의 잔차 신호가 있는지 여부를 판단하여, 대각선 방향의 임펄스 성분의 잔차 신호가 없는 경우에는 전술한 사각형 블록 형태로 AxB 잔차 블록을 구성하고, 대각선 방향의 임펄스 성분의 잔차 신호가 있는 경우에는 대각선 블록 형태로 AxB 잔차 블록을 구성한다.

도 17을 참조하면, MxN 잔차 블록이 4x4 크기의 블록이고 대각선으로 세 개 의 잔차 신호가 임펄스 성분의 잔차 신호라고 가정하면, 17A에 나타낸 바와 같이 본 발명의 제 1 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 3x3 크기의 블록이 되고, 6 개의 잔차 신호를 부호화해야 한다. 반면, 17C에 나타낸 바와 같이 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 1x3 크기의 블록이 되고, 3 개의 잔차 신호만을 부호화해도 된다.

마찬가지로, MxN 잔차 블록이 4x4 크기의 블록이고 대각선으로 세 개의 잔차 신호 두 쌍이 임펄스 성분의 잔차 신호라고 가정하면, 17B에 나타낸 바와 같이 본 발명의 제 1 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 4x4 크기의 블록이 되어 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일하게 되고 16개의 잔차 신호를 부호화해야 한다. 반면, 17D에 나타낸 바와 같이 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하는 경우에는, AxB 잔차 블록이 2x3 크기의 블록이 되어 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작게 되고 6개의 잔차 신호만을 부호화해도 된다.

따라서, 도 17을 통해 알 수 있듯이, 본 발명의 제 3 실시예에 따라 AxB 잔차 블록을 구성하면, AxB 잔차 블록의 크기를 줄일 수 있고 그만큼 부호화해야 하는 잔차 신호의 개수를 줄일 수 있을 뿐만 아니라, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일해지는 경우를 줄일 수 있으며, 본 발명의 제 2 실시예와 결합하여 구현되는 경우에는 임펄스 비율을 높일 수 있으므로, AxB 부호화를 수행할 수 있는 비율이 높아져서, 압축 효율을 더욱 향상시킬 수 있다.

또한, 부호화 모드 결정부(1610)는 대각선 블록 형태로 AxB 잔차 블록을 구성하였음을 나타내는 대각선 블록 식별 정보와 대각선 블록 형태로 AxB 잔차 블록을 구성한 각 임펄스 성분의 잔차 신호의 위치를 나타내는 대각선 위치 정보를 모드 정보로서 추가로 생성하며, 이러한 정보를 MxN 잔차 블록 생성부(1620)로 전달한다.

MxN 잔차 블록 생성부(1620)는 AxB 역 양자화부(692)로부터 복원된 AxB 잔차 블록이 전달되면 MxN 잔차 블록을 생성하는데, 부호화 모드 결정부(1610)로부터 전달된 대각선 블록 식별 정보를 통해 복원된 AxB 잔차 블록이 대각선 블록 형태의 잔차 블록임을 식별하고, 대각선 위치 정보를 통해 복원된 AxB 잔차 블록의 각 잔차 신호를 대각선 위치로 나열하여 MxN 잔차 블록에 대입하고, 나머지 잔차 신호들은 기 설정된 임의의 신호(예를 들면, '0', '-1', '1' 등)로 할당하거나 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 설정함으로써, 최종적으로 복원된 MxN 잔차 블록을 생성한다.

본 발명의 제 3 실시예에 따른 영상 복호화 장치의 구성은 도시하지 않았지만, 도 12를 통해 전술한 제 1 실시예에 따른 영상 복호화 장치(1200)의 구성과 동일하다. 다만, 복호화부(1210)에서 비트스트림으로부터 추출된 모드 정보에는 대각선 블록 식별 정보와 대각선 위치 정보가 추가로 포함되며, 이 정보들은 MxN 잔차 블록 생성부(1250)로 전달된다. 본 발명의 제 3 실시예에 따른 MxN 잔차 블록 생성부(1250)는, 도 16을 통해 전술한 MxN 잔차 블록 생성부(1620)과 같이, 대각선 블록 식별 정보와 대각선 위치 정보를 이용하여 대각선 블록 형태의 AxB 잔차 블록을 MxN 잔차 블록에 대입하고 나머지 잔차 신호를 임의의 값 또는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호의 값으로 할당하여 복원된 MxN 잔차 블록을 생성한다.

한편, 전술한 본 발명의 제 1 실시예 내지 제 3 실시예에서는 영상 부호화 장치(600, 1400, 1600)는 MxN 잔차 블록이 변환되고 양자화되어 생성되는 양자화 주파수 계수가 모두 '0'인지 여부를 미리 판단하여, 모두 '0'인 경우에는 MxN 부호화를 수행하고, 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 부호화를 수행할 수 있다. 즉, 스캔부(660)와 MxN 양자화부(650) 및 AxB 양자화부(652) 사이에 계수 판별부를 추가로 구성하여, 계수 판별부에서 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록의 양자화 주파수 계수를 확인하여 모든 양자화 주파수 계수가 '0'인 경우에는 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록을 스캔부(660)로 전달하고 MxN 부호화를 나타내는 부호화 식별 정보와 같은 모드 정보를 생성하거나 비트스트림에 포함시키지 않음으로써, 기존의 MxN 부호화가 수행되도록 할 수 있으며, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에만 MxN 양자화부(650)로부터 출력되는 양자화된 잔차 블록 또는 AxB 양자화부(652)로부터 출력되는 양자화된 잔차 블록을 스캔부(660)로 전달하고 MxN 부호화를 부호화 식별 정보를 포함하는 모드 정보 또는 AxB 부호화를 나타내는 부호화 식별 정보, 블록 형태 정보, 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시킴으로써, MxN 부호화 또는 AxB 부호화가 수행되도록 할 수 있다. 따라서, 제 1 실시예 내지 제 3 실시예에서는 영상 부호화 장치(600, 1400, 1600)는 MxN 잔차 블록이 변환되 고 양자화되어 생성되는 양자화 주파수 계수가 모두 '0'인 경우, 모드 정보를 비트스트림에 포함시키지 않고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에만 모드 정보를 비트스트림에 포함시킬 수 있다.

마찬가지로, 전술한 본 발명의 제 1 실시예 내지 제 3 실시예에 따른 영상 복호화 장치(1200)는 비트스트림을 복호화하여 복원되는 양자화 주파수 계수가 모두 '0'인 경우(또는 비트스트림에 포함된 부호화된 블록 형태(CBP: Coded Block Pattern)를 통해 알 수 있음)에는 비트스트림으로부터 모드 정보를 읽어 들이지 않고 양자화 주파수 계수를 역 양자화 및 역 변환하여 MxN 잔차 블록을 복원하여 현재 블록을 복원하고, 비트스트림을 복호화하여 복원되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우(또는 비트스트림에 포함된 부호화된 블록 형태(CBP: Coded Block Pattern)를 통해 알 수 있음)에는 비트스트림으로부터 모드 정보를 읽어 들여 부호화 식별 정보를 통해 MxN 부호화인지 또는 AxB 부호화인지 여부를 판단하고, MxN 부호화인 경우에는 MxN 잔차 블록을 복원하여 현재 블록을 복원하고, AxB 부호화인 경우에는 모드 정보로부터 블록 형태 정보와 블록 위치 정보를 추가로 읽어들여 AxB 잔차 블록을 복원하여 현재 블록을 복원할 수 있다.

도 18은 본 발명의 제 4 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)의 모든 구성 요소를 포함하여 구성되되, 계수 판별부(1820)가 추가로 포함되어 구성되며, 부호화 모드 결정 부(1810)의 일부 기능이 변경된다. 이하에서는 도 6을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.

본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)는 도 6을 통해 전술한 본 발명의 제 1 실시예에 따른 영상 부호화 장치(600)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행한다. 다만, 기존 방식으로 MxN 잔차 블록을 부호화해서 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 기존의 지그재그 스캔 방식으로 스캔하여 부호화함으로써 비트스트림을 생성하고, 하나 이상이 '0'이 아닌 경우에는 AxB 블록 단위로 예측, 변환 및 양자화하고 AxB 잔차 블록의 형태에 따라 스캔 방식을 달리하여 스캔하고 부호화함으로써 비트스트림을 생성하는 AxB 부호화를 수행한다. 또한, AxB 부호화를 수행하는 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 기 설정된 개수 이하인 경우에는 AxB 부호화를 수행하고, 기 설정된 개수를 초과한 경우에는 기존 방식으로 MxN 잔차 블록을 부호화한다. 예를 들면, 기 설정된 값이 8인 경우, A와 B를 곱한 값이 8이하인 잔차 블록은 AxB 부호화를 수행하고 8을 초과하는 잔차 블록은 MxN 부호화를 수행한다. 1x1, 2x3, 4x2와 같은 잔차 블록의 경우에는 잔차 블록의 화소의 개수가 8이하이므로 AxB 부호화를 수행한다.

이를 위해, 부호화 모드 결정부(1810)는 도 6을 통해 전술한 부호화 모드 결정부(630)와 같이 AxB 부호화를 수행할지 여부를 결정할 뿐만 아니라, AxB 부호화 를 수행하는 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 기 설정된 개수 이하인 경우에는 AxB 부호화를 수행하기 위해 AxB 잔차 블록을 AxB 변환부(642)로 전달하고, 기 설정된 개수를 초과하는 경우에는 기존 방식으로 MxN 잔차 블록을 부호화하기 위해 MxN 잔차 블록을 MxN 변환부(640)로 전달한다.

계수 판별부(1820)는 MxN 양자화부(650)로부터 전달된 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하면서 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키지 않고 기존의 지그재그 스캔 방식으로 스캔하도록 하고, 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 판단하여, 이하인 경우에만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 AxB 양자화부(652)로부터 전달되는 양자화된 AxB 잔차 블록을 스캔부(660)로 전달하면서 AxB 잔차 블록의 블록 형태에 따라 스캔 방식을 달리하여 스캔하도록 한다. AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는 경우에는 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키지 않고 기존의 방식으로 부호화한다.

도 19는 본 발명의 제 4 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

영상 부호화 장치(1800)는 MxN 블록 단위로 부호화하는 기존 부호화 방식에 따라 양자화된 MxN 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 판단한다(S1910). 단계 S1910의 판단 결과 모두 '0'인 경우, 영상 부호화 장치(1800)는 기존 방식 즉, MxN 블록 단위로 부호화된 양자화 주파수 계수를 기존의 지그재그 스캔 방식 등으로 스캔하여 부호화함으로써 비트스트림을 생성한다(S1920). 단계 S1910의 판단 결과 하나 이상이 '0'이 아닌 경우, 영상 부호화 장치(1800)는 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인지 여부를 확인한다(S1930). 단계 S1930의 확인 결과 기 설정된 개수를 초과하는 경우에는 S1920으로 진행하여 기존 방식으로 부호화하고, 기 설정된 개수 이하인 경우에는 AxB 블록 단위로 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하여 비트스트림을 생성한다(S1940).

이와 같은 본 발명의 제 4 실시예에 따르면, MxN 잔차 블록의 양자화된 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 미리 판단하고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인지 여부를 판단함으로써, 모든 잔차 블록마다 MxN 부호화 또는 AxB 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 포함시키지 않고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인 때만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 비트스트림에 포함시킬 수 있다. 따라서, 블록의 특성에 따라 부호화 식별 정보, 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 위한 비트량을 줄일 수 있다.

또한, 본 발명의 제 4 실시예에 따르면, AxB 잔차 블록의 화소 개수가 기 설 정된 개수 이하인 경우에만 AxB 부호화를 수행하므로, AxB 잔차 블록의 화소수가 적어져서 AxB 잔차 블록을 부호화한 데이터의 비트수를 줄일 수 있다.

본 발명의 제 4 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)의 모든 구성 요소를 포함한다. 단, 복호화부(1210)는 비트스트림으로부터 양자화 주파수 계수열을 얻을 때 양자화 주파수 계수의 개수가 기 설정된 개수 이하인지 확인한 후, 이하일 경우에 비트스트림으로부터 모드 정보를 추출하여 부호화 식별 정보를 확인한 후 AxB 부호화일 경우 모드 정보로부터 블록 형태 정보와 블록 위치 정보를 추출한다. 즉, AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 블록 단위로 복호화하기 위해 양자화 주파수 계수열의 양자화 주파수 계수의 개수를 먼저 확인한다는 점이 제 1 실시예와 다르다.

예를 들어, 본 발명의 제 4 실시예에 따른 영상 복호화 장치는 양자화 주파수 계수열의 토탈 계수(Total Coefficient)와 토탈 제로(Totalzero)를 통해 해당 블록의 양자화 주파수 계수의 개수를 확인한 후에 기 설정된 'N'개를 초과하는 경우에는 잔차 블록이 MxN 부호화되었다고 판단하며(AxB 부호화에서는 주파수의 개수가 'N'개를 초과할 수 없음), 만약 'N'개이하인 경우에는 MxN 부호화를 통해서도 'N'개이하의 주파수 계수를 만들 수 있으므로(예를 들어, DC 성분의 주파수 계수가 1개만 있는 경우 또는 DC 성분 근처의 저주파 성분의 주파수 계수가 발생할 경우), 추가로 비트스트림으로부터 모드 정보를 추출하고 모드 정보에 포함된 부호화 식별 정보를 통해 AxB 부호화인지 아닌지를 판단한다. 따라서, AxB 부호화가 아닐 경우 에는 비트스트림에 모드 정보가 포함되지 않고, AxB 부호화일 경우에만 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보가 비트스트림에 포함된다.

본 발명의 제 5 실시예에 따른 영상 부호화 장치는 도 18을 통해 전술한 본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)의 모든 구성 요소를 포함하여 구성되되, 계수 판별부(1820)의 일부 기능이 변경된다. 이하에서는 도 18을 통해 전술한 나머지 구성 요소에 대한 상세한 설명은 생략한다.

본 발명의 제 5 실시예에 따른 영상 부호화 장치는 도 18을 통해 전술한 본 발명의 제 4 실시예에 따른 영상 부호화 장치(1800)와 같이, 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행한다. 다만, 기존 방식으로 MxN 잔차 블록을 부호화해서 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 기존의 지그재그 스캔 방식으로 스캔하여 부호화함으로써 비트스트림을 생성하고, 하나 이상이 '0'이 아닌 경우에는 AxB 블록 단위로 예측, 변환 및 양자화하고 AxB 잔차 블록의 형태에 따라 스캔 방식을 달리하여 스캔하고 부호화함으로써 비트스트림을 생성하는 AxB 부호화를 수행한다. 또한, 본 발명의 제 5 실시예에 따른 영상 부호화 장치는 양자화된 잔차 블록의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 판단하여, 기 설정된 개수를 초과하는 경우에는 AxB 부호화를 수행하고, 기 설정된 개수 이하인 경우에는 기존 방식으로 MxN 잔차 블록을 부호화한다. 예를 들면, 기 설정된 값이 8인 경우, A와 B를 곱한 값이 8 이하인 잔차 블록은 MxN 부호화를 수행하고 8을 초과하는 잔차 블록은 AxB 부호화를 수행한다. 즉, 3x3, 3x4, 4x3과 같은 잔차 블록의 경우에는 잔차 블록의 화소의 개수가 8을 초과하므로 AxB 부호화를 수행한다.

계수 판별부(1820)는 MxN 양자화부(650)로부터 전달된 양자화된 잔차 블록의 모든 양자화 주파수 계수의 값이 '0'인지 여부를 판단하여, 모두 '0'인 경우에는 기존 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하면서 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 기존의 지그재그 스캔 방식으로 스캔하도록 하고, 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 판단하여, 초과하는 경우에만 AxB 부호화를 나타내는 부호화 식별 정보와 블록 형태 정보 및 블록 위치 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 AxB 양자화부(652)로부터 전달되는 양자화된 AxB 잔차 블록을 스캔부(660)로 전달하면서 AxB 잔차 블록의 블록 형태에 따라 스캔 방식을 달리하여 스캔하도록 한다. AxB 잔차 블록의 화소 개수가 기 설정된 개수 이하인 경우에는 MxN 부호화를 나타내는 부호화 식별 정보를 포함하는 모드 정보를 비트스트림에 포함시키고 기존의 방식으로 예측, 변환 및 양자화된 MxN 잔차 블록을 스캔부(660)로 전달하여 부호화한다.

도 20은 본 발명의 제 5 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

본 발명의 제 5 실시예에 따른 영상 부호화 장치는 MxN 블록 단위로 부호화하는 기존 부호화 방식에 따라 양자화된 MxN 잔차 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 판단한다(S2010). 단계 S2010의 판단 결과 모두 '0'인 경우, 영상 부호화 장치는 기존 방식 즉, MxN 블록 단위로 부호화된 양자화 주파수 계수를 기존의 지그재그 스캔 방식 등으로 스캔하여 부호화함으로써 비트스트림을 생성한다(S2020). 단계 S2010의 판단 결과 하나 이상이 '0'이 아닌 경우, 영상 부호화 장치는 AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는지 여부를 확인한다(S2030). 단계 S2030의 확인 결과 기 설정된 개수 이하인 경우에는 S2020으로 진행하여 기존 방식으로 부호화하고, 기 설정된 개수를 초과화하는 경우에는 AxB 블록 단위로 AxB 잔차 블록을 부호화하는 AxB 부호화를 수행하여 비트스트림을 생성한다(S2040).

이와 같은 본 발명의 제 5 실시예에 따르면, AxB 잔차 블록의 화소 개수가 기 설정된 개수를 초과하는 경우에만 AxB 부호화를 수행하므로, 제 4 실시예와 비교할 때 AxB 잔차 블록의 화소수가 많아져서 AxB 잔차 블록을 부호화한 데이터의 비트수가 증가할 수도 있고 모든 블록마다 MxN 부호화 또는 AxB 부호화를 나타내기 위한 부호화 식별 정보를 비트스트림에 포함시켜야 하지만, 반면 AxB 잔차 블록의 블록 형태 정보와 블록 위치 정보를 부호화하기 위해 소요되는 비트량을 더욱 줄일 수 있다. 예를 들어, 기 설정된 개수가 '8'인 경우, AxB 잔차 블록은 3x3, 4x3, 3x4 중 하나로 구성될 수 있으므로, AxB 잔차 블록의 형태도 더 적은 경우의 수 중 하나로 결정되고, AxB 잔차 블록의 위치도 더 적은 경우의 수 중 하나로 결정되기 때문에, 블록 형태 정보와 블록 위치 정보를 더 적은 비트로 표현할 수 있다.

본 발명의 제 5 실시예에 따른 영상 복호화 장치는 도 12를 통해 전술한 본 발명의 제 1 실시예에 따른 영상 복호화 장치(1200)와 동일하게 구성된다. 그에 따라 본 발명의 제 5 실시예에 따른 영상 복호화 방법도 도 13을 통해 전술한 본 발명의 제 1 실시예에 다른 영상 복호화 방법과 동일하다.

여기서, 본 발명의 제 5 실시예에서는 제 4 실시예와는 달리 영상 복호화 장치가 양자화 주파수 계수의 개수를 먼저 판단하지 않는 이유는 양자화 주파수 계수열의 토탈 계수(Total Coefficient)와 토탈 제로(Totalzero)를 통해 확인한 해당 블록의 양자화 주파수 계수의 개수가 기 설정된 'N'개를 초과한다고 해서 반드시 하는 경우에는 잔차 블록이 AxB 부호화되었다고 판단할 수 없기 때문이다. 즉, MxN 부호화를 수행한 경우에도 양자화 주파수 계수의 개수가 N개를 초과할 수 있기 때문에, 양자화 주파수 계수의 개수로 잔차 블록이 AxB 부호화되었는지 또는 MxN 부호화되었는지 여부를 판단할 수 없다. 따라서, 본 발명의 제 5 실시예에 따른 영상 복호화 장치는, 제 1 실시예와 같이, 비트스트림으로부터 모드 정보의 부호화 식별 정보를 읽어들여 MxN 부호화인지 AxB 부호화인지 여부를 판단하고, AxB 부호화인 경우에는 모드 정보의 블록 형태 정보와 블록 위치 정보를 추가로 읽어들여 AxB 복호화를 수행한다.

이상에서 전술한 본 발명의 제 1 실시예 내지 제 5 실시예 중 하나 이상을 선택적으로 결합하면 후술할 제 6 실시예와 같이 구현할 수 있다. 즉, 본 발명의 제 6 실시예에 따른 영상 부호화 장치는 영상을 부호화하는 장치로서, 현재 블록을 예측하여 예측 블록을 생성하는 예측부, 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부, MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부를 포함하여 구성될 수 있다. 여기서, AxB 부호화부는 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 모드 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.

*또한, 본 발명의 제 6 실시예에 따른 영상 부호화 장치는 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화부와 MxN 잔차 블록 내에 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 MxN 잔차 블록 및 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하는 부호화 모드 결정부를 추가로 포함할 수 있다.

본 발명의 제 6 실시예에 따라 영상을 부호화하는 방법에 따르면, 영상 부호화 장치는 현재 블록을 예측하여 예측 블록을 생성하는 단계와 현재 블록과 예측 블록을 감산하여 MxN 잔차 블록을 생성하고, MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 단계를 수행할 수 있다. 또한, 영상 부호화 장치는 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입하는 단계를 추가로 수행할 수 있다.

또한, 영상 부호화 장치는 AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기와 동일한 경우에는 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 단계를 추가로 수행할 수 있으며, MxN 잔차 블록이 임펄스 성분의 잔차 신호를 포함하지 않는 경우에는 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하여 부호화하는 단계를 추가로 수행할 수 있다.

여기서, 영상 부호화 장치는 AxB 부호화를 수행하는 데 있어서, AxB 잔차 블록을 변환하고 양자화한 양자화 주파수 계수를 AxB 잔차 블록의 형태에 따라 다른 스캔 방식으로 스캔하여 부호화할 수 있으며, AxB 잔차 블록의 크기가 MxN 잔차 블록의 크기보다 작은 경우에만 AxB 잔차 블록을 부호화할 수 있다. 또한, AxB 잔차 블록은 사각형 블록 형태 또는 대각선 블록 형태일 수 있다. 만약, AxB 잔차 블록이 대각선 블록 형태인 경우, 영상 부호화 장치는 대각선 블록 식별 정보 및 대각선 블록 위치 정보 중 하나 이상을 생성하여 비트스트림에 삽입하는 단계를 추가로 수행할 수 있다.

또한, 영상 부호화 장치는 AxB 잔차 블록의 임펄스 비율이 임계값 이상인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 또한, 영상 부호화 장치는 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 특히, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 부호화할 수 있다. 이때, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주 파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.

또한, 영상 부호화 장치는 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록을 부호할 수 있다. 특히, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록을 부호화할 수 있다. 이때, 영상 부호화 장치는 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수의 값 중 적어도 하나 이상이 '0'이 아니고 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 AxB 잔차 블록의 블록 형태 정보, AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 비트스트림에 삽입할 수 있다.

본 발명의 제 6 실시예에 따른 영상을 복호화하는 장치는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부, 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부, AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부, 현재 블록을 예측하여 예측 블록을 생성하는 예측부 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하여 구성될 수 있다.

또한, 본 발명의 제 6 실시예에 따른 영상을 복호화하는 방법에 따르면, 영상 복호화 장치는, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 단계, 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 단계, AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 단계, 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 복원 단계를 수행할 수 있다.

여기서, 영상 복호화 장치는, AxB 잔차 블록을 생성하는 데 있어서, 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 형태 정보에 기초하여 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환함으로써 AxB 잔차 블록을 생성할 수 있다. 또한, 영상 복호화 장치는 MxN 잔차 블록 생성하는 데 있어서, 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 위치 정보에 기초하여 MxN 잔차 블록을 생성할 수 있다. 또한, 하나 이상의 잔차 신호는 기 설정된 값을 가질 수 있는데, 특히 모두 '0'의 값으로 설정될 수 있다. 또한, 영상 복호화 장치는 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호를 하나 이상의 잔차 신호로 이용하여 MxN 잔차 블록환 생성할 수 있다.

또한, 영상 복호화 장치는 AxB 잔차 블록을 생성하는 데 있어서, 비트스트림으로부터 모드 정보를 추출할 수 있으며, 비트스트림으로부터 추출되는 모드 정보 에 포함된 부호화 식별 정보에 의해 AxB 부호화가 식별되는 경우에만, AxB 잔차 블록을 생성할 수 있다. 그리고 영상 복호화 장치는 AxB 잔차 블록을 생성하는 데 있어서, 양자화 주파수 계수열의 양자화 주파수 계수의 개수가 기 설정된 개수 이하인 경우에만 AxB 잔차 블록을 생성할 수 있다.

또한, 영상 복호화 장치는 영상을 복호화하는 장치로서, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부; AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부; 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및 예측 블록과 MxN 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함할 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이 러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 장치와 방법 등의 분야에 적용되어, 예측의 부정확 등의 원인으로 인해 임펄스 성분의 잔차 신호가 발생하는 경우 부호화 및 복호화 방법을 달리하여 영상을 효율적으로 부호화하거나 복호화함으로써 부호화 효율을 향상시키는 효과를 발생하는 매우 유용한 발명이다.

도 1 및 도 2는 인트라 예측 및 인터 예측에 따라 예측하는 모습을 나타낸 예시도,

도 3은 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,

도 4는 변환 전의 잔차 신호와 변환 후의 주파수 계수를 나타낸 예시도,

도 5는 임펄스가 주파수 영역에 미치는 모습을 나타낸 예시도,

도 6은 본 발명의 제 1 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,

도 7은 본 발명에 따른 AxB 잔차 블록을 구성하는 모습을 나타낸 예시도,

도 8은 본 발명에 따라 나머지 잔차 신호에 임의 값을 설정하는 모습을 나타낸 예시도,

도 9는 본 발명에 따라 AxB 블록 단위로 주파수 영역으로 변환하는 과정을 나타낸 예시도,

도 10은 본 발명에 따라 AxB 블록 형태에 따른 스캔 방식을 나타낸 예시도,

도 11은 본 발명의 제 1 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,

도 12는 본 발명의 제 1 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,

도 13은 본 발명의 제 1 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,

도 14는 본 발명의 제 2 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,

도 15는 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,

도 16은 본 발명의 제 3 실시예에 따른 영상 부호화 장치의 구성을 간략하게 타나낸 블록 구성도,

도 17은 본 발명의 제 3 실시예에 따라 대각선 블록 형태의 AxB 잔차 블록을 구성하는 모습을 나타낸 예시도,

도 18은 본 발명의 제 4 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,

도 19는 본 발명의 제 4 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,

Claims

영상을 부호화하는 방법에 있어서,

현재 블록을 예측하여 예측 블록을 생성하고 상기 현재 블록과 상기 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계; 및

상기 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화 단계

를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 영상 부호화 방법은,

상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 부호화 단계는,

상기 AxB 잔차 블록을 변환하고 양자화한 양자화 주파수 계수를 상기 AxB 잔차 블록의 형태에 따라 다른 스캔 방식으로 스캔하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 부호화 단계는,

상기 AxB 잔차 블록의 크기가 상기 MxN 잔차 블록의 크기보다 작은 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 영상 부호화 방법은,

상기 AxB 잔차 블록의 크기가 상기 MxN 잔차 블록의 크기와 동일한 경우에는 상기 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 영상 부호화 방법은,

상기 MxN 잔차 블록이 상기 임펄스 성분의 잔차 신호를 포함하지 않는 경우에는 상기 MxN 잔차 블록의 모든 잔차 신호를 '0'으로 설정하여 부호화하는 무부호화 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 잔차 블록은,

사각형 블록 형태 또는 대각선 블록 형태인 것을 특징으로 하는 영상 부호화 방법.
제 7 항에 있어서, 상기 영상 부호화 방법은,

상기 AxB 잔차 블록이 상기 대각선 블록 형태인 경우, 대각선 블록 식별 정 보 및 대각선 블록 위치 정보 중 하나 이상을 생성하여 상기 비트스트림에 삽입하는 대각선 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 부호화 단계는,

상기 AxB 잔차 블록의 임펄스 비율이 임계값 이상인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 부호화 단계는,

상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 10 항에 있어서, 상기 AxB 부호화 단계는,

상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 11 항에 있어서, 상기 영상 부호화 방법은,

상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 AxB 부호화 단계는,

상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 13 항에 있어서, 상기 AxB 부호화 단계는,

상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제 14 항에 있어서, 상기 영상 부호화 방법은,

상기 MxN 찬차 블록이 변환 및 양자화되어 생성되는 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아니고 상기 AxB 잔차 블록의 화소의 개수가 기 설정된 개수를 초과하는 경우에만 상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 식별 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 모드 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1 항에 있어서, 상기 영상 부호화 방법은,

상기 MxN 잔차 블록 내의 상기 AxB 잔차 블록을 제외한 나머지 잔차 신호의 대체 잔차 신호를 식별하는 대체 잔차 신호 정보를 상기 비트스트림에 삽입하는 대표 잔차 신호 정보 삽입 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
영상을 부호화하는 장치에 있어서,

현재 블록을 예측하여 예측 블록을 생성하는 예측부;

상기 현재 블록과 상기 예측 블록을 감산하여 MxN 잔차 블록을 생성하는 감산부; 및

상기 MxN 잔차 블록 내의 임펄스 성분의 잔차 신호를 포함하는 AxB 잔차 블록을 부호화하여 비트스트림을 생성하는 AxB 부호화부

를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 17 항에 있어서, 상기 영상 부호화 장치는,

상기 MxN 잔차 블록을 부호화하여 비트스트림을 생성하는 MxN 부호화부; 및

상기 MxN 잔차 블록 내에 상기 임펄스 성분의 잔차 신호가 포함되는지 여부에 따라 상기 MxN 잔차 블록 및 상기 AxB 잔차 블록 중 어느 잔차 블록을 부호화할지 여부를 결정하는 부호화 모드 결정부

를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 17 항에 있어서, 상기 AxB 부호화부는,

상기 AxB 잔차 블록의 블록 형태 정보, 상기 AxB 잔차 블록의 블록 위치 정보 및 AxB 부호화를 식별하기 위한 부호화 모드 정보 중 하나 이상을 포함하는 모드 정보를 생성하여 상기 비트스트림에 삽입하는 것을 특징으로 하는 영상 부호화 장치.
영상을 복호화하는 방법에 있어서,

비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계;

상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성 단계;

상기 AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성 단계;

현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및

상기 예측 블록과 상기 MxN 잔차 블록을 가산하여 상기 현재 블록을 복원하는 복원 단계

를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,

상기 비트스트림으로부터 추출되는 모드 정보에 포함된 상기 AxB 잔차 블록의 블록 형태 정보에 기초하여 상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서, 상기 MxN 잔차 블록 생성 단계는,

상기 비트스트림으로부터 추출되는 모드 정보에 포함된 AxB 잔차 블록의 블록 위치 정보에 기초하여 상기 MxN 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서, 상기 하나 이상의 잔차 신호는,

기 설정되는 값을 가지는 것을 특징으로 하는 영상 복호화 방법.
제 23 항에 있어서, 상기 하나 이상의 잔차 신호는

모두 '0'의 값으로 설정되는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서,

상기 MxN 잔차 블록 생성 단계는,

상기 비트스트림으로부터 추출되는 대체 잔차 신호 정보에 의해 식별되는 대체 잔차 신호를 상기 하나 이상의 잔차 신호로 이용하는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,

상기 비트스트림으로부터 추출되는 모드 정보에 포함된 부호화 식별 정보에 의해 AxB 부호화가 식별되는 경우에만, 상기 AxB 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
제 21 항, 제 22 항 및 제 26 항 중 어느 한 항에 있어서, 상기 복호화 단계는,

상기 비트스트림으로부터 상기 모드 정보를 추출하는 것을 특징으로 하는 영상 복호화 방법.
제 20 항에 있어서, 상기 AxB 잔차 블록 생성 단계는,

상기 양자화 주파수 계수열의 양자화 주파수 계수의 개수가 기 설정된 개수 이하인 경우에만 상기 AxB 잔차 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
영상을 복호화하는 장치에 있어서,

비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부;

상기 양자화 주파수 계수열을 AxB 블록 단위로 역 스캔, 역 양자화 및 역 변환하여 AxB 잔차 블록을 생성하는 AxB 잔차 블록 생성부;

상기 AxB 잔차 블록에 하나 이상의 잔차 신호를 추가로 결합하여 MxN 잔차 블록을 생성하는 MxN 잔차 블록 생성부;

현재 블록을 예측하여 예측 블록을 생성하는 예측부; 및

상기 예측 블록과 상기 MxN 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산부

를 포함하는 것을 특징으로 하는 영상 복호화 장치.