KR20090097016A

KR20090097016A - 영상 부호화장치 및 영상 복호화장치

Info

Publication number: KR20090097016A
Application number: KR1020080022158A
Authority: KR
Inventors: 최웅일; 김대희; 조대성
Original assignee: 삼성전자주식회사
Priority date: 2008-03-10
Filing date: 2008-03-10
Publication date: 2009-09-15

Abstract

영상 부호화장치 및 영상 복호화장치가 제공된다. 영상 부호화장치는 현재블럭의 변환계수들에 대하여 마스크에 대응하여 선택적으로 예측부호화를 수행하여 현재블럭의 레지듀 데이터를 생성하는 레지듀 생성부, 현재블럭의 레지듀 데이터를 양자화하는 양자화부, 및 현재블럭의 양자화된 레지듀 데이터를 엔트로피 부호화하여 비트스트림을 생성하는 엔트로피 부호화부로 이루어진다.

Description

영상 부호화장치 및 영상 복호화장치{Apparatus of encoding image and apparatus of decoding image}

본 발명은 영상 부호화 및 복호화에 관한 것으로서, 보다 상세하게는 움직임 예측 및 보상을 통하여 얻어진 예측영상을 마스크정보에 따라서 선택적으로 반영하여 레지듀 데이터를 생성하는 영상 부호화장치 및 방법과 영상 복호화장치 및 방법에 관한 것이다.

일반적으로 영상 부호화에 있어서 움직임 예측 및 보상시 영상에 노이즈 성분이 많이 포함되어 있는 경우에는 움직임 예측의 정확도가 매우 떨어지게 되어 많은 양의 레지듀 데이터를 발생시킨다. 레지듀 데이터의 양이 증가하면 엔트로피 부호화로 생성되는 비트스트림의 크기가 증가함으로써 압축율이 저하된다.

본 발명이 이루고자 하는 기술적 과제는 상세하게는 움직임 예측 및 보상을 통하여 얻어진 예측영상을 마스크정보에 따라서 선택적으로 반영하여 레지듀 데이터를 생성하는 영상 부호화장치 및 방법과 영상 복호화장치 및 방법을 제공하는데 있다.

상기한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 부호화장치는 현재블럭의 변환계수들에 대하여 마스크에 대응하여 선택적으로 예측부호화를 수행하여 상기 현재블럭의 레지듀 데이터를 생성하는 레지듀 생성부; 상기 현재블럭의 레지듀 데이터를 양자화하는 양자화부; 및 상기 현재블럭의 양자화된 레지듀 데이터를 엔트로피 부호화하여 비트스트림을 생성하는 엔트로피 부호화부를 포함한다.

상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 영상 복호화장치는 비트스트림을 엔트로피 복호화하는 엔트로피 복호화부; 상기 엔트로피 복호화 결과 얻어지는 복원된 현재블럭의 레지듀 데이터에 대하여 마스크에 대응하여 선택적으로 예측복호화를 수행하여 현재블럭의 변환계수를 복원하는 변환계수 복원부; 및 상기 현재블럭의 복원된 변환계수들을 역변환하여 공간영역의 부분 픽셀값으로 생성하고, 생성된 부분 픽셀값을 복원된 현재블럭에 포함시켜 복원영상을 구성하는 역변환부를 포함한다.

상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스케일러블 영상 부호화장치는 제1 해상도의 원영상을 다운 스케일링하여 제1 해상도보다 낮은 제2 해상도의 원영상을 생성하는 다운 스케일링부; 상기 제2 해상도의 원영상에 대하여 부호화를 수행하여 기본계층 비트스트림을 생성하는 기본계층 부호화부; 상기 제2 해상도의 복원영상을 업 스케일링하여 제1 해상도의 복원영상을 생성하는 업 스케일링부; 상기 제1 해상도의 원영상으로부터 상기 제1 해상도의 복원영상을 감산하여 차영상을 생성하는 감산부; 상기 차영상의 현재블럭의 변환계수들에 대하여 마스크에 대응하여 선택적으로 예측부호화를 수행하여 상기 현재블럭의 레지듀 데이터를 생성하고, 상기 현재블럭의 레지듀 데이터를 부호화하여 상위계층 비트스트림을 생성하는 상위계층 부호화부를 포함한다.

상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스케일러블 영상 복호화장치는 제1 해상도의 원영상의 부호화결과 기본계층 비트스트림과 상위계층 비트스트림으로 구성된 스케일러블 비트스트림에 있어서 상기 기본계층 비트스트림을 복호화하여 제2 해상도의 복원된 기본영상을 생성하는 기본계층 복호화부; 상기 상위계층 비트스트림의 복원된 현재블럭의 레지듀 데이터에 대하여 마스크에 대응하여 선택적으로 예측복호화를 수행하여 현재블럭의 변환계수들을 복원하고, 복원된 현재블럭의 변환계수들을 이용하여 제1 해상도의 복원된 차영상을 생성하는 상위계층 복호화부; 상기 제2 해상도의 복원된 기본 영상을 업 스케일링하여 제1 해상도의 복원된 기본 영상을 생성하는 업 스케일링부; 및 상기 제1 해상도의 복원된 기본영상과 상기 복원된 차영상을 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부를 포함한다.

이하, 본 발명의 실시예들에 대하여 첨부된 도면을 참조하여 보다 상세하세 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 영상 부호화장치의 구성을 나타내는 블럭도이다. 도 1에 도시된 영상 부호화장치(100b)는 제1 변환부(151), 감산부(153), 양자화부(155), 엔트로피 부호화부(157), 역양자화부(159), 가산부(161), 역변환부(163), 프레임 버퍼(165), 움직임 추정부(167), 움직임 보상부(169), 제2 변환 부(171) 및 예측조절부(180)를 포함하여 이루어진다. 한편, 예측조절부(180)는 마스크 저장부(173), 제1 절환부(175) 및 제2 절환부(177)을 포함하여 이루어진다. 여기서, 제1 변환부(151), 감산부(153), 양자화부(155), 엔트로피 부호화부(157), 역양자화부(159), 가산부(161), 역변환부(163), 프레임 버퍼(165), 움직임 추정부(167), 움직임 보상부(169), 제2 변환부(171) 및 예측조절부(180)는 적어도 하나의 프로세서로 구현가능하다. 한편, 제1 변환부(151), 감산부(153), 역양자화부(159), 가산부(161), 역변환부(163), 프레임 버퍼(165), 움직임 추정부(167), 움직임 보상부(169), 제2 변환부(171) 및 예측조절부(180)는 레지듀 생성부(190)를 구성할 수 있다.

도 1을 참조하면, 제1 변환부(151)는 원영상에 대하여 블럭단위로 공간영역에서 주파수영역으로 변환하고, 현재블럭의 변환계수들을 생성한다. 여기서, 변환방법의 예로는 DHT(Discrete Hadamard Transform) 혹은 DCT(Discrete Cosine Transform) 등을 들 수 있으나, 이에 한정되지는 않는다. 또한, 현재블럭의 크기는 32x32, 16x16, 8x8, 4x4 등 다양하게 설정할 수 있으나, 여기서는 8x8 블럭을 예로 들기로 한다. 감산부(153)는 현재블럭의 각 변환계수와 예측조절부(180)로부터 제공되는 움직임보상된 참조블럭의 각 변환계수 혹은 '0' 값을 감산하여 현재블럭에 대한 레지듀 데이터를 생성한다.

양자화부(155)는 감산부(153)로부터 제공되는 현재블럭의 레지듀 데이터를 양자화하고, 엔트로피 부호화부(157)는 현재블럭의 양자화된 레지듀 데이터를 엔트로피 부호화하여 비트스트림에 포함시킨다.

역양자화부(159)는 현재블럭의 양자화된 레지듀 데이터를 역양자화하여 현재블럭의 레지듀 데이터를 복원한다. 가산부(161)는 현재블럭의 복원된 레지듀 데이터와 예측조절부(180)로부터 제공되는 참조블럭의 각 변환계수 혹은 '0' 값을 가산하여 현재블럭의 변환계수를 복원한다. 역변환부(163)는 현재블럭의 복원된 변환계수를 역변환하여 공간영역의 부분 픽셀값으로 생성하고, 생성된 부분 픽셀값을 복원된 현재블럭에 포함시켜 프레임 버퍼(165)에 저장한다.

움직임 추정부(ME:167)는 프레임 버퍼(165)에 저장된 적어도 하나의 참조영상을 기준으로 하여 원영상의 현재블럭에 대한 움직임을 추정하여 움직임벡터를 생성한다. 구체적으로, 움직임 추정부(167)는 원영상의 블럭들 중 인터모드(inter mode)에 해당하는 현재블럭에 대하여, 참조영상에서 현재블럭에 가장 잘 매칭되는 참조블럭을 결정하고, 결정된 참조블럭과 현재블럭간의 변위를 나타내는 움직임벡터를 산출한다. 도시되지는 않았으나 현재블럭의 움직임벡터는 엔트로피 부호화부(157)로 제공된다.

움직임 보상부(MC:169)는 움직임 추정부(167)로부터 제공되는 움직임벡터에 대응하여 프레임 버퍼(165)로부터 참조블럭을 읽어들여 움직임보상된 참조블럭을 생성한다.

제2 변환부(171)는 움직임 보상부(169)에서 생성된 움직임 보상된 참조블럭을 공간영역에서 주파수영역으로 변환하여 참조블럭의 변환계수들을 생성한다.

예측조절부(180)는 예측부호화 여부를 결정하는 마스크 정보에 따라서 움직임보상된 참조블럭의 변환계수 혹은 '0' 값을 선택적으로 감산부(153) 및 가산 부(161)로 제공한다. 구체적으로 살펴보면, 예측조절부(180)에 있어서 마스크 저장부(173)는 현재블럭의 각 변환계수에 대한 예측부호화 여부를 결정하기 위한 적어도 하나의 마스크를 저장하고 있으며, 현재블럭에 대하여 결정된 마스크에 의하여 제1 절환부(175)와 제2 절환부(177)의 절환동작이 제어된다. 마스크 저장부(173)에서 현재블럭에 대한 마스크가 결정되는 방법은 다양하다. 예를 들면, 미리 디폴트로 영상부호화장치와 영상복호화장치에서 동일한 하나의 마스크가 사용되도록 설정하거나, 복수개의 저장된 마스크 가운데 하나를 선택하여 적용하거나, 혹은 원영상의 특성에 따라 마스크를 생성한 후 생성된 새로운 마스크를 마스크 저장부(173)로 제공하여 현재블럭에 대한 마스크를 결정할 수 있다.

상기 예에서 복수개의 마스크 가운데 하나를 사용하는 경우나 마스크를 생성하여 적용하는 경우에는 마스크에 대한 정보를 비트스트림을 통해 영상복호화장치에 전달해야 한다. 따라서 이 경우 도시되지는 않았으나 각 블럭에서 사용된 마스크 정보는 엔트로피 부호화부(157)로 제공된다. 각 블럭에 대한 마스크 정보, 즉 마스크 선택 정보나 마스크 생성 정보는 블럭 단위로 부호화할 수도 GOB(Group of Block), 혹은 픽춰나 시퀀스 단위로 부호화하여 전달될 수 있다.

제1 절환부(175)와 제2 절환부(177)는 마스크 저장부(173)에서 결정된 현재블럭의 마스크에 동기되어 동작한다. 제1 절환부(175)의 절환동작에 따라서 제공되는 움직임보상된 참조블럭의 변환계수 혹은 '0' 값은 가산부(161)로 제공되고, 제2 절환부(177)의 절환동작에 따라서 제공되는 움직임보상된 참조블럭의 변환계수 혹은 '0' 값은 감산부(153)로 제공된다.

이에 따르면, 마스크에 대응하여, 현재블럭을 구성하는 변환계수들 중 일부는 예측부호화가 수행되어 변환계수들간의 레지듀 데이터가 부호화되고, 나머지는 예측부호화가 수행되지 않아 변환계수 자체가 부호화된다.

도 2는 본 발명의 일실시예에 따른 영상 복호화장치의 구성을 나타낸 블럭도이다. 도 2에 도시된 영상 복호화장치(200b)는 엔트로피 복호화부(251), 역양자화부(253), 가산부(255), 역변환부(257), 프레임 버퍼(259), 변환부(261), 움직임 보상부(263) 및 예측조절부(270)를 포함하여 이루어진다. 한편, 예측조절부(270)는 마스크 저장부(265) 및 절환부(267)을 포함하여 이루어진다. 여기서, 엔트로피 복호화부(251), 역양자화부(253), 가산부(255), 역변환부(257), 프레임 버퍼(259), 움직임 보상부(261), 변환부(263), 및 예측조절부(270) 는 적어도 하나의 프로세서로 구현가능하다. 여기서, 역양자화부(253), 가산부(255), 프레임 버퍼(259), 움직임 보상부(261), 변환부(263), 및 예측조절부(270)는 변환계수 복원부(280)을 구성할 수 있다.

도 2를 참조하면, 엔트로피 복호화부(251)는 입력되는 비트스트림을 엔트로피 복호화하여, 현재블럭의 부호화된 데이터는 역양자화부(263)로, 움직임벡터는 변환부(261)로 제공한다. 한편, 현재블럭의 마스크에 대한 정보는 예측조절부(270)의 마스크 저장부(265)로 제공된다.

역양자화부(253)는 현재블럭의 부호화된 레지듀 데이터를 역양자화하여 현재블럭의 레지듀 데이터를 복원한다. 가산부(255)는 현재블럭의 복원된 레지듀 데이터와 예측조절부(270)로부터 제공되는 참조블럭의 각 변환계수 혹은 '0' 값을 가산 하여 현재블럭의 변환계수를 복원한다. 역변환부(257)는 현재블럭의 복원된 변환계수를 역변환하여 공간영역의 부분 픽셀값으로 생성하고, 생성된 부분 픽셀값을 복원된 현재블럭에 포함시켜 프레임 버퍼(259)에 저장하는 동시에 복원영상을 구성하도록 한다.

움직임 보상부(MC:261)는 움직임 벡터에 대응하여 변환부(261)로부터 참조블럭을 읽어들여 움직임보상된 참조블럭을 생성한다.

변환부(263)는 움직임 보상부(261)로부터 제공되는 움직임 보상된 참조블럭을 프레임 버퍼(259)로부터 읽어들여 공간영역에서 주파수영역으로 변환하여 참조블럭의 변환계수들을 생성한다.

예측조절부(270)는 예측부호화 여부를 결정하는 마스크 정보에 따라서 움직임보상된 참조블럭의 변환계수 혹은 '0' 값을 선택적으로 가산부(255)로 제공한다. 구체적으로 살펴보면, 예측조절부(270)에 있어서 마스크 저장부(265)는 현재블럭의 각 변환계수에 대한 예측부호화 여부를 결정하기 위한 적어도 하나의 마스크를 저장하고 있으며, 현재블럭에 대하여 결정된 마스크에 의하여 절환부(267)의 절환동작이 제어된다. 마스크 저장부(265)에서 현재블럭에 대한 마스크가 결정되는 방법은 다양하다. 예를 들면, 미리 디폴트로 영상부호화장치와 영상복호화장치에서 동일한 하나의 마스크가 사용되도록 설정하거나, 비트스트림에 포함된 각 블럭의 마스크 선택 정보를 마스크 저장부(265)로 제공하여 미리 저장된 복수개의 마스크 가운데 하나를 선택하여 사용하도록 하거나, 혹은 비트스트림에 포함된 마스크 생성 정보를 마스크 저장부(265)로 제공하여 해당 블럭에 대한 새로운 마스크를 생성하 여 사용할 수 있다. 절환부(267)는 마스크 저장부(265)에서 결정된 현재블럭의 마스크에 동기되어 동작한다. 절환부(267)의 절환동작에 따라서 제공되는 움직임보상된 참조블럭의 변환계수 혹은 '0' 값은 가산부(255)로 제공된다.

상기한 실시예에 따른 영상 부호화장치 및 영상 복호화장치에 따르면, 원영상의 특성에 따라서 결정되는 마스크 정보를 이용하여, 현재블럭을 구성하는 변환계수들에 대하여 선택적으로 예측부호화를 수행할 수 있으므로, 특히 노이즈 성분을 많이 포함하는 원영상인 경우에도 압축율 저하를 방지할 수 있다.

도 3은 도 1에 도시된 영상 부호화장치를 적용하는 스케일러블 영상 부호화장치의 구성을 나타내는 블럭도이다. 스케일러블 영상 부호화장치는 다운 스케일링부(310), 기본계층 부호화부(330), 업 스케일링부(350), 감산부(360), 상위계층 부호화부(370) 및 비트스트림 통합부(390)를 포함하여 이루어진다. 여기서, 다운 스케일링부(310), 기본계층 부호화부(330), 업 스케일링부(350), 감산부(360), 상위계층 부호화부(370) 및 비트스트림 통합부(390)는 적어도 하나의 프로세서로 구현가능하다. 설명의 편의를 위하여 하나의 기본계층과 하나의 상위계층을 예로 들었으나, 상위계층의 개수에는 제한되지 않는다.

도 3을 참조하면, 다운 스케일링부(310)는 제1 해상도의 원영상을 다운 스케일링하여 제1 해상도보다 낮은 제2 해상도의 원영상을 생성한다. 여기서, 제1 및 제2 해상도는 비트깊이, 영상포맷, 프레임율 및 화면사이즈 중 적어도 하나를 포함하여 정의할 수 있으나 이에 제한되지 않는다. 예를 들어, 제1 해상도와 제2 해상도가 비트깊이로 정의되는 경우, 제1 해상도는 N 비트(여기서 N은 10 이상), 제2 해상도는 8 비트일 수 있다. 한편, 제1 해상도와 제2 해상도가 영상포맷으로 정의되는 경우, 제1 해상도는 4:2:2 영상포맷, 제2 해상도는 4:2:0 영상포맷일 수 있다. 한편, 제1 해상도와 제2 해상도가 비트깊이와 영상포맷으로 정의되는 경우, 제1 해상도는 N 비트(여기서 N은 10 이상) 4:2:2 포맷, 제2 해상도는 8 비트 4:2:0 포맷일 수 있다. 한편, 제1 해상도와 제2 해상도가 프레임율로 정의되는 경우, 제1 해상도는 30Hz, 제2 해상도는 10Hz일 수 있다. 한편, 제1 해상도와 제2 해상도가 화면크기로 정의되는 경우, 제1 해상도는 HD(1920x1080), 제2 해상도는 SD(720x480)일 수 있다.

기본계층 부호화부(330)는 다운 스케일링부(310)로부터 제공되는 제2 해상도의 원영상에 대하여 부호화를 수행하여 기본계층 비트스트림을 생성한다. 기본계층 부호화부(330)에서 채용되는 부호화기법은 일반적인 비디오 코덱, 예를 들면 MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264, 혹은 SMPTE VC-1 등을 이용할 수 있다.

업 스케일링부(350)는 기본적으로 다운 스케일링부(310)의 역과정으로써 기본계층 부호화부(330)로부터 제공되는 제2 해상도의 복원영상을 업 스케일링하여 제1 해상도의 복원영상을 생성한다.

감산부(360)는 제1 해상도의 원영상으로부터 업 스케일링부(350)로부터 제공되는 제1 해상도의 복원영상을 감산하여 차영상을 생성한다.

상위계층 부호화부(370)는 감산부(360)로부터 제공되는 차영상을 부호화하여 상위계층 비트스트림을 생성한다. 이때, 상위계층 부호화부(370)는 도 1에 도시된 영상 부호화장치(100b)의 구성요소들 즉, 제1 변환부(151), 감산부(153), 양자화부(155), 엔트로피 부호화부(157), 역양자화부(159), 가산부(161), 역변환부(163), 프레임 버퍼(165), 움직임 추정부(167), 움직임 보상부(169), 제2 변환부(171) 및 예측조절부(180)로 구현될 수 있다. 단지 차이점으로는 변환부(151)의 입력이 원영상의 현재블럭이 아니라, 차영상의 현재블럭이라는 것이므로 기본 동작에는 영향을 미치지 않는다. 즉, 상위계층 부호화부(370)는 차영상의 현재블럭의 변환계수들에 대하여 마스크에 대응하여 선택적으로 예측부호화를 수행하여 현재블럭의 레지듀 데이터를 생성하고, 현재블럭의 레지듀 데이터를 부호화하여 상위계층 비트스트림을 생성한다.

비트스트림 통합부(390)는 기본계층 부호화부(330)로부터 제공되는 기본계층 비트스트림과 상위계층 부호화부(370)로부터 제공되는 상위계층 비트스트림을 통합하여 스케일러블 비트스트림을 생성한다.

도 4는 도 2에 도시된 영상 복호화장치를 적용하는 스케일러블 영상 복호화장치의 구성을 나타내는 블럭도이다. 스케일러블 영상 복호화장치는 비트스트림 식별부(410), 기본계층 복호화부(430), 상위계층 복호화부(450), 업 스케일링부(470) 및 가산부(470)를 포함하여 이루어진다. 여기서, 비트스트림 식별부(410), 기본계층 복호화부(430), 상위계층 복호화부(450), 업 스케일링부(470) 및 가산부(470)는 적어도 하나의 프로세서로 구현가능하다. 마찬가지로, 설명의 편의를 위하여 하나의 기본계층과 하나의 상위계층을 예로 들었으나, 상위계층의 개수에는 제한되지 않는다.

도 4를 참조하면, 비트스트림 식별부(410)는 스케일러블 비트스트림으로부터 기본계층 비트스트림과 상위계층 비트스트림을 식별하여 기본계층 비트스트림은 기본계층 복호화부(430)로, 상위계층 비트스트림은 상위계층 복호화부(450)로 제공한다.

기본계층 복호화부(430)는 기본계층 비트스트림을 복호화하여 제2 해상도의복원된 기본영상을 생성한다. 마찬가지로, 기본계층 복호화부(430)에서는 기본계층 부호화부(330)에서 채용되는 부호화기법에 대응하여, 일반적인 비디오 코덱, 예를 들면 MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264, 혹은 SMPTE VC-1 등을 이용할 수 있다.

상위계층 복호화부(450)는 상위계층 비트스트림을 복호화하여 제1 해상도의 복원된 차영상을 생성한다. 이때, 상위계층 복호화부(450)는 도 2에 도시된 영상 복호화장치(200b)의 구성요소들 즉, 엔트로피 복호화부(251), 역양자화부(253), 가산부(255), 역변환부(257), 프레임 버퍼(259), 움직임 보상부(261), 변환부(263) 및 예측조절부(270)로 구현될 수 있다. 단지 차이점으로는 엔트로피 복호화부(251)의 입력이 일반 비트스트림이 아니라, 상위계층 비트스트림이라는 것이므로 기본 동작에는 영향을 미치지 않는다. 즉, 상위계층 복호화부(450)는 상위계층 비트스트림의 복원된 현재블럭의 레지듀 데이터에 대하여 마스크에 대응하여 선택적으로 예측복호화를 수행하여 현재블럭의 변환계수들을 복원하고, 복원된 현재블럭의 변환계수들을 이용하여 제1 해상도의 복원된 차영상을 생성한다.

업 스케일링부(470)는 기본계층 복호화부(43)로부터 제공되는 제2 해상도의 복원된 기본 영상을 업 스케일링하여 제1 해상도의 복원된 기본 영상을 생성한다.

가산부(470)는 업 스케일링부(470)로부터 제공되는 제1 해상도의 복원된 기본영상과 상위계층 복호화부(450)로부터 제공되는 복원된 차영상을 가산하여 제1 해상도의 최종 복원영상을 생성한다.

상기한 실시예에 따르면, 원영상에 노이즈 성분이 많이 포함되거나 차영상에 대하여 부호화하는 경우 선택적 예측부호화를 수행함으로써 향상된 압축율을 보장할 수 있다. 특히, 디지털 시네마를 비롯하여 UHD(Ultra Hight Definition) 영상과 같이 고해상도 영상인 경우, 카메라 특성으로 인하여 다양한 노이즈 성분을 포함하더라도 노이즈 성분으로 초래될 수 있는 예측부호화 효율의 저하를 방지할 수 있다. 그 결과, 본 발명의 실시예에 따른 영상 부호화 및 복호화 스킴은 고해상도 영상 압축을 지원하기 위한 핵심 기술로서, 영상 표준화에 채택되거나 다양한 고화질 영상 코덱에 탑재될 가능이 높다.

도 5a 내지 도 5c는 본 발명의 일실시예에 따른 도 1 및 도 2에 도시된 마스크 저장부(173, 265)에 저장되는 마스크의 예들을 나타낸 도면이다. 상기 예에서는 변환 계수로 이루어진 참조 블럭의 크기가 8x8 블럭이라는 가정하에 참조 블럭 크기에 대응하여 8x8 블럭에 대한 마스크를 나타내고 있다. 만일 가변 블럭 단위 변환 부호화로 인하여 참조 블럭이 8x8이 아닌 8x4, 4x8, 4x4 등 다른 크기의 블럭인 경우에는 각 참조 블럭에 대응하여 마스크의 크기도 결정되어야 한다. 도 5에서 8x8 블럭 내 숫자들은 8x8 참조 블럭의 64개 변환 계수에 대응하는 것으로 변환 계수의 위치를 나타낸 것이다.

도 5a 내지 도 5c에 도시된 각 마스크에 있어서 참조부호 510, 530 혹은 550은 예측부호화가 수행되는 제1 영역을 나타내고, 참조부호 520, 540 혹은 560은 예측부호화가 수행되지 않는 제2 영역을 나타낸다. 현재 블럭의 변환 계수값에 대해 제1 영역에 해당하는 각 변환 계수값들에 대해서는 참조블럭의 동일 위치 변환 계수값을 예측치로 하여 레지듀 데이터를 생성한다. 한편, 현재 블럭의 변환 계수값에 대해 제2 영역에 해당하는 각 변환 계수값들에 대해서는 참조블럭 대신 '0'dmf 예측치로 사용하여 레지듀 데이터를 생성한다. 따라서 제2 영역에 해당하는 현재 블럭의 각 변환 계수값들은 그 값 자체가 레지듀 데이터가 된다.

예측을 수행하는 제1 영역과 예측 부호화가 수행되지 않는 제2 영역을 나누는 방법, 즉 마스크를 생성하는 방법에 있어서 한 예로 문턱치를 이용할 수 있다. 제1 영역은 제1 문턱값보다 높거나 같은 주파수 성분을 포함하는 영역이고, 제2 영역은 제1 문턱값보다 낮은 주파수 성분을 포함하는 영역일 수 있다. 제1 문턱값은 수평방향과 수직방향에 대하여 동일하게 설정할 수 있고, 서로 다르게 설정할 수도 있다. 제1 문턱값은 원영상의 특성에 따라서 미리 시뮬레이션 혹은 실험적으로 미리 최적의 값으로 설정가능하다. 또는 도 5a ~ 도 5c에 도시된 것처럼 복수개 제1 문턱값들을 이용하여 복수개의 마스크를 생성한 다음, 각 블럭 단위로 비트율-왜곡 (Rate-distortion) 측면에서 유리한 마스크를 선택적으로 적용하도록 할 수 있다. 이 경우 마스크 저장부에서는 복수개의 마스크 패턴을 저장한 다음, 각 블럭 단위로 사용된 마스크의 인덱스를 엔트로피 부호화부에 전달하여 비트스트림으로 전송해야 한다.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 도 1 및 도 2에 도시된 마스크 저장부(173, 265)에 저장되는 마스크의 예들을 나타낸 도면이다. 이 경우, 마스크는 현재블럭에서 수행되는 스캔순서에 따라서 결정된다. 도 6a는 현재블럭이 8x8 블럭이고 지그재그 스캔방식인 예로서, 스캔순서가 빠른 제1 영역(610)에 대해서는 예측부호화가 수행되도록 설정하고, 나머지 제2 영역(620)에 대해서는 예측부호화가 수행되지 않도록 설정한다. 한편, 도 6b는 현재블럭이 4x4 블럭이고 지그재그 스캔방식인 예로서, 스캔순서가 빠른 제1 영역(630)에 대해서는 예측부호화가 수행되도록 설정하고, 나머지 제2 영역(640)에 대해서는 예측부호화가 수행되지 않도록 설정한다. 즉, 제1 영역은 현재블럭의 변환계수들에 대한 스캔 순서에서 제2 문턱값보다 높거나 같은 순위의 주파수 성분을 포함하는 영역이고, 제2 영역은 제2 문턱값보다 낮은 순위의 주파수 성분을 포함하는 영역일 수 있다. 제2 문턱값은 원영상의 특성에 따라서 미리 시뮬레이션 혹은 실험적으로 미리 최적의 값으로 설정가능하다.

도 5a 내지 도 5c 및 도 6a & 도 6b에 있어서, 예측부호화가 수행되는 영역은 노이즈 성분에 덜 민감한 영역이고, 예측부호화가 수행되지 않는 영역은 노이즈 성분에 민감한 영역이라고 볼 수 있다.

또한, 마스크는 픽쳐 단위, 프레임/필드 단위 혹은 변환블럭 단위로 서로 다른 형태로 결정되어 해당 단위로 비트스트림에 포함될 수 있으나, 이에 한정되는 것은 아니다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으 로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일실시예에 따른 영상 부호화장치의 구성을 나타내는 블럭도이다.

도 2는 본 발명의 일실시예에 따른 영상 복호화장치의 구성을 나타내는 블럭도이다.

도 3은 도 1에 도시된 영상 부호화장치를 적용하는 스케일러블 영상 부호화장치의 구성을 나타내는 블럭도이다.

도 4는 도 2에 도시된 영상 복호화장치를 적용하는 스케일러블 영상 복호화장치의 구성을 나타내는 블럭도이다.

도 5a 내지 도 5c는 본 발명의 일실시예에 따른 도 1 및 도 2에 도시된 마스크 저장부에 저장되는 마스크의 예들을 나타낸 도면이다.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 도 1 및 도 2에 도시된 마스크 저장부에 저장되는 마스크의 예들을 나타낸 도면이다.

Claims

현재블럭의 변환계수들에 대하여 마스크에 대응하여 선택적으로 예측부호화를 수행하여 상기 현재블럭의 레지듀 데이터를 생성하는 레지듀 생성부;

상기 현재블럭의 레지듀 데이터를 양자화하는 양자화부; 및

상기 현재블럭의 양자화된 레지듀 데이터를 엔트로피 부호화하여 비트스트림을 생성하는 엔트로피 부호화부를 포함하는 영상 부호화장치.
제1 항에 있어서, 상기 마스크의 형태는 원영상의 특성 혹은 상기 현재블럭의 스캔순서에 따라서 결정되는 영상 부호화장치.
제1 항에 있어서, 상기 마스크는 상기 현재블럭에서 예측부호화를 수행하는제1 영역과 예측부호화를 수행하지 않는 제2 영역으로 구성되는 영상 부호화장치.
제3 항에 있어서, 상기 제1 영역은 제1 문턱값보다 높거나 같은 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제1 문턱값보다 낮은 주파수 성분을 포함하는 영역인 영상 부호화장치.
제3 항에 있어서, 상기 제1 영역은 상기 현재블럭의 변환계수들에 대한 스캔 순서에서 제2 문턱값보다 높거나 같은 순위의 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제2 문턱값보다 낮은 순위의 주파수 성분을 포함하는 영역인 영상 부호화장치.
제1 항에 있어서, 상기 비트스트림은 상기 현재블럭에 대한 부호화된 레지듀 데이터, 상기 마스크에 대한 정보, 및 움직임 벡터를 포함하는 영상 부호화장치.
제1 항에 있어서, 상기 레지듀 생성부는

상기 현재블럭에 대한 움직임 추정을 수행하여 움직임 벡터를 생성하고, 상기 움직임 벡터에 대응하는 상기 현재블럭에 대한 참조블럭을 주파수영역으로 변환하여 변환계수들로 구성된 움직임보상된 참조블럭을 생성하는 움직임 추정 및 보상부;

상기 마스크에 대응하여 상기 현재블럭의 각 변환계수에 대한 예측부호화 여부를 조절하는 예측조절부; 및

상기 현재블럭의 변환계수들로부터 상기 예측조절부를 통하여 제공되는 상기 움직임보상된 참조블럭의 변환계수들 혹은 '0' 값을 감산하여 상기 현재블럭의 레지듀 데이터를 생성하는 감산부를 포함하는 영상 부호화장치.
비트스트림을 엔트로피 복호화하는 엔트로피 복호화부;

상기 엔트로피 복호화 결과 얻어지는 복원된 현재블럭의 레지듀 데이터에 대하여 마스크에 대응하여 선택적으로 예측복호화를 수행하여 현재블럭의 변환계수를 복원하는 변환계수 복원부; 및

상기 현재블럭의 복원된 변환계수들을 역변환하여 공간영역의 부분 픽셀값으로 생성하고, 생성된 부분 픽셀값을 복원된 현재블럭에 포함시켜 복원영상을 구성하는 역변환부를 포함하는 영상 복호화장치.
제8 항에 있어서, 상기 마스크의 형태는 원영상의 특성 혹은 상기 현재블럭의 스캔순서에 따라서 결정되는 영상 복호화장치.
제8 항에 있어서, 상기 마스크는 상기 현재블럭에서 예측부호화를 수행하는제1 영역과 예측부호화를 수행하지 않는 제2 영역으로 구성되는 영상 복호화장치.
제10 항에 있어서, 상기 제1 영역은 제1 문턱값보다 높거나 같은 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제1 문턱값보다 낮은 주파수 성분을 포함하는 영역인 영상 복호화장치.
제10 항에 있어서, 상기 제1 영역은 상기 현재블럭의 변환계수들에 대한 스캔 순서에서 제2 문턱값보다 높거나 같은 순위의 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제2 문턱값보다 낮은 순위의 주파수 성분을 포함하는 영역인 영상 복호화장치.
제8 항에 있어서, 상기 변환계수 복원부는

상기 복원된 현재블럭의 레지듀 데이터를 역양자화하는 역양자화부;

상기 엔트로피 복호화 결과 얻어지는 상기 현재블럭의 움직임벡터에 대응하는 참조블럭을 공간영역에서 주파수영역으로 변환하여 움직임보상된 참조블럭을 생성하는 움직임 보상부;

상기 마스크에 대응하여 상기 현재블럭의 각 변환계수에 대한 예측복호화 여부를 조절하는 예측조절부; 및

상기 현재블럭의 역양자화된 레지듀 데이터와 상기 예측조절부를 통해 제공되는 참조블럭의 각 변환계수 혹은 '0' 값을 가산하여 현재블럭의 변환계수를 복원하는 가산부를 포함하는 영상 복호화장치.
제8 항에 있어서, 상기 비트스트림은 상기 현재블럭에 대한 부호화된 레지듀 데이터, 상기 마스크에 대한 정보, 및 움직임 벡터를 포함하는 영상 복호화장치.
제1 해상도의 원영상의 부호화결과 기본계층 비트스트림과 상위계층 비트스트림으로 구성된 스케일러블 비트스트림에 있어서 상기 기본계층 비트스트림을 복호화하여 제2 해상도의 복원된 기본영상을 생성하는 기본계층 복호화부;

상기 상위계층 비트스트림의 복원된 현재블럭의 레지듀 데이터에 대하여 마스크에 대응하여 선택적으로 예측복호화를 수행하여 현재블럭의 변환계수들을 복원하고, 복원된 현재블럭의 변환계수들을 이용하여 제1 해상도의 복원된 차영상을 생 성하는 상위계층 복호화부;

상기 제2 해상도의 복원된 기본 영상을 업 스케일링하여 제1 해상도의 복원된 기본 영상을 생성하는 업 스케일링부; 및

상기 제1 해상도의 복원된 기본영상과 상기 복원된 차영상을 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부를 포함하는 스케일러블 영상 복호화장치.
제15 항에 있어서, 상기 마스크는 상기 현재블럭에서 예측부호화를 수행하는제1 영역과 예측부호화를 수행하지 않는 제2 영역으로 구성되는 스케일러블 영상 복호화장치.
제16 항에 있어서, 상기 제1 영역은 제1 문턱값보다 높거나 같은 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제1 문턱값보다 낮은 주파수 성분을 포함하는 영역인 스케일러블 영상 복호화장치.
제16 항에 있어서, 상기 제1 영역은 상기 현재블럭의 변환계수들에 대한 스캔 순서에서 제2 문턱값보다 높거나 같은 순위의 주파수 성분을 포함하는 영역이고, 상기 제2 영역은 상기 제2 문턱값보다 낮은 순위의 주파수 성분을 포함하는 영역인 스케일러블 영상 복호화장치.
제15 항에 있어서, 상기 상위계층 복호화부는

상기 복원된 현재블럭의 레지듀 데이터를 역양자화하는 역양자화부;

상기 엔트로피 복호화 결과 얻어지는 상기 현재블럭의 움직임벡터에 대응하는 참조블럭의 변환계수값들을 이용하여 움직임보상된 참조블럭을 생성하는 움직임 보상부;

상기 마스크에 대응하여 상기 현재블럭의 각 변환계수에 대한 예측복호화 여부를 조절하는 예측조절부; 및

상기 현재블럭의 역양자화된 레지듀 데이터와 상기 예측조절부를 통해 제공되는 참조블럭의 각 변환계수 혹은 '0' 값을 가산하여 현재블럭의 변환계수를 복원하는 가산부를 포함하는 스케일러블 영상 복호화장치.
제15 항에 있어서, 상기 상위계층 비트스트림은 상기 현재블럭에 대한 부호화된 레지듀 데이터, 상기 마스크에 대한 정보, 및 움직임 벡터를 포함하는 스케일러블 영상 복호화장치.