KR20000025386A

KR20000025386A - 동영상 부호화/복호화 방법 및 장치

Info

Publication number: KR20000025386A
Application number: KR1019980042434A
Authority: KR
Inventors: 신재섭; 손세훈; 조대성; 서양석
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1998-10-10
Filing date: 1998-10-10
Publication date: 2000-05-06
Also published as: KR100480751B1

Abstract

본 발명은 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화/복호화 방법 및 장치에 관한 것으로서, 그 동영상 부호화방법은 입력되는 비디오와 형상정보인 마스크 1 로부터 크기가 반으로 축소(103)된 데이터를 사용하여 마스크 2와 Padding 1 영상을 만드는 단계; Base Layer을 생성하는 단계; 역양자화 및 역주파수 변환하여 재현된 영상과 원영상과의 차이를 구하는 단계; 차이에 대한 DCT를 수행하는 단계; 각 주파수 별로 분류하여 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0, BSL1, ... , BSL(n)을 생성하는 단계: Base Layer에 저역 주파수 성분인 BSL0가 더해지면 좀더 화질이 향상된 BSNR(0)을 만들어 내는 단계: 최고주파 성분을 더하면 가장 향상된 화질의 BSNR(n)의 비트스트림 구성을 가능케 하는 단계; 저해상도의 재생된 영상을 바탕으로 공간적으로 확대한 영상에 대해서도 같은 원리를 적용하여 해상도를 높인 경우에도 적용시킬 수 있도록 2배 확대시킨 마스크 3과 Padding 2 영상에 대해서도 같은 해상도의 원영상과 Padding 2 영상과의 차이를 구하는 단계; 차이에 대한 DCT를 수행하여 각 주파수 별로 분류해서 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0, ESL1, ... , ESL(n)을 생성하는 단계; 및 EL로부터 비트스트림의 추가에 따라서 높은 해상도에서도 화질을 점점 향상되는 방향으로 가변적으로 조절하는 단계를 포함한다.

Description

동영상 부호화/복호화 방법 및 장치

본 발명은 데이터 부호화 및 복호화에 관한 것으로서, 특히 임의의 형태를 갖는 물체가 연속하여 움직이는 경우에 이를 효율적으로 부호화하여 전송하는, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화/복호화 방법 및 장치에 관한 것이다.

지금까지 연구되어온 많은 부호화/복호화 방식들이 대부분 TV의 화면처럼 일정한 크기를 가지는 사각형 모양의 화상을 부호화/복호화하는 방식에 관한 것이었다. 그 예가 MPEG1, MPEG2, H.261, H.263 등이다.

기존에 개발된 대부분의 부호화 방식들은 극히 제한된 계층구조의 서비스만을 제공함으로써 인터넷/인트라넷(Internet/Intranet), 무선네트웍(wireless network)과 같이 전송로의 상태가 수시로 변화하는 구조에 능동적으로 대처한다는 것이 가능하지 못했다. 기존 방식 중에서 대표적이라고 할수 있는 MPEG-2(ISO/IEC JTC1/SC29/WG11 13818-2: MPEG-2 video)에서 사각형 스크린 형태의 동영상에 대하여 2개의 공간상 계층구조를 갖는 공간 계층 부호화(spatial scalable coding) 및 2~3개의 개층 구조를 갖는 화질상 계층 부호화(SNR scalable coding)를 제안하고 있으나 계층수의 제한으로 인하여 실질적 응용 분야(real application area)를 창조하기에는 제한점을 가지고 있었다. 또한, 임의의 형태를 가지는 물체(Arbitrary shaped object)에 대한 효율적인 압축방식을 제안하고 있는 MPEG-4(ISO/IEC JTC1/SC29/WG11 14496-2: MPEG-4 video)에서도 공간상 시간상 계층구조를 갖는 부호화 방식을 제안하고 있으나 동일한 공간상에서의 화질상의 계층구조를 비트스트림 상에서 제공해 줄 수 있는 방식은 아직 제안되고 있지 못한 실정이기 때문에 서비스의 질을 높이는데 한계점을 가지고 있다.

본 발명은 다양한 질의 서비스(QoS: Quality of Service)를 가능하게 하기 위한 공간상/화질상의 계층구조를 가지는 부호화 방식을 제공한다.

본 발명은 부호화하는 과정에서 전송로의 제한이나 수신단의 수신능력에 따라서 차별적으로 데이터를 전송할 수 있도록 해주는 계층적 부호화(scalable coding) 방식을 제공하며, 사각형 형태의 화상 뿐만아니라 임의의 모양을 갖는 물체에 대한 계층적 부호화 방식을 제공한다.

본 발명은 공간상의 계층적 부호화 뿐만아니라 일단 정해진 공간에 대해서 화질을 가변적으로 결정해 줄 수 있는 화질상 계층 부호화(SNR 혹은 Fine Granular scalable coding) 기능을 동시에 제공하며, 보다 세밀한 구조의 서비스 질을 제공해 줄 수 있는 방식을 제공한다.

아울러, 상기 부호화된 데이터를 복호화하는 방식도 제공한다.

도 1은 화상의 공간 및 화질상의 계층구조 관계를 도시한 것이다.

도 2는 본발명에 의한 공간/화질상 스케일러블 부호화기의 전체구조를 나타낸 것이다.

도 3은 본발명에 의한 공간/화질상 스케일러블 복호화기의 전체구조를 나타낸 것이다.

도 4는 주파수 대역의 분할을 통한 화질상 계층구조를 구현하는 과정을 보여주는 것이다.

도 5는 밝기 정보의 각 계층을 구성하는 주파수 성분들의 집합을 보여주는 것이다.

도 6은 색차 정보의 각 계층을 구성하는 주파수 성분들의 집합을 보여주는 것이다.

도 7은 형상정보의 존재유무에 따른 정보형태를 표현하는 코드의 구성예이다.

상기 기술적 과제를 해결하기 위한 본 발명에 의한, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법은, 공간적 계층 구조로 형상 정보를 부호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 부호화(SNR(or Fine granular) scalable texture coding)함을 특징으로 한다.

상기 방법은 공간적 계층 구조 형상 정보 부호화기(spatial scalable shape coding)로 격주선처리 방식을 이용한 계층적 형상정보 부호화기(Scan interleaving based scalable shape coding-참조특허:97-25784,97-001908,96-66937)를 사용하는 경우를 포함함을 특징으로 한다.

상기 부호화 방법은, 입력되는 비디오와 형상정보인 마스크 1 로부터 크기가 반으로 축소된 데이터를 사용하여 마스크 2(104)와 Padding 1 영상을 만드는 단계; 형상부호화기 1와 주파수 변환 부호화기인 DCT를 이용하여 Base Layer(BL)을 생성하는 단계; 이를 역양자화 및 역주파수 변환기인 IDCT를 통해서 재현된 영상과 원영상과의 차이를 구하는 단계; 상기 차이에 대한 DCT를 수행하는 단계; 계수 분배기에서 각 주파수 별로 분류하여 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0, BSL1, ... , BSL(n)을 생성하는 단계: 비트스트림의 추가에 따라서 Base Layer에 저역 주파수 성분인 BSL0가 더해지면 조금더 화질이 향상된 BSNR(0)을 만들어 내는 단계; 최고주파 성분인 BSL(n)을 더하면 가장 향상된 화질의 BSNR(n)의 비트스트림 구성을 가능케 함으로써 화질을 가변적으로 조절하는 것이 가능하게 하는 단계; 저해상도의 재생된 영상을 바탕으로 공간적으로 확대한 영상에 대해서도 같은 원리를 적용하여 해상도를 높인 경우에도 적용시킬 수 있도록 2배 확대시킨 마스크 3과 Padding 2 영상에 대해서도 같은 해상도의 원영상과 Padding 2 영상과의 차이를 구하는 단계; 상기 차이에 대한 DCT를 수행하여 계수 분배기에서 각 주파수 별로 분류해서 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0, ESL1, ... , ESL(n)을 생성하는 단계; 및 Enhancement Layer의 기본이 되는 EL로부터 비트스트림의 추가에 따라서 ESNR0, ESNR1, ... , ESNR(n)등과 같이 높은 해상도에서도 화질을 점점 향상되는 방향으로 가변적으로 조절하는 단계를 포함함을 특징으로 한다.

화상 부호화를 위해 제3항과 같은 이산 코사인 변환을 기반으로하는 방법 및 이산웨이브릿 변환(discrete wavelet Transform) 방법을 비롯한 임의의 화상(texture)정보 부호화 방법을 사용한다.

화질적 계층 구조의 형성 방법으로 도 4에서와 같이 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용한다.

주블럭(macro block)을 NxN 크기 단위로 하여 각각을 도 4의 (c)와 같이 4개의 부블럭(sub-block)으로 분할하고 이들 각각에 대해 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용한다.

Y 신호(Luminance)에 대해서는, 주블럭(macro block)을 NxN 크기 단위로 하여 각각을 도 4의 (c)와 같이 4개의 부블럭(sub-block)으로 분할하고 이들 각각에 대해 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용하고, Y신호의 각 주블럭에 대한 UV신호(chrominance)에 대해서는, 화질적 계층 구조의 형성 방법으로 도 4에서와 같이 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용한다.

상기 분할된 각각의 대역(260~267)을 270~273과 같이 재 조합하는 방법을 사용하여 도 5(Y신호), 도 6(UV신호)와 같은 화질적 계층별 재조합된 정보 얻는다.

대역별 재조합 방법을 대블럭 단위로하는 방법 및 영상 전체를 단위로하는 방법을 비롯한 임의의 크기 단위로 시행한다.

상기 구성된 재조합된 정보의 단위를 부호화 /복호화를 위해 가변장 부호화/복호화 방법을 비롯한 임의의 부호화 방법을 사용한다.

상기 대역별 분할 방법으로 도 4(b)와 같은 방법외에 MPEG2의 이산 코사인 변환 영역에 대한 지그재그 스캔 순서를 이용하여 일정한 단위로 대역을 구성하여 분할한다.

상기 대역별 분할 방법으로 제4도(b)와 같은 방법외에 MPEG2에서와 같이 사용되는이산 코사인 변환 영역에 대한 가변장 부호화 시행시 생성되는 Run-level-Last의 집합을 단위로 일정 단위로 대역을 구성한다.

도 1에서와 같이 상위 화질적 계층의 부호화/복호화를 위해 하위 화질적 계층을 참조할때 임의의 화질적 계층을 참조할 수 있도록 한다.

도 1에서와 같이 상위 화질적 계층의 부호화/복호화를 위해 하위 화질적 계층을 참조할때 특정 화질적 계층을 참조할 수 있도록하여 특정 화질적 계층 이상의 계층에 대한 정보를 부호화/복호화 하지 않도록 하여 효율을 높인다.

상기 기술적 과제를 해결하기 위한, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치는 공간적 계층 구조로 형상 정보를 부호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 부호화(SNR(or Fine granular) scalable texture coding)한다.

상기 부호화 장치는, 입력 데이터는 물체의 형상정보를 제공하는 마스크 1; 물체의 내부 텍스춰 정보를 제공하는 비디오; 가로 세로 1/2 크기의 영상들로 변환하는 다운샘플링(down sampling) 장치; 현재 MPEG-4의 version 2 Working Draft에 채택되어 있는 Scalable shape coding 방식을 이용하며, 마스크 2를 전송에 필요한 정보로 압축하는 형상부호화 1; MPEG-4 비디오(14496-2) 부분의 기술을 사용하며, 비디오 정보는 형상에 맞도록 패딩(Padding)하는 Padding 1; 상기 padding 1 영상을 주파수 변환 부호화하는 DCT; 상기 DCT한 것을 양자화 하는 양자화기; 미리 코딩이 되어있는 형상부호화 정보와 함께 Base Line bitstream을 생성하는 VLC1; 상기 양자화기를 거쳐서 양자화되었던 주파수 계수들을 역양자화하는 역양자화기; 상기 역양자화된 것을 역주파수 변환 부호화하는 IDCT; 축소되었던 원영상과의 차이를 구하는 차분기; 상기 차 신호에 대해서 다시 주파수 변환 부호화하는 DCT; 이 DCT 계수들을 정해진 주파수 밴드에 따라 계수 분배기에서 분류하여 BSL(0), BSL(1), ..., BSL(n) 등으로 분류하는 계수분배기; 및 임의의 단위 블럭 k에 대한 계층구조를 만든 다음, 모든 서브블럭에 대해 같은 밴드에 있는 데이터들을 하나로 묶어서 전체 화면에 대한 계층구조를 만들어 주는 BSL부를 포함하고, 상기 base layer의 데이터를 두배 확대하는 upsampling부; 상기 확대된 형상정보인 마스크 3을 코딩하여 코딩하여 Enhancement Layer를 생성하는 형상부호화 2; 및 마스크 3을 참조하여 확대된 영역에서 Padding 2 영상을 만들어 낸 다음, 이 영상을 원영상인 비디오로부터 뺀 다음 이 차이값에 대해서 base layer와 마찬가지 과정을 거쳐서 ESL(0), ESL(1), ..., ESL(n)을 만들어 내는 ESL부를 포함한다.

각각의 밴드 구성은 도 4 (a)에 도시된 바와 같이 화상을 구성하는 임의의 영역을 다수 개의 N x N 서브블럭들로 나눈 다음, 각각의 서브블럭에 대해 주파수 변환 부호화기의 출력 데이터를 각각의 밴드별로 분류한다.

상기 기술적 과제를 해결하기 위한, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호호화 방법은, 공간적 계층 구조로 형상 정보를 복호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 복호화(SNR(or Fine granular) scalable texture coding)한다.

상기 복호화방법은, 입력되는 비트스트림을 가변장 복호화기인 VLD1에서 해석하여 Base Layer Bitstream 과 Enhancement Layer Bitstream으로 분류하는 단계; Base Layer Bitstream 은 다시 형상정보에 관련된 비트스트림에 대해서는 형상복호화 1을 거쳐서 마스크 4를 만들어 내어, Base Layer의 형상정보가 되는 단계; 영상정보에 관련된 비트스트림에 대해서는 역양자화 및 IDCT를 거쳐서 Base Layer의 텍스춰 정보를 만들어 내는 단계; Enhancement Layer가 있는 경우에는 앞의 과정에서 만들어진 Base Layer의 형상정보와 텍스춰 정보를 두배로 확대 시킨 영상과 Enhancement Layer에서 Base Layer와 같은 과정의 복호화기를 거쳐서 만들어진 정보를 합하여 Enhancement Layer 형상정보와 텍스춰 정보를 만들어 내는 단계를 포함한다.

상기 기술적 과제를 해결하기 위한, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호호화 장치는, 공간적 계층 구조로 형상 정보를 복호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 복호화(SNR(or Fine granular) scalable texture coding)한다.

상기 복호화 장치는 입력되는 비트스트림들로부터 Base Layer Bitstream 과 Enhancement Layer Bitstream 으로 분류하는 가변장 복호화기인 VLD1; 먼저 Base Layer Bitstream을 또 다시 형상정보와 텍스춰(texture) 정보로 나누는 Base Layer Bitstream 해체부; 상기 형상정보를 복호화하여 마스크 4를 생성해 내어 Base Layer 형상정보가 되는 형상복호화 1; 상기 텍스춰 정보를 역양자화하는 역양자화기; 및 역양자화된 것을 역주파수 변환하하여 Base Layer 텍스춰 정보를 만들어내는 IDCT를 포함한다.

그리고 Enhancement Layer Bitstream이 존재하는 경우에는 Enhancement Layer Bitstream를 형상정보와 텍스춰 정보로 나누는 해체부; 상기 형상정보를 복호화하여 마스크 5를 생성해내는 형상복호화 2; Base Layer에서 재생된 형상정보인 마스크를 upsampling부에서 두배 확대시킨 정보와 합산하여 Enhancement Layer 형상정보를 만드는 합산기; 상기 텍스춰 정보는 역양자화(216)와 역주파수 변환기인 IDCT를 거쳐서 만들어진 영상에 Base Layer에서 재생된 텍스춰 정보를 upsampling부에서 두배 확대시킨 것과 합산하여 Enhancement Layer 텍스춰 정보를 만들어 내는 합산기를 더 구비한다.

이하 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

도 2에 도시된 바와 같이 입력되는 비디오(102)와 형상정보인 마스크 1(101) 로부터 크기가 반으로 축소(103)된 데이터를 사용하여 마스크 2(104)와 Padding 1(105) 영상을 만든 다음, 형상부호화기 1(106)와 주파수 변환 부호화기인 DCT(107)를 이용하여 Base Layer(BL;131)을 생성한 후 이를 역양자화(110) 및 역주파수 변환기인 IDCT(111)를 통해서 재현된 영상과 원영상과의 차이(112)를 구한다. 그 다음에 이 차이에 대한 DCT(113)를 수행하여 계수 분배기(114)에서 각 주파수 별로 분류하여 각각의 주파수 밴드에 따라서 비트스림을 구성해 준다. 이렇게 하여 BSL0(115), BSL1(116), ... , BSL(n)(118)을 생성해 냄으로써 비트스트림의 추가에 따라서 Base Layer(131)에 저역 주파수 성분인 BSL0(115)가 더해지면 조금더 화질이 향상된 BSNR(0)(132)을 만들어 내게 되고, 최고주파 성분인 BSL(n)(118)을 더하면 가장 향상된 화질의 BSNR(n)의 비트스트림 구성을 가능케 함으로써 화질을 가변적으로 조절하는 것이 가능하게 한다. 이와같은 저해상도의 재생된 영상을 바탕으로 공간적으로 확대한 영상에 대해서도 같은 원리를 적용하여 해상도를 높인 경우에도 적용시킬 수 있도록 2배 확대시킨 마스크 3(120)과 Padding 2 영상(122)에 대해서도 같은 해상도의 원영상(102)과 Padding 2 영상(122)과의 차이(123)를 구한 다음, 이 차이에 대한 DCT(124)를 수행하여 계수 분배기(125)에서 각 주파수 별로 분류해서 각각의 주파수 밴드에 따라서 비트스림을 구성해 준다. 이렇게 하여 ESL0(127), ESL1(128), ... , ESL(n)(130)을 생성해 냄으로써 Enhancement Layer의 기본이 되는 EL(136)로부터 비트스트림의 추가에 따라서 ESNR0(137), ESNR1(138), ... , ESNR(n)(140)등과 같이 높은 해상도에서도 화질을 점점 향상되는 방향으로 가변적으로 조절하는 것이 가능하도록 구현되어 있다.

이렇게 구성된 부호화기에 따라 만들어진 비트스트림들은 도 3에 도시된 바와 같이 복호화기에서 구성된 장치에 따라 복호화됨으로써 공간상/화질상 계층구조의 재생된 영상을 제공해 준다. 도 3에서 도시된 것 처럼 입력되는 비트스트림(201)을 가변장 복호화기인 VLD1(202)에서 해석하여 Base Layer Bitstream(203)과 Enhancement Layer Bitstream(210)으로 분류한다. 그리고 나서 Base Layer Bitstream(203)은 다시 형상정보에 관련된 비트스트림에 대해서는 형상복호화 1(204)을 거쳐서 마스크 4(205)를 만들어 내는데, 이것이 Base Layer의 형상정보(208)가 되고 영상정보에 관련된 비트스트림에 대해서는 역양자화(206) 및 IDCT(207)를 거쳐서 Base Layer의 텍스춰 정보(209)를 만들어 낸다. 한편 Enhancement Layer가 있는 경우에는 앞의 과정에서 만들어진 Base Layer의 형상정보와 텍스춰 정보를 두배로 확대 시킨 영상(213, 218)과 Enhancement Layer에서 Base Layer와 같은 과정의 복호화기를 거쳐서 만들어진 정보를 합하여 Enhancement Layer 형상정보(215)와 텍스춰 정보(220)를 만들어 낸다.

한편, 본 발명의 동작원리를 설명하면 다음과 같다.

도 2는 본발명에 의한 공간상/화질상의 계층적 부호화기의 전체 구조를 나타낸 것이다. 도 2에 도시된 바와 같이 입력 데이터는 물체의 형상정보를 제공하는 마스크 1(101)과 물체의 내부 텍스춰 정보를 제공하는 비디오(102)로 이루어져 있다. 그런데 임의의 형상이 아니고 사각형의 스크린 전체를 부호화할 경우에는 마스크 정보(마스크 1, 2, 3)가 필요하지 않게 된다. 이렇게 입력된 영상은 다운샘플링(down sampling) 장치(103)에서 가로 세로 1/2 크기의 영상들로 변환된 다음, 마스크 1(101)은 마스크 2(104)가 되어, 형상부호화 1(106)에서 전송에 필요한 정보로 압축이 된다. 이때 형상부호화 1(106)은 현재 MPEG-4의 version 2 Working Draft에 채택되어 있는 Scalable shape coding 방식을 이용한다.

그리고 비디오(102) 정보는 형상에 맞도록 패딩(Padding)이 되어 Padding 1(105) 영상으로 만들어는데, 이 때 padding 이라고 하는 것은 MPEG-4 비디오(14496-2) 부분의 기술을 사용한다. 이 padding 1(105)영상은 주파수 변환 부호화의 일종인 DCT(107)와 양자화기(108)를 거쳐서 미리 코딩이 되어있는 형상부호화 정보와 함께 VLC1(109)에서 Base Line bitstream 인 BL(131)을 생성하게 된다. 이것이 최저 해상도에서 가장 기본이 되는 영상을 만드는 비트스트림이다. 상기 양자화기(108)를 거쳐서 양자화되었던 주파수 계수들은 역양자화기(110)와 역주파수 변환 부호화 장치인 IDCT(111)를 거쳐서 축소되었던 원영상과의 차이(112)를 구한 다. 그 다음에 상기 차 신호에 대해서 다시 주파수 변환 부호화 장치인 DCT(113)를 적용시키고 이 DCT 계수들을 정해진 주파수 밴드에 따라 계수 분배기(114)에서 분류하여 BSL(0)(115), BSL(1)(116), ..., BSL(n)(118)등으로 분류한다.

이 때 각각의 밴드를 구성하는 예는 도 4 (a)에 도시된 바와 같이 화상을 구성하는 임의의 영역을 다수 개의 N x N 서브블럭(251)들로 나눈 다음, 각각의 서브블럭에 대해 주파수 변환 부호화기의 출력 데이터를 각각의 밴드별로 분류하게 된다. 임의의 서브블럭 k에 대한 분류 예를 살펴보면 다음과 같다. N x N의 밝기성분(luminance component)(251)과 N/2 x N/2의 색차성분(Chrominance component)데이터(256,257)에 대해서 분류하게 된다. 밝기성분 데이터는 4개의 서브블럭(252,253,254,255)으로 구성되어 각각의 밴드들이 모여서 하나의 서브밴드 데이터를 구성하게 되며, 여기에 색차성분들이 하나씩 더해져서 단위블럭에 대한 각각의 주파수 밴드군(MELk)을 형성하게 된다.

도 4 (a)에서는 밝기성분과 색차성분의 블럭구성을 보여준다. 도 4 (b)는 각각의 단위 블럭에 대해서 주파수 변환 부호화기를 거친 계수들의 밴드별 분류를 보여주는데, 여기서는 ELk 0(260), ELk 1(261), ..., ELk 7(267) 등 모두 8개의 각기 다른 밴드를 생성할 수 있음을 알 수 있다. 도 4 (c)는 밝기 성분을 구성하는 4개의 서브블럭들에 존재하는 계수들을 동일한 밴드별로 묶어서 단위 밴드군을 형성하는 과정을 보여주는 것으로, 서브블럭에 따라 고유위치를 가지고 배열되게 된다. 즉, 각 서브밴드의 DC 성분들의 집합을 MELk 0(270), 다음으로 가장 중요한 저주파 성분의 AC 계수들의 집합을 MELk 1(271), ..., 가장 마지막 밴드에 존재하는 AC 계수들의 집합을 MELk 7(273)로 분류한다. 각각의 밴드에 따르는 주파수 계수값들의 구성을 도 5와 도 6에 보여주고 있다.

도 5에서는 4개의 서브블럭(301,302,303,304)으로 되어 있는 밝기성분 데이터에 대한 8가지 계층구조에 속하는 각 블럭에서의 주파수 성분들의 배열에 의해 레이어(Layer)가 MELk0(305), MELk1(306), ..., MELk7(312)까지 구성되는 것을 보여주고 있다. 도 6에서는 두개의 색차신호(Cr(401), Cb(403))에 대한 주파수 성분들의 계수구성을 보여주고 있다. 밝기성분과 마찬가지로 각각의 레이어에 대한 주파수 계수들이 MELk 0, MELk 1, ..., MELk 7 까지 구성되게 된다.

이와같이 구성하여 임의의 단위 블럭 k에 대한 계층구조를 만든 다음, 모든 서브블럭에 대해 같은 밴드에 있는 데이터들을 하나로 묶어서 전체 화면에 대한 계층구조를 만들어 주는 것이 BSL(0)(115), BSL(1)(116), ..., BSL(n)(118)이다. 이때 임의의 형상에 대한 처리를 하기 위해서는 서브블럭이 형상의 내부인지 경계인지 아니면 외부인지를 알려주어야 한다. 즉, 도 7에 도시된 것처럼 밝기 정보에 대한 4개의 서브블럭들의 상태를 4비트의 데이터로 표시해 줌으로써 미리 약속된 순서에 의해 어떤 블럭이 형상정보에 속하는지 아닌지를 쉽게 알 수 있다. 도 7 (a)처럼 모두 형상의 외부이면 “0000”(502)으로 표시되고 도 7(b)처럼 왼쪽 상단만 형상의 외부이면 “0111”(504), ..., 그리고 모든 블럭이 형상의 내부이면 “1111”(532)로 표시함으로써 각각의 레이어에 놓이는 데이터가 어떤 블럭에 속하는 것인지를 알 수 있도록 해 준다. 물론 색차성분인 경우에는 밝기 성분에 최소 한개 이상의 형상정보가 존재하면 색차성분도 존재하는 것으로 판단하게 된다. 이와같이 공간상 base layer에서 n개의 화질상 계층구조를 갖는 비트스트림을 재생해 냄과 동시에 이 base layer의 데이터를 upsampling부(119)에서 두배 확대하여 확대된 형상정보인 마스크 3(120)을 형상부호화 2(121)에서 코딩하여 Enhancement Layer를 구성하고 마스크 3(120)을 참조하여 확되된 영역에서 Padding 2(122) 영상을 만들어 낸 다음, 이 영상을 원영상인 비디오(102)로부터 뺀 다음 이 차이값에 대해서 base layer와 마찬가지 과정을 거쳐서 ESL(0)(127), ESL(1)(128), ..., ESL(n)(130)을 만들어 냄으로써 공간상/화질상 계층구조를 갖는 비트스트림을 제작할 수 있게 된다.

한편, 이렇게 만들어진 비트스트림들이 복호화되는 과정은 도 3에 나타내어져 있다. 도 3에서 도시된 바와 같이 입력되는 비트스트림들은 가변장 복호화기인 VLD1(202)에서 Base Layer Bitstream(203)과 Enhancement Layer Bitstream(210)으로 분류가 된다. 먼저 Base Layer Bitstream(203)은 또 다시 형상정보와 텍스춰(texture) 정보로 나뉘어진다. 상기 형상정보는 형상복호화 1(204)에서 복호화되어 마스크 4(205)를 생성해내고 이것이 Base Layer 형상정보(208)가 된다. 상기 텍스춰 정보는 역양자화(206)와 역주파수 변환기인 IDCT(207)를 거쳐서 Base Layer 텍스춰 정보(209)를 만들어낸다. 이렇게 함으로써 base layer에 대한 복호화가 끝나게 된다.

만약 Enhancement Layer Bitstream(210)이 존재하는 경우에는 Enhancement Layer Bitstream(210)도 마찬가지로 형상정보와 텍스춰 정보로 나뉘어진다. 상기 형상정보는 형상복호화 2(211)에서 복호화되어 마스크 5(212)를 생성해내고 이것이 Base Layer에서 재생된 형상정보인 마스크를 upsampling부(213)에서 두배 확대시킨 정보와 합산기(214)에서 합쳐져서 Enhancement Layer 형상정보(215)를 만들게 된다. 상기 텍스춰 정보는 역양자화(216)와 역주파수 변환기인 IDCT(217)를 거쳐서 만들어진 영상에 Base Layer에서 재생된 텍스춰 정보를 upsampling부(218)에서 두배 확대시킨 것과 합산기(219)에서 합쳐져서 Enhancement Layer 텍스춰 정보(220)를 만들어 낸다. 이렇게 함으로써 Enhancement Layer에 대한 복호화 과정이 끝나게 된다. 모든 과정이 종료되면 수신단에서는 공간상/화질상 다수개의 계층구조를 갖는 영상의 재현이 가능하게 된다.

본 발명에 의하면, 도 1에 도시된 바와 같이 하나의 비트스트림을 통해서 임의의 모양을 갖는 물체에 대해 다양한 크기의 다양한 화질 정보를 제공해 주는 것이 가능하다. 즉, 최소한의 정보만으로 Base Layer의 기본 화질을 갖는 정보를 재현한 후 다양하게 세분화된 비트스트림을 구성해 줌으로써 전송로나 수신단의 성능에 따라서 재현되는 화질이 다양하게 변화될 수 있다. 뿐만아니라 공간상으로 확대된 Enhancement Layer에 대해서도 똑같은 형태의 동작이 반복될 수 있도록 되어있기 때문에 해상도의 변화에 따라서도 다양한 화질의 정보를 제공할 수 있다.

본 발명에 의한 독특한 다른 효과 중의 하나는 임의의 모양을 갖는 물체를 대상으로 부호화/복호화를 적용할 수 있기 때문에 화면에 나타나는 임의의 물체들에 대해 별도의 화질 서비스가 가능해 진다는 것이다. 즉, 필요한 물체(object)에 대해 사용자나 제공자가 의도하는 대로 화질의 정도를 결정하여 주는 QoS(Quality of Service)가 가능해 진다는 것이다.

Claims

공간적 계층 구조로 형상 정보를 부호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 부호화(SNR(or Fine granular) scalable texture coding)하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

공간적 계층 구조 형상 정보 부호화기(spatial scalable shape coding)로 격주선처리 방식을 이용한 계층적 형상정보 부호화기(Scan interleaving based scalable shape coding-참조특허:97-25784,97-001908,96-66937)를 사용하는 경우를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서, 상기 부호화 방법은

입력되는 비디오(102)와 형상정보인 마스크 1(101) 로부터 크기가 반으로 축소(103)된 데이터를 사용하여 마스크 2(104)와 Padding 1(105) 영상을 만드는 단계;

형상부호화기 1(106)와 주파수 변환 부호화기인 DCT(107)를 이용하여 Base Layer(BL;131)을 생성하는 단계;

이를 역양자화(110) 및 역주파수 변환기인 IDCT(111)를 통해서 재현된 영상과 원영상과의 차이(112)를 구하는 단계;

상기 차이에 대한 DCT(113)를 수행하는 단계;

계수 분배기(114)에서 각 주파수 별로 분류하여 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0(115), BSL1(116), ... , BSL(n)(118)을 생성하는 단계:

비트스트림의 추가에 따라서 Base Layer(131)에 저역 주파수 성분인 BSL0(115)가 더해지면 조금더 화질이 향상된 BSNR(0)(132)을 만들어 내는 단계:

최고주파 성분인 BSL(n)(118)을 더하면 가장 향상된 화질의 BSNR(n)의 비트스트림 구성을 가능케 함으로써 화질을 가변적으로 조절하는 것이 가능하게 하는 단계;

저해상도의 재생된 영상을 바탕으로 공간적으로 확대한 영상에 대해서도 같은 원리를 적용하여 해상도를 높인 경우에도 적용시킬 수 있도록 2배 확대시킨 마스크 3(120)과 Padding 2 영상(122)에 대해서도 같은 해상도의 원영상(102)과 Padding 2 영상(122)과의 차이(123)를 구하는 단계;

상기 차이에 대한 DCT(124)를 수행하여 계수 분배기(125)에서 각 주파수 별로 분류해서 각각의 주파수 밴드에 따라서 비트스림을 구성하여 SL0(127), ESL1(128), ... , ESL(n)(130)을 생성하는 단계; 및

Enhancement Layer의 기본이 되는 EL(136)로부터 비트스트림의 추가에 따라서 ESNR0(137), ESNR1(138), ... , ESNR(n)(140)등과 같이 높은 해상도에서도 화질을 점점 향상되는 방향으로 가변적으로 조절하는 단계를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서

화상 부호화를 위해 제3항과 같은 이산 코사인 변환을 기반으로하는 방법 및 이산웨이브릿 변환(discrete wavelet Transform) 방법을 비롯한 임의의 화상(texture)정보 부호화 방법을 사용하는 경우를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항 또는 제3항에 있어서,

화질적 계층 구조의 형성 방법으로 도 4에서와 같이 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항 또는 제3항에 있어서,

주블럭(macro block)을 NxN 크기 단위로 하여 각각을 도 4의 (c)와 같이 4개의 부블럭(sub-block)으로 분할하고 이들 각각에 대해 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

Y 신호(Luminance)에 대해서는, 주블럭(macro block)을 NxN 크기 단위로 하여 각각을 도 4의 (c)와 같이 4개의 부블럭(sub-block)으로 분할하고 이들 각각에 대해 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용하고,

Y신호의 각 주블럭에 대한 UV신호(chrominance)에 대해서는, 화질적 계층 구조의 형성 방법으로 도 4에서와 같이 블럭 단위로 이산 코사인 변환된 화상정보를 260~267과 같이 대역별로 분할하여 이들을 각각의 화질적 계층으로 사용함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

제5항에서 분할된 각각의 대역(260~267)을 270~273과 같이 재 조합하는 방법을 사용하여 도 5(Y신호), 도 6(UV신호)와 같은 화질적 계층별 재조합된 정보 얻음을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

제8항에서의 대역별 재조합 방법을 대블럭 단위로하는 방법 및 영상 전체를 단위로하는 방법을 비롯한 임의의 크기 단위로 시행함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

제8항, 제9항에서 구성된 재조합된 정보의 단위를 부호화 /복호화를 위해 가변장 부호화/복호화 방법을 비롯한 임의의 부호화 방법을 사용함을 특징으로하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제6항에 있어서,

부블럭으로 나누어 제항을 적용시, 도 7와 같이 형상정보를 이용하여, 형상정보가 있는 부블럭에 대해서만 제5항을 적용하고, 형상 정보가 없는 부블럭은 처리하지 않음을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

제6항과 같은 대역별 분할 방법으로 도 4(b)와 같은 방법외에 MPEG2의 이산 코사인 변환 영역에 대한 지그재그 스캔 순서를 이용하여 일정한 단위로 대역을 구성하여 분할함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

제6항과 같은 대역별 분할 방법으로 제4도(b)와 같은 방법외에 MPEG2에서와 같이 사용되는이산 코사인 변환 영역에 대한 가변장 부호화 시행시 생성되는 Run-level-Last의 집합을 단위로 일정 단위로 대역을 구성함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

도 1에서와 같이 상위 화질적 계층의 부호화/복호화를 위해 하위 화질적 계층을 참조할때 임의의 화질적 계층을 참조할 수 있도록 함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
제1항에 있어서,

도 1에서와 같이 상위 화질적 계층의 부호화/복호화를 위해 하위 화질적 계층을 참조할때 특정 화질적 계층을 참조할 수 있도록하여 특정 화질적 계층 이상의 계층에 대한 정보를 부호화/복호화 하지 않도록 하여 효율을 높임을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
공간적 계층 구조로 형상 정보를 부호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 부호화(SNR(or Fine granular) scalable texture coding)하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치.
제16항에 있어서, 상기 부호화 장치는

입력 데이터는 물체의 형상정보를 제공하는 마스크 1(101);

물체의 내부 텍스춰 정보를 제공하는 비디오(102);

가로 세로 1/2 크기의 영상들로 변환하는 다운샘플링(down sampling) 장치(103);

현재 MPEG-4의 version 2 Working Draft에 채택되어 있는 Scalable shape coding 방식을 이용하며, 마스크 2(104)를 전송에 필요한 정보로 압축하는 형상부호화 1(106);

MPEG-4 비디오(14496-2) 부분의 기술을 사용하며, 비디오(102) 정보는 형상에 맞도록 패딩(Padding)하는 Padding 1(105);

상기 padding 1 영상을 주파수 변환 부호화하는 DCT(107);

상기 DCT한 것을 양자화 하는 양자화기(108);

미리 코딩이 되어있는 형상부호화 정보와 함께 Base Line bitstream을 생성하는 VLC1(109);

상기 양자화기(108)를 거쳐서 양자화되었던 주파수 계수들을 역양자화하는 역양자화기(110);

상기 역양자화된 것을 역주파수 변환 부호화하는 IDCT(111);

축소되었던 원영상과의 차이(112)를 구하는 차분기;

상기 차 신호에 대해서 다시 주파수 변환 부호화하는 DCT(113);

이 DCT 계수들을 정해진 주파수 밴드에 따라 계수 분배기(114)에서 분류하여 BSL(0)(115), BSL(1)(116), ..., BSL(n)(118) 등으로 분류하는 계수분배기; 및

임의의 단위 블럭 k에 대한 계층구조를 만든 다음, 모든 서브블럭에 대해 같은 밴드에 있는 데이터들을 하나로 묶어서 전체 화면에 대한 계층구조를 만들어 주는 BSL부를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치.
제17항에 있어서,

각각의 밴드 구성은 도 4 (a)에 도시된 바와 같이 화상을 구성하는 임의의 영역을 다수 개의 N x N 서브블럭(251)들로 나눈 다음, 각각의 서브블럭에 대해 주파수 변환 부호화기의 출력 데이터를 각각의 밴드별로 분류함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치.
제17항에 있어서,

상기 base layer의 데이터를 두배 확대하는 upsampling부(119);

상기 확대된 형상정보인 마스크 3(120)을 코딩하여 코딩하여 Enhancement Layer를 구성하는 형상부호화 2(121); 및

마스크 3(120)을 참조하여 확대된 영역에서 Padding 2(122) 영상을 만들어 낸 다음, 이 영상을 원영상인 비디오(102)로부터 뺀 다음 이 차이값에 대해서 base layer와 마찬가지 과정을 거쳐서 ESL(0)(127), ESL(1)(128), ..., ESL(n)(130)을 만들어 내는 ESL부를 더 구비함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치.
공간적 계층 구조로 형상 정보를 복호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 복호화(SNR(or Fine granular) scalable texture coding)하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 방법.
제20항에 있어서, 상기 복호화방법은

입력되는 비트스트림(201)을 가변장 복호화기인 VLD1(202)에서 해석하여 Base Layer Bitstream(203)과 Enhancement Layer Bitstream(210)으로 분류하는 단계;

Base Layer Bitstream(203)은 다시 형상정보에 관련된 비트스트림에 대해서는 형상복호화 1(204)을 거쳐서 마스크 4(205)를 만들어 내어, Base Layer의 형상정보(208)가 되는 단계;

영상정보에 관련된 비트스트림에 대해서는 역양자화(206) 및 IDCT(207)를 거쳐서 Base Layer의 텍스춰 정보(209)를 만들어 내는 단계;

Enhancement Layer가 있는 경우에는 앞의 과정에서 만들어진 Base Layer의 형상정보와 텍스춰 정보를 두배로 확대 시킨 영상(213, 218)과 Enhancement Layer에서 Base Layer와 같은 과정의 복호화기를 거쳐서 만들어진 정보를 합하여 Enhancement Layer 형상정보(215)와 텍스춰 정보(220)를 만들어 내는 단계를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 방법.
공간적 계층 구조로 형상 정보를 복호화(spatial scalable shape coding)하고, 그 각 형상계층에서의 화상정보를 화질적 계층구조로 복호화(SNR(or Fine granular) scalable texture coding)하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 장치.
제22항에 있어서, 상기 복호화 장치는

입력되는 비트스트림들로부터 Base Layer Bitstream(203)과 Enhancement Layer Bitstream(210)으로 분류하는 가변장 복호화기인 VLD1(202);

먼저 Base Layer Bitstream을 또 다시 형상정보와 텍스춰(texture) 정보로 나누는 Base Layer Bitstream 해체부;

상기 형상정보를 복호화하여 마스크 4(205)를 생성해 내어 Base Layer 형상정보(208)가 되는 형상복호화 1(204);

상기 텍스춰 정보를 역양자화하는 역양자화기; 및

역양자화된 것을 역주파수 변환하하여 Base Layer 텍스춰 정보(209)를 만들어내는 IDCT를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 장치.
제23항에 있어서,

Enhancement Layer Bitstream(210)이 존재하는 경우에는 Enhancement Layer Bitstream(210)를 형상정보와 텍스춰 정보로 나누는 해체부;

상기 형상정보를 복호화하여 마스크 5(212)를 생성해내는 형상복호화 2(211);

Base Layer에서 재생된 형상정보인 마스크를 upsampling부(213)에서 두배 확대시킨 정보와 합산하여 Enhancement Layer 형상정보(215)를 만드는 합산기(214);

상기 텍스춰 정보는 역양자화(216)와 역주파수 변환기인 IDCT(217)를 거쳐서 만들어진 영상에 Base Layer에서 재생된 텍스춰 정보를 upsampling부(218)에서 두배 확대시킨 것과 합산하여 Enhancement Layer 텍스춰 정보(220)를 만들어 내는 합산기(219)를 더 구비함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 장치.