KR19990009878A - 신축형 모양정보 부호화 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD) 중 신축형 모양정보 부호화(SCALABLE SHAPE CODING)에 관한 것으로, 특히, 저해상도의 영상(베이스 레이어(BASE LAYER)의 영상)을 고해상도의 영상(인헨스먼트 레이어(ENHANCEMENT LAYER)영상)으로 부호화(CODING)할 경우, 인코딩 오차(ENCODING ERROR)에 대한 정보를 추출하여 디코딩(DECODING) 시에 보정을 하여 줌으로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 얻을 수 있게 되는 효과가 있는 것이다.

Description

신축형 모양정보 부호화 장치 및 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD) 중 신축형 모양정보 부호화(SCALABLE SHAPE CODING)에 관한 것으로, 특히, 저해상도의 영상(베이스 레이어(BASE LAYER)의 영상)을 고해상도의 영상(인헨스먼트 레이어(ENHANCEMENT LAYER)영상)으로 부호화(CODING)할 경우, 인코딩 오차(ENCODING ERROR)에 대한 정보를 추출하여 디코딩(DECODING) 시에 보정을 하여 줌으로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 얻을 수 있도록 한 것이다.

주지하다시피, 최근의 영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP:미디어 통합계 동여상 압축의 국제표준:이하 MPEG이라한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 임의의 모양정보를 갖는 단위블럭으로 VOP(VIDEO OBJECT PLANE:이하 VOP라 한다)의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는데 기본이 되고 있다.

도 1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL:검증모델:이하 VM이라 한다)인코더(ENCODER)(100)의 구성을 나타낸 블록도이다.

여기서, VOP형성부(VOP FORMATION)(110)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 “고양이”의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M×N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16×16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형서부(110)에서 형성된 각각의 VOP는 VOP부호화부(120a, 120b, …, 120n)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(130)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM인코더(100)의 VOP부호화부(120a, 120b, …, 120n)의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(110)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(121)에 입력되면, 상기 움직임추정부(121)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(122)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(122)에서 움직임이 보상된 VOP는 상기 VOP형성부(110)에서 형성된 VOP와 함께 감산기(123)에서 입력되어 차이값이 검출되고, 상기 감산기(123)에서 검출된 차이값은 대상물내부부호화부(124)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2×N/2으로 각기 8개의 화소를 가지는 8×8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(122)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(124)에서 부호화된 대상물의 내부정보는 가산기(125)에 입력되어 가산되고, 상기 가산기(125)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP)(126)에 입력되어 현재영상 바로 전 영상의 VOP인 이전 VOP가 검출된다.

또한, 상기 이전VOP검출부(126)에서 검출된 상기 이전VOP는 상기 움직임추정부(121) 및 움직임보상부(122)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(110)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(127)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(127)의 출력신호는 상기 VOP부호화부(120a, 120b, …, 120n)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(127)의 출력신호를 움직임추정부(121), 움직임보상부(122) 및 대상물내부부호화부(124)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(124)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(127)에서 부호화된 모양 정보는 멀티플렉서(128)에 인가되어 다중화 된 후, 버퍼(129)를 통해 도 1의 멀티플렉서(130)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(200)의 구성을 나타낸 블록도이다.

상기 VM인코더(100)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(200)의 디멀티플렉서(210)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(220a, 220b, …, 220n)에 의해 각기 디코딩되며, 상기 VOP디코더(220a, 220b, …, 220n)에서 출력되는 디코딩신호는 합성부(230)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(110)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(127)에 적용되는 기술로는, N×N 블럭(N=16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양 정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING) 등이 있다.

한편, 신축형 모양 정보 부호화 기술은, 해상도가 높아 정보량이 많은 영상(정지영상, 또는 동영상)을 해상도가 낮은 영상으로 변환하여 전송한 후, 이를 다시 해상도가 높은 원래의 영상으로 변환함으로써 전송 정보량을 감축시키는 기술이다.

즉, 인코더에서 고해상도의 영상을 정보량이 적은 저해상도의 영상으로 변환하여 인코딩한 후 디코더로 전송하면, 디코더에서 전송된 저해상도의 영상을 디코딩하여 고해상도의 영상으로 복원하는 것으로, 신축형 모양 정보 부호화 방법을 인코딩 과정과 디코딩 과정으로 나누어 설명하면 다음과 같다.

본 설명에서는 설명의 편의상, 도5, 도6에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 변환하여 부호화하여 전송한후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화하는 과정을 상세히 설명하면 다음과 같다.

인코더에서는, 도5a와 같은 4×4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도5b와 같이 원 영상의 1/4 크기를 갖는 베이스 레이어의 영상을 만들어, 이를 손실 부호화, 또는 무손실 부호화하여 디코더에 전송한다.

또한, 베이스 레이어의 영상을 추출하였을 경우에는, 베이스 레이어의 영상(축소된 영상)과 인헨스먼트 레이어의 영상(원래의 영상)을 비교하여, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA:이하 TSD라 한다.)와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA:이하 ESD라 한다.)의 존재 유무를 검출한다. 이때, TSD, 또는 ESD가 검출되었을 경우에는 이를 컨택스트 기반 산술부호화(CONTEXT-BASED ARITHMETIC ENCODING:이하 CAE라 한다.)하여 베이스 레이어의 영상과 함께 디코더에 전송한다.

여기서, 상기 TSD와 ESD를 검출하여 부호화 하는 이유는 다음과 같다.

도 7은 베이스 레이어의 영상과 인헨스먼트 영상을 비교하는 과정 중 수평방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 도면중에서 레퍼런스 스캔 라인(REFERENCE SCAN LINE:이하 RSL라 한다.)은 베이스 레이어 영상의 수평방향 화소가 포함된 화소열이며, 코드 스캔 라인(CODED SCAN LINE:이하 CSL이라 한다.)은 베이스 레이어 영상 추출과정에서 제외된 인헨스먼트 레이어 영상의 수평방향 화소열을 나타낸 것이다. 또한, 상기 CSL을 부호화 하기 위해서는, 부호화할 화소의 아래와 위에 존재하는 RSL을 이용하는데, 도6에서 도시되는 바와 같이 이에는 일정한 규칙이 있음을 알 수 있다.

즉, CSL 상에 존재하는 부호화할 화소의 아래와 위에 존재하는 RSL 상의 두 이웃 화소의 값이 같을 경우에는 부호화 하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도 6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE)(도 6 중 점선으로 표시한 타원)이라 한다.

따라서, 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, TSD와 ESD가 존재할 수 있으며, 상기 TSD와 ESD가 존재할 경우에는 이에 대한 정보를 디코더에 전송해 주어야 인헨스먼트 레이어의 영상을 정확하게 복원할 수 있게 된다. CAE는 상기 TSD와 ESD에 대한 정보를 부호화 할 경우, 소요되는 비트수를 절감하기 위해 사용하는 기법이다.

한편 디코더에서는, 인코더에서 전송된 상기 베이스 레어어 영상에 대한 부호화 신호와 TSD 또는 ESD에 대한 부호화 신호를 디코딩하여 인헨스먼트 레이어의 영상을 복원하게 되는 것으로, 이를 수평 방향 검색과 수직 방향 검색(VERTICAL SCANNING)으로 나누어 상세히 설명하면 다음과 같다.

도 6a는 수평 방향 검색 방법을 설명하기 위한 것으로, 현재 “X(A10)”점의 화소를 부호화 할 차례라 할 경우, 상기 “X”점에 이웃하는 화소는 도면에서 도시되는 바와 같이, “A5, A6, A7, A13, A14, A15 및 BO(A9)”이다. 이때, 상기 “A5, A6, A7, A13, A14, A15 및 BO” 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 “X”점의 화소는, 상기 “A5, A6, A7, A13, A14, A15, BO”의 값을 CAE를 수행하여 구한다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 방향 검색 방법은, 도 6b에서 도시되는 바와 같이, “CO, C1, C2, A5, A7, A13, A15”의 화소값으로부터 구하고자 하는 “Y”점의 화소값을 구하게 된다.

여기서, “BO, CO, C2”의 화소는 수평 방향 검색 방법에 의해 구한 값을 나타낸 것이고, “C1”화소는 수직 방향 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 방향 검색을 행하면 세로 방향의 화소가 2배로, 수직 방향 검색을 행하면 가로 방향의 화소가 2배로 증가되어, 결국 2×2의 베이스 레이어 영상으로부터 4×4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

또한, 동영상의 경우에는 MPEG-4에서 신축형 모양정보 부호화 기능을 지원하고 있는데, MPEG-4의 경우에는, 도 8에서 도시되는 바와 같이, 그 동영상 전송 특성상 베이스 레이어 영상의 I-VOP(INTRA VIDEO OBJECT PLANE:이하 I-VOP라 한다.)를 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLANE:이하 P-VOP라 한다.)이용하여 인헨스먼트 레이어의 영상을 복원하는 방법 및 B-VOP(BY-DIRECTION VIDEDO OBJECT PLANE:이하 P-VOP라 한다.)을 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법 등이 있다.

여기서, 베이스 레이어의 I-VOP를 이용하여 베이스 레이어의 영상을 인헨스먼트 레이어의 영상으로 부호화 할 경우에는 상기에서 설명한 바와 같은 스캔 인터리빙 방법을 이용한다.

그러나, 상기와 같은 종래의 신축형 모양정보 부호화 기술에 있어서는, 베이스 레이어의 영상을 이용하여 인헨스먼트 레이어의 영상을 부호화할 경우 베이스 레이어의 영상을 참조 레이어(REFERENCE LAYER)(즉, RSL)로 이용하기 때문에, 인헨스먼트 레이어의 영상을 무손실 부호화를 하기 위해서는 베이스 레이어의 영상 또한 무손실 부호화를 하여야 하므로 인해 정보량이 증가되어 부호화 효율이 저하된다는 문제점이 있었다.

즉, 손실 부호화를 하였을 경우에는 스캔 인터리빙 과정에서 TSD와 ESD가 발생하는 정확한 위치를 알 수 없기 때문에 인헨스먼트 레이어에서 오차가 발생하게 되어 무손실의 인헨스먼트 레이어의 영상을 복원할 수 없다는 문제점이 있었다.

다시말해, 베이스 레이어의 영상을 부호화 할 경우, 정보량 압축 효율을 증가시키기 위해 일정 퍼센트(%)의 손실을 허용하는 손실 부호화 방법을 사용하였을 경우, 상기 손실 부호화되어 전송된 신호로부터 복원되는 베이스 레이어의 영상은 원래의 영상과는 상기 손실률 만큼의 오차가 있는 영상이 되는 것으로, 이 손실된 베이스 레이어의 영상을 이용하여 인헨스먼트 레이어의 영상을 복원을 하였을 경우에는 당연히 손실된 인헨스먼트 레이어의 영상을 얻을 수밖에 없게 된다.

따라서, 무손실의 인헨스먼트 레이어의 영상을 복원하기 위해서는 무손실된 베이스 레이어의 영상을 복원하여야 하며, 그러기 위해서는 베이스 레이어의 영상을 인코딩 할 경우 무손실 부호화를 수행하여야 하므로 인해 정로량이 증가된다는 문제점이 있었다.

본 발명의 목적은 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 저해상도의 영상(베이스 레이어의 영상)을 고해상도의 영상(인헨스먼트 레어어의 영상)으로 부호화할 경우, 인코딩 오차에 대한 정보를 추출하여 디코딩 시에 그 보정을 하여 줌으로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 얻을 수 있는 “신축형 모양정보 부호화 장치 및 방법”을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 “신축형 모양정보 부호화 장치 및 방법”는, 고해상도의 영상을 저해상도의 영상으로 변환하여 인코더를 통해 인코딩한 후 디코더로 전송하면, 디코더에서는 전송된 저해상도의 영상으로부터 고해상도의 영상을 복원하는 신축형 모양정보 부호화 장치에 있어서, 저해상도로 변화된 영상을 인코딩하여 디코더로 전송할 경우, 인코딩 시 발생한 인코딩 오차에 대한 정보를 검출하여 함께 전송하고, 디코딩 시, 인코더에서 전송된 인코딩 오차에 대한 정보를 검출하여 인코딩 시 발생한 오차를 보정하여 주므로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 복원할 수 있도록 함을 그 기술적 구성상의 특징으로 한다.

또한, 본 발명 “신축형 모양정보 부호화 장치 및 방법”은, 고해상도의 영상을 저해상도의 영상으로 변환하여 인코더를 통해 인코딩한 후 디코더로 전송하면, 디코더에서는 전송된 저해상도의 영상으로부터 고해상도의 영상을 복원하는 신축형 모양정보 부호화 방법에 있어서, 저해상도로 변화된 영상을 인코딩하여 디코더로 전송할 경우, 인코딩 시 발생한 인코딩 오차에 대한 정보를 검출하여 함께 전송하고, 디코딩 시, 인코더에서 전송된 인코딩 오차에 대한 정보를 검출하여 인코딩 시 발생한 오차를 보정하여 주므로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 복원할 수 있도록 함을 그 방법적 구성상의 특징으로 한다.

이러한 본 발명 “신축형 모양정보 부호화 장치 및 방법”은, 고해상도의 영상을 저해상도의 영상으로 변화시킨 후, 이를 손실 부호화할 경우, 손실 부호화시 발생한 오차를 검출하여 디코더로 전송하면, 디코더에서는 상기 오차 정보를 분석하여 저해상도의 영상 및 고해상도의 영상을 복원하므로써, 손실 부호화된 저해상도의 영상(베이스 레이어의 영상)으로부터 무손실 부호화된 고해상도의 영상(인헨스먼트 레이어의 영상)을 얻을 수 있게 되는 것이다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블록도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블록도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블록도,

도 5 내지 도 7은 신축형 부호화 중 스캔 인터리빙 방법을 설명하기 위한 도면,

도 8은 공간적 신축형 부호화를 설명하기 위한 도면,

도 9는 본 발명 “신축형 모양정보 부호화 장치”의 일 실시예를 나타낸 블럭도,

도 9는 본 발명 “신축형 모양정보 부호화 장치”의 다른 실시예를 나타낸 블럭도,

도면의 주요부분에 대한 부호의 설명

11,32:TSD/ESD부호화부12,31:오차정보추출 및 부호화부

13,33:손실복호화부14,34:손실부호화부

21,43:고해상도영상복호화부22,41:오차정보복호부

23,42:오차보정부24,44:손실복호화부

이하, 상기와 같이 구성된 본 발명 “신축형 모양정보 부호화 장치 및 방법”의 기술적 사상에 따른 실시예를 들어 그 구성, 동작 및 작용 효과를 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

[실시예 1]

본 실시예1은 베이스 레이어의 영상을 손실 부호화 하였을 경우, 그 오차에 해당되는 정보를 복호기 측에 전송해주고, 복호기에서는 부호기 측에서 전송된 오차 정보를 이용하여 베이스 레이어의 영상을 무손실 복호화하고, 인헨스먼트 레이어의 영상을 복호화 하는 방법이다.

즉, 도9에서 도시되는 바와 같이, 베이스 레이어의 원 영상을 손실 부호화하고, 베이스 레이어의 원 영상과 손실 부호화된 결과를 이용하여 오차 정보를 추출한다.

그리고, 베이스 레이어의 원 영상과 인헨스먼트 레이어의 영상을 이용하여 TSD와 ESD를 부호화 한다.

또한, 부호기 측에서는 베이스 레이어의 손실 부호화된 정보와 오차 추출정보 그리고 인헨스먼트 레이어의 TSD와 ESD 부호화 정보를 복호기 측에 전송해준다.

복호기 측에서는 손실 부호화된 정보와 오차 정보를 이용하여 베이스 레이어의 우언 영상을 복원하고 복원된 영상과 TSD, ESD 정보를 이용하여 기존의 스캔 인터리빙 방법으로 무손실된 인헨스먼트 레이어의 영상을 복호화 하게 되는 것이다.

[실시예 2]

본 실시예2는, 실시예2에서 처럼, 부호기에서 베이스 레이어의 영상을 손실부호화하고, 인헨스먼트 레이어의 영상을 위한 TSD와 ESD에 대한 정보를 부호화 하기 위한 RSL로 원 영상을 이용하는 것이 아니라, 도10에서 도시되는 바와 같이, 손실 부호화한 베이스 레이어의 영상을 제거한 영상을 RSL로 사용한다. 이렇게 하면 스캔 인터리빙 방법으로 삽입되는 부분은 무손실 부호화를 할 수 있지만 RSL에 오차가 포함되어 있기 때문에 전체적으로 무손실 부호화를 할 수 없다.

따라서, 본 실시예2에서는 오차가 발생한 RSL을 오차없이 복원하기 위해서, 도10에서 도시되는 바와 같이, 오차정보추출 및 부호화부(31)를 통해 오차를 검출하여 RSL에 대한 오차 정보를 추출한다.

오차 추출은 기존의 스캔 인터리빙 방법에서 TSD와 ESD를 부호화 했던 방법과 마찬가지 방법으로 부호화 한다.

여기서 기존의 방법과 다른 점은, RSL으로 베이스 레이어의 영상을 사용하는 것이 아니라, 무손실 부호화로 삽입된 부분을 새로운 RSL로 사용하는 것이다.

그리고 이를 기반으로 손실 부호화된 이전의 RSL 부분의 오차를 부호화하여 전송한다.

또한, 복호기 측에서는 손실 부호화로 부호화된 베이스 레이어의 영상과 인헨스먼트 레이어 영상의 부호화된 정보를 이용하여 인헨스먼트 레이어의 영상을 손실 복호화 한다.

그리고 부호기 측에서는 전송한 오차 정보와 손실 복호화된 정보를 이용하여 오차 보정을 수행한다.

여기서 사용되는 오차 보정은 기존의 스캔 인터리빙 방법과 동일하다. 그러나, RSL로 베이스 레이어의 영상을 이용하는 것이 아니라 무손실 복호화로 삽입된 부분을 RSL로 사용한다는 점이 다르다.

따라서, 오차 보정 단계에서 발생한 오차를 제거하여 무손실 복호를 가능하게 하는 것이다.

이상에서 살펴본 바와 같이, 본 발명 “신축형 모양정보 부호화 장치 및 방법”은, 특히, 저해상도의 영상을 고해상도의 영상으로 부호화할 경우, 인코딩 오차에 대한 정보를 추출하여 디코딩 시에 보정을 하여 줌으로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상를 얻을 수 있게 되는 효과가 있는 것이다.

Claims (17)

1. 고해상도의 영상을 저해상도의 영상으로 변환하여 인코더를 통해 인코딩한 후 디코더로 전송하면, 디코더에서는 전송된 저해상도의 영상으로부터 고해상도의 영상을 복원하는 신축형 모양정보 부호화 장치에 있어서,

   저해상도로 변화된 영상을 손실 부호화 방법에 의해 인코딩하여 디코더로 전송할 경우, 손실 부호화 방법에 의한 인코딩 시 발생한 오차에 대한 정보를 검출하여 함께 전송하고, 디코딩 시, 인코더에서 전송된 이 오차를 검출하여 보정하여 줌으로써, 손실 부호화된 저해상도의 여상으로부터 무손실의 고해상도 영상을 복원할 수 있도록 함을 특징으로 하는 신축형 모양정보 부호화 장치.
2. 제1항에 있어서, 상기 손실 부호화 방법에 의한 인코딩 시 발생한 오차에 대한 정보를 검출하여 함께 전송하는 장치는,

   저해상도의 영상을 손실 부호화하여 디코더로 전송하는 손실부호화부와; 상기기 손실부호화부에서 손실 부호화된 저해상도의 영상을 복호화하는 손실복호화부와; 손실 부호화 되지 않은 원래의 저해상도의 영상과, 상기 손실부호화부와 손실복호화부를 통해 손실 부호화 되었다가 복호화된 저해상도의 영상을 비교하여, 손실 부호화 시의 오차를 추출하여 부호화 하는 오차정보추출 및 부호화부와; 손실 부호화 되지 않은 원래의 저해상도의 영상과, 고해상도의 영상을 비교하여 TSD와 ESD를 검출하여 부호화 하는 TSD/ESD부호화부를 포함하여 구성됨을 특징으로 하는 신축형 모양정보 부호화 장치.
3. 제1항에 있어서, 상기 인코더에서 전송된 손실 부호화시의 오차 정보를 검출하여 디코딩시 보정함으로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 복원하는 장치는,

   손실 부호화 되어 전송되는 저해상도의 영상을 복호화하여 손실된 저해상도의 영상을 복원하는 손실복호화부와; 손실 부호화시 발생하는 오차 정보에 대한 부호화 신호를 복호화하여 오차 정보를 추출하는 오차정보복호화부와; 상기 손실복호화부에서 인가되는 손실 부호화된 저해상도의 영상을, 상기 오차정보복호부에서 인가되는 오차 정보에 따라 보정하므로써 무손실의 저해상도 영상을 복원하는 오차보정부와; 상기 오차보정부에서 인가되는 무손실의 저해상도 영상을, 전송된 TSD와 ESD에 대한 정보에 의거하여 스캔 인터리빙하므로써 무손실의 고해상도 영상을 복원하는 고해상도영상복호화부를 포함하여 구성됨을 특징으로 하는 신축형 모양정보 부호화 장치.
4. 제1항에 있어서, 상기 손실 부호화 방법에 의한 인코딩 시 발생한 오차에 대한 정보를 검출하여 함께 전송하는 장치는,

   저해상도의 영상을 손실 부호화하여 디코더로 전송하는 손실부호화부와; 상기 손실부호화부에서 손실 부호화된 저해상도의 영상을 복호화하는 손실복호화부와; 고해상도의 영상과, 상기 손실부호화부와 손실복호화부를 통해 손실 부호화 되었다가 복호화된 저해상도의 영상을 비교하여, TSD와 ESD를 검출하여 부호화 하는 TSD/ESD부호화부와; 손실 부호화 되지 않은 원래의 저해상도의 영상과, 손실 부호화 되었다가 복호화되어 고해상도 영상의 RSL로 사용되는 저해상도 영상과의 오차를 검출하여 부호화 하는 오차정보추출및부호화부를 포함하여 구성됨을 특징으로 하는 신축형 모양정보 부호화 장치.
5. 제1항에 있어서, 상기 인코더에서 전송된 손실 부호화시의 오차 정보를 검출하여 디코딩시 보정함으로서, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 복원하는 장치는,

   손실 부호화 되어 전송되는 저해상도의 영상을 복호화하여 손실된 저해상도의 영상을 복원하는 손실복호화부와; 상기 손실복호화부에서 인가되는 손실 부호화된 저해상도의 영상을, 전송된 TSD와 ESD에 대한 정보에 의거하여 스캔 인터리빙하므로써 손실된 고해상도 영상을 복원하는 고해상도영상복호화부와; 손실 부호화시 발생하는 오차 정보에 대한 부호화 신호를 복호화하여 오차 정보를 추출하는 오차 정보복호부와; 상기 고해상도영상복호화부에서 인가되는 손실된 저해상도 영상을, 상기 오차정보복호부

   에서 인가되는 오차 정보에 따라 보정하므로써 무손실의 고해상도 영상을 복원하는 오차보정부를 포함하여 구성됨을 특징으로 하는 신축형 모양정보 부호화 장치.
6. 고해상도의 영상을 저해상도의 영상으로 변환하여 인코더를 통해 인코딩한 후 디코더로 전송하면, 디코더에서는 전송된 저해상도의 영상으로부터 고해상도의 영상을 복원하는 신축형 모양정보 부호화 방법에 있어서,

   저해상도로 변화된 영상을 인코딩하여 디코더로 전송할 경우, 인코딩 시 발생한 인코딩 오차에 대한 정보를 검출하여 함께 전송하고, 디코딩 시, 인코더에서 전송된 오차에 대한 정보를 검출하여 인코딩 시 발생한 오차를 보정하여 주므로써, 손실 부호화된 저해상도의 영상으로부터 무손실의 고해상도 영상을 복원함을 특징으로 하는 신축형 모양정보 부호화 방법.
7. 제6항에 있어서, 상기 부호화 방법은, 인터레이스드 모양정보 부호화(INTERLACDED SHAPE CODING)에서 이미 전송된 “(2X)×(Y)”해상도의 모양정보(이하 BL이라 한다.)가 손실 부호화된 경우, “(2X)×(Y)” 해상도의 모양정보(이하 EL이라 한다.)를 무손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
8. 제6항에 있어서, 상기 부호화 방법은, EL를 부호화하기 위하여, 손실 부호화된 BL의 오차 정보를 부호화하여 전송하고, 부호화된 BL을 이용하여 무손실 BL을 복원한 후 이를 이용하여 EL을 무손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
9. 제8항에 있어서, 부호화기 측에서 손실 부호화된 BL의 오차 정보를 추출하고, 복호기 측에서는 이를 손실 복호화된 BL과 합하여 무손실 BL을 복호화하고, 이를 무손실 EL 복호화에 이용함을 특징으로 하는 신축형 모양정보 부호화 방법.
10. 제6항에 있어서, 상기 부호화 방법은, 인터레이스드 모양정보 부호화하여 EL을 무손실 부호화하기 위하여 손실 부호화된 BL의 오차정보를 부호화하여 전송하고, 무손실 BL을 복원한 후, 이를 이용하여 EL을 무손실 부호화함을 특징으로 하는 신축형 모양정보 부호화 방법.
11. 제10항에 있어서, 상기 부호화 방법은, 부호화기 측에서 손실 부호화된 BL의 오차 정보를 추출하고, 복호기 측에서는 이를 손실 복호화된 BL과 합하여 무손실 BL을 복호화하고, 이를 무손실 EL 복호화에 이용함을 특징으로 하는 신축형 모양정보 부호화 방법.
12. 제6항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 EL를 부호화하기 위하여, 손실 부호화된 BL을 가지고 EL을 복호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
13. 제12항에 있어서, 상기 부호화 방법은, 사로 삽입된 화소는 무손실 부호화되고, 이를 새로운 무손실 BL로하여 손실 부호화된 BL의 오차를 다시 부호화하여 결과적으로 EL을 무손실 복호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
14. 제6항에 있어서, 상기 부호화 방법은, 인터레이스드 모양정보 부호화에서 EL를 부호화하기 위하여, 손실 부호화된 BL을 가지고 EL을 복호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
15. 제14항에 있어서, 상기 부호화 방법은, 사로 삽입된 화소는 무손실 부호화되고, 이를 새로운 무손실 BL로하여 손실 부호화된 BL의 오차를 다시 부호화하여 결과적으로 EL을 무손실 복호화 함을 특징으로 하는 신축형 모양정보 부호화 방법.
16. 제7항 내지 제14항 중 어느 한 항에 있어서, 부호화 방법은 스캔인터리빙 방법을 사용함을 특징으로 하는 신축형 모양정보 부호화 방법.
17. 제7항 내지 제14항 중 어느 한 항에 있어서, 복호화 방법은 스캔인터리빙 방법을 사용함을 특징으로 하는 신축형 모양정보 부호화 방법.