KR100626651B1 - 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

선택적으로 시간적 예측 정보를 사용하는 FGS 코딩 장치 및 그 방법에 관한 것임.

2. 발명이 해결하고자 하는 기술적 과제

시간적 예측 정보를 선택적으로 적용하는 알고리즘을 도입하여 망 상태 적응적이며, 코딩 효율이 높고, 드리프트 현상을 최소화한 선택적인 FGS 코딩 장치 및 그 방법을 제공하고자 함.

3. 발명의 해결방법의 요지

인접 영상과의 시간적 상관 관계를 이용하여 입력 영상을 코딩하는 기본 계층 코딩 수단 및 상기 입력 영상과 상기 기본 계층 코딩 수단에 의해 코딩된 영상간의 오차 영상 D1에 대하여 강화 정보를 생성하는 강화 계층 코딩 수단을 포함하고, 상기 강화 계층 코딩 수단은 상기 입력 영상에 대하여 시간적 예측 정보 D2를 생성하고, 생성된 예측 정보 D2를 상기 강화 정보 생성에 선택적으로 이용함.

4. 본 발명의 중요한 용도

동영상 송수신에 이용될 수 있음

MPEG, H.264, 엔코더, 디코더, 움직임 보상

Description

선택적인 미세입자 스케일러블 코딩 장치 및 그 방법{Selective Fine Granular Scalable Coding Apparatus and Method thereof}

도 1은 MPEG-4 기반 미세입자 스케일러블(Fine Granular Scalable, FGS) 엔코더(encoder)의 구성도,

도 2는 MPEG-4 기반 FGS 디코더(decoder)의 구성도,

도 3은 H.264 기반 엔코더의 구성도,

도 4는 시간적 예측 알고리즘이 적용된 H.264 기반 FGS 엔코더의 구성도,

도 5는 Foreman QCIF 참조 영상에 대하여 H.264 기반 FGS 코딩 방법과 시간적 예측 알고리즘이 적용된 H.264 기반 FGS 코딩 방법(N=3)의 코딩 성능을 비교하는 도면,

도 6은 본 발명에 따른 선택적인 FGS 엔코더의 구성도,

도 7은 본 발명에 따라 시간적 예측 정보의 사용 여부를 결정하는 과정을 설명하는 도면,

도 8a는 시간적 예측 정보를 코딩에 사용할 때의 신호 전달 과정을 설명하는 도면,

도 8b는 시간적 예측 정보를 코딩에 사용하지 않을 때 신호 전달 과정을 설 명하는 도면,

도 9는 선택 플래그 비트가 삽입된 강화 정보를 예시하는 도면,

도 10은 본 발명에 따른 선택적인 FGS 디코더의 구성도,

도 11a 내지 11e는 여러 가지 참조 영상에 대해서 본 발명에 따른 FGS 코딩 방법과 다른 FGS 코딩 방법의 코딩 성능을 비교한 도면이다.

<도면의 주요 참조부호에 대한 설명>

602 : DCT부 604 : 비트플레인 코딩부

606 : 비트플레인 추출부 608 : 역 비트플레인 코딩부

610 : IDCT부 612 : 강화 버퍼

614 : 움직임 벡터 616 : 움직임 보상부

620 : 스위칭부

1010 : 역 비트플레인 코딩부 1020 : IDCT부

1030 : 스위칭부 1040 : 비트플레인 추출부

1050 : 역 비트플레인 코딩부 1060 : IDCT부

1090 : 움직임 보상부

본 발명은 비디오 코딩 장치 및 그 방법에 관한 것으로, 보다 상세하게는 선택적으로 시간적 예측 정보를 사용하는 미세입자 스케일러블 코딩 장치 및 그 방법에 관한 것이다.

현재의 정보 기술 분야는 빠르게 통합되어 가고 있다. 이에 따라 방송망, 유무선 인터넷 등의 서로 다른 대역폭을 가지는 다양한 통신망과 디지털 TV, PDA, 노트북 등의 서로 다른 연산 능력을 가지는 다양한 단말기에 부합하도록 동영상을 전송할 수 있는 스케일러블 비디오 코딩 방법이 요구되고 있다.

ISO/IEC 산하의 MPEG(Moving Picture Expert Group)에서 제안한 MPEG-4 기반의 미세입자 스케일러블(fine granular scalable : FGS) 코딩 방법은 주어진 대역폭(bandwidth)에서 최적의 화질 향상을 얻을 수 있도록 설계된 망 상태 적응적인(network-adaptive) 스케일러블 코딩 방법이다.

상기 MPEG-4 기반의 FGS 코딩 방법은 스케일러블 코딩을 수행할 때, 전송 선로의 상태가 안정적이지 못한 경우, 예를 들면 유무선 인터넷 등과 같이 전송 선로의 상태가 급변하여 각 사용자에게 할당할 수 있는 대역폭의 변동이 심한 경우에 적용하기 위하여 설계된 코딩 방법으로 강화 계층의 영상 정보를 비트플레인 단위로 코딩하여 전송하는 특징을 갖고 있다.

즉, 강화 계층에서 강화 정보를 비트플레인 별로 나누어 가장 중요한 비트(most significant bit : MSB)를 최우선적으로 전송하고, 그 다음 중요한 비트를 연속적으로 전송하는 방식이다.

따라서, 수신단측에서 전송 선로의 대역폭이 급변하여 영상 복원에 필요한 모든 비트를 수신하지 못한 경우에도, 그 때까지 수신한 부분적인 영상 비트스트림만을 이용하여 최적의 화질을 갖는 영상을 복원할 수 있다.

도 1은 MPEG-4 기반의 FGS 엔코더(encoder)의 구성도이다. 도시된 바와 같이, 기본 계층(base layer)은 단일 계층에서 최적화된 MPEG-4 part 2 visual의 코딩 방법인 복합화된 움직임 추정(motion estimation : ME), 움직임 보상(motion compensation : MC) 및 이산 여현 변환(discrete cosine transform : DCT) 방식을 이용하고 있다.

강화 계층(enhancement layer)은 원 영상(original image)과 기본 계층에서 재구성된 영상(reconstructed image)과의 오차 영상(residual image)을 계산하고, 블록 단위(8*8 단위) DCT(110)는 상기 오차 영상 값을 DCT 계수로 변환한다. 만약, 선택적으로 좋은 화질을 갖는 블록이 필요한 경우 비트플레인 쉬프트부(120)는 해당 블록의 영상 정보를 최우선적으로 전송하는 과정을 선택적으로 수행할 수 있다. 이를 선택적 강화(selective enhancement : SE)라고 정의한다.

이후에, 최대값 계산부(130)는 DCT를 수행한 모든 값들의 절대치의 최대값을 계산한다. 계산된 최대값은 해당 영상 프레임을 전송하기 위한 최대 비트플레인의 개수를 구하는데 사용된다.

비트플레인 VLC(bitplane variable length coding, 140)는 비트플레인별로 블록 단위로 구해진 64개의 DCT 계수들(DCT 계수의 해당 비트플레인의 비트 : 0 또는 1)을 지그재그 스캔(zigzag scan) 순서로 하나의 행열을 생성하며, 각 행렬들을 가변장 길이 코드표(VLC table)에 따라 런-길이(run-length)로 코딩한다.

도 2는 MPEG-4 기반의 FGS 디코더(decoder)의 구성도이다. 도시된 바와 같이, 전송 선로를 통하여 기본 계층과 강화 계층으로 나뉘어 수신된 비트스트림은 도 1에서 설명한 코딩 과정과 역순으로 디코딩이 진행된다.

도면을 참조하면, 기본 계층은 MPEG-4 영상의 디코딩 방법인 역방향 하이브리드(hybrid) MC/DCT 방식을 사용한다.

비트플레인 VLD(bitplane variable length decoding, 210)는 디코더에 입력된 강화 정보에 대하여 비트플레인별로 VLD를 수행하고, 비트플레인 쉬프트부(220)는 선택적으로 비트플레인 쉬프트를 수행한다.

이후에 IDCT(230)는 블록 단위로 역 이산 여현 변환을 수행하여 강화 계층에서 전송된 영상을 복원하고, 합산부(240)는 상기 강화 계층 복원 영상을 기본 계층에서 복원된 영상과 합친다.

이후에 클립핑부(250)는 상기 합쳐진 영상 값을 0 내지 255 사이 값으로 클립핑(clipping)하여 최종적으로 향상된 화질의 영상을 복원하게 된다.

상술한 MPEG-4 기반의 FGS 코딩 방법은 망 상태 적응적인 특징을 갖지만 코딩 효율면에서 최적화된 단일 계층(single layer) 코딩 방법에 비하여 코딩 성능이 현저히 떨어진다.

따라서, MPEG-4 기반의 FGS 코딩 방법과 같이 망 상태 적응적인 특징을 그대로 유지하며 코딩 성능이 우수한 코딩 방법이 절실히 요구된다.

본 발명은 상술한 요청에 부응하여 창안된 것으로서, H.264 기반의 FGS 코딩 장치에 시간적 예측 정보를 선택적으로 적용하는 알고리즘을 도입함으로써 망 상태 적응적이며, 코딩 효율이 높고, 드리프트 현상을 최소화한 선택적인 FGS 코딩 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 선택적인 FGS 코딩 장치는 인접 영상과의 시간적 상관 관계를 이용하여 입력 영상을 코딩하는 기본 계층 코딩 수단 및 상기 입력 영상과 상기 기본 계층 코딩 수단에 의해 코딩된 영상간의 오차 영상 D1에 대하여 강화 정보를 생성하는 강화 계층 코딩 수단을 포함하고, 상기 강화 계층 코딩 수단은 상기 입력 영상에 대하여 시간적 예측 정보 D2를 생성하고, 생성된 예측 정보 D2를 상기 강화 정보 생성에 선택적으로 이용한다.

또한, 본 발명의 선택적인 FGS 디코딩 장치는 인접 영상과의 시간적 상관 관계를 이용하여 기본 정보(base layer bitstream)를 디코딩하는 기본 계층 디코딩 수단 및 입력되는 강화 정보(enhancement bitstream)에 대하여 강화 계층의 재생 영상 D1을 생성하는 강화 계층 디코딩 수단을 포함하고, 강화 계층 디코딩 수단은 상기 강화 정보에 대하여 시간적 예측 정보 D2를 생성하고, 생성된 예측 정보 D2를 상기 재생 영상 D1 생성에 선택적으로 이용한다.

또한, 본 발명의 선택적인 FGS 코딩 방법은 인접 영상과의 시간적 상관 관계를 이용하여 입력 영상을 코딩하는 기본 계층 코딩 단계 및 상기 입력 영상과 상기 기본 계층 코딩 단계에서 코딩된 영상간의 오차 영상 D1에 대하여 강화 정보를 생성하는 강화 계층 코딩 단계를 포함하고, 상기 강화 계층 코딩 단계는 상기 입력 영상에 대하여 시간적 예측 정보 D2를 생성하는 단계와 생성된 예측 정보 D2를 상기 강화 정보 생성에 선택적으로 이용하는 단계를 포함한다.

또한, 본 발명의 선택적인 FGS 디코딩 방법은 인접 영상과의 시간적 상관 관계를 이용하여 기본 정보(base layer bitstream)를 디코딩하는 기본 계층 디코딩 단계 및 입력되는 강화 정보(enhancement bitstream)에 대하여 강화 계층의 재생 영상 D1을 생성하는 강화 계층 디코딩 단계를 포함하고, 강화 계층 디코딩 단계는 상기 강화 정보에 대하여 시간적 예측 정보 D2를 생성하는 단계와 생성된 예측 정보 D2를 상기 재생 영상 D1 생성에 선택적으로 이용하는 단계를 포함한다.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

차세대 동영상 압축 기술로 주목받고 있는 H.264 코딩 방법은 MPEG-4 Part 10 AVC(advanced video coding)의 코딩 방법으로 MPEG과 ITU-T 산하의 VCEG(video coding expert group)가 함께 제안한 동영상 압축 표준이다.

H.264 코딩 방법은 압축 효율 개선에 초점을 맞추어 개발되었으며, H.263+ 코딩 방법과 비교하였을 때 50% 이상의 압축 효율 개선을 목표로 하고 있다.

도 3은 H.264 엔코더의 구성도이다. H.264 엔코더는 16*16 크기의 매크로 블록(macro block) 단위로 영상을 압축하며, 각 단위는 인접 영상과의 상관 관계에 따라 인트라 모드(intra mode) 또는 인터 모드(inter mode)로 코딩된다.

도면을 참조하면, 인트라 모드는 시간적으로 인접하는 영상과의 시간적 상관 관계가 적거나 또는 의도적으로 움직임 보상(MC)을 하지 않고 코딩하는 모드이다.

인트라 모드는 16*16 블록 또는 4*4 블록 단위로 인트라 예측(intra prediction)을 수행하고, 예측 값을 입력 매크로 블록에서 차분한다. 이후에 차분 값을 4*4 정수 변환(integer DCT), 양자화(quantization: Q) 및 엔트로피 코딩(entropy coding)하여 수신단측에 전송한다.

반면에, 인터 모드는 인접하는 영상과의 시간적 상관 관계를 이용하기 위하여 입력된 현재 영상과 이미 코딩 완료되어 전송된 후 기본 버퍼에 저장된 참조 프레임 영상(reference frame image)으로부터 각 매크로 블록의 움직임 벡터를 산출하여 움직임 보상을 수행한다.

또한, 인터 모드는 다양한 블록 크기(16*16, 16*8, 8*16, 8*8, 8*4, 4*8, 4*4)를 이용하여 최대 1/8 픽셀의 정밀도로 움직임 예측(ME) 및 움직임 보상(MC)을 수행할 수 있다. 또한, 인터 모드는 코딩 효율을 극대화하기 위하여 시간적으로 인접한 여러 개의 영상을 참조할 수 있다(multiple reference frames).

도 4는 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 엔코더의 전체 구성도이다. 도시된 바와 같이, 기본 계층 코딩을 위하여 상술한 H.264 엔코더를 사용하고, 강화 계층 코딩을 위하여 MPEG-4 기반의 FGS 엔코더에 시간적 예측 알고리즘이 추가된 구조를 사용한다.

도면을 참조하며 강화 계층의 코딩 과정을 설명한다.

<과정1 : 첫 번째 영상의 강화 정보 구축>

1-1 : 처음 원 영상(original image)에 대하여 도 3에서 설명한 코딩 방법에 의하여 재구성된 기본 계층의 영상과 원 영상간의 오차 영상(residual image)이 강화 계층에 입력된다.

1-2 : 입력된 오차 영상에 대하여 DCT부(402)는 이산 여현 변환을 수행하고, 비트플레인 코딩부(404)는 비트플레인 코딩을 수행하여 강화 정보(enhancement bitstream)를 생성한다. 생성된 강화 정보는 수신단측으로 전송된다.

1-3 : 비트플레인 추출부(406)는 생성된 강화 정보 중 중요한 비트순으로 최상위 N개의 비트플레인 정보를 추출한다.

1-4 : 후속 정보 처리를 위하여 역 비트플레인 코딩부(408) 및 IDCT부(410)는 추출된 최상위 N개의 비트플레인 정보를 역 코딩하여 강화 버퍼(412)에 저장한다.

<과정2 : 후속 영상의 강화 정보 처리 단계>

2-1 : 후속 원 영상에 대하여 도 3에서 설명한 코딩 방법에 의하여 재구성된 기본 계층의 영상과 후속 원 영상간의 오차 영상이 강화 계층에 입력된다.

2-2 : 움직임 보상부(416)는 기본 계층에서 도출된 움직임 벡터(414)를 이용하여 강화 버퍼(412)에 저장된 참조 영상 정보의 움직임 보상을 수행하고, 현재 입력 영상에 대한 시간적 예측 정보를 생성한다.

2-3 : 감산부(418)는 2-1의 오차 영상과 2-2의 시간적 예측 정보의 차를 계산하고, DCT부(402)와 비트플레인 코딩부(404)는 상기 감산된 정보를 코딩하여 강화 정보를 생성한다. 생성된 강화 정보는 수신단측으로 전송된다.

2-4 : 비트플레인 추출부(406)는 생성된 강화 정보 중 중요한 비트순으로 최상위 N개의 비트플레인 정보를 추출한다.

2-5 : 역 비트플레인 코딩부(408) 및 IDCT부(410)는 추출된 최상위 N개의 비 트플레인 정보를 역 코딩하고, 합산부(420)는 역 코딩된 정보에 2-2의 현재 입력 영상에 대한 시간적 예측 정보를 합산하여 강화 버퍼(412)에 저장한다. 강화 버퍼(412)에 저장된 영상 정보는 후속 영상에 대하여 이전 영상의 참조 영상 정보로서 이용되고, 상술한 과정은 엔코더의 입력 영상 시퀀스가 종료될 때까지 반복된다.

상술한 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 코딩 방법은 강화 계층에 입력된 영상 정보간의 시간적 중복성을 줄임으로써 강화 정보의 발생 양을 현저하게 줄일 수 있다.

하지만, 상기 코딩 방법은 강화 계층의 참조 영상 정보가 수신단측에 무사히 전송되지 않으면 드리프트 현상이 심각하게 발생할 수 있다.

만약 엔코더로부터 전송된 강화 계층의 참조 영상 정보가 디코더에서 모두 디코딩 가능하다면 참조 영상 정보의 불일치로 인해 발생하는 드리프트 현상을 제거할 수 있다.

하지만, FGS 코딩 방법은 전송 선로의 대역폭이 급변하여 영상 복원에 필요한 모든 정보를 수신하지 못한 경우에도 그 때까지 수신된 부분적인 영상 정보만을 이용하여 최적의 화질 향상을 얻을 수 있도록 설계되었기 때문에 전송 대역폭이 시간에 따라 급변하는 전송 환경에 상술한 시간적 예측 알고리즘이 적용된 코딩 방법을 사용하는 것은 무리가 따른다.

실험적으로 약 3개의 비트플레인 정보를 강화 계층의 참조 영상 정보로 사용 해야만 전송 영상의 화질 개선이 가능하기 때문에 시간적 예측 알고리즘을 적용하기 위해서는 디코더가 적어도 3개의 비트플레인 정보를 모두 수신할 수 있는 전송 환경이 구비되어야 한다.

도 5는 Foreman QCIF 참조 영상에 대하여 H.264 기반의 FGS 코딩 방법과 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 코딩 방법(N=3)의 코딩 성능을 비교하는 도면이다.

도면의 가로축은 디코딩이 완료된 수신 비트율(bitrate : bit per second)이며, 도면의 세로축은 해당 비트율에서 복원된 영상의 Y 콤포넌트에 대한 평균 PSNR(peak signal to noise ratio)이다(단위 dB).

기본 계층은 56kbps로 고정하여 디코딩을 수행하였으며, 강화 계층은 디코딩이 완료된 수신 비트율을 32kbps에서 1024kbps 까지 단계적으로 증가시키며 실험하였다.

도시된 바와 같이, A기점을 중심으로 왼쪽의 저역 비트율 대역에서는 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 코딩 방법(520)이 H.264 기반의 FGS 코딩 방법(510)에 비해 최대 4dB 정도 낮은 PSNR을 갖는다. 이는 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 디코더가 모든 비트플레인 정보를 수신하지 못하여 드리프트 현상이 발생한 것으로 추정할 수 있다.

반면에, A기점을 중심으로 오른쪽의 중/고역 비트율 대역에서는 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 코딩 방법(520)이 H.264 기반의 FGS 코딩 방 법(510)에 비해 최대 1.5dB 정도 높은 PSNR을 갖는다. 이는 시간적 예측 알고리즘이 적용된 H.264 기반의 FGS 디코더가 3개의 비트플레인 정보를 모두 수신하여 시간적 예측 정보를 효과적으로 사용한 것으로 해석할 수 있다.

결과적으로 시간적 예측 알고리즘을 사용하여 코딩 성능을 향상시키기 위해서는 소정의 전송 비트율 이상의 전송 환경을 가져야 한다.

도 6은 본 발명에 따른 선택적인 FGS 엔코더의 구성도이다. 본 발명의 FGS 엔코더는 강화 계층 내의 영상 정보로부터 시간적 예측 정보를 생성하고, 상기 예측 정보를 필요에 따라 선택적으로 사용하여 코딩을 수행한다.

도면을 참조하면, 참조부호 D1은 원 영상(original image)과 기본 계층에서 코딩된 영상과의 매크로블록 단위의 오차 영상을 나타낸다.

참조부호는 D2는 강화 계층 내에서 이전 영상의 코딩 결과 중 N개의 비트플레인 정보에 대해서 기본 계층의 움직임 벡터를 이용하여 움직임 보상을 수행한 매크로 블록 단위의 시간적 예측 정보를 나타낸다.

본 발명은 시간적 예측 정보 D2를 드리프트 발생을 최소화하는 범위내에서 선택적으로 이용한다. 즉, 강화 계층 내에서 시간적 예측 정보 D2를 이용하는 경우에는 D1-D2를 강화 정보로 코딩하고, 시간적 예측 정보 D2를 이용하지 않는 경우에는 D1을 강화 정보로 코딩한다.

도 7은 본 발명에 따라 시간적 예측 정보 D2의 사용 여부를 결정하는 과정을 설명하기 위한 도면이다. 도시된 바와 같이, 먼저 D1과 D1-D2의 SAD(sum of absolute difference)를 계산한다(S710). 매크로 블록 단위의 D1과 D1-D2는 모두 영상간의 차분값(differential)이며, 각 차분값에 절대값을 취하고 모두 합산하면 SAD 값을 계산할 수 있다.

계산된 D1의 SAD 값을 SAD_D1이라 하고, D1-D2의 SAD 값을 SAD_DD라고 할 때, SAD_DD가 SAD_D1 보다 큰 폭으로 작을 때 시간적 예측 정보 D2를 코딩에 사용한다(S720).

가중치 w는 시간적 예측 정보를 사용하기 위한 믿음 요소(belief factor)로서 1보다 큰 값을 사용한다. 본 실시예에서는 가중치 w값으로 1.8을 사용한다.

시간적 예측 정보 D2를 사용하는 경우에는 D1-D2를 코딩하여 강화 정보(enhancement bitstream)를 생성한다(S740, S750).

도 8a는 시간적 예측 정보를 코딩에 사용할 때의 신호 전달 과정을 설명하는 도면이다. 도시된 바와 같이, SAD_DD가 SAD_D1 보다 큰 폭으로 작으면 D1-D2를 코딩하여 강화 정보를 생성한다.

반면에, 시간적 예측 정보를 코딩에 사용하지 않는 경우에는 D1을 그대로 코딩하여 강화 정보를 생성한다(S730, S750).

도 8b는 시간적 예측 정보를 코딩에 사용하지 않을 때의 신호 전달 과정을 설명하는 도면이다. 도시된 바와 같이, SAD_DD가 SAD_D1 보다 큰 폭으로 작지 않은 경우 D1을 그대로 코딩하여 강화 정보를 생성한다.

이와 같이 필요에 따라 선택적으로 시간적 예측 정보를 사용함으로써 드리프 트 현상을 최소화시킬 수 있다.

한편, 도 9에 예시된 바와 같이 강화 정보는 매크로 블록 단위로 시간적 예측 정보의 사용 여부를 디코더에 통보해주는 선택 플래그 비트('S' : selelction flag bit)를 갖는다.

이하 도 6을 참조하며 본 발명에 따른 선택적인 FGS 코딩 과정을 상세하게 설명한다.

<과정1 : 첫 번째 영상의 강화 정보 구축>

1-1 : 처음 원 영상(original image)에 대하여 도 3에서 설명한 코딩 방법에 의하여 재구성된 기본 계층의 영상과 원 영상간의 오차 영상(residual image) 정보 D1이 강화 계층에 매크로블록 단위로 입력된다.

1-2 : 입력된 오차 영상 정보 D1에 대하여 DCT부(602)는 이산 여현 변환을 수행하고, 비트플레인 코딩부(604)는 비트플레인 코딩을 수행하여 강화 정보(enhancement birstream)를 생성한다.

1-3 : 후속 정보 처리를 위하여 비트플레인 추출부(606)는 생성된 강화 정보 중 중요한 비트순으로 최상위 N개의 비트플레인 정보를 추출한다.

1-4 : 역 비트플레인 코딩부(608) 및 IDCT부(610)는 추출된 최상위 N개의 비트플레인 정보를 역 코딩하여 해당 결과를 강화 버퍼(612)에 저장한다.

<과정2 : 후속 영상의 강화 정보 처리>

2-1 : 후속 원 영상에 대하여 도 3에서 설명한 코딩 방법에 의하여 재구성된 기본 계층의 영상과 후속 원 영상간의 오차 영상 정보 D1이 강화 계층에 매크로블록 단위로 입력된다.

2-2 : 움직임 보상부(616)는 기본 계층에서 도출된 움직임 벡터(614)를 이용하여 강화 버퍼(612)에 저장된 참조 영상 정보의 움직임 보상을 수행하고, 현재 입력 영상에 대한 시간적 예측 정보 D2를 매크로 블록 단위로 생성한다.

<과정3 : 시간적 예측 정보의 사용 여부 판별>

3-1 : 도 7에서 설명한 바와 같이, 스위칭부(620)는 시간적 예측 정보 D2를 코딩에 사용할 것인지 여부를 판단한다.

3-2 : D2를 이용하는 경우 선택 플래그 'S'에 '1'의 값을 부여하고 D1-D2를 강화 계층의 입력 정보로 사용한다.

3-3 : D2를 적용하지 않기로 판단된 경우 선택 플래그 'S'에 '0'의 값을 부여하고 D1을 강화 계층의 입력 정보로 사용한다.

<과정4 : 후속 영상의 강화 영상 정보 처리 반복>

4-1 : 과정3에서 결정된 강화 계층 입력 정보에 대하여 DCT부(602)는 이산 여현 변환을 수행하고, 비트플레인 코딩부(604)는 비트플레인 코딩을 수행하여 강화 정보를 생성한다.

4-2 : 후속 정보 처리를 위하여 비트플레인 추출부(606)는 생성된 강화 정보 중 중요한 비트순으로 최상위 N개의 비트플레인 정보를 추출한다.

4-3 : 역 비트플레인 코딩부(608) 및 IDCT부(610)는 추출된 최상위 N개의 비트플레인 정보를 역 코딩한다. 만약 과정3에서 결정된 입력 정보가 D1이라면, N개의 비트플레인을 역 코딩하여 얻은 결과를 그대로 강화 버퍼(612)에 저장한다.

4-4 : 과정3에서 결정된 입력정보가 D1-D2라면 N개의 비트플레인을 역 코딩하여 얻은 결과에 D2를 합산한 후 강화 버퍼(612)에 저장한다.

강화 버퍼(612)에 저장된 정보는 후속 영상에 대하여 이전 영상의 참조 영상 정보로 이용되고, 상술한 과정2 내지 과정4는 엔코더의 입력 영상 시퀀스가 종료될 때까지 반복된다.

도 10은 본 발명에 따른 선택적인 FGS 디코더의 구성도이다. 도시된 바와 같이 전송 선로를 통해 기본 계층과 강화 계층으로 나뉘어 수신된 비트스트림은 상술한 코딩 과정과 역순으로 디코딩이 진행된다.

도 10을 참조하여, 본 발명에 따른 선택적인 FGS 디코딩 과정을 상세하게 설명한다.

<과정1 : 첫 번째 영상의 강화 정보 복원>

1-1 : 처음 영상에 대한 기본 정보(base layer bitstream)가 기본 계층에 입력되어 디코딩되고, 강화 정보(enhancement bitstream) D0가 매크로 블록 단위로 강화 계층에 입력된다.

1-2 : 역 비트플레인 코딩부(1010)는 입력된 강화 정보 D0에 대하여 역 비트플레인 코딩하고, IDCT부(1020)는 역 이산 여현 변환을 수행하여 강화 계층의 재생 영상 D1을 생성한다. 이 과정에서 강화 정보 D0에 포함된 선택 플래그 'S'에 근거하여 스위치(1030)가 동작한다. 다만, 처음 영상에 대한 선택 플래그 'S'는 0이므로 D1이 그대로 강화 계층의 재생 영상으로 복원된다.

1-3 : 강화 계층에서 재생된 영상 D1은 기본 계층에서 재생된 영상과 합쳐져 디스플레이된다.

1-4 : 후속 정보 처리를 위하여 비트플레인 추출부(1040)는 입력된 강화 정보 D0 중 상위 비트플레인부터 차례로 N개의 비트플레인 정보를 추출한다.

1-5 : 역 비트플레인 코딩부(1050) 및 IDCT부(1060)는 추출된 N개의 비트플레인 정보를 역 코딩하고, 해당 결과를 강화 버퍼(1070)에 저장한다. 만약, 강화 정보 D0의 비트플레인 수가 N개 미만인 경우 확보된 비트플레인 수를 역 코딩하여 강화 버퍼( 1070)에 저장한다.

<과정2 : 후속 영상의 강화 정보 처리>

2-1 : 후속 영상에 대한 기본 정보가 기본 계층에 입력되어 디코딩되고, 강화 정보 D0가 매크로 블록 단위로 강화 계층에 입력된다.

2-2 : 역 비트플레인 코딩부(1010)는 입력된 강화 정보 D0에 대하여 역 비트플레인 코딩하고, 이후에 IDCT부(1020)는 역 이산 여현 변환을 수행하여 강화 계층의 재생 영상 D1을 생성한다.

<과정3 : 시간적 예측 정보의 사용 여부 판별>

3-1 : 시간적 예측 정보를 디코딩에 사용하는지 여부는 디코딩된 선택 플래그 'S'에 근거한다. 즉, 스위치(1030)에 1의 값이 입력되면 움직임 보상부(1090)는 기본 계층에서 디코딩된 움직임 벡터(1080)를 이용하여 강화 버퍼(1070)에 저장된 참조 영상 정보에 대하여 움직임 보상을 수행한다. 이후에, D1에 대한 시간적 예측을 수행한 매크로 블록 단위의 시간적 예측 정보 D2를 생성하고, D1+D2를 강화 계층의 재생 영상으로 출력한다.

3-2 : 스위치(1030)에 0의 값이 입력되면 D1을 그대로 강화 계층의 재생 영상으로 출력한다.

3-3 : 매크로블록 단위의 재생 영상을 기본 계층에서 재생된 영상과 합치어 디스플레이한다.

<과정4 : 후속 영상의 강화 정보 처리 반복>

4-1 : 후속 정보 처리를 위하여 비트플레인 추출부(1040)는 입력된 D0 중 상위 비트플레인부터 차례로 N개의 비트플레인 정보를 추출한다.

4-2 : 역 비트플레인 코딩부(1050) 및 IDCT부(1060)는 추출된 N개의 비트플레인 정보를 역 코딩하고, 과정3에서 결정된 재생 영상이 D1인 경우 역 코딩된 정보를 그대로 강화 버퍼(1070)에 저장한다.

4-3 : 만약, 과정3에서 결정된 재생 영상이 D1+D2인 경우 역 코딩된 정보에 D2를 더하여 강화 버퍼(1070)에 저장한다.

강화 버퍼(1070)에 저장된 영상 정보는 후속 영상에 대하여 이전 영상의 참조 영상 정보로서 이용되고, 상술한 과정2 내지 과정4는 디코더의 입력 영상 비트스트림이 종료될 때까지 반복된다.

상술한 바와 같이 본 발명에 따른 선택적인 FGS 코딩 방법은 시간적 예측 정보를 선택적으로 사용하여 코딩함으로써 코딩 성능을 향상시킬 수 있으며, 드리프트 현상의 발생을 최소화 할 수 있다.

도 11a 내지 11e는 여러 가지 참조 영상에 대해서 본 발명에 따른 FGS 코딩 방법과 다른 FGS 코딩 방법의 코딩 성능을 비교한 도면이다.

도 11a는 Akiyo QCIF 30Hz 영상 시퀀스, 도 11b는 Foreman QCIF 30Hz 영상 시퀀스, 도 11c는 Container CIF 30Hz 영상 시퀀스, 도 11d는 Mobile CIF 30Hz 영상 시퀀스, 도 11e는 Foreman CIF 30Hz 영상 시퀀스에 대해서 코딩 성능을 실험한 결과이다.

도면의 참조부호 1110, 1120, 1130, 1140은 각각 MPEG-4 기반의 FGS 코딩 방법, H.264 기반의 FGS 코딩 방법, 시간적 예측 알고리즘을 사용한 FGS 코딩 방법, 본 발명에 따른 FGS 코딩 방법의 코딩 성능을 나타낸다.

도시된 바와 같이, 본 발명에 따른 선택적인 FGS 코딩 방법(1140)의 코딩 성능이 PSNR에서 다른 FGS 코딩 방법(1110, 1120, 1130) 보다 최대 5dB 까지 향상된 성능을 가진다.

특히, 시간적 예측 알고리즘을 사용한 FGS 코딩 방법(1130)은 저역 비트율 대역에서 코딩 성능이 떨어지지만, 본 발명에 따라 선택적으로 시간 예측 알고리즘을 사용하는 선택적인 FGS 코딩 방법(1140)의 코딩 성능은 전 대역에 걸쳐서 우수한 코딩 성능을 가짐을 확인할 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명에 따르면, 시간적 예측 알고리즘을 선택적으로 사용하는 FGS 코딩 방법을 제안함으로써 망 상태 적응적인 특징을 그대로 유지하고, 드리프트 발생을 최소화하며 코딩 효율을 높일 수 있다.

Claims (20)

1. 인접 영상과의 시간적 상관 관계를 이용하여 입력 영상을 코딩하는 기본 계층 코딩 수단; 및

   상기 입력 영상과 상기 기본 계층 코딩 수단에 의해 코딩된 영상간의 오차 영상 D1에 대하여 강화 정보를 생성하는 강화 계층 코딩 수단

   을 포함하고,

   상기 강화 계층 코딩 수단은

   상기 입력 영상에 대하여 시간적 예측 정보 D2를 생성하고, 상기 D1 또는 D1-D2를 상기 강화 정보 생성에 선택적으로 이용하는

   선택적인 FGS 코딩 장치.
2. 제 1 항에 있어서,

   상기 강화 계층 코딩 수단은

   이미 코딩 완료된 강화 계층의 참조 영상을 저장하는 버퍼,

   상기 참조 영상에 대한 움직임 보상을 수행하여 상기 시간적 예측 정보 D2를 생성하는 움직임 보상부, 및

   상기 시간적 예측 정보 D2의 사용 여부를 판별하여 선택적으로 스위칭하는 스위칭부

   를 포함하는

   선택적인 FGS 코딩 장치.
3. 제 2 항에 있어서,

   상기 스위칭부는

   SAD(D1)이 SAD(D1-D2)*w 보다 큰 경우 D1으로 스위칭하고,

   SAD(D1)이 SAD(D1-D2)*w 보다 작은 경우 D1-D2으로 스위칭하는

   선택적인 FGS 코딩 장치.

   여기서, SAD(D1)은 D1에 절대값을 취하여 모두 합산한 값이고,

   SAD(D1-D2)는 D1-D2에 절대값을 취하여 모두 합산한 값이고,

   w 는 1보다 큰 가중치임.
4. 제 3 항에 있어서,

   상기 스위칭부는

   스위칭 동작에 따라 상기 강화 정보에 선택 플래그 비트를 삽입하는

   선택적인 FGS 코딩 장치.
5. 제 3 항에 있어서,

   상기 가중치 w는 1.8인

   선택적인 FGS 코딩 장치.
6. 제 1 항 내지 제 5 항에 있어서,

   상기 기본 계층 코딩 수단은

   H.264 알고리즘으로 상기 입력 영상을 코딩하는

   선택적인 FGS 코딩 장치.
7. 인접 영상과의 시간적 상관 관계를 이용하여 기본 정보(base layer bitstream)를 디코딩하는 기본 계층 디코딩 수단; 및

   입력되는 강화 정보(enhancement bitstream)에 대하여 강화 계층의 재생 영상 D1을 생성하는 강화 계층 디코딩 수단

   을 포함하고,

   강화 계층 디코딩 수단은

   이미 디코딩 완료된 강화 계층의 참조 영상을 저장하는 버퍼,

   상기 참조 영상에 대한 움직임 보상을 수행하여 상기 시간적 예측 정보 D2를 생성하는 움직임 보상부, 및

   상기 D1 또는 D1+D2을 선택적으로 스위칭하는 스위칭부

   를 포함하는

   선택적인 FGS 디코딩 장치.
8. 삭제
9. 제 7 항에 있어서,

   상기 스위칭부는

   상기 강화 정보에 삽입된 선택 플래그 비트에 근거하여 D1 또는 D1+D2을 선택적으로 스위칭하는

   선택적인 FGS 디코딩 장치.
10. 제 7 항 또는 제 9 항에 있어서,

    상기 기본 계층 디코딩 수단은

    H.264 알고리즘으로 상기 기본 정보를 디코딩하는

    선택적인 FGS 디코딩 장치.
11. 인접 영상과의 시간적 상관 관계를 이용하여 입력 영상을 코딩하는 기본 계층 코딩 단계; 및

    상기 입력 영상과 상기 기본 계층 코딩 단계에서 코딩된 영상간의 오차 영상 D1에 대하여 강화 정보를 생성하는 강화 계층 코딩 단계

    를 포함하고,

    상기 강화 계층 코딩 단계는

    상기 입력 영상에 대하여 시간적 예측 정보 D2를 생성하는 단계와

    상기 D1 또는 D1-D2를 상기 강화 정보 생성에 선택적으로 이용하는 단계

    를 포함하는

    선택적인 FGS 코딩 방법.
12. 제 11 항에 있어서,

    상기 강화 계층 코딩 단계는

    이미 코딩 완료된 강화 계층의 참조 영상을 저장하는 단계,

    상기 참조 영상에 대한 움직임 보상을 수행하여 상기 시간적 예측 정보 D2를 생성하는 단계, 및

    상기 시간적 예측 정보 D2의 사용 여부를 판별하여 선택적으로 스위칭하는 단계

    를 포함하는

    선택적인 FGS 코딩 방법.
13. 제 12 항에 있어서,

    상기 스위칭 단계는

    SAD(D1)이 SAD(D1-D2)*w 보다 큰 경우 D1으로 스위칭하고,

    SAD(D1)이 SAD(D1-D2)*w 보다 작은 경우 D1-D2으로 스위칭하는

    선택적인 FGS 코딩 방법.

    여기서, SAD(D1)은 D1에 절대값을 취하여 모두 합산한 값이고,

    SAD(D1-D2)는 D1-D2에 절대값을 취하여 모두 합산한 값이고,

    w 는 가중치임.
14. 제 13 항에 있어서,

    상기 스위칭 단계는

    스위칭 동작에 따라 강화 정보에 선택 플래그 비트를 삽입하는 단계를

    더 포함하는

    선택적인 FGS 코딩 방법.
15. 제 13 항에 있어서,

    상기 가중치 w는 1.8인

    선택적인 FGS 코딩 방법.
16. 제 11 항 내지 제 15 항에 있어서,

    상기 기본 계층 코딩 단계는

    H.264 알고리즘으로 상기 입력 영상을 코딩하는

    선택적인 FGS 코딩 방법.
17. 인접 영상과의 시간적 상관 관계를 이용하여 기본 정보(base layer bitstream)를 디코딩하는 기본 계층 디코딩 단계; 및

    입력되는 강화 정보(enhancement bitstream)에 대하여 강화 계층의 재생 영상 D1을 생성하는 강화 계층 디코딩 단계

    를 포함하고,

    강화 계층 디코딩 단계는

    이미 디코딩 완료된 강화 계층의 참조 영상을 저장하는 단계,

    상기 참조 영상에 대한 움직임 보상을 수행하여 상기 시간적 예측 정보 D2를 생성하는 단계, 및

    상기 D1 또는 D1+D2를 선택적으로 스위칭하는 스위칭 단계

    를 포함하는

    선택적인 FGS 디코딩 방법.
18. 삭제
19. 제 17 항에 있어서,

    상기 스위칭 단계는

    상기 강화 정보에 삽입된 선택 플래그 비트에 근거하여

    상기 D1 또는 D1+D2를 선택적으로 스위칭하는

    선택적인 FGS 디코딩 방법.
20. 제 17 항 또는 제 19 항에 있어서,

    상기 기본 계층 디코딩 단계는

    H.264 알고리즘으로 상기 기본 정보를 디코딩하는

    선택적인 FGS 디코딩 방법.

Images