KR20010030046A

KR20010030046A - 가역 가변 길이 코드를 이용한 에러 복구 비디오 코딩

Info

Publication number: KR20010030046A
Application number: KR1020000044727A
Authority: KR
Inventors: 이또유지
Original assignee: 윌리엄 비. 켐플러; 텍사스 인스트루먼츠 인코포레이티드
Priority date: 1999-08-02
Filing date: 2000-08-02
Publication date: 2001-04-16
Also published as: EP1075148A2; JP2001103475A; EP1075148A3

Abstract

움직임 보상 비디오는 부가 코드가 삽입된 가역 코어스 코드(reversible coarse code)로 인코딩된 동 벡터(motion vector)로 인코딩 및 디코딩된다. 상기 코어스 코드는 코드 워드의 짝수 번째 비트를 점유하고, 부가 코드는 코드 워드의 홀수번째 비트를 점유한다. 바람직한 실시예는 텍스쳐 데이터로부터 분할된 동 벡터 데이터를 포함하고 게다가 동 벡터는 직전의 동 벡터를 예측자(predictor)로서 사용하여 다르게 인코딩된다.

Description

가역 가변 길이 코드를 이용한 에러 복구 비디오 코딩{ERROR RESILIENT VIDEO CODING USING REVERSIBLE VARIABLE LENGTH CODES}

본 발명은 노이즈가 많은 채널을 통한 전송 및 저장을 위한 정보 인코딩에 관한 것으로, 더 상세하게는 에러 복구 인코딩에 관한 것이다.

노이즈가 많은 채널을 통해 데이터를 전송할 때 발생하는 에러를 완화시키기 위한 방법으로서, 자동 재전송 요청(Automatic Retransmission Request, ARQ) 및 순방향 에러 정정(Forward Error Correction, FEC)의 2가지 방식이 공지되어 있다. 전형적으로, ARQ 형태의 완화 방식은 시간 지연이나 피드백 채널의 부족을 견디지 못하기 때문에 비디오와 같은 멀티캐스트 또는 리얼타임 애플리캐이션에는 적합하지 않다. 이러한 경우들에서, 디코더는 에러 정정 인코딩에 의해 어느 정도 범위까지 보호된, 에러로 인해 손상된 비트스트림을 디코딩할 수 있을 뿐이고 이러한 비트스트림으로부터 생성되어야 한다. FEC는 에러 정정 코드 (예를 들어, Reed-Solomon)에 의해 완화를 제공한다. 그러나, 정정할 수 없는 에러들로 인해 보다 많은 완화 방식이 요구된다.

일반적으로, 공통 사용되는 비디오 압축 방법은 일시적인 리던던시를 제거하기 위한 블록 기초 움직임 보상을 갖는다. 움직임 보상 방법은 (매크로)블록 동 벡터 및 양자화된 대응 잉여(residual)(텍스쳐)만을 인코딩하며, 동 벡터 및 잉여의 가변 길이 코딩(VLC)은 코딩 효율을 증가시킨다. 그러나, 가변 길이 코딩이 전송 채널 에러에 대해 매우 민감한 경우가 많으며, 정정 불가능한 에러가 발생할 때, 디코더는 인코더와 동기화를 잃기 쉽다. 움직임 보상과 같은 예측 코딩 방법은, 하나의 비디오 프레임 내의 에러가 전체 비디오 시퀀스로 빠르게 전파되고 디코딩된 비디오 품질을 급격하게 저하시키기 때문에, 문제를 더 악화시킨다.

이러한 블록 기초 비디오 압축 방식에서 정정 불가능한 에러에 대한 전형적인 방법은, 에러 검출(예를 들어, 범위 외 동 벡터, 무효 VLC 표 엔트리, 또는 블록 내의 잉여의 무효 수), 디코더와 인코더의 재동기화 및 정정 불가능한 데이터 대신 미리 전송된 정확한 데이터를 반복하는 에러 은폐의 단계를 포함한다. 예를 들어, MPEG 1-2를 이용하여 압축된 비디오는 프레임의 매크로블록(MB)의 각 슬라이스의 시작에 재동기화 마커(시작코드)를 가지며, 정정 불가능한 에러는 정확히 디코딩된 재동기화 마커들 사이에 있는 모든 데이터를 폐기하게 한다. 이는 특히 MPEG와 같은 예측 압축 방법에 대한 비디오 스트림의 품질의 저하를 의미한다.

전형적으로, 이러한 압축된 비디오는 허프만 코드(Huffman code)와 같은 가변 길이 코드(VLC) 표를 이용하여 코딩된다. 압축된 비디오 데이터는, 노이즈가 많은 통신 채널을 통해 전송될 때, 채널 에러에 의해 손상되게 된다. 특히 VLC 표는 비트 에러에 민감한 것으로 증명되었다. 비트 에러는, 하나의 코드 워드가 잘못 해석되어 다른 길이의 다른 코드 워드가 됨으로써 에러가 검출되지 않게 할 수 있기 때문이다. 이에 의해 디코더는 인코더와의 동기화를 상실하게 된다. 최종적으로는, 무효 VLC 표 엔트리에 의해 에러가 검출될 수 있긴 하지만, 통상적으로 비트스트림 내에서 에러가 검출되는 위치는 에러가 발생한 위치와 동일하지 않다. 따라서, 디코더는 에러를 검출하면, 다음의 재동기화 마커를 탐색하고, 탐색된 재동기화 마커와 이전의 재동기화 마커 사이의 모든 데이터를 폐기해야 한다. 따라서, 단 하나의 비트 에러에 의해서도 상당한 양의 데이터 손실을 유발할 수 있으며, 이것이 공지된 코딩 체계의 문제점이다.

Golomb-Rice 코드(S.W.Golomb, "Run-length encoding", IEEE Trans. Inf. Theory, Vol. IT-12, pp.399-401, 1966년 7월, 및 R.F.Rice, "Some practical universal noiseless coding techniques," Tech. Rep. JPL-79-22, Jet Propulsion Laboratory, Pasadena, CA, 1979 3월)가 손실없는 이미지 압축에 응용되어 왔다. (M.J.Weinberger, G.Seroussi 및 G.Sapiro, "LOCO-I : A low complexity, context based lossless image compression algorithm," Proc 1996 IEEE Data Comp. Conf., Snowbird, UT, pp.140-149, 1996년 4월, 참조)

이러한 비디오 압축 및 압축 해제 방법은 특수한 집적 회로, 또는 프로그래밍 가능한 디지탈 신호 프로세서나 마이크로프로세서 상에서 구현될 수 있다.

본 발명은 가역 가변 길이 코드(RVLC)를 이용하여 동 벡터를 인코딩하여, MPEG 같은 움직임 보상 비디오에서의 에러 문제를 경감시킨다. 이러한 RVLC는 코어스(coarse) 코드(값의 범위를 나타냄) 및 추가 비트(값의 범위의 값을 나타냄)의 삽입된 구조를 가지며, 코어스 코드가 가역성을 제공한다.

바람직한 실시예는 데이터 패킷 내의 매크로블록에 대해 동 벡터 데이터와 텍스쳐(잉여) 데이터 사이에서 재동기화 워드를 이용한 데이터 분배를 포함한다. 이는 직전의 동 벡터를 예측자(predictor)로 이용하는 단순 차동 동 벡터 인코딩을 허용한다.

도 1 내지 도 4는 가역 코딩을 이용한 에러 검출을 나타낸 도면.

도 5는 고정 길이 코드 표.

도 6은 데이터 분배를 위한 비트스트림 신택스를 나타낸 도면.

도 7은 데이터 및 헤더 분배를 위한 비트스트림 신택스를 나타낸 도면.

도 8 및 도 9는 대안적인 비트스트림 신택스를 나타낸 도면.

도 10은 동 벡터 코딩을 나타낸 도면.

도 11은 동 벡터 예측을 도시한 도면.

데이터 분배

MPEG와 같은 움직임 보상 압축에 대한 향상된 에러 은폐 특성은 데이터 분배를 사용하여 달성될 수 있다. 2개의 연속적인 재동기화 마커 사이에서 데이터를 구성하는 "비디오 패킷"을 고려해 보면, 데이터 분배 방법에 있어서는, 각 비디오 패킷 내의 움직임 데이터 및 텍스쳐(DCT) 데이터는 비트스트림 방식으로 분리되어 인코딩된다. 다른 재동기화 워드(움직임 재동기화 워드)는 움직임 데이터와 DCT 데이터 간에 삽입되어 움직임 데이터의 종점 및 DCT 데이터의 시작점을 알려준다. 이러한 데이터 분배는 DCT 데이터가 검출 불가능한 에러에 의해서 붕괴되는 경우에도 디코더가 움직임 데이터를 사용할 수 있도록 한다. 이것은 부가 오버헤드가 거의 없는 압축된 비디오 데이터로 구성된 패킷에서 보정불가능한 에러에 대한 부분 복원을 포함하는 이점을 제공한다. 움직임 보상을 이용하여 디코드된 동 벡터를 적용할 수 있도록 한 에러 은폐는 디코드된 비디오의 품질을 한층 향상시킨다. 그리고 이것은 객체형 데이터가 형태 재동기화 워드에 의해서 움직임 데이터 및 텍스쳐 데이터로 분리될 수 있다는 점에서 객체 지향형 압축까지 확장된다.

데이터 분배를 사용할 때, 비디오 패킷 내의 데이터는 도 6a 내지 6c에 도시된 것처럼 조직되는데, 도 6a는 2개의 재동기화 마커 간의 필드들(fields)를 나타내고, 도 6b 내지 도 6c는 예에서 보다 상세하게 움직임 데이터 필드 및 텍스쳐 데이터 필드를 나타낸다. 특히, 제1 필드("재동기화 마커"(Resynch Marker))는 재동기화 마커이고, 제2 필드("MB 번호")는 비디오 패킷에서의 제1 매크로블록(픽셀들의 16 X 16 블록)의 프레임내의 번호이며, 제3 필드("QP")는 비디오 패킷에서 텍스쳐 데이터(DCT 계수)를 양자화하는데 사용되는 디폴트 양자화 파라미터이고, 제4 필드("움직임 데이터"(Motion Data))는 움직임 데이터이고, 제5 필드("움직임 재동기화 워드"(Motion Resynch Word))는 움직임 데이터와 텍스쳐 데이터 간의 재동기화 마커이고, 제6 필드("DCT 데이터")는 텍스쳐 데이터이고, 마지막 필드("재동기화 마커"(Resynch Marker))는 종료 재동기화 마커이다. 재동기화 마커는 23개가 연속으로 제로(0)를 갖도록 취해지며, 이들 재동기화 워드는 계류 중인 미국 특허원 제 09/019, 784(1998년 2월 6일자로 출원)호에 기재된 검색 과정에 의해서 발생될 수 있음에 주목해야 한다.

도 6b는 피캣 내의 각 매크로블록에 대한 COD 필드, MCBPC 필드, MV 필드로 구성된 움직임 데이터 필드를 보여주고 있다. COD 필드는 매크로블록이 코딩되었는지 또는 스킵되었는지(COD = 0 매크로블록은 코딩되었고, COD = 1 매크로블록은 스킵됨)를 나타낸다. MCBPC 필드는(1) 매크로블록의 모드 (및 (2) 매크로블록 중의 어떤 크로미넌스 블록(chrominance blocks)이 코딩되고 스킵되었는지를 나타내고, 모드는 현재의 매크로블록이 인트라(INTRA)(어떤 움직임 보상이 없음)로 코딩되었는지, 인터(INTER)(하나의 16 X 16 동 벡터로 보상된 움직임), 또는 인터4V(4개의 8 X 8 동 벡터로 보상된 움직임)를 나타낸다. 물론, COD가 매크로블록이 코딩되지 않은 것을 나타내는 경우에, MCBPC 필드는 존재하지 않는다. MV 필드는 실제 동 벡터 데이터, 즉 하나의 벡터 또는 4개의 벡터 데이터이다. 다시, COD는 매크로블록이 코딩되지 않은 것을 나타내는 경우에 MV 필드는 존재하지 않는다.

도 6c는 각 매크로블록에 대한 DCT 데이터를 수반하는 각 매크로블록 마다 CBPY 필드 및 DQUANT 필드로 구성되는 텍스쳐(DCT 데이터) 필드를 나타낸다. CBPY 필드는 매크로블록의 휘도 블록 중 어느 것이 코딩되고 어느 것이 스킵되었는지를 나타낸다. DQUANT 필드는 매크로블록에 대한 양자화 값을 연산하기 위해서 디폴트 양자화 값(QP)에 대한 차동 증분값을 나타낸다. DCT 필드는 매크로블록의 인코드되어 양자화된 런 길이 DCT 계수값이다.

헤더를 가진 가역 VLC

RVLC를 사용하는 헤더 및 데이터를 가진 비디오 패킷 내의 비트스트림의 바람직한 실시예의 신택스가 도 7에 도시되어 있다. 재동기화 마커, MB 번호, QP, 및 움직임 재동기화 워드 필드는 도 6a에 도시된 바와 같으며, 동 벡터 데이터 필드는 도 6b에 도시된 바와 같이 동 벡터 데이터 MV1, MV2, …, MVn으로 구성되고, DCT 헤더 데이터 필드는 도 6c와 같이 CBPY1, DQUANT1, …, CBPYn, DQUANTn으로 구성되고, DCT 데이터 필드는 도 6c와 같이 DCT1, DCT2, …, DCTn으로 구성된다.

헤더 데이터 필드는 각 매크로블록 마다 COD 및 MCBPC 데이터가 결합된 하나의 RVLC 엔트리로 구성되고(도 6b 참조), 헤더 재동기화 워드는 움직임 재동기화 워드와 유사한 소정의 디코드된 워드이다. 따라서, RVLC 엔트리의 시퀀스는 헤더 데이터, 동 벡터 데이터, DCT 헤더 데이터, 및 DCT 데이터 필드의 순서로 발생한다. 물론 각 필드는 이하 상세히 설명되는 바와 같이 그 자신의 RVLC 표를 갖는다.

RVLC 중 어느 것을 디코딩하는 동안 디코더에 의해서 에러가 검출되는 경우에, 디코더는 다음의 재동기화 워드(헤더 재동기화 워드 또는 움직임 재동기화 워드 또는 재동기화 마커)를 탐색한다. 이어서, 디코더는 RVLC 데이터를 역방향으로 디코드한다. 이하에 도시된 4개의 가능한 경우 중의 하나가 발생될 수 있으며, 디코더는 아래의 도면들에서 음영으로 도시된 비트스트림의 적절한 부분을 폐기하도록 결정한다.

디코더는, 역방향 디코딩 동안 유효 데이터에 대한 통상적인 검사 외에, 순방향 디코드 및 역방향 디코드된 데이터가 양 방향에서 명백한 오류없이 디코드 중인 데도 불구하고 정합을 이루지 못하는 경우에는 비트스트림을 에러인 것으로 플레그한다는 것을 주목해야 한다.

1) 분리 에러 검출 포인트 : 데이터에 에러가 없는 MBs가 사용됨. 순방향 디코드 및 역방향 디코드에서의 에러 검출 포인트 간의 데이터는 폐기된다(도 1의 음영 부분).

2) 교차 에러 검출 포인트 : 데이터 에러가 없는 MBs가 사용됨. 순방향 디코드 및 역방향 디코드에서의 에러 검출 포인트 간의 데이터는 폐기된다(도 2의 음영 부분).

3) 한 방향에서 에러가 검출된다. 데이터가 손상된 MB(도 3에 음영 부분)가 폐기된다. 순방향에서는 에러가 없지만 역방향에서는 에러가 있는 대칭적 상황은 유사한 것으로 처리된다.

4) 동일한 MB에서 에러가 검출됨 : 붕괴된 MB만(도 4의 음영 부분)이 폐기된다.

RVLC 및 가역 디코딩을 이용하는 상기 모든 경우에, 디코더는 에러가 없는 거의 대부분의 비트스트림을 이용할 수 있다.

RVLC의 설계

바람직한 실시예의 파라미터화된 RVLC는 이미지 데이터의 코딩시 발생하는 확률 밀도 함수(pdfs)를 위해 거의 최적인 것으로 알려진 이전에 공지된 비가역(non-reversible) VLC에 코드 길이 분포를 일치시킨다. 제시된 RVLC는 이들을 광범위한 pdfs와 정합하기에 적합할 수 있도록 파라미터화되며, 전형적인(비가역) 가변 길이 코드의 효율을 유지하면서 양방향 디코딩의 이점을 이용할 수 있다.

발명의 배경에서 지적한 바와 같이 무손실 이미지 코딩 애플리케이션에서의 최근 예측 에러의 코딩시에 적용되는 Golomb-Rice 코드로서 동일한 길이 분포를 갖는 가역 코드가 개시되고 있다. Golomb-Rice 코드는 지수적으로 분포된 음이 아닌 정수의 코딩을 거의 최적으로 하며, 몫과 나머지의 측면에서 정수 n을 설명한다. 간략화를 위해, 제수는 2의 멱(power), 즉 2^k가 되도록 선택되며, k에 의해 파라미터화된다. 몫은 임의의 큰 수일 수 있고 1진법을 이용하여 나타낸다. 나머지는 [0, 2^k ^-1] 범위에 있고 k 비트를 이용하는 2진 형태로 표현된다. 예를 들면, k=2를 갖는 Golomb-Rice 코드에 대해, 숫자 9는 11001로서 표현될 수 있다. 코드 워드의 "프리픽스(prefix)", 즉 110은 값 2를 가질 때 9/2²의 몫과 동일하다. 코드 워드의 "서픽스(suffix)", 즉 01은 2 비트 이진 표현의 나머지이다. 이하의 표 2는 파라미터 k의 2개의 선택을 위해 제1의 수개의 정수에 대한 Golomb-Rice 코드를 제공한다.

동일한 길이의 가역 코드를 얻기 위한 하나로서, "1"로 시작하고 종료하는 프리픽스를 갖는 각 Golomb-Rice 코드 워드의 프리픽스를 "0"과 동일한 모든 다른 비트로 간단히 대치할 수 있다. 이에 대한 예외는 "0"이된 길이 하나의 프리픽스이다. RVLC 내의 서픽스는 대응하는 Golomb-Rice 코드 내의 서픽스와 동일하게 잔류한다. 이들 규칙에 따라 구성된 RVLC가 k=1 및 k=2에 대해 표 1에 도시되고, RVLC 및 대응하는 Golomb-Rice 코드의 길이 분포가 일치하는 표로부터 명백해진다. 전체 코드 워드에 대해 반대인 프리픽스만이 있지만, 이들 코드는 코드 워드의 비가역 부분이 고정 길이를 가지기 때문에 양방향으로 용이하게 디코드될 수 있다.

각 길이에서의 코드 워드의 수가 일정한 Golomb-Rice 코드와 대조적으로, 주어진 길이의 코드 워드의 수가 길이에 따라 지수적으로 증가하는 코드를 구성할 수도 있다. 이러한 코드를 이용하는 런 길이의 압축이, "exponential-Golomb" 코딩을 이용하는 Teuhola의 논문(J. Teuhola, "Acompression method for clustered bit-vectors", Information Processing Letters, vol. 7, pp308-311, October, 1978)에 기술되어 있다. Exp-Golomb 코드는 전형적인 지수 pdfs보다 피크가 높고 말단(tail)이 넓은 pdfs에 정합된다. 이러한 pdfs는 양자화된 이미지 변형에서 생기는 런 길이 코딩된 데이터에 매우 양호하게 정합된다. Exp-Golomb 코드는 코드 워드의 서픽스 내의 비트 수인 k에 따라 파라마터화될 수 있다. 표 2는 k=1, 2인 exp-Golomb 코드를 나타낸다. 간단하지 않지만, exp-Golomb 코드로서 동일한 길이 분포를 갖는 가역 코드를 구성할 수 있다. 이를 다시 하는 것은 프리픽스의 처음 및 마지막 비트가 "1"인 구속을 부가한다. 상기와 같이, 길이 1의 프리픽스는 "0"으로 설정된다. 처음 및 마지막 비트를 제외한 프리픽스 내의 모든 홀수째 비트가 "0"인 것이 요구된다. 예를 들면, 길이 5의 모든 프리픽스에서, 제3 비트는 "0"이고, 제1 및 제5 비트는 "1"이다. 짝수째 비트들은 임의로 가변하여, 길이 l의 프리픽스가 2⁽ ^l ^-1)/2로 될 수 있게 하며, 여기서 l은 홀수이다. 코드를 구성함에 있어, 각 프리픽스는 길이 k의 독특한 2^k서픽스와 연관되어 있다. 표 2는 이들 규칙에 따라 구성된 RVLC를 제공한다. 다시, RVLC의 길이 분포가 대응하는 가역 코드의 길이 분포와 일치하는 것이 명백해진다.

파라미터화된 Golomb-Rice 코드 및 가역 Golomb-Rice 코드

파라미터화된 Exp-Golomb 코드 및 가역 Exp-Golomb 코드(대칭 구속되지 않는 RVLC의 비트는 이탤릭체로 인쇄됨)

다음에 완전한 코드 워드 표가 설계된다.

1. 가장 일반적으로 발생하는 이벤트(EVENT)의 확률표를 만든다.

2. 각 k에 대하여 더 높은 확률의 이벤트에 매핑된 더 짧은 코드 워드를 가지고 상응하는 RVLC 표로부터 이벤트로 코드 워드를 지정한다. 그리고 가장 짧은 평균 길이를 제공하는 k를 선택한다.

이 방법을 사용하여 RVLC는 각 (1) 헤더 데이터(COD+MCBPC)(인트라(INTRA) 및 인터(INTER) 프레임 양자에 대한), (2) 동 벡터 데이터, (3) 인트라 프레임 DCT 데이터, 및 (4) 인터 프레임 DCT 데이터에 대해 설계된다. 2개 클래스의 RVLC를 사용한다. RVLC의 제1 클래스는 헤더 정보(COD+MCBPC)를 코드하는데 사용된다. 한 RVLC는 인트라 프레임으로 사용되고 다른 하나는 인터 프레임으로 사용된다. 이들은 표 3과 다음의 표에 나타내었다.

인트라 코드된 비디오 패킷에 대한 COD + MCBPC의 RVLC

인터 코드된 비디오 패킷에 대한 COD + MCBPC의 RVLC

파라미터 k로 파라미터화될 수 있는 RVLC인 제2 클래스는 양자화된 DCT 계수의 엔트로피 코딩과 또한 동 벡터 데이터로 사용될 수 있다. 표 7a 내지 표 7e는 가장 일반적으로 발생하는 이벤트와 DCT 계수에 대한 k=1 및 k=2의 코드 워드에 대한 코드 표이다. 표에서, 마지막 비트 "s"는 양에 대해 "0" 및 음에 대해 "1"의 레벨의 표시를 나타낸다. 나머지 이벤트는 도 5에 나타낸 바와 같이, 고정된 길이 코드(FLC)로 코드된다.

런에 대한 FLC 표

레벨에 대한 FLC 표

DCT 계수에 대한 RVLC. 인트라 컬럼은 인트라 휘도로 사용될 수 있고 인터 컬럼은 인터 및 인트라 크로미넌스와 인터 휘도로 사용될 수 있다.

동 벡터 데이터에 대한 RVLC

대안적인 RVLC 및 이용

앞서 언급된 바람직한 실시예는 움직임 데이터가 헤더 데이터와 동 벡터 데이터로 분배되고 헤더 재동기화 워드로 분리되는 바람직한 실시예 신택스 안의 바람직한 실시예 RVLC로 사용된다. 바람직한 실시예 RVLC는 또한 도 6c의 DCT 데이터(DCT1, DCT2, ... DCTn)에 대한 표 7a 내지 표 7e의 코드를 이용하여 도 6a와 같이 데이터 분배를 가지고 사용될 수 있다.

게다가, RVLC는 CBPY 플러스 DQUANT 필드를 코드하여 사용될 수 있다.

대안적인 바람직한 실시예는 또한 분리된 헤더 데이터 및 헤더 재동기화 워드를 사용하지 않고 동 벡터 데이터에 대한 표 8a 내지 표 8c의 RVLC를 사용한다.

마지막으로, 다른 재동기화 마커로서, 다른 RVLC가 유사한 방법으로 만들어질 수 있다. 예를들면, 다음 표 9a - 표 9b, 표 10a - 표 10f 및 표 11a - 표 11d는 앞서의 표 4, 표 7a - 표 7e 및 표 8a - 표 8c의 다른 변형이다.

인터 코드된 비디오 패킷에 대한 COD + MCBPC의 RVLC

동 벡터 데이터에 대한 RVLC

객체 지향형 압축(object based compression)

앞서 언급된 RVLC와 비트스트림 신택스(syntax)는 또한 필드 내의 객체 형상 데이터(통상적으로 앞서의 움직임 데이터)와 추가적으로 형상 재동기 워드를 포함으로써 객체 지향 압축으로 확장되어 움직임 데이터로부터 형상 데이터가 분리된다.

보다 바람직한 실시예

보다 바람직한 실시예는 또한 텍스쳐 데이터 플러스로부터 분리된 보다 중요한 동 벡터 데이터를 갖는 가역 가변 길이 코드를 사용하며, 동 벡터 예측자의 현 상태(동 벡터 예측자 상태라 칭함)를 전송하는 새로운 신택스 요소가 부가된다. 이것은 동 벡터가 올바르게 디코딩되었는지를 검증하기 위한 순방향 및 역방향 디코딩에 유용하다. 동 벡터 예측자 상태 요소의 개수는 채널 상태에 따라 좌우되며, 요소들이 더 많이 사용될수록 에러율이 높아진다.

특히, 여기에는 2개 형태의 비디오 패킷; I-VOPs용 인트라 비디오 패킷과 비인트라 VOPs용 인터 비디오 패킷이 있다. 도 8은 비인트라 VOPs의 인터 비디오 패킷의 구조를 나타내며, 여기서 인트라 비디오 패킷의 코딩은 MPEG-4 VM7.0과 동일한 것일 수 있다는 것이 주지된다. 패킷 헤더들은 각 패킷의 초기에 압축된 데이터로 삽입된다. 이 패킷 헤더는 현재의 매크로블록 개수("MB 번호" 여기서 VOP의 매크로블록의 개수는 최대 2^N임)를 가리키는 N비트와 양자화 파라미터("QP")용 5비트를 가리키는 N비트가 후속되는 고유의 17비트 재동기화 마커(도 8에서 "재동기화 마커"로 나타나 있으며 0000 0000 0000 0000 1일 수 있음)와, 헤더 확장 코드로 구성된다. 움직임 데이터와 텍스쳐 헤더 이외의 모든 신택스 요소들은 VM7.0에서와 동일할 수 있다.

도 9는 움직임 데이터 필드의 구조를 도시하고, 도 10은 16×16 매크로블록 움직임 보상과 4개의 8×8 블록 움직임 보상을 구분하는 "움직임 형태 플래그(motion_type_flag)"를 갖는 동 벡터용 가변 길이 코드의 어셈블리를 나타낸다. 실행가능한 가역 디코딩을 위하여, 비디오 패킷의 최종 매크로블록은 "스킵된 매크로블록"으로서 코딩되지 않을 것이다. 표 12는 mv_vic 코딩을 나타낸다. 본래, 각각의 mv_vic는 2부분: 코어스 코드와 추가 코드로 구성된다. 이 코어스 코드는 짝수번째 비트로 나타나며 예를 들면 "0", "11", "101"로 가역가능한 반면에 추가 코드는 홀수번째 비트의 시퀀스이다. 이러한 방식으로, mv_vic은 고유하게 구성될 수 있다. 그밖에, 방향을 가리키는 것이 VLC를 디코딩하더라도, 짝수번째 비트의 코어스 코드로 검색함으로써 코드 경계를 탐색할 수 있다. 바람직한 실시예에서, 코어스 코드는 양방향 디코딩을 행할 수 있는 마커일 뿐만 아니라 정리되지 않은 정보, 즉 VLC로 표현될 값의 범위를 전송하는 가치있는 코드이다. 동 벡터 코딩의 신택스는 다음과 같다:

motion_vector(){

mv_vic(horizontal)

if(MV1 or MV4)

motion_type_flag

mv_vic(vertical)

}

여기서 mv_vic(horizontal)과 mv_vic(vertical)은 표 12로부터 취해지고 1 내지 27비트를 가질 수 있고 motion_type_flag는 도 10에 나타난 바와 같이 1비트이다.

움직임 데이터의 신택스는 다음과 같다.

motion_coding(){

first_MB_Inc

MVs+Motion type

do{

MB_Inc

if(MB_Inc=="000")

MV status

else

MVs+Motion type

}while(not motion_marker)

motion_marker

}

여기서 첫번째 MB_inc는 실제적으로 MB_Inc+1이고, MVs_Motion type은 도 10에서와 같은 16×16 움직임 보상과 4개의 8×8 움직임 보상 사이를 구분하고, MB_Inc는 1 내지 13비트를 가지며, motion_marker는 17비트 "1100 0000 0000 0000 1"이다. MB_Inc는 VM7.0에 사용된 COD를 대체한다. MB_Inc는 얼마나 많은 매크로블록들이 스킵, 즉 이전에 코딩된 매크로블록으로부터 증가될지를 말한다. 표 13은 MB_Inc VLC 코드를 나타낸다. 패킷에서 첫번째 MB_Inc("first_MB_Inc"로서 구분됨)은 어떤 매크로블록이 패킷에서 첫번째로 코딩될지를 말한다는 것에 유의해야한다. first_MB_Inc는 표 13에 코딩되어 있으며, 그 값은 이전에 코딩된 매크로블록이 패킷내의 macroblock_number 필드(MB_No)에 의해 특정화된 것에 대응한다는 가정하에서 실제적인 증가는 하나씩 더해진다는 것을 의미한다.

1차원 움직임 예측은 오류 전파를 방지하기 위하여 사용된다. "MV 예측자 상태"는 MV 예측자의 수평 및 수직 성분값을 나타낸다. 이 MTV 예측자 상태는 선행 MB_Inc="000"으로 표시된 VLC를 사용하는 16×16 움직임 보상 모드로서 코딩된다. 매크로블록 직전 이벤트의 MV 예측자에 코딩된 값, 즉 MB_Inc = "000" 이다.

적어도, motion_marker가 방향과 MV 프레딕터 상태 둘다로 디코딩되도록 삽입되기 직전에 적어도 하나의 MV 상태는 강한 에러를 강화하는데 필요한 것 만큼 자주 놓여질 것이다.

도 11은 동 벡터의 예측적인 코딩을 위한 규칙을 도시한 것으로, 각각의 수평 및 수직 성분에 대한 단 하나의 MV 예측자가 사용되고, MV 예측자는 스킵된 매크로블록에서 리셋되지 않고, 16×16 움직임 보상의 MV는 에러 상쇄 목적을 위한 인트라 매크로블록용으로 코딩된다. 이 MV는 텍스쳐 데이터가 디코딩될 수 없을 때 움직임 보상 신호를 구하는데 사용된다. 이 동 벡터차 MVD(0,0)는 이 모드에서 핵심이 되는 실험으로 코딩된다.

macroblock_type(MB_type)에 대한 신택스는 다음과 같다.

MB_type(){

MCBPC

CBPY

if(dquant)

dquant

}

여기서 MCBPC는 표 14에서와 같이 1 내지 8비트를 가지고, CBPY는 VM7.0에서와 같이 2 내지 6비트를 가지며 dquant는 VM7.0에서와 같이 2비트를 갖는다.

다음 에러 조건하에서의 동작을 디코딩하기 위하여, 디코더는 다음 재동기화 포인트에서 재동기 마커(resynch marker) 또는 공통 시작 코드(즉, 23비트 "0"+"1") 중 비트스트림에서 첫번째로 만나는 하나를 재동기화하지만:

(1) 불법적인 VLC가 수신된다.

(2) 64 이상의 DCT 계수가 하나의 블록내에서 디코딩된다.

(3) 일치하지 않는 헤더 정보(즉, QP가 범위밖이고, MB_number가 범위밖인 경우 등)가 수신된다.

(4) 재동기화 마커 또는 VOP 시작 코드가 손상된다.

(5) 현재의 패킷에서 매크로블록을 디코딩하는 동안 어떠한 에러도 발견되지 않는다. 그러나, 디코더에 의해 유지되는 현재 실행중인 매크로블록 카운트는 현재의 패킷 헤더의 NMB와 정합되지 않는다. (NMB는 비디오 패킷내의 매크로블록들의 개수를 가리키고 현재의 비디오 패킷과 다음 비디오 패킷간의 매크로블록 개수(MB 번호)의 차로서 계산된다).

만일 임의의 후속 패킷들이 재동기화 전에 상실된다면, 이들 패킷들은 스킵된 매크로블록으로 대체된다. 텍스쳐 데이터부에서 에러가 검출되는 동안(그리고 움직임부에서는 어떠한 에러도 검출되지 않음), NMB 동 벡터는 움직임 보상을 수행하는데 사용된다. 패킷내의 모든 매크로블록의 텍스쳐 부분은 폐기되고 디코더는 다음 재동기화 마커를 재동기화한다.

비트스트림의 움직임 또는 텍스쳐부 중에서 어떠한 에러도 검출되지 않지만, 현재 패킷의 모든 매크로블록을 디코딩한 후 재동기화 마커가 발견되지 않는 경우, 오류가 플래그되고, 현재 패킷의 모든 매크로블록의 텍스쳐부만이 폐기된다. 움직임 보상은 그 경우에 NMB 매크로블록에 여전히 적용된다.

MBA[K]를 현재 패킷에서 제1 매크로블록의 개수로 나타내고, MBA[k+1]를 다음 패킷에서 제1 매크로블록의 수로 나타낸다. 추가 검사는 어떤 패킷의 움직임 또는 텍스쳐 부분에서 에러가 검출되지 않고 다음 재동기화 마커가 맞게 찾아졌을 때 수행될 수 있다. 이경우 MBA[k+1]-MBA[k]가 NMB와 같은지를 검사한다. 그렇지 않으면, 다음 비디오 패킷(MBA[k+1]에 상응하는 패킷)에서 데이터를 폐기한다.

종래의 데이터 분배에서, 움직임 데이터부에서 에러가 검출될 때, 디코더는 전체 패킷을 폐기하고 다음의 성공적으로 읽힌 재동기화 마커나 VOP 시작 코드로 재동기화한다. 제안된 방법의 디코더는 MV 복구를 다음 부분의 설명에 따라 이끌고 복구된 MV들을 청하는 움직임 보상을 행한다.

그 과정이 예시된다. 여기서 움직임 데이터의 시퀀스를 다음으로 가정한다.

여기서 단순성을 위해 MV의 수평 성분만 다루고 MB_Inc는 고려하지 않는다. 이 움직임 데이터 필드에서 실제로 코드된 7개 동 벡터가 있고 동 벡터 차(MVD), 동 벡터 예측자(P), 및 실제 동 벡터(MV)의 항으로 나타낸다. 마지막 MV 값(즉, 예에서 MV[7]=24)은 MV 예측자 상태로서 저장된다고 가정한다. 이 정보는 순방향 디코딩과 유사하게 역방향 디코딩에서 이용된다. 즉,

순방향 디코딩에서

for(k=0, k〈=7; k++){

MV[k]=P[K]+MVD[k]

P[k+1]=MV[k];

}

역방향 디코딩에서

for(k=7;k〉=0;k--){

MV[k]=P[k+1];

P[k]=MV[k]-MVD[k];

}

위에서 MVD는 비트스트림에서 얻어진다. MVD 및 패킷의 시작에서 0으로 간주되는 P[0]은 예측자 상태로서 삽입되는 MV[]와 MVD가 역방향 디코딩에서 MV를 복구하는 동안 순방향 디코딩에서 MV를 재구성할 수 있다. 따라서 MV는 양쪽 방향에서 정확하게 디코딩될 수 있다. 이제 비트 에러가 MB 번호 1에서 발생하여 MVD 데이터 "1101001"이 "1101011"로 바뀐다고 가정한다. 디코더는 이 잘못된 비트를 MVD[1]=-7로 해석한다. 그리고, 디코더에서 얻어진 MV는 다음과 같다.

8 중의 7개 MV가 한개 비트 에러에 의해 손상되고 에러는 검출되지 않는다는 것을 주지해야 한다. 이 예는 손상된 비트가 잘못된 VLC 코드 워드로 해석될 수 있음을 잘 설명한다. 따라서, 에러는 VLC 코딩 내용에서 검출되지 않고 잘 전개될 수 있다.

바람직한 실시예에 의해 이들 MV는 다음과 같이 코딩된다. 한개 엔트리 컬럼은 MV 예측자 상태를 나타낸다.

디코더는 에러 검출, 재동기화, 에러 복구 및 에러 은폐의 3개 단계의 바람직한 실시예로 구성된다. 이들 단계는 비트 에러가 다음과 같이 상기 예와 같은 위치에서 발생했다고 가정할 때 1에 의해 1로 묘사된다.

단계 1. 실제 디코딩에서 MV 예측자가 MV 예측자 상태와 다를 때 에러가 검출될 수 있다. 이 예에서, 실제 디코딩에서 MV 예측자는 MV 예측자 상태가 30을 나타내는 동안 16이다. 에러는 또한 잘못된 VLC 코드 워드를 만날 때에도 검출되는 것을 주목해야 한다.

단계 2. 일단 에러가 움직임 마커를 검색하여 디코더가 재동기화 포인트를 찾는 것을 검출한다.

단계 3. 역방향 디코딩은 직전의 움직임 마커를 MV 예측자 상태에서 시작한다. 이 과정은 2개 이벤트 중 1개가 발생할 때까지 계속된다; (1) MV 예측자 상태는 역방향 디코딩의 MV 예측자와 다르다 (2) 그 과정은 에러가 검출되는 MB에 도달한다(이 MV는 진행되지 않을 것이다.) 역방향 디코딩이 끝날 때, 복구된 데이터는 옳은 정보로 회복된다.

단계 4. 순방향 디코딩에서 MV 예측자 상태에 의해 확인되지 않은 데이터는 에러를 제거해야 한다. 이 개개의 실행에서, 이들 MV는 0으로 리셋된다. 이 과정은 추가의 조사에 의해 최적화될 수 있다.

움직임 데이터를 따르는 텍스쳐 데이터는 그에 알맞게 다루어져야 한다. MB에 상응하는 예측자 에러 신호는 에러 은폐가 폐기되어 진행된다. 그러나 MB가 인트라 코드되고 올바르게 디코드되면 MB은 그 MB에 대한 움직임 데이터가 성공적으로 회복될지라도 인트라 MB로서 나타낼 것이다.

MV VLC

MB_Inc VLC

MCBPC VLC

본 발명에 따른 가역 가변 길이 코드를 이용한 에러 복구 비디오 코딩에 의해 mpeg 같은 움직임 보상 비디오에서의 에러 문제를 경감시킨다.

Claims

매크로블록 동 벡터 및 텍스쳐 데이터를 포함하는 패킷을 가진 형태의 움직임 보상 비디오에 있어서,

가역 코어스(coarse) 코드 플러스 삽입된 부가 코드 비트를 포함하는 코드 워드로 인코드된 동 벡터를 포함하는 것을 특징으로 하는 움직임 보상 비디오.
제1항에 있어서, 상기 동 벡터 성분은 이전 동 벡터 성분을 예측자로서 사용하여 서로 다르게 인코드되는 것을 특징으로 하는 움직임 보상 비디오.
제2항에 있어서, 상기 동 벡터 성분의 코드 워드는 표 12에 나타나 있는 것을 특징으로 하는 움직임 보상 비디오.
제1항에 있어서, 상기 코어스 코드는 값들의 범위를 나타내며, 상기 부가 비트는 상기 값의 범위를 가진 값들을 나타내는 것을 특징으로 하는 움직임 보상 비디오.
매크로블록 동 벡터 및 텍스쳐 데이터를 포함하는 패킷을 가진 형태의 움직임 보상 비디오용 디코더에 있어서,

가역 코어스 코드 플러스 삽입된 부가 코드 비트를 포함하는 코드 워드로 인코드된 동 벡터를 검출하도록 동작하는 디코더를 포함하는 것을 특징으로 하는 움직임 보상 비디오용 디코더.
매크로블록 동 벡터 및 텍스쳐 데이터를 포함하는 패킷을 가진 형태의 움직임 보상 비디오용 인코더에 있어서,

가역 코어스 코드 플러스 삽입된 부가 코드 비트를 포함하는 코드 워드로 동 벡터를 부호화하도록 동작하는 인코더를 포함하는 것을 특징으로 하는 움직임 보상 비디오용 인코더.