KR20080016666A - 비디오 코딩 장치 및 비디오 신호 전송 방법 - Google Patents

Abstract

비디오 신호는, 전송될 화상과 저장된 국소 디코딩된 화상을 기준으로 하는 예측된 화상 사이의 차이를 나타내는 차분 신호(식별부호 '2'에서)를 송신기에서 생성하는 것에 의해 코딩된다. 송신기는 CRC와 같이 국소 디코딩된 화상의 함수로 체크 신호를 생성한다. 수신기는 디코딩된 화상을 만드는 차분 신호를 디코딩한다. 이것이 디코딩된 화상과 체크 신호를 비교하고, 이 둘이 일치하지 않으면 에러 신호를 생성한다.

Description

비디오 코딩 장치 및 비디오 신호 전송 방법{VIDEO CODING}

본 발명은 비디오 코딩에 관한 것으로, 특히, 프레임 간 차분 코딩을 사용하는 비디오 인코더의 콘텍스트에서 비디오 코딩에 관한 것이다. 이는 시스템 에러를 모니터하는 것에 관한 것이다.

예를 들어, 디코더에서 수신된 신호와 비교될 수 있는 CRC(Cyclic Redundancy Check)와 같은 체크 신호를 인코딩된 신호에서 생성하는, 2002년 3월 17일 ~ 21일에 개최된 Wireless Communications and Networking Conference의 WCNC2002. 2002 IEEE, Volume 1, 215~219 페이지에 개시된, Martini, M.G.와 Chiani, M.의 "Joint source-channel error detection with standard compatibility for wireless video transmission"이 알려져 있다. 그러나, 이 접근은 전송 경로에서 일어나는 에러만 검출할 수 있다. SPIE의 vol.5308, no.1(2004년1월 20일), 588~595 페이지에 개시된, Rane,S. 등의 "Systematic Lossy Forward Error Protection for error-Resilient Digital Video Broadcasting"은 한편, 송신기가 제 1 인코더를 사용하여 비디오 신호를 인코딩하고, Reed-Solomon 코딩에 의해 뒤따르는 저밀도 양자화를 사용하는 제 2 비디오 인코더를 사용하여 그 다음에 기록되는 국소 디코딩된 비디오 신호를 생성하는 시스템을 설명한다. Reed-Solomon 패리티 심볼은 수신기로 보내진다. 에러 상태에서, 수신기는 수신된 제 1 인코딩된 신호를 디코딩하고, 저밀도 양자화를 사용하여 이를 기록하고, Reed-Solomon 에러 수정을 적용하고, 그 결과를 디코딩한다. 이 시스템은 에러 경고를 명백하게 생성하지는 않지만, 여러 에러가 저밀도 양자화에 의해 마스크되고, 그리하여 검출될 수 없다는 점이 더 큰 불만이다.

본 발명의 일 측면에 따르면, 비디오 코딩 수단, 국소 디코딩된 화상을 생성하도록 동작 가능한 국소 디코딩 수단, 및 국소 디코딩된 화상의 모든 비트의 함수로 체크 신호를 생성하는 수단을 포함하고, 임의의 단일 에러 앞에서 얻어진 상기 체크 신호는 오류 없는 화상으로부터 얻어진 것과 언제나 상이한 것을 특징으로 하는 비디오 신호 코딩 장치가 제공된다.

다른 측면에서, 송신기에서, 인코딩된 비디오 신호를 생성하는 단계, 국소 디코딩된 화상을 생성하도록 상기 인코딩된 비디오 신호를 디코딩하는 단계, 임의의 단일 에러가 존재하는 경우 체크 신호가 오류 없는 화상에서 얻어진 것과 언제나 상이하도록 상기 국소 디코딩된 화상의 모든 비트의 함수로 상기 체크 신호를 생성하는 단계 및, 수신기로 상기 상이한 신호와 상기 체크 신호를 전송하는 단계를 포함하는 비디오 신호 전송 방법을 제공한다.

본 발명의 다른 측면은 종속항에서 설명될 것이다.

본 발명의 일부 실시예는 본 발명에 따른 인코더의 블럭도인 도 1과, 상응하 는 디코더의 블럭도인 도 2를 참조하여, 예를 들어 설명될 것이다.

도 1은 비디오 인코더를 도시한다. 비디오 신호(일반적으로 디지털 형태)는 입력(1)에서 수신된다. 감산기(2)는 상기 입력과 블럭(4)에서 다음에 추가로 코딩된 예측된 신호와의 사이에서 차분을 형성한다. 여기서 수행된 코딩은 본 발명의 요소는 아니지만, 예를 들어 임계(0 또는 - 차분의 전송을 억제) 양자화, 변환 코딩 및/또는 가변 길이 코딩을 포함한다. 프레임 저장소로의 입력은 가산기(5)에서 형성되는, 국소 디코더(6)에서 디코딩되는 예측 및 코딩된 차분 신호의 합이다(그래서 코딩 및 디코딩 프로세스에서 정보의 손실이 예측 루프에 포함된다.)

차분 코딩은 화면 내 프레임 코딩이 전송 에러의 진행을 제한하도록 가끔 사용되지만(전체 프레임에 대하여 또는 프레임의 선택된 블럭에 대하여), 주로 프레임 간에 이루어진다. 예측은 프레임 저장소(3)에 의해 제공되는 1-프레임 지연으로 간단히 구성될 수 있으나; 도시되는 바와 같이 움직임 예측기(7) 또한 포함된다. 이는 코딩된 화상의 프레임을 프레임 저장소(3) 내의 이전 프레임과 비교한다. (상기 화상이 나누어지는 것으로 여겨지는)현재 프레임의 각 블럭에 대하여, 상기 블럭이 가장 근접하게 닮은 이전 프레임의 영역을 식별한다. 상기 식별된 영역과 문제의 블럭 사이의 위치에서 벡터 차는 모션 벡터라 불리고(일반적으로 TV 화상에 의해 묘사된 장면 안에 대상물의 모션을 나타내므로), 현재 프레임 내의 관련 블럭의 위치 안으로 이전 프레임의 식별된 영역을 시프트하도록 하는 모션 보상 유닛(8)에 적용되고, 그에 의해 더욱 잘 예측하게 된다. 이는 평균 상에, 더 작은 감산기(2)에 의해 형성되는 차분을 가져오고, 그렇지 않은 경우보다 더 낮은 비트 속도를 사용하는 화상을 인코딩하는 코더(4)를 허용한다.

도 2는 디코더를 도시한다. 먼저, 블럭(4)에서 수행되는 임의의 코딩 동작은 프레임 간 차분 신호를 생성하는 블럭(6')(도 1의 블럭(6)과 동일)에서 역전된다. 그 다음 이는 인코더로부터 모션 벡터를 수신하는 모션 보상 유닛(8')에서 모션 보상 후 프레임 저장소(3')로부터의 예측에 더해진다. 가산기(5')의 출력은 디코더 출력을 형성하고, 프레임 저장소(3')의 입력에 또한 가해진다.

도시되지 않았지만, 버퍼링이 종래와 같이 인코더 출력과 디코더 입력에 일정한 비트-속도 채널 이상 전송을 허용하도록 제공된다.

지금까지 설명된 바와 같이, 이 구성은 종래의 것과 같다. 그러나, 그에 더해서, 인코더는 차례로, 가산기(5)로부터 각각 국소 디코딩된 프레임을 수신하고, 코딩된 데이터와 모션 벡터를 따라 디코더에 보내지는 1 이상의 체크 비트를 생성하는 체크 비트 생성기(9)를 포함한다.

디코더는 체크 비트와 가산기(5')로부터 각각 국소 디코딩된 프레임을 수신 사고 그들이 일치하는 것을 검증하는 체크 유닛(9')을 구비한다. 이는 인코더로 동일한 방법을 사용하는 국소 체크 비트 또는 비트들을 생성하는 단계와 인코더로부터 수신된 그/그들 결과를 비교하는 단계로 간단히 구성된다. 이들이 매치하지 않으면, 경고 신호가 생성된다.

체크 비트 또는 비트들의 임의의 형태가 사용될 수 있다: 필요한 것은, 프레임 저장소(3 또는 3')에 저장된 비트의 함수이고, 생성된 프레임이면 상이한 신호 가 에러를 포함하는 것이다. 단일 패리티 비트가 이 함수를 실행할 것이지만, 동일한 프레임에서 2개의 에러가 발생하는 경우는 에러를 등록하지 못하므로, 그러한 패리티 체크는 에러율이 매우 낮을 경우에만 가치가 있다.

다른 옵션은 해시 함수의 사용이다. CRC(Cyclic Redundancy Check)를 사용하는 것이 선호된다. 여기서 프레임 저장소 내의 프레임은 M 비트에 의해 표시되고 이 M 비트는 생성기 다항식 G에 의해, 그 다음 분할되는 M-비트 바이너리 숫자,모듈로-2로 간주 된다. 이 분할 후의 나머지는 요구되는 체크 비트 열이다. 적절한 CRC의 일 실시예는 MPEG-2 표준 ISO/IEC 13818-1:1996(페이지 81)의 별첨 A에 설명된 32 비트 CRC이다.

본 발명은 비디오 인코더의 폭넓은 범위를 대상으로 할 것이다. 그러나 문제는 비트-실제(bit-exact) 프로세스로 정의되지 않는 전환 코딩을 사용하는 시스템으로 발생할 수 있다. 이 한 실시예는 MPEG-2 표준에 따른 시스템 동작이다. 유닛 6과 6'에서의 디코딩이 일치하면, 어려움이 없으나 보통 이는 예를 들어 동일한 제조사에 의해 실행되거나 동일한 칩 세트를 사용하는 경우에만 발생한다.

일반적으로, 표준에 따르는 인코더와 디코더 모두는 부동 소수점 계산 또는 양 단부에서 약간 상이한 라운딩 에러가 일어나는 상이한 고정 점 계산을 사용하고, 가산기(5,5')로부터 디코딩된 두 프레임은 약간 상이하게 된다. 이것이 화상을 보는 사람에게 현저하지 않지만, 이는 에러 신호를 생성하는 CRC 체크를 발생시키게 될 것이다. 비트-실제 계산(H.264와 같은)을 특정하는 시스템은 이 문제를 겪지 않는다. H.264 표준은 SEI(Supplemental Enhancement Information) 메시지에 대한 사항을 포함하고, 이는 화상 품질을 유지하는 것과 같은 목적을 위해 사용되는 경향이 있다. 이 메시지들이 화상 체크섬(checksum) 정보를 명확하게 포함하지 않는 동안, 이들은 사용자 정의 메시지를 허용한다(ITU에 의해 정의된 프로세스를 통해 선택적으로 등록됨). SEI 메시지는 또한 관련 화상과 부가 정보를 결합하는 메커니즘을 제공한다. 그러므로 SEI 메커니즘은 화상 체크섬 정보를 전송 및 이용하기 위해 사용될 수 있다.

요구되는 패리티라면, CRC 또는 다른 체크 또한 송신 및 수신된 비트 스트림 상에서 수행된다. 그러나 이는 비트 스트림 상의 체크가 그들이 발생한 것과 같이 에러를 확인하지만, 프레임 저장소(3') 내에 에러가 있는 지를 나타내지 않기 때문에 9'에서 체크에 대한 필요를 제거할 것이다. 일단 존재하면, 그러한 에러는 내부 코딩된 프레임(또는 블럭)이 수신되는 시간까지, 물론 지속할 수 있다.

실제로, 에러 신호는 원하는 경우 송신기 단부로 되돌아올 수 있다. 화상 정확도에 대한 높은 정도의 신뢰도가 체크섬의 사용에 의해 달성될 수 있다. 일반적인 시나리오는 다음과 같다.

- 인코더 시스템이 화상 내의 모든 Y, U 및 V 픽셀의 값을 사용하여 각각의 재생 화상에 대한 32 비트 체크섬을 연산한다.

- 체크섬은 관련 화상과 결합될 체크섬을 가능하게 하는 충분한 정보를 가지고 비트 스트림을 따라 셋 탑 박스로 전송된다.

- 셋 탑 박스 내의 디코더가 화상을 디코딩한다. 셋 탑 박스는 디코딩된 화상의 체크섬을 연산하고 인코더에 의해 생성된 것과 비교한다.

- 값이 매치하면, 셋 탑 박스는 디코딩된 정확한 화상의 수와 같은 카운터를 증가시킨다.

- 체크섬이 매치하지 않으면, 에러가 발생한다. 셋 탑 박스는 중앙 관리 기능에 에러 통지를 발행하고, 이는 그러한 정보를 조회하고 필요하다고 여겨지는 경우 수정 동작을 수행한다.

일부 시스템에서는 모든 프레임이 다른 프레임의 코딩을 위한 예측으로 사용되지는 않는다; 예를 들어 MPEG-2 표준에서, 프레임 간 차등 코딩 기술을 이용하여 코딩되었지만, B-프레임은 그 자체가 다른 프레임의 코딩을 위한 기준 프레임으로 사용되지는 않는다. 그러므로, 종래의 MPEG-2 인코더는 그 결과의 필요가 없으므로 B-프레임을 디코딩할 필요가 없다. 이 상황에서, 기본적으로 두가지 옵션이 있다. 하나의 옵션은 예측을 목적으로 디코딩된 임의의 경우에 그 프레임들만을 위하여 체크 비트가 인코더에서 생성(및 디코더에서 체크) 되는 것이다. 이는 수정을 위해 체크된 모든 화상을 의미하는 것은 아니지만, 비-기준 화상은 물론 그들이 포함하는 임의의 에러가 지속하지 않는 것과 같이 화상 품질을 위해 덜 중요하다. 다른 옵션은 그러한 예측을 목적으로 요구되지 않는 디코딩된 프레임들이 그럼에도 불구하고 디코딩되고, 그들이 임의의 다른 목적을 위해 요구되지 않더라도, 체크 비트가 그들을 위해 생성된다.

특히, 인코더 단부에서 국소 디코딩이 전적으로 체크 비트 생성을 목적으로 수행되는 경우, 상호 예측 프레임이 프레임 간 코딩을 위한 기준 프레임으로 사용하는 시스템(예를 들어, 상호 코딩된 프레임과 내부 코딩된 프레임을 번갈아 전송) 을 구상하는 것이 가능하다.

실제로, 본 발명은 예측 코딩을 전혀 사용하지 않는 시스템에서 사용된다. 그러므로 임의 형태의 비디오 코딩으로, 코딩된 비디오 신호가 인코더에서 국소 디코딩되고, 국소 코딩된 화상은 입증을 목적으로 수신기로 전송을 위한 다른 체크 신호 또는 CRC를 생성하기 위해 사용된다. 이는 전송 에러에서 발생하는 것과 함께 코딩 또는 디코딩 프로세스 내의 문제에서 발생하는 에러들을 경고할 수 있으므로, 단순히 전송된 비트 스트림을 체크하는 것보다 더 높은 안전성을 제공한다.

H.263 및 H.264와 같은 일부 표준은 루프 필터의 사용을 허용한다. 이는 코딩 루프 안에서 작동하는 필터이다. 이것은 가산기(5(또는 5'))의 출력과 프레임 저장소(3(또는 3'))의 입력 사이에 배치된다. 사용자에게 보여지는 화상은 일반적으로 필터의 출력에서 가져온다. 실제로 필터링된 신호 또는 필터링되지 않은 신호 둘 중 하나가 선택되더라도(동일한 것이 인코더에서 그리고 디코더에서 이루어지는 한) 필터링된 신호에서 CRC 동작을 수행하는 것이 선호된다.

또한, 프레임 저장소(3 또는 3')의 출력으로부터 CRC 프로세스로의 입력을 가져오는 것이(또는 모션 보상 유닛(8,8')의 출력에서 그러는 것이) 가능하지만, 비-기준 프레임들이 저장되지 않으므로, 이것이 저절로 비-기준 프레임에 적용되지는 않는다.

상기 설명에 따르면, CRC 또는 다른 체크 신호는 프레임 당 한번 생성된다. 그러나 이것이 중요한 것은 아니다: 매 쌍 또는 그룹의 프레임에 대하여 한번 정도보다 덜 자주 생성될 수도 있고, 반대로, 모션 벡터와 차분 데이터를 위하여 CRC와 분리된 각 프레임을 제공하는 것에 의해, 예를 들어 각각의 매크로 블록에 대하여 한번보다 더 자주 생성될 수도 있다.

여기서 설명된 체크는 시스템 검사를 끝내도록 단부까지 그 자신을 제공한다. 즉, 송신 문제와 수신 종료 문제를 검출하도록, 일부 버그(또는, 전체 시간 동안 유지하기에 충분하지 않은 프로세스 파워)를 가지는 디코더를 포함한다. CRC 기술은 예를 들어 서버(ACK 및 NACK 타입 모두)에 통계치를 피드백하는 디코더를 포함하는 셋 탑 박스를 허용하여, 수신기가 뷰어에 제공된 컨텐츠를 얼마나 잘 구비하는 지의 기록을 서버가 유지할 수 있게 된다. 사용자가 품질에 대하여 불평하는 경우, 시스템은, 서버에서 불량하게 인코딩된 콘텐츠, 또는 수신단에서 다른 장치의 문제를 포함하는 모든 다른 문제와 구분하는 것과 같이, 서비스 제공자가 송신과 디코딩 문제 사이에서 구분할 수 있도록 한다.

Claims (13)

1. 비디오 신호를 코딩하는 장치에 있어서,

   비디오 코딩 수단(2,4,7);

   국소 디코딩된 화상을 생성하도록 동작 가능한 국소 디코딩 수단(3,5,6,8); 및

   상기 국소 디코딩된 화상의 모든 비트의 함수로 체크 신호를 생성하는 수단(9)을 포함하고,

   임의의 단일 에러가 존재하는 경우 얻어지는 상기 체크 신호는 오류 없는 화상으로부터 얻어진 것과 언제나 상이한 것을 특징으로 하는 비디오 신호 코딩 장치.
2. 제 1 항에 있어서,

   상기 체크 신호는 순회 중복 체크 신호인 것을 특징으로 하는 비디오 신호 코딩 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 비디오 코딩 수단은 예측 코딩을 적용하도록 구성되는 것을 특징으로 하는 비디오 신호 코딩 장치.
4. 제 1 항에 있어서,

   상기 비디오 코딩 수단은 국소 디코딩된 화상을 저장하는 프레임 저장소(3), 및 전송될 화상과 저장된 국소 디코딩된 화상을 기준으로 예측 화상 사이의 차이를 나타내는 차분 신호를 생성하는 프레임 간 코딩 수단(2,4,7,8)을 포함하는 것을 특징으로 하는 비디오 신호 코딩 장치.
5. 제 4 항에 있어서,

   상기 체크 신호는 다른 프레임의 예측 코딩을 위한 기준으로 사용되는 화상에 관해서만 생성되는 것을 특징으로 하는 비디오 신호 코딩 장치.
6. 제 4 항에 있어서,

   상기 프레임 간 코딩 수단은 다른 프레임의 예측 코딩을 위한 기준으로 사용되지 않는 화상의 예측 코딩을 수행하도록 동작 가능하고, 상기 국소 디코딩 수단은 상기 체크 신호 생성 수단이 비-기준 화상에 대한 체크 신호를 생성하도록 비-기준 화상을 디코딩하는 것을 특징으로 하는 비디오 신호 코딩 장치.
7. 비디오 신호를 전송하는 방법에 있어서,

   송신기에서,

   인코딩된 비디오 신호를 생성하는 단계;

   국소 디코딩된 화상을 생성하도록 상기 인코딩된 비디오 신호를 디코딩하는 단계;

   임의의 단일 에러가 존재하는 경우 얻어지는 체크 신호가 오류 없는 화상에서 얻어진 것과 언제나 상이하도록 상기 국소 디코딩된 화상의 모든 비트의 함수로 상기 체크 신호를 생성하는 단계; 및

   수신기로 상기 상이한 신호와 상기 체크 신호를 전송하는 단계;를 포함하는 것을 특징으로 하는 비디오 신호 전송 방법.
8. 제 7 항에 있어서,

   상기 수신기에서,

   디코딩된 화상을 만들도록 상기 수신된 신호를 디코딩하는 단계;

   상기 디코딩된 화상을 상기 체크 신호와 비교하는 단계; 및

   상기 디코딩된 화상과 체크신호가 일치하지 않으면 에러 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 전송 방법.
9. 제 7 항 또는 제 8 항에 있어서,

   상기 체크 신호는 순회 중복 체크 신호인 것을 특징으로 하는 비디오 신호 전송 방법.
10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,

    상기 비디오 코딩은 예측 코딩을 이용하는 것을 특징으로 하는 비디오 신호 전송 방법.
11. 제 7 항 내지 제 10 항 중 어느 한 항에 있어서,

    상기 인코딩된 비디오 신호는 전송될 화상과 저장된 국소 디코딩된 화상을 기초로 하는 예측 화상 사이의 차이를 나타내는 차분 신호를 포함하는 것을 특징으로 하는 비디오 신호 전송 방법.
12. 제 11 항에 있어서,

    상기 체크 신호는 다른 프레임의 예측 코딩을 위한 기준으로 사용되는 화상에 관해서만 생성되는 것을 특징으로 하는 비디오 신호 전송 방법.
13. 제 11 항에 있어서,

    다른 프레임의 예측 코딩을 위한 기준으로 사용되지 않는 화상의 상기 예측 코딩을 포함하고,

    비-기준 화상을 국소 디코딩하고, 체크 신호를 생성하는 것을 포함하는 것을 특징으로 하는 비디오 신호 전송 방법.

Images