KR100669621B1 - 동영상 디코더의 참조 영상 변경 제어방법 - Google Patents

Abstract

본 발명은 네트워크 기반의 동영상 스트리밍 서비스 시스템에서, 디코더에서 수신한 패킷의 손실 발생시에 참조 영상을 VOP(Video Object Plate) 내의 I프레임으로 변경함으로써, 비정상 패킷 수신 이후의 정상 수신된 패킷에 대한 디코딩은 계속하여 이루어 질 수 있도록 한 참조 영상 변경 기법에 관한 것이다.

본 발명에서는 패킷 손실 여부를 판단하고, 패킷 손실이 발생하면 참조 영상을 이전 프레임으로 하지 않고 하나의 GOP내의 I프레임으로 변경하고, 변경된 참조 영상(I프레임)을 참조하여 해당 프레임의 디코딩이 이루어지도록 하며, 이 때, 압축된 데이터의 크기를 보고 그 크기가 소정의 제한된 크기 이상으로 증가하면 비트율 제어(Rate Control Algorithm)를 통해 네트워크 대역폭에 적합하게 양자화 파라미터(Quantization Parameter)를 세팅하여 인코딩되도록 함으로써, 네트워크 환경에 관계없이 클라이언트 단에서의 블로킹 없는 연속 재생이 가능하게 하였다.

MPEG4, 동영상 디코더, 참조 프레임

Description

동영상 디코더의 참조 영상 변경 제어방법{REFERENCE FRAME CONTROL METHOD OF VIDEO CODEC}

도1은 본 발명에 따른 비디오 코덱의 블록 구성도

도2는 수신된 패킷 및 압축 영상의 크기의 예를 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

10: 디멀티플렉서 30: 쉐이프(shape) 디코더

40: 움직임(motion) 디코더 50: 움직임 보상부

60: 텍스쳐(texture) 디코더 70: VOP 재구성부

80: VOP 메모리부

본 발명은 동영상 디코더의 참조 영상 변경 제어방법에 관한 것으로서, 특히 스트리밍 방식의 서버, 클라이언트 간에 대응되는 비디오 코덱의 참조 프레임(reference frame) 예측 방식을 변경하여 패킷 손실에 따른 디코딩 오류에 대응하고, 패킷 크기의 조절을 통해서 블로킹 없는 연속된 동영상의 재생을 이룰 수 있도록 한 동영상 코덱에 관한 것이다.

멀티미디어 자원을 서비스하고 이를 시간, 장소에 구애받지 않고 사용할 수 있는 다양한 시스템이 개발되어 왔다. 그 중에서 네크워크를 기반으로 하여 동영상을 스트리밍 서비스하는 시스템이 있다. 이 시스템은 서버에서 네트워크를 기반으로 동영상 패킷을 전송하고, 사용자 단말에서 상기 동영상 패킷을 수신하여 디코딩하고 이를 디스플레이하여 주는 시스템이다. 여기서 동영상은 전송 효율의 확보와 제한된 네트워크 대역폭의 활용이라는 측면에서 압축 부호화하고 패킷화하여 전송한다.
상기 네트워크를 기반으로 서버-클라이언트 간에 동영상 스트리밍 서비스를 수행하는 경우 제한된 네트워크 대역폭에 적응하기 위해서 비트율 제어 알고리즘(Bit Rate Control Algorithm)이 사용되는 것이 일반적이며 이는 잘 알려져 있다. 비트율 제어 알고리즘의 기본 개념은 네트워크의 대역폭에 적응적으로 양자화 파라미터(Qp) 값을 가변시켜 줌으로써 인코딩(전송)되는 동영상 데이터의 양자화 스텝(양자화 간격)을 조절해서 그 전송 비트율을 네트워크 대역폭에 맞춰주고 최적화 시켜 주는 것이다.
또한 유료 서비스의 경우는 대부분 패킷 단위로 과금이 이루어지고 있으며, 사용자 단말에서 에러(error) 없는 패킷 수신 및 디코딩을 얼마나 확보하는가에 따르 해당 서비스 시스템의 품질과 신뢰성이 좌우된다.

동영상을 압축 부호화하여 전송하고 이를 디코딩하는 비디오 코덱 시스템은 H.26x, MPEG 등의 표준을 따르는 경우가 대부분이다. 동영상의 압축 부호화(인코딩)는 통상, 동영상 데이터를 이산 코사인 변환(DCT) 등의 기법을 기반으로 하여 변환하고, 변환된 정보를 양자화하며, 양자화된 데이터를 무손실 부호화를 기반으로 부호화하고, 이를 패킷화하여 전송하는 과정을 거친다. 동영상의 복호화(디코딩)는 상기 인코딩의 역순에 해당하는 과정을 통해서 원래의 동영상을 복원하여 디스플레이하고 있다.

H.263이나 MPEG4 등과 같은 표준안에서의 동영상의 압축 부호화는 시간적 중복성과 공간적 중복성에 기반하고 있다. 인코딩/디코딩되는 동영상 프레임은 I프레임, B프레임, P 프레임 중의 한 프레임으로 구성되어 있지만, 이 중에서 B프레임의 경우는 로컬 데이터의 압축에는 사용할 수 있으나 실시간 데이터(Teal Time Data) 에는 대응되지 않는 특징으로 인하여 H.263 베이스라인 프로파일(H.263 Baseline Profile)이나, MPEG4 심플 프로파일(MPEG4 Simple Profile)에서는 채택되지 않고 있다.

기존의 H.263 혹은 MPEG4 심플 프로파일에서의 P프레임의 압축 방식의 경우에는, 움직임 보상된 이전 영상의 데이터를 참조 영상으로 하여, 움직임 추정, DCT(이산 코사인 변환), 양자화, VLC(가변길이 부호화)를 수행하고 있다.

그런데, 이러한 압축 부호화 표준에 따르는 동영상 스트리밍 서비스가 네트워크를 기반으로 이루어지는 시스템에서는 네트워크 환경에 의하여 필연적으로 에러(error)를 포함하는 환경에 놓이게 될 수 밖에 없다. 따라서, 네트워크를 기반으로 하는 서버와 클라이언트 간의 동영상 스트리밍 서비스가 이루어질 때 패킷의 손실이 발생하는 경우는 어떤 의미에서 회피하기 어려운 필연적인 문제라고 할 수 있다.
상기 서버-클라이언트 기반의 동영상 스트리밍 서비스에서는 네트워크 환경에 의하여 패킷의 손실이 발생한다. 공지된 바와 같이 패킷은 데이터 묶음으로 이해할 수 있는데, 이러한 데이터 묶음은 패킷의 선두에 헤더가 오고, 그 다음에 동영상 데이터가 연이어서 놓이는 포맷을 갖고 있다. 헤더는 패킷에 관한 여러가지 정보를 갖고 있는데, 예를 들면 패킷 ID, 동영상 데이터의 시작 및 끝 위치나 시작 위치와 그 길이 등에 관한 정보를 가질 수 있다. 고정 길이의 패킷이거나 가변 길이의 패킷을 사용할 수도 있다. 그러므로, 예를 들어, 패킷의 선두에 와야 하는 헤더가 검출되지 않는다면 그 패킷은 손상되거나 손실된 것으로 간주할 수 있다. 헤더인지의 여부는 약속된 헤더 ID(코드 데이터)가 있는지의 여부로부터 알 수 있다. 따라서, 패킷이 손실되었는지의 여부는 이러한 패킷 데이터 포맷의 특성들을 이용해서 알 수 있으며, 패킷 데이터 포맷의 특성들을 이용해서 패킷의 손실 여부를 가늠하는 방법은 이외에도 다양하게 알려져 있다.

이와 같은 동영상 스트리밍 서비스 시스템에서 동영상 패킷을 전송할 때 그 전송 중간에 한 프레임의 데이터(패킷)가 손실되었을 경우에는, 손실된 패킷을 제외하고 그 이후에 정상적으로 수신된 데이터의 경우에도 참조 영상이 없기 때문에 다음의 I프레임이 들어올 때 까지 수신되는 모든 패킷은 무용지물이 된다.

따라서, 패킷 자체는 정상 수신되었으나, 참조 영상이 없음으로 인하여 클라이언트는 블로킹 상태에 빠지게 되고, 사용자 단말의 입장에서 본다면 과금 문제에 민감하게 될 수 밖에 없다.

따라서, 패킷 손실의 가능성이 있는 동영상 스트리밍 서비스 시스템에서 패 킷 손실없이 데이터를 전송하는 것도 중요하지만, 패킷 손실이 발생하였을 때 이를 어떻게 해결하고 또 패킷 손실에 따른 문제점을 최소화할 수 있는가의 문제 또한 중요한 사항이 된다.

본 발명은 동영상 참조 프레임 예측 방식의 변경을 통하여 기존의 스트리밍 방식의 서버/클라이언트 구조에서 정상 수신된 패킷이 이전에 비정상적으로 수신된 패킷으로 인하여 정상적으로 디코딩되지 못하는 문제점을 해결할 수 있도록 한 동영상 디코더의 참조 영상 변경 제어방법을 제공하는데 그 목적이 있다.

또한 본 발명은 기존 동영상 코덱의 참조 프레임 예측 방식 변경을 통하여, 패킷 손실이 있을 수 있는 스트리밍 방식의 서버, 클라이언트 간에 정상 수신된 데이터가 재생되지 않는 현상을 최소화 함으로써 클라이언트 단에서의 블로킹 등의 현상을 없애고, 수신된 패킷을 최대한 재생할 수 있도록 하며, 낮은 대역폭의 네트워크 환경 및 저 성능의 컴퓨터에서도 화상의 끊김이 없이 부드러운 화상을 재생할 수 있도록 한 동영상 디코더의 참조 영상 변경 제어방법을 제공하는데 그 목적이 있다.

본 발명은 동영상 스트리밍 서비스 시스템에서 패킷 손실이 발생하였을 때 동영상 참조 프레임을 변경시켜 줌으로써 패킷 손실 이후의 영상 재생이 불가능하게 되는 현상을 해결함과 동시에, 본 발명에 따른 동영상 참조 프레임 예측 방식의 변경으로 인하여, 압축된 영상 크기가 증가하게 되는 현상을 방지해 주는 방법을 제안한다.

본 발명의 동영상 디코더의 참조 영상 변경 제어방법은, 네트워크를 기반으로 서버와 클라이언트 간에 동영상 스트리밍 서비스를 수행하는 시스템에 있어서, 수신된 패킷의 손실 여부를 판단하는 단계; 상기 패킷 손실이 발생하면 참조 영상을 이전 프레임으로 하지 않고 하나의 VOP내의 I프레임으로 변경하는 단계; 상기 변경된 참조 영상(I프레임)을 참조하여 이후 프레임의 디코딩을 수행하는 단계; 를 포함하여 구성된 것을 특징으로 한다.

또한 상기 본 발명의 동영상 디코더의 참조 영상 변경 제어방법에서, 상기 변경된 참조 프레임 기반의 디코딩 시, 압축된 데이터의 크기를 보고 그 크기를 소정의 제한된 크기 이상으로 증가하지 않도록 제한하는 것을 특징으로 한다.

또한 상기 본 발명의 동영상 디코더의 참조 영상 변경 제어방법에서, 상기 변경된 참조 프레임 기반의 디코딩 시, 압축된 데이터의 크기를 보고 비트율 제어(Rate Control Algorithm)를 통해 네트워크 대역폭에 적합하게 양자화 파라미터(Quantization Parameter)를 세팅하여 상기 데이터 크기가 소정의 제한된 크기 이상으로 증가하지 않도록 인코딩하는 것을 특징으로 한다.

상기한 바와 같이 본 발명에서는 패킷 손실 시에 참조 영상(참조 프레임)을 변경하고, 변경된 참조 영상을 기반으로 디코딩을 할 때 그 데이터 크기가 소정의 제한된 크기 이상으로 증가하지 않도록 하는 방법이다.

즉, 패킷 손실 가능성이 있는 스트리밍 서버의 경우 참조 영상을 변경함으로써, 비정상 수신된 패킷 및 수신되지 않은 패킷을 제외하고, 정상 수신된 패킷의 경우는 정상적으로 재생할 수 있게 하는 것이다. 이 때 변경되는 참조 영상은 재구성된 VOP(Recostructed Video Object Plate) 내의 I프레임으로 한다.

이와 같이 정상 수신된 I프레임을 참조 영상으로 하여 P프레임의 데이터를 재구성한다면, 정상 수신된 패킷의 경우에는 클라이언트 단에서 정상적인 재생이 가능하게 된다. 그렇지만, 이전 프레임을 참조 영상으로 하지 않고, 인트라 프레임(Intra Frame)을 참조 영상으로 함으로 인해서, 인트라 프레임과 많이 떨어져 있는 프레임일수록 그 압축된 데이터의 크기는 점점 더 증가하게 되어, 심지어는 I프레임의 압축 크기만큼이나 커지게 된다. 이렇게 압축된 데이터의 크기가 증가하게 되면 정지영상 코덱을 사용하지 않고 동영상 코덱을 사용하는 장점이 퇴색하게 된다.

따라서, 본 발명의 경우 P프레임에서의 압축 데이터의 크기가 이전 방식의 동영상 코덱보다 크지 않은 P프레임 데이터 크기를 가지게 하는 것이 상당히 중요하게 된다.

이를 위하여, 비트율 제어 등의 방법을 사용하여 네트워크 대역폭에 따라서 적응적으로 압축 데이터의 크기를 조절함으로써, 동영상 코덱의 장점을 충분히 살리면서도, 네트워크 환경에 관계없이 클라이언트 단에서의 블로킹 없는 연속된 영상의 재생이 가능하게 한다. 이는 네트워크 환경이 좋지 못한 스트리밍 방식의 서버/클라이언트 방식에서 특히 좋은 성능을 발휘하는 장점이 된다.

도1은 MPEG4 기반 동영상 코덱의 디코딩 방식을 계통적으로 보여주고 있다.

도1에 나타낸 바와 같이 본 발명에 따른 동영상 코덱은, 수신된 패킷 데이터 분리를 위한 디멀티플렉서(10)와, 상기 분리된 쉐이프 비트 스트림(Coded Bit Stream, Shape) 처리를 위한 스위칭부(20) 및 쉐이프 디코더(Shape Decoding)(30)와, 상기 분리된 움직임 비트 스트림(Coded Bit Stream, Motion) 처리를 위한 움직임 디코더(Mption Decoding)(40)와, 상기 디코딩된 쉐이프 및 움직임 정보, 그리고 재구성된 프레임 정보(VOP)를 토대로 움직임 보상을 수행하는 움직임 보상부(Motion Compensation)(50)와, 상기 분리된 텍스쳐 비트 스트림(Coded Bit Stream, Textur) 처리를 위한 텍스쳐 디코더(Texture Decoding)(60)와, 상기 디코딩된 텍스쳐 및 움직임 보상부의 출력을 토대로 VOP 재구성을 수행하는 VOP 재구성부(70)와, 상기 재구성된 VOP 데이터가 저장되는 VOP 메모리부(80)를 포함하여 구성되고 있다.

한편, 상기 텍스쳐 디코더(60)는 입력된 텍스쳐 비트 스트림의 디코딩을 위하여, 가변길이 디코더(Variable Length Decoding)(61), 역스캔부(Inverse Scan)(62), 역 DC&AC 예측부(Inverse DC&AC Prediction)(63), 역양자화부(Inverse Quantization)(64), 역DCT 변환부(IDCT)(65)를 포함하여 구성된다.

도1을 참조하여 디코딩 동작을 살펴본다.

디멀티플렉서(10)는 입력된 패킷을 각각 쉐이프(shape), 움직임(motion), 텍스쳐(texture) 비트 스트림으로 분리해 준다. 쉐이프 비트 스트림은 비디오 오브젝트 계층의 쉐이프 정보(video_object_layer_shape)에 의해서 스위칭부(20)를 거쳐 쉐이프 디코더(30)에 입력되고, 쉐이프 디코더(30)에서 VOP 메모리부(80)를 참조하여 디코딩된 쉐이프 데이터가 출력되어 움직임 보상부(50) 및 텍스쳐 디코더(60)에 공급된다.

움직임 비트 스트림은 움직임 디코더(40)에 의해서 디코딩되고, 디코딩된 결과는 움직임 보상부(50)에 공급된다. 움직임 보상부(50)는 디코딩된 움직임 정보와 상기 디코딩된 쉐이프 정보, 그리고 VOP 메모리부(80)의 재구성된 VOP 정보를 토대로 하여 움직임 보상을 수행하고, 그 결과를 VOP 재구성부(70)에 공급해 준다.

텍스쳐 비트 스트림은 텍스쳐 디코더(60)에 의해서 디코딩되고, 디코딩된 결과는 VOP 재구성부(70)에 공급된다. 즉, 가변길이 디코더(61)에 의해서 디코딩이 이루어진 후 역스캔부(62), 역DC&AC예측부(63), 역양자화부(64), 역DCT부(65)를 차례로 거치면서 인코딩 과정의 역순에 해당하는 디코딩 과정이 수행되는 것이다.

VOP 재구성부(70)는 상기 디코딩된 텍스쳐 정보와 움직임 보상정보를 토대로 하여 VOP를 재구성하여 출력해줌과 함께, VOP 메모리부(80)에 해당 영상 정보를 저장해 준다.

이와 같은 디코딩 과정에 있어서, 정상적으로 수신된 패킷의 경우는 참조 VOP(Reference Video Object Plate: MPEG2에서의 GOP(Group Of Picture)에 대응하는 개념)를 참조로 하여 영상을 재구성하게 된다.

패킷이 정상적으로 수신될 때는 문제가 되지 않지만, 패킷 손실이 발생하였을 경우에는 이후에 수신된 패킷은 그 수신 상태가 정상임에도 불구하고, 이전에 수신된 패킷으로부터 만들어진 비 정상의 참조 영상을 바탕으로 영상을 재구성(Reconstruction)하게 되므로 이 것 또한 비정상의 영상이 된다. 즉, 도2에 표현된 바와 같이 패킷 손실이 발생한 시점 이후의 패킷은 참조할 정상 영상이 없음으로 인하여 비정상적인 영상으로 변질되고, 이후에 다음의 I프레임이 수신되기 까지는 계속해서 비정상적인 재생을 할 수 밖에 없고, 그렇지 않다면 블로킹에 빠지게 된다.

그러나, 참조 영상을 이전 프레임으로 하지 않고, 하나의 VOP 내의 I프레임으로 하게 되면, 중간 중간에 비정상적으로 수신된 P프레임이 있다고 하더라도, 이후에 정상적으로 수신된 P프레임의 데이터는 정상적으로 디코딩 과정을 수행할 수 있게 된다.

그런데 이와 같이 재구성된 VOP 내의 I프레임을 참조 영상으로 삼게 되면, 이전 프레임으로 움직임 예측을 수행하지 않고, 멀리 떨어진 I프레임으로 움직임 예측을 수행하므로 압축된 데이터의 크기가 증가할 수가 있다.

이러한 현상을 방지하기 위하여 본 발명에서는 비트율 조절 알고리즘을 도입하여, 네트워크 대역폭에 적합하도록 양자화 파라미터(Quantization Parameter)를 세팅하여 인코딩을 수행한다. 이렇게 하면 패킷 손실 시 참조 영상의 변경에 따른 데이터 크기 증가의 문제를 해결할 수 있게 된다.

이는 네트워크를 기반으로 하는 멀티미디어 어플리케이션에 전반적으로 응용될 수 있으며, 특히 패킷 손실의 가능성이 높은 스트리밍 서비스 등에 적절히 이용될 수 있다.

도3은 지금까지 설명한 본 발명의 동영상 디코더의 참조 영상 변경 제어방법을 플로우차트로 표현한 도면이다.

제1 단계(S10)는 패킷 데이터를 수신하는 단계이다. 제2 단계(S20)는 상기 수신된 패킷이 정상 수신인지, 혹은 손실인지를 판별하는 단계이다. 제2 단계(S20) 의 판별 결과 정상 수신의 경우는 문제가 없으므로 제3 단계(S30)로 이행하여 정상 수신된 패킷 기반의 동영상 디코딩을 구행한다.

그렇지만, 비정성 수신된 패킷의 경우에는 제4 단계(S40)로 이행하여 참조 영상을 교체해 준다. 즉, 참조 영상을 재구성된 VOP 내의 I프레임으로 선택하여 변경해 주는 것이다. 다음의 제5 단계(S50)는 상기 변경된 참조 영상(재구성된 VOP 내의 I프레임)을 참조하여 디코딩을 수행하는 과정이다. 이와 같이 디코딩을 수행하였을 때 그 데이터 크기가 과도하게 증가하는지의 여부를 검색하기 위하여 제6 단계(S60)에서는 데이터 크기를 판별하고, 제7 단계(S70)에서는 그 압축된 데이터 크기가 미리 설정해 놓은 소정값 보다 커지는가를 판별한다.

상기 제7 단계(S70)의 판별 결과 데이터 크기가 제한된 크기 이상으로 증가하게 되면 제8 단계(S80)로 이행하여, 비트율 제어를 기반으로 양자화 파라미터를 네트워크 대역폭에 적합하게 적응적으로 변경하여 인코딩을 수행한다.

이렇게 하면 이전 프레임을 참조 영상으로 하지 않고 I프레임을 참조 영상으로 함으로 인해서 그 압축된 데이터 크기가 증가하게 되는 것을 방지할 수 있고, 이에 따라 MJPEG 등의 정지 영상 코덱을 사용하지 않고 동영상 코덱을 사용하는 장점을 충분하게 살려 줄 수 있게 되는 것이다.

본 발명은 스트리밍 서비스 등의 네트워크 기반의 멀티미디어 어플리케이션에서, 비정상적으로 수신된 패킷으로 인하여, 이후에 정상적으로 수신된 패킷마저도 정상적으로 디코딩을 수행하지 못하는 문제점을 참조 영상을 교체함으로써 해결 하였다. 따라서, 패킷 수신 여부를 바탕으로 과금 처리를 하는 멀티미디어 스트리밍 서비스에 적절하게 이용될 수 있을 뿐만 아니라, 네트워크 환경이 좋지 못한 일부 환경에서도 동영상을 처리하고자 하는 부분에 이용될 수 있다.

Claims (3)

1. 네트워크를 기반으로 서버와 클라이언트 간에 동영상 스트리밍 서비스를 수행하는 시스템에 있어서, 패킷의 포맷 특성에 기반하여 상기 수신된 패킷의 손실 여부를 판단하는 단계; 상기 패킷 손실이 발생하면 참조 영상을 이전 프레임으로 하지 않고 하나의 VOP내의 I프레임으로 변경하는 단계; 상기 변경된 참조 영상(I프레임)을 참조하여 이후 프레임의 디코딩을 수행하는 단계; 를 포함하여 구성된 것을 특징으로 하는 동영상 디코더의 참조 영상 변경 제어방법.
2. 제 1 항에 있어서, 상기 변경된 참조 프레임 기반의 디코딩 시, 압축된 데이터의 크기를 보고 그 크기를 소정의 제한된 크기 이상으로 증가하지 않도록 제한하는 것을 특징으로 하는 동영상 디코더의 참조 영상 변경 제어방법.
3. 삭제

Images