KR20080000865A - 저지연 영상 통신을 위한 영상 복호화 방법 - Google Patents

Abstract

본 발명은 저지연 영상 통신을 위한 영상 복호화 방법에 관한 것이다.

송신부로부터 수신한 압축 비트 프레임을 복호화할 때, 프레임에 포함되어 있는 TR(Temporal Reference) 값을 참조하지 않고 복호화를 수행하며, 복호화된 재생 프레임을 두 개의 재생 프레임 버퍼에 번갈아 가면서 저장하고, 재생 프레임 버퍼에 저장되어 있는 재생 영상 프레임을 번갈아 가면서 디스플레이한다. 그러므로 송신부에서 발생한 초기 지연이 수신부에서 압축 비트 프레임을 복호화할 때, I-프레임 이후 프레임들까지 적용되지 않아 종단 간 지연이 줄어든다.

TR(Temporal Reference), 복호화, 종단 간 지연

Description

저지연 영상 통신을 위한 영상 복호화 방법{Method for a TR-ignoring for low delay visual communication}

도 1은 일반적인 양방향 영상 통신 시스템의 구조도이다.

도 2는 일반적인 영상 통신 시스템에서 송수신 되는 데이터의 프레임별 시간 관계 예시도이다.

도 3은 본 발명의 실시예에 따른 영상 통신 시스템의 수신부의 구조도이다.

도 4는 본 발명의 실시예에 따른 영상 통신 시스템에서 송수신되는 데이터의 프레임별 시간 관계 예시도이다.

도 5는 본 발명의 실시예에 따른 영상 데이터 송수신을 위한 흐름도이다.

본 발명은 영상 통신 시스템에서 영상을 복호화하는 방법에 관한 것으로, 보다 자세하게는 지연을 감축하여 영상을 전송하고 재생하기 위한 영상 데이터를 복호화하는 방법에 관한 것이다.

IMT-2000(International Mobile Telecommunications-2000) 등의 초고속 이동 통신의 개발에 따라, 음성, 정지 영상뿐만 아니라 동영상과 같은 멀티미디어 서비 스도 확대되고 있다. 동영상의 멀티미디어 서비스의 예로는 VOD와 같은 단방향 서비스와 화상 통화와 같은 양방향 서비스가 있다.

여기서 사용자에게 양방향 서비스를 제공하기 위해서 영상 전화나 영상 회의와 같은 양방향 영상 통신 시스템은 종단간(end-to-end) 지연이 통화의 품질을 평가하는데 있어서 매우 중요한 척도로 작용한다. 뿐만 아니라, 종단간 지연은 영상 통화의 현장감을 결정하는 데 있어 결정적인 영향을 미친다. 따라서, 양방향 영상 통신의 경우에는 종단간 지연을 가능한 작게 유지해야 할 필요가 있다.

일반적인 영상 통신 시스템을 통해 양방향 영상 통신 서비스를 이용하고자 할 때, 전송되는 영상 데이터에 건너뛴(Skip) 프레임이 존재할 경우 영상 통신 시스템은 이 프레임 기간 동안 이전 재생 프레임을 반복하여 재생한다. 그러므로 반복 재생에 따른 초기 지연이 이후 재생될 프레임들에 동일하게 적용되어 종단간 지연이 커지는 문제점이 있다.

이는 영상 시스템에 포함되어 있는 디코더가 모든 수신 프레임의 PSC(Picture Start Code, 화상 시작 부호), P-type(Picture-type) 값뿐만 아니라 TR 값을 참조하기 때문이다. 즉, 디코더가 연속적인지 않은 TR 값을 가진 프레임을 수신하게 되면, 건너뛴 프레임으로 간주하여, 해당 프레임 기간 동안은 이전에 재생된 복원 영상을 반복 재생하는 방법을 사용하고, 이로 인해 실질적으로 영상을 재생하기까지 요구되는 지연 시간이 커지게 된다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으 로, 영상 데이터를 수신 측에서 재생할 때 TR 값과 무관하게 복호화를 수행하는 복호화 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 특징인 복호화 방법은 영상 통신 시스템에서 전송되는 영상을 복호화하는 방법에 있어서,

상기 영상 통신 시스템은 디코더 버퍼, 비디오 디코더, 프레임 버퍼부, 제어부 및 디스플레이부를 포함하며 상기 영상을 복호화하는 방법은,

(a) 상기 영상 통신 시스템으로부터 압축 비트 스트림 프레임--여기서 압축 비트 스트림 프레임은, 픽쳐 헤더(Picture Header)를 구성하는 필드의 한 부분으로써 전송되는 영상 프레임간의 시간 차이 정보를 의미하는 TR(Temporal Reference)값, 상기 영상의 전송 시작 부호를 나타내는 PSC(Picture Start Code), P-Type(Picture-type)을 포함함--을 전달받아 상기 디코더 버퍼에 저장하는 단계; (b) 상기 비디오 디코더는 상기 저장된 압축 비트 스트림 프레임을 디코더 버퍼로부터 소정의 프레임씩 전달받아 상기 PSC 및 현재 전송되는 영상의 그림 포맷을 나타내는 P-Type을 토대로 복호화하여 재생 영상을 출력하는 단계; (c) 상기 프레임 버퍼부는 상기 비디오 디코더로부터 복호화되어 출력된 재생 영상을 입력받고, 상기 제어부는 상기 프레임 버퍼에 상기 재생 영상이 존재하는지 판단하는 단계; 및 (d) 상기 프레임 버퍼에 상기 재생 영상이 존재하면, 상기 디스플레이부는 상기 재생 영상을 출력하는 단계를 포함한다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명 이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 일반적인 양방향 영상 통신 시스템의 구조도이다.

도 1에 도시된 바와 같이, 송신측의 비디오 인코더(10)로 입력 비디오 신호가 입력되면, 인코더 버퍼(30)에서는 해당 비디오 신호에 대하여 복호화를 수행하여 압축 비트 스트림을 생성하여 출력한다. 이와 동시에, 인코더 버퍼에서는 비디오 인코더(10)를 제어하기 위하여 충만도 정보를 출력하고, 이를 전달받은 전송률 제어부(20)는 현재 인코더 버퍼(30)의 상태를 파악한다.

즉, 전송률 제어부(20)는 인코더 버퍼(30)의 상태에 따라 인코더에서 발생되는 비트량을 제어한다. 전송률 제어부(20)는 인코더 버퍼(30)가 가득 찬 경우에는 비디오 인코더(10)의 발생 비트량을 줄이고, 인코더 버퍼(30)가 거의 비어있는 경우에는 비디오 인코더(10)의 발생 비트량을 늘림으로써, 인코더 버퍼(30)가 평균적으로 일정한 레벨을 유지할 수 있도록 제어한다.

인코더 버퍼(30)로부터 출력된 압축 비트 스트림은 채널을 통하여 수신 측 디코더 버퍼(40)로 입력된다. 디코더 버퍼(40)는 압축 비트 스트림을 미리 설정된 값만큼 채워질 때까지 저장한 후, 비디오 디코더(50)로 전달한다. 비디오 디코더(50)는 압축 비트 스트림을 전달받아 복호화를 수행하고, 디스플레이부(60)로 전달하여 사용자에게 영상을 재생하여 제공하게 된다.

다음은, 이와 상기에서 언급한 구성 요소로 이루어진 영상 통신 시스템에서 실제 데이터가 송수신 될 때의 프레임별 시간 관계에 대하여 도 2를 참조하여 설명하기로 한다.

도 2는 일반적인 영상 통신 시스템에서 송수신 되는 데이터의 프레임별 시간 관계 예시도이다.

도 2를 살펴보면, TR 값은 픽쳐 헤더(Picture Header)를 구성하는 필드의 한 부분으로서, 수신부로 영상 프레임간 시간 차이 정보를 제공한다. 만약 이전 프레임의 TR 값이 0이고 비디오 인코더(10)에서 현재 프레임을 정상적으로 인코딩하였다면, 비디오 인코더(10)는 이전 프레임의 TR 값에 1을 더한 1 값을 현재 프레임의 TR 필드에 기록한다.

만약 현재 프레임을 복호화하지 않고 건너뛰었다면, 그 다음 프레임의 TR 값은 2로 기록되고, 연속적으로 두 프레임을 건너뛰면 프레임의 TR 값은 3으로 기록된다. 이와 같이 TR 값이 기록된 프레임을 수신한 비디오 디코더(50)는 프레임에 포함되어 있는 TR 값을 참조하여 건너뛴 프레임 수만큼 이전 재생 프레임을 반복하여 재생한다.

도 2에 ①로 도시된 지점의 인코딩 시간을 보면, 첫 번째 인코딩되는 I-프레 임(Intra-coded frame)은 P-프레임(Predictive-coded frame)에 비해 비트량이 많기 때문에, 3개의 프레임을 건너뛰고 4번째 프레임에 TR이 4로 인코딩된다. 인코더 버퍼(30)에 저장되어 있던 압축 스트림 비트는 건너뛴 세 프레임 동안 채널을 통해 수신기부로 I-프레임을 전송한다. I-프레임의 전송이 완료되면, “TR = 4”의 P-프레임을 전송하며, 이후 프레임들을 차례로 전송한다.

한편, 수신 측에서는 네트워크에 따른 전송 지연 후에 I-프레임의 압축 비트 스트림을 수신하기 시작한다. I-프레임의 비트 스트림은 이후 세 프레임의 기간 동안 분할되어 전송되므로, 총 4프레임의 기간 동안 I-프레임을 수신한다.

프레임들을 수신하는 경우에는 네트워크 전송시 지터(Jitter)가 발생할 수 있기 때문에, 송신 측에서는 일정한 주기로 비트 스트림을 전달했을지라도, 수신 측에 도착하는 것은 도 2의 ②와 같이 주기성이 흐트러진 상태로 도착될 수 있다. 수신 측에 도착한 압축 비트 스트림은 디코더 버퍼(40)로 입력되어 복호화되길 기다린다.

디코더 버퍼(40)로부터 비디오 디코더(50)로 전달된 압축 비트 스트림은 복호화된 후 디스플레이부(60)를 통해 재생 영상이 재현된다. 이때, I-프레임은 도 2의 ③에 도시된 바와 같이 네트워크 전송 시간과 초기 버퍼시간을 합친 시간만큼의 초기지연이 지나야 재생될 수 있다.

그 다음 재생 시간에는 TR = 4의 P-프레임이 재생되며, 이후에는 TR 값이 순차적으로 증가하면서, 이후 프레임들이 연속적으로 재생된다. 따라서, 도 2에 도시된 종단간 지연은 실시예에 의해 약 5프레임 정도인데, 이는 초기 지연과 거의 같 은 양이다. 따라서, 초기 지연을 줄이는 것이 종단간 지연을 줄일 수 있는 척도가 된다.

다음은 상기에서 언급된 초기 지연을 줄일 수 있는 인코딩 방법에 대하여 도 3 내지 도 5를 참조하여 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 영상 통신 시스템의 수신부의 구조도이다.

도 3을 살펴보면, 수신부는 디코더 버퍼(100), 비디오 디코더(200), 프레임 버퍼부(300), 제어부(500) 및 디스플레이부(400)를 포함한다.

디코더 버퍼(100)는 채널을 통해 송신 측 이동 단말로부터 송신된 인코딩된 비디오 신호를 입력받아 저장하고, 이미 정의된 소정의 수준이 되면 저장되어 있는 인코딩된 비트 스트림을 비디오 디코더(200)로 전송한다. 또한, 전송 과정에서 유입된 전송 지연과 지연 지터를 흡수하고 안정된 복호화가 이루어질 수 있도록 완충작용을 수행한다.

비디오 디코더(200)는 디코더 버퍼(100)에 저장된 비트 스트림을 읽어내어 복호화를 수행한다. 이때, 비디오 디코더(200)는 프레임 내의 TR 값을 참조하지 않고, 디코더 버퍼(200)가 이미 정의된 소정의 수치 이상 저장될 경우, 압축 비트 스트림을 전달받아 복호화를 수행한다.

여기서 프레임 내에는 TR 값뿐만 아니라 영상의 전송 시점을 나타내는 PSC와 현재 전송되는 영상의 그림 포맷을 나타내는 P-type 등을 포함하고 있으며, 반드시 이에 한정되는 것은 아니다. 이와 같이 TR 값을 참조하지 않고 PSC와 P-type 등만을 참조하여 복호화를 수행하면, 불연속적인 TR 값을 가진 프레임이 수신된다 하더 라도 종단간 지연이 커지지 않는 장점이 있다.

디스플레이부(400)는 비디오 디코더(200)로부터 복호화되어 프레임 버퍼(300)에 저장된 비디오 신호를 사용자의 이동 단말로 제공하여 사용자가 영상을 확인할 수 있도록 한다.

프레임 버퍼부(300)는 비디오 디코더(200)로부터 복호화된 복원 영상을 저장하며, 각각 1 프레임 크기를 가지는 제1 프레임 버퍼(310)와 제2 프레임 버퍼(320)의 두 개의 버퍼를 포함하여 구성되며, 버퍼의 수가 반드시 두 개로 한정되는 것은 아니다. 이때 프레임 버퍼부(300)는 제어부(500)의 통제를 받아 복원 영상(또는 재생 영상이라고도 함)이 입출력되며, 제어부(500)에 의해 결정된 시점에 디스플레이부(400)로 복호화된 재생 영상을 출력한다.

제어부(500)는 프레임 버퍼부(300)를 구성하는 두 개의 프레임 버퍼(310, 320) 중 어느 프레임 버퍼로 재생 프레임을 입력할 것인지 또는 어느 프레임 버퍼(310, 320)에 저장된 프레임을 재생할 것인지를 결정한다. 또한, 프레임 버퍼부(300)에 저장된 비디오 신호가 존재하는지 여부를 판단한다. 제어부(500)는 두 개의 프레임 버퍼(300)에 번갈아 가면서 비디오 디코더(100)에서 복호화된 프레임을 저장하도록 제어한다.

또한, 두 개의 프레임 버퍼(310, 320)에서 재생 영상을 출력할 때에는 프레임 버퍼에 입력된 순서와 엇갈리게 번갈아 가면서 출력하도록 제어한다. 만일 출력해야 할 제1 프레임 버퍼(310)에서 재생 영상이 완전하게 저장되어 있지 않으면, 제2 프레임 버퍼(320)에 완전하게 저장되어 있는 재생 영상을 출력한다.

이와 같은 구성 요소로 이루어진 디코더에서 초기 지연은 그대로 두고, 종단간 지연을 줄이는 방법에 대하여 도 4 및 도 5를 참조하여 설명하기로 한다.

도 4는 본 발명의 실시예에 따른 영상 통신 시스템에서 송수신 되는 데이터의 프레임별 시간 관계 예시도이다.

상기 도 2에 도시된 일반적인 영상 통신 시스템에서의 프레임별 시간 관계 예시도를 살펴보면, 종단간 지연은 수신 측에서 디코더가 TR 값을 참조하여 건너뛴 세 프레임 동안 이전 프레임을 반복 재생하는 시간을 포함하고 있다. 이때 반복 재생하는 시간을 제거하고 제거된 시간에 “TR = 4, 5, 6” 프레임을 복호화하여 재생한다면 종단간 지연을 상당히 줄어든다.

도 4를 살펴보면, 첫 번째 I-프레임 반복 재생 시점에는 이미 TR = 4 프레임이 수신되어 디코더 버퍼에 저장되어 있는 상태이다. 그러므로 이 시점에 TR = 4 프레임을 복호화하여 재생하면, 종단간 지연은 상기 도 2에 도시된 지연에 비해 약 2 프레임 시간 정도 줄일 수 있다. 즉, 디코더가 TR 값을 참조하지 않고 디코더 버퍼에 저장되어 있는 순서대로 버퍼에서 한 프레임씩 꺼내어 복호화하고 재생한다면, 초기 지연과 무관한 종단간 지연을 얻을 수 있다.

도 5는 본 발명의 실시예에 따른 영상 데이터 송수신을 위한 흐름도이다.

도 5를 살펴보면, 송신측에서 출력된 압축 비트 스트림을 수신한 수신측 장치는 디코더 버퍼(100)에 입력(S100)된 압축 비트 스트림(또는 “압축 비트 스트림 프레임”이라고도 지칭)을 저장(S110)한다. 비디오 디코더(200)는 일반적으로 사용되는 TR 값에 따른 복호화 방식이 아닌, 압축 비트 스트림이 미리 정해진 소정의 수치 이상이 될 때마다, 압축 비트 스트림에 TR 값과 함께 포함되어 있는 PSC와 P-type을 참조하여 디코더 버퍼(100)에서 한 프레임씩 전달받아 복호화를 수행(S120)한다. 이때, 압축 비트 스트림에 포함되어 있는 프레임 정보는 TR 값, PSC, P-type만으로 한정되는 것은 아니다.

비디오 디코더(200)에서 복호화된 재생 영상은 제어부(500)의 통제 하에 두 개의 프레임 버퍼(310, 320) 중 비어있는 하나의 프레임 버퍼로 입력(S130)되며, 마찬가지로 제어부(500)의 통제하에 있는 어떤 프레임 버퍼에 저장되어 있는 재생 영상을 출력할 것인지 여부를 결정(S140)한다. 제어부(500)의 통제하에 디스플레이될 재생 프레임 버퍼부(300)가 결정되면, 해당 프레임 버퍼부(300)에 저장되어 있는 재생 영상을 디스플레이부(400)를 통해 디스플레이한다.

다음 제어부(500)는 디코더 버퍼(300)에 입력되어 있는 압축 비트 스트림에 대해 모든 프레임의 복호화가 완료되었는지 판단(S160)한다. 만약 모든 프레임에 대해 복호화가 완료되었으면, 디스플레이부(400)를 통해 재생 영상의 제공이 종료된다. 그러나, 모든 프레임에 대한 복호화가 완료되지 않았으면, 상기 S120 단계부터 재수행하여 모든 프레임에 대해 복호화가 완료될 때까지 반복한다.

여기서, 전술한 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체 역시 본 발명의 범주에 포함되는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

전술한 실시예에 따르면, 송신부로부터 수신한 압축 비트 프레임에 포함되어 있는 TR 값을 참조하지 않고 복호화를 수행함으로써, 초기 지연이 이후 프레임들까지 적용되지 않아 종단간 지연이 줄어든다.

또한, 종단간 지연을 줄임으로써, 지연이 적어야 하는 실시간 양방향 영상 통신의 현장감을 높일 수 있다.

Claims (4)

1. 영상 통신 시스템에서 전송되는 영상을 복호화하는 방법에 있어서,

   상기 영상 통신 시스템은 디코더 버퍼, 비디오 디코더, 프레임 버퍼부, 제어부 및 디스플레이부를 포함하며 상기 영상을 복호화하는 방법은,

   (a) 상기 영상 통신 시스템으로부터 압축 비트 스트림 프레임--여기서 압축 비트 스트림 프레임은, 픽쳐 헤더(Picture Header)를 구성하는 필드의 한 부분으로써 전송되는 영상 프레임간의 시간 차이 정보를 의미하는 TR(Temporal Reference)값, 상기 영상의 전송 시작 부호를 나타내는 PSC(Picture Start Code), P-Type(Picture-type)을 포함함--을 전달받아 상기 디코더 버퍼에 저장하는 단계;

   (b) 상기 비디오 디코더는 상기 저장된 압축 비트 스트림 프레임을 디코더 버퍼로부터 소정의 프레임씩 전달받아 상기 PSC 및 현재 전송되는 영상의 그림 포맷을 나타내는 P-Type을 토대로 복호화하여 재생 영상을 출력하는 단계;

   (c) 상기 프레임 버퍼부는 상기 비디오 디코더로부터 복호화되어 출력된 재생 영상을 입력 받고, 상기 제어부는 상기 프레임 버퍼에 상기 재생 영상이 존재하는지 판단하는 단계; 및

   (d) 상기 프레임 버퍼에 상기 재생 영상이 존재하면, 상기 디스플레이부는 상기 재생 영상을 출력하는 단계

   를 포함하는 복호화 방법.
2. 제1항에 있어서,

   상기 (d) 단계는,

   상기 프레임 버퍼는 상기 압축 비트 스트림의 프레임에 포함되어 있는 상기 PSC 및 P-type을 참조하여, 상기 프레임 버퍼에 재생 영상을 출력하는 복호화 방법.
3. 제1항에 있어서,

   상기 (d) 단계에서 재생 영상의 출력은,

   상기 프레임 버퍼의 상태에 따라 상기 제어부로부터 출력된 명령 신호--여기서 명령 신호라 함은 상기 프레임 버퍼가 재생 영상을 출력할지 여부를 나타내는 신호임--에 따라 상기 디스플레이부로 출력되는 복호화 방법.
4. 제1항에 있어서,

   상기 프레임 버퍼부는 제1 프레임 버퍼와 제2프레임 버퍼를 포함하며, 상기 출력된 재생 영상은 상기 제1 프레임 버퍼와 제2 프레임 버퍼에 교대로 입력되며, 상기 재생 영상의 출력은 상기 입력과 교차하여 수행되는 복호화 방법.

Images