KR20080001218A

KR20080001218A - 초기 버퍼링 지연 감축을 위한 부호화 장치 및 그 방법

Info

Publication number: KR20080001218A
Application number: KR1020060059400A
Authority: KR
Inventors: 권재철
Original assignee: 주식회사 케이티
Priority date: 2006-06-29
Filing date: 2006-06-29
Publication date: 2008-01-03

Abstract

본 발명은 초기 버퍼링 지연 감축을 위한 부호화 장치 및 그 방법에 관한 것이다.

영상 회의나 영상 전화와 같은 양방향 영상 통신 시스템에서, 영상 전송을 위해 수행되는 초기 버퍼링 지연을 감축하기 위하여 비트량을 분산할 수 있는 부호화 장치를 이용한다. 부호화 장치를 통해 첫 번째 I-프레임(Intra-coded frame)의 비트량을 분산하고, 이를 P-프레임(Predictive-coded frame)의 비트량 정도로 부호화를 수행한다. 따라서, 첫 프레임을 포함한 모든 초기 프레임들의 비트량을 일정하게 유지함으로써 인코더 버퍼와 디코더 버퍼의 크기를 줄일 수 있으며, 버퍼의 크기를 줄임으로써 초기 버퍼링 지연을 줄일 수 있다.

초기 버퍼링, 지연, I 프레임, 순차형, 방사형, I-슬라이스

Description

초기 버퍼링 지연 감축을 위한 부호화 장치 및 그 방법{Apparatus and method for bits dispersion to reduce initial buffering delay in bi-directional visual communications}

도 1은 일반적인 I-프레임 부호화 및 전송을 위한 장치의 구조도이다.

도 2는 본 발명의 실시예에 따른 I-슬라이스 부호화를 이용한 초기 지연 감축을 위한 부호화 장치를 포함한 양방향 영상 통신 시스템의 구조도이다.

도 3은 본 발명의 실시에에 따른 본 발명의 실시예에 따른 비트량을 분산하는 부호화 방법의 흐름도이다.

도 4는 본 발명의 실시예에 따른 순차형 I-슬라이스 부호화 방법의 예시도이다.

도 5는 본 발명의 실시예에 따른 방사형 I-슬라이스 부호화 방법의 예시도이다.

본 발명은 영상 통신 시스템에서 지연을 감축하기 위한 장치 및 방법에 관한 것으로, 보다 자세하게는 비트량을 분산하는 부호화 장치 및 방법에 관한 것이다.

일정한 전송 속도를 갖는 전송 선로(channel)를 통해 부호화된 영상 정보를 실시간(real-time)으로 전송하는 영상 전화 또는 영상 회의와 같은 양방향 영상 통신 시스템에서는 종단간(end-to-end) 지연이 통화의 품질을 평가하는 데 있어 매우 중요한 척도로 작용한다. 뿐만 아니라, 종단간 지연은 영상 통화의 현장감을 결정하는데 있어서 결정적인 영향을 미치기 때문에, 양방향으로 이루어지는 영상 통신의 경우에는 종단간 지연을 가능한 작게 유지해야 할 필요가 있다.

이와 같이 종단간 지연을 결정하는 지연 요소는 여러 가지가 있지만, 가장 크게 작용하는 지연 요소 중 하나는 버퍼링 지연이다. 버퍼링 지연은 인코더 버퍼와 디코더 버퍼에 의해 발생되는데, 이 중 디코더 버퍼에서 발생되는 지연이 인코더 버퍼에서 발생되는 지연보다 더 크다. 따라서, 종단간 지연을 감축하기 위한 방법으로 디코더 버퍼에서 지연을 줄일 수 있도록 하는 방법이 요구된다.

종단간 지연을 줄이기 위해 종래에는 일정한 크기를 갖는 버퍼를 사용하여 순차적으로 발생하는 영상 정보에 대한 언더플로우(underflow) 또는 오버플로우(overflow) 현상이 발생하지 않도록 부호기를 제어하는 방법이 대두되었다. 그러나, 버퍼링 지연을 줄일 수 있는 방법에 대해서는 제시되지 않고 있다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 종단간 지연을 줄이기 위하여 초기 버퍼링 지연을 감축할 수 있는 부호화 장치를 제안한다.

또한, 부호화 장치를 통해 초기 입력되는 데이터 프레임의 비트량을 분산하 여 수신 단말에서 영상을 재생할 때, 초기 버퍼링 지연을 줄여 재생할 수 있도록 하는 부호화 방법을 제안한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 특징인 부호화 장치는, 영상 통신 시스템에서 전송되는 영상을 부호화 장치에 있어서,

상기 영상 통신 시스템에 포함되어 있는 입력 장치로부터 촬영된 영상 데이터를 입력받아, 상기 영상 데이터를 부호화하여 압축 비트 스트림으로 출력하는 비디오 인코더; 상기 비디오 인코더로부터 출력된 압축 비트 스트림을 입력받아 저장하고 이미 정의된 전송률에 따라 출력하며, 상기 출력되는 압축 비트 스트림의 데이터 량을 토대로 충만도 정보를 출력하는 인코더 버퍼; 및 상기 인코더 버퍼로부터 출력되는 충만도 정보를 입력받아 상기 비디오 인코더로 양자화 변수를 전달하는 전송률 제어부를 포함하며, 상기 비디오 인코더는 상기 영상 통신 시스템이 연결된 네트워크의 대역폭 정보를 토대로 상기 입력된 영상 데이터 중 첫 번째 프레임인 인트라 프레임을 다수의 프레임 구간 동안 다수의 인트라 슬라이스로 나누어 출력하는 인트라 프레임 비트량 분산부를 포함한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 부호화 방법은, 영상 통신 시스템에서 전송되는 영상을 부호화 방법에 있어서,

(a) 상기 영상 통신 시스템으로부터 전송되는 영상 데이터의 인트라 프레임--여기서 인트라 프레임은 상기 입력된 영상 데이터의 첫 번째 프레임임--을 다수의 인트라 슬라이스로 분할하는 단계; (b) 상기 분할된 인트라 슬라이스에 대한 인트 라 부호화를 수행하는 단계; 및 (c) 상기 인트라 프레임의 다음 프레임에 위치하는 영상 데이터 프레임에 대하여 인터 부호화를 수행하는 단계를 포함한다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

통상적으로 영상 통신 시스템의 수신 측 디코더에 위치한 버퍼는 인코딩된 비트 스트림의 짧은 시간 구간에서의 군집성(burstiness)을 흡수하고, 네트워크 전송 과정에서 유입된 전파 지연 및 네트워크 노드를 거치면서 발생된 지연 지터를 흡수한다. 이를 통해, 버퍼는 일정한 속도로 수신된 비트 스트림을 디코딩하고 안정된 재생 영상의 표현을 가능하게 하는 역할을 수행한다. 이와 같은 버퍼는 일반적으로 양방향 비디오를 부호화하는 방식은 인트라 프레임(화면 내 프레임으로써 “I-프레임(Intra-coded frame)”이라고도 지칭)으로 부호화하는 방식과 인터 프레임(화면간 프레임으로써 “P-프레임(Predictive-coded frame)”이라고도 지칭)으로 부호화하는 방식이 존재한다. 일반적으로 가장 첫 번째 위치하는 프레임에 대해서 는 I-프레임으로 부호화하고, 그 이후 존재하는 프레임에 대해서는 P-프레임으로 부호화를 수행한다.

이때, I-프레임은 독립적인 프레임으로 다른 이미지들의 참조 없이 스스로 압축과 복원할 수 있는 프레임으로써, 제작 중 데이터 스트림의 어느 위치에든 올 수 있으며, 데이터의 임의 접근이 가능하다. I-프레임은 정화상 압축방법(JPEG, Joint Photographic Experts Group)을 이용하지만, JPEG와는 달리 MPEG(Moving Picture Experts Group)에서는 실시간으로 압축이 이루어진다. P-프레임은 전후 프레임간의 변화량을 토대로 인코딩 또는 디코딩을 수행한다. 즉, 연속되는 이미지들 사이에서 전체 이미지가 바뀌는 것이 아니라 이미지의 블록들이 옆으로 이동한 점에 착안하여, 이전의 I-프레임 정보와 이전의 P-프레임의 정보를 이용하여 인코딩과 디코딩을 수행한다.

여기서 첫 프레임은 인트라로 부호화하기 때문에, 첫 프레임에서는 주어진 채널 대역폭보다 훨씬 많은 비트량이 발생한다. 따라서, 발생된 비트량을 일정한 채널 대역폭에 실어 전송하기 위해서는, I-프레임 다음에 오는 몇 개의 프레임을 건너뛰고(Skip), 건너뛴 프레임 시간 동안 I-프레임을 전송하게 된다. 이와 같은 방법을 이용하여 프레임을 전송하는 장치의 구조도에 대하여 도 1을 참조하여 설명하기로 한다. 이때, 다수의 영상 통신 시스템 중 단말을 예로 들어 설명하기로 한다.

도 1에 도시된 바와 같이, 영상 통신 시스템에서 전송되기 전의 인트라 프레 임의 비트 스트림은 인코더 버퍼에 저장되는데, 인코더 버퍼에서는 일정한 속도로 버퍼의 내용을 읽어내어 채널로 전송한다. 따라서, 첫 프레임에서 발생되는 많은 비트량을 수용하기 위하여 큰 인코더 버퍼가 필요하게 된다.

인코더 버퍼를 빠져나온 I-프레임의 비트 스트림은 채널을 거쳐 수신 단말로 전송된다. 여기서 채널은 수신 단말과 송신 단말이 상호 연결되어 있는 네트워크상의 송수신 채널을 의미한다.

수신 단말은 송신 단말로부터 수신한 비트 스트림을 디코딩할 수 있을 때까지 디코더 버퍼에 저장한다. 채널 전송 과정에서 일정한 지연을 겪는다고 가정하면, 디코더 버퍼에 저장되는 첫 번째의 인트라 프레임은 채널 전송 시간과 I-프레임 비트 스트림을 다 받을 때까지 걸리는 시간의 합만큼을 기다려야 디코더 버퍼에 한 프레임이 완전히 저장된다. 즉, 순수한 네트워크 전송 시간에다 인코더에서 건너뛴 프레임 수만큼의 프레임 시간이 추가로 걸려야 I-프레임의 모든 정보가 디코더 버퍼에 저장될 수 있다.

I-프레임이 디코더 버퍼에 저장되면, 첫 번째 프레임을 디코딩할 수 있다. 그러나, 통상의 시스템에서는 디코더 버퍼가 언더플로우 되는 것을 방지하기 위해 뒤에 오는 몇 개의 P-프레임을 더 받고 나서야 디코딩을 시작한다. 따라서, 통상의 영상 통신 시스템에서는 디코더 버퍼의 초기 지연 시간만 5 ∼ 7 프레임 시간(1 프레임 시간은 33ms) 정도 발생된다. 따라서, 종단간 지연을 줄이기 위해서는 이러한 초기 버퍼링 지연을 줄이는 것이 중요하다.

예를 들어, I-프레임을 전송하기 위해서 3개의 프레임만큼의 시간(네트워크 전송 시간 = 3개 프레임 99ms)이 필요하다고 가정하면, I-프레임이 전송되는 기간 동안 세 개의 프레임은 건너뛰고, 4번째 프레임부터 P-프레임이 전송되기 시작한다. 송신 측에서 I-프레임을 시작으로 프레임들이 전송되면, 수신 측에서는 네트워크 지연 시간에 I-프레임의 전송 시간(99ms)을 더한 만큼의 초기 지연이 발생한다. I-프레임 수신 측으로 모두 전송되어 재생되더라도, 송신 측에서 I-프레임 이후 건너뛴 3개의 프레임에 해당하는 시간만큼 수신 측에서는 대기해야만 P-프레임을 재생할 수 있다.

초기 버퍼링 지연을 줄이기 위해서는 첫 번째 I-프레임의 비트량을 분산하여 P-프레임의 비트량 정도로 부호화하는 것이 요구된다. 이렇게 되면, I-프레임에서 발생되는 과도한 비트량으로 인해 그 다음 프레임들을 건너뛰는 일이 없게 되며, 모든 프레임들이 거의 비슷한 수준의 비트량을 발생하게 되므로, 인코더 버퍼와 디코더 버퍼를 작게 유지할 수 있고, 초기 버퍼링 지연을 줄일 수 있게 된다.

즉, 한 프레임 전체를 인트라로 부호화하지 않고 I-프레임을 슬라이스 단위로 쪼개어 인트라 슬라이스로 부호화한다. 이와 관련하여 도 2를 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 I-슬라이스(I-Slice) 부호화를 이용한 초기 지연 감축을 위한 부호화 장치를 포함한 양방향 영상 통신 시스템의 구조도이다.

도 2를 살펴보면, 영상 통신 시스템은 송신측과 수신측으로 나뉜다. 송신측은 비디오 인코더(100), 전송률 제어부(200) 및 인코더 버퍼(300)를 포함하며, 수신측은 비디오 디코더(500), 디코더 버퍼(400) 및 디스플레이부(600)를 포함한다.

비디오 인코더(100)는 동영상 카메라와 같은 입력 장치로부터 촬영된 영상 신호를 인가받고, 인가된 입력 비디오를 소정의 동작을 통해 부호화하여 압축 비트 스트림으로 출력하는 기능을 수행한다.

여기서 비디오 인코더(100)는 I-프레임 비트량 분산부(인트라 프레임 비트량 분산부라고도 지칭)(110), 부호화 실행부(130), 부호화 완료 판단부(140) 및 제어부(120)를 포함한다. I-프레임 비트량 분산부(110)는 초기 이동 단말간의 등록 절차를 통해 수집된 네트워크의 대역폭(Bandwidth) 정보를 토대로, 입력된 비디오 신호를 소정의 I-슬라이스로 나누는 기능을 수행한다. 부호화 실행부(130)는 I-프레임 비트량 분산부(110)로부터 I-슬라이스로 나뉘어 출력된 I-프레임에 대한 부호화 및 P-프레임에 대한 부호화를 수행하여, 부호화된 결과를 출력하는 기능을 수행한다.

부호화 완료 판단부(140)는 I-슬라이스로 부호화되어야 할 부분이 한 프레임을 모두 포함하는지를 판단하는 기능을 수행한다. 부호화의 완료 여부를 판단하는 방법은, I-프레임을 다수의 I-슬라이스로 나눌 때 각각의 슬라이스에 고유의 번호를 제공하고, 부호화가 완료될 때마다 해당 고유 번호를 부호화 완료 판단부(140)에서 읽어 들이는 방법을 이용할 수도 있다. 그러나 반드시 이와 같은 방법으로 한정되는 것은 아니다.

만약 부호화 완료 판단부(140)에서 화면 전체에 대한 인트라 부호화가 완료되었다고 판단한 경우, 부호화 실행부(130)는 이후 프레임부터는 P-프레임으로 부호화를 수행한다. 그러나 화면 전체에 대한 부호화가 완료되지 않았다고 판단된 경 우, 부호화 실행부(130)는 I-슬라이스로 부호화된 부분은 이후 프레임에서 인터로 부호화를 수행할 수 있도록 정보를 제공하고, 부호화되지 않은 부분은 I-슬라이스로 부호화를 수행한다. 여기서 정보는 상기 인트라 부호화가 수행된 인트라 슬라이스의 프레임간의 변화 량을 포함한 인트라 슬라이스 정보를 의미한다.

제어부(120)는 전송률 제어부(200)로부터 충만도 정보를 전달받아 부호화 실행부(130)의 인트라 부호화 영역을 조절하는 기능을 수행한다.

인코더 버퍼(300)는 비디오 인코더(500)로부터 출력된 압축 비트 스트림을 저장하고, 이미 정의된 소정의 수준이 되면 저장되어 있는 압축 비트 스트림을 네트워크를 이용하여 일정한 전송률로 수신측 단말로 전송한다. 이때, 매 프레임마다 비디오 인코더(100)로부터 출력되는 데이터 량(즉, 충만도 정보)을 검출하여, 전송률 제어부(200)로 전달한다.

전송률 제어부(200)는 인코더 버퍼(300)에 저장되어 있는 압축 비트 스트림으로부터 충만도 정보를 전달받아, 비디오 인코더(100)로 양자화 변수를 전달하여 인코딩 시간을 조절하는 기능을 수행한다. 즉, 전송률 제어부(200)는 인코더 버퍼(300) 내에 대기중인 데이터 량의 비율인 충만도 정보를 검출하고, 검출된 충만도 정보에 따라 전송률 제어부 내에 포함되어 있는 양자화 스텝 사이즈 파라미터(Quantization Step-size Parameter: QP)(미도시)를 조절한다.

비디오 인코더(100)는 전송률 제어부(200)에서 조절된 QP에 대응하여 입력 데이터의 양자화 변수를 변경함으로써, 인코더 버퍼(300)로 입력되는 데이터 량을 조절하여 버퍼의 언더플로우 및 오버플로우를 방지하도록 구성된다. 즉, 충만도 정 보가 이미 설정된 소정의 수치 이상이 되는 경우 전송률 제어부(200)는 QP를 크게 하여 영상 데이터의 양자화 변수를 크게 함으로써 양자화되는 데이터 량을 줄이고, 반대로 충만도 정보가 소정의 수치 미만인 경우는 QP를 작게 하여, 영상 데이터의 양자화 변수를 작게 함으로써 양자화되어 출력되는 데이터 량을 증가시킨다.

디코더 버퍼(400)는 채널을 통해 송신측 이동 단말로부터 송신된 인코딩된 비디오 신호를 입력받아 저장하고, 이미 정의된 소정의 수준이 되면 저장되어 있는 인코딩된 비트 스트림을 비디오 디코더(500)로 전송한다.

비디오 디코더(500)는 디코더 버퍼(400)로부터 출력된 인코딩된 비트 스트림을 입력받아 디코딩을 수행한다. 디스플레이부(600)는 비디오 디코더(500)로부터 출력된 비디오 신호를 사용자의 단말로 제공하여 사용자가 영상을 확인할 수 있도록 한다.

이와 같은 구성 요소로 이루어진 영상 통신 시스템을 이용하면, 첫 번째 프레임 전체를 인트라로 부호화하지 않고 채널 대역폭이 허용하는 만큼만 일부 영역(슬라이스)을 인트라로 부호화할 수 있다. 그 다음 프레임은 첫 번째 프레임에서 인트라로 부호화된 영역에서는 인터로 부호화하고, 이 영역을 제외한 나머지 일부 영역(슬라이스)에 대해서 채널 대역폭이 허용하는 범위 내에서 인트라로 부호화할 수 있다.

이와 같은 과정을 반복하면, 첫 번째 프레임을 포함한 초기 프레임들은 비슷한 비트 량을 가지면서 건너뛰는 프레임이 없게 되기 때문에, 초기 버퍼링 지연을 줄일 수 있다. 이와 같은 방법을 이용하여 부호화를 수행하면, 종단간 통신 세션이 설정된 후에 재생되는 영상의 첫 화면은 첫 슬라이스 영역만큼만 재생되고, 두 번째 프레임은 첫 슬라이스와 두 번째 슬라이스 영역만큼 재생된다.

이런 방식으로 계속 재생하면, 초기에는 일부 영역만 보이다가 점차 화면 전체가 보이게 된다. 통상의 방법으로는 상당한 초기 지연 후에 첫 프레임이 재생되고, 건너뛴 프레임 수만큼의 시간이 지난 다음에 그 다음 프레임이 재생되는 반면, 본 발명의 실시예에 따른 방법을 이용하면, 적은 초기 지연을 가지면서 모든 프레임을 재생할 수 있다.

다음은 이와 같은 영상 통신 시스템을 이용하여 초기 지연을 줄인 영상 전송을 수행할 수 있는 부호화 방법에 대하여 도 3을 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 실시에에 따른 본 발명의 실시예에 따른 비트 량을 분산하는 부호화 방법의 흐름도이다.

도 3을 살펴보면, 먼저 송신 단말(또는 설명의 편의상 “영상 통신 시스템”이라고도 지칭)(10)과 수신 단말(200) 사이에 채널 설정 절차(S100)를 수행한다. 여기서 등록 절차는 일반적인 단말간의 채널 설정 절차와 동일한 것으로, 본 발명의 실시예에서는 별도의 상세한 설명은 생략하기로 한다.

송신 단말(10)과 수신 단말(20) 사이에 등록이 완료되면, 송신 단말(10)의 비디오 인코더(100)로 비디오 프레임이 입력(S110)되고, 비디오 인코더(100) 내의 I-프레임 비트량 분산부(110)는 입력된 비디오 프레임의 I-프레임에 대한 비트 량을 분산시킨다. 여기서 비트 량의 분산은 송신 단말과 수신 단말 사이에 채널 설정 절차를 통해 수집된 네트워크의 대역폭을 토대로 수행되며, 소정의 수로 I-프레임을 다수개의 슬라이스로 분할(S120)하여 비트 량을 분산시킨다. I-프레임을 I-슬라이스로 비트 량을 분산시킬 때, 분산되는 I-프레임의 데이터 정보 중 중요도에 따라 순차형 방식과 방사형 방식으로 구분될 수 있으며, 이는 시스템의 설계자에 따라 다양하게 구현될 수 있다.

I-프레임 비트량 분산부(110)에서 비트 량이 분산된 다수개의 슬라이스가 생성(S120)되면, 부호화 실행부(130)는 생성된 다수개의 슬라이스에 대한 부호화를 수행(S130)하고, 부호화된 I-슬라이스를 전송(S140)한다. 부호화가 수행된 프레임은 수신 단말(20)로 전송되기 위해 인코더 버퍼(300)에 저장된다. 다음 부호화 완료 판단부(140)에서는 화면 전체의 I-슬라이스에 대한 부호화가 완료되었는지 판단(S150)한다.

만약 I-슬라이스에 대한 부호화가 완료되면, I-슬라이스 이후에 전송되는 모든 프레임을 P-프레임으로 부호화(S160)하고 수신 단말(20)로 부호화된 해당 프레임들을 전송(S170)한다. 그러나, I-슬라이스에 대한 부호화가 완료되지 않았다면, 상기에서 설명한 S130 단계의 I-슬라이스에 대한 부호화를 수행하여 화면 전체의 I-슬라이스에 대한 부호화가 완료될 때까지 반복한다.

송신 단말(10)의 비디오 인코더(100)에서 입력된 비디오 프레임에 대한 부호화가 완료될 때마다 인코더 버퍼(300)로 전달되어 저장되며, 인코더 버퍼(300)에 저장된 데이터가 일정 수준에 도달하면 채널을 통해 수신 단말(20)의 디코더 버퍼(400)로 P-프레임이 전송(S170)된다. 디코더 버퍼(400)로 입력된 데이터가 인코 더 버퍼(300)와 마찬가지로 일정 수준에 도달하면, 비디오 디코더(500)는 부호화된 비디오 프레임을 전달받아 복호화(S180)하고, 디스플레이부(600)를 통해 사용자에게 영상을 제공하기 위하여 영상을 재생(S190)한다.

다음은, 본 발명의 실시예에 따라 I-슬라이스를 부호화할 때 구현될 수 있는 순차형 I-슬라이스 부호화 방법과 방사형 I-슬라이스 부호화 방법에 대하여 도 4 및 도 5를 참조하여 설명하기로 한다.

도 4에 도시된 바와 같이, 화면의 상위 부분으로부터 하위 부분으로 순차적으로 슬라이스를 구성한다. 이 방식을 이용하면, 수신측 이동 단말에서 영상이 재생될 때, 화면의 상위 부분부터 재생되기 시작하여 점차 하위 부분으로 확산되면서 전체 화면이 재생된다.

예를 들어, 가장 첫 프레임을 I-슬라이스로 부호화하기 위해, 해당 프레임 중 인트라 부호화 가능한 상위 부분만을 먼저 인트라로 부호화하고 나머지 부분을 부호화를 수행하지 않는다. 두 번째 프레임부터는 첫 번째 프레임의 인트라로 부호화된 부분에 해당하는 상위 부분은 인터 부호화를 수행하고, 나머지 부호화가 수행되지 않은 부분 중 인트라 부호화가 가능한 부분은 인트라 부호화를 수행한다. 이와 같은 방식으로 첫 번째 프레임에 대한 화면 전체가 부호화가 완료될 때까지 다수의 프레임 기간 동안 I-슬라이스 부호화를 반복하여 수행한다.

도 5는 본 발명의 실시예에 따른 방사형 I-슬라이스 부호화 방법의 예시도이 다.

도 5에 도시된 바와 같이, 화면의 가운데 부분을 중심으로 가장자리 방향으로 순차적으로 슬라이스를 구성한다. 이 방식을 이용하면, 수신 단말(20)에서 영상이 재생될 때, 화면의 중앙부분부터 재생되기 시작하여 점차 가장자리 방향으로 확산되면서 전체 화면이 재생된다. 부호화를 통해 화면이 재생되기까지의 과정은 상기 언급한 도 4의 순차형 I-슬라이스 부호화 방법과 동일하다.

여기서, 전술한 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체 역시 본 발명의 범주에 포함되는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

전술한 실시예에 따르면, 첫 프레임을 포함한 모든 초기 프레임들의 비트 량을 일정하게 유지함으로써 인코더 버퍼와 디코더 버퍼의 크기를 줄일 수 있다.

또한, 각 버퍼의 크기를 줄임으로써 초기 버퍼링 지연을 줄일 수 있다. 또한, 버퍼링 지연을 감소시켜 복원된 영상의 재생 지연을 줄임으로써 저지연 영상 통신이 가능하다.

Claims

영상 통신 시스템에서 전송되는 영상을 부호화하는 장치에 있어서,

상기 영상 통신 시스템에 포함되어 있는 입력 장치로부터 촬영된 영상 데이터를 입력받아, 상기 영상 데이터를 부호화하여 압축 비트 스트림으로 출력하는 비디오 인코더;

상기 비디오 인코더로부터 출력된 압축 비트 스트림을 입력받아 저장하고 이미 정의된 전송률에 따라 출력하며, 상기 출력되는 압축 비트 스트림의 데이터 량을 토대로 충만도 정보를 출력하는 인코더 버퍼; 및

상기 인코더 버퍼로부터 출력되는 충만도 정보를 입력받아 상기 비디오 인코더로 양자화 변수를 전달하는 전송률 제어부

를 포함하며,

상기 비디오 인코더는 상기 영상 통신 시스템이 연결된 네트워크의 대역폭 정보를 토대로 상기 입력된 영상 데이터 중 첫 번째 프레임인 인트라 프레임을 다수의 프레임 구간 동안 다수의 인트라 슬라이스로 나누어 출력하는 인트라 프레임 비트량 분산부를 포함하는 부호화 장치.
제1항에 있어서,

상기 비디오 인코더는,

상기 인트라 프레임 비트량 분산부로부터 출력된 다수의 인트라 슬라이스에 대하여 인트라 부호화를 수행하고, 인트라 슬라이스 이후의 프레임에 대해서는 인터 부호화를 수행하여 출력하는 부호화 실행부;

상기 다수의 인트라 슬라이스의 인트라 부호화가 완료되었는지 판단하는 부호화 완료 판단부; 및

상기 전송률 제어부로부터 출력된 충만도 정보에 따라 상기 부호화 실행부의 인트라 부호화 영역을 조절하는 제어부

를 더 포함하는 부호화 장치.
제2항에 있어서,

상기 부호화 실행부는,

상기 다수의 인트라 슬라이스 중 적어도 하나의 슬라이스가 인트라로 부호화되면, 상기 인트라로 부호화된 슬라이스는 인트라 프레임 이후에 위치하는 인터 프레임이 인터 부호화를 수행하는 데 필요한 정보를 제공하는 부호화 장치.
제1항에 있어서,

상기 충만도 정보는 상기 비디오 인코더로부터 출력되는 압축 비트 스트림에 대한 데이터 양인 부호화 장치.
제2항에 있어서,

상기 하나의 인트라 프레임으로부터 다수로 분할된 인트라 슬라이스의 비트 량은 상기 인터 프레임의 비트 량과 동일한 부호화 장치.
영상 통신 시스템에서 전송되는 영상을 부호화하는 방법에 있어서,

(a) 상기 영상 통신 시스템으로부터 전송되는 영상 데이터의 인트라 프레임--여기서 인트라 프레임은 상기 입력된 영상 데이터의 첫 번째 프레임임--을 다수의 인트라 슬라이스로 분할하는 단계;

(b) 상기 분할된 인트라 슬라이스에 대한 인트라 부호화를 수행하는 단계; 및

(c) 상기 인트라 프레임의 다음 프레임에 위치하는 영상 데이터 프레임에 대하여 인터 부호화를 수행하는 단계

를 포함하는 부호화 방법.
제6항에 있어서,

상기 (a) 단계는,

상기 영상 통신 시스템이 연결되어 있는 네트워크의 대역폭 정보--여기서 대역폭 정보는 상기 영상 통신 시스템의 등록 절차를 통해 수집됨--를 토대로 상기 인트라 프레임을 인트라 슬라이스로 나눌 개수를 결정하는 부호화 방법.
제6항에 있어서,

상기 (b) 단계는,

상기 다수 개로 분할된 인트라 슬라이스 중 첫 번째 인트라 슬라이스에 대한 부호화를 수행하는 단계;

상기 다수개의 인트라 슬라이스로 분할된 인트라 프레임의 인트라 부호화가 완료되었는지 판단하는 단계;

상기 인트라 프레임의 인트라 부호화가 완료되지 않으면, 상기 인트라 슬라이스에 대한 부호화를 재수행하는 단계

를 포함하는 부호화 방법.
제7항에 있어서,

상기 다수의 인트라 슬라이스 중 적어도 하나의 슬라이스에 대한 부호화가 수행되면, 상기 부호화가 수행된 슬라이스는 이후의 프레임에서 인터 부호화로 수행되는 데 요구되는 정보--여기서 정보는 상기 인트라 부호화가 수행된 인트라 슬라이스의 프레임간의 변화량을 포함한 인트라 슬라이스 정보임--를 제공하는 부호화 방법.
제8항에 있어서,

상기 인트라 슬라이스에 대한 부호화는 순차형 부호화 방법 또는 방사형 부호화 방법 중 어느 하나의 부호화 방법으로 수행되는 부호화 방법.
제7항에 있어서,

상기 (c) 단계 이후에,

상기 네트워크를 통해 네트워크의 전송 지연 시간만큼 지연되어 입력되는 상기 인트라 부호화 및 인터 부호화가 수행된 다수의 인트라 슬라이스와 인터 프레임을 수신하는 단계;

상기 다수의 인트라 슬라이스 중 첫 번째 인트라 슬라이스부터 마지막 슬라이스까지 인트라 슬라이스를 순차형 또는 방사형으로 재생하는 단계; 및

상기 인트라 슬라이스의 재생이 완료되면 상기 인터 프레임을 재생하는 단계

를 더 포함하는 부호화 방법.
제11항에 있어서,

상기 순차형 재생은 상기 영상 데이터가 화면의 상위 부분부터 하위 부분으로 확산되면서 재생되고, 상기 방사형 재생은 상기 영상 데이터가 화면의 중앙 부분부터 가장자리 방향으로 확산되면서 재생되는 부호화 방법.