KR100279582B1 - 디지탈 영상압축신호의 편집장치 - Google Patents

Abstract

본 발명은 영상압축된 디지탈 신호를 편집할 때 복호화기의 입력버퍼상태 제어에 관한 것으로, 일반적으로 사용되고 있는 영상편집방법은 프로그램을 제작하는데 있어서 영상압축된 비트 스트림을 임의의 위치에서 자른 뒤 다른 프로그램을 계속하여 편집하는 경우 각 픽쳐들의 관계가 흐트러져 편집된 영상이 제대로 복원되지 못하게 된다.

그리고, 영상압축된 다수의 프로그램들을 편집할 경우에는 복호화기의 버퍼상태를 고려하지 않게 되므로 복호화기의 버퍼가 오버플로우 또는 언더플로우되는 문제점이 있게 된다.

이에 따라, 본 발명의 목적은 상기와 같은 종래의 압축영상 편집방법에 따르는 문제점을 해결하기 위하여, 압축된 디지탈 오디오 및 비데오 신호들을 받아서 사용자의 요구대로 내용을 편집하는데 있어서, 수신단에서의 버퍼상태에 영향을 끼치지 않고 신호를 편집할 수 있도록 하는 디지탈 영상압축신호의 편집장치를 제공하는데 있다.

Description

디지탈 영상압축신호의 편집장치

제1도는 영상 압축 신호의 구성도.

제2(a)도는 영상 신호의 편집시 멀티플렉서에 의해 영상신호를 선별하는 장치의 개략도.

제2(b)도는 선별된 각 영상신호가 조합되어 편집된 영상을 보인 예시도.

제3도는 본 발명 디지탈 영상압축신호의 편집장치의 구성도.

제4도는 두 영상(S1,S2)의 편집시의 타이밍도.

제5(a),(b)도는 영상 편집시 수신단 버퍼의 시간에 따른 변화도.

* 도면의 주요부분에 대한 부호의 설명

BF1 ∼BFn : 버퍼 10 : 버퍼 제어부

20 : 멀티플렉서 30 : 스터핑 비트 발생부

40 : 비코드화 영상비트 발생부 51 : 그룹영상 검출부

52,53 : 선입선출 메모리 54,56 : 버퍼상태 검출부

55 : 영상시작코드 검출부

본 발명은 영상압축된 디지탈 신호를 편집할 때 복호화기의 입력버퍼상태 제어에 관한 것으로, 특히 버퍼의 언더플로우 또는 오버 플로우를 방지하는데 적당하도록 한 디지탈 영상압축신호의 편집장치에 관한 것이다.

제1도는 영상 및 음성압축된 신호의 형태를 도시한 것으로서, 인트라 픽쳐(Intra picture) I, 기대영상 P, 및 양방향 영상 B가 압축되어 그룹영상(GOP:Group Of Picture)을 구성하게 된다.

상기 I 픽쳐는 이전의 화면과는 독립적으로 부호화되어 압축되며, P 픽쳐는 이전의 I 또는 P 픽쳐를 이용하여 영상압축되고, B 픽쳐는 이전의 I 픽쳐와 이후의 I,P 픽쳐들을 양방향으로 이용하여 영상압축하게 된다.

다수의 영상 및 음성 압축된 신호를 편집하여 새로운 프로그램을 제작할 때에는 제2(a)도에서와 같이 멀티플렉서(1)를 사용하여 개별적인 영상 및 음성의 신호열을 추출하여 이를 조합함으로써 제2(b)도와 같이 원하는 영상 및 음성이 조합된 프로그램(S1,S2‥‥Sn)을 구성할 수 있게 된다.

그러나, 이러한 방법은 프로그램을 제작하는데 있어서 영상압축된 비트 스트림을 임의의 위치에서 자른 뒤 다른 프로그램을 계속하여 편집하는 경우 I,P,B 픽쳐들의 관계가 흐트러져 편집된 영상이 제대로 복원되지 못하게 된다.

즉, 이전의 비트 스트림이 P 픽쳐에서 끊어졌고 계속하여 다른 프로그램의 P 픽쳐를 편집하는 경우, P 픽쳐는 이전의 I,P 픽쳐를 이용하여 부호화되어야 하는데 이전의 I, P 픽쳐는 전혀 다른 영상이므로 복호화기에서 복호화를 수행하면 전혀 예측하지 않은 영상이 얻어지게 된다.

또한, 계속되어 입력되는 비트 스트림을 픽쳐 비트 스트림의 중간부분부터 편집하는 경우, 복호화기에서 복호화할 때 앞 부분의 픽쳐 비트가 없으므로 정확한 복호화를 수행하지 못하게 된다.

그리고, 영상압축된 다수의 프로그램들을 편집할 경우에는 복호화기의 버퍼상태를 고려하지 않게 되므로 복호화기의 버퍼가 오버플로우 또는 언더플로우되는 문제점이 있게 된다.

이에 따라, 본 발명의 목적은 상기와 같은 종래의 압축영상 편집방법에 따르는 문제점을 해결하기 위하여, 압축된 디지탈 오디오 및 비데오 신호들을 받아서 사용자의 요구대로 내용을 편집하는데 있어서, 수신단에서의 버퍼상태에 영향을 끼치지않고 신호를 편집할 수 있도록 하는 디지탈 영상압축신호의 편집장치를 제공하는데 있다.

제3도는 본 발명의 디지탈 비데오 및 오디오 신호의 편집을 위한 시스템의 구성도로서, n 개의 입력신호(S1∼Sn)가 각기 버퍼 블록(BF1∼BFn)에 인가되고 각 버퍼블록(BF1∼BFn)으로부터 영상 데이타를 입력받아 이를 선별적으로 처리하는 멀티플렉서(20)가 연결되며, 상기 버퍼블록(BF1∼BFn)으로부터의 데이타에 의해 상기 멀티플렉서(20)에 데이타 선택제어신호를 출력하는 버퍼 제어부(10)로 구성되며, 각 버퍼블록(BF1∼BFn)은 직렬로 연결된 2개의 선입선출 버퍼(52,53)와 2개의 VBV 검출기(54,56), GOP 검출기(51) 및 PSC 검출기(55)로 구성되어 있다.

그리고 공백처리용 데이타를 발생시키는 스터핑 비트 발생기(30)와, 이전 화면 대체 신호를 발생시키는 비코드화 영상비트 발생기(40)의 출력이 상기 멀티플렉서(20)로 인가된다.

상기와 같이 구성된 본 발명의 디지탈 영상압축신호의 편집장치에 대하여 그 작용과 효과를 상세히 설명하면 다음과 같다.

제3도 본 발명의 회로는 다수의 블록(BF1∼BFn)이 동일한 구조로 되어 있고, 그 블록의 각 구성요소의 작용이 동일하므로 버퍼블록(BF1)의 구성요소를 사용하여 전체적인 동작을 설명한다.

먼저, 그룹영상(GOP)의 시작은 i 번째 버퍼(BFi)에 대한 입력신호(Si)가 클럭(inclk)에 동기되어 그룹영상 검출부(51)에 인가됨으로써 시작되며, 이로부터의 그룹영상 데이타는 선입선출 버퍼(52)에 일시 저장됨과 동시에 버퍼상태 검출부(54)에서 수신단의 입력버퍼 상태값을 알려주는 버퍼 상태값을 검출하게 된다.

상기 선입선출 버퍼(52)에 입력된 데이타는 상기 버퍼(52)를 완전히 채울 때까지 기다리지 않고 곧바로 후단의 선입선출 버퍼(53)로 입력되며, 이때 영상시작코드(Picture Start Code) 검출부(55)에서 영상의 시작코드를 감지하여 버퍼 제어부(10)에 알려주게 되며, 버퍼상태 검출부(54)에서도 현재 영상에 대한 수신단의 입력버퍼의 상태값을 검출하게 된다.

선입선출 버퍼(52)에 입력된 데이타는 선입선출 버퍼(53)를 먼저 채우고, 선입선출 버퍼(53)가 완전히 채워지면 계속하여 선입선출 버퍼(52)를 채우게 된다.

한편, 출력클럭(outclk)이 선입선출 버퍼(53)에 인가되면, 선입선출 버퍼(52)와 선입선출 버퍼(53)에 채워진 데이타들이 순차적으로 멀티플렉서(20)에 인가된다.

이때, 리세트 신호(reset1∼resetn)는 일 순간에 선입선출 버퍼(52)와 선입선출 버퍼(53)에 있는 데이타를 비워버리게 되며, 리세트 신호(reset1∼resetn)가 가해지고 있는 동안에는 선입선출 버퍼(52,53)에 데이타가 입력되더라도 저장되지 않게 된다.

스터핑 비트 발생기(30)는 화면의 화소값에는 전혀 영향을 미치지 못하는 공백처리용 데이타를 발생시키며, 리세트 신호(resets)에 의해 초기화되고 클럭(clks)이 인가될 때마다 공백처리 데이타를 발생시켜 멀티플렉서(20)로 입력한다.

비코드화 영상비트 발생기(40)는 현재의 화면을 이전화면으로 대치하라는 데이타를 발생하여 상기 멀티플렉서(20)으로 입력한다.

한편, 버퍼제어부(10)는 입력클럭신호(inclk)와 각 버퍼블록(S1∼Sn)으로부터 GOP, PSC, GOP_VBV, PSC_VBV 신호 및 프로그램 제작자로부터 입력선택신호를 받아 각 블록에 인가할 outclki, reseti 및 멀티플렉서(20)에 인가할 선택신호(select)를 만들어 주게 된다.

제4도에 S1과 S2 신호의 예를 나타내었다.

한 그룹영상내에 N개의 영상이 존재한다고 하였을 때, S1과 S2의 그룹영상의 시작점은 픽쳐 데이타의 길이가 다르므로 모두 다르게 된다.

S1 신호를 편집하는 도중 S2 신호를 선택하는 경우, 제4도에서와 같이 임의의 위치인 GOPi내의 p2에서 S2가 선택된 경우, 버퍼제어부(10)에서는 S2의 그룹영상(GOP)이 시작되는 지점까지 S1을 제외한 모든 버퍼제어부(10)에 리세트 신호를 인가하게 된다.

새로운 그룹영상이 시작되어 버퍼블록(BF2)의 그룹영상 검출부(51)에 의하여 그룹영상을 검출하여 버퍼제어부(10)에 인가하면 버퍼(BF2)에 대한 리세트 신호를 풀어주게 되며, 계속하여 버퍼상태 검출부(54)에 의하여 버퍼상태를 검출하여 버퍼제어부(10)에 알려주며, S2 신호의 새로운 그룹영상의 데이타는 선입선출 버퍼(52), 선입선출 버퍼(53)에 계속하여 채워지게 된다.

S2 신호의 그룹영상이 검출되기 전에는 S1 신호의 영상을 제3도의 송신기에서 출력하게 되는데, 제4도의 P1,P2,P3,P4에 해당한다.

또한, S1 신호의 P4와 P5사이에서 S2 그룹영상이 검출되므로 P4∼GOP 검출사이에는 제5도와 같은 조건에 의해 스터핑 비트 또는 비코드화 영상 비트를 삽입한다.

S1의 영상시작코드 검출부(55) 및 버퍼상태 검출부(54)에서는 새로운 영상의 시작과 각 픽쳐에 대한 디코더의 입력상태를 계속 검출하여 버퍼제어부(10)에 알려주게 되는데, 버퍼제어부(10)에서는 버퍼블록(BF2)에서 새로운 그룹영상 감지신호가 인가된 뒤 S1 신호의 영상시작코드를 받고 계속하여 버퍼블록(BF1,BF2)의 디코더 버퍼상태를 비교하게 된다.

버퍼블록(BF1)의 영상시작코드 검출부(55) 및 버퍼상태 검출부(54)에서는 새로운 픽쳐의 시작과 각 픽쳐에 대한 디코더의 입력상태를 계속 검출하여 버퍼제어부(10)에 알려주게 되는데, 버퍼제어부(10)에서는 버퍼블록(BF2)에서 새로운 그룹영상 감지신호가 인가된 뒤 S1의 영상시작코드 검출신호를 받고 계속하여 버퍼블록(BF1,BF2)의 디코더 버퍼 상태를 비교하게 된다.

제5도는 버퍼의 상태를 나타낸 것으로서, 제5(a)eh는 버퍼(BF1)가 버퍼(BF2)보다 많이 채워져 있는 경우를 나타낸 것이며, 버퍼(BF1,BF2)의 각 데이타가 α 비율로 발생되어 전송되고, 디코더단에서는 하나의 픽쳐분의 데이타를 ti 시간마다 디코딩한다고 하였을 때 시간에 따른 버퍼의 변화를 나타낸 것이다.

t0 시간에 S1에서 S2로 변환하고자 할 때 버퍼의 상태의 차이 B1-B2만큼 스터핑 비트(stuffing bit)를 발생시키고 계속하여 S2를 기록하거나 전송하게 되면, S1에서 S2로 프로그램을 바꾸어도 수신단에 영향을 끼치지 않게 된다.

이와 반대로 제5(b)도의 경우와 같이 S1 버퍼가 S2 버퍼보다 덜 채워져 있는 경우 버퍼의 증가율을 α 라고 하고 비코드화 영상비트의 크기가 l이라고 할 때,

B2 - B1 = n(l+α) + 스터핑 비트량-l

의 계산에 의하여 스터핑 비트량을 작게 하는 정수 n을 구하여 (n-1)개의 비코드화 영상 비트를 발생시키고 최소한의 스터핑 비트를 발생시킨다.

비코드화 영상비트량은 작은 량이므로 버퍼를 거의 비우지 않은 채 디코더단에서 디코딩하게 되며, 계속하여 α 증가율로 채워져도 최대 버퍼크기인 B를 넘지 않도록 증가시키며 만일 버퍼크기 B를 넘을 경우, 이를 미리 감지하여 버퍼크기 B를 넘지 않도록 하여야 한다.

즉, B1 + nα + (n-1)l 〉B 인 경우에는 버퍼크기 B를 넘어서는 경우이므로, (n-2)개의 비코드화 비트를 발생시킨 뒤 스터핑 비트와 마지막 비코드화 영상비트의 순서를 약간 바꾸어서 발생시키므로 버퍼의 오버플로우와 언더플로우를 방지하게 된다.

이상과 같이 버퍼제어부(10)에서는 S2의 새로운 데이타가 검출되고 S1의 영상시작코드가 검출되었을 때 S1의 새로운 영상시작코드부터는 멀티플렉서(20)를 통과시키지 않고 버퍼블록(BF1,BF2)을 비교하여 스터핑 비트와 비코드화 영상비트를 발생시키고 S2의 새로운 그룹영상 데이타를 출력시키게 된다.

선입선출버퍼(53)가 존재하게 되므로 영상시작코드의 검출과 버퍼상태 검출뒤에 끼워 넣어야 할 비트량과 비코드화 픽쳐를 계산하는데 필요한 시간만큼 데이타를 지연시킬 수 있게 된다.

이상에서와 같이 본 발명은 디지탈 영상 또는 오디오 신호의 편집시 수신단의 버퍼의 오버 플로우 또는 언더 플로우를 방지하는 효과를 준다.

Claims (2)

1. 입력영상에서 그룹영상의 시작점을 검출하는 그룹영상 검출부(51)와, 입력되는 영상을 수신하는 입력버퍼의 상태를 검출하는 버퍼상태 검출부(54)와, 영상의 시작코드를 검출하는 영상시작코드 검출부(55)와, 화면의 화소값에는 전혀 영향을 미치지 못하는 공백처리용 데이타를 발생시키는 스터핑 비트 발생기(30)와, 각 입력영상을 편집하기 위하여 입력 영상 데이타를 선별적으로 출력하는 멀티플렉서(20)와, 현재의 화면을 이전화면으로 대치하라는 데이타를 발생시키는 비코드화 영상비트 발생기(40)와, 각 영상을 입력하는 버퍼블록(BF1∼BFn)으로부터 그룹영상과 영상의 시작 및 버퍼의 상태에 따른 검출신호를 입력받아 각 버퍼블록(BF1∼BFn)을 제어하는 버퍼 제어부(10)로 구성된 것을 특징으로 하는 디지탈 영상압축신호의 편집장치.
2. 제1항에 있어서, 스터핑 비트 발생기(30)는 편집영상의 전환시, 이전 영상버퍼와 새로운 영상버퍼의 적재 데이타의 차에 해당되는 양만큼 스터핑 비트를 발생시키는 것을 특징으로 하는 디지탈 영상압축신호의 편집장치.