KR100548665B1

KR100548665B1 - 편집 시스템, 편집 제어 장치 및 편집 제어 방법

Info

Publication number: KR100548665B1
Application number: KR1019997008583A
Authority: KR
Inventors: 요시나리히로미; 무라카미요시히로
Original assignee: 소니 가부시끼 가이샤
Priority date: 1998-01-19
Filing date: 1999-01-19
Publication date: 2006-02-03
Also published as: US7305040B1; CN1157727C; KR20010005525A; CA2284216A1; US7920634B2; EP0982726A1; EP0982726A4; CN1256782A; JP3716328B2; WO1999036912A1; US20060120466A1

Abstract

스플라이서/트랜스코더(21)는, 소재인 어카이버/서버와는 스트림으로 인터페이스하고, 에디터 및 스위쳐(22)와는 베이스 밴드로 인터페이스한다. 또한, 적어도 편집점을 포함하는 소정 기간에는 트랜스코딩을 한다. 입력 스트림에는 편집에 사용하는 두 가지 프로그램이 다중화되고, 에디터 및 스위쳐(22)에는, 각 프로그램을 복호한 베이스 밴드 신호(Sa,Sb)가 주어져 기존의 편집기와 마찬가지로 편집이 이루어진다. 편집 결과 베이스 밴드 신호(Sc)가 스플라이서/트랜스코더(21)로 복귀되어 복호시에 얻은 코덱 정보를 사용하여 신호(Sc)가 출력 스트림으로 재부호화된다.

베이스 밴드 신호 편집기, 베이스 밴드 신호 편집 제어 장치, MPEG 스트림

Description

편집 시스템, 편집 제어 장치 및 편집 제어 방법{Edit system,edit control device,and edit control method}

본 발명은 비트 스트림을 취급하는 경우에 적용되는 편집 시스템, 편집 제어 장치 및 편집 제어 방법에 관한 것이다.

근래, 디지털 방송에서 MPEG(Moving Picture Experts Group)로 대표되는 압축 기술을 이용함으로써 한정된 전송 매체(무선, 유선 모두)를 유효 활용하여 보다 다수의 프로그램을 방송할 수 있는 것이 가능해지고 있다. 마찬가지로 방송 업자의 소재 전송에 대해서도 위성 회선을 이용하는 경우의 트랜스폰더의 사용료는 고가여서, 점유하는 대역을 압축하는 것은 경제적 장점이 크다. 지상파를 이용한 소재 전송에서도 마찬가지이다. 또한 상용 유선 회선을 이용했을 경우도 마찬가지이다. 따라서, 취재 현장에서 국으로 전송하는 경우 또는 국에서 국으로의 국간 전송에서는 MPEG 스트림을 이용하는 의의가 크다.

이어서, 국내 등에서 MPEG 등의 압축 기술을 영상 소재에 적용하는 장점의 주된 것은 영상 소재 어카이버/서버 용량의 절약이다. 비선형 편집이 필요하지 않았 던 시대에는 런닝 코스트가 싼 테입상에 영상 소재를 어카이브해 두면 충분하였으나, 비선형 편집의 필요성이 요구되는 현재에는 비선형 기록 매체(하드디스크, DVD 등)의 기록 용량을 절약하는 것이 필수이다.

여기에서, 도 15를 참조하여 MPEG 규격에 따른 전송 시스템의 개략에 대하여 설명한다. 전송 시스템은 인코더(110)측과 디코더(120)측을 갖는다. 전송 시스템은 인코더(110)측의 비디오 데이터와 관련된 구성으로서, 입력되는 비디오 데이터(Dv)를 부호화하고, 비디오 엘리먼터리 스트림(ES)을 출력하는 비디오 인코더(111)와 이 비디오 인코더(111)에서 출력되는 비디오 엘리먼터리 스트림(ES)을 패킷화하고, 헤더 등을 부가하여 비디오 패키타이즈드 엘리먼터리 스트림(PES)을 출력하는 패키타이저(112)가 마련되어 있다. 또 오디오 데이터와 관련된 구성으로서, 입력되는 오디오 데이터(DA)를 부호화하여, 오디오 엘리먼터리 스트림(ES)을 출력하는 오디오 인코더(113)와 이 오디오 인코더(113)에서 출력되는 오디오 엘리먼터리 스트림(ES)을 패킷화하고, 헤더 등을 부가하여 비디오 패키타이즈드 엘리먼터리 스트림(PES)을 출력하는 패키타이저(114)가 마련되어 있다. 또한, 패키타이저(112 및 114)로부터의 엘리먼터리 스트림을 다중화하고, 188바이트 길이의 트랜스포트 스트림 패킷을 작성하여 트랜스포트 스트림(TS)으로서 출력하는 멀티플랙서(115)가 마련되어 있다.

도 15에 나타내는 전송 시스템의 복호측(120)에는 전송 매체(116)를 통하여 수취한 트랜스포트 스트림을 비디오 PES와 오디오 PES로 분리하여 출력하는 디멀티플랙서(121)가 마련된다. 비디오 PES 및 오디오 PES의 패킷을 각각 분해하는 디패 키타이저(122,124)와, 디패키타이저(122,124)로부터의 비디오 ES 및 오디오 ES를 각각 복호하는 비디오 디코더(123), 오디오 디코더(125)가 마련되어 있다. 비디오 디코더(123)에서는 베이스 밴드의 비디오 신호 Dv, 오디오 신호 DA가 출력된다. 이와 같은 복호측(120)은 IRD(Integrated Receiver/Decoder)라 한다.

비디오 데이터를 중심으로 도 15에 나타내는 시스템의 동작에 대하여 설명한다. 우선, 부호화 장치(110)측에서는 각 픽쳐가 같은 비트량을 갖는 비디오 데이터(Dv)는 비디오 인코더(111)에 의해 부호화되고, 각 픽쳐마다 그 용장도에 맞는 비트량으로 전환되어, 비디오 엘리먼터리 스트림으로서 출력된다. 패키타이저(112)는 비디오 엘리먼터리 스트림을, 시간축 상의 비트량 변동을 흡수하여(평균화하여) 패킷화하고, 비디오 패키타이즈드 엘리먼터리 스트림으로서 출력한다. 트랜스포트 스트림 멀티플랙서(115)는 비디오 패키타이즈드 엘리먼터리 스트림과 패키타이저(114)에서 출력되는 오디오 패키타이즈드 엘리먼터리 스트림을 다중화하여 트랜스포트 스트림 패키지를 작성하여, 트랜스포트 스트림(TS)으로서 전송 매체(116)를 통하여 복호화 장치(120)로 보낸다.

복호화 장치(120)측에서는 트랜스포트 스트림 디멀티플랙서(121)에 의해 트랜스포트 스트림이 비디오 패키타이즈드 엘리먼터리 스트림과 오디오 패키타이즈드 엘리먼터리 스트림으로 분리된다. 디패키타이저(122)는 비디오 패키타이즈드 엘리먼터리 스트림을 디페킷화하여 비디오 엘리먼터리 스트림으로서 출력하고, 비디오 디코더(123)가 비디오 엘리먼터리 스트림을 복호하여 비디오 디코더(Dv)를 출력한다.

복호화 장치(120)는 고정 레이트의 도달 스트림으로부터 재생 픽쳐마다의 가 변 비트량의 인출을 행하기 위한 제어를, 예를 들면 1.75 비트의 VBV(Video Buffering Verifier) 버퍼를 사용하여 행한다. 따라서, 부호화 장치(110)측에서는 이 VBV 버퍼를 오버 플로우 또는 언더 플로우시키지 않도록 각 픽쳐의 비트 발생량을 제어할 필요가 있다. 이와 같은 제어를 VBV 버퍼 처리라 한다.

상술한 바와 같이, 다채널화로 대표되는 한정된 전송 자원의 유효 활용 또는 회선 사용의 런닝 코스트의 면에서 부호화 스트림의 활용은 매우 매력적이다. 그러나, 한편으로 고능률의 압축 방식인 MPEG 스트림이기 때문으로 인한 제약이 존재하여 방송 소재로 MPEG를 널리 활용할 수가 없는 문제가 있었다.

MPEG의 압축 기술로서의 몇가지 특징을 기술하면, 첫째로 MPEG에서는 GOP(Group Of Picture) 단위의 프레임 상관을 이용하여 코딩을 하고 있다. 둘째로 MPEG로 복호화된 결과인 각 픽쳐가 가변 길이의 비트 길이를 갖는다. 셋째로 MPEG 2에서는 전송처의 IRD가 갖는 버퍼의 조건을 만족하도록 비트 레이트 콘트롤(VBV 버퍼의 처리)을 행하고 있다. 네째로 MPEG 2 인코더가 최종적으로 전송을 목적으로 하는 경우, 전송로의 용량에 맞추어 비트레이트 컨트롤이 이루어진다.

상술한 MPEG의 특징에 의해, MPEG 비트 스트림을 수취하여 편집을 행하는 경우에는 문제가 발생한다. 즉, 프레임 단위로 편집을 행하는 경우에는 MPEG 스트림을 MPEG 복호로 한번 베이스 밴드로 복귀시키고 나서 편집을 행할 필요가 있다. 베이스 밴드에서 편집하고 나서 다시 부호화를 행하여 MPEG 스트림을 얻는다. 따라서, 스위칭을 포함하여 편집 작업때마다 복호, 부호화를 반복하게 된다. 통상, 베이스 밴드-MPEG 스트림간의 복호, 부호화 체인은 커다란 화질 열화를 동반한다. 또, 부호화 비트 스트림의 임의의 위치에서 스위칭을 행하는 경우, 그것이 설령 부호화 단위의 단락, 구체적으로는 GOP간의 상관을 이용하지 않는 클로즈드 GOP 구조이더라도 버퍼 컨트롤의 연속성이 끊어진다. 그것에 따라 VBV 버퍼 제약을 만족시키지 않게 되고, 그 결과 언더 플로우, 오버 플로우에 의해 복호 후의 화상에 프리즈 또는 화상 파탄이 발생한다.

이러한 문제점이 있기 때문에 MPEG 스트림에 의한 편집은 사실상 불가능하다고 생각되고 있었다. 따라서, 송출하는 방송 형태가 MPEG에 의한 압축 다채널 방송이더라도 베이스 밴드의 소재를 편집한 후에 방송 최종 단계에서 MPEG로 부호화하는 수단이 취해지고 있었다. 또 오리지널 소재가 MPEG 스트림인 경우에는 MPEG 스트림을 복호한 후의 베이스 밴드 신호를 종래의 베이스 밴드 편집기로 편집을 하고 있었다. 그 때문에 편집 처리 후의 소재 열화가 심한 문제가 있었다. 또한, 게인 조정 등의 특수 효과, 방송국 로고 등의 삽입만을 해도 MPEG 스트림을 이용할 수 없는 문제가 있었다.

이와 같은 문제점에 대하여 방송국내의 편집 시스템의 몇가지 예에 기초하여 보다 구체적으로 설명한다. 도 16은 MPEG 스트림 어카이버를 갖는 마스터 서버와 편집 스튜디오의 인터페이스를 나타내며, 국내 방송은 베이스 밴드이다. 도 16에서 101은 국내의 마스터 어카이브/서버를 나타낸다. 어커이버/서버(101)는 비선형 어카이버로, 용량을 삭감하기 위하여 MPEG 압축 스트림에 의한 소재를 축적부에 축적한다. 어카이버와 서버는 모두 영상 소재를 축적하는 것이며, 어카이버가 축적 전용의 장치인대 반하여 서버는 외부로부터의 요구에 따라 영상 소재를 출력하는 장치이다. 이 발명은 영상 축적부로서의 기능을 공통으로 가지므로, 어카이버/서버의 어떤 것에 대해서도 적용할 수 있으며, 그러한 의미에서 어카이버/서버의 용어를 사용하고 있다.

어카이버/서버(101)에는 축적부로부터의 MPEG 스트림을 복호하는 MPEG 디코더가 마련되어 있다. MPEG 디코더에 의해 형성된 베이스 밴드의 비디오 데이터(S1 및 S2)가 편집 스튜디오(102)에 입력된다. 국내 전송로의 전송 프로토콜은 베이스 밴드이다. 편집 스튜디오(102)에서는 비디오 데이터(S1 및 S2)를 접속하는 것과 같은 편집(스프라이즈 편집, AB 롤 등)이 이루어져 편집 처리후의 비디오 데이터(S3, 베이스 밴드 신호)가 어카이버/서버(103)에 입력된다. 어카이버/서버(103)에는 MPEG 인코더가 마련되어 있고, 편집 결과가 MPEG 스트림으로서 편집부에 보관된다.

도 17은 편집 스튜디오(102)의 일례의 구성을 나타낸다. 베이스 밴드의 비디오 데이터는 데이터 용량이 크기 때문에(비트 레이트가 높기 때문에), 기록 매체로서 테입상 용매가 사용된다. 즉, 비디오 데이터(S1)가 선형 스토리지(104a)에 기록되고, 비디오 데이터(S2)가 선형 스토리지(104b)에 기록된다. 그리고, 이러한 선형 스토리지(104a 및 104b)를 플레이어로 하여, 비디오 데이터(S1 및 S2)가 에디터 및 스위쳐(105)에 공급되고, 에디터 및 스위쳐(105)로부터의 편집 결과인 비디오 데이터(Sc)가 레코더로서의 선형 스토리지(104c)에 기록된다. 선형 스토리지(104c)에서 편집 후의 비디오 데이터(S3)가 출력된다.

편집 스튜디오(102)는 도 18에 나타내는 바와 같이, 비선형 기록 매체(하드디스크, 광디스크 등)를 사용하는 비선형 스토리지(106a, 106b, 106c)로 구성하는 것 도 가능하다. 그러나, 베이스 밴드 신호를 비선형 기록 매체로 사용하기에는 용량이 크고 고가여서, 편집 스튜디오 단위로 놓도록 한 도 18에 나타내는 구성은 현실적이지 못하다. 또 도 16에 나타내는 편집 시스템은 편집 때마다 복호, 부호화 체인이 발생하고, 그에 따라 소재의 화질 열화가 발생하며, 이 열화의 누적을 초래한다.

도 19는 국내 전송로의 전송 프로토콜을 MPEG 스트림으로 했을 경우의 마스터 서버와 편집 스튜디오의 인터페이스를 나타낸다. 어카이버/서버(131 및 133)에는 MPEG 스트림의 소재가 축적된다. 어카이버/서버(131)에는 MPEG 스트림을 편집 스튜디오(132)에 대하여 출력하고, 어카이버/서버(131)에는 편집 스튜디오(132)로부터 MPEG 스트림이 입력되므로, 이것들은 MPEG 디코더, MPEG 인코더를 구비하지 않는다. MPEG 스트림에서 영상 소재를 전송함으로써 둘 이상의 영상 소재를 스트림(TS1, TS2)으로서 다중화할 수가 있다. 이와 같은 다채널화에 의해 전송로를 유효 활용할 수 있다. 또한 스트림(TS1, TS2)은 엘리먼터리 스트림 및 트랜스포트 스트림의 어느 것이어도 좋다.

도 19 시스템에서의 편집 스튜디오(132)의 일례 및 다른 예를 도 20 및 도 21에 각각 나타낸다. 도 20의 예는 스트림(TS1)에서 스트림(TS1a 및 TS1b)을 분리하고, 스트림(TS1a 및 TS1b)을 MPEG 디코더(134a 및 134b)에 의해 각각 베이스 밴드 신호로 변환한다. 이러한 베이스 밴드 신호를 선형 스토리지(135a 및 135b)에 각각 기록한다. 선형 스토리지(135a,135b)를 플레이어로 하여 얻어진 베이스 밴드의 비디오 디코더(Sa 및 Sb)가 베이스 밴드 에디터 및 스위쳐(136)에 입력된다. 베이스 밴드 에디터 및 스위쳐(136)로부터의 편집 결과인 비디오 데이터(Sc)가 레코더로서의 선형 스토리지(135c)에 의해 기록된다. 선형 스토리지(135c)로부터의 비디오 데이터가 MPEG 인코더(134c)에 의해 MPEG 스트림(TS2)으로서 출력된다.

도 21에 나타내는 편집 스튜디오(132)의 다른 예는 선형 스토리지(135a, 135b) 대신에 비선형 스토리지(137a,137b,137c)를 사용한 것이다. 도 21에 나타내는 시스템도 국내 전송로를 다채널화가 용이한 MPEG 스트림으로 구성할 수 있다. 그러나, 도 20 및 도 21의 구성은 편집때마다 복호, 부호화 체인이 발생하여 매회 무시할 수 없는 소재의 화질 열화가 발생하며, 이 화질 열화의 누적을 초래한다. 또, 베이스 밴드 신호를 비선형 기록 매체에서 사용하기에는 용량이 크고 고가여서, 편집 스튜디오 단위에 놓도록 한 도 21에 나타내는 구성은 현실적이지 못하다.

이와 같은 복호-부호화 체인에 의해 발생하는 소재 열화를 피하고자 하는 경우, 당연한 일이지만, 베이스 밴드 소재로 소재 어카이브를 행하게 된다. 이 경우에는 영상 소재의 데이터량이 많아져 비선형 기록 매체에 영상 소재를 누적하기가 어려워진다.

상술한 바와 같이, 소재 열화 문제와 기록 용량 문제를 해결하는 수단으로서, 스트림상에서 편집 가능한 것이 바람직하다. 그러나, 스트림에서의 편집을 행하기 위해서는 상술한 바와 같이 MPEG 스트림의 특징에 근거한 문제가 발생한다. 이 문제를 해결하기 위하여 몇가지 방법을 생각할 수 있다. 우선 오버 플로우에 대응하기 위해서는 픽쳐 단위의 비트량을 카운트하여 VBV 버퍼를 시뮬레이트하여 더미 데이터를 삽입하는 것으로 해결한다. 그러나, 언더 플로우의 경우는 보정 방법이 없어 프리즈될 수밖에 없다.

한편, 부호화시에 미리 스위칭점을 정해 두고, 그 장소가 규정된 버퍼 점유량이 되도록 비트레이트 콘트롤하는 방법이 있는데, 이 방법을 사용하면 VBV 버퍼의 문제는 해결된다. 그러나, 미리 부호화전에 정해진 스위칭 점만으로 해결 가능하여 적용 범위가 한정된다.

또, 복호-부호화 체인에 의한 화질 열화 문제를 해결하기 위하여 스트림을 한번 복호하여, 그 때에 취출된 부호화, 복호에 필요한 정보(코덱 정보라 함)를 베이스 밴드로 다중화하고, 재부호화시에 코딩 정보를 재이용하여 화상 재구축의 정밀도를 높이는 트랜스 코덱이 제안되어 있다. 코덱 정보에는 이동 벡터 정보, 양자화 단계, 픽쳐 타입 등의 정보가 포함된다.

코덱 정보는 적지 않은 정보량이다. 따라서, 베이스 밴드 신호에는 코덱 정보를 다중하는데 충분한 보조적인 영역이 없어, 다중할 수 없는 나머지 코덱 정보는 유효 화상 영역으로 다중화되거나, 별도 회선으로 전송해야 한다.

도 22는 편집때마다 복호-부호화 체인이 발생하여 매회 무시할 수 없는 소재의 화질 열화의 누적을 초래하는 것을 해결하기 위하여 트랜스 코딩을 사용하여 편집 스튜디오를 구성한 예이다. 도 22에서는 코덱 정보를 소재 신호선과 별도 경로로 보내는 구성이다. 스트림(TS1a 및 TS1b)을 MPEG 디코더(134a 및 134b)에 의해 각각 베이스 밴드 신호로 변환하여, 베이스 밴드의 비디오 데이터(Sa 및 Sb)가 베이스 밴드 에디터 및 스위쳐(136)에 입력되고, 베니스 밴드 에디터 및 스위쳐(136)로부터의 편집 결과인 비디오 데이터(Sc)가 MPEG 인코더(134c)에 의해 MPEG 스트림(TS2)으로서 재부호화된다.

또한 MPEG 디코더(134a, 134b)에서 이용되는 코덱 정보를 스트림 또는 디코더(134a,134b)에서 검출되는 정보 검출기(141a,141b)와 코덱 정보를 전송하는 신호선(142a,142b,142c)와 코덱 정보를 인코더(134c)에서 이용하기 위한 정보 견적기(144)와 코덱 정보와 베이스 밴드 에디터 및 스위쳐(136)의 편집 정보를 유기적으로 결합하는 코덱 정보 어댑터(143)가 마련된다.

이와 같이, 별도 회선으로 코덱 정보를 전송하는 경우, 에디터 및 스위쳐(136)가 편집을 함과 동시에, 그 밖에 별도 계통으로 전송된 코덱 정보를 취급하기 위해서, 코덱 정보 어댑터(143)와 같은 특별한 구성을 부가할 필요가 있다. 즉, 베이스 밴드 신호를 취급하는 기존의 편집 스튜디오를 이용할 수 없는 문제가 생긴다.

도 23은, 이 문제를 해결하기 위하여 코덱 정보를 베이스 밴드의 유효 신호 영역에 다중하도록 한 편집 스튜디오의 구성을 나타낸다. 코덱 정보를 입력 스트림(TS1a 및 TS1b) 또는 디코더(134a, 134b)에서 각각 검출하는 정보 검출기(141a 및 141b)가 설치된다. 검출된 코덱 정보가 임포져(145a 및 145b)에서, 베이스 밴드의 비디오 데이터(Sa 및 Sb)에 대하여 각각 다중화된다. 코덱 정보가 다중화된 베이스 밴드 신호가 베이스 밴드 에디터 및 스위쳐(136)에 입력된다. 다중화 방법의 일례는, 비디오 데이터의 각 샘플의 최하위 비트로서, 코덱 정보를 랜덤하게 중첩하는 것을 채용할 수 있다.

베이스 밴드 에디터 및 스위쳐(136)에서 출력되는 비디오 데이터에는, 코덱 정보가 다중화되어 있다. 이 비디오 데이터가 세퍼레이터(146)에 공급되어 코덱 정보가 분리된다. 세퍼레이터(146)로부터의 비디오 데이터(Sc)가 MPEG 인코더(134c)에서 재부호화된다. 재부호화시에, 세퍼레이터(146)로부터의 코덱 정보가 이용된다.

도 24는, 도 23의 구성에 대하여 스트림(TS1)을 일단 기록하고, 재생된 스트림을 MPEG 디코더(134a 및 134b)에 대하여 출력하는 비선형 스토리지(147)와, MPEG 인코더(134c)에서 재부호화된 스트림을 기록하는 비선형 스토리지(148)를 부가한 것이다.

도 23 또는 도 24에 도시한 바와 같이, 코덱 정보를 베이스 밴드 신호에 다중화하여 전송하는 구성은, 베이스 밴드 에디터 및 스위쳐(136)가 코덱 정보 어댑터와 같은 특별한 장치를 가질 필요가 없다. 그러나, 유효 영상 신호 구간에 코덱 정보를 삽입한다고 하는 수법은, 랜덤 데이터로 변환하여 다중을 행했다 하여도, 영상에 왜곡을 부여하여 S/N을 손상시킨다.

도 23 또는 도 24의 구성은, 베이스 밴드의 신호에 코덱 정보를 다중화하는 경우, 편집 스튜디오내에 다중화를 위한 구성을 설치하는 것이다. 한편, 어카이버/서버내에 코덱 정보 다중화, 분리의 구성을 마련하도록 한 구성예를 도 25에 나타낸다. 어카이버/서버(151)내에, 축적부(154)로부터의 MPEG 스트림을 복호하는 MPEG 디코더(155a,155b)와, 스트림에서 코덱 정보를 검출하는 정보 검출기(156a,156b)와, 베이스 밴드의 비디오 데이터에 대하여 코덱 정보를 다중화하는 임포져(157a,157b)가 설치된다.

코덱 정보가 다중화된 베이스 밴드의 비디오 데이터(S11 및 S12)가 편집 스튜디오(152)에 입력된다. 편집 스튜디오(152)는, 베이스 밴드 신호를 취급하는 것으로, 전술한 도 24에 나타내는 구성과 마찬가지로, 선형 스토리지와 베이스 밴드 에디터 및 스위쳐로 구성된다.

편집 결과의 비디오 데이터를 축적하는 어카이버/서버(153)에는, 편집 스튜디오(152)로부터의 코덱 정보가 다중화된 베이스 밴드의 비디오 데이터(S13)가 입력된다. 세퍼레이터(158)에 의해 코덱 정보가 분리되어, MPEG 인코더(159)에서는, 이 코덱 정보를 사용하여 재부호화를 한다. MPEG 인코더(159)로부터의 스트림이 축적부(160)에 축적된다.

그러나, 도 25의 구성은, 실제로는 올바르게 기능하지 않아 오접속이 된다. 즉, 편집 스튜디오(152)에서는, 베이스 밴드 용도의 VTR(Video Tape Recorder) 등의 이미 보급되어 있는 기록 매체에 비디오 데이터를 기록하게 된다. 당연한 일이지만, 기존의 VTR은 코덱 정보를 추출하고 그것을 보존하여 다음 단계에 전달하는 기능을 지원하지 않는다. 또한, 현재 보급되어 있는 대부분의 디지털 VTR은 MPEG와 다른 압축 방식을 채용하기 때문에, 유효 신호 영역에 다중 정보가 비디오 데이터와 마찬가지로 압축·신장의 처리를 받는다. 코덱 정보도 같은 처리를 받아 그것에 의하여 왜곡을 받게 되므로, 코덱 정보로서 이용할 수 없다. 예를 들면 비디오 데이터의 최하위 피트에 코덱 정보를 중첩하여도, 최하위 비트가 VTR의 압축·신장의 처리에 의해서 변화된다.

한편, 도 23 또는 도 24의 구성은, 스트림을 전송하는 구성으로 하여 편집 스 튜디오내에 MPEG 디코더, 재부호화용 인코더 등의 부가적 구성 요소를 설치하고, 코덱 정보가 다중화된 베이스 밴드 신호와 기존의 VTR과의 인터페이스 가능성을 배제하고 있다. 그러나, 상술한 바와 같이, 유효 영상 신호 구간에 코덱 정보를 삽입함으로써, 영상에 왜곡이 주어져 S/N을 손상하는 문제를 해결할 수 없다.

따라서, 본 발명의 첫번째 목적은 축적 매체, 전송 매체를 유효하게 활용할 수 있으며, 화질의 열화를 억제하는 수 있고, 나아가, 기존의 베이스 밴드 편집기를 사용하는 것이 가능한 편집 시스템, 편집 제어 장치 및 편집 제어 방법을 제공하는 데에 있다.

본 발명의 다른 목적은, 편집기로부터 편집 위치 정보를 받을 필요가 없이 편집 위치를 검출할 수 있는 편집 시스템, 편집 제어 장치 및 편집 제어 방법을 제공하는 데에 있다.

본 발명의 또 다른 목적은, 픽쳐보다 미세한 단위로 재부호화를 위한 코덱 정보를 이용할 수 있어, 재부호화에 의한 화질의 열화가 방지된 편집 시스템, 편집 제어 장치 및 편집 제어 방법을 제공하는 데에 있다.

청구항 1의 발명은, 베이스 밴드 신호의 편집을 하는 편집기와, 편집기에 대하여 접속되는 편집 제어 장치로 이루어지고,

편집 제어 장치는,

소재가 부호화된 제1 부호화 비트 스트림을 복호하여 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과,

편집기로부터의 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 제1 및 제2 복호 수단으로 사용된 코덱 정보를 이용하여 재부호화하고, 제3 부호화 비트 스트림을 출력하는 부호화 수단과,

다른 장치로부터 수취한 편집 위치 정보에 기초하여, 부호화 수단에서 사용되는 코덱 정보를 선택하는 제어 수단으로 이루어지는 것을 특징으로 하는 편집 시스템이다.

청구항 8의 발명은, 소재가 부호화된 제1 부호화 비트 스트림을 복호하여 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하고, 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과,

편집 위치 정보에 기초하여, 부호화 수단에서 사용되는 코덱 정보를 선택하는 제어 수단으로 이루어지는 편집 제어 장치이다.

청구항 15의 발명은, 제1 소재가 부호화된 제1 부호화 비트 스트림 및 제2 소재가 부호화된 제2 부호화 비트 스트림이 입력되고,

제1 및 제2 부호화 비트 스트림을 각각 복호한 제1 및 제2 베이스 밴드 신호를 편집기에 대하여 송출하고,

편집기로부터의 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를 수취하고,

다른 장치로부터 수취한 편집 위치 정보에 기초하여, 제1 및 제2 부호화 비트 스트림을 복호하는데 사용된 코덱 정보 중 필요한 코덱 정보를 선택하고,

선택한 코덱 정보를 이용하여 제3 베이스 밴드 신호를 재부호화하여, 제3 부호화 비트 스트림을 출력하는 것을 특징으로 하는 편집 제어 방법이다.

청구항 16의 발명은, 베이스 밴드 신호의 편집을 하는 편집기와, 편집기에 대하여 접속되는 편집 제어 장치로 이루어지며,

편집 제어 장치는,

소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과, 제1 및 제2 베이스 밴드 신호와 제3 베이스 밴드 신호를 위상을 합하여 비교함으로써, 편집 위치를 검출하는 비교 수단과,

편집 위치의 정보에 기초하여, 재부호화에서 이용되는 코덱 정보를 선택하는 제어 수단과,

편집기로부터의 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 선택된 코덱 정보를 이용하여 재부호화하여, 제3 부호화 비트 스트림을 출력하는 부호화 수단으로 이루어지는 것을 특징으로 하는 편집 시스템이다.

청구항 19의 발명은, 소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과,

제1 및 제2 베이스 밴드 신호와 제3 베이스 밴드 신호를 위상을 합하여 비교함으로써, 편집 위치를 검출하는 비교 수단과

편집기로부터의 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 선택된 코덱 정보를 이용하여 재부호화하여 제3 부호화 비트 스트림을 출력하는 부호화 수단과로 이루어지는 편집 제어 장치이다.

청구항 22의 발명은, 제1 소재가 부호화된 제1 부호화 비트 스트림 및 제2 소재가 부호화된 제2 부호화 비트 스트림이 입력되고,

제1 및 제2 베이스 밴드 신호와, 제1 및 제2 베이스 밴드 신호를 복호할 때 사용한 코덱 정보를 보존하고,

제1 및 제3 베이스 밴드 신호를 위상을 합친 상태에서 비교함과 동시에, 제2및 제3 베이스 밴드 신호를 위상을 합한 상태에서 비교함으로써, 편집 위치를 검출하고,

검출된 편집 위치에 기초하여, 제3 베이스 밴드 신호를 재부호화하기 위하여 이용하는 코덱 정보를 선택하고,

선택된 코덱 정보를 이용하여 제3 베이스 밴드 신호를 재부호화함으로써, 제3 부호화 비트 스트림을 출력하는 것을 특징으로 하는 편집 제어 방법이다.

본 발명에서는, 편집 제어 장치의 입출력 신호 형태를 부호화 비트 스트림으로 하고 있으므로, 복수의 영상 소재의 부호화 데이터를 다중화하는 것이 용이하여 전송 매체를 유효하게 이용할 수 있다. 또한, 편집 제어 장치는 편집기와 베이스 밴드 신호로 인터페이스하며, 베이스 밴드 신호에는 코덱 정보가 다중화되지 않는다. 더구나, 트랜스 코딩을 위하여 이용되는 코덱 정보를 별도의 신호선으로 전송할 필요가 없이 신호선의 증가를 방지할 수 있음과 동시에, 편집기가 코덱 정보를 취급하기 위한 장치를 갖추는 필요가 없다. 이러한 점에서, 편집기로서 기존 베이스 밴드 편집 장치를 손보지 않고 사용할 수 있다.

또한, 편집기에 대하여 출력한 제1 및 제2 베이스 밴드 신호와, 편집기로부터의 복귀한 제3 베이스 밴드 신호를 위상을 합한 상태에서 비교함으로써, 편집 위치를 검출할 수 있다. 따라서, 편집기와의 사이에서, 편집 위치 정보를 전송하는 선을 생략할 수 있으며, 편집 위치 정보를 스트림의 시간축으로 번역할 필요가 없다.

또한, 재부호화를 위한 코덱 정보의 이용 여부를 픽쳐 단위뿐만 아니라, 블럭 단위로 판별할 수 있다. 따라서, 편집점의 픽쳐가 두 가지 오리지널 소재가 혼재하는 것이더라도, 재부호화에 의한 화질의 열화를 억제할 수 있다.

도 1은, 본 발명의 한 실시 형태의 국내의 시스템 전체를 나타내는 블록도.

도 2는, 본 발명의 한 실시 형태 중의 편집 스튜디오의 일례를 나타내는 블록도.

도 3은, 본 발명의 한 실시 형태 중의 편집 스튜디오의 다른 예를 나타내는 블록도.

도 4는, 본 발명을 적용할 수 있는 방송 네트워크의 일례를 나타내는 블록도.

도 5는, 본 발명의 한 실시 형태 중의 주요부인 스플라이서/트랜스코더의 일례를 나타내는 블록도.

도 6은, 스플라이서/트랜스코더 중의 관리 정보 생성부의 구성의 일례를 나타내는 블록도.

도 7은, 본 발명의 한 실시 형태 중의 주요부인 스플라이서/트랜스코더의 다른 예를 나타내는 블럭도.

도 8은, 본 발명의 다른 실시 형태 중의 주요부인 스플라이서/트랜스코더의 일례를 나타내는 블록도.

도 9는, 베이스 밴드 신호의 시간 관계, 및 코덱 정보의 재이용을 위한 처리 를 설명하기 위한 개략선도.

도 10은, 픽쳐 및 매크로 블록의 관계를 나타내는 개략선도.

도 11은, 코덱 정보의 재이용을 위한 판별 처리를 나타내는 플로우 차트.

도 12는, 도 11 중의 픽쳐 서브 루틴을 나타내는 플로우 차트.

도 13은, 도 11 중의 매크로 블록 서브 루틴를 나타내는 플로우 차트.

도 14는, 매크로 블록 단위의 코덱 정보의 재이용을 설명하기 위한 개략선도.

도 15는, 종래의 MPEG의 부호화, 복호 시스템의 블록도.

도16은, 본 발명 설명의 참고로 한 국내 시스템 구성의 일례를 나타내는 블록도.

도 17은, 도 16 중의 편집 스튜디오의 일례를 나타내는 블록도.

도 18은, 도 16 중의 편집 스튜디오의 다른 예를 나타내는 블록도.

도 19는, 본 발명의 설명의 참고로 한 국내 시스템 구성의 다른 예를 나타내는 블록도.

도 20은, 도 19 중의 편집 스튜디오의 일례를 나타내는 블록도.

도 21은, 도 19 중의 편집 스튜디오의 다른 예를 나타내는 블록도.

도 22는, 본 발명의 설명의 참고로 한 편집 스튜디오의 구성의 일례를 나타내는 블록도.

도 23은, 본 발명의 설명의 참고로 한 편집 스튜디오의 구성의 다른 예를 나타내는 블록도.

도 24는, 도 23의 구성에 대하여 비선형 스토리지를 부가한 구성을 나타내는 블록도.

도 25는, 본 발명의 설명의 참고로 한 국내 시스템의 구성을 나타내는 블록도.

이하, 본 발명의 한 실시 형태에 대하여 도면을 참조하여 설명한다. 도 1은, 본 발명에 의한 편집 시스템의 구성을 나타낸다. 어카이버/서버(1 및 3)은, 부호화 비트 스트림, 예를 들면 MPEG 스트림의 영상 소재를 각각 축적하는 축적부(4및 5)를 구비한다. MPEG로 압축되어 있으므로, 축적부(4 및 5)로서 비선형 기록 매체를 사용할 수 있다. 어카이버와 서버는, 함께 영상 소재를 축적하는 것이며, 어카이버가 축적 전용의 장치인데 반하여, 서버는 외부로부터의 요구에 따라 영상 소재를 출력하는 장치이다. 본 발명은, 영상 축적부로서의 기능을 공통으로 갖기 때문에, 어카이버와 서버의 어느 것에 대하여도 적용할 수 있으며, 그러한 의미에서 어카이버/서버의 용어를 사용하고 있다.

또한, 어카이버/서버(1)와 편집 스튜디오(2)와 어카이버/서버(3) 사이의 전송로는, 부호화 비트 스트림 예를 들면 MPEG 스트림을 전송하게 된다. 그것에 의하여, 복수 채널의 다중화가 가능해져 전송 자원을 유효하게 이용할 수 있다. 즉, 어카이버/서버(1)에서의 스트림(TS1)에는, 두개 이상의 오리지널의 비디오/오디오소재가 다중화된다. 스트림(TS2)은, 편집 결과의 스트림이지만, 필요에 따라 편집 결과와 함께, 오리지널의 두개 이상의 비디오/오디오 소재를 다중화할 수 있다. 또한, 스트림(TS1,TS2)은, 트랜스포트 스트림이지만 엘리먼터리 스트림 또는 패키타이즈드 엘리먼터리 스티림이어도 좋다.

편집 스튜디오(2)는, 도 2 또는 도 3 나타내는 구성으로 되어 있다. 도 2에 나타내는 예에서는, 스트림(TS1)이 입력되어 스트림(TS2)이 출력되는 스플라이서/트랜스코더(21)와, 베이스 밴드 신호의 비디오 데이터(Sa 및 Sb)가 입력되고, 비디오 데이터(Sc)를 출력하도록, 스플라이서/트랜스코더(21)와 베이스 밴드의 인터페이스를 갖는 베이스 밴드 에디터 및 스위쳐(22)가 마련되어 있다. 스플라이서/트랜스코더(21)가 편집 제어 장치이며, 베이스 밴드 에디터 및 스위쳐(22)가 편집기이다.

스플라이서/트랜스코더(21)는, 기본적으로는 에디터 및 스위쳐(22)에 대하여 출력되는 베이스 밴드 신호로 입력 스트림을 변환하는 복호 처리와, 에디터 및 스위쳐(22)로부터의 복귀 베이스 밴드 신호를 출력 스트림으로 변환하는 재부호화 처리를 트랜스 코딩에 의해 행하는 트랜스코더이다. 단, 후술하는 바와 같이, 편집점을 포함하는 소정 기간만 트랜스 코딩을 행하고, 입력 스트림과 트랜스 코딩의 출력을 스위칭하여 출력하는 것도 가능하다. 즉, 스플라이서의 기능을 갖는 수도 있다. 따라서, 스플라이서/트랜스코더라고 부르기로 한다.

도 3에 나타내는 편집 스튜디오(2)의 다른 예는, 어카이버/서버(1)로부터의 스트림(TS1)을 기록하고, 스플라이서/트랜스코더(21)에 대하여 스트림(TS11)을 공급하는 비선형 스토리지(23a)와, 스플라이서/트랜스코더(21)로부터의 스트림(TS12)을 기록하고, 스트림(TS2)을 출력하는 비선형 스토리지(23b)를 도 2의 구성에 대하여 부가한 것이다.

도 2 및 도 3에서 알 수 있는 바와 같이, 스플라이서/트랜스코더(21)의 입출력 신호 형태가 MPEG 스트림이며, 다채널화가 용이하여 전송 자원을 유효하게 이용할 수 있다. 또한, 베이스 밴드 에디터 및 스위쳐(22)는, 베이스 밴드 신호로 인터페이스를 행하게 된다.

또한, 스플라이서/트랜스코더(21)는, 트랜스 코딩를 행하는 것이며, 재부호화에 필요하게 되는 코덱 정보를 에디터 및 스위쳐(22)에 대하여 출력할 필요가 없다. 따라서, 베이스 밴드 에디터 및 스위쳐(22)로서, 기존 베이스 밴드 편집 장치를 그대로 이용하여, 편집 시스템의 구축이 가능해진다.

또한, 스플라이서 및 트랜스코더(21)는, 입력되는 스트림(ST1)에 포함되는 MPEG 픽쳐(코덱 정보 포함)와, 베이스 밴드 입출력의 프레임(또는 필드) 와의 관련부여를 행한다. 스플라이서/트랜스코더(21)에서 규정된 MPEG 픽쳐와 타임 코드와의 대응 관계에 기초하는 타임 코드는, 도면에서는 생략되어 있지만, 베이스 밴드 에디터 및 스위쳐(22) 사이에 마련된 양방향의 신호선을 통해, 에디터 및 스위쳐(22)가 요구할 때에는, 스플라이서/트랜스코더(21)로부터 에디터 및 스위쳐(22)에 대하여 건내어진다. 즉, 스플라이서/트랜스코더(21)로 사용되는 MPEG 픽쳐의 시각 관리 정보와, 에디터 및 스위쳐(22)의 편집 처리에 사용되는 시각 관리 정보(타임 코드)와는 1 대 1로 대응하게 된다.

또한, 베이스 밴드 에디터 및 스위쳐(22)에서, 편집 후의 베이스 밴드 신호(Sc)가 되돌아오는 시각은, 출력시의 시각에 베이스 밴드 에디터 및 스위쳐(22)의 시스템 지연을 더한 것이다. 재부호화를 위한 코덱 정보와 되돌아온 베이스 밴드 신호(Sc)의 프레임과의 상관화는 스플라이서/트랜스코더(21)로부터의 베이스 밴드 신호의 출력 시각을 기록해 두면 간단히 행할 수 있다.

또한, 스플라이서/트랜스코더(21)는, 베이스 밴드 에디터 및 스위쳐(22)로부터, 또는 베이스 밴드 에디터 및 스위쳐(22)를 컨트롤하고 있는 호스트 CPU 또는 컨트롤 머신으로부터, 종래부터 활용되고 있는 타임 코드에 의한 큐 정보 등의 편집 위치 정보를 수취하여, MPEG 픽쳐와의 상관화를 행한다. 즉, 스플라이서/트랜스코더(21)로서는, 큐 정보에 기초하여 편집 프레임의 검출을 하고, 재부호화시에 이용하는 코덱 정보를 선택한다. 코덱 정보는 이동 벡터, 픽쳐 타입, 양자화 스텝사이즈, 양자화 스케일 등의 정보이다.

타임 코드와 MPEG 픽쳐와의 상관화를 위하여, 예를 들면 입력 스트림 중에, 임의 소재의 PTS(Presentation Time Stamp; 재생 출력의 시각 관리 정보)와 타임 코드와 관련 부여를 행하기 위한, PTS와 타임 코드간의 관계를 나타내는 대조 테이블을 삽입한다. 이러한 대조 테이블을 전송하는 방법은, 여러가지가 가능하다. 예를 들면, 섹션 형식의 독립 패킷으로 테이블을 전송한다. 또한, 스트림 신택스상의 익스텐션 등의 유저 에리어에 테이블을 얹을 수 있다.

또한, MPEG 픽쳐와 상관화된 타임 코드 자신을 스트림중에 삽입하여 전송하여도 좋다. 그 경우에는 대조 테이블이 불필요하다. 또한, 전송하는 시간 정보는 타임 코드에 한정되지 않는다. 편집기간 동안 충분한 시간 지정이 가능한 범위에서 타임 코드와 1 대 1에 대응하는 픽쳐용 인덱스를 전송하여도 좋다. 또한, MPEG 스 트림상의 신택스(부호화 데이터열의 규칙)인 PTS, 픽쳐 타입, GOP, 풀다운 또는 필드 플립에 따른 리피트 제1필드 등의 정보를 사용함으로써, 타임 코드에 의한 큐 정보와 상관화를 행하는 것이 가능하다.

도 4는 본 발명을 방송 시스템에 적용했을 경우의 개략적 구성을 나타낸다. 31에서 나타내는 본국과, 복수의 지방국(32a, 32b, 32c, 32d,…)이 전송 네트워크(33)를 통하여 결합되어 있다. 전송 네트워크를 통하여 MPEG 비트 스트림이 전송된다. MPEG 비트 스트림에 의해 다채널을 다중화하고 전송할 수 있다. 본국(31)에는 통신 또는 방송 위성(34)으로부터의 전파를 수신하는 안테나(35)가 설치되어 있다. 안테나(35)로 수신된 프로그램 소재, 마이크로파 회선(36)을 통하여 현장에서 보내져 온 라이브 소재, 국내의 어카이버/서버(41)로부터의 프로그램 소재 및 CM 소재가 스플라이서/트랜스코더(42)에 MPEG 스트림의 형태로 입력된다.

스플라이서/트랜스코더(42)는, 상술한 바와 같이, 베이스 밴드 에디터 및 스위쳐(43) 사이에 베이스 밴드 인터페이스를 갖는다. 스플라이서/트랜스코더(42)는, 입력되는 프로그램 소재를 스위칭하여, 방송 프로(MPEG 비트 스트림)를 작성한다. 이 방송 프로가 본국(31)으로부터 네트워크(33)를 통하여 지방국(32a, 32b, …)에 대하여 신호 전송된다.

지방국(32a)은, 본국(31)으로부터 수취한 MPEG 스트림과, CM (커머셜)서버(46a)로부터의 CM 소재가 스플라이서/트랜스코더(44a)에 대하여 입력된다. 스플라이서/트랜스코더(44a)와 CM 삽입 스케쥴러(45a) 사이는, 베이스 밴드 인터페이스에 의해 결합되어 있다. CM 서버(46a)에는, 지방국(32a)에서 CM 소재가 축적되어 있다. CM 삽입 스케쥴러(45a)는, 본국(31)에서 보내어져 온 프로그램 비트 스트림 중의 CM을 지방국(32a)에 특유한 로컬 CM으로 바꾼다. 트랜스코더에 의해서, 거의 열화없이 CM을 바꿀 수 있다. 다른 지방국(32b, 32c, …)에서도 마찬가지로 CM을 바꿀 수가 있다.

CM의 바꿈에 한정되지 않고 본국(31), 지방국(32a, 32b, …)에 있어서, 방송국 로고를 프로그램 비트 스트림 중에 삽입하는 작업을 할 수 있다. 또한, 지상파 방송에 한정되지 않고, CATV에서의 케이블 오퍼레이터와 헤드 엔드국 사이의 관계에 대하여도 본 발명을 마찬가지로 적용할 수 있다.

스플라이서/트랜스코더(21)의 일례 및 다른 예를 도 5 및 도 7에 각각 나타낸다. 도 5에 나타내는 예는, 입력되는 MPEG 비트 스트림의 모두를 트랜스 코딩한다. 도 7에 나타내는 예는, 입력되는 MPEG 비트 스트림을 부분적으로 트랜스코더한 후, 스트림 스위칭(스플라이스)을 행하는 것이다.

도 5의 스플라이서/트랜스코더의 일례에 관해서 설명한다. 어카이버/서버의 출력, 위성에서의 수신 신호, 마이크로파 회선을 통하여 도래한 신호 등의 MPEG 비트 스트림(TS1)이 입력된다. 이 스트림(TS1)은, 복수 프로그램(프로그램 소재)가 다중화된 스트림이다. 적어도 2이상의 프로그램이 다중화되어 있다. 트랜스 포트 t스트림(TS)에 한정되지 않고 시간 다중된 엘리먼터리 스트림(ES)이어도 좋다. 단, ES의 경우는, 식별용 태그나 현재 입력하고 있는 스트림이 어떤 스트림인지를 식별하기 위한 입력 정보가 필요하게 된다.

(51)은, 편집 대상인 두 개의 프로그램의 패킷을 인출하기 위한 필터이다. 트랜스포트 스트림(TS)이면, PID(패킷 ID)에 의해서, 목적으로 하는 프로그램을 추출할 수 있다. 엘리먼터리 스트림(ES)의 경우에서는 상술한 바와 같이, 식별 태그 등의 정보가 필요하다.

필터(51)에 의해서 추출한 두 개의 스트림(A 및 B)을 MPEG 디코더(52a, 52b)에 의해서 각각 복호한다. MPEG 디코더(52a)에 의해서, 프로그램 A의 베이스 밴드 비디오/오디오 데이터(Sa)가 얻어지고, MPEG 디코더(52b)에 의해서, 프로그램 B의 베이스 밴드 비디오/오디오 데이터(Sb)가 얻어진다. 이러한 베이스 밴드 데이터(Sa 및 Sb)가 외부 에디터 및 스위쳐(22)로 출력된다.

베이스 밴드 에디터 및 스위쳐(22)로부터는, 편집된 결과인 복귀한 베이스 밴드 비디오/오디오 데이터(Sc)가 입력된다. 이 베이스 밴드데이터(Sc)가 MPEG 리인코더(53)에 공급된다. 리인코더(53)는, 베이스 밴드데이터(Sc)의 비디오 프레임에 대응한 MPEG 재부호화용 코덱 정보를 경로(54)를 통하여 정보 버퍼(55)로부터 수취한다. 이 재부호화용의 코덱 정보에 기초하여, 요구한 목표 비트량에 데이터(Sc)를 MPEG 스트림(TS2)으로 재부호화한다. 그리고, 리인코더(53)로부터는, 입력 스트림(A), 스트림(B)의 AB 롤 편집 결과의 스트림(TS2)이 출력된다. 재부호화용 코덱 정보란, 이동 벡터, 픽쳐 타입, 양자화 스텝 사이즈, 양자화 레벨 등이다. 트랜스 코딩에 의해 복호-부호화 체인에 의한 화질 열화가 억제된다.

이상이 본 설계에서, 에디터 및 스위쳐(22) 사이에 존재하는 편집 스트림용 인터페이스는 베이스 밴드데이터(Sa, Sb, Sc)뿐이며, 베이스 밴드 데이터에 대하여 코덱 정보를 중첩할 필요가 없다. 또, 도 5 및 도 7에 있어서도, 에디터 및 스위쳐(22)로부터의 요구에 따라 타임 코드를 스플라이서/트랜스코더(21)로 전송하는 전송로는 생략되어 있다.

정보 버퍼(55)에는, MPEG 디코더(52a 및 52b)의 각각에서 복호에 사용된 코덱 정보가 입력된다. 정보 버퍼(55)에는, 라이트 컨트롤러(56)로부터의 라이트 어드레스(WAD) 및 라이트 인에이블(WE)이 공급된다. 또한, 리드 컨트롤러(57)로부터의 리드 어드레스(RAD)가 정보 버퍼(55)에 공급된다. 정보 버퍼(55)에서 리인코더(53)에 대하여는, 스트림(c)의 편집점과 동기하여, 재부호화용 코덱 정보가 공급되는 것이 필요하다. 예를 들면 비디오 데이터(Sa)에 대하여 편집점(인점(in point))에 비디오 데이터 (Sb)가 접속된 비디오 데이터(Sc)가 되돌아 올 때는, 비디오 데이터(Sa)의 재부호화용 코덱 정보로부터 비디오 데이터(Sb)의 재부호화용 코덱 정보로의 전환이 이루어진다. 정보 버퍼(55)의 용량은, 에디터 및 스위쳐(22)의 시스템 지연(수 프레임 시간)에 대응된 것으로 충분하다.

스플라이서/트랜스코더(21)가 출력한 비디오 데이터(Sa, Sb)와 베이스 밴드 에디터 및 스위쳐(22)로부터 복귀된 비디오 데이터(Sc) 사이의 위상은, 관리 테이블(62)에 의해서 관리된다. 이 때문에, 라이트 컨트롤러(56) 및 리드 컨트롤러(57)가 관리 테이블(62)과 접속되고, 관리 테이블(62)이 입력 스트림의 픽쳐 카운트값과 복귀한 비디오 데이터(Sc)의 프레임 카운트값을 이용하여, 정보 버퍼(55)의 라이트/리드를 제어한다. 프레임 카운터(58)가 비디오 데이터(Sc)의 프레임수를 카운트하고, 카운트값을 어드레스로 하여 관리 테이블(62)로 판독하여 요구(REQ)를 제공한다. 관리 테이블(62)은, 링 버퍼의 구성이 되어, 입력 정보를 인 크리멘트하는 어드레스에 순차 기록, 판독 요구(REQ)에 따라 리드 포인터를 인크리멘트하도록 되어 있다. 리드 포인터가 지시하는 어드레스의 재부호화 정보가 정보 버퍼(55)로부터 판독되어, 경로(54)를 통하여 MPEG 리인코더(53)로 보내어진다. 관리 테이블(62)과 관련하여 관리 정보 생성부(61)가 설치된다. 관리 정보 생성부(61)에 대하여 큐정보가 입력된다. 관리 정보 생성부(61)에 대해서는 후술한다.

에디터 및 스위쳐(22), 또는 컨트롤 마스터로부터, 프로그램의 편집의 큐정보가 스플라이서/트랜스코더의 관리 정보 생성부(61)에 공급된다. 큐정보는 통상 타임 코드로 지정된 편집 위치 정보이다. 보다 구체적으로는, 인점/아웃점의 정보가 큐정보에 포함된다. 큐 정보에 기초하여, 편집 프레임의 검출을 행동, 베이스 밴드 데이터(Sc)와 동기하여 코덱 정보를 이용하도록 코덱 정보가 선택된다. 리드 컨트롤러(57)에 의해 소정의 코덱 정보가 판독될 때에는, 이 코덱 정보를 사용 가능한 것을 나타내는 인에이블 신호가 리드 컨트롤러(57)에서 인코더(53)에 공급된다.

또한, 리인코더(53)는, 비트량 견적기(59)와 접속되어, VBV 버퍼의 처리가 이루어진다. 즉, 재부호화에 의해 얻어진 MPEG 비트 스트림(TS2)을 복호하는 쪽의 버퍼가 오버 플로우 또는 언더 플로우되지 않도록 적절한 부호화가 이루어진다. 이 제어를 위하여, 관리 테이블(62)의 해당되는 인덱스 슬롯에 기록되어 있다. 편집점 부근의 목표 비트량(비트 발생량의 배당, 웨이티드 정보)가 비트량 견적기(53)에 공급된다. 재부호화에 따라, 기본적으로 목표 발생 비트량이 만족된다. 통상의 부호화의 제어에서 이루어지는 것은, 설정된 목표 비트량에 대하여, 리인코더(53)의 발생 비트량이 부족할 때에는, 더미 데이터가 부가된다. 또한, 발생 피트량이 목표 비트량을 초과할 때, 즉 디코더측에서 언더 플로우가 일어날 듯한 경우, 스키핑(skipping) 매크로 블록으로 하거나 예측 잔차(예측화 매크로 블럭 MB의 차이)를 0로 하는 등의 처리이다. 이 처리로도 대응할 수 없어 언더플로우되어 버릴 때는, 디코더측의 처리 방법에 의존하여 재생 화상에 대한 영향이 발생한다. 통상은, 버퍼에 데이터가 저장될 때까지 웨이트가 걸리고, 그 결과로서 재생 화상이 프리즈된다.

도 6은, 관리 정보 생성부(61)의 보다 상세한 구성을 나타낸다. 편집 위치 정보로서의 큐 정보는, 인터프리터(71)로 공급되어, 적절하게 번역된다. 인터프리터(71)에서 추출된 정보가 맵핑기(72)로 공급된다. 맵핑기(72)는, 타임 코드로 표현된 큐정보를, 필터(51)에서 추출된 입력 스트림(73)의 타임 스탬프(PTS:재생 출력의 시각 관리 정보)의 스케일에 맵핑한다.

입력 스트림(73)에서 픽쳐 카운터(74)가 픽쳐 헤더를 검출하여, 픽쳐의 수를 센다. 픽쳐 카운터(74)로 세어진 픽쳐의 수가 픽쳐/프레임 인덱스 생성기(75)에 공급된다. 픽쳐/프레임 인덱스 생성기(75)는, 픽쳐 및 정보의 관리 테이블(62)의 정리를 위하여, 픽쳐에 대응한 인덱스를 발생한다. 관리 테이블(62)은, 이 인덱스로 테이블을 정리하고, 프레임 카운터(58)로부터의 비디오 데이터(Sc)의 프레임의 수의 카운트값을 어드레스로 하여 관리 정보를 출력한다.

타임 스탬프 리더(76)는, 입력 스트림(73)으로부터 타임 스탬프(PTS)를 읽는다. 이 타임 스탬프(PTS)와, 맵핑기(72)의 출력이 리인코딩 스트라테지 플레너(re-encoding strategy planner:77)에 공급된다. 맵핑기(72)의 출력은, 비디오 프레임에 대한 편집점을 나타내는 타임 코드가 타임 스탬프의 스케일에 맞추어 맵핑한 결과이다. 따라서, 리인코딩 스트라테지 플레너(77)는, 편집점과 입력 스트림(73)의 픽쳐와의 상관화를 행한다. 리인코딩 스트라테지 플레너(77)의 출력이 인덱스가 나타내는 관리 테이블(62)의 어드레스에 대하여 기록된다.

78은, 입력 스트림(73)의 발생 비트량을 카운트하고, 카운트 결과를 VBV 버퍼 시뮬레이터(79)에 공급하여, VBV 버퍼의 시뮬레이션을 행한다. VBV 버퍼는, 인코더가 부호화시에 상정하고 있는 디코더측의 버퍼의 용량이며, VBV 버퍼의 시뮬레이션에 의해 데이터측 버퍼의 언더 플로우 또는 오버 플로우를 방지할 수 있다. VBV 버퍼 시뮬레이터(79)의 결과가 리인코딩 스트라테지 플레너(77)로 보내어져, 재부호화를 위한 편집점 부근의 비트 발생량의 배당, 웨이티드를 행하고, 이것도 관리 테이블(62)의 해당하는 인덱스 슬롯에 기록한다.

도 7은, 스플라이서/트랜스코더(21)의 다른 예이다. 다른 예는, 실제로 편집에 의해서 영향을 받는 부분을 포함하는 필요 최소한의 기간에서만 트랜스 코딩을 하여 트랜스 코딩 후의 스트림과 입력 스트림과의 스위칭을 행하는 것이다. 다른 예는, 트랜스 코딩에 의해서도 피할 수 없는 화질 열화를 최소한으로 억제할 수 있다.

도 5에 나타내어 상술한 스플라이서/트랜스코더(21)의 일례와 서로 다른 점은 필터(51)로부터의 입력 스트림(73)을 픽쳐 버퍼(63)에 비축하고, 스위칭 회로(66)에 의해 리인코더(53)로부터의 스트림과 픽쳐 버퍼(63)로부터의 스트림을 전환하는 것이다.

픽쳐 버퍼(63)의 라이트를 제어하기 위한 라이트 컨트롤러(64) 및 그 리드를 제어하기 위한 리드 컨트롤러(65)가 설치된다. 라이트 컨트롤러(64) 및 리드 컨트롤러(65)는, 관리 테이블(62)에 의해 제어된다. 상술한 코덱 정보를 정보 버퍼(55)에 기록하고, 또한, 정보 버퍼(55)로부터 재부호화에 이용하는 코덱 정보를 판독하기 위한 제어와 같은 제어가 픽쳐 버퍼(63)에 대하여도 적용된다.

예를 들면 비디오 데이터(Sa)에서 (Sb)로 전환하는 비디오 데이터(Sc)의 경우에는, 스위칭 회로(66)는 편집점 전후의 트랜스 코딩이 실시되는 기간보다 전까지는, 픽쳐 버퍼(63)에서 데이터(Sa)에 대응하는 스트림을 선택하여, 이 기간 동안은 리인코더(53)로부터의 스트림을 선택하고, 기간 뒤에는, 픽쳐 버퍼(63)로부터의 데이터(Sb)에 대응하는 스트림을 선택한다. 스위칭 회로(66)의 선택 동작은, 리드 컨트롤러(65)로부터의 제어신호(67)에 의해 제어된다. 픽쳐 버퍼(63)의 용량은, 에디터 및 스위쳐(22)의 시스템 지연(수 프레임 시간) +부호화 지연(수 픽쳐)에 상당하는 것으로 충분하여 픽쳐 버퍼(63)가 회로 구성상 부담이 되지 않는다.

이어서, 본 발명의 다른 실시 형태에 관해서 설명한다. 편집 시스템의 개요는 상술한 한 실시 형태와 같은 구성(도 1, 도 2 및 도 3 참조)이다. 또한 한 실시 형태와 같이 방송 시스템에 대해서도 적용할 수 있다(도 4 참조). 상술한 본 발명의 한 실시 형태는, 오리지널 소재의 스트림을 복호하고, 그 때의 코덱 정보를 보존하고, 편집기에 대해서는 복호한 결과 베이스 밴드 신호만을 전송하고, 편집기는 베이스 밴드 신호의 편집을 하며, 편집 결과 베이스 밴드 신호와 보존하고 있던 코덱 정보와의 시간(위상)관계를 큐 정보에 기초하여 합치고, 편집 결과 베이스 밴드 신호를 재부호화하여 스트림으로서 출력하는 구성이다. 이러한 한 실시 형태에 따르면, 스트림 전송에 의해 축적 수단의 기억 매체의 용량을 절감할 수 있음과 동시에 전송 매체를 유효하게 이용할 수 있으며, 트랜스 코딩에 의해서 화질의 열화를 최소한으로 억제할 수 있고, 나아가 편집기로서 기존 베이스 밴드 편집기를 거의 가공하지 않고 활용할 수 있다.

상술한 한 실시 형태에서는, 베이스 밴드 신호를 취급하는 기존의 편집기는 타임 코드에 의해서 편집 위치를 나타내기 때문에, 편집 위치 정보를 스트림상에 맵핑하기 위하여 편집 위치 정보를 번역할 필요가 있었다. 또한, 편집 위치 정보는, 프레임 또는 필드 단위의 편집 위치 정보와, 와이프(wipe) 등의 스위쳐의 기능을 사용할 때는, 그 지속 기간이 포함되는 정도이며, 프레임(스트림상에서는 픽쳐)내의 스위칭의 전이 상태를 알 수 없었다. 그 때문에, 재부호화에 사용할 수 있는 코덱 정보를 프레임내에서 치밀하게 구별지어 쓸 수 없었다.

본 발명의 다른 실시 형태는, 이러한 문제점을 해결할 수 있다. 즉, 다른 실시 형태는, 편집 위치 정보를 수취하지 않더라도, 편집기에 대하여 출력한 제1 및 제2 베이스 밴드 신호와, 편집기로부터 복귀한 제3 베이스 밴드 신호를 위상을 맞춘 상태에서 비교함으로써 편집 위치를 검출할 수 있다. 따라서, 편집기와의 사이에서, 편집 위치 정보를 전송하는 선을 생략할 수 있으며, 편집 위치 정보를 스트림의 시간축으로 번역할 필요가 없다.

또한, 재부호화를 위한 코덱 정보의 이용 여부를 픽쳐 단위 뿐만 아니라, 블록 단위로 판별할 수 있다. 따라서, 편집점의 픽쳐가 두개의 오리지널 소재가 혼재하는 것이더라도 재부호화에 의한 화질의 열화를 억제할 수 있다.

따라서, 다른 실시 형태로서는, 도 1, 도 2 및 도 3의 구성에 있어서, 스플라이서/트랜스코더(21)는, 출력한 베이스 밴드 신호(Sa,Sb)와, 복귀 베이스 밴드 신호(Sc)를 비교한다. 이 비교 결과에 기초하여 편집 위치의 검출을 행하여, 재부호화시에 이용하는 코덱 정보를 선택한다. 편집 위치의 정보로서, 프레임(픽쳐)단위의 편집 위치와, 픽쳐내의 보다 미세한 단위의 편집 상황이 얻어진다. 코덱 정보는 이동 벡터, 픽쳐 타입, 양자화 스텝 사이즈, 양자화 스케일 등의 정보이다. 편집 위치의 검출을 위하여, 오리지널 소재를 비축하여 두는 픽쳐 버퍼가 필요하게 된다. 트랜스 코딩을 위하여, 코덱 정보를 비축하여 두는 정보 버퍼가 필요하게 된다. 이러한 픽쳐 버퍼 및 정보 버퍼는, 에디터 및 스위쳐(22)에서 발생하는 시스템 지연에 대응한 시간(수 프레임 정도), 베이스 밴드 신호 및 코덱 정보를 지연시키는 정도의 용량이며, 그다지 용량이 큰 것은 필요로 하지 않는다.

본 발명의 다른 실시 형태에서의 스플라이서/트랜스코더(21)의 일례를 도 8에 나타낸다. 도 8에 나타내는 예는, 입력되는 MPEG 비트 스트림의 모두를 트랜스 코딩한다. 단, 입력되는 MPEG 비트 스트림을 부분적으로 트랜스 코딩한 후, 스트림 스위칭(스플라이스)을 행하도록 하여도 좋다. 즉, 편집점의 전후를 포함하는 소정 기간만으로, 베이스 밴드 신호(Sc)를 트랜스 코딩한 스트림을 선택하고, 소정 기간 이외에는, 입력 스트림을 선택하도록 스트림을 선택하는 스위칭 수단이 마련된다. 부분적인 트랜스 코딩를 행하는 예로서는, 복호-부호화의 체인이 일부이기 때문에, 트랜스 코딩만으로도 피할 수 없는 복호-부호화 체인에 의한 화질의 열화를 최소한 으로 할 수 있다.

도 8를 참조하여 스플라이서/트랜스코더의 일례에 관해서 설명한다. 어카이버/서버의 출력, 위성에서의 수신 신호, 마이크로파 회선을 통해 도래한 신호 등의 MPEG 비트 스트림(TS1)이 입력된다. 이 스트림(TS1)은, 복수 프로그램(프로그램 소재)이 다중화된 스트림이다. 적어도 2이상의 프로그램이 다중화되어 있다. 트랜스 포트 스트림(TS)에 한정되지 않고, 시간 다중된 엘리먼터리 스트림(ES)이어도 좋다. 단, ES의 경우는, 식별용 태그 또는 현재 입력하고 있는 스트림이 어떤 스트림인지를 식별하기 위한 입력 정보가 필요하게 된다.

251은, 편집 대상인 두 개의 프로그램(오리지널 소재) A 및 B의 패킷을 인출하기 위한 필터이다. 트랜스 포트 스트림(TS)이면, PID(패킷 ID)에 의해 목적으로 하는 프로그램을 추출할 수 있다. 엘리먼터리 스트림(ES)의 경우에서는, 상술한 바와 같이, 식별 태그 등의 정보가 필요하다. 필터(251)의 출력에는 선택된 두 개의프로그램 A 및 B가 다중화된 스트림(268)이 얻어진다.

필터(251)에 의해서 추출한 두 개의 프로그램 A 및 B를 MPEG 디코더(252a, 252b)에 의해서 각각 복호한다. MPEG 디코더(252a)에 의해 프로그램 A 베이스 밴드 비디오/오디오 데이터(Sa)가 얻어지고, MPEG 디코더(252b)에 의해 프로그램 B 베이스 밴드 비디오/오디오 데이터(Sb)가 얻어진다. 이들 베이스 밴드 비디오(Sa 및 Sb)가 외부 에디터 및 스위쳐(22)에 출력된다. 이와 함께, 베이스 밴드 데이터 (Sa 및 Sb)가 픽쳐 버퍼(263)에 기억된다. 픽쳐 버퍼(263)의 라이트를 제어하기 위한 라이트 컨트롤러(264)및 그 리드를 제어하기 위한 리드 컨트롤러(265)가 마련된다. 픽쳐 버퍼(263)에는, 라이트 컨트롤러(264)로부터의 라이트 어드레스(WAD) 및 라이트 인에이블(WE)이 공급된다. 또한, 리드 컨트롤러(265)로부터의 리드 어드레스(RAD)가 픽쳐 버퍼(263)에 공급된다.

정보 버퍼(255)에는, MPEG 디코더(252a 및 252b)의 각각이 복호에 사용된 코덱 정보가 입력된다. 정보 버퍼(255)에는, 라이트 컨트롤러(256)로부터의 라이트어드레스(WAD) 및 라이트 인에이블(WE)이 공급된다. 또한, 리드 컨트롤러(257)로부터의 리드어드레스(RAD)가 정보 버퍼(255)에 공급된다. 정보 버퍼(255)에서 리인코더(253)에 대하여는, 스트림(Sc)의 편집점과 동기하여, 재부호화용 코덱 정보가 공급되는 것이 필요한다. 예를 들면 비디오 데이터(Sa)에 대하여 편집점(인점)에 비디오 데이터(Sb)가 접속된 비디오 데이터(Sc)가 되돌아올 때에는, 비디오 데이터(Sa)의 재부호화용 코덱 정보로부터 비디오 데이터(Sb)의 재부호화용 코덱 정보로의 전환이 이루어진다.

상술한 바와 같이, 정보 버퍼(255) 및 픽쳐 버퍼(263)의 용량은, 에디터 및 스위쳐(22)의 시스템 지연(수 프레임 시간) 에 대응한 것이면 충분하여, 정보 버퍼(255) 및 픽쳐 버퍼(263)가 회로 구성상 부담이 되지 않는다.

베이스 밴드 에디터 및 스위쳐(22)로부터는, 편집된 결과인 복귀 베이스 밴드 비디오/오디오 데이터(Sc)가 입력된다. 이 베이스 밴드데이터(Sc)가 MPEG 리인코더(253)에 공급된다. 리인코더(253)는, 베이스 밴드 데이터(Sc)의 비디오 프레임에 대응한 MPEG 재부호화용 코덱 정보를 경로(254)를 통하여 정보 버퍼(255)로부터 수취한다. 이 재부호화용 코덱 정보에 기초하여, 요구한 목표 비트량에 데이터(Sc)를 MPEG 스트림(TS2)로 재부호화한다. 그리고, 리인코더(253)로부터는 입력 스트림 A, 스트림 B의 AB 롤 편집 결과의 스트림(TS2)이 출력된다. 재부호화용 코덱 정보란, 이동 벡터, 픽쳐 타입, 양자화 스텝 사이즈, 양자화 스케일 등이다. 트랜스 코딩에 의해 복호-부호화 체인에 의한 화질 열화가 억제된다.

베이스 밴드 데이터(Sc)와 동기하여 코덱 정보를 이용하도록, 코덱 정보가 선택된다. 리드 컨트롤러(257)에 의해 소정의 코덱 정보가 판독될 때는, 이 코덱 정보가 사용 가능하다는 것을 나타내는 인에이블 신호가 리드 컨트롤러(257)에서 인코더(253)에 공급된다.

입력 스트림(268)과, 그 복호 결과인 베이스 밴드 신호(Sa, Sb)가 시간적으로 1 대 1로 대응된다. MPEG 디코더(252a 및 252b)의 각각에 복호로 사용된 코덱 정보를 정보 버퍼(255)에 보존할 때에는, 시간적으로 1 대 1의 대응을 취하기 위한 정리 태그와 관련지어 코덱 정보가 보존된다. 이와 같이, 코덱 정보를 보존하기 위하여, 그리고, 스플라이서/트랜스코더(21)가 출력한 비디오 데이터(Sa, Sb)와 베이스 밴드 에디터 및 스위쳐(22)로부터 되돌아 온 비디오 데이터(Sc) 사이의 위상을 관리하기 위하여 관리 테이블(261)이 설치된다. 정보 버퍼(255) 및 픽쳐 버퍼(263)의 각각의 라이트 및 리드를 제어하는 라이트 컨트롤러(256 및 264)와, 리드 컨트롤러(257 및 265)가 관리 테이블(261)과 접속된다.

관리 테이블(261)이 입력 스트림의 픽쳐 카운트값과 복귀한 비디오 데이터(Sc)의 프레임 카운트값을 이용하여, 정보 버퍼(255) 및 픽쳐 버퍼(263)의 라이트/리드를 제어한다. 프레임 카운터(258)가 비디오 데이터(Sc)의 프레임수를 카 운트하여, 카운트값을 어드레스로서 관리 테이블(261)에 판독하여 요구(REQ)를 부여한다. 입력 스트림(268)으로부터 픽쳐 카운터(271)가 픽쳐 헤더를 검출하여, 픽쳐의 수를 센다. 픽쳐 카운터(215)로 세여진 픽쳐의 수가 픽쳐/프레임 인덱스 생성기(272)에 공급된다. 픽쳐/프레임 인덱스 생성기(272)는, 픽쳐 및 정보의 관리 테이블(261)의 정리를 위하여 픽쳐에 대응한 인덱스를 발생한다.

관리 테이블(261)은, 이 인덱스로 테이블을 정리하여, 프레임 카운터(258)로부터의 비디오 데이터(Sc)의 프레임 수의 카운트값을 어드레스로 하여 관리 정보를 출력한다. 관리 테이블(261)은, 링버퍼의 구성이 되어, 입력 정보를 인크리멘트하는 어드레스에 순차 기록, 판독 요구(REQ)에 따라 리드 포인터를 인크리멘트하게 된다.

리드 포인터가 지시하는 어드레스의 재부호화 정보가 정보 버퍼(255)로부터 판독되고, 경로(254)를 통해 MPEG 리인코더(253)에 보내진다. 픽쳐 버퍼도 정보 버퍼(255)와 마찬가지로 제어된다.

또한, 리인코더(253)는, 비트량 견적기(259)와 접속되어, VBV 버퍼의 처리가 이루어진다. 즉, 재부호화에 의해 얻어진 MPEG 비트 스트림(TS2)을 복호하는 측의 버퍼가 오버 플로우 또는 언더 플로우되지 않도록, 적절한 부호화가 이루어진다. 재부호화에 의해 기본적으로 목표 발생 비트량이 만족된다. 통상의 부호화 제어에서 이루어지는 것은, 설정된 목표 비트량에 대하여, 리인코더(253)의 발생 피트량이 부족할 때는, 더미 데이터가 부가된다. 또한, 발생 피트량이 목표 비트량을 초과하는 시간, 즉, 디코더측에서 언더 플로우가 일어나지 않는 경우, 스키핑 매크로 블럭으로 하거나, 예측 잔차(residual)(예측화 매크로 블록MB의 차이)를 0으로 하는 등의 처리이다. 이 처리로도 대응되지 않고, 언더플로우되어 버릴 때는 디코더측의 처리 방법에 의존하여 재생 화상에 대한 영향이 발생한다. 통상은, 버퍼에 데이터가 쌓일 때까지 웨이트가 걸리고, 그 결과로서 재생 화상이 프리즈된다.

273은, 입력 스트림(268)의 발생 피트량을 카운트하여, 카운트 결과를 VBV 버퍼 시뮬레이터(274)에 공급하여, VBV 버퍼의 시뮬레이션을 행한다. VBV 버퍼 시뮬레이터(274)의 결과가 리인코딩 스트라테지 플레너(275)로 보내어져, 재부호화를 위한 편집점 부근의 비트 발생량의 할당, 웨이티드를 행하고, 이것도 관리 테이블(261)의 해당하는 인덱스 슬롯에 입력된다. 그리고, 관리 테이블(261)이 해당하는 인덱스 슬롯에 기록되어 있는 편집점 부근 목표 비트량(비트 발생량의 할당, 웨이티드 정보)이 비트량 견적기(253)에 공급되고, 리인코더(253)의 재부호화에 의해 발생하는 비트량이 적절해지도록 제어된다.

도 8에 나타내는 스플라이서/트랜스코더는, 편집기로부터의 편집 위치 정보없이 편집점을 검출하여, 베이스 밴드 신호(Sc)의 편집 상황을 얻는 것이 가능해진다. 이 목적을 위하여 비교부(270)가 마련된다. 비교부(270)에는, 픽쳐 버퍼(263)로부터의 오리지널의 두개의 베이스 밴드 신호(Sa,Sb)와, 복귀된 베이스 밴드 신호(Sc)가 공급된다. 또한, 정보 버퍼(255)로부터 GOP 헤더, 픽쳐 헤더, 매크로 블럭 타입, 이동 벡터 등의 부가적 정보가 비교부(270)에 공급된다. 비교부(270)에서는, 에디터 및 스위쳐(22)에 출력한 신호(Sa, Sb)와, 복귀된 신호(Sc)와의 일치 검출에 기초하여 편집점을 검출한다. 이와 동시에, 재부호화를 위하여 코덱 정보를 이용하는 것이 가능한지 여부를 픽쳐 단위 및 매크로 블록 단위로 판별한다.

도 9는, 본 발명의 다른 실시 형태의 설명에 이용하는 베이스 밴드 신호(Sa (픽쳐 PicA라 함), 베이스 밴드 신호(Sb,픽쳐 PicB라 함)를 편집한 결과인 베이스 밴드 신호(Sc,픽쳐 PicC라 함)의 일례를 나타낸다. 베이스 밴드 신호(Sa 및 Sc)의 각각의 픽쳐 단위 및 매크로 블럭 단위로 코덱 정보가 보존된다. 도 9의 예에서는, 편집점으로서, 픽쳐(PicA)에서 픽쳐(PicB)로 단순히 스위칭되는 것은 아니라, 와이프, 크로스 페이드(cross fade) 등의 처리가 두 가지 픽쳐에 대하여 이루어지고 있다. 즉, 픽쳐(PicC)에서는, 편집점 전까지의 각 프레임은, 픽쳐(P1cA)의 프레임과 일치된 것이며, 편집점의 프레임이 PicA 및 B의 양자를 처리한 것으로, 편집점보다 뒤의 각 프레임은, 픽쳐(PicB)의 프레임과 일치하는 것이다. 베이스 밴드 신호(Sa 및 Sb)의 각각의 픽쳐마다 및 거시적 블럭마다 코덱 정보가 보존된다.

비교부(270)는, 시간적으로 위상이 합쳐진 픽쳐(P1cA와 PicC)의 일치 검출, 및 픽쳐(PicB와 PicC)의 일치 검출을 한다. 이 두 가지 비교의 적어도 한쪽에서 불일치가 검출될 때는, 편집점의 프레임으로 검출한다. 각 픽쳐의 동일 위치의 화소끼리의 차가 0이면 일치, 0 이외이면 불일치로, 2매의 픽쳐의 일치/불일치가 결정된다. 예를 들면 시간적으로 위상을 합한 상태에서, 두개 픽쳐의 각 화소를 차례대로 감산 회로에 입력하여, 차가 0이 아닌 화소가 발생했다면 불일치라 결정한다. 이 경우, 차가 10이 아닌 화소가 소정수에 도달했다면, 불일치라 결정하도록 하여도 좋다.

이러한 편집점의 검출에 맞춰, 리인코더(253)에서의 재부호화에 사용하는 코덱 정보가 선택된다. 스위칭의 예와 같이, 픽쳐(프레임)단위로 화상이 전환되는 경우에는 그것을 재이용하는 코덱 정보도, 그것과 합하여 픽쳐 단위로 선택된다. 그러나, 도 9에 나타내는 바와 같이, 편집점의 픽쳐에 두개의 픽쳐를 혼재하는 경우에는, 코덱 정보를 픽쳐 단위로 선택하는 처리는, 재부호화에 의한 화질의 열화를 방지하기 위해서는 불충분하다.

따라서, 본 발명의 다른 실시 형태에서는, 코덱 정보의 재이용(재부호화를 위한 이용을 의미한다)의 판정을 거시적 블럭 단위로 행하는 것을 가능하게 한다. 이하, 매크로 블록 단위의 코덱 정보의 재이용을 가능하게 하기 위한 평가, 판정 처리에 관해서 설명한다. 이 처리는, 비교부(270)에서 이루어진다.

도 10에 도시하는 바와 같이, 픽쳐 PicA(또는 PicB) 에 포함되는 매크로 블록(MBA 또는 MBB이라 함)와, 픽쳐(PicC)에 포함되어, 공간적으로 거시적 블럭(MBA/MBB)과 동일한 위치의 매크로 블록(MBC이라 함)이 비교된다. 예를 들면 매크로 블록은, (16×16)의 크기이다. 매크로 블록의 일치/불일치의 검출은, 픽쳐의 경우와 마찬가지로 이루어진다.

도 11은, 코덱 정보의 재이용 여부를 판별하기 위한 처리를 나타내는 플로우 차트. 에디터 및 스위쳐로 편집 후의 비디오 신호(Sc,픽쳐 PicC)가 도래하면 처리가 개시된다. 최초의 스텝(S1)에서, 픽쳐 버퍼(263)로부터 오리지널 픽쳐 (A 및 B)가 판독된다.

비교의 스텝(S2)으로서는, 픽쳐(A 및 C)가 비교된다. 픽쳐(A 및 C)가 불일치인 경우로서는, 비교 스텝(S3)에서 픽쳐(B 및 C)가 비교된다. 픽쳐(B 및 C)가 불일치인 경우로서는, 비교 스텝(S4)에서, 매크로 블록(MBA 및 MBC)이 비교된다. 매크로 블록(MBA 및 MBC)이 불일치인 경우에는, 비교 스텝(S5)에서 매크로 블록(MBA 및 MBC)이 비교된다. 상술한 바와 같이, 각 픽쳐내에서 공간적으로 동일위치의 두 가지 거시적 블럭이 비교된다.

스텝(S2)에서, PicA= PicC가 만족되는 경우에는, 픽쳐(A)를 복호하는데 사용한 코덱 정보를 재이용하여, 픽쳐(C)의 재부호화가 이루어진다. MPEG의 경우에는 픽쳐 타입이 3종류 있다. 즉, 프레임내 부호화 화상인 I(Intra) 픽쳐와, 프레임간 전방향 예측 부호화 화상인 P(Predictive)픽쳐와, 양방향 예측 화상인 B(Bidirectiona11y predictive)픽쳐가 있다. 이러한 픽쳐 타입에 따라 재이용 조건이 다르기 때문에, 픽쳐 서브 루틴(S6)의 처리가 이루어진다. 서브 루틴(S6)에 관해서는 후술한다.

서브 루틴 후에 스텝(S7)의 처리가 이루어진다. 스텝(S7)에서는, 픽쳐(C) 상의 예측 대상 픽쳐가 픽쳐(A)의 요소인지 여부가 결정된다(이것을 PIC(FW/BW), PIC Hg≠0?으로 나타낸다). 이 조건이 만족될 때에는, 픽쳐 단위로 코덱 정보를 재이용하기 위하여 해당 픽쳐의 코덱 정보를 준비한다(스텝 S8). 픽쳐 단위로 코덱 정보를 재이용하는 경우는, 양방향 예측시의 픽쳐의 재부호화를 위하여 한쪽 픽쳐의 코덱 정보를 이용하는 것도 포함한다.

스텝(S7)에서의 조건이 만족되지 않는 경우에는, PicA≠ PicC의 경우와 마찬가지로, 스텝(S3)으로 처리를 옮긴다. 즉, 픽쳐(C) 상의 예측 대상 픽쳐가 픽쳐(A)의 요소가 아닐 때는 다음 조건이 해당된다.

스텝(S3)에서, PicB= PicC가 만족되는 경우에는, 픽쳐(B)의 코덱 정보를 재이용하여 픽쳐(C)의 재부호화가 이루어진다. 이 경우도 픽쳐 타입에 따라 재이용의 조건이 다르기 때문에, 픽쳐 서브 루틴(S6)의 처리가 이루어진다. 그리고, 스텝(S9)에 있어서, 픽쳐(A)의 스텝(S7)과 마찬가지로, 픽쳐(C) 상의 예측 대상 픽쳐가 픽쳐(B)의 요소인지 여부가 결정된다. 이 조건이 만족되는 경우에는, 스텝(S8)으로 처리가 옮겨져 해당 픽쳐의 코덱 정보를 재이용하기 위해서 그것을 준비한다. 구체적으로는, 정보 버퍼(255)로부터 해당 픽쳐의 코덱 정보를 판독하여 리인코더(253)에 대하여 부여한다.

스텝(S9)의 조건이 만족되지 않을 때는, PicB≠ PicC의 경우와 같이, 스텝(S4)으로 처리가 옮겨진다. 즉, (PicA≠ PicC)이며 (P1cB≠ PicC)인 경우에, 거시적 블럭 단위로 비교(MBA= MBC)가 이루어진다. 도 9에 나타내는 바와 같이, 픽쳐(C)의 편집점의 픽쳐에, 픽쳐(A 및 B)가 혼재할 때에는, (PicA≠ PicC)이며 (PicB≠ PicC)가 된다. 이 경우에는, 매크로 블록 단위로 코덱 정보를 재이용하게 된다.

스텝(S4)에 있어서, MBA= MBC가 만족되는 경우에는, 매크로 블록(A)의 코덱 정보를 재이용하여, 매크로 블록 MBC의 재부호화가 이루어진다. MPEG의 경우로서는 픽쳐 타입과, 매크로 블록 타입이 3종류 있다. 즉, 프레임내 부호화(Intra) 매크로 블록과, 과거에서 미래를 예측하는 전방향(Foward)프레임간 예측 매크로 블록과, 미래에서 과거를 예측하는 후방향(Backwrd) 프레임간 예측 매크로 블록과, 전후 양방향에서 예측하는 내입형(interpo1ative) 매크로 블록이 있다.

픽쳐내의 모든 매크로 블록은, 프레임내 부호화 매크로 블록이다. 또한, P 픽쳐내에는, 프레임내 부호화 거시적 블록과 전방향 프레임간 예측 매크로 블록이 포함된다. B 픽쳐내에는, 상술한 4종류의 모든 타입의 매크로 블록이 포함된다. 이러한 매크로 블록 타입에 따라 재이용의 조건이 다르기 때문에, 매크로 블록 서브 루틴(S10)의 처리가 이루어진다. 서브 루틴(S10)에 관하여는 후술한다.

서브 루틴(S10) 후에 스텝(S11)의 처리가 이루어진다. 스텝(S11)으로서는, 픽쳐(C) 상의 예측 대상 매크로 블록이 픽쳐(A)의 요소인지 여부가 결정된다 (이것을 MB(FW/BW), MBFg≠ 0?라 표시한다). 이 조건이 만족될 때는, 매크로 블록 단위로 코덱 정보를 재이용하기 위해서, 해당 매크로 블록 코덱 정보를 준비한다 (스텝 S12). 매크로 블록 단위에 코덱 정보를 재이용하는 경우에는, 양방향 예측시의 거시적 블럭에 관하여 한쪽 매크로 블록의 코덱 정보를 이용하는 경우도 포함된다.

스텝(S11)에 있어서의 조건이 만족되지 않는 경우에는, 스텝(S13)으로 처리가 옮겨진다. 즉, 픽쳐(C) 상의 예측 대상 매크로 블록이 픽쳐(A) 상의 요소가 아닐 때는, 코덱 정보의 재이용이 불가해진다(스텝 S13). 이 경우에는, 트랜스 코딩이 되지 않고, 단순한 부호화가 이루어진다.

스텝(S4)에서, MBA≠ MBC가 되면, 스텝(S5)에서 MBB= MBC가 만족되는지 여부가 결정된다. MB≠ MBC의 경우에는, 스텝(S13)으로 처리가 옮겨져 코덱 정보가 재이용되지 않는다. 스텝(S5)에 있어서, MBB= MBC가 만족되는 경우에는, 매크로 블록(MBB)의 코덱 정보를 재이용하여, 매크로 블록(MBC)의 재부호화가 이루어진다. 이 경우도, 매크로 블록 타입에 따라 재이용의 조건이 다르기 때문에, 매크로 블록 서브 루틴(S10)의 처리가 이루어진다. 그리고, 스텝(S14)에 있어서, 스텝(S11)과 같이, 픽쳐(C) 상의 예측 대상 매크로 블록이 픽쳐(B) 상의 요소인지 여부가 결정된다. 이 조건이 만족되는 경우에는, 스텝(S12)으로 처리가 옮겨져, 해당 매크로 블록의 코덱 정보를 재이용하기 위해서 그것을 준비한다. 구체적으로는, 정보 버퍼(255)로부터 해당 매크로 블록의 코덱 정보를 판독하고 리인코더(253)에 대하여 부여한다. 스텝(S14)의 조건이 만족되지 않을 때에는, 코덱 정보가 재이용되지 않는다.

픽쳐 서브 루틴(S6)에 관해서, 도 12를 참조하여 보다 상세히 설명한다. 우선, 픽쳐 타입을 판별하기 위해서, 스텝(S21)에서는 I 픽쳐인지 여부가 결정된다. 픽쳐 타입은, 정보 버퍼(255)에 저장되어 있는 픽쳐 헤더의 정보로 알 수 있다. I 픽쳐인 경우에는, 스텝(S22)에 있어서, 픽쳐 플래그(P1CFg)를 1로 세트한다. 픽쳐 단위로 예측 대상 픽쳐의 존재, 비존재를 나타내는 픽쳐 플래그(PIC Fg)는, 다음과 같이 정의된다.

PIC Fg= 0; 대응 픽쳐가 존재하지 않는다.

PIC Fg= 1; 프레임내에 대응 픽쳐가 존재한다.

PIC Fg= 2; P 픽쳐에서 전방향에 예측 대상 픽쳐가 존재한다.

PIC Fg= 3; B 픽쳐에서 전방향에 예측 대상 픽쳐가 존재한다.

PIC Fg= 4; B 픽쳐에서 후방향으로 예측 대상 픽쳐가 존재한다.

PIC Fg= 5; B 픽쳐로 전후 방향으로 예측 대상 픽쳐가 존재한다.

스텝(S22)에서는, 코덱 정보를 재이용하는 경우에, 예측 대상 픽쳐가 존재하는 픽쳐를 나타내기 위해서, 픽쳐 플래그(P1C Fg)가 세트된다. 이 픽쳐 플래그는, 코덱 정보를 재이용하는지 여부의 판정과, 정보 버퍼(255)로부터 리인코더(253)에 부여하는 코덱 정보를 규정하는데 사용된다.

스텝(S21)에서, 1 픽쳐가 아니라고 결정되면, 스텝(S23)에서 P 픽쳐인지 여부가 결정된다. P 픽쳐의 경우에는, 스텝(S24)에 있어서, 예측 대상 픽쳐의 서치 및 검출이 이루어진다. P 픽쳐의 경우에는, 과거의 픽쳐로부터 예측되도록 부호화되어 있기 때문에, 과거의 픽쳐에서 부호화의 기초가 되어 있는 예측 대상 픽쳐가 검출된다. 과거의 예측 대상 픽쳐의 위치는 GOP 헤더에 포함되는 GOP 시퀀스의 정보에 기초하여 결정된다.

검출된 픽쳐(C) 상의 예측 대상 픽쳐가 픽쳐(A)(도 11의 스텝(S2)에 이어지는 서브 루틴의 경우) 또는 픽쳐(B) (도 11의 스텝(S3)에 이어지는 서브 루틴의 경우)상에 존재하고 있는지 여부가 결정된다(스텝S25). 이 결정은, 예측 대상 픽쳐와, 이 예측 대상 픽쳐와 동일한 시간 관계에 있는 픽쳐(A) 또는 B 상의 픽쳐를 비교하는 것으로 이루어진다. 예측 대상 픽쳐가 픽쳐(A) 또는 B 상에 존재하고 있는 경우에는, 스텝(S210)에 있어서, 픽쳐 플래그가 상술한 바와 같이, 2의 값으로 셋트된다. 또는 존재하지 않는 경우에는, 픽쳐 플래그(PIC Fg)가 0이 된다(스텝 S26).

스텝(S23)에 있어서, P 픽쳐가 아니라고 결정될 때 즉, B 픽쳐의 경우에는, 스텝(S27)에 있어서, 예측 대상 픽쳐의 서치 및 검출이 이루어진다. 그리고, 검출된 픽쳐(C) 상의 예측 대상 픽쳐가 픽쳐(A) 또는 픽쳐(B) 상에 존재하고 있는지 여부가 결정된다(스텝(S 28). 존재하지 않는 경우에는, 픽쳐 플래그(PIC Fg)가 0이 된다(스텝 S26). 존재하는 경우에는, B 픽쳐의 경우에 예측 대상 픽쳐가 전(과거), 후(미래), 전후 방향의 어떤 방향으로 존재하고 있느냐에 따라 상술한 바와 같이, 픽쳐 플래그(PIC Fg)가 3, 4 또는 5의 값으로 셋트된다.

이상과 같이 하여, 픽쳐 단위의 코덱 정보의 재이용의 판정이 이루어진다. 도 9에 나타내는 예는, 편집점의 픽쳐가 B 픽쳐인 경우를 나타내고 있다. B 픽쳐인 경우에는, 도 12의 플로우 차트에 도시한 바와 같이, 편집점에서 본 전방향의 예측 대상 픽쳐(P 피크값)와, 편집점에서 본 후방향의 예측 대상 픽쳐(P 픽쳐)로 서치된다. 그리고, 전방향의 예측 대상 픽쳐와, 픽쳐(A) 상의 대응하는 픽쳐의 비교가 이루어진다. 양자가 일치할 때에는, 전방향에 예측 대상 픽쳐가 존재하고 있는 것으로 결정된다. 후방향의 픽쳐와, 픽쳐(A) 상의 대응하는 픽쳐와의 비교가 이루어져, 양자가 일치할 때에는, 후방향에 예측 대상 픽쳐가 존재하고 있는 것으로 결정된다. 양방향에서 일치된 픽쳐가 존재하는 경우도 있다. 단, 도 9의 예에서는, 주목 픽쳐에는, 두개의 픽쳐가 혼재하고 있기 때문에, 픽쳐 단위로서는, 스텝(S2 및 S3)중 어느 조건도 만족되지 않아 매크로 블록 단위의 판별에 처리가 이행되게 된다.

도 13은, 매크로 블록 단위의 코덱 정보의 재이용 판별 처리(매크로 블록 서브 루틴(S10)을 나타내는 플로우 차트. 우선, 스텝(S31),스텝(S32) 및 스텝(S33)에서, 매크로 블록 타입이 결정된다. 매크로 블록 타입은, MPEG 2 신택스의 매크로 블록 레이어의 매크로 블록 모드 안에 포함되고 있고, 이 정보에 기초하여 매크로 블록 타입이 결정된다.

스텝(S31)에서는, 프레임내 부호화 매크로 블록(1 MB20)인지 여부가 결정된다. MB가 아닌 경우에는, 스텝(S32)에서 내삽입형(양방향)매크로 블록 Bid MB인지 여부가 결정된다. Bid MB가 아닌 경우에는, 스텝(S33)에서, 후방향 프레임간 예측 매크로 블록 (백워드 매크로 블록으로 표시되어 있다)인지 여부가 결정된다. I

MB도 아니고, Bid MB도 아니며, 백워드 매크로 블록도 아닌 경우는, 전방향 프레임간 예측 매크로 블록(포워드 매크로 블록이라 표시되어 있다)이다.

이러한 매크로 블록의 타입마다, 코덱 정보를 재이용 가능한지 여부가 결정된다. 스텝(S31)에서, 주목 매크로 블록이 I MB라 결정되면, 스텝(S34)에서는, 매크로 블록 플래그(MB Fg)가 1의 값으로 셋트된다. Bid MB 이외의 매크로 블록의 경우에는, 이동 벡터를 선택하여, 선택한 이동 벡터에 의해 어긋난 위치에 예측 대상 매크로 블록에 대응하는 매크로 블록이 픽쳐(A) 또는 B에 존재하는지 여부가 판별된다. 이러한 조건이 만족될 때에는, 코덱 정보의 재이용이 가능하게 된다.

매크로 블록 단위에서, 픽쳐(A) 또는 B에서 예측 대상 매크로 블록의 존재, 비존재를 나타내는 매크로 블록 플래그(MB Fg 1)는,

MB Fg=0; 대응되는 매크로 블록이 존재하지 않는다.

MB Fg=1; 프레임내에 대응되는 매크로 블록이 존재한다.

MB Fg=2; 전방향에 대응되는 매크로 블록이 존재한다.

MB Fg=3; 후방향에 대응되는 매크로 블록이 존재한다.

MB Fg=4; 양방향에 대응되는 매크로 블록이 존재한다.

MB Fg=5; 양방향의 전방향에 대응되는 매크로 블록이 존재한다.

MB Fg=6; 양방향의 후방향에 대응하는 매크로 블록이 존재한다

고 정의된다. 이 매크로 블록 플래그는, 매크로 블록 단위로 코덱 정보의 재이용 여부를 판정하는 데 사용되며, 정보 버퍼(255)로부터 리인코더(253)에 부여하는 코덱 정보를 규정하는데 사용된다.

스텝(S32)에 있어서, 판별 대상으로 삼고 있는 주목 매크로 블록 타입이 양방향 매크로 블록인 경우에는, 전방향의 이동 벡터 및 후 방향의 이동 벡터가 준비된다(스텝 S35). 이 이동 벡터를 사용하여, 예측 대상 매크로 블록이 서치, 검출된다(스텝 S36). 예측 대상 매크로 블록의 위치는, GOP 시퀀스에 따라서 존재하기 때문에, GOP 헤더에 포함되는 GOP 시퀀스의 정보에 기초하여 예측 대상 매크로 블록이 검출된다.

다음 스텝(S37)에서, 예측 대상 매크로 블록이 픽쳐(A)(도 11의 스텝(S4)에 이어지는 서브 루틴의 경우) 또는 픽쳐(B)(도 11의 스텝(S5)에 이어지는 서브 루틴의 경우)상에 존재하고 있는지 여부가 결정된다. 이 결정은, 예측 대상 매크로 블록과, 이 예측 대상 매크로 블록을 이동 벡터에서 벗어난 위치의, 픽쳐(A 또는 B) 상의 매크로 블록 상당 화상 블럭을 비교하는 것으로 이루어진다.

스텝(S37)에 있어서, 예측 대상 매크로 블록이 픽쳐(A) 및 /또는 픽쳐(B)에 존재하고 있다고 결정되면, 스텝(S38)에 있어서, 매크로 블록 플래그(MB Fg)가 4, 5, 또는 6으로 셋트된다. 만약 예측 대상 매크로 블록에 대응하는 매크로 블록이 존재하지 않는다고 결정되면, 스텝(S39)에서, 매크로 블록 플래그(MB Fg)가 0으로 셋트된다. MB Fg= 0는, 매크로 블록 단위로 코덱 정보를 재이용할 수 없다는 것을 의미한다.

도 14에 도시한 바와 같이, 픽쳐(A 및 B)가 혼재하고 있을 때에는, 매크로 블록 단위로 판정이 이루어진다. 도 14의 예는, 도 9 중의 편집점의 픽쳐 부근을 도시하고 있으며, 주목하고 있는 픽쳐의 픽쳐 타입이 B이며, 2개의 양방향 매크로 블록이 도시되어 있다. 편집점의 픽쳐에 있어서, 픽쳐(A)의 부분에 포함되는 매크로 블록(MB)이 전방향의 이동 벡터만큼 어긋난 위치의 과거의 픽쳐(A)내의 매크로 블록 상당 화상 블럭과 비교된다. 이 예에서는, 양 매크로 블록이 일치된다(도면에서는 GOOD이라 도시되어 있다). 또한, 후방향의 이동 벡터만큼 어긋난 위치의 미래 픽쳐(B)내의 매크로 블록 상당 화상 블럭과 비교된다. 양 블록이 일치하지 않는다(도면에서는 NG라 도시되어 있다). 따라서, 이 경우에는 매크로 블록 플래그(MB Fg)의 값이 5로 셋트된다.

편집점의 픽쳐 중에서 픽쳐(B)의 부분에 포함되는 매크로 블록(MB)에 관해서도, 전방향 및 후 방향의 이동 벡터에 의해 어긋난 위치의 픽쳐(A 및 B)의 매크로 블록 상당 화상 블럭과 비교된다. 도 14에 도시한 바와 같이, 후 방향의 이동 벡터로 어긋난 미래의 픽쳐(이 예에서는, P 픽쳐) 안의 매크로 블록과 일치한다. 따라서, 이 경우에서는, 매크로 블록 플래그(MB Fg)의 값이 6으로 셋트된다. 만약 픽쳐(A, B)가 혼재하지 않을 때에는, 전후의 양방향에 예측 대상 매크로 블록에 대응하는 매크로 블록 상당 화상 블럭이 존재하여, 매크로 블록 플래그(MB Fg)가 4의 값으로 셋트된다.

도 13으로 되돌아가 설명하면, 스텝(S33)에 있어서, 픽쳐(C) 내의 주목 매크로 블록이 백워드 매크로 블록이라 결정되면, 스텝(S41)에 있어서 후 방향의 이동 벡터가 준비된다. 그리고, 이동 벡터에 의해 어긋난 위치의 미래의 픽쳐(A) 또는 B 내의 매크로 블록 상당 화상 블럭이 서치, 검출된다(스텝 S42). 검출된 매크로 블록 상당 화상 블록과, 주목 매크로 블록의 예측 대상 매크로 블록이 비교되어, 예측 대상 매크로 블록에 대응하는 매크로 블록 상당 화상 블록이 존재하는지 여부가 결정된다(스텝 S43).

스텝(S43)에 있어서, 예측 대상 매크로 블록에 대응되는 매크로 블록 상당 화상 블럭이 존재한다고 결정되면, 스텝(S44)에 있어서 매크로 블록 플래그(MB Fg)가 3의 값으로 셋트된다. 예측 대상 매크로 블록에 대응하는 매크로 블록 상당 화상 블록이 존재하지 않을 때에는, 스텝(S39)에 있어서 매크로 블록 플래그(MB Fg)가 0의 값으로 셋트된다.

스텝(S33)에 있어서, 픽쳐(C)내의 주목 매크로 블록이 백워드 매크로 블록인 경우, 즉 이것이 포워드 매크로 블록인 경우에는, 스텝(S45)에 있어서 전방향에 이동 벡터가 준비된다. 그리고, 이동 벡터에 의해 어긋난 위치의 과거의 픽쳐(A 또는 B)내의 매크로 블록 상당 화상 블럭이 서치, 검출된다 (스텝 S46). 검출된 매크로 블록과, 주목 매크로 블록의 예측 대상 매크로 블록으로 비교되어, 예측 대상 매크로 블록에 대응하는 매크로 블록 상당 화상 블록이 존재하는지 여부가 결정된다(스텝 S47).

스텝(S47)에 있어서, 예측 대상 매크로 블록에 대응하는 매크로 블록 상당 화 상 블럭이 존재한다고 결정되면, 스텝(S48)에 있어서 매크로 블록 플래그(MB Fg)가 2의 값으로 셋트된다. 대응하는 매크로 블록 상당 화상 블럭이 존재하지 않을 때는, 스텝(S39)에 있어서 매크로 블록 플래그(MB Fg)가 0의 값으로 셋트된다.

이상과 같이 하여, 매크로 블록 단위의 코덱 정보의 재이용의 판정이 이루어진다. 따라서, 도 9에 도시한 바와 같이, 편집점의 픽쳐가 두 가지 오리지널 픽쳐(A 및 B)가 혼재하고 있는 경우에도, 매크로 블록 단위로 코덱 정보를 재이용하여, 픽쳐(C)를 재부호화할 수 있다. 그것에 의하여, 픽쳐 단위의 재부호화에 의해서도, 코덱 정보를 재이용할 수 있어 화질의 열화를 저감할 수 있다.

또, 이상의 설명에서는, MPEG을 압축 부호화로서 채용하고 있지만, MPEG 이외의 압축 부호화를 채용할 수 있다.

본 발명에 의한 편집 제어 장치는, 어카이버/서버 등과의 사이의 입력/출력 인터페이스가 부호화 스트림이며, 편집기와의 인터페이스는 베이스 밴드이고, 또한, 트랜스 코딩에 의해 복호-부호화 체인에 의한 화질 열화가 최소화 할 수 있게 된다. 트랜스 코딩을 위한 재부호화 정보를 베이스 밴드 신호에 부가하여 외부 편집기기, 스토리지 기기에 보낼 필요가 없기 때문에, 외부 기기에 아무런 영향을 미치지 않고 편집을 가능하게 한다. 따라서, 영상 소재 등의 소재를 스트림으로 비축할 수 있다. 또한 국내, 스튜디오내에 도입되어 있는 기존의 편집기의 구성을 바꿀 필요가 없다. 사용자 입장에서 보면, 편집기 및 편집 제어 장치로 이루어지는 편집 시스템은, 스트림상의 편집을 하고 있지만, 편집 시스템의 내부에서는 베이스 밴드의 편집으로 되어 있다.

또한, 베이스 밴드 신호와, 비트 스트림의 관계화를 행함에 따라, 필요 최소한의 픽쳐에 대하여 트랜스 코딩를 행하고, 해당 비트 스트림과 스위칭을 행하여, 변환에 의한 왜곡을 최소한으로 하는 것이 가능하다. 또한, 압축 소재로 받은 것은 압축 소재로 축적, 편집을 하고, 베이스 밴드 소재로 받은 것은 베이스 밴드 소재로 축적, 편집을 하는 구분을 할 수 있게 된다.

또한, 본 발명은 편집 시스템이 MPEG 스트림을 그대로 취급하기 때문에, 이미 국내에 시설되어 있는 네트워크선의 다채널화가 실현되어, 국내의 소재 전송 자원을 유효하게 이용할 수 있다. 또한, 현재 지상파 방송의 본국 대 지방국의 관계, CATV의 케이블 오퍼레이터와 헤드 엔드국(head end station)과의 관계를 생각했을 경우, 본 발명에 의하면, 메인국에서 보내온 방송 소재의 CM과 로컬 CM의 바꾸기를 행하거나, 국의 로고를 삽입하는 작업을 거의 열화 없이 비트 스트림 상에서 행할 수 있다.

또한, 본 발명에서는 다른 실시 형태에 관해서 설명한 바와 같이, 부호화 비트 스트림을 복호한 베이스 밴드 신호를 편집하고, 편집 결과인 베이스 밴드 신호를 재부호화하여 스트림으로서 출력할 때, 편집 위치 정보를 편집기로부터 받을 필요가 없다. 따라서, 편집 위치 정보를 전송하기 위한 전송선을 생략할 수 있으며, 타임 코드로 표시된 편집 정보를 스트림의 시간축 상에 번역하는 처리 등을 생략할 수 있다.

또한, 본 발명은 다른 실시 형태에 관해서 설명한 바와 같이, 트랜스 코딩를 위하여, 코덱 정보를 재이용하는 경우 픽쳐 단위뿐만 아니라 매크로 블록과 같은 것보다 미세한 단위로 코덱 정보를 선택할 수 있다. 따라서, 편집점의 화상이 두 가지 이상의 오리지널 소재가 혼재하는 경우라도, 재부호화에 의하는 화질의 열화를 억제할 수 있다.

Claims

베이스 밴드 신호의 편집을 행하는 편집기와, 상기 편집기에 대하여 접속되는 편집 제어 장치로 이루어지며,

상기 편집 제어 장치는,

소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 상기 편집기에 대하여 출력하는 제2 복호 수단과

상기 편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 상기 제1 및 제2 복호 수단으로 사용된 코덱 정보를 이용하여 재부호화하고, 제3 부호화 비트 스트림을 출력하는 부호화 수단과,

다른 장치로부터 수신한 편집 위치 정보에 기초하여, 상기 제 1 및 제 2 부호화 수단에서 이용되는 코덱 정보를 선택하는 제어 수단으로 이루어지는 것을 특징으로 하는 편집 시스템.
제1항에 있어서, 제1 및 제2 베이스 밴드 신호가 접속되는 편집 위치를 포함하는 소정 기간에만, 상기 제3 부호화 비트 스트림을 선택하고, 상기 소정 기간 이외에는, 상기 제1 및 제2 부호화 비트 스트림의 한쪽을 선택하는 선택 수단을 더 포함하는 것을 특징으로 하는 편집 시스템.
제1항에 있어서, 제1 및 제2 부호화 비트 스트림과 제1 및 제2 베이스 밴드 신호의 상관화를 행하는 수단을 더 포함하는 것을 특징으로 하는 편집 시스템.
제1항에 있어서, 제1 및 제2 부호화 비트 스트림이 소재 축적 장치로부터 입력되고, 상기 제3 부호화 비트 스트림을 소재 축적 장치로 출력하는 것을 특징으로 하는 편집 시스템.
제1항에 있어서, 상기 제1 부호화 비트 스트림이 전송 매체를 통하여 다른 국에서 수신한 방송 신호이며, 상기 제2 부호화 비트 스트림이 상기 방송 신호에 삽입되는 방송 소재인 것을 특징으로 하는 편집 시스템.
제5항에 있어서, 상기 방송 소재가 CM 소재인 것을 특징으로 하는 편집 시스템.
제5항에 있어서, 상기 방송 소재가 스테이션 로고인 것을 특징으로 하는 편집 시스템.
소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과,

편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 상기 제1 및 제2 복호 수단으로 사용된 코덱 정보를 이용, 재부호화하여, 제3 부호화 비트 스트림을 출력하는 부호화 수단과,

편집 위치 정보에 기초하여, 상기 부호화 수단에서 이용되는 코덱 정보를 선택하는 제어 수단으로 이루어지는 편집 제어 장치.
제8항에 있어서, 제1 및 제2 베이스 밴드 신호가 접속되는 편집 위치를 포함하는 소정 기간에서만, 상기 제3 부호화 비트 스트림을 선택하고, 상기 소정 기간 이외에는, 상기 제1 및 제2 부호화 비트 스트림의 한쪽을 선택하는 선택 수단을 더 포함하는 것을 특징으로 하는 편집 제어 장치.
제8항에 있어서, 제1 및 제2 부호화 비트 스트림과 제1 및 제2 베이스 밴드 신호의 상관화를 행하는 수단을 더 포함하는 것을 특징으로 하는 편집 제어 장치.
제8항에 있어서, 제1 및 제2 부호화 비트 스트림이 소재 축적 장치로부터 입력되고, 상기 제3 부호화 비트 스트림을 소재 축적 장치로 출력하는 것을 특징으로 하는 편집 제어 장치.
제8항에 있어서, 상기 제1 부호화 비트 스트림이 전송 매체를 통하여 다른 국에서 수신한 방송 신호이며, 상기 제2 부호화 비트 스트림이 상기 방송 신호에 삽입되는 방송 소재인 것을 특징으로 하는 편집 제어 장치.
제12항에 있어서, 상기 방송 소재가 CM 소재인 것을 특징으로 하는 편집 제어 장치.
제12항에 있어서, 상기 방송 소재가 스테이션 로고인 것을 특징으로 하는 편집 제어 장치.
제1 소재가 부호화된 제1 부호화 비트 스트림 및 제2 소재가 부호화된 제2 부호화 비트 스트림이 입력되고, 상기 제1 및 제2 부호화 비트 스트림을 각각 복호한 제1 및 제2 베이스 밴드 신호를 편집기에 대하여 송출하고,

편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를 수신하고,

다른 장치로부터 수신한 편집 위치 정보에 기초하여, 상기 제1 및 제2 부호화 비트 스트림을 복호하는데 사용된 코덱 정보 중 필요한 코덱 정보를 선택하고,

선택한 코덱 정보를 이용하여 상기 제3 베이스 밴드 신호를 재부호화하여, 제3 부호화 비트 스트림을 출력하는 것을 특징으로 하는 편집 제어 방법.
베이스 밴드 신호의 편집을 하는 편집기와, 상기 편집기에 대하여 접속되는 편집 제어 장치로 이루어지며,

상기 편집 제어 장치는,

소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 상기 편집기에 대하여 출력하는 제2 복호 수단과

상기 제1 및 제2 베이스 밴드 신호와 상기 제3 베이스 밴드 신호를 위상을 합하여 비교함으로써, 편집 위치를 검출하는 비교 수단과,

상기 편집 위치의 정보에 기초하여, 재부호화에서 이용되는 코덱 정보를 선택하는 제어 수단과,

상기 편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 상기 선택된 코덱 정보를 이용하여 재부호화하여, 제3 부호화 비트 스트림을 출력하는 부호화 수단으로 이루어지는 것을 특징으로 하는 편집 시스템.
제16항에 있어서, 제1 및 제2 베이스 밴드 신호가 접속되는 편집 위치를 포함하는 소정 기간에서만, 상기 제3 부호화 비트 스트림을 선택하고, 상기 소정 기간 이외에는, 상기 제1 및 제2 부호화 비트 스트림의 한쪽을 선택하는 선택 수단을 더 포함하는 것을 특징으로 하는 편집 시스템.
제16항에 있어서, 제1 및 제2 베이스 밴드 신호와 제3 베이스 밴드 신호의 시간적인 상관화를 행하고,

제1 및 제2 베이스 밴드 신호를 상기 시간적인 상관화를 행하기 위한 정리 태그와 관련지어 보존하는 수단과, 제1 및 제2 부호화 비트 스트림을 복호할 때 얻어진 코덱 정보를 상기 시간적인 상관화를 행하기 위한 정리 태그와 관련지어 보존하는 수단을 더 포함하는 것을 특징으로 하는 편집 시스템.
소재가 부호화된 제1 부호화 비트 스트림을 복호하여, 제1 베이스 밴드 신호를 출력하는 제1 복호 수단과,

소재가 부호화된 제2 부호화 비트 스트림을 복호하여, 제2 베이스 밴드 신호를 편집기에 대하여 출력하는 제2 복호 수단과,

상기 제1 및 제2 베이스 밴드 신호와 상기 제3 베이스 밴드 신호를 위상을 합하여 비교함으로써, 편집 위치를 검출하는 비교 수단과,

상기 편집 위치의 정보에 기호하여, 재부호화에서 이용되는 코덱 정보를 선택하는 제어 수단과,

편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를, 상기 선택된 코덱 정보를 이용하여 재부호화하여, 제3 부호화 비트 스트림을 출력하는 부호화 수단으로 이루어지는 편집 제어 장치.
제19항에 있어서, 제1 및 제2 베이스 밴드 신호가 접속되는 편집 위치를 포함하는 소정 기간에서만, 상기 제3 부호화 비트 스트림을 선택하고, 상기 소정 기간 이외에는, 상기 제1 및 제2 부호화 비트 스트림의 한쪽을 선택하는 선택 수단을 더 포함하는 것을 특징으로 하는 편집 제어 장치.
제19항에 있어서, 제1 및 제2 베이스 밴드 신호와 제3 베이스 밴드 신호의 시간적인 상관화를 행하고,

제1 및 제2 베이스 밴드 신호를 상기 시간적인 상관화를 행하기 위한 정리 태그와 관련지어 보존하는 수단과, 제1 및 제2 부호화 비트 스트림을 복호할 때 얻어진 코덱 정보를 상기 시간적인 상관화를 행하기 위한 정리 태그와 관련지어 보존하는 수단을 더 포함하는 것을 특징으로 하는 편집 제어 장치.
제1 소재가 부호화된 제1 부호화 비트 스트림 및 제2 소재가 부호화된 제2 부호화 비트 스트림이 입력되고,

상기 제1 및 제2 부호화 비트 스트림을 각각 복호한 제1 및 제2 베이스 밴드 신호를 편집기에 대하여 송출하고,

상기 제1 및 제2 베이스 밴드 신호와, 상기 제1 및 제2 베이스 밴드 신호를 복호할 때에 사용한 코덱 정보를 보존하고 ,

편집기로부터의 상기 제1 및 제2 베이스 밴드 신호를 편집한 결과인 제3 베이스 밴드 신호를 수신하고,

상기 제1 및 제3 베이스 밴드 신호를 위상을 합한 상태에서 비교함과 동시에, 상기 제2 및 제3 베이스 밴드 신호를 위상을 합한 상태에서 비교함으로써, 편집 위치를 검출하고,

검출된 편집 위치에 기초하여, 상기 제3 베이스 밴드 신호를 재부호화하기 위하여 이용하는 코덱 정보를 선택하고,

선택된 코덱 정보를 이용하여 상기 제3 베이스 밴드 신호를 재부호화함으로써, 제3 부호화 비트 스트림을 출력하는 것을 특징으로 하는 편집 제어 방법.
제22항에 있어서, 제1 및 제2 베이스 밴드 신호와 제3 베이스 밴드 신호와의 시간적인 상관화를 행하고,

제1 및 제2 부호화 비트 스트림을 복호할 때 얻어진 코덱 정보를 상기 시간적인 상관화를 행하기 위한 정리 태그와 관련지어 보존하는 것을 특징으로 하는 편집 제어 방법.
제22항에 있어서, 편집 위치를 검출할 때, 픽쳐 단위로 비교를 하여, 픽쳐 단위의 편집 위치를 검출하고, 검출된 편집 위치에 대응하여 픽쳐 단위로 코덱 정보를 선택하는 것을 특징으로 하는 편집 제어 방법.
제22항에 있어서, 프레임간 예측 부호화된 픽쳐를 재부호화할 때, 상기 제3 베이스 밴드 신호 중 예측 대상 픽쳐에 대응하는 픽쳐가 상기 제1 또는 제2 베이스 밴드 신호 중에 존재할 때, 코덱 정보를 재이용하는 것을 특징으로 하는 편집 제어 방법.
제25항에 있어서, 프레임간 예측 부호화된 픽쳐를 재부호화할 때, 상기 제3 베이스 밴드 신호 중 예측 대상 픽쳐에 대응하는 픽쳐가 상기 제1 또는 제2 베이스 밴드 신호 중에 존재할 때, 픽쳐 단위의 코덱 정보를 재이용하고,

상기 대응하는 픽쳐가 상기 제1 또는 제2 베이스 밴드 신호 중에 존재하지 않을 때에는, 상기 픽쳐보다 작은 사이즈의 예측 대상 블럭에 대응하는 블록이 상기 제1 또는 제2 베이스 밴드 신호 중에 존재하는지 여부를 판별하고, 상기 대응하는 블록이 상기 제1 또는 제2 베이스 밴드 신호 중에 존재할 때에, 블록 단위의 코덱 정보를 재이용하는 것을 특징으로 하는 편집 제어 방법.
제26항에 있어서, 프레임간 예측 부호화와 움직임 보상이 이루어지는 경우에, 움직임 벡터에 의해 어긋난 위치에, 상기 예측 대상 블럭에 대응하는 블럭이 존재하는지 여부를 판별하는 것을 특징으로 하는 편집 제어 방법.