KR20050025950A

KR20050025950A - 화상 데이터 처리 장치 및 방법

Info

Publication number: KR20050025950A
Application number: KR1020057000350A
Authority: KR
Inventors: 다꾸지 히메노; 야스히로 하시모또; 히로야스 쯔찌다; 후미요시 아베; 도모유끼 미야꼬시
Original assignee: 소니 가부시끼 가이샤
Priority date: 2002-07-08
Filing date: 2003-07-02
Publication date: 2005-03-14
Also published as: EP1521461A1; JP2004048103A; CN1675927A; EP1521461B1; US20050254574A1; CN100477773C; US7769085B2; WO2004006576A1; EP1521461A4; JP3714302B2

Abstract

본 발명은 MPEG(Motion Picture Expert Group) 방식에 의해 부호화한 화상 데이터를 기록 매체상에 기록 처리하는 화상 데이터 처리 방법으로, VBV 버퍼의 비트 점유량을 목표치로 천이시키도록, 기록 매체로부터 판독한 보조 데이터에 기초하여 VBV 버퍼에서의 비트 점유량의 초기치를 연산하고 상기 비트 점유량에서의 목표치와 초기값을 비교하여, 당해 비교 결과에 따라 부호화하는 화상 데이터에 대해 각 GOP마다 할당하는 비트량을 제어한다.

Description

화상 데이터 처리 장치 및 방법{IMAGE DATA PROCESSING DEVICE AND METHOD}

본 발명은 MPEG(Motion Picture Expert Group) 방식에 의해 부호화한 화상 데이터를 기록 매체상에 기록 처리하는 화상 데이터 처리 장치 및 방법에 관한 것이다.

본 출원은 일본에 있어서 2002년 7월 8일에 출원된 일본 특허출원 번호 2002-199072를 기초로 우선권을 주장하는 것으로, 이 출원은 참조함으로써 본 출원에 원용된다.

종래, 동화상을 고효율로 압축 부호화하는 수법으로서 MPEG2(ISO/IEC13818)로 대표되는 디지털 동화상 부호화 방식이 제안되어 있다. 이 MPEG2 방식에 의한 화상 압축은 화상간의 움직임 보상과 DCT(Discrete Cosine Transformation)를 조합한 하이브리드 방식의 변환을 행하고, 이에 따라 얻어지는 신호에 대해 양자화나 가변 길이 부호화를 더 실시한다.

MPEG2 방식에서는 부호화 방식으로서 쌍방향 예측 부호화 방식이 채용되고 있다. 이 쌍방향 예측 부호화 방식에서는 프레임내 부호화, 프레임간 순방향 예측 부호화 및 쌍방향 예측 부호화의 3타입의 부호화가 행해지고, 각 부호화 타입에 의한 화상은 각각 I픽쳐, P픽쳐 및 B픽쳐라 불리고 있다. 또한 I, P, B의 각 픽쳐를 적절히 조합하여 랜덤 억세스의 단위가 되는 G0P(Group of Pictures)가 구성된다. 이와 관련하여, 각 픽쳐의 발생 부호량은 I픽쳐가 가장 많고, 다음으로 P픽쳐, B픽쳐로 이어지는 것이 일반적이다.

이 MPEG2 방식과 같이, 픽쳐 타입마다 발생 부호량이 다른 부호화 방법에 있어서, 기록 매체에 기록한 부호화 비트 스트림을 재생시에 디코더에 있어서 정확하게 부호화하여 화상을 얻기 위해서는, 디코더에 있어서의 입력 버퍼내의 데이터 점유량을 엔코더에서 항상 파악해야만 한다.

도 1은 디코더에서의 입력 버퍼에 있어서의, 공급된 MPEG 스트림에 대한 데이터 점유량의 추이를 나타내고 있다. 도 1에 있어서, 횡축은 시간(t)을 나타내고 있으며, 공급되는 MPEG 스트림에 포함되는 각 픽쳐의 디코드 타이밍(tlOl, t102, t103…)이 기록되어 있다. 또한 종축은 입력 버퍼가 저장하는 데이터 점유량을 나타내고 있다.

입력 버퍼는 MPEG2 방식으로 화상 압축된 MPEG 스트림을 그 비트 레이트에 따라 차례로 저장해 간다. 그리고 MPEG 스트림의 공급이 개시된 t100으로부터 VBV 딜레이(vbv_delay) 시간 경과한 t101에 있어서, 디코드 처리를 위해 최초의 픽쳐가 디코터에 의해 추출된다. 이 디코더에 의해 추출되는 픽쳐의 데이터량은 그 픽쳐의 데이터 사이즈(picture_size)와 픽쳐 스타트 코드의 데이터 사이즈(picture_start_code)와 시퀀스 헤더의 데이터 사이즈(sequence_header)와 GOP 헤더의 데이터 사이즈(GOP_header)를 더한 데이터량(이하, 이미지 사이즈라 한다)이다.

덧붙여서 입력 버퍼에는 t101 이후에 있어서도 MPEG 스트림이 소정의 비트 레이트에 따라 차례로 계속 공급된다. t101에서 디코드 관리 시간(Decode Time Stamp)의 간격인 △DTS마다 경과해 가는 t102, t103,…에 있어서도, 각 픽쳐의 이미지 사이즈분의 데이터량이 디코더에 의해 추출된다. 이러한 입력 버퍼에서는 공급된 MPEG 스트림의 총 데이터량과 각 디코드 타이밍에서 추출된 픽쳐의 이미지 사이즈의 총 데이터량과의 차분(差分)이 입력 버퍼의 버퍼 사이즈보다 커지면 오버플로우하고, 반대로 작아지면 언더플로우하게 된다.

이 때문에, MPEG 방식에서는 디코더에 있어서의 입력 버퍼에 대응하는 가상 버퍼로서 엔코더측에 VBV(Video Buffering Verifier) 버퍼를 상정하여, 발생하는 부호량을 제어한다. 엔코더에서는 VBV 버퍼를 파탄시키지 않도록, 바꾸어 말하면 VBV 버퍼를 언더플로우 혹은 오버플로우시키지 않도록 각 픽쳐의 발생 부호량을 컨트롤 한다.

그런데, 화상 데이터가 이미 녹화되어 있는 자기 테이프 등의 기록 매체상에 있어서, 그 녹화 종료 위치에서부터 화상 데이터를 새롭게 녹화하는, 이른바 연결 녹화를 하는 경우가 있다. 이와 관련하여, 프레임내만 압축하는 DV(Digital Video) 방식의 VTR(Video Tape Recorder)에서는, 1프레임을 10개의 트랙으로 나누어 기록하기 때문에, 테이프 주행중에 재생에서 기록으로 전환하여, 녹화하는 프레임을 압축한 화상 데이터를 다음 트랙에서부터 기록함으로써 용이하게 연결 녹화할 수 있다.

그러나, 프레임간 압축을 이용하는 MPEG2 방식에서는 1프레임의 사이즈가 변동하기 때문에, 기록하는 트랙의 수를 고정할 수 없어 용이하게 연결 녹화할 수 없었다.

MPEG 방식에서는 상술한 바와 같이 디코드시에 있어서 입력 버퍼를 언더플로우 혹은 오버플로우시키지 않도록 각 픽쳐의 발생 부호량을 제어할 필요가 있어, 새롭게 녹화하는 화상 압축 데이터를 VBV 버퍼의 사이즈에 따라 연결 녹화할 필요가 있었다. 즉, 연결 녹화하는 편집점의 전후를 연속 재생하여도 입력 버퍼를 파탄 시키는 일 없이 디코드할 수 있도록, 이미 녹화되어 있는 화상 데이터의 보조 데이터를 기록 매체로부터 판독하여 VBV 딜레이(VBV-delay)나 DTS를 취득하고, VBV 버퍼에 있어서의 데이터 점유량으로 환산하여 엔코더의 초기값으로서 설정할 필요가 있다.

일반적으로 VBV 버퍼의 사이즈에 대해 데이터 점유량이 낮으면, 발생 부호량이 큰 픽쳐에 있어서 언더플로우가 생기지 않도록 픽쳐 사이즈가 제한되기 때문에, 복잡한 화상이나 I픽쳐에 충분한 부호량을 할당할 수 없어 화질이 열화해 버린다. 한편, VBV 버퍼의 사이즈에 대해 데이터 점유량이 높으면, 오버플로우를 막기 위해서 스태핑이 발생하기 쉬워져, 그 만큼 유효한 발생 부호량을 줄여 버려 화질을 열화시켜 버린다. 이 때문에, VBV 버퍼에 있어서의 데이터 점유량의 초기값은 통상 화질을 고려하여 최적인 값으로 설정할 필요가 있다.

이미 녹화되어 있는 화상 데이터의 보조 데이터를 기록 매체로부터 판독한 VBV 딜레이(VBV_delay)에 기초하여 설정한 VBV 버퍼에 있어서의 데이터 점유량의 초기값이 화질에 있어서 최적인 값이 된다고는 할 수 없고, 언더플로우나 오버플로우가 발생하여 계속적으로 화질을 열화시켜 버리는 경우가 많았다.

도 1은 디코더의 입력 버퍼에 공급된 MPEG 스트림에 대한 데이터 점유량의 추이를 나타낸 도면이다.

도 2는 본 발명을 적용한 화상 데이터 처리 장치를 도시한 블록도이다.

도 3은 기록 트랙이 형성된 자기 테이프를 도시한 평면도이다.

도 4는 자기 테이프에 형성된 헬리컬 트랙의 구성을 나타낸 도면이다.

도 5는 데이터 그룹을 나타낸 도면이다.

도 6은 화상 데이터 처리 장치에 대해 마지막으로 공급된 데이터 그룹에서의 데이터 점유량의 추이를 나타낸 도면이다.

도 7은 다음 픽쳐의 vbv_delay_n의 값이 미지인 경우에, 기록시에 미리 연산하는 예를 설명하기 위한 도면이다.

도 8은 연결 녹화시에 있어서의, ECC 처리부의 ECCBank 메모리의 처리에 대해 설명하기 위한 도면이다.

도 9는 엔코더에 있어서의 부호량 제어의 플로우를 도시한 도면이다.

도 lOA 및 도 lOB는 vbv_delay_n에 기초하여 연산한 vbv_occupancy_f가 설정치를 밑도는 경우에 있어서 카피 픽쳐를 계속 삽입하는 예를 설명하기 위한 도면이다.

도 11은 다른 전자 기기로부터 입력된 화상 데이터의 데이터 스트림을 연결 녹화하는 경우에 있어서, 계승한 vbv_delay_n의 값이 극단적으로 작을 때의 처리에 대해 설명하기 위한 도면이다.

도 12는 기록 END점 직후의 픽쳐 타입이 P픽쳐인 경우에 있어서의 연결 녹화의 결점에 대해 설명하기 위한 도면이다.

도 13은 연산한 카피 픽쳐나 스태핑의 기록 방법에 대해 설명하기 위한 도면이다.

도 14는 1번째의 연결 녹화를 행한 데이터 그룹(N1)의 선두를 재기록 위치로 하여 2회째의 연결 녹화를 행하는 경우의, 시각에 대한 VBV 버퍼의 데이터 점유량을 나타낸 도면이다.

도 15는 스태핑 바이트를 구성하는 ES에 대해서만 PES 헤더를 부가하는 경우에 대해 설명하기 위한 도면이다.

도 16은 2회째의 연결 녹화시에 있어서의 재기록 위치에 대해 설명하기 위한 도면이다.

도 17은 카피 픽쳐와 스태핑 바이트의 양쪽을 자기 테이프상에 기록하는 경우에 대해 설명하기 위한 도면이다.

본 발명의 목적은, 상술한 바와 같은 종래의 화상 데이터 처리 장치 및 방법이 갖는 문제점을 해소할 수 있는 신규의 화상 데이터 처리 장치 및 방법을 제공하는 것에 있다.

본 발명의 다른 목적은, VBV 버퍼에 있어서의 데이터 점유량의 초기값이 어떤 값이더라도 화질을 거의 열화시키는 일 없이 데이터 점유량을 최적으로 컨트롤할 수 있는 화상 데이터 처리 장치 및 방법을 제공하는 것에 있다.

본 발명자는 상술한 문제점을 해결하기 위해, VBV 버퍼의 비트 점유량을 목표치로 천이시키도록, 기록 매체로부터 판독한 보조 데이터에 기초하여 VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하고, 상기 비트 점유량에 있어서의 목표치와 초기값을 비교하여, 당해 비교 결과에 따라 부호화하는 화상 데이터에 대해 각 GOP마다 할당하는 비트량을 제어하는 화상 데이터 처리 장치 및 방법을 제안한다.

본 발명에 관한 화상 데이터 처리 장치는, MPEG 방식에 의한 복호화시에 이용되는 VBV 버퍼의 비트 점유량이 목표치로 천이하도록, 부호화하는 화상 데이터에 대해 각 GOP마다 할당하는 비트량을 제어하는 화상 데이터 처리 장치에 있어서, 기록 매체로부터 판독한 보조 데이터에 기초하여, VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하는 연산 수단과, 비트 점유량에 있어서의 목표치와 초기값을 비교하는 비교 수단과, 비교 수단에 의한 비교 결과에 따라 각 GOP마다 할당하는 비트량을 제어하는 제어 수단을 구비한다.

본 발명에 관한 화상 데이터 처리 방법은, MPEG 방식에 의한 복호화시에 이용되는 VBV 버퍼의 비트 점유량이 목표치로 천이하도록, 부호화하는 화상 데이터에 대해 각 GOP마다 할당하는 비트량을 제어하는 화상 데이터 처리 방법에 있어서, 기록 매체로부터 판독한 보조 데이터에 기초하여, VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하고, 비트 점유량에 있어서의 목표치와 초기값을 비교하여, 비교 결과에 따라 상기 각 GOP마다 할당하는 비트량을 제어한다.

본 발명의 또 다른 목적, 본 발명에 의해 얻을 수 있는 구체적인 이점은, 이하에 있어서 도면을 참조하여 설명되는 실시의 형태의 설명으로부터 한층 명백해질 것이다.

이하 본 발명에 관한 화상 데이터 처리 장치 및 방법을 도면을 참조하면서 상세하게 설명한다.

본 발명을 적용한 화상 데이터 처리 장치(1)는 동화상을 고효율로 압축 부호화하는 MPEG2(ISO/IEC13818) 방식에 의해 디지털 동화상 부호화하여 자기 테이프에 기록하는 장치로서, 도 2에 도시한 바와 같이 외부 입력부(11)와 픽쳐 사이즈 측정부(12)와 엔코더(13)와 삽입 처리부(14)와 보조 데이터 생성부(15)와 스트림 기록 처리부(16)와 ECC(Error Correction Code) 처리부(17)와 기록 회로(18)와 재생 회로(19)와 보조 데이터 추출부(20)와 스트림 재생 처리부(21)와 헤더 추출부(22)와 VBV(Video Buffering Verifier) 딜레이 추출부(23)와 외부 출력부(24)와 디코더(25)와 제어부(26)를 구비하고 있다.

외부 입력부(11)는 외부에 있는 다른 전자 기기로부터 TS(Transport Stream)로서 전송되는 화상 데이터를 PES(Packetized Elementary Stream)로 분할하여, 이를 스트림 기록 처리부(16)에 송신한다. 이와 관련하여, 이 외부 입력부(11)에 입력되는 화상 데이터를 구성하는 각 픽쳐의 사이즈는 픽쳐 사이즈 측정부(12)에 의해 측정된다.

엔코더(13)는 VBV 딜레이 추출부(23)로부터 송신되는 VBV(Video Buffering Verifier) 딜레이에 기초하여, 입력되는 화상 데이터를 픽쳐 타입, 양자화 스텝 등의 부호화 파라미터에 기초하여 부호화를 행한다. 이 엔코더(13)는 이 부호화한 화상 데이터를 스트림 기록 처리부(16)에 송신한다.

삽입 처리부(14)는 화상 데이터의 부호화시에 있어서, 발생 부호량이 적은 경우에 있어서의 유사 데이터로서, 전(前)픽쳐를 반복하여 표시하는 카피 픽쳐나 스태핑 바이트를 생성한다. 이와 관련하여, 이 스태핑 바이트는 특별히 의미를 갖지 않는 데이터이며, 디코더측에 있어서 읽은 후 버려진다. 이 삽입 처리부(14)는 생성한 카피 픽쳐나 스태핑 바이트를 스트림 기록 처리부(16)로 출력한다.

보조 데이터 생성부(15)는 I픽쳐 또는 P픽쳐를 선두로 하여 B픽쳐를 포함하는 데이터 그룹마다 첨부되는 보조 데이터(AUX)를 스트림 기록 처리부(16)로 출력한다.

스트림 기록 처리부(16)는 외부 입력부(11) 혹은 엔코더(13)로부터 화상 데이터를 취득한다. 또한, 이 스트림 기록 처리부(16)는 삽입 처리부(14)로부터 카피 픽쳐나 스태핑 바이트가 공급되고, 보조 데이터 생성부(15)로부터 보조 데이터가, 또한 헤더 추출부(22)로부터 각종 헤더가 입력된다. 스트림 기록 처리부(16)는 화상 데이터에 있어서의 I픽쳐 혹은 P픽쳐로부터 시작되는 데이터 그룹간에, 보조 데이터나 카피 픽쳐 등을 삽입하여 하나의 데이터 스트림을 형성한다. 이 때 스트림 기록 처리부(16)는 생성한 데이터 스트림으로부터 VBV 딜레이 추출부(23)에 의해 VBV 딜레이가 추출되는 경우도 있다. 스트림 기록 처리부(16)는 이 형성한 데이터 스트림을 ECC 처리부(17)로 송신한다.

ECC 처리부(17)는 입력된 데이터 스트림에 ECC(Error Correction Code)를 부가하고, 또한 인터리브 처리 등을 실시한다. 이 ECC 처리부(17)는 도시하지 않은 독자적인 ECCBank 메모리를 갖고, 실제로 자기 테이프(4)에 기록하는 데이터 스트림을 일시 기억시킨다.

기록 회로(18)는 ECC 처리부(17)로부터 입력된 데이터 스트림을 자기 테이프(4)에 기록한다. 이 기록 회로(18)는, 예를 들면 입력된 데이터를 시리얼 데이터로 변환한 후 증폭하여, 도시하지 않은 회전 드럼을 통해 회전되는 자기 테이프(4)에 도시하지 않은 자기 헤드를 통해 기록한다.

재생 회로(19)는 자기 테이프(4)상에 기록되어 있는 화상 데이터를 재생하고, 또한 후술하는 자기 테이프(4)상의 보조 기록 영역에 기록되어 있는 보조 데이터를 판독하여, 이를 ECC 처리부(17)로 송신한다.

스트림 재생 처리부(21)는 자기 테이프(4)로부터 재생되는 화상 데이터 및 보조 데이터가 재생 회로(19) 및 ECC 처리부(17)를 통해 입력된다. 이 스트림 재생 처리부(21)는 입력된 화상 데이터를 외부 출력부(24) 혹은 디코더(25)로 출력한다. 이 스트림 재생 처리부(21)에 입력된 보조 데이터에 있어서, PTS(Presentation Time Stamp)나 DTS(Decoding Time Stamp)에 대해서는 헤더 추출부(22)에 의해 추출되고, VBV 딜레이에 대해서는 VBV 딜레이 추출부(23)에 의해 추출된다. 그 외의 보조 데이터에 대해서는 보조 데이터 추출부(20)에 의해 추출된다.

외부 출력부(24)는 스트림 재생 처리부(21)로부터 PES로서 입력되는 화상 데이터를 디코드하여 TS화하여, 다른 전자 기기에 전송한다. 디코더(25)는 스트림 재생 처리부(21)로부터 PES로서 입력되는 화상 데이터를 픽쳐 타입, 양자화 스텝 등의 부호화 파라미터에 기초하여 복호화를 행한다.

또 본 발명에 관한 화상 데이터 처리 장치(1)를 구성하는 회로, 요소는 제어부(26)에 의한 제어에 기초하여 동작한다.

다음으로 본 발명을 적용한 화상 데이터 처리 장치(1)에 있어서의 자기 테이프(4)로의 기록 방식에 대해 설명한다. 또 여기에서 설명하는 기록 방식은 일본 특허공개 2001-275077 공보에 있어서 제안되어 있는 방식에 근거한다.

자기 테이프(4)는 도 3에 도시한 바와 같이 자기 헤드에 의해 영상 신호 등의 정보가 기록되는 헬리컬 트랙(32)으로 구성된다.

헬리컬 트랙(32)은 자기 테이프(4)의 길이 방향에 대해 경사져 형성되어 있다.

1개의 헬리컬 트랙(32)은 도 4에 나타낸 바와 같이 123개의 싱크 블록과 18개의 C2 패리티 싱크 블록으로 구성된다. 이 헬리컬 트랙(32)의 16개를 ECC 처리부(17)에 있어서의 C2ECC의 인터리브 단위로 한다. ECC 처리부(17)에서는 이 16개분의 헬리컬 트랙(32)에 있어서의 싱크 블록을 ECC면에 인터리브하여 할당하고, C2 패리티를 생성하여 이를 C2 패리티 싱크 블록에 기록한다.

1개의 싱크 블록은 95바이트의 데이터부에 1바이트의 싱크 블록 헤더(SB 헤더)와 트랙 페어 No.나 싱크 블록 No. 등으로 이루어지는 3바이트의 ID부와 그들을 대상으로 한 C1 패리티의 10바이트가 첨부되어 있고, 2바이트의 싱크 패턴을 선두에 더 첨부한 111바이트로 구성되어 있다.

이 트랙 페어 No.는 -애지머스, +애지머스의 순으로 서로 이웃하는 헬리컬 트랙(32)간에 같은 값을 취한다. 이하 이 트랙 페어 No.를 2배하여 +애지머스 트랙에만 1을 더한 No.를 트랙 No.로 한다. 또한 SB 헤더는 그 싱크 블록에 기록되는 데이터의 종류가 기록되어 있다.

이와 관련하여, MPEG2 방식의 PES 패킷으로서 구성되어 있는 Video 데이터나 Audio 데이터는 각각 싱크 블록으로 분할하여 기록되게 된다. Video 데이터는, 도 5에 나타낸 바와 같이 I픽쳐, B픽쳐, B픽쳐의 3프레임 혹은 P픽쳐, B픽쳐, B픽쳐의 3프레임의 PES를 결합하고, 이에 PTS 시각에 따른 Audio 데이터를 더하여 Audio, Video의 순으로 번갈아 싱크 블록상에 기록한다. 이 Audio와 Video의 결합 단위를 이후, Pack이라 한다. I픽쳐, B픽쳐, B픽쳐의 순으로 구성되는 3프레임의 Video 데이터 혹은 P픽쳐, B픽쳐, B픽쳐의 순으로 구성되는 3프레임의 Video 데이터를 데이터 그룹이라 한다.

또, Audio 데이터의 보조 데이터로서 AUX-A를, Video 데이터의 보조 데이터로서 AUX-V의 싱크 블록을 Pack마다 기록한다.

다음으로 본 발명을 적용한 화상 데이터 처리 장치(1)의 동작에 대해 설명한다.

MPEG2 방식을 채용하는 화상 데이터 처리 장치(1)는 픽쳐 타입마다 발생 부호량이 다르기 때문에, 자기 테이프(4)에 기록한 데이터 스트림을 재생시에 디코더(25)에 있어서 정확하게 부호화하여 화상을 얻기 위해서는, 디코더(25)에 있어서의 입력 버퍼내의 데이터 점유량을 엔코더(13)에서 항상 파악하지 않으면 안된다.

도 6은 화상 데이터 처리 장치(1)에 대해 마지막으로 공급된 데이터 그룹(L)에 있어서의, 디코더(25) 입력 버퍼의 데이터 점유량의 추이를 나타내고 있다. 이 도 6에 있어서, 횡축은 시각(t)을 나타내고 있으며, 공급되는 데이터 그룹(L)을 구성하는 각 픽쳐의 디코드의 타이밍(P, B1, B2)이 기록되어 있다. 또한 종축은 입력 버퍼가 저장하는 데이터 점유량을 나타내고 있다.

입력 버퍼는 MPEG2 방식으로 압축 부호화된 데이터 스트림을 그 비트 레이트에 따라 차례로 저장해 간다. P픽쳐가 공급되는 시각은 t11에서부터 t12까지이고, 또한 B1픽쳐가 공급되는 시각은 t12에서부터 t13까지이며, 또한 B2픽쳐가 공급되는 시각은 t13에서부터 t14까지이다. 또한 디코더(25)는 디코드 처리를 위해 t21에 있어서 P픽쳐를 추출한다. 마찬가지로 디코더(25)는 디코드 처리를 위해 t22에 있어서 B1픽쳐를 추출하고, 또한 t23에 있어서 B2픽쳐를 추출한다.

이 디코더(25)에 의해 추출되는 각 픽쳐의 데이터량은 픽쳐의 데이터 사이즈(picture_size)와 픽쳐 스타트 코드의 데이터 사이즈(picture_start_code)와 시퀀스 헤더의 데이터 사이즈(sequence_header)와 GOP 헤더의 데이터 사이즈(GOP_header)를 더한 데이터량(이하 이미지 사이즈라 한다)이다. 이 데이터 그룹(L)의 선두에 위치하는 P픽쳐의 픽쳐 스타트 코드의 최종 바이트가 공급되고 나서, 디코더(25)에 의해 추출되는 시간(t11∼t21)을 VBV 딜레이(vbv_delay_l)라 한다.

도 6에 있어서, 데이터 그룹(L)의 후방에는 데이터 그룹(L)의 다음에 삽입해야 할 픽쳐(이하, 다음 픽쳐라 한다)가 표시되어 있다. 이 다음 픽쳐의 VBV 딜레이(vbv_delay_n)는 t14로부터 t15까지의 시간이다. 화상 데이터 처리 장치(1)는 마지막으로 데이터 그룹(L)이 공급되었을 때에 약간 많게 엔코드함으로써, 이 다음 픽쳐의 vbv_delay_n을 취득할 수 있다.

화상 데이터 처리 장치(1)는 이와 같이 하여 취득할 수 있는 VBV 딜레이(vbv_delay_l, vbv_delay_n)를 보조 데이터로서, 각 데이터 그룹마다 형성된 AUX-V 에 기록한다. 도 6의 하단에는 데이터 그룹(L) 및 다음 픽쳐에 대해 형성된 AUX-V의 자기 테이프(4)에 있어서의 기록 위치를 나타내고 있다. 데이터 그룹(L)에 있어서의 AUX-V의 기록 위치는 데이터 그룹(L)의 선두에 위치하는 P픽쳐의 앞에 형성되어 있다. 마찬가지로, 다음 픽쳐의 AUX-V의 싱크 블록은 다음 픽쳐의 기록 위치 전방인 동시에 데이터 그룹(L)의 기록 위치 후방에 형성되어 있다.

화상 데이터 처리 장치(1)는 데이터 그룹(L)의 P픽쳐에 대해 취득한 vbv_delay_l을 데이터 그룹(L)에 대해 형성된 AUX-V에 기록한다. 마찬가지로 다음 픽쳐에 대해 취득한 vbv_delay_n을 다음 픽쳐에 대해 형성된 AUX-V에 기록한다.

이와 같은 데이터 스트림이 기록된 자기 테이프(4)를 재생함으로써, 각 AUX-V에 기록되어 있는 vbv_delay_l, vbv_delay_n을 판독할 수 있다. 이에 따라, 화상 데이터 처리 장치(1)는 화상 데이터가 이미 기록되어 있는 자기 테이프(4)에 있어서, 그 기록 종료 위치로부터 화상 데이터를 새롭게 기록하는 이른바 연결 녹화를 하는 경우에 있어서도, 이미 기록되어 있는 화상 데이터의 정보를 얻을 수 있다. 또 연결 녹화하는 화상 데이터에 대해, 이와 같이 vbv_delay_l 등을 동시에 기록하여 두는 화상 데이터를 바탕 화상 데이터라 한다.

즉, 이 화상 데이터 처리 장치(1)는 다음 픽쳐를 연결 녹화하는 화상 데이터로 상정함으로써, 연결 녹화하는 다음 픽쳐가 가져야 할 vbv_delay_n을 기록시에 미리 구하여 자기 테이프(4)상에 기록할 수 있다. 이에 따라 재생시에 있어서, 자기 테이프(4)로부터 vbv_delay_n을 판독하는 것 만으로 VBV 버퍼에 있어서의 데이터 점유량으로 환산하여 엔코더의 초기값으로서 설정할 수 있기 때문에, 1프레임의 사이즈가 변동하는 MPEG2 방식에 있어서도 각 픽쳐의 발생 부호량을 제어할 수 있어, 입력 버퍼를 파탄시키는 일 없이 용이하게 연결 녹화를 행할 수 있다.

또 본 발명에 관한 화상 데이터 처리 장치(1)는 이 데이터 그룹(L)에 대해, 마지막으로 공급된 데이터 그룹인 것을 나타내기 위한 END점 플래그를 AUX-V에 기록하는 것도 가능하다. 이에 따라 연결 녹화할 때에, 이 END점 플래그에 기초하여 화상 데이터가 기록되고 있는 영역을 용이하게 식별할 수 있어, 기존의 화상 데이터 위에 덧쓰기해 버리는 것 같은 일을 회피하는 것도 가능해진다.

화상 데이터 처리 장치(1)는 마지막으로 공급되는 데이터 그룹(L)이나 다음 픽쳐에 한정하지 않고, 다른 모든 데이터 그룹마다 선두 픽쳐의 VBV 딜레이를 식별하여 이를 각 데이터 그룹마다 형성된 AUX-V에 기록하여도 된다. 다음 픽쳐의 AUX-V에 있어서도 마찬가지로 vbv_delay_n이 기록되어 있기 때문에, 각 픽쳐마다 VBV 딜레이를 AUX-V에 기록함으로써, 기록 매체상에 형성된 모든 AUX-V의 보조 데이터종을 공통화할 수 있다.

또한 화상 데이터 처리 장치(1)는 보조 데이터로서 VBV 딜레이 외에 DTS 등을 이용하여 이를 AUX-V에 기록하여도 되고, 또한 VBV 딜레이의 대체로 DTS나 PTS를 이용해도 되는 것은 물론이다.

다른 전자 기기로부터 입력된 DTS나 PTS를 그대로 AUX-V에 기록하면, 재생시에 있어서 기록한 DTS나 PTS가 점프해 버리는 경우가 있기 때문에, 통상 이 DTS나 PTS에 오프셋값을 가산한 후에 AUX-V에 기록한다. 데이터 그룹(L)의 AUX-V로부터 취득한 DTS를 DTS0이라 한다. 또한 연결 녹화하는 다음 픽쳐로부터 취득한 DTS를 DTS2라 한다. 이 때, 오프셋값을 DTSO-DTS2+(카피 픽쳐의 매수)×(카피 픽쳐의 표시 시간)에 기초하여 연산하고, 이를 DTS 또는 PTS에 가산한 후 기록을 행한다.

부호화된 스트림이나 다른 전자 기기로부터 입력된 스트림을 도중에서 중단하는 경우에는, 상술한 바와 같이 다음 픽쳐의 vbv_delay_n의 값을 인식할 수 있지만, 다른 전자 기기로부터 공급된 데이터 스트림을 마지막 픽쳐까지 모두 기록했을 때에는 다음 픽쳐가 존재하지 않는다. 이 경우에는 다음 픽쳐의 vbv_delay_n의 값을 인식할 수 없어, 기록시에 있어서 AUX-V상에 보조 데이터로서 기록할 수 없다. 이 때문에 다른 전자 기기로부터 공급된 픽쳐를 자기 테이프(4)상에 기록하는 경우에는, 기록시에 있어서 미리 다음 픽쳐의 vbv_delay_n의 값을 연산하여 이를 다음 픽쳐의 AUX-V에 기록해 둔다. 이에 따라 재생시에 있어서, 이 다음 픽쳐의 vbv_delay_n을 용이하게 판독할 수 있어 입력 버퍼를 파탄시키는 일 없이 용이하게 연결 녹화를 행할 수 있다.

도 7은 이 다음 픽쳐의 vbv_delay_n의 값이 미지인 경우에, 기록시에 미리 연산하는 예를 설명하기 위한 도면이다. 화상 데이터 처리 장치(1)에는 마지막으로 공급되며 P픽쳐, B1픽쳐, B2픽쳐의 순으로 구성되는 데이터 그룹(L)이 공급된다. 이 때 화상 데이터 처리 장치(1)는 이 마지막으로 공급되는 데이터 그룹(L)의 다음에 공급되어야 할 다음 픽쳐의 vbv_delay_n을, 데이터 그룹(L)의 선두에 위치하는 P픽쳐의 vbv_delay_l과 해당 데이터 그룹(L)의 전송 시간(FT) 및 표시 시간(ET)으로부터, 이하의 식 (1)에 의해 구한다.

vbv_delay_n=vbv_delay_l+ET-FT … (1)

여기에서 전송 시간(FT)에 대해서는 데이터 그룹(L)을 구성하는 3프레임을 추출하여 비트수의 합계(d비트)를 연산한다. 그리고, 이 d를 비트 레이트(Bitrate)로 나누면 전송에 필요한 시간이 되고, 이것에 90000을 곱함으로써 VBV 딜레이와 같은 90KHz의 시간축에서의 전송 시간(FT)이 된다. 또한 이 데이터 그룹(L)을 구성하는 3프레임의 표시 간격(ET)은 프레임 레이트가 29.97Hz인 경우에 있어서 3003의 3배가 되어, 이것과 상술의 FT의 차가 VBV 딜레이의 변화량이 된다. 이에 따라 vbv_delay_n은 또한, 이하의 식 (2)에 의해 구할 수 있다.

vbv_delay_n=vbv_delay_l+3003×3-90000×d/Bitrate … (2)

화상 데이터 처리 장치(1)는 이와 같이 하여 구한 vbv_delay_n을 다음 픽쳐의 AUX-V에 기록한다. AUX-V에 대해 VBV 딜레이를 기록하는 경우 뿐만 아니라, DTS를 기록하는 경우에 있어서도 같은 수법에 의해 다음 픽쳐의 DTS를 미리 구할 수 있다.

이와 같이, 본 발명에 관한 화상 데이터 처리 장치(1)는 다음 픽쳐의 vbv_delay-n의 값이 미지이더라도 상술의 계산식 (1) 혹은 식 (2)에 기초하여 구할 수 있기 때문에, 재생시에 있어서 엔코더의 초기값을 얻기 위해서 기록 종료 위치 직전에 있어서 이미 녹화되어 있는 화상 데이터를 모두 판독하여 픽쳐 사이즈를 계산할 필요가 없어진다. 이에 따라 본 발명에 관한 화상 데이터 처리 장치(1)는 계산 시간을 줄일 수 있어 REC 조작의 천이 시간을 짧게 하는 것도 가능하게 된다.

다음으로 연결 녹화시에 있어서의 ECC 처리부(17)의 ECCBank 메모리의 처리에 대해 설명한다.

먼저 녹화(REC)중에 일시 정지(REC-PAUSE)하고 다시 녹화(REC)함으로써 연결 녹화하는 경우에 대해 설명한다. 엔코더(13)에 의해 부호화된 데이터 스트림이나 외부 입력부(11)을 통해 입력된 데이터 스트림을 자기 테이프(4)상에 기록중에 REC-PAUSE 조작을 행한 경우, 도 8에 나타낸 바와 같이 마지막으로 공급되는 3프레임의 픽쳐로 이루어지는 데이터 그룹(L)을 ECCBank에 모두 기입했을 때의 싱크 블록을 기록 END점으로 하고, 그 후에 다시 REC 조작을 행함으로써 연결 녹화하는 다음 픽쳐가 포함되는 Pack의 AUX-A와 Audio 데이터의 싱크 블록을 기입한다. 그리고 마지막으로 다음 픽쳐의 vbv_delay_n나 END점 플래그 등의 보조 데이터를 기록하기 위한 AUX-V의 싱크 블록을 기입한다.

이 도 8에 나타내는 AUX-A에서 AUX-V까지가 연결 녹화시에 있어서, 보조 데이터를 판독하고 연결 녹화하는 데이터 스트림의 기입을 개시하는 에어리어이다. 이와 관련하여, 당해 에어리어가 이 AUX-A의 싱크 블록을 포함하는 ECCBank로부터 그 다음의 ECCBank까지 도달하는 경우에 있어서, 기록 처리를 공통화하기 위해, 다음 픽쳐의 AUX-V에 있어서의 싱크 블록의 다음의 싱크 블록 이후를 Null 데이터로 채운다.

ECC 처리부(17)는 공급되는 데이터 스트림 모두를 기록하고 바탕 화상 데이터를 생성하는데 필요한 ECCBank를 싱크 블록 혹은 Null 데이터로 채운 후, 자기 테이프(4)상에 기록할 때에 사용하는 기록 전류나 도시하지 않은 회전 드럼 등과 같은 자기 테이프(4)에 데이터 스트림을 기록하기 위한 기구를 정지시킨다. 이는 자기 테이프(4)에 기록할 때에, 마지막으로 기록해야 할 헬리컬 트랙에 데이타를 기록한 후에 바로 기록 전류를 정지하면, 그 마지막에 기록해야 할 헬리컬 트랙에 에러가 발생할 가능성이 있기 때문에, 여분으로 기록 전류를 흘려 두기 위함이다.

자기 테이프(4)에 있어서의 바탕 화상 데이터의 기록 END점에서 연결 녹화를 행하는 경우에는, 먼저 자기 테이프(4)를 재생함으로써 이미 기록되어 있는 바탕 화상 데이터의 데이터 스트림을 한번 ECC 처리부(17)에 있어서의 ECCBank에 기입하여, 각 AUX-V로부터 END점 플래그를 찾아낸다. 이 END점 플래그가 첨부되어 있는 AUX-V를 포함한 ECCBank와 그 다음에 계속되는 ECCBank만을 ECCBank 메모리에 보존하여 두고, 그 이후의 ECCBank의 메모리로의 기입을 중지하여 다음 픽쳐의 기록에 대비한다. 이 때 END점 플래그가 존재하는 AUX-V로부터 VBV 딜레이나 DTS 등을 추출하여 두어도 된다.

다음으로 자기 테이프(4)의 재생 화면을 보면서 연결 녹화할 다음 픽쳐의 기록을 개시하는 재기록 위치를 지정하는 경우에 대해 설명한다. ECCBank에 있어서, 재생 PAUSE 조작시에 화면상에 표시되어 있던 화상의 데이터 스트림은, 후에 공급되는 화상의 데이터 스트림에 의해 덧쓰기되어 있는 경우가 많다.

3프레임으로 구성되는 데이터 그룹마다 자기 테이프(4)상에 기록해 가는 본 발명에서는, 재생 화면을 보면서 지정한 다음 픽쳐의 재기록 위치에 I픽쳐 혹은 P픽쳐가 존재하고 있는 경우는 당해 I픽쳐 혹은 P픽쳐의 직전을 다음 픽쳐의 재기록 위치로 하지만, 한편 지정한 다음 픽쳐의 재기록 위치에 B픽쳐가 존재하고 있는 경우에는 당해 B픽쳐를 구성하는 데이터 그룹 선두의 I픽쳐 혹은 P픽쳐의 직전을 다음 픽쳐의 재기록 위치로 한다.

ECC 처리부(17)는 이와 같이 하여 다음 픽쳐의 재기록 위치를 지정한 기록 위치에 존재하는 픽쳐 타입에 따라 결정하고, 자기 테이프(4)를 결정한 기록 위치에 따라 되감아 재생하여, 이를 차례로 ECCBank 메모리에 기입해 간다. 그 때 DTS 등을 통해 결정한 재기록 위치나 그 재기록 위치의 직후에 위치하는 데이터 그룹의 I픽쳐 혹은 P픽쳐를 서치하여, 그 Pack 선두의 AUX-A를 포함하는 ECCBank와 그 다음에 계속되는 ECCBank만을 ECCBank 메모리에 보존하여 두고, 그 이후의 ECCBank의 ECCBank 메모리로의 기입을 중지하고 다음 픽쳐의 기록에 대비한다. 이 때도 마찬가지로, END점 플래그가 존재하는 AUX-V로부터 VBV 딜레이나 DTS 등을 추출하여 두어도 된다.

자기 테이프(4)의 재생 화면을 보는 일 없이, 재기록 위치를 선택하지 않고 연결 녹화를 행하는 경우에는, 자기 테이프(4)를 재생하여 데이터 스트림을 차례로 ECCBank 메모리에 기입해 간다. 그 때에 재기록 위치를 데이터 그룹 단위로 재생 순서로 서치한다. 그리고 임의의 재기록 위치의 직후에 위치하는 데이터 그룹의 I픽쳐 혹은 P픽쳐의 선두의 AUX-A를 포함하는 ECCBank와 그 다음에 계속되는 ECCBank만을 ECCBank 메모리에 보존해 두고, 그 이후의 ECCBank의 ECCBank 메모리로의 기입을 중지하여 다음 픽쳐의 기록에 대비한다. 이 때도 마찬가지로, END점 플래그가 존재하는 AUX-V로부터 VBV 딜레이나 DTS 등을 추출하여 두어도 된다.

또 상술한 바와 같이 ECCBank 메모리에 2개의 ECCBank가 보존되어 있는 경우에 있어서 새롭게 입력되는 데이터 스트림은, 이하와 같이 하여 ECCBank로부터 되돌려 쓴다. 즉 재기록 위치 직전의 싱크 블록내의 데이터 스트림은 그대로 ECCBank 메모리에 남겨 둔다. 그리고 재기록 위치 이후의 싱크 블록에 새롭게 입력되는 데이터 스트림을 겹쳐쓰고, ECCBank 메모리상에서 합성한다. 이 때, 이 새로운 데이터 스트림이 겹쳐써져 합성된 ECCBank 메모리내의 각 데이터 스트림에 대해 각각 C2 패리티를 다시 생성한다.

그리고 재생하는 데이터 스트림의 트랙 No.를 시인하면서 재생을 실시하여, ECCBank에 첨부된 트랙 No.와 일치하는 트랙으로부터 연결 녹화를 행하도록 한다. 즉 되돌려 쓰기 전후의 데이터 스트림을 자기 테이프(4)상에 있어서 연속하여 둠으로써, 연결 녹화를 개시하는 재기록 위치에 있어서 특별한 처리를 실시하는 일 없이 순조로운 재생을 실현할 수 있다.

다음으로 상술한 바와 같이 바탕 화상 데이터가 형성된 자기 테이프(4)의 재생시에 있어서, AUX-V에 기록되어 있는 다음 픽쳐의 vbv_delay_n을 계승하여 엔코더의 초기값으로서 설정하는 방법에 대해 설명한다.

화상 데이터 처리 장치(1)는 재생시에 있어서 AUX-V에 기록되어 있는 다음 픽쳐의 vbv_delay_n을 취득하고, 이를 엔코더(13)에 있어서의 VBV 버퍼의 데이터 점유량(vbv_occupancy)으로 환산하여, 이 값을 엔코더의 초기값으로서 설정한다. 이 VBV 버퍼는 디코더(25)에 있어서의 입력 버퍼에 대응하는 가상 버퍼로서 상정함으로써, 각 픽쳐마다 발생하는 부호량을 제어하기 위하여 설치되는 것이다. 이 VBV 버퍼의 vbv_occupancy는 계승한 vbv_delay_n에 기초하여, 이하의 식 (3)에 의해 연산할 수 있다.

vbv_occupancy=vbv_delay_n×Bitrate/90000 … (3)

그러나 이 식 (3)에 의해 구해진 vbv_occupancy는 화질에 있어 최적인 값이 된다고 만은 할 수 없고, 언더플로우나 오버플로우가 생겨 계속적으로 화질을 열화시켜 버리는 경우가 있다. 이 때문에 이 식 (3)에 의해 구해진 vbv_occupancy가 어떠한 값이라도, VBV 버퍼의 용량에 따라 이것을 최적으로 컨트롤하여 화질의 열화를 방지할 필요가 있다.

화상 데이터 처리 장치(1)는 식 (3)에 의해 연산한 vbv_occupancy의 초기값(이하, 이 초기값을 vbv_occupancy_f라 한다)으로부터, 서서히 이 vbv_occupancy를 보정함으로서, 최적인 vbv_occupancy의 목표치(이하, 이 목표치를 vbv_occupancy_t라 한다)에 천이시킨다. 구체적으로는, vbv_occupancy_f와 vbv_occupancy_t의 차를 구함으로써, vbv_occupancy_t에 수속시키기 위해 필요한 부호 발생 보정량을 구한다. 다음으로 이 부호 발생 보정량을 vbv_occupancy_t로 천이시키는데 필요한 GOP의 수(이하, 이 GOP의 수를 number_GOP라 한다)로 나눔으로써, 1GOP당 부호 발생량 보정치를 구한다. 즉 이 부호 발생량 보정치는 이하의 식 (4)에 의해 연산할 수 있다.

부호 발생량 보정치=(vbv_occupancy_t-vbv_occupancy_f)/number_GOP … (4)

이와 같이 화상 데이터 처리 장치(1)는 vbv_occupancy_f로부터 vbv_occupancy_t에 천이시키기 위해 복수의 GOP를 소비한다. 즉, 목표로 하는 vbv_occupancy_t에 복수의 GOP수(number_GOP)를 곱하여 서서히 보정할 수 있기 때문에, 1GOP당 보정량을 줄일 수 있어 일시적인 화질의 열화를 억제할 수 있다.

도 9는 이 엔코더(13)에 있어서의 부호량 제어의 플로우를 도시하고 있으며, 도면중 화살표 방향은 시간축을 나타내고 있다.

먼저 단계 S11에 있어서, 식 (3)에 의해 vbv_delay_n에 기초하여 연산한 vbv_occupancy_f와 vbv_occupancy_t의 차분을 구한다. 다음으로 단계 S12에 있어서, 이 구한 차분을 number_GOP로 나누어 1GOP당 부호 발생량 보정치를 구한다. 다음으로 단계 S13에 있어서, 비트 레이트에 의해 제어된 각 GOP에 있어서의 부호의 총 가산량에 대해 이 부호 발생량 보정치를 감산함으로써 보정한다.

한편 GOP 선두를 제외한 각 화상 데이터는 단계 S21에 있어서, 각 프레임마다 remain_bit_GOP에서 발생 부호량이 감산된다. 또한 GOP 선두에서는 단계 S22에 있어서, 단계 S21을 거친 각 화상 데이터의 부호량에 대해 단계 S13에서 각 GOP마다 보정된 총 가산량이 가산되고, 단계 S23의 1프레임 단위의 엔코드 처리에 기초하는 프레임내 발생 부호량이 더 감산된다. 엔코더(13)는 이와 같이 하여 부호량 제어된 remain_bit_GOP를 얻을 수 있다. 이 remain_bit_GOP는 GOP 단위로 부호량이 컨트롤되고 있기 때문에, 계속적으로 화질이 열화하는 일은 없어진다.

이 number_GOP는 어떠한 값으로 설정해도 되고, 일정한 값으로 고정하여도 되며, vbv_occupancy_t-vbv_occupancy_f의 값에 따라 그 때마다 임의로 설정하여도 된다. 만일 number_GOP를 일정한 값으로 고정하면, vbv_occupancy_t-vbv_occupancy_f의 값을 불문하고 각 GOP에 균등하게 할당할 수 있다. 또한 number_GOP를 vbv_occupancy_t-vbv_occupancy_f의 값에 따라 그 때마다 임의로 설정함으로써, 1GOP당 보정량을 최초로 결정하고 필요한 number_GOP를 나중에 설정하는 것도 가능해진다.

화상 데이터 처리 장치(1)는 상술의 remain_bit_GOP를 각 픽쳐에 할당한다. 이 때 픽쳐 타입마다의 복잡도에 따라 할당하는 부호량을 바꾸어도 된다.

예를 들면, I픽쳐의 복잡도를 나타내는 계수를 Xi, P픽쳐의 복잡도를 나타내는 계수를 Xp, B픽쳐의 복잡도를 나타내는 계수를 Xb라 하고 GOP내에 있어서의 P픽쳐의 미부호화 매수를 Np, GOP내에 있어서의 B픽쳐의 미부호화 매수를 Nb라 할 때, I픽쳐의 할당 계수 Y_i, P픽쳐의 할당 계수 Y_p, B픽쳐의 할당 계수 Y_b는 각각 이하의 식 (5), 식 (6), 식 (7)에 의해 나타낼 수 있다.

Y_i=1+Np·Xp/Xi·1/Kp+Nb·Xb/Xi·1/Kb … (5)

Y_p=Np+Nb·Xb/Xp·Kp/Kb … (6)

Y_b=Nb+Np·Xp/Xb·Kb/Kp … (7)

(Kp=1.0, Kb=1.4)

여기에서 remain_bit_GOP를 상술한 바와 같이 구해진 각 픽쳐의 할당 계수 Y-i, Y_p, Y_b에 의해 제산함으로써, 각 픽쳐 타입에 할당하는 부호량을 구할 수 있다. 또 Xi, Xp, Xb의 각 초기값를 각각 1.39×bitrate, 0.52×bitrate, 0.37×bitrate라 해도 된다.

다음으로 계승한 vbv_delay_n에 기초하여 연산한 vbv_occupancy_f의 값이 극단적으로 작은 경우에 있어서의 처리에 대해 설명한다.

식 (3)에 의해 연산한 vbv_occupancy_f가 극단적으로 작으면 식 (4)에 기초하여 vbv_occupancy_t에 천이시켜도, 이하에 설명하는 이유에 의해 화질이 대폭적으로 열화해 버린다.

즉, 연결 녹화하는 다음 픽쳐의 발생 부호량과의 관계에서 극단적으로 vbv_occupancy_f가 작으면 엔코드시에 있어서 VBV 버퍼의 언더플로우가 생기지 않도록, 다음 픽쳐의 발생 부호량에 제약이 걸려 화질이 열화해 버린다. 또한 이 경우에 number_GOP를 일정한 값으로 고정하면, vbv_occupancy_t로 천이할 때까지의 최초의 수 GOP는 극단적으로 vbv_occupancy가 낮은 상태이기 때문에, 화질이 현저하게 열화하고, 또한 최적인 vbv_occupancy_t로 천이할 때까지 장시간을 소비하기 때문에, 조기에 화질을 개선할 수 없다. 또한 vbv_occupancy_t로의 천이 시간을 단축하기 위해서 1GOP당 부호 발생 보정량을 크게 하면, vbv_occupancy_t로 천이하기 까지의 사이, 화질이 큰폭으로 열화해 버린다.

이 때문에, 본 발명에 관한 화상 데이터 처리 장치(1)에서는 이 화질의 열화를 억제할 수 있도록, 식 (3)에 의해 연산한 vbv_occupancy_f에 대해 소정의 설정치를 밑도는 경우에 카피 픽쳐를 삽입함으로써, 대폭적인 화질 열화보다 오히려 화면의 홀드를 선택할 수 있도록 한다.

도 lOA에 나타낸 바와 같이 vbv_delay_n에 기초하여 연산한 vbv_occupancy_f가 설정치를 밑도는 경우에 있어서, 도 lOB에 나타낸 바와 같이 카피 픽쳐를 계속 삽입한다. 이에 따라 VBV 딜레이(vbv_delay_n2)는 t41로부터 t42의 시간대에 상당하게 되기 때문에 외관상 커져, 이에 기초하여 연산된 vbv_occupancy_f2는 설정치를 웃돈다. 이에 따라 화면이 홀드되는 시간은 증가하지만 화질의 열화를 억제할 수 있게 된다.

또 이 카피 픽쳐의 삽입 매수(N)는 다음 픽쳐의 vbv_delay_n2에 따라 얻어지는 vbv_occupancy_f2가 설정치 이상이 되도록 계산하여 결정한다.

먼저 카피 픽쳐를 N매 삽입하면, 다음 픽쳐가 추출되는 시각 t42가 N매분 지연하기 때문에, vbv_delay_n2는 N매분 길어진다. 한편, 카피 픽쳐 1매의 전송 시간 FT의 N배만큼 다음 픽쳐가 뒤로 밀리게 되기 때문에, 그 만큼 vbv_delay_n2는 짧아진다.

여기에서 카피 픽쳐 1매의 표시 시간을 ET로 했을 때, vbv_delay_n2는 이하의 식 (8)에 의해 나타내어진다.

vbv_delay_n2 = vbv_delay_n+N×(ET-FT) … (8)

이와 관련하여, 카피 픽쳐의 표시 시간 ET는 프레임 주파수가 29.97Hz일 때에 3003이 되고, 프레임 주파수가 25Hz일 때에는 3600이 된다.

카피 픽쳐의 매수(N)는 vbv_delay_n2가 vbv_occupancy의 설정치로부터 식 (3)을 이용해 연산한 vbv_delay의 설정치(vbv_delay_s) 이상이 되도록 계산하여 구한다. 즉 상술한 식 (8)에 기초하여 이하에 나타내는 식 (9)를 도출할 수 있다.

vbv_delay_n+N×(ET-FT)≥vbv_delay_s … (9)

이 식 (9)를 변형한 이하의 식 (10)에 의해 카피 픽쳐의 삽입 매수(N)를 구한다.

N≥(vbv_delay_s-vbv_delay_n)/(ET-FT) … (10)

본 발명을 적용한 화상 데이터 처리 장치(1)에서는, 이와 같이 연산한 카피 픽쳐를 N매 삽입함으로써 얻어지는 vbv_delay_n2를 취득하고, VBV 버퍼에 있어서의 데이터 점유량으로 환산하여 엔코더의 초기값으로 할 수 있다. 이에 따라, 식 (3)에 의해 연산한 vbv_occupancy_f가 극단적으로 작은 경우라도, 큰폭으로 화질을 열화시키는 일 없이 vbv_occupancy를 최적으로 컨트롤할 수 있다.

다음으로 다른 전자 기기로부터 입력된 화상 데이터의 데이터 스트림을 연결 녹화하는 경우에 있어서, 계승한 vbv_delay_n의 값이 극단적으로 작을 때의 처리에 대해 설명한다.

다른 전자 기기로부터 입력된 데이터 스트림을 연결 녹화하는 경우에는, 카피 픽쳐에 더하여 스태핑 바이트를 삽입함으로써 vbv_occupancy를 컨트롤한다.

도 11에 나타낸 바와 같이, vbv_delay_n에 기초하여 연산한 vbv_occupancy_f가 설정치를 밑도는 경우에 있어서, t51로부터 t52까지 카피 픽쳐를 삽입하고, 또한 스태핑 바이트를 삽입한다.

이 카피 픽쳐의 매수나 스태핑 바이트의 양은 이하의 방법으로 결정할 수 있다.

먼저 기록 END점의 직후에 위치하는 다음 픽쳐의 AUX-V로부터 vbv_delay_n을 취득한다. 다음으로 연결 녹화하는 화상 데이터가 다른 전자 기기로부터 공급되었을 때에, 해당 공급된 화상 데이터의 선두에 위치하는 I픽쳐의 헤더로부터 VBV 딜레이를 취득하여 이를 vbv_delay_n3으로 한다. 또한 다음 픽쳐의 헤더로부터 400bps 단위로 나타내지는 Bitrate를 취득한다.

이 때, 카피 픽쳐의 바이트수를 B_copy라 했을 때 그 전송 시간을 9OKHz 단위로 환산한 T_copy는 이하의 식 (11)로 나타낼 수 있다.

T_copy=B_copy/Bitrate×환산 계수 … (11)

이 환산 계수는 90KHz 단위에 있어서, 이하의 식 (12)에 의해 1800이 된다.

90000Hz×8bit/400bps=1800 … (12)

여기에서 취득한 VBV 딜레이의 차분값 VBVD_TN은 이하의 식 (13)에 의해 정의할 수 있다.

VBVD_TN=vbv_delay_n3-vbv_delay_n … (13)

여기에서 VBVD_TN≤O일 때, 카피 픽쳐의 매수(N_copy)를 0으로 하고 스태핑 바이트의 삽입만을 실행한다. 한편 VBVD_TN>0일 때, 이하의 식 (14)에 의해 구한 매수(N_copy)분 카피 픽쳐를 삽입한다. 이와 관련하여, 이 식 (14)에서는 구하는 N_copy를 정수로 절상한다.

N_copy=VBVD_TN/(ET-T_copy) … (14)

식 (14)에 있어서 정수로 절상된 만큼을 식 (15), 식 (16)에 의해 구해지는 스태핑 바이트(B_Stuf)에 의해 보충한다.

T_Stuf=(ET-T_copy)×N-VBVD_TN … (15)

B_Stuf=T_Stuf×Bitrate/1800 … (16)

즉 본 발명을 적용한 화상 데이터 처리 장치(1)는 다른 전자 기기로부터 데이터 스트림이 입력된 경우에 있어서, 각각 취득한 vbv_delay_n과 vbv_delay_n3에 따라 카피 픽쳐를 삽입하고 혹은 스태핑 바이트를 삽입할 수 있다. 이에 따라 vbv_delay_n3에 대해 vbv_delay_n이 어떠한 값이더라도 카피 픽쳐를 삽입하고, 또한 스태핑 바이트를 삽입할 수 있기 때문에, 화질을 거의 열화시키는 일 없이 원하는 vbv_occupancy로 컨트롤할 수 있다.

기록 END점 직후의 픽쳐 타입이 P픽쳐인 경우에 있어서, 당해 P픽쳐로부터 I픽쳐로 시작되는 다음 픽쳐를 연결 녹화하는 경우에는, 도 12에 나타낸 바와 같이 시퀀스 헤더/GOP 헤더분만큼 레이트가 올라 버린다. 이 때문에, 시퀀스 헤더/GOP 헤더분에 따른 VBV 딜레이를 보정치로 구한 vbv_delay_n로부터 공제할 필요가 있다.

이 보정치를 계산할 때에는 정수로 스텝화한다. 이 정수에 의한 스텝화시에, 끝수가 생겼을 경우에는 절상함으로써, 시퀀스 헤더/GOP 헤더 분의 레이트를 낮추도록 한다. 연산한 보정치는 다음 픽쳐의 vbv_delay_n의 계승시, 카피 픽쳐나 스태핑량의 계산시에 있어서 이용한다.

다음으로 연산한 카피 픽쳐나 스태핑의 기록 방법에 대해 설명한다.

도 13에 나타낸 바와 같이, 자기 테이프상에는 각각 AUX_V가 형성되어 I픽쳐 또는 P픽쳐를 선두로 하고 B픽쳐를 포함한 데이터 그룹이 이미 기록되어 있다. 이와 관련하여, 도 13에 나타낸 예에서는 바탕 화상 데이터의 예로서 화상 데이터 처리 장치(1)에 대해 마지막으로 공급된 데이터 그룹(L)이 표시되어 있다.

이 데이터 그룹(L)의 기록 END점 이후의 재기록 위치에는, 1번째의 연결 녹화하는 다음 픽쳐를 포함한 데이터 그룹(N1)이 기록되게 된다. 이 데이터 그룹(N1)에 있어서도 보조 데이터를 기록하기 위한 AUX_V가 형성되어 있다.

또한 데이터 그룹(L)과 데이터 그룹(N1)간에는 삽입 보조 기록 영역(Edit AUX_V_h)이 형성되고 카피 픽쳐 및/또는 스태핑 바이트를 포함한 삽입 데이터 그룹(Edit Pack_V_h)이 기록된다. 이 Edit Pack_V_h는 VBV 버퍼의 비트 점유량에 따라 형성된다.

이 카피 픽쳐나 스태핑 바이트를 1개로 모은 Edit Pack_V_h는 어디까지나 데이터 그룹(L)이나 데이터 그룹(N1)과 독립한 데이터 그룹으로서 기록한다. 이에 따라, 상황에 따라 이 Edit Pack_V_h만을 분리할 수 있게 된다. Edit AUX_V_h에는 스태핑의 VBV 딜레이에 상당하는 값을 기록한다. 이 때, 데이터 그룹(N1)의 AUX-V에 기록되어 있는 vbv_delay_n을 계승하여 이 Edit AUX_V_h에 기록하여도 된다.

이와 같이 1번째의 연결 녹화가 행해진 기록 매체의 재기록 위치에 있어서 다른 화상 데이터를 다시 녹화하는, 이른바 2회째의 연결 녹화를 행하는 경우에는 이 Edit Pack_V_h를 분리하여 제거한다. 그리고 도 13에 나타낸 바와 같이, 2회째의 연결 녹화를 행하는 데이터 그룹(N2)이 기록된다. 이 데이터 그룹(N1)에 있어서도 보조 데이터를 기록하기 위한 AUX_V가 형성되어 있다. 또한 데이터 그룹(L)과 데이터 그룹(N2)간에 삽입 보조 기록 영역(Edit AUX_V_h2)가 형성되어 카피 픽쳐 및/또는 스태핑 바이트를 포함하는 삽입 데이터 그룹(Edit Pack_V_h2)이 기록된다.

이와 같이 2회째의 연결 녹화시에 있어서, 1번째의 연결 녹화시에 기록한 Edit Pack_V_h를 제거함으로써, 이하의 효과를 얻을 수 있다.

도 14는 1번째의 연결 녹화를 행한 데이터 그룹(N1)의 선두를 재기록 위치로 2회째의 연결 녹화를 행하는 경우의 시각에 대한 VBV 버퍼의 데이터 점유량을 나타내고 있다. 이 도 14에 나타낸 바와 같이, 데이터 그룹(N2)의 VBV 딜레이(vbv_delay_h2)는 데이터 그룹(N1)의 VBV 딜레이(vbv-delay_h1)보다 크고, 또한 데이터 그룹(L)의 vbv_delay_n보다 작다. 이 때문에, vbv_delay_h2와 vbv_delay_n을 비교하여, 삽입하는 카피 픽쳐의 매수나 스태핑 바이트의 양을 결정하면 충분하므로, 1번째의 연결 녹화시에 있어서 vbv_delay_n과 vbv_delay_h1의 관계에서 이미 불필요한 스태핑 바이트 등이 Edit Pack_V_h를 통해 기록되어 있다.

본 발명을 적용한 화상 데이터 처리 장치(1)에 의하면 데이터 그룹(N2)가 공급될 때까지, 1번째의 연결 녹화에 있어서의 스태핑 바이트 등을 포함한 Edit Pack_V_h가 제거되어 있다. 이 때문에, vbv_delay_h1을 무시하고, vbv_delay_h2와 vbv_delay_n의 사이에 삽입하는 스태핑 바이트의 양을 결정할 수 있다. 또한 불필요한 스태핑 바이트 등이 기록되는 일이 없어져, 불필요한 화면 홀드의 발생을 억제할 수 있게 된다.

한편, vbv_delay_n보다도 vbv_delay_h1이 크기 때문에 카피 픽쳐 및 스태핑 바이트가 삽입되는 경우에 있어서도, 데이터 그룹(N2)이 공급될 때까지 Edit Pack_V_h가 제거되어 있다. 이 때문에, vbv_delay_h1을 무시하고, vbv_delay_h2와 vbv_delay_n의 사이에서, 삽입하는 카피 픽쳐의 매수나 스태핑 바이트의 양을 결정할 수 있다. 또한 불필요한 카피 픽쳐나 스태핑 바이트 등이 기록되는 일이 없어져, 엔코드후의 화질의 열화를 방지하고, 나아가서는 불필요한 화면 홀드를 억제할 수 있다.

또 Edit Pack_V_h1이 스태핑 바이트만으로 구성되는 경우에는, 도 15에 나타낸 바와 같이 해당 스태핑 바이트를 구성하는 ES만에 대해 PES 헤더를 부가한다.

이에 따라, 스태핑 바이트만을 구성하는 ES를 다른 ES와 합하여 PES 패킷을 구성할 필요가 없어지고, 또한 스태핑의 경계가 명시되게 됨으로써, 디코드시에 있어서 해당 PES 헤더가 첨부된 스태핑 바이트를 용이하게 제거할 수 있다.

다음으로 2회째의 연결 녹화시에 있어서의 재기록 위치에 대해 설명한다.

도 16은 t61에서 시작되는 vbv_delay_n에 대해, 카피 픽쳐나 스태핑을 삽입시켜 t62에서 시작되는 vbv_delay_h1를 나타내고 있다. 이 때, 2회째의 연결 녹화가 행해지고 또한 추가 스태핑이 첨부된 vbv_delay_h2는, t62에서 추가 스태핑분만큼 늦은 t63에서 개시하게 된다.

이 때, vbv_delay_h2와 vbv_delay_n의 사이에 정확한 추가 스태핑량을 결정하여도 기록 개시 위치를 t63으로 하면, 2회째의 연결 녹화시에 있어서 제거되는 Edit Pack_V_h에 있어서의 스태핑 바이트 등의 분만큼 불필요한 화면 홀드가 발생해 버린다. 이 때문에, 본 발명에서는 2회째의 연결 녹화시에 있어서의 기록 개시 위치를 vbv_delay_n의 개시 시각인 t61로부터 추가 스태핑량 지연시킨 시각 t71이 되도록 제어한다.

즉 1번째의 연결 녹화시에 있어서의 스태핑 바이트량이 기록된 Edit Pack_V_h를 한번 제거하고, vbv_delay_h2와 vbv_delay_n의 사이에서 새롭게 추가 스태핑량을 계산하여, 이 계산한 스태핑량을 다음 픽쳐의 앞에 삽입한다. 이에 따라 불필요한 화면 홀드를 줄일 수 있다.

또 Edit AUX_V_h에는 카피 픽쳐인 것을 식별하기 위한 플래그나 그 카피 픽쳐의 매수를 식별하기 위한 플래그를 기록해 두어도 된다.

또 카피 픽쳐와 스태핑 바이트의 양쪽을 자기 테이프(4)상에 기록하는 경우에는, 도 17에 나타낸 바와 같이 먼저 카피 픽쳐를 삽입하고 그 후에 스태핑 바이트를 삽입한다. 이에 따라, 언더플로우의 발생을 방지할 수 있다.

또 본 발명은 상술한 실시의 형태로 한정되는 것이 아니라, 예를 들면 자기 테이프(4)에 기록하는 경우뿐만 아니라, 다른 자기 디스크를 이용한 다른 기록 매체에도 적용 가능하다. 또한 상술한 수법은 방송에 있어서도 적용할 수 있는 것은 물론이다.

상술한 바와 같이 본 발명에 관한 화상 데이터 처리 장치 및 방법은 VBV 버퍼의 비트 점유량을 목표치로 천이시킬 수 있도록, 기록 매체로부터 판독한 보조 데이터에 기초하여 VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하고, 상기 비트 점유량에 있어서의 목표치와 초기값을 비교하여, 해당 비교 결과에 따라 부호화하는 화상 데이터에 대해 각 GOP마다 할당하는 비트량을 제어한다.

이에 따라, 본 발명에 관한 화상 데이터 처리 장치 및 방법은 기록 매체로부터 판독한 보조 데이터가 어떠한 값이더라도, 카피 픽쳐를 삽입하고 또한 스태핑 바이트를 삽입할 수 있기 때문에, 화질을 열화시키는 일 없이 원하는 비트 점유량에 있어서의 목표치로 컨트롤할 수 있다. 또한 비트 점유량에 있어서의 목표치에 복수의 GOP수를 곱하여 서서히 보정할 수 있기 때문에, 1GOP당 보정량을 줄일 수 있어 일시적인 화질의 열화를 억제할 수 있다.

Claims

MPEG 방식에 의한 복호화시에 이용되는 VBV(Video Buffering Verifier) 버퍼의 비트 점유량이 목표치로 천이하도록, 부호화하는 화상 데이터에 대해 각 GOP(Group of Pictures)마다 할당하는 비트량을 제어하는 화상 데이터 처리 장치 에 있어서,

기록 매체로부터 판독한 보조 데이터에 기초하여, VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하는 연산 수단과,

상기 비트 점유량에 있어서의 목표치와 초기값을 비교하는 비교 수단과,

상기 비교 수단에 의한 비교 결과에 따라, 상기 각 GOP마다 할당하는 비트량을 제어하는 제어 수단을 구비하는 것을 특징으로 하는 화상 데이터 처리 장치.
제1항에 있어서, 상기 비교 수단은 상기 비트 점유량에 있어서의 목표치와 초기값과의 사이에서 차분을 구하고,

상기 제어 수단은 상기 연산 수단에 의해 구해진 차분을 상기 GOP의 수로 나눈 값에 기초하여 상기 각 GOP마다 할당하는 비트량을 제어하는 것을 특징으로 하는 화상 데이터 처리 장치.
제1항에 있어서, 상기 제어 수단은 GOP마다 할당한 비트량을, 픽쳐 타입에 따라 당해 GOP를 구성하는 각 픽쳐에 더 할당하는 것을 특징으로 하는 화상 데이터 처리 장치.
제1항에 있어서, 상기 연산 수단은 상기 보조 데이터로서, 다음에 삽입해야 할 픽쳐의 VBV 딜레이(VBV_delay_N)를 상기 기록 매체로부터 판독하는 것을 특징으로 하는 화상 데이터 처리 장치.
제1항에 있어서, 상기 제어 수단은 상기 비트 점유량에 있어서의 초기값이 목표치보다 낮은 경우에, I픽쳐의 앞에 있어서, 전(前)픽쳐를 반복하여 표시하는 카피 픽쳐를 적어도 1매 이상 삽입하는 것을 특징으로 하는 화상 데이터 처리 장치.
제5항에 있어서, 상기 제어 수단은 상기 비트 점유량에 있어서의 초기값이 설정치 R보다 낮은 경우에, 비디오 엔코더의 초기값 VBV_delay_S를 VBV_delay_N과 상기 카피 픽쳐의 삽입 매수(N)와 카피 픽쳐의 표시 시간(ET)과 카피 픽쳐의 전송 시간(FT)에 따라 결정하는 것을 특징으로 하는 화상 데이터 처리 장치.
제6항에 있어서, 상기 제어 수단은 VBV_delay_S를 이하의 식에 기초하여 산출하는 것을 특징으로 하는 화상 데이터 처리 장치.

VBV_delay_S=VBV_delay_N+N×(ET-FT)
제5항에 있어서, 상기 카피 픽쳐의 삽입 매수(N)는

N≥(설정치 R - VBV_delay_N)/(ET-FT)

인 것을 특징으로 하는 화상 데이터 처리 장치.
제4항에 있어서, 상기 비교 수단은 외부로부터 입력되는 화상 데이터의 선두에 위치하는 I픽쳐의 VBV 딜레이(VBV_delay_I)를 판독하고,

상기 제어 수단은 상기 VBV_delay_N과 상기 VBV_delay_I의 차분에 따라, 당해 I픽쳐의 앞에 카피 픽쳐를 적어도 1매 이상 삽입하고 혹은 스태핑 바이트를 삽입하는 것을 특징으로 하는 화상 데이터 처리 장치.
제9항에 있어서, 상기 제어 수단은 상기 VBV_delay_N과 상기 VBV_delay_I의 차가 O 이하인 경우에, 카피 픽쳐를 삽입하지 않고 스태핑 바이트만 삽입하는 것을 특징으로 하는 화상 데이터 처리 장치.
제9항에 있어서, 상기 제어 수단은 상기 VBV_delay_N과 상기 VBV_delay_I의 차가 O보다 큰 경우에, 카피 픽쳐를 적어도 1매 이상 삽입하고, 스태핑 바이트를 삽입하는 것을 특징으로 하는 화상 데이터 처리 장치.
제4항에 있어서, 상기 제어 수단은 상기 기록 매체에 있어서 마지막에 기록되어 있는 픽쳐가 P픽쳐인 경우에, 시퀀스 헤더와 GOP 헤더의 사이즈에 따라 상기 VBV_delay_N을 보정하는 것을 특징으로 하는 화상 데이터 처리 장치.
MPEG 방식에 의한 복호화시에 이용되는 VBV(Video Buffering Verifier) 버퍼의 비트 점유량이 목표치로 천이하도록, 부호화하는 화상 데이터에 대해 각 GOP(Group of Pictures)마다 할당하는 비트량을 제어하는 화상 데이터 처리 방법 에 있어서,

기록 매체로부터 판독한 보조 데이터에 기초하여, VBV 버퍼에 있어서의 비트 점유량의 초기값을 연산하고,

상기 비트 점유량에 있어서의 목표치와 초기값을 비교하고,

상기 비교 결과에 따라 상기 각 GOP마다 할당하는 비트량을 제어하는 것을 특징으로 하는 화상 데이터 처리 방법.
제13항에 있어서, 상기 비트 점유량에 있어서의 목표치와 초기값과의 사이에서 차분을 구하고,

상기 구한 차분을 상기 GOP의 수로 나눈 값에 기초하여, 상기 각 GOP마다 할당하는 비트량을 제어하는 것을 특징으로 하는 화상 데이터 처리 방법.
제13항에 있어서, GOP마다 할당한 비트량을 픽쳐 타입에 따라 당해 GOP를 구성하는 각 픽쳐에 더 할당하는 것을 특징으로 하는 화상 데이터 처리 방법.
제13항에 있어서, 상기 보조 데이터로서, 다음에 삽입해야 할 픽쳐의 VBV 딜레이(VBV_delay_N)를 상기 기록 매체로부터 판독하는 것을 특징으로 하는 화상 데이터 처리 방법.
제13항에 있어서, 상기 비트 점유량에 있어서의 초기값이 목표치보다 낮은 경우에, I픽쳐의 앞에 있어서 전픽쳐를 반복하여 표시하는 카피 픽쳐를 적어도 1매 이상 삽입하는 것을 특징으로 하는 화상 데이터 처리 방법.
제17항에 있어서, 상기 비트 점유량에 있어서의 초기값이 설정치 R보다 낮은 경우에, 비디오 엔코더의 초기값 VBV_delay_S를 VBV_delay_N과 상기 카피 픽쳐의 삽입 매수(N)와 카피 픽쳐의 표시 시간(ET)과 카피 픽쳐의 전송 시간(FT)에 따라 결정하는 것을 특징으로 하는 화상 데이터 처리 방법.
제18항에 있어서, 상기 VBV_delay_S를 이하의 식에 기초하여 산출하는 것을 특징으로 하는 화상 데이터 처리 방법.

VBV_delay_S=VBV_delay_N+N×(ET-FT)
제17항에 있어서, 상기 카피 픽쳐의 삽입 매수(N)는

N≥(설정치 R-VBV_delay_N)/(ET-FT)인 것을 특징으로 하는 화상 데이터 처리 방법.
제16항에 있어서, 외부로부터 입력되는 화상 데이터의 선두에 위치하는 I픽쳐의 VBV 딜레이(VBV_delay_I)를 판독하여, 상기 VBV_delay_N와 상기 VBV_delay_I의 차분에 따라, 당해 I픽쳐의 앞에 카피 픽쳐를 적어도 1매 이상 삽입하고 혹은 스태핑 바이트를 삽입하는 것을 특징으로 하는 화상 데이터 처리 방법.
제21항에 있어서, 상기 VBV_delay_N과 상기 VBV_delay_I와의 차분이 O 이하인 경우에, 카피 픽쳐를 삽입하지 않고 스태핑 바이트만 삽입하는 것을 특징으로 하는 화상 데이터 처리 방법.
제21항에 있어서, 상기 VBV_delay_N과 상기 VBV_delay_I와의 차분이 O보다 큰 경우에, 카피 픽쳐를 적어도 1매 이상 삽입하고 스태핑 바이트를 삽입하는 것을 특징으로 하는 화상 데이터 처리 방법.
제16항에 있어서, 상기 기록 매체에 있어서 마지막에 기록되어 있는 픽쳐가 P픽쳐인 경우에, 시퀀스 헤더와 GOP 헤더의 사이즈에 따라 상기 VBV_delay_N을 보정하는 것을 특징으로 하는 화상 데이터 처리 방법.