KR20050020710A - 부호화 장치 및 부호화 방법 - Google Patents

Abstract

리얼타임으로 동화상 데이터를 전송한 경우에 있어서 화질의 열화를 방지한다. 입력 화상 데이터로부터 B 픽쳐 데이터를 작성할 때에는, 입력 화상 데이터에 기초한 B 픽쳐 데이터와, 스킵 B 픽쳐 데이터를 작성하여 부호화 데이터 버퍼 메모리(5)에 축적해 두도록 한다. 그리고, vbv 버퍼에 의한 검증 결과에 기초하여, B 픽쳐 데이터를 스킵 B 픽쳐 데이터로 치환함으로써, 부호화 데이터 출력부(6)로부터 출력되는 비트 스트림 출력의 데이터량을 조정하는 것이 가능하게 된다.

Description

부호화 장치 및 부호화 방법{CODING DEVICE AND CODING METHOD}

본 발명은, 예를 들면 MPEG(Moving Picture Experts Group)의 규격으로 화상 데이터를 압축하여 부호화를 행하는 부호화 장치 및 부호화 방법에 관한 것이다.

종래부터 화상 데이터에 대하여 압축 처리를 행하는 방식으로서는, MPEG 방식이 제안되어 있고, 이 MPEG 방식에 의해 화상 데이터에 압축 처리를 행하여, 부호화하는 부호화 장치가 있다.

상기한 바와 같은 부호화 장치에서는, 입력 화상 데이터를 일단 화상 메모리에 저장한 후, 압축 부호화하도록 된다. 그리고, 압축 부호화된 부호화 데이터를, 버퍼 메모리에 저장한 후, 비트 스트림으로서 출력하도록 된다.

또, MPEG1 및 MPEG2는, ISO(International Organization for Standardization : 국제 표준화 기구)와 IEC(International Electrotechnical Commission : 국제 전기 표준 회의)에 의해서 표준화가 진행된 컬러 동화상 축적용 부호화 방식으로 된다.

MPEG1은, 주기적인 프레임내 부호화를 도입한 움직임 보상 예측/DCT(이산 코사인 변환) 방식을 부호화 알고리즘으로 하고, 1.5Mbps 정도의 전송 속도를 갖는 것으로 한다. 또한, MPEG2는, MPEG1의 상위 버전으로서, 수Mbps∼ 수십Mbps의 광범위한 전송 속도를 대상으로 한다.

MPEG1은, 주로 CD-ROM 등의 축적 미디어를 적용 대상으로 한다. 또한 MPEG2는 방송이나 AV 기기를 적용 대상으로 하고 있다.

그런데, 상기한 바와 같은 부호화 장치로부터 출력되는 비트 스트림을 복호 장치측으로 전송하는 경우에는, 복호 장치측에서 연속하는 화상이 도중에 끊기지 않고, 디코드를 행할 수 있도록 하기 위해서, 부호화 장치측에서 데이터량의 제어를 행할 필요가 있다.

이 때문에, 부호화 장치에는, 복호 장치측의 버퍼 메모리의 데이터량을 관리하기 위해서, MPEG의 규격으로 규정되어 있는 vbv(Video Buffering Verifier) 버퍼라고 불리는 이상(理想) 디코더 모델의 가상 버퍼를 설정하고, 이 vbv 버퍼가 오버 플로우하거나, 언더 플로우하지 않도록 데이터량의 검증을 행하도록 하고 있다.

그리고, 부호화 장치에서는, 이 vbv 버퍼의 검증 결과에 기초하여, 부호화 데이터의 데이터량을 억제하거나, 혹은 전송 시의 비트 레이트를 변경하는 것 등을 하여, 부호화 장치로부터 출력되는 복호 장치측의 버퍼 메모리의 데이터량을 조정하도록 하고 있다.

여기서, 도 8을 참조하면서, 종래의 부호화 장치에서, 입력 화상 데이터의 부호화를 행했을 때에 vbv 버퍼에 축적되는 데이터 축적량의 천이 상태에 대하여 설명한다.

또, 도 8에서는, 비트 레이트를 R, 프레임 레이트에 의해 결정되는 픽쳐 간의 시간을 Tp로 하여 설명한다.

또한, vbv 버퍼는, 상기한 바와 같이 이상 디코더 모델의 가상 버퍼이기 때문에, 그 전체의 용량 사이즈(vbv_buffer_size)는, 복호 장치측의 버퍼 메모리의 용량 사이즈에 맞추어서 설정된다.

vbv 버퍼는, 예를 들면 시점 t0으로부터 입력 화상 데이터의 부호화가 개시되는 것으로 하고, 이후, 예를 들면 비트 레이트 R의 데이터 전송 속도에 의해 데이터가 축적되게 된다. 그리고, 시점 t0으로부터 시간 Td만큼 경과한 시점 t1에서, 복호 장치측에서 디코드 처리가 개시되면, vbv 버퍼로부터 1장째의 픽쳐에 상당하는 데이터 b1이 판독된다. 그리고, 시점 t1로부터 Tp 경과한 시점 t2에서, vbv 버퍼로부터 2장째의 픽쳐에 상당하는 데이터 b2가 판독된다. 이후에는, 시점 t2로부터 시간 길이 Tp 경과한 시점 t3, t4···마다, vbv 버퍼로부터 3장째, 4장째의 픽쳐에 상당하는 데이터 b3, b4가 판독되게 된다.

vbv 버퍼는, 이러한 동작을 반복하여 행함으로써, 각 시점에서 판독되는 각 픽쳐의 데이터량이, 각 시점에서의 데이터 축적량을 초과하지 않는지의 여부의 검증을 행하도록 하고 있다.

각 시점에서의 데이터 축적량을 구하는 방법으로서는, 예를 들면 시점 t4에 있어서의 데이터 축적량은, 예를 들면 시점 t3에 있어서의 픽쳐에 상당하는 데이터 b3이 판독된 후의 vbv 버퍼의 비트 잔량을 B0으로 하면, 다음의 시점 t4에 있어서의 데이터 축적량 B1은, 시점 t3에 있어서의 비트 잔량 B0과, 시점 t3으로부터 시점 t4까지의 시간 길이 Tp와, 그 비트 레이트 R로부터 이하와 같은 연산에 의해 구할 수 있다.

B1=B0+R×Tp

그리고, 시점 t4에서는, vbv 버퍼로부터 4장째의 픽쳐에 상당하는 데이터 b4가 판독되게 되는데, 이 때에는, vbv 버퍼의 데이터 축적량 B1을 상한으로 하여 4장째의 픽쳐에 상당하는 데이터 b4의 판독이 가능한지의 여부를 검증하도록 하고 있다. 그리고, 이러한 검증을 행한 결과, 시점 t4에 있어서, vbv 버퍼로부터 4장째의 픽쳐에 상당하는 데이터 b4를 판독하면, vbv 버퍼가 언더 플로우하는 경우에는, 예를 들면 화상 압축 부호화부에서 4장째의 픽쳐의 부호화 데이터를 작성할 때의 데이터량을 줄이거나, 혹은 4장째의 픽쳐에 상당하는 데이터를 전송할 때의 비트 레이트를 변경하는 등에 의해, vbv 버퍼가 언더 플로우하지 않도록 제어를 행하도록 하고 있었다.

또, 본 발명에 관련하는 기술 문헌으로서는, 이하의 특허 문헌을 예로 들 수 있다.

<특허 문헌1>

일본 특개평11-262008호 공보

상기한 바와 같이, 종래의 부호화 장치에서는, vbv 버퍼의 데이터 축적량이 1매의 픽쳐에 상당하는 데이터량보다 작은 경우에는, 그 픽쳐의 부호화 데이터를 작성할 때의, Q(양자화) 스케일을 크게 하거나, DCT(이산 코사인 변환) 계수를 삭감하는 등의 처리를 행하는 등에 의해 그 픽쳐의 데이터량을 줄여 복호 장치측의 버퍼 메모리가 파탄되지 않도록 제어를 행하도록 하고 있었다.

그러나, 상기한 바와 같은 제어를 행한 경우에는, 예를 들면 데이터량을 줄인 픽쳐가 화상 품질에 크게 영향을 주는 픽쳐인 경우, 예를 들면 그 데이터량을 줄인 픽쳐가, 다른 픽쳐를 디코드할 때에 참조 화상으로서 이용되는 픽쳐인 경우에는, 복호 장치에서는 수 프레임에 걸쳐 화질의 열화가 발생한다고 하는 결점이 있었다.

특히, 방송 또는 통신 등의 리얼타임에서의 데이터 전송이 요구되는 시스템에서 처리를 행하는 경우, 상기한 바와 같은 구성의 부호화 장치에서는 복호 장치측에서 현저한 화질 열화를 초래할 우려가 있었다.

그래서, 본 발명은 상기한 바와 같은 점을 감안하여 이루어진 것으로, 입력 화상 데이터를 압축도가 서로 다른 소정 단위의 화상 데이터로 부호화한 부호화 데이터를 출력하도록 구성되어 있음과 함께, 입력 화상 데이터로부터 압축도가 가장 큰 제1 부호화 데이터를 작성할 때에는, 제1 부호화 데이터와, 적어도 상기 제1 부호화 데이터보다 데이터량이 적은 스킵 부호화 데이터를 작성하여 출력하는 화상 부호화 수단과, 이 화상 부호화 수단으로부터의 부호화 데이터를 일시적으로 축적하는 축적 수단과, 이 축적 수단에 축적된 상기 부호화 데이터에 기초를 둔 비트 스트림을 출력하는 데이터 출력 수단과, 이 데이터 출력 수단으로부터 출력되는 비트 스트림 출력을 일시 축적하는 것으로서, 소정 타이밍에서 부호화 데이터 단위의 데이터의 판독이 행해지는 복호 장치측의 버퍼 메모리에서의 데이터 축적량을 가상적으로 구하기 위한 가상 버퍼를 발생시키는 가상 버퍼 발생 수단과, 부호화 데이터의 작성 상황으로부터, 가상 버퍼에서의 데이터 축적량에 있어서 얻어지는 데이터 축적량을 검증하는 검증 수단과, 이 검증 수단의 검증 결과에 기초하여, 상기 제1 부호화 데이터를 상기 스킵 부호화 데이터로 치환하여 부호화 제어를 행하는 부호화 제어 수단을 구비하여 구성하는 것으로 했다.

또한 본 발명의 부호화 방법은, 입력 화상 데이터를 압축도가 서로 다른 소정 단위의 화상 데이터로 부호화한 부호화 데이터를 출력하도록 구성되어 있음과 함께, 입력 화상 데이터로부터 압축도가 가장 큰 제1 부호화 데이터를 작성할 때에는, 제1 부호화 데이터와, 적어도 제1 부호화 데이터보다 데이터량이 적은 스킵 부호화 데이터를 작성하여 출력하는 화상 부호화 단계와, 화상 부호화 단계에서 작성된 부호화 데이터를 일시적으로 축적하는 축적 단계와, 축적 단계에서 축적된 부호화 데이터에 기초를 둔 비트 스트림을 출력하는 데이터 출력 단계와, 데이터 출력 단계로부터 출력되는 비트 스트림 출력에 의해, 복호 장치측의 버퍼 메모리에 축적되는 데이터량을 가상적으로 구하는 가상 버퍼 단계와, 가상 버퍼 단계를 이용하여 복호 장치측의 데이터량의 검증을 행하는 검증 단계와, 검증 단계의 검증 결과에 기초하여, 제1 부호화 데이터를 스킵 부호화 데이터로 치환하여 부호화 제어를 행하는 부호화 제어 단계를 실행하도록 했다.

상기 구성에 따르면, 입력 화상 데이터로부터 제1 부호화 데이터를 작성할 때에는, 이 제1 부호화 데이터보다 데이터량이 적은 스킵 부호화 데이터를 작성하도록 된다. 그리고, 가상 버퍼 수단을 이용한 검증 수단에 의한 검증 결과에 기초하여, 제1 부호화 데이터를 스킵 부호화 데이터로 치환함으로써, 데이터 출력 수단으로부터 출력되는 비트 스트림 출력의 데이터량을 조정하는 것이 가능하게 된다.

<실시예>

이하, 본 발명의 실시예로서의 부호화 장치에 대하여 설명한다.

도 1은, 본 실시예로서의 부호화 장치의 구성을 도시한 블록도이다.

이 도 1에 있어서, 화상 입력부(2)를 통하여 입력된 화상 데이터는, 화상 메모리(3)에 입력된다. 화상 메모리(3)는, 예를 들면 화상 입력부(2)로부터의 화상 데이터를 일시적으로 유지하도록 된다.

화상 압축 부호화부(4)는, 화상 메모리(3)에 유지된 화상 데이터에 대하여 MPEG에 의한 압축 부호화 처리를 실시하여 출력하도록 된다.

즉, 화상 압축 부호화부(4)에서는, 영상 신호(1 프레임)의 블록화에 의한 세분화를 행하여, 각 블록의 데이터의 DCT(이산 코사인 변환)를 행하고, 또한 비트수를 줄이기 위해서 재양자화를 행한다(고역 성분을 0으로 함). 그리고, 블록을 1 프레임의 화면 좌측위로 되는 블록으로부터 지그재그로 되도록 블록순을 재배열하고, 런랭스코딩을 행하고 또한 비트수를 압축하도록 하고 있다.

여기서, 화상 압축 부호화부(4)에 있어서 작성되는 부호화 데이터에 대하여 간단히 설명해 둔다.

화상 압축 부호화부(4)에서는, 상기한 바와 같이 하여 압축 처리되는 화상 신호의 각 프레임에 대해서는, 그 시간적으로 전후가 되는 프레임에서는 영상 정보로서 매우 유사한 것으로서, 이것을 이용하여 더욱 정보의 압축이 행하여져, 압축도가 서로 다른 3 종류의 화상 데이터(1 프레임의 영상 데이터)가 형성된다. 이들은, I 픽쳐(Intra Picture), P 픽쳐(Predicted Picture), B 픽쳐(Bidirectionally predicted Picture)라고 불린다.

이 경우, I 픽쳐는, 프레임내 예측 화면만으로 이루어지는 화상 데이터로 되고, P 픽쳐는 프레임간 순방향 예측에 의해 생성되는 화상 데이터로 된다. 또한 B 픽쳐는 프레임 간 쌍방향 예측에 의해 생성되는 화상 데이터로 된다. 이 때문에, I 픽쳐와 P 픽쳐는 원화상과 동일한 순서로 부호화된다.

한편, B 픽쳐는, I 픽쳐와 P 픽쳐를 먼저 처리한 후, 사이에 삽입되는 B 픽쳐를 후에 부호화하도록 하고 있다.

또한, 어떤 I 픽쳐로부터 시작되는 복수의 픽쳐에 의해, GOP(Group of Picture)가 구성된다. 이 경우, 각 GOP의 독립성을 유지하여, 랜덤 액세스를 행하기 위해서는, 1개의 GOP 내에는 최저 1매의 I 픽쳐가 필요하게 된다. 또한 GOP의 마지막에는, I 픽쳐 또는 P 픽쳐일 것이 필요하게 된다.

또한 본 실시예의 화상 압축 부호화부(4)는, 제1 부호화 데이터인 B 픽쳐의 부호화 데이터(이하, 「B 픽쳐 데이터」라 함)를 작성할 때에, 모든 매크로 블록에 있어서 계수 「0」, 벡터 통일로 참조값 「0」으로 되는, 소위 스킵 B 픽쳐라고 불리는 화상 데이터를 합쳐서 작성하도록 된다. 그리고, 이와 같이 작성한 스킵 부호화 데이터로 되는 스킵 B 픽쳐의 부호화 데이터(이하, 「스킵 B 픽쳐 데이터」라 함)를, B 픽쳐 데이터와 함께 부호화 데이터 버퍼 메모리(5)로 출력하도록 된다. 또, 스킵 B 픽쳐 데이터는, 화상 사이즈가 결정되면 일의적으로 구해지는 것이다.

부호화 데이터 버퍼 메모리(5)는, 화상 압축 부호화부(4)에 의해 부호화된 부호화 데이터를 취득하고, 일시적으로 축적하여, 부호화 데이터 출력부(6)에 대하여 출력하도록 된다.

이러한 부호화 데이터 버퍼 메모리(5)의 실메모리 사이즈(실용량)는, MPEG의 규격으로 규정되어 있는 vbv 버퍼의 가상 버퍼보다 큰 메모리 사이즈로 된다.

그래서, 본 실시예에서는, 부호화 데이터 버퍼 메모리(5)의 실메모리 사이즈가 vbv 버퍼의 메모리 사이즈보다 큰 것을 이용하여, 화상 압축 부호화부(4)로부터 취득한 데이터를 이산적으로 판독할 수 있도록 구성되어 있다.

즉, 본 실시예로서의 부호화 데이터 버퍼 메모리(5)는, 종래 이용되고 있었던, 링 버퍼나 FIFO(First in First out) 버퍼적인 것과는 달리, 어드레스 제어에 의해, 이산적으로 기억되어 있는 데이터를 연속한 데이터로서 판독할 수 있는 것으로 된다.

부호화 데이터 출력부(6)는, 부호화 데이터 버퍼 메모리(5)로부터 입력되는 픽쳐 데이터를 스트림으로서 출력하도록 된다.

부호화 제어부(7)는, 화상 압축 부호화부(4), 부호화 데이터 버퍼 메모리(5), 부호화 데이터 출력부(6)의 제어를 행하도록 된다.

즉, 부호화 제어부(7)는, 화상 압축 부호화부(4)에 있어서, 화상 메모리(3)에 축적된 화상 데이터로부터 제2 부호화 데이터인 I 픽쳐나 P픽쳐, 혹은 제1 부호화 데이터인 B 픽쳐 등의 부호화 데이터를 작성하기 위한 제어를 실행한다. 또한, 화상 메모리(3)에 축적된 화상 데이터로부터 B 픽쳐의 부호화 데이터를 작성할 때에는, 스킵 B 픽쳐의 부호화 데이터를 작성하기 위한 제어도 실행한다.

또한 부호화 제어부(7)는, 부호화 데이터 버퍼 메모리(5)의 실메모리 영역에 기억, 유지되어 있는 픽쳐 데이터로부터 임의의 픽쳐 데이터만을 판독하여 출력시키기 위한 제어도 실행하도록 된다. 즉, 부호화 데이터 버퍼 메모리(5)에 이산적으로 기억, 유지되어 있는 픽쳐 데이터를 연속한 픽쳐 데이터로서 출력하는 것이 가능하게 된다. 예를 들면 부호화 제어부(7)는, 도 2에 도시한 바와 같이, 부호화 데이터 버퍼 메모리(5)의 실메모리 영역에 유효 데이터로서, 이산적으로 존재하는 복수의 픽쳐 데이터 A, B, C를 연속한 픽쳐 데이터로서 출력하는 것이 가능하게 된다.

이 결과, 부호화 데이터 출력부(6)로부터 출력되는 부호화 데이터는, 예를 들면 픽쳐 데이터 A, 픽쳐 데이터 B, 픽쳐 데이터 C의 순으로 연속한 것으로 된다.

또한, 부호화 장치(1)에서는, 부호화 데이터 출력부(6)로부터 출력되는 비트 스트림 출력을, 도시 생략된 복호 장치(디코더)측으로 전송하는 경우에는, 복호 장치측에서 도중에 끊기지 않고, 디코드할 수 있도록 데이터량을 제어할 필요가 있다.

이 때문에, 부호화 장치(1)에는, 복호 장치측의 데이터량을 검증하기 위한 가상 버퍼 수단으로서, MPEG의 규격으로 규정되어 있는 vbv 버퍼가 설정되어 있고, 이 vbv 버퍼에 의해, 부호화 데이터의 발생량을 관리하여, 복호 장치측의 버퍼가 파탄되지 않도록, 디코더측의 데이터량의 제어를 행하도록 하고 있다.

이러한 가상 버퍼 수단인 vbv 버퍼는, 물리적인 메모리로서는 존재하지 않는 것으로서, 예를 들면 부호화 제어부(7)가, 그 내부에 설치되어 있는 RAM(Random Access Memory; 7a) 등을 작업 영역으로 하고, vbv 버퍼에 대한 연산을 실행하는 것에 의해 검증 수단으로서 형성되는 것이다. 또, vbv 버퍼는, 부호화 데이터 버퍼 메모리(5)를 작업 영역으로서 이용하는 것도 가능하다.

또한 부호화 제어부(7)는 부호화 제어 수단으로서, vbv 버퍼에 의해 얻어진 복호 장치측의 데이터량을 검증한 검증 결과에 기초하여, 부호화 데이터 버퍼 메모리(5)의 판독 제어를 행하도록 하고 있다.

여기서, 도 3∼도 5를 참조하면서, 본 실시예의 부호화 장치에서, 입력 화상 데이터의 부호화를 행했을 때에 vbv 버퍼에 축적되는 데이터 축적량의 천이 상태에 대하여 설명한다. 또, 이들 도 3∼도 5에서는, 비트 레이트를 R, 프레임 레이트에 의해 결정되는 픽쳐 간의 시간을 Tp로 한다.

본 실시예에 있어서도, vbv 버퍼는, 상기 진술한 바와 같이 이상 디코더 모델의 가상 버퍼이기 때문에, 그 전체의 용량 사이즈(vbv-buffer-size)는, 복호 장치측의 버퍼 메모리의 용량 사이즈에 맞추어서 설정된다.

vbv 버퍼의 기본적인 동작은, 먼저 도 8을 이용하여 설명한 종래의 vbv 버퍼와 동일하게 된다.

즉, 본 실시예의 vbv 버퍼는, 도 3에 도시한 바와 같이, 예를 들면 시점 t0으로부터 입력 화상 데이터의 부호화가 개시되면, 이후, 예를 들면 비트 레이트 R로 데이터가 축적되게 된다. 그리고, 시점 t0으로부터 시간 Td만큼 경과한 어느 시점, 적어도 vbv 버퍼 축적되는 데이터가 오버 플로우하지 않은 어느 시점 t1에 있어서, 복호 장치측에서 디코드 처리가 개시되는 것으로 하여, vbv 버퍼로부터 1장째의 픽쳐에 상당하는 데이터 b1이 판독된다. 그리고, 시점 t1로부터 Tp 경과한 시점 t2에 있어서, vbv 버퍼로부터 2장째의 픽쳐에 상당하는 데이터 b2가 판독된다. 그리고, 시점 t2로부터 시간 길이 Tp 경과한 시점 t3···에 있어서, vbv 버퍼로부터 3장째의 픽쳐에 상당하는 데이터 b3이 판독되게 된다. 이후에는, 시점 t3으로부터 시간 길이 Tp 경과할 때마다, vbv 버퍼로부터 각 시점에서의 픽쳐에 상당하는 데이터가 판독되게 된다.

이와 같이 본 실시예의 vbv 버퍼에 있어서도, 상기한 바와 같은 동작을 반복하여 행함으로써, 각 시점에서 판독되는 각 픽쳐의 데이터량이 각 시점에서의 데이터 축적량을 초과하지 않는지의 여부의 검증을 행하도록 하고 있다.

각 시점에서의 데이터 축적량을 구하는 방법으로서는, 예를 들면 시점 t4에 있어서의 데이터 축적량은, 예를 들면 시점 t3에 있어서의 픽쳐에 상당하는 데이터 b3이 판독된 후의 vbv 버퍼의 비트 잔량을 B0으로 하면, 다음의 시점 t4에 있어서의 데이터 축적량 B1은, 시점 t3에 있어서의 비트 잔량 B0과, 시점 t3으로부터 시점 t4까지의 시간 길이 Tp와 그 비트 레이트 R로부터 이하와 같은 연산에 의해 구할 수 있다.

B1=B0+R×Tp

그 후에, 본 실시예의 vbv 버퍼에서는, 예를 들면 시점 t4에 있어서 vbv 버퍼로부터 판독되는 4장째의 픽쳐에 상당하는 픽쳐 데이터 b4가, I 픽쳐 또는 P 픽쳐인 경우, 이 시점 t4에 있어서의 픽쳐 데이터를 검증 대상 데이터로 한다. 그리고, 이 시점 t4의 하나 전의 판독 시점 t3에 있어서, vbv 버퍼로부터 판독된 픽쳐가 B 픽쳐인 경우에는, 시점 t3에 있어서 판독한 픽쳐의 데이터 b3을, 연산에 의해 구한 스킵 B 픽쳐의 데이터 bs로 치환했을 때의 비트 잔량 B0'를 구하도록 하고 있다.

시점 t3의 B 픽쳐를 스킵 B 픽쳐로 치환했을 때의 시점 t4에 있어서의 데이터 축적량 B1'은, 비트 잔량 B0'와, 시점 t3으로부터 시점 t4까지의 시간 길이 Tp와 그 비트 레이트 R로부터, 이하와 같은 연산에 의해 구할 수 있다.

B1'=B0'+R×Tp

여기서, 예를 들면 도 4에 도시한 바와 같이, 시점 t4의 픽쳐(I 픽쳐 또는 P 픽쳐)에 상당하는 데이터 b4가 데이터 축적량 B1보다 큰 것으로(b4>B1) 하면, 이 경우에는, vbv 버퍼가 언더 플로우하게 된다. 즉, 복호 장치의 버퍼 메모리가 데이터 부족의 상태에 처하게 된다.

이 때문에, 종래의 부호화 장치에서는, 시점 t4의 픽쳐의 부호화 데이터를 작성할 때의 데이터량을 줄이거나, 혹은 픽쳐에 상당하는 비트 스트림을 출력할 때의 비트 레이트를 변경하는 등의 제어를 행하도록 하고 있었다.

그러나, 이 픽쳐 데이터가 B 픽쳐를 디코드할 때의 참조 화상으로 되는 I 픽쳐나, P 픽쳐의 경우에는, I 픽쳐나 P 픽쳐의 화질뿐만 아니라, 참조 화상으로서 이용한 B 픽쳐의 화질도 열화하기 때문에, 상기 진술한 바와 같이, 수 프레임에 걸쳐 화질이 열화하는 경우가 있다.

그래서, 본 실시예의 부호화 장치(1)에서는, 도 4에 도시한 바와 같이, I 픽쳐 혹은 P 픽쳐에 상당하는 데이터 b4가, 시점 t3의 픽쳐가 B 픽쳐일 때의 데이터 축적량 B1보다 큰(b4>B1) 경우에는, 도 5에 도시한 바와 같이, 시점 t3에 있어서의 픽쳐를 B 픽쳐로부터 스킵 B 픽쳐로 치환하도록 하고 있다.

이 결과, 도 5에 도시한 바와 같이, 시점 t4에 있어서의 데이터 축적량 B1을 B1'로 하고, 시점 t4에 있어서 I 픽쳐 또는 P 픽쳐에 상당하는 데이터 b4가 데이터 축적량 B1'보다 작아져, vbv 버퍼가 언더 플로우하지 않도록 할 수 있다. 즉, vbv 버퍼에 있어서 복호 장치의 버퍼 메모리에 파탄이 발생하지 않는 것을 검증할 수 있게 된다.

여기서, 도 6을 이용하여, 본 실시예의 부호화 장치(1)에 의해, 상기한 바와 같은 vbv 버퍼의 검증 결과에 기초를 둔 비트 스트림을 출력하기 위한 동작에 대하여 설명한다.

상기 설명한 바와 같이, 부호화 데이터 버퍼 메모리(5)의 실메모리 사이즈는 vbv 버퍼의 메모리 사이즈보다 큰 것으로 한다.

그래서, 본 실시예의 부호화 장치(1)에서는, 상기한 바와 같은 부호화 데이터 버퍼 메모리(5)를 유효하게 이용하도록 하고 있다. 즉, 부호화 제어부(7)의 제어에 의해, 부호화 데이터 버퍼 메모리(5)에 대하여 이산적으로 축적된 데이터를 연속한 데이터로 하여 부호화 데이터 출력부(6)에 대하여 출력함으로써, vbv 버퍼의 검증 결과에 기초를 둔 비트 스트림을 출력하도록 하고 있다.

이 때문에, 본 실시예의 부호화 장치(1)에서는, 부호화 제어부(7)가, 화상 압축 부호화부(4)에 있어서, B 픽쳐 데이터를 작성할 때에, 이 B 픽쳐 데이터와, 이 B 픽쳐 데이터보다 데이터량이 적은 스킵 B 픽쳐 데이터를 작성하고 부호화 데이터 버퍼 메모리(5)에 축적하도록 하고 있다.

그리고, 상기한 바와 같이 vbv 버퍼에 있어서, 복호 장치측의 데이터량이 규정 범위를 초과했다고 검증되었을 때에는, 부호화 데이터 버퍼 메모리(5) 상에 있어서, B 픽쳐 데이터를 스킵 B 픽쳐 데이터로 재기입, 부호화 데이터 출력부(6)로부터는, 부호화 데이터 버퍼 메모리(5) 상에 있어서 재기입된 스킵 B 픽쳐 데이터만을 출력하도록 하고 있다. 이에 의해, 본 실시예의 부호화 장치(1)에서는, 복호 장치측의 버퍼 메모리가 파탄되지 않는 비트 스트림을 출력할 수 있게 된다.

또, vbv 버퍼에 있어서, 축적되는 데이터량이 규정 범위를 초과하지 않았다고 검증되었을 때에는, 종래와 마찬가지의 비트 스트림을 출력하도록 하고 있다. 즉, 부호화 데이터 버퍼 메모리(5) 상에 있어서, 시점 t3에 있어서의 픽쳐 데이터를 B 픽쳐 데이터로부터 스킵 B 픽쳐 데이터로 재기입하지 않고, 비트 스트림이 출력되게 된다.

이와 같이, 본 실시예의 부호화 장치(1)에 있어서는, vbv 버퍼의 검증 결과에 기초하여, B 픽쳐를 스킵 B 픽쳐로 치환함으로써, 복호 장치에 의해 복호할 때에 화질을 유지하는 데에 있어서 중요하게 되는, I 픽쳐 또는 P 픽쳐의 데이터량을 줄이지 않고, 복호 장치측으로 전송되는 데이터량의 조정을 행하도록 하고 있다.

이와 같이 구성하면, 예를 들면 I 픽쳐나 P 픽쳐의 양자화 스케일을 개략적으로 처리하여 데이터량을 줄이는 경우에 비교하여, 화상 품질의 향상을 도모할 수 있게 된다. 이것은 B 픽쳐는 양자화 스케일을 개략적으로 처리해도 평균적 화질을 유지할 수 있기 때문이다.

따라서, 본 실시예로 되는 부호화 장치를, 리얼타임의 전송이 요구되는 방송이나 AV 시스템 등에 적용한 경우에 화질을 대폭 향상시킬 수 있어서, 매우 유용하게 된다.

도 7은, 상기한 바와 같은 vbv 버퍼를 이용한 검증 동작을 실현하기 위해서, 부호화 제어부(7)가 실행하는 처리를 도시한 흐름도이다. 또, 이하에 도시하는 처리 동작은, vbv 버퍼에 있어서, I 픽쳐 또는 P 픽쳐에 상당하는 데이터의 부호화를 행할 때에 실행하도록 된다

이 경우, 부호화 제어부(7)는, 우선, 단계 S101에 있어서, vbv 버퍼로부터 I 픽쳐 또는 P 픽쳐의 부호화가 행하여지는 어느 시점으로부터 하나 전의 시점에서의 vbv 버퍼의 버퍼 잔량 B0과, 목표 비트 레이트 R로부터, 어느 시점에서의 I 픽쳐 또는 P 픽쳐의 부호화가 행하여지기 전의 vbv 버퍼의 데이터 축적량 B1을 구하도록 한다.

계속되는 단계 S102에 있어서, 하나 전의 시점에서의 B 픽쳐를 스킵 B 픽쳐로 했을 때의 데이터 bs를 구하도록 한다.

다음으로, 단계 S103에 있어서, 하나 전의 시점에서의 B 픽쳐를 스킵 B 픽쳐로 했을 때의 vbv 버퍼 잔량 B0'와, 목표 비트 레이트 R로부터, 어느 시점에서의 I 픽쳐 또는 P 픽쳐의 부호화가 행하여지기 전의 vbv 버퍼의 데이터 축적량 B1'을 구하도록 한다.

그리고, 다음의 단계 S104에 있어서, vbv 버퍼의 데이터 축적량 B1'을 상한으로 하여, I 픽쳐 또는 P 픽쳐의 부호화를 행하도록 한다.

다음으로, 단계 S105에 있어서, I 픽쳐 또는 P 픽쳐의 픽쳐 데이터가 vbv 버퍼의 데이터 축적량 B1을 초과하였는지의 여부의 판별을 행하여, 데이터 b가 vbv 버퍼의 데이터 축적량 B1을 초과하였다고 판별했을 때는, 단계 S106으로 진행한다.

그리고, 단계 S106에 있어서, 하나 전의 시점의 B 픽쳐를 스킵 B 픽쳐로 치환하고 처리를 종료하게 된다.

한편, 단계 S105에 있어서, 데이터 b가 vbv 버퍼의 데이터 축적량 B1을 초과하지 않았다고 판별했을 때는, B 픽쳐를 스킵 B 픽쳐로 치환하지 않고 처리를 종료하게 된다.

이러한 처리를 행하도록 하면, 상기 도 3∼도 5에 도시한 vbv 버퍼의 동작을 부호화 제어부(7)에 의해 실현할 수 있다.

또, 본 실시예에 있어서는, MPEG 방식에 의한 부호화 방식을 예로 들어 설명했지만, 이것은 어디까지나 일례로서, MPEG 방식 이외의 부호화 방식에도 적용 가능하다.

또한, 본 실시예에서는, 본 발명으로서의 vbv 버퍼를 이용한 검증 동작을 I 픽쳐 또는 P 픽쳐의 부호화 시에 행하는 것으로서 설명했지만, B 픽쳐의 부호화 시에 행하는 것도 가능하다.

또한, 본 실시예로서의 부호화 장치의 구성은, 어디까지나 일례로서, 가상 버퍼를 구비한 부호화 장치이면 어떠한 구성의 것에도 적용 가능하다.

이러한 본 발명에 따르면, 화질을 유지하는 데에 있어서 중요하게 되는, 제1 부호화 데이터 이외의 제2 부호화 데이터의 데이터량을 줄이지 않고, 데이터 출력 수단으로부터 출력되는 비트 스트림 출력의 데이터량을 조정하는 것이 가능하게 된다.

이 결과, 복호 장치측에서 동화상을 복호했을 때에, 종래와 같이 수 프레임에 걸쳐 화질이 크게 손상되는 일 등이 없어서, 화질을 대폭 향상시킬 수 있게 된다.

특히, 본 발명의 부호화 장치는, 복호 장치에의 동화상 데이터를 리얼타임의 전송이 요구되는 방송이나 AV 시스템에 적용한 경우에 매우 유용하게 되는 것이다.

도 1은 본 발명의 실시예로서의 화상 부호화 장치의 구성을 도시한 블록도.

도 2는 본 실시예로서의 부호화 데이터 출력부의 구성을 도시한 도면.

도 3은 본 실시예로서의 vbv 버퍼에 축적되는 데이터의 천이 상태를 도시한 도면.

도 4는 본 실시예로서의 vbv 버퍼에 축적되는 데이터의 천이 상태를 도시한 도면.

도 5는 본 실시예로서의 vbv 버퍼에 축적되는 데이터의 천이 상태를 도시한 도면.

도 6은 본 실시예로 되는 부호화 데이터 출력부의 구성을 도시한 도면.

도 7은 본 실시예로 되는 화상 부호화 장치의 부호화 제어부가 실행하는 처리를 도시한 흐름도.

도 8은 종래의 vbv 버퍼에 축적되는 데이터의 천이 상태를 도시한 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 부호화 장치

2 : 화상 입력부

3 : 화상 메모리

4 : 화상 압축 부호화부

5 : 부호화 데이터 버퍼 메모리

6 : 부호화 데이터 출력부

7 : 부호화 제어부

7a : RAM

Claims (3)

1. 입력 화상 데이터를 압축도가 서로 다른 소정 단위의 화상 데이터로 부호화한 부호화 데이터를 출력하도록 구성되어 있음과 함께, 상기 입력 화상 데이터로부터 압축도가 가장 큰 제1 부호화 데이터를 작성할 때에는, 상기 제1 부호화 데이터와, 적어도 상기 제1 부호화 데이터보다 데이터량이 적은 스킵 부호화 데이터를 작성하여 출력하는 화상 부호화 수단과,

   상기 화상 부호화 수단으로부터의 부호화 데이터를 일시적으로 축적하는 축적 수단과,

   상기 축적 수단에 축적된 상기 부호화 데이터에 기초를 둔 비트 스트림을 출력하는 데이터 출력 수단과,

   상기 데이터 출력 수단으로부터 출력되는 비트 스트림 출력을 일시 축적하는 것으로서, 소정 타이밍에서 상기 부호화 데이터 단위의 데이터의 판독이 행해지는 복호 장치측의 버퍼 메모리에서의 데이터 축적량을 가상적으로 구하기 위한 가상 버퍼를 발생시키는 가상 버퍼 발생 수단과,

   부호화 데이터의 작성 상황으로부터, 상기 가상 버퍼에서의 데이터 축적량에 있어서 얻어지는 데이터 축적량을 검증하는 검증 수단과,

   상기 검증 수단의 검증 결과에 기초하여, 상기 제1 부호화 데이터를 상기 스킵 부호화 데이터로 치환하여 부호화 제어를 행하는 부호화 제어 수단

   을 구비하는 것을 특징으로 하는 부호화 장치.
2. 제1항에 있어서,

   상기 검증 수단은,

   상기 제1 부호화 데이터 이외의 제2 부호화 데이터를 검증 대상 데이터로 하여 검증을 행할 때에는, 상기 검증 대상 데이터의 하나 전의 부호화 데이터로서 상기 제1 부호화 데이터를 상정했을 때의 제1 데이터 축적량과, 상기 검증 대상 데이터의 하나 전의 부호화 데이터로서 상기 스킵 부호화 데이터를 상정했을 때의 제2 데이터 축적량을 구하고,

   상기 검증 대상 데이터의 데이터량이, 상기 제1 데이터 축적량을 초과하였을 때에는, 상기 검증 대상 데이터의 하나 전의 상기 제1 부호화 데이터를 상기 스킵 부호화 데이터로 치환하여 검증을 행하는 것을 특징으로 하는 부호화 장치.
3. 입력 화상 데이터를 압축도가 서로 다른 소정 단위의 화상 데이터로 부호화한 부호화 데이터를 출력하도록 구성되어 있음과 함께, 상기 입력 화상 데이터로부터 압축도가 가장 큰 제1 부호화 데이터를 작성할 때에는, 상기 제1 부호화 데이터와, 적어도 상기 제1 부호화 데이터보다 데이터량이 적은 스킵 부호화 데이터를 작성하여 출력하는 화상 부호화 단계와,

   상기 화상 부호화 단계로부터의 부호화 데이터를 일시적으로 축적하는 축적 단계와,

   상기 축적 단계에서 축적된 상기 부호화 데이터에 기초를 둔 비트 스트림을 출력하는 데이터 출력 단계와,

   상기 데이터 출력 단계로부터 출력되는 비트 스트림 출력을 일시 축적하는 것으로서, 소정 타이밍에서 상기 부호화 데이터 단위의 데이터의 판독이 행해지는 복호 장치측의 버퍼 메모리에서의 데이터 축적량을 가상적으로 구하기 위한 가상 버퍼를 발생시키는 가상 버퍼 발생 단계와,

   부호화 데이터의 작성 상황으로부터, 상기 가상 버퍼에서의 데이터 축적량에 있어서 얻어지는 데이터 축적량을 검증하는 검증 단계와,

   상기 검증 단계의 검증 결과에 기초하여, 상기 제1 부호화 데이터를 상기 스킵 부호화 데이터로 치환하여 부호화 제어를 행하는 부호화 제어 단계

   를 실행하는 것을 특징으로 하는 부호화 방법.