KR100588795B1 - 부호화 장치 및 부호화 방법 - Google Patents

Abstract

TM5(Test Mode 15)의 비트 레이트 제어 알고리즘을 사용하여, GOP의 도중에 비트 레이트를 변경하는 비디오 인코더를 제공한다.

부호화 대상 픽쳐(j+1) 이후의 미부호화 픽쳐에 할당되는 비트량 R(j+1)을 사용하여, 부호화 대상 픽쳐(j+1)에 할당되는 목표 비트량 T(j+1)를 연산한다. GOP의 도중의 픽쳐(j)까지를 제 1 비트 레이트로 부호화하고, 픽쳐(j+1)를 제 2 비트 레이트로 부호화 처리하는 경우에, 이 목표 비트량 T(j+1)를 연산하기 위한 미부호화 픽쳐에 할당되는 비트량 R(j+1)은, GOP의 선두 픽쳐로부터 제 2 비트 레이트로 부호화되어 있었을 때의 미부호화 픽쳐에 대한 비트량 R(j+1)이 되도록 보정된다. 이것에 의해서, TM5와 같은 고정 레이트 알고리즘을 사용하면서 GOP의 도중에 심리스의 비트 레이트 변경이 가능하게 된다.

지정 비트 레이트, 목표 비트량 연산, 부호화 대상 픽쳐 부호화, 목표 비트량 보정, 예상 비트량 연산, 부호화 난이도, 미부호화 픽쳐

Description

부호화 장치 및 부호화 방법{Encoder and encoding method}

본 발명은 부호화 장치 및 부호화 방법에 관한 것으로, 특히, TM5에 있어서 정의되는 레이트 변경 알고리즘을 사용하면서, GOP의 도중에 있어서 심리스(seamless)하게 비트 레이트를 변경할 수 있도록 하고, 또한, 전송로의 용량을 유효하게 이용할 수 있도록 한 부호화 장치 및 방법에 관한 것이다.

최근, 화상 데이터 등을 디지털 데이터로서 송수신하는 디지털 방송이 주목되고 있다. 디지털 방송의 이점은 아날로그 방송에 비해서, 같은 전송로에 있어서 보다 많은 프로그램 데이터(이하, 프로그램이라고 한다)를 전송하는 것이 가능하다는 사실이다. 이것은 화상 데이터를 압축하여 전송 가능하다는 점에 의한 부분이 크다. 화상 데이터의 압축 방법으로서는 예를 들면 MPEG(Moving Picture Experts Group) 규격으로 채용되어 있는 쌍방향 예측 부호화 방식이 사용되는 경우가 많다. 이 쌍방향 예측 부호화 방식에서는 프레임내 부호화, 프레임간 순방향 예측 부호화 및 쌍방향 예측 부호화의 세가지 타입의 부호화가 행해지고, 각 부호화 형태에 의한 화상은 각각 I 픽쳐(intra coded picture), P 픽쳐(predictive coded picture) 또는 B 픽쳐(bidirectionally predictive coded picture)라고 불린다.

디지털 방송에 있어서의 화상의 압축 부호화에서는 압축 부호화 후의 데이터량(비트량)을 전송로의 전송 용량 이하로 억제하면서, 화질을 고품질로 유지할 필요가 있다.

소정의 전송 용량의 전송로에 대하여, 보다 많은 복수의 프로그램을 전송하는 방법으로서, 「통계 다중」이라는 수법이 있다. 통계 다중은 각 프로그램의 전송 레이트를 동적으로 변화시킴으로써, 보다 많은 프로그램을 전송하는 수법이다. 이 통계 다중에서는 예를 들면, 전송 레이트가 감소하더라도 화질의 열화가 눈에 띄지 않는 프로그램에 대해서는 전송 레이트를 감소시킴으로써, 보다 많은 프로그램의 전송을 가능하게 한다.

여기서, 도 1 및 도 2를 참조하여, 통계 다중에 관해서 추가로 설명한다. 도 1은 종래의 고정 레이트에 의해 다중화한 경우의 각 프로그램에 대한 할당 부호 레이트의 일예를 나타낸 것으로, 종축이 각 프로그램에 대한 할당 부호 레이트를 나타내며, 횡축이 시간을 나타내고 있다. 도 1에 도시한 바와 같이, 예를 들면 일기 예보, 뉴스 및 드라마와 같은 다중화되는 각 프로그램의 할당 부호 레이트는 초기치로서 할당된 부호 레이트대로 일정하고, 시간의 경과에 따라 변동하지 않는다. 각 프로그램에 대하여 초기치로서 할당되는 부호 레이트는 각 프로그램의 화질의 열화가 가장 눈에 띄는 부분(시각)에 있어서의 화질의 열화가 허용 범위에 수용되도록 할당되어 있다. 따라서, 화질의 열화가 눈에 띄는 부분 이외의 부분에는 필요 이상의 부호 레이트가 할당되어 있게 된다.

도 2는 통계 다중의 수법을 사용하여, 각 프로그램에 대한 할당 부호 레이트를 동적으로 변화시켜 다중화한 경우의 각 프로그램에 대한 할당 부호 레이트의 일례를 나타낸 것으로, 종축이 각 프로그램에 대한 할당 부호 레이트를 나타내며, 횡축이 시간을 나타내고 있다. 통계 다중은 각 프로그램의 화질의 열화가 눈에 띄는 부분(시각)이 동일 시간대에 겹치는 것이 드문 것을 이용한 것이다. 즉, 어떤 프로그램에서는 화질 열화가 눈에 띄는 부분일 때, 다른 프로그램은 부호 레이트를 떨어뜨리더라도 화질 열화가 눈에 띄지 않은 경우가 많으므로, 다른 프로그램의 부호 레이트를 떨어뜨리고, 화질 열화가 눈에 띄는 프로그램에 대하여 부호 레이트를 많이 할당할 수 있다. 도 2에 도시된 예에서는 시각(t1)에 있어서, 드라마(1)의 화상은 화질 열화가 눈에 띄는 부분이지만, 뉴스 및 드라마(2)의 화상은 화질 열화가 눈에 띄지 않는 부분이기 때문에, 뉴스 및 드라마(2)의 화상의 부호 레이트가 떨어지게 되고, 드라마(1)의 화상에 대하여 그 만큼 부호 레이트가 많이 할당되고 있다. 이렇게 하여, 통계 다중을 사용함으로써, 통상보다도 많은 프로그램을 전송할 수 있다.

그러나, 여기서 GOP(Group of Picture)의 위상의 문제가 있다. 통상, 인코더는 TM5(Test Model Editing Committe:”Test Model 5”;IS0/IEC JTC/SC292/WG11/N0400(Apr. 1993))로 대표되는 바와 같이, 화상을, GOP 단위로 비트 레이트 제어하여 인코드한다. 즉, 비트 레이트는 GOP의 도중에는 변경되지 않는다. 그 결과, 각 프로그램의 GOP의 위상이 맞는 경우는 무방하지만(일반적으로는 이러한 경우는 거의 없다), GOP의 위상에 어긋남이 있는 경우(일반적으로는 이 경우가 대부분이다), GOP의 선두외엔 프로그램의 비트 레이트가 변경되지 않기 때문에, 한번에 모든 프로그램의 비트 레이트를 변경할 수 없고, 도 3에 도시된 바와 같이, 데드 스페이스(어느 프로그램에도 비트 레이트가 할당되어 있지 않는 부분)가 생겨, 전송 용량을 모두 유효하게 사용할 수 없다고 하는 과제가 있었다.

그래서, GOP 단위로 비트 레이트 제어를 하지 않고, 프레임 단위로 개개에 목표 부호량을 정하여 인코드하는 수법도 고려된다. 그러나, 디지털 방송의 경우, 수신기(decoder)의 VBV(Video Buffering Verifier) 버퍼를 오버플로 또는 언더플로시키지 않도록 발생 부호량을 엄격하게 제어할 필요가 있지만, 이와 같이, 프레임 단위로 목표 부호량을 결정하도록 하면, VBV 버퍼가 오버플로 또는 언더플로하지 않도록 제어하는 것이 곤란하게 된다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, TM5의 비트 레이트 변경 알고리즘을 적용하면서, GOP의 도중에 있어서도 비트 레이트를 변경할 수 있도록 하고, 또, 전송로의 용량을 유효하게 이용할 수 있도록 하는 것을 목적으로 한다.

본 발명의 부호화 장치는 지정 비트 레이트에 기초하여, GOP에 포함되는 각 픽쳐에 대하여 할당되는 목표 비트량을 각각 연산하는 제어 수단과, 제어 수단에 의해서 제어된 목표 비트량에 기초하여, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고, 제어 수단은 부호화 수단에 의해서 부호화 대상 픽쳐의 부호화 처리를 행하는 경우, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여 부호화 대상 픽쳐에 할당되는 목표 비트량을 보정하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 부호화 수단에 의해 부호화 대상 픽쳐의 부호화 처리를 행하는 경우, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 제어 수단은 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여 부호화 대상 픽쳐에 할당되는 목표 비트량을 보정한다.

본 발명의 부호화 장치는 GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량과 지정 비트 레이트에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고, 제어 수단은 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 부호화 수단에 주어지는 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터, 제2 비트 레이트에 대응하는 목표 비트량으로 보정하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 제어 수단은 부호화 수단에 주어지는 목표 비트 레이트를, 제1 비트 레이트에 대응하는 목표 비트량으로부터, 제2 비트 레이트에 대응하는 목표 비트량으로 보정한다.

본 발명의 부호화 장치는 GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고, 연산하는 수단은 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록 미부호화 픽쳐의 비트량을 보정하고, 보정된 비부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록 미부호화 픽쳐의 비트량이 보정되고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 장치는 GOP내에 있어서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며, 연산하는 수단은 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐의 비트량을 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량이, 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정되며, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 장치는 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며, 제어 수단은 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 부호화 수단에 주어지는 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터, 제2 비트 레이트에 대응하는 목표 비트량으로 보정하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트가 제1 비트 레이트에 대응하는 목표 비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정된다.

본 발명의 부호화 장치는 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해서 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며, 연산하는 수단은 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이, 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록, 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 보정된 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 할당되는 예상 비트량의 변화궤적이, 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록, 미부호화 픽쳐에 대하여 할당되는 예상 비트량이 보정되고, 보정된 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 장치는 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과, 제어 수단에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고, 연산하는 수단은 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐에 대하여 할당되는 비트량을 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 장치에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트가 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 대하여 할당되는 비트량이 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정되고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 방법은 지정 비트 레이트에 기초하여, GOP에 포함되는 각 픽쳐에 대하여 할당되는 목표 비트량을 각각 연산하는 제어 공정과, 제어 공정에 의해서 제어된 목표 비트량에 기초하여, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하고, 제어 공정에 있어서, 부호화 공정에 의해 부호화 대상 픽쳐의 부호화 처리를 행하는 경우에, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여 부호화 대상 픽쳐에 할당하는 목표 비트량을 보정하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 부호화 공정에 의해 부호화 대상 픽쳐의 부호화 처리를 행하였을 때, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에, 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여 부호화 대상 픽쳐에 할당되는 목표 비트량이 보정된다.

본 발명의 부호화 방법은 GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량과 지정 비트 레이트에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하고, 제어 공정에 있어서, 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 부호화 공정에 주어지는 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터, 제2 비트량에 대응하는 목표 비트량으로 보정하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트가 제1 비트 레이트에 대응하는 목표 비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정된다.

본 발명의 부호화 방법은 GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하고, 연산하는 공정에 있어서, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록, 미부호화 픽쳐의 비트량을 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록 미부호화 픽쳐의 비트량이 보정되고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 방법은 GOP내에 있어서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해서 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며, 연산하는 공정에 있어서, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐의 비트량을, 제1 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량이 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정되고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 방법은 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 부호화대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하고, 제어 공정에 있어서, 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 부호화 공정에 주어지는 목표 비트 레이트를, 제1 비트 레이트에 대응하는 목표비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트가, 제1 비트 레이트에 대응하는 목표 비트량으로부터, 제2 비트 레이트에 대응하는 목표 비트량으로 보정된다.

본 발명의 부호화 방법은 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며, 제어 공정에 있어서, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 보정된 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록 미부호화 픽쳐에 대하여 할당되는 예상 비트량이 보정되고, 보정된 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

본 발명의 부호화 방법은 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당하는 예상 비트량을 연산하고, 그 예상 비트량을 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과, 제어 공정에 의해서 연산된 목표 비트량에 따라서, 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며, 제어 공정에 있어서, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 미부호화 픽쳐에 대하여 할당되는 비트량을 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호와 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 한다.

이 부호화 방법에 있어서는 GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 대하여 할당되는 비트량이, 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로 보정되고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량이 연산된다.

도 1은 고정 비율에 의한 다중화를 설명하는 도면.

도 2는 통계 다중에 의한 다중화를 설명하는 도면.

도 3은 통계 다중에 있어서의 GOP의 위상이 맞지 않는 경우에 있어서의 부호할당 비트 레이트의 변화를 설명하는 도면.

도 4는 본 발명을 적용한 화상 다중화 시스템의 구성예를 도시하는 블록도.

도 5는 도 4의 화상 부호화 장치(2-1)의 구성예를 도시하는 블록도.

도 6은 도 5의 화상 부호화 장치(2-1)의 동작을 설명하는 흐름도.

도 7은 도 5의 화상 부호화 장치(2-1)의 동작을 설명하는 흐름도.

도 8은 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 9는 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 10은 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 11은 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 12는 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 13은 VBV 버퍼의 용량의 변화를 설명하는 도면.

도 14는 부호량(R)의 변화를 설명하는 도면.

도 15는 GOP의 도중에 있어서 비트 레이트를 변경한 경우의 부호량(R)의 변화를 설명하는 도면.

도 16은 도 7의 단계(S11)의 값(e)의 기능을 설명하는 도면.

도 17은 본 발명을 적용한 화상 다중화 시스템 이외의 구성예를 도시하는 블록도.

도 18은 도 17의 화상 부호화 장치(2-1)의 구성예를 도시한 블록도.

도 19는 도 18의 화상 부호화 장치(2-1)의 동작을 설명하는 흐름도.

도 20은 도 18의 화상 부호화 장치(2-1)의 동작을 설명하는 흐름도.

도 21은 부호량(R')의 변화를 설명하는 도면.

도 22는 부호량(G)의 변화를 설명하는 도면.

도 23은 GOP 도중에 있어서 비트 레이트를 변경한 경우에 있어서의 부호량(R')의 변화를 설명하는 도면.

도 24는 GOP의 도중에 있어서 비트 레이트를 변경한 경우에 있어서의 부호량(G)의 변화를 설명하는 도면.

도 25는 도 20의 단계(S46, S47)에 있어서의 보정치(e)의 기능을 설명하는 도면.

도 26은 부호량(R)의 역전 현상을 설명하는 도면.

도 27은 부호량(R)의 역전 현상의 원인을 설명하는 도면.

도 28은 부호량(R)의 역전 현상을 억제하는 원리를 설명하는 도면.

*도면의 주요 부분에 대한 부호의 설명*

1: 화상 다중화 시스템 2-1 내지 2-n: 화상 부호화 장치

3: 컨트롤러 4: 다중화 장치

11: 화상 배열 전화 회로 12: 주사 변환 매트로 블록화 회로

13: 감산회로 14: DCT 회로

15: 양자화 회로 16: 가변 길이 부호화 회로

17: 버퍼 메모리 18: 역양자화 회로

19: 역DCT 회로 20: 가산 회로

21: 이동 검출 회로 22: 이동 보상 회로

23: 레이트 컨트롤러 24: 컨트롤러

31: 복잡함 계산회로 32: 목표 비트량 설정회로

33: 양자화 스케일 코드 결정회로

이하, 본 발명의 실시예에 관해서 도면을 참조하여 상세하게 설명한다. 도 4는 본 발명을 적용한 화상 다중화 시스템(1)의 구성예를 도시한다. 화상 다중화 시스템(1)은 각각, 본 발명에 있어서의 프로그램 데이터로서의 프로그램(Pi)(i=1, 2,···, n)을 입력하고, 압축 부호화하는 복수의 화상 부호화 장치(2-i)와, 각 화상 부호화 장치(2-i)에 대하여 피드백형의 비트 레이트 제어를 행하는 컨트롤러(3)와, 각 화상 부호화 장치(2-i)로부터 각각 출력되는 압축 부호화 데이터(sti)를 다중화하여, 전송로에 대하여 화상 데이터(Sm)를 출력하는 다중화 장치(4)를 구비하고 있다. 화상 부호화 장치(2-i)는 프로그램(Pi)의 복잡함(글로벌 콤플렉시티;global complexity)(Ci)를 구하여, 컨트롤러(3)에 출력하고 있다. 컨트롤러(3)는 각 화상 부호화 장치(2-i)로부터의 글로벌 콤플렉시티(Ci)에 기초하여, 통계 다중에 의해, 각 화상 부호화 장치(2-i)의 비트 레이트 bit_rate#i를 결정하고, 각 화상 부호화 장치(2-i)에 출력하고 있다.

화상 다중화 시스템(1)은 전송 시스템으로서 사용되는 경우에는 다중화 장치(4)로부터 출력되는 화상 데이터(Sm)를, 전송용 데이터로서 전송로에 대하여 출력한다. 또한, 화상 다중화 시스템(1)은 방송 시스템으로서 사용되는 경우에는 다중화 장치(4)로부터 출력되는 화상 데이터(Sm)를, 방송용 데이터로서, 방송용 전송로를 통해 수신 장치측으로 송신한다.

도 5는 도 4에 있어서의 화상 부호화 장치(2-1)(도시는 생략하지만, 화상 부호화 장치 2-2 내지 2-n도 마찬가지로 구성된다)의 상세한 구성을 도시하는 블록도이다. 이 도면에 도시된 바와 같이, 화상 부호화 장치(2-1)는 프로그램(P1)을 입력하고, 부호화하는 차례에 따라서 픽쳐(I 픽쳐, P 픽쳐, B 픽쳐)의 차례를 바꾸어 배열하는 화상 배열 전환 회로(11)와, 이 화상 배열 전환 회로(11)의 출력 데이터를 입력하고, 프레임 구조인지 필드 구조인지를 판별하며, 판별 결과에 따른 주사 변환을 행하는 동시에, 16×16화소의 매크로 블록화를 행하는 주행 변환 매크로 블록화 회로(12)를 구비한다. 이동 검출 회로(21)는 주사 변환 매크로 블록화 회로(12)의 출력 데이터에 기초하여, 압축 부호화의 대상이 되는 픽쳐에 있어서 주목 매크로 블록을 찾는 동시에, 참조되는 픽쳐에 있어서, 주목 매크로 블록과의 사이의 화소치의 차분의 절대치합 또는 제곱합이 최소가 되는 매크로 블록(예측 매크로 블록)을 찾아, 그것들로부터, 이동 벡터(MV)를 검출하여 이동 보상 회로(22)로 보낸다.

연산 회로(13)는 주사 변환 매크로 블록화 회로(12)의 출력으로부터, 이동 보상 회로(22)가 이동 검출 회로(21)로부터의 이동 벡터(MV)에 기초하여 생성한 예측 화상 데이터(예측 매크로 블록)를 감산하고, DCT(Discrete Cosine Transform) 회로(14)에 출력한다. DCT 회로(14)는 입력된 데이터를 DCT 변환하며, 양자화 회로(15)에 출력한다. 양자화 회로(15)는 DCT 회로(14)로부터 입력된 데이터를, 레이트 컨트롤러(23)의 양자화 스케일 코드 결정 회로(33)가 출력하는 양자화 스케일 코드(Q1)에 기초하여 양자화하고, 가변 길이 부호화 회로(16)와, 역양자화 회로(18)에 출력하고 있다.

가변 길이 부호화 회로(16)는 양자화 회로(15)로부터 입력된 데이터를 가변 길이 부호화하고, 버퍼 메모리(17)를 통해 다중화 장치(4)에 출력한다. 버퍼 메모리(17)의 사용 가능한 용량은 컨트롤러(24)에 의해 제어된다.

역양자화 회로(18)는 양자화 회로(15)로부터 공급된 데이터를 역양자화하고, 역DCT 회로(19)에 출력한다. 역DCT 회로(19)는 역양자화 회로(18)로부터 공급된 데이터를 역DCT 변환하고, 가산 회로(2O)에 출력하고 있다. 출력 회로(20)는 이동 보상 회로(22)로부터 출력된 예측 화상 데이터와, 역DCT 회로(19)로부터 출력된 데이터를 가산하며, 가산하여 얻은 원래의 화상 데이터(국부적으로 복호된 화상 데이터)를 이동 보상 회로(22)에 출력하고, 내장하는 프레임 메모리에 기억시킨다.

레이트 컨트롤러(23)는 도 4의 컨트롤러(3)로부터의 신호 bit_rate#1와, 버퍼 메모리(17)로부터의 발생 부호량(S1)에 기초하여 양자화 스케일 코드(Q1)를 생성하고, 양자화 회로(15)에 출력하고 있다. 이 때문에, 레이트 컨트롤러(23)의 복잡한 계산 회로(31)는 다음 식에 따라서 글로벌 콤플렉시티(C1)(다음 식에서는 Xi, Xp, Xb로서 나타내고 있다)를 산출한다. 이 글로벌 콤플렉시티(C1)는 화상의 그림의 복잡함을 나타내는 데이터이고, 다음식에 나타내는 바와 같이, 압축 영상 데이터의 발생 부호량(데이터량)(S1)(버퍼 메모리(17)로부터 공급된다)과, 양자화 스케일 코드(Q1)(양자화 스케일 코드 결정 회로(33)로부터 공급된다)를 곱하여 얻어지는 값이다.

Xi = Si×Qi ···(1)

Xp = Sp×Qp ···(2)

Xb = Sb×Qb ···(3)

또한, 상기 식에 있어서, Xi, Xp, Xb는 각각, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 글로벌 콤플렉시티(C1)를 나타내고, Si, Sp, Sb는 각각 I 픽쳐, P 픽쳐, 또는 B 픽쳐를 가변 길이 부호화 회로(16)에서 부호화하였을 때의 발생 부호량(S1)을 나타내며, Qi, Qp, Qb는 각각 I 픽쳐, P 픽쳐, 또는 B 픽쳐를 생성할 때의 양자화 스케일 코드(Q1)를 나타낸다.

이 글로벌 콤플렉시티(C1)는 도 17과 도 18을 참조하여 후술하는 피드포워드형의 비트 레이트 제어 시스템에 있어서 사용되는 부호화 난이도(D1)와는 반드시 일치하지 않지만, 양자화 스케일 코드(Q1)가 극단적으로 크거나 작거나 하지 않는 한, 부호화 난이도(D1)와 거의 일치한다.

복잡함 계산 회로(31)는 이상과 같이 하여, 식(1) 내지 식(3)에 기초하여 연산에 의해 구할 수 있는 콤플렉시티(C1)(Xi, Xp, Xb)를, 도 4의 컨트롤러(3)에 출력하고, 또한, 발생 부호량(S1)(Si, Sp, Sb)과 동시에, 목표 비트량 설정 회로(32)에 출력한다. 목표 비트량 설정 회로(32)는 컨트롤러(3)로부터 공급되는 신호 bit_rate#1, 복잡함 계산 회로(31)로부터 공급되는 콤플렉시티(C1)(Xi, Xp, Xb), 및 발생 부호량(S1)(Si, Sp, Sb)에 기초하여, 목표 비트량(T1)을 설정하며, 설정한 목표 비트량(T1)을 양자화 스케일 코드 결정 회로(33)에 출력한다. 양자화 스케일 코드 결정 회로(33)는 입력된 목표 비트량(T1)에 대응하여 양자화 스케일 코드(Q1)를 결정하고, 양자화 회로(15)와 복잡함 계산 회로(31)에 출력하고 있다.

다음에, 도 4에 도시한 화상 다중화 시스템(1)의 동작에 관해서 설명한다. 이 화상 다중화 시스템(1)에서는 각 프로그램(Pi)은 각각, 각 화상 부호화 장치(2-i)에 의해서 부호화된다. 화상 부호화 장치(2-i)는 프로그램(Pi)에 관해서, 이미 부호화한 화상의 복잡함을 나타내는 글로벌 콤플렉시티(Ci)를 연산하고, 컨트롤러(3)에 출력한다. 컨트롤러(3)는 통계 다중의 수법을 이용하여, 입력된 각 글로벌 콤플렉시티(Ci)에 기초하여, 각 프로그램(Pi)에 대한 단위 시간당의 목표 발생 부호량인 목표 부호 레이트로서의 목표 비트 레이트 bit_rate#i를 결정하며, 각 화상 부호화 장치(2-i)에 대하여 출력한다. 화상 부호화 장치(2-i)는 입력된 목표 비트 레이트 bit_rate#i에 기초하여, 프로그램(Pi)을 압축 부호화하고, 압축 부호화 데이터(sti)를 다중화 장치(4)에 출력한다. 다중화 장치(4)는 입력된 각 압축 부호화 데이터(sti)를 다중화하며, 출력용 화상 데이터(Sm)를 생성하고, 전송로에 대하여 출력한다.

다음에, 도 5에 도시한 화상 부호화 장치(2-1)의 기본적인 동작에 관해서 설명한다. 우선, 프로그램(P1)은 화상 부호화 장치(2-1)의 화상 배열 전환 회로(11)에 의해서, 부호화하는 순서에 따라서 픽쳐(I 픽쳐, P 픽쳐, B 픽쳐)의 순서가 배열 전환된다. 다음에, 주사 변환 매크로 블록화 회로(12)는 그 픽쳐가 프레임 구조인지 필드구조인지를 판별하여, 판별 결과에 따른 주사 변환 및 매크로 블록화를 행한다. 주사 변환 매크로 블록화 회로(12)의 출력 데이터는 이동 검출 회로(21)와 연산 회로(13)에 보내진다.

입력된 픽쳐가 I 픽쳐인 경우에는 연산 회로(13)에 있어서 예측 화상 데이터의 차분을 갖는 일 없이, 주사 변환 매크로 블록화 회로(12)의 출력 데이터가 그대로 DCT 회로(14)에 입력되고, DCT 계수로 변환된다. DCT 계수는 양자화 스케일 코드 결정 회로(33)에서 결정된 양자화 스케일 코드(Q1)에 기초하여 양자화 회로(15)에 의해서 양자화 된 후, 가변 길이 부호화 회로(16)에 의해서 가변 길이 부호화된다. 가변 길이 부호화 회로(16)의 출력 데이터는 버퍼 메모리(17)에 의해서 일단 유지된 후, 비트 스트림으로 이루어지는 압축 부호화 데이터(st1)로서, 다중화 장치(4)에 출력된다.

또한, 역양자화 회로(18)는 양자화 회로(15)의 출력 데이터를 역양자화한다. 역DCT 회로(19)는 역양자화 회로(18)의 출력 데이터에 대하여 역DCT를 행하고, 가산 회로(20)를 통해 이동 보상 회로(22)에 입력하여 유지시킨다.

입력된 픽쳐가 P 픽쳐의 경우에는 이동 보상 회로(22)에 의해서, 유지하고 있는 과거의 I 픽쳐 또는 P 픽쳐에 대응하는 화상 데이터와, 이동 검출 회로(21)로부터의 이동 벡터(MV)에 기초하여 예측 화상 데이터가 생성되며, 예측 화상 데이터가 연산 회로(13)와 가산 회로(20)에 출력된다. 연산 회로(13)는 주사 변환 매크로 블록화 회로(12)의 출력 데이터와 이동 보상 회로(22)로부터의 예측 화상 데이터의 차분을 연산한다. 이 차분 데이터는 DCT 회로(14)에 의해서 DCT 계수로 변환되며, 양자화 회로(15)에 의해서 양자화된다. 가변 길이 부호화 회로(16)는 양자화 회로(15)의 출력 데이터를 가변 길이 부호화하여, 버퍼 메모리(17)를 통하여, 압축 부호화 데이터(St1)로서, 다중화 장치(4)에 출력한다.

또한, 역양자회 회로(18)는 양자화 회로(15)의 출력 데이터를 역양자화한다. 역DCT 회로(19)는 역양자회 회로(18)의 출력 데이터에 대하여 역DCT를 행한다. 가산회로(20)는 역DCT 회로(19)의 출력 데이터와, 이동 보상 회로(22)가 출력하는 예측 화상 데이터를 가산하여, 이동 보상 회로(22)에 입력하여 유지시킨다.

입력된 픽쳐가 B 픽쳐인 경우에는 이동 보상 회로(22)에 의해서, 보유되고 있는 과거 및 미래의 I 픽쳐 또는 P 픽쳐에 대응하는 2개의 화상 데이터와, 이동 검출 회로(21)로부터의 2개의 이동 벡터(MV)에 기초하여, 예측 화상 데이터가 생성되고, 연산 회로(13)와 가산회로(20)에 출력된다. 연산 회로(13)는 주사 변환 매크로 블록화 회로(12)의 출력 데이터와 이동 보상 회로(22)로부터의 예측 화상 데이터의 차분을 연산한다. 이 차분 데이터는 DCT 회로(14)에 의해서 DCT 계수로 변환되며, 양자화 회로(15)에 의해서 양자화된다. 가변 길이 부호화 회로(16)는 양자화 회로(15)의 출력 데이터를 가변 길이 부호화하고, 버퍼 메모리(17)를 통해 압축 부호화 데이터(st1)로서, 다중화 장치(4)에 출력한다. 또한, B 픽쳐는 이동 보상 회로(22)에 보유되지 않는다.

다음에, 도 6과 도 7의 흐름도를 참조하여, 레이트 컨트롤러(23)와 컨트롤러(24)에 의한 레이트 컨트롤러의 동작에 관해 설명한다. 또한, 이하의 설명에 있어서는 각 프로그램(Pi)에 대응하는 발생 부호화량(Si), 글로벌 콤플렉시티(Ci), 목표 비트량(Ti), 양자화 스케일 코드(Qi), 압축 부호화 데이터(부호화 스트림)(sti), 비트 레이트 bit_rate#i 등의 첨자(i)는 기호가 복잡하게 되므로, 그것들을 개개로 구별할 필요가 있는 경우를 제외하고, 기본적으로 생략한다.

또한, MPEG 규격에 있어서 정의되어 있는 GOP(Group of Picture)에 있어서 j번째의 픽쳐를 픽쳐(j)로 기록하고, j+1번째의 픽쳐를 (j+1)라고 기록하기로 하며, GOP에 포함되는 픽쳐의 매수를 N으로 기재하기로 한다.

또한, 이하에 설명하는 예는 픽쳐(j)까지 제1 비트 레이트 bit_rate(j)로 부호화하고, 픽쳐(j+1)로부터 제2 비트 레이트 bit_rate(j+1)로 부호화하는 예이다.

단계(S1)에 있어서, 레이트 컨트롤러(23)의 목표 비트량 설정 회로(32)는 다음 식(4) 내지 식(6)에 기초하여, GOP에 있어서의 j번째의 픽쳐인 픽쳐(j)에 대한 목표부호량 Ti(j), Tp(j), Tb(j)을 각각 연산한다.

상기 식에 있어서, R(j)는 부호화 대상으로 되어 있는 픽쳐(j)를 포함한 GOP 내에서 아직 부호화되어 있지 않는(이것으로부터 부호화한다) 미부호화 픽쳐에 대하여 할당되어 있는 부호량을 나타내고 있다. 즉, 이 R(j)는 픽쳐(j), 픽쳐(j+1)… 픽쳐(N)까지의 각 픽쳐에 할당되어야 할 비트량을 가산한 값이다. 또한, Np, Nb는 GOP 내에서 아직 부호화되어 있지 않는 P 픽쳐 또는 B 픽쳐의 매수를 나타내고, Xi, Xp, Xb는 각각 I 픽쳐, P 픽쳐, 또는 B 픽쳐의 글로벌 콤플렉시티(C)를 나타내고 있다. Kp와 Kb는 I 픽쳐의 양자화 스케일 코드를 기준으로 한 P 픽쳐와 B 픽쳐의 양자화 스케일 코드의 비율을 나타내고, 다음 식으로 나타내는 값이 된다.

Kp = 1.0 ···(7)

Kb = 1.4 ···(8)

즉, P 픽쳐의 양자화 스케일 코드는 I 픽쳐의 양자화 스케일 코드의 1배로 되지만, B 픽쳐의 양자화 스케일 코드는 I 픽쳐와 P 픽쳐의 양자화 스케일 코드의 항상 1.4배로 된다. 이로써, B 픽쳐가, I 픽쳐 또는 P 픽쳐에 비교하여, 다소 성기게 부호화되므로, B 픽쳐로 절약할 수 있는 부호량을 I 픽쳐와 P 픽쳐의 부호량에 가할 수 있고, I 픽쳐와 P 픽쳐의 S/N이 개선되는 동시에, 그것을 참조하는 B 픽쳐의 S/N도 개선되게 되어, 종합적으로 S/N이 개선된다.

또한, 콤플렉시티(Xi, Xp, Xb)의 초기치는 목표 비트 레이트인 bit_rate(j)(비트/초)에 기초하여 다음식으로 나타내는 값으로 설정된다.

Xi= 160×bit_rate(j)/115 ···(9)

Xp= 60×bit_rate(j)/115 ···(l0)

Xb= 42×bit_rate(j)/115 ···(11)

bit_rate(j)는 컨트롤러(3)로부터 픽쳐(j)까지의 픽쳐에 대하여 지정되어 있는 비트 레이트를 나타낸다. pic_rate는 픽쳐 레이트를 나타내고, 예를 들면, NTSC 방식의 경우, 30(프레임/초)가 된다. 또한, max{A, B}는 A와 B 중, 큰 쪽을 선택하는 함수를 의미한다.

R(j), Np, Nb, Kp, Kb, pic_rate의 각 값은 각각 각 화상 부호화 장치(2-i) 마다 설치되어 있는 컨트롤러(24)(도 5)로부터 공급되는 값이다. Xi, Xp, Xb는 상술된 바와 같이, 복잡함 계산 회로(31)가 식(1) 내지 식(3)에 따라서 연산한 값이다.

식(4) 내지 식(6)에서는 미부호화 픽쳐 전체의 발생하는 추정 부호량이 할당 대상 픽쳐의 몇매분의 부호량에 상당하는지를 구할 수 있다.

예를 들면, 식(4)의 제1 인수의 분모의 제2항의 NpXp/XiKp는 GOP 내의 Np매의 미부호화 P 픽쳐가, I 픽쳐 몇매분의 부호량에 상당하는지를 나타내고, 제3항의 NbXb/XiKb는 GOP내의 Nb매의 미부호화 B 픽쳐가, I 픽쳐 몇매분의 부호량에 상당하는지를 나타내고 있다. 제1항의 1은 GOP 내의 I 픽쳐의 수를 나타내고 있으므로(1GOP 내의 I 픽쳐의 수는 항상 1로 되어 있다), 결국, 식(4)의 제1 인수는 GOP 내의 나머지의 (N-j+1)매의 픽쳐가, 모두 I 픽쳐라고 가정한 경우에 있어서의 1픽쳐당의 부호량을 나타내고 있다. 또한, N은 GOP에 포함되는 픽쳐의 매수이다.

마찬가지로, 식(5)의 제1 인수의 분모의 제2항의 Nb Kp Xb/Kb Xp는 GOP 내의 Nb매의 미부호화 B 픽쳐가, P 픽쳐 몇매분의 부호량에 상당하는지를 나타내고 있다. 따라서, 식(5)의 제1 인수는 GOP 내의 나머지의 (N-j+1)매의 픽쳐가, 모두 P 픽쳐라고 가정한 경우에 있어서의 1픽쳐당의 부호량을 나타내고 있다.

또한, 식(6)의 제1 인수의 분모의 제2항의 NpKbXp/KpXb는 GOP 내의 Np매의 미부호화 P 픽쳐가, B 픽쳐 몇매분의 부호량에 상당하는지를 나타내고 있고, 제1 인수는 GOP 내의 나머지의 (N-j+1)매의 픽쳐가, 모두 B 픽쳐라고 가정한 경우에 있어서의 1픽쳐당의 부호량을 나타내고 있다.

기본적으로는 식(4) 내지 식(6)의 제1 인수의 값에, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 목표 부호량 Ti(j), Tp(j), Tb(j)(이하, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 구별할 필요가 없을 때는 단지, T(j)로도 기술한다)이 결정되지만, 연산에 의해 구한 그 값이 너무나도 작은 경우에는 화상 복호 장치의 VBV 버퍼가 오버플로될 우려가 있으므로, 식(4) 내지 식(6)의 제2 인수에 규정되는 값 bit_rate(j)/(8×pic_rate)이, 목표 부호량 T(j)으로서 선택된다.

부호화 대상으로 되어 있는 픽쳐(j)가 인코드되기 직전의 VBV 버퍼의 데이터점유량을 B*(j)로 하고, 목표 부호량 T(j)과 같은 값만의 비트량이, 픽쳐(j)의 실제의 부호화에 의해 발생하였다고 하면, 다음 픽쳐(j+1)의 인코드 직전의 VBV 버퍼의 점유량 B*(j+1)은 다음 식으로 나타낸다. 단계(S2)에 있어서, 컨트롤러(24)는 다음식에 따라서, 이 점유량 B*(j+1)를 연산한다.

B*(j+1) = B*(j)-T(j)

+(t_j+1-t_j)×bit_rate(j+1) ···(12)

이 식(12)에 있어서, t_j는 픽쳐(j)가 VBV 버퍼로부터 판독되는 타이밍을 나타내며, t_j+1은 픽쳐(j+1)가 VBV 버퍼로부터 판독되는 타이밍을 나타내며, bit_rate(j+1)는 픽쳐(j+1) 이후의 픽쳐에 대하여 새롭게 설정된 비트 레이트를 나타내고 있다.

또한, 단계(S2)에 있어서, 컨트롤러(24)는 다음식으로부터 VBV 버퍼의 사용 범위를 결정한다.

vbv_size(j+1)

=min{τmax×bit_rate(j+1), vbv_size(0)} ···(13)

또한, vbv_size(0)는 VBV 버퍼의 지연 시간이 최고의 값 τmax이 되는 경우의 VBV 버퍼의 용량을 나타내고 있고, min{A, B}은 A와 B 중, 작은 쪽을 선택하는 함수를 나타낸다.

즉, 이 예에서는 VBV 버퍼의 지연 시간의 최고치가 미리 오퍼레이터 등에 의해 규정되고, VBV 버퍼의 지연 시간이, 미리 규정한 이 최고치를 상회하도록 한 비트 레이트가 사용되는 경우에는 컨트롤러(24)가 VBV 버퍼(도 5의 버퍼 메모리(17)에 대응한다)의 사용 범위를 좁히고(VBV 버퍼의 용량을 등가적으로 작게 하여), 그 지연 시간이 최고치를 넘지 않도록 제어한다. 최고치 τmax는 다음식으로 나타낸다.

τx= vbv_size(0)/bit_rate(0) ···(14)

여기서, vbv_size(0)는 VBV 버퍼의 최대 용량(MPEG 규격에 있어서는 정해져 있는 수치)을 나타내고, bit_rate(0)는 VBV 버퍼의 지연 시간이 최고치 τmax로 되는 경우에 있어서의 비트 레이트를 나타낸다.

다음에, 단계(S3)에 있어서, 컨트롤러(24)는 단계(S2)에서 연산한 VBV 버퍼의 점유량 B*(j+1)와, vbv_size(j+1)의 크기를 비교한다. 비교 결과, B*(j+1)가, vbv_size(j+1)와 같거나, 그것보다 큰 경우(VBV 버퍼의 용량 vbv_size(j+1)를 그 대로 사용한 것에서는 VBV 버퍼의 지연 시간이 τmax를 초과하고, 목표 부호량 T(j)을 보정할 필요가 있는 경우)에는 단계(S4)로 진행하며, 단계(S1)에서 계산한 목표 부호량 T(j)을, 다음식에 따라서, B*(j+1)와 vbv_size(j+1)의 차분만 보정한다.

T(j) = T(j)+ B*(j+1)-vbv_size(j+1) ···(15)

단계(S3)에 있어서, B*(j+1)가, vbv_size(j+1)보다 작다고 판정된 경우에는 VBV 버퍼가 사용할 수 없는 범위에 들어가는 일이 없기 때문에, 단계(S4)의 처리는 스킵된다.

다음에, 단계(S5)에 있어서, 픽쳐(j)가 단계(S1)에서 계산한 목표 부호량 Ti(j), Tp(j), Tb(j) 또는 단계(S4)에 있어서 보정된 목표 부호량 Ti(j), Tp(j), Tb(j)에 기초하여 인코드(부호화 처리)된다. 즉, 양자화 스케일 코드 결정 회로(33)는 목표 비트량 설정 회로(32)가 설정된 목표 부호량 T1(Ti(j), Tp(j) 또는 Tb(j))에 대응하는 양자화 스케일 코드(Q1)를 결정하고, 양자화 회로(15)가 이 양자화 스케일 코드(Q1)에 대응하여 픽쳐(j)를 양자화한다. 이 경우의 처리는 상술한 바와 같으므로, 여기서는 그 설명을 생략한다.

여기까지의 단계에 있어서, GOP에서 j번째의 픽쳐(j)에 대한 처리는 종료하고, 이하에 설명하는 단계에 있어서는 GOP에서 j+1번째의 픽쳐(j+1)에 대한 처리가 행해진다.

단계(S6)에 있어서, 컨트롤러(24)는 다음식에 따라서, 픽쳐(j)를 부호화하기 전의 미부호화 픽쳐의 부호량R(j)로부터, 픽쳐(j)를 부호화하여 발생한 부호량 S(j)를 감산함으로써, 부호화 대상 픽쳐(j+1)를 포함한 미부호화 픽쳐에 할당되는 부호량 R(j+1)을 구한다. 즉, R(j+1)는 부호화 대상으로 되어 있는 픽쳐(j+1)로부터 GOP의 최후의 픽쳐(N)까지의 모든 픽쳐에 할당되는 비트량을 가산한 비트량을 나타내고 있다.

R(j+1)= R(j)-S(j) ···(16)

또한 단계(S7)에 있어서, 컨트롤러(24)는 단계(S6)에서 연산된 부호량R(j+1) 을, 다음식에 따라서, 또한 VBV 버퍼 사용 범위의 변화량{vbv_size(j)-vbv_size(j+1)}으로 보정한다.

R(j+1)

= R(j+1)+{vbv_size(j)-vbv_size(j+1)} ···(17)

이상의 단계(S7)까지의 처리의 의미를, 도 8 내지 도 13을 참조하여, 보다 상세히 설명한다.

컨트롤러(24)는 컨트롤러(3)로부터 지정되는 비트 레이트 bit_rate(j)(이 문자 j는 도 4의 bit_rate#i에서의 문자(i)(프로그램(Pi)에 대응한다)를 나타내는 것이 아니라, 픽쳐의 차례를 나타낸다. 양자를 정리하여 기술하면, bit_rate#i(j)가 된다)가, VBV 버퍼의 지연 시간이 최고치 τmax가 되는 경우의 비트 레이트 bit_rate(0)(이하, 임계치라고도 칭한다)과 같은 경우, VBV 버퍼(버퍼 메모리(17))를, 도 8에 도시하는 바와 같이 제어한다. 상기 도면에 도시된 바와 같이, VBV 버퍼의 용량은 비트 레이트 bit_rate(0)로 순차 증가하며, 지연 시간 τmax만큼 경과한 시점에서, VBV 버퍼의 용량은 vbv_size(0)이 된다. 이하, VBV 버퍼에 기억된 화상 데이터는 적절히 판독되며, 복호될 때마다 감소된다. 또한, 새로운 화상 데이터가 기록되면, 그 데이터량은 증가한다. 이상과 같은 동작이, 차례로 반복된다.

한편, 컨트롤러(3)로부터 지정된 비트 레이트 bit_rate(1)이, 임계치 bit_rate(0)보다 큰 경우, 컨트롤러(24)는 단계(S5)의 인코드 처리시에 있어서, 버퍼 메모리(17)를 제어하여, 시간(τ1)만큼, 화상 데이터의 출력을 지연시킨다. 이 지연 시간(τ2)은 다음식에 의해 연산된다.

τ1=τmax-τ2

=τmax-vbv_size(0)/bit_rate(1) ···(18)

VBV 버퍼에는 이 지연 시간(τ1)의 후, 비트 레이트 bit_rate(1)에서 데이터가 기록되고, 기록 개시 후, 시간(τ2)이 경과한 시점에서, VBV 버퍼의 용량은 vbv_size(1)=vbv_size(0)이 된다. 도 9를 도 8과 비교하여 분명한 바와 같이, VBV 버퍼의 최대의 지연 시간(τmax)은 양자 모두 동일하게 되어 있다.

한편, 컨트롤러(3)로부터 지정된 비트 레이트 bit_rate(2)가 임계치 bit_rate(0)보다 작을 때, 컨트롤러(24)는 버퍼 메모리(17)를 제어하고, 그 용량을(사용 가능한 범위를) vbv_size(2) 이하로 설정(제한)한다. 이 연산은 도 6의 단계(S2)에서 행해진다. 즉, VBV 버퍼의 용량 vbv_size(0) 중, vbv_size(2)를 초과하는 범위는 이 예의 경우 사용되지 않는다. 그 결과, VBV 버퍼의 용량 vbv_size는 지연 시간 τmax가 경과한 시점에서, vbv_size(2)(= τmax×bit_rate(2))로 된다. 따라서, 이 경우에 있어서도, VBV 버퍼의 지연 시간은 τmax로 된다. 즉, 도 8 내지 도 10의 어느 경우에 있어서도, VBV 버퍼의 지연 시간은 τmax로서 일정하게 된다.

이로써, 비트 레이트의 심리스한 변경이 광범위하게 걸쳐 가능하게 되며, 디지털 방송에 있어서의 지연 시간이 일정한 라이브 생방송에 적용 가능하게 된다.

도 10에 있어서, 지연 시간 τ3(=vbv_size(0)/bit_rate(2))의 시간만큼 VBV 버퍼에 데이터가 기록되면, 그 용량은 vbv_size(0)이 되지만, 이 예에서는 용량 vbv_size(2) 이하의 범위만이 사용 가능하게 되기 때문에, 실제로는 그 용량이 vbv_size(O)에 도달하는 경우는 없다.

도 11은 비트 레이트가 bit_rate(1)로부터 bit_rate(2)로 도중에서 변경된 경우의 VBV 버퍼의 변화 상태를 나타내고 있다. 시각(t1)까지의 시간에 있어서, 비트 레이트의 값은 임계치 bit_rate(0)보다 큰 값 bit_rate(1)로 되어 있다. 따라서, 이 경우의 VBV 버퍼의 변화 상태는 도 9에 도시한 경우와 동일하게 된다. 이것에 대하여, 시각(t1)에 있어서, 비트 레이트가 임계치 bit_rate(0)보다 작은 비트 레이트 bit_rate(2)로 변경되면 VBV 버퍼의 용량은 vbv_size(2)(= τmax×bit_rate(2))로 제한된다.

TM5와 같은 고정 비트 레이트, 또한 고정 VBV 버퍼의 용량을 전제로 한 비율 제어 방식을 사용한 경우, VBV 버퍼의 사용 범위를 계산한 것만으로는 도 12에 도시된 바와 같은 문제가 생긴다.

즉, 비트 레이트가 임계치 bit_rate(0)보다 큰 값 bit_rate(1)으로부터 작은 값 bit_rate(2)으로 변경된 경우, 제한된 VBV 버퍼의 범위내에서 데이터의 용량이 추이하기 위해서는 VBV 버퍼의 데이터 추이의 궤적은 도 12에 있어서 실선으로 나타내는 바와 같이 변화할 필요가 있다. 그러나, TM5의 비율 제어 알고리즘에 있어서, 목표 부호량은 VBV 버퍼의 최대치에 가까운 영역을 추이하도록 결정되므로, 사용 범위를 제한한 것만으로는 VBV 버퍼는 도 12에 있어서 점선으로 나타내는 바와 같이, 사용할 수 없는 범위를 추이하게 된다.

그래서, 예를 들면, VBV 버퍼의 사용 범위가 제한되었을 때, 최초의 I 픽쳐 의 발생 비트량만큼, 스탭핑에 의해 발생 비트량을 증가하도록 하는 것도 고려할 수 있다. 그러나, 이렇게 하면, 최초의 I 픽쳐의 발생 비트량이 커지므로, GOP의 나머지 비트량 R(j)이 식(16)(R(j+1)=R(j)-S(j))에 따라서 변경되면, 나머지의 미부호화 픽쳐에 할당되는 비트량 R(j+1)이 대단히 작은 값이 되고, 결국 VBV 버퍼의 궤적은 도 12의 상방의 사용 불가능한 범위로 복귀하게 된다.

그래서, 단계(S3)에 있어서, 상기한 식(12)에 의해 계산한 버퍼 점유량 B*(j+1)과, 식(13)에서 구한 VBV 버퍼의 용량 vbv_size(2)의 크기를 비교하여, 그 결과, B*(j+1)가, vbv_size(2)보다 큰 경우에는 식(15)에 나타낸 바와 같이, 그 차분(B*(j+1)-vbv_size(2))만큼, 단계(S1)에서 연산한 목표 부호량 T(j)이 단계(S4)에서 보정된다. 그 결과, 도 13에 도시하는 바와 같이, 보정 후의 목표 부호량 T(j)은 VBV 버퍼의 용량 vbv_size(2)보다, 차분(B*(j+1)-vbv_size(2))만큼 작은 값으로 되며, VBV 버퍼의 사용 불가의 영역이 사용되는 것이 방지된다.

이상과 같이 하여, VBV 버퍼의 사용 가능 범위를 제한하기 위한 처리가 행해진 후, 도 6에 계속되는 도 7의 흐름도의 단계(S8) 이후의 처리가 행해진다. 여기서는 GOP 도중에서 비트 레이트가 변경된 경우의 처리가 행해진다.

목표 비트량 설정 회로(32)는 단계(S8)에서 픽쳐(j+1)는 GOP의 선두의 픽쳐인지의 여부를 판정한다. 즉, 「j+1」가「1」인 경우이다. 픽쳐(j+1)가 GOP의 선두의 픽쳐가 아닌 경우에는 단계(S9)로 진행하고, 목표 비트량 설정 회로(32)는 그 GOP 내에서, 비트 레이트의 변경이 컨트롤러(3)로부터 지령되어 있는지의 여부를 판정한다. 비트 레이트의 변경이 지령되어 있지 않는 경우에는 단계(S10)로 진행하며, 목표 비트량 설정 회로(32)는 처리 대상이 시퀀스 엔드에 도달하였는지의 여부를 판정하여, 도달하고 있지 않는 경우에는 단계(S1)로 되돌아가고, 그 이후의 처리가 반복하여 실행된다. 처리 대상이 시퀀스 엔드에 도달하였다고 판정된 경우, 처리는 종료된다.

단계(S9)에 있어서, 비트 레이트의 변경이 지령되었다고 판정된 경우, 목표 비트량 설정 회로(32)는 단계(S12)로 진행하고, 다음식에 따라서, 단계(S7)에서 보정한 부호량 R(j+1)을, GOP의 나머지의 픽쳐의 매수(N-j)에 픽쳐당 비트량의 차분 (bit_rate(j+1)-bit_rate(j))/pic_rate을 곱한 값으로 보정한다.

R(j+1)={bit_rate(j+1)-bit_rate(j)}×(N-j)/pic_rate+ R(j+1) ...(19)

즉, GOP 도중에 있어서 비트 레이트가 변경되지 않는 경우, 부호량(R)은 도 14에 도시하는 바와 같이, 인코드가 진행함에 따라서, 초기값(R1)으로부터 점차 작은 값으로 변화한다. 또한, 도 14에 있어서, 실선은 각 픽쳐가 같은 부호량으로 인코드되는 것으로 가정한 경우의 것으로, 실제로는 I 픽쳐나 P 픽쳐의 발생 비트량이, B 픽쳐보다도 많아지므로, 부호량(R)은 점선으로 나타낸 바와 같이 변화한다.

이것에 대하여, GOP의 픽쳐(j)를 인코드한 후, 다음의 픽쳐(j+1)로부터 비트 레이트를 변경하는 것이 요구된 경우, 픽쳐(j) 이후의 미부호화 픽쳐에 할당되는 부호량 R(j)이 단계(S12)에서 식(19)으로 나타내는 바와 같이 보정된다. 즉, 나머지의 미부호화 픽쳐에 할당되는 부호량(R)이 제1 비트 레이트 bit_rate(j+1)로, 초기치(R1)로부터, 점차 감소하도록 제어되고 있던 것이, 픽쳐(j+1)의 타이밍에 있어 서, 부호량 R(j+1)이 보정된다.

이 보정된 비트량 R(j+1)은 초기치를 R2로서 제2 비트 레이트 bit_rate(j+1)로 GOP의 선두 픽쳐로부터 인코드되어 있는 경우의 픽쳐(j+1)의 부호량 R(j+1)과 같다.

바꾸어 말하면, GOP의 도중의 픽쳐인 픽쳐(j+1)를 부호화할 때에, 제1 비트 레이트로부터, 제2 비트 레이트로 변경되었을 때에, GOP의 선두의 픽쳐(1)로부터 제2 비트 레이트로 부호화 처리가 행해지고 있었는지와 같이, 픽쳐(j+1) 이후의 미부호화 픽쳐에 할당되는 비트량을 보정한다는 것이다.

다음에, 단계(S13)로 진행하고, 목표 비트량 설정 회로(32)는 단계(S12)에서 보정한 부호량 R(j+1)이 미리 설정되어 있는 소정의 최소치(Rmin)보다 작은지의 여부를 판정한다. 부호량 R(j+1)이, 최소치(Rmin)와 같거나, 그것보다 큰 경우에는 단계(S14)에 있어서, 보정치(e)에 0이 설정된다. 이것에 대하여, 부호량 R(j+1)이, 최소치(Rmin)보다 작은 경우에는 단계(S15)에 있어서, 보정치(e)에 부호량 R(j+1)과 최소치(Rmin)와의 차(R(j+1)-Rmin)가 설정된다. 이 보정치(e)는 단계(S11)에서 사용되는 것이다. 이 보정치(e)의 기능에 관해서는 후술한다.

단계(S14) 또는 단계(S15)의 처리 후, 단계(S10)로 진행하고, 그 이후의 처리가 반복하여 실행된다.

한편, 단계(S8)에 있어서, 부호화 대상 픽쳐(j+1)가 GOP의 선두의 픽쳐라고 판정된 경우에는 단계(S11)로 진행하고, 목표 비트량 설정 회로(32)는 다음식에 따라서, 부호화량 R(j+1)을 보정한다. 즉, GOP의 선두 픽쳐(2)를 포함하는, 그 이후 의 미부호화 픽쳐에 할당되는 비트량 R(1)은 다음식에 의해 연산된다.

R(1) = bit_rate(j+1)×N/pic_rate + R(j+1) + e ···(20)

또한, 이 bit_rate(j+1)는 픽쳐(j+1)에 대하여 설정된 새로운 비트 레이트를 나타내고, R(j+1)은 앞의 GOP의 최후의 픽쳐(N)에 대하여 식(16)에 의해 연산된 결과이다.

그 후, 단계(S10)로 되돌아가고, 그 이후의 처리가 반복하여 실행된다.

여기서, 보정치(e)의 기능에 관해서 설명한다. 단계(S12)에서 식(19)에 의해 보정된 부호화량 R(j+1)이 미리 설정되어 있는 소정의 최소치(Rmin)보다 작게 된 경우, 이것을 방치하고, 다음의 GOP의 비트 레이트를 제어하면, VBV 버퍼가 오버플로하게 될 우려가 있다.

그래서, GOP의 도중에 있어서 비트 레이트의 변경이 지령되고, GOP의 최후의 픽쳐(N 매째의 픽쳐)를 인코드한 시점에서, R(j+1)가, 최소치(Rmin)보다 작은 경우에는 도 16에 도시하는 바와 같이, 그 차분(e)만큼, 다음의 GOP의 부호량(R)의 초기치(R2)를 작게 하고, 값(R2-e)을 초기치로서, 그 GOP의 부호 최대치를 설정시킨다. 이로써, VBV의 버퍼의 오버플로가 방지된다.

이상에 있어서는 각 화상 부호화 장치(2-i)에 있어서, 실제로 부호화된 데이터의 글로벌 콤플렉시티(Ci)를 컨트롤러(3)에 피드백함으로써, 프로그램(Pi)을 통계 다중하도록 하였지만, 피드포워드형 제어에 의해 비트 레이트를 제어하는 것도 가능하다. 도 17은 이 경우의 구성예를 도시하고 있다. 도 17에 도시한 화상 다중화 시스템(1)의 구성은 기본적으로 도 4에 도시한 화상 다중화 시스템(1)과 동일 하지만, 각 화상 부호화 장치(2-i)로부터, 컨트롤러(3)에 출력되는 것이, 글로벌 콤플렉시티(Ci)가 아닌, 부호화 난이도(Di)로 되어 있다. 그 이외의 구성은 도 4에 있어서의 경우와 같다.

이 부호화 난이도란, 부호화 처리의 결과 발생하는 비트량을 나타내는 지표로서, 부호화 대상의 픽쳐의 화상이 복잡하거나, 이동이 많은 화상인 경우에는 이 부호화 난이도가 높아지고, 부호화 대상인 픽쳐의 화상이 간단하거나, 이동이 적은 화상인 경우에는 이 부호화 난이도가 낮아진다.

도 18은 도 17의 화상 부호화 장치(2-1)(도시는 생략하지만, 화상 부호화 장치(2-2 내지 2-n)도, 화상 부호화 장치(2-1)와 동일하게 구성되어 있다)의 구성예를 나타내고 있다. 그 기본적인 구성은 도 5에 도시한 경우와 같지만, 도 18의 구성예에 있어서는 주사 변환 매크로 블록화 회로(12)와 연산 회로(13)간에, 인트라 AC 연산 회로(41)와 FIFO(First In First 0ut)(42)가 설치되어 있다. 또한, 레이트 컨트롤러(23)에는 ME 잔차 계산 회로(51)와 부호화 난이도 계산 회로(52)가 부가되어 있다.

인트라 AC 연산 회로(41)는 주사 변환 매크로 블록화 회로(12)의 출력을 입력하고, I 픽쳐에 있어서의 인트라 AC를 산출하며, 부호화 난이도 연산 회로(52)에 출력하고 있다. 인트라 AC 연산 회로(41)는 또한, 주사 변환 매크로 블록화 회로(12)로부터 공급된 화상 데이터를 FIFO(42)에 출력한다. FIFO(42)는 입력된 화상 데이터를, 적어도, 목표 비트량 설정 회로(32)가, 목표 비트량을 설정하는 데 필요한 시간에 대응하는 시간만큼, 입력된 화상 데이터를 지연하여 연산 회로(13) 에 출력한다.

ME 잔차 계산 회로(51)는 이동 검출 회로(21)가 출력하는 ME 잔차 데이터에 기초하여, ME 잔차를 계산하고, 부호화 난이도 계산 회로(52)에 출력하고 있다. 또, 여기서 ME 잔차란, 이동 예측 오차의 절대치 또는 제곱값을, 픽쳐 전체에 대하여 가산한 것이며, ME 잔차 데이터는 ME 잔차를 구하기 위한 데이터이다.

부호화 난이도 계산 회로(52)는 ME 잔차 계산 회로(51)에 의해 산출된 ME 잔차와, 인트라 AC 연산 회로(41)에 의해 연산된 인트라 AC에 기초하여, 픽쳐의 부호화 난이도를 나타내는 부호화 난이도(D1)를 산출하고, 컨트롤러(3)에 송출하는 동시에, 목표 비트량 설정 회로(32)에 출력한다. 또, 이 구성예에 있어서는 부호화 난이도 계산 회로(52)에 의해 연산된 부호화 난이도(D1)가 컨트롤러(3)에 전송되고 있기 때문에, 복잡함 계산 회로(31)가 연산에 의해 구한 글로벌 콤플렉시티(C1)는 컨트롤러(3)에 공급되지 않는다.

도 18의 화상 부호화 장치(2-1)의 그 이외의 구성은 도 5에 있어서의 경우와 같다.

다음에, 도 18의 화상 부호화 장치(2-1)의, 주로, 도 5에 있어서의 경우와 다른 구성의 동작에 대해서 설명한다. 인트라 AC 연산 회로(41)는 주사 변환 매크로 블록화 회로(12)가 출력하는 화상 데이터로부터, 인트라 AC를 연산한다. 인트라 AC란, I 픽쳐에 있어서, 8×8화소의 매크로 블록내의 각 화소의 화소치와, 매크로 블록내의 화소치의 평균치의 차분의 절대치의 총합을 의미하여, 다음식으로 나타낸다.

Intra_AC=Σ｜f curr(x, y)-(Σf curr)/N｜ ···(21)

또한, 이 식에 있어서, Intra_AC는 인트라 AC를 나타내고, f curr(x, y)는 매크로 블록내의 각 화소의 화소치를 나타내며, Σf curr은 매크로 블록내의 화소치의 총합을 나타내며, N은 매크로 블록내의 화소수를 나타내고 있다. 또한, Σ는 매크로 블록내의 각 화소에 대한 총합을 나타내고 있다.

이동 검출 회로(21)는 이동 벡터를 구할 때에, 그 값이 최소가 된 매크로 블록간에서의 화소치의 차분의 절대치합(또는 제곱합이라도 좋다)을 ME 잔차 데이터로서, ME 잔차 계산 회로(51)에 출력한다. ME 잔차 계산 회로(51)는 이동 검출 회로(21)로부터의 ME 잔차 데이터를 픽쳐 전체에 대해서 가산하여, ME 잔차를 계산한다. 즉, ME 잔차 계산 회로(51)에서 다음식이 연산된다.

ME_reside=Σ｜fj(x, y)-fj-1(x, y)｜ ···(22)

상기 식에 있어서, ME_reside는 ME 잔차를 나타내고, fj(x, y), fj-1(x, y)은 각 매크로 블록의 화소치를 나타낸다. Σ는 매크로 블록내의 각 화소에 대한 총합을 나타내고 있다.

부호화 난이도 계산 회로(52)는 인트라 AC 연산 회로(41)로부터 공급된 인트라 AC와, ME 잔차 계산 회로(51)로부터 공급된 ME 잔차에 기초하여, 부호화 난이도를 계산한다. 부호화 난이도란, 픽쳐의 부호화의 난이도를 나타내는 것으로서, 부호화하였을 때에 같은 화질을 유지하기 위해서 필요한 데이터량의 비율이라고 바꾸어 말할 수 있다. 인트라 AC는 그림의 복잡함을 나타내며, ME 잔차는 영상의 이동의 빠르기 및 그림의 복잡함을 나타내고, 그들은 부호화의 난이도와 강한 상호관계를 가지므로, 이들을 변수로 하는, 예를 들면 1차 함수에 의해, 부호화 난이도(D1)가, 부호화 난이도 계산 회로(52)에서 연산된다.

이렇게 하여, 선판독된 통계량(인트라 AC)에 기초하여, 정밀도가 높은 부호화 난이도가 연산된다. 컨트롤러(3)는 이 부호화 난이도(Di)에 기초하여, 목표 비트 레이트 bit_rate#i를 결정하고, 각 화상 부호화 장치(2-i)에 출력한다.

다음에, 도 18의 목표 비트량 설정 회로(32)와 컨트롤러(24)의 동작에 대해서, 도 19와 도 20의 흐름도를 참조하여 설명한다. 단계(S31) 내지 단계(S37)의 처리는 기본적으로, 도 6에 도시된 단계(S1) 내지 단계(S7)의 처리와 같은 처리이다. 단지, 단계(S31)에 있어서는 상술한 식(1) 내지 식(3)을 대신하여, 다음 식에 따라서, 픽쳐(j)의 목표 부호량 T(j)이 연산된다. 또한, 식(23)에 있어서는 픽쳐 형태에 대응하는 첨자 (i, p, b)는 생략되어 있다.

여기서, T(j)는 처리 대상 픽쳐(j)의 목표 부호량을 나타내며, R'(j)는 처리 대상 픽쳐(j)로부터 미래의 L매의 픽쳐에 대하여 할당되는 비트량을 나타내며, Dj는 픽쳐(j)의 부호화 난이도를 나타내고 있다. 즉, 상기 식에 의해, 픽쳐(j)의 목표 부호량 T(j)이, 선판독하는 L매분의 픽쳐에 할당하는 비트량 R'(j)을, 그 픽쳐의 부호화 난이도(Dj)와, N매의 선판독한 픽쳐의 부호화 난이도(Dj)의 합의 비로 가중하여 구할 수 있다.

다음의 단계(S32 내지S35)의 처리는 도 6의 단계(S2) 내지 단계(S5)의 처리와 같은 처리이며, 여기서는 그 설명은 생략한다. 단계(S36)에서는 식(16)을 대신하여, 다음 식(24)에 기초하여, 처리 대상 픽쳐(j+1)로부터 미래의 L매의 픽쳐에 대하여 할당되는 비트량 R'(j+1)이 연산된다.

R'(j+1)=R'(j) - S(j) + F(j+L) ···(24)

식(24)에 있어서, R'(j)는 픽쳐(j)로부터 미래의 L매의 픽쳐에 대하여 할당되는 비트량을 나타내고, S(j)는 픽쳐(j)의 발생 비트량을 나타내며, F(j+L)는 픽쳐(j+1)의 L매 미래의 픽쳐인 픽쳐(j+L)에 대하여 할당되는 예상 비트량을 나타내고 있다.

또, R'(j)의 초기치는 선판독된 L매분의 픽쳐의 부호량에 대응하여 다음식으로 나타낸다.

R'(1) = bit_rate(1) × L/pic_rate ···(25)

상기 식(24)에 있어서, F(j+L)는 픽쳐(j+1)의 L매 미래의 픽쳐인 픽쳐(j+L)의 픽쳐 형태에 따른 비트량이고, 예를 들면, 다음식으로 규정된다. 또, 식(24)에 있어서는 식(26) 내지 식(28)에 있어서의 픽쳐 형태에 대응하는 첨자(i, p, b)는 생략되어 있다.

상기 식에 있어서, G는 픽쳐(j+L)를 포함한 GOP의 픽쳐(j+L) 이후의 미부호화 픽쳐에 할당되는 비트량을 나타내고, 도 4와 도 5에 도시된 피드백형의 레이트 컨트롤 시스템에 있어서의 부호량(R)에 대응한다. 이 부호량(G)도 단계(S36)에 서, 다음식에 따라서 갱신된다.

G(j+L+1) = G(j+L) - F(j+L) ···(29)

또, 식(29)에 있어서의 F(j+L)는 상기 식(26 내지 28) 중, 대응하는 픽쳐에 의해 나타내는 것이다.

부호량(R')은 이것으로부터 부호화되는 L매의 픽쳐의 부호량을 나타내므로, 기본적으로는 도 21에 실선으로 나타내는 바와 같이, 인코드의 진행 상황에 관계없이, 항상 일정한 값이 된다. 실제로는 각 픽쳐 형태마다 부호량이 변화하기 때문에, 도 21에 있어서 파선으로 나타내는 바와 같이, 실선으로 나타내는 값의 부근에 서 변화한다.

이것에 대하여, 부호량(G)은 GOP에서의 미부호화 픽쳐에 대하여 할당되는 부호량이므로, 도 22에 도시하는 바와 같이, 피드백형 레이트 컨트롤러에 있어서의 부호량(R)과 마찬가지로, 인코드의 진행에 수반하여, 점차 작은 값으로 변화하여, GOP의 최초에서 리셋된다.

다음에, 단계(S37)에서, 도 6의 단계(S7)에 있어서의 식(17)을 대신하여, 식(30)에 따라서, 부호량 R'(j+1)의 갱신 처리가 행해진다.

R'(j+1) = R'(j+1) + {vbv_size(j)-vbv_size(j+1)} ···(30)

이상의 단계(S31) 내지 단계(S37)의 처리는 피드백형 레이트 컨트롤러의 예에 있어서 설명한 경우와 같이, VBV 버퍼의 사용하는 범위를 제한하기 위해서 행해지는 처리이다.

다음에, 단계(S38)로 진행하고, 목표 비트량 설정 회로(32)는 픽쳐(j+1)가, GOP의 선두의 픽쳐인지의 여부를 판정한다. 픽쳐(j+1)가 GOP의 선두의 픽쳐가 아닌 경우에는 단계(S39)로 진행하며, GOP의 도중에 있어서 비트 레이트의 변경이 지령되어 있는지의 여부 판정된다. 비트 레이트의 변경이 지령되어 있지 않는 경우에는 단계(S40)로 진행하고, 인코드 처리가 시퀀스 엔드까지 도달하고 있는지의 여부가 판정되며, 아직 도달하지 않고 있는 경우에는 단계(S31)로 되돌아가고, 그 이후의 처리가 반복하여 실행된다. 단계(S40)에 있어서, 처리가 시퀀스 엔드까지 도달하고 있다고 판정된 경우, 처리는 종료된다.

단계(S39)에 있어서, GOP의 도중에 있어서 비트 레이트가 변경되어 있다고 판정된 경우, 단계(S41)로 진행하고, 목표 비트량 설정 회로(32)는 다음식에 따라서, 부호량 R'(j+1)과 부호량 G(j+1)을 보정한다.

R'(j+1)={bit_rate(j+1)-bit_rate(j)}× L/pic_rate+ R'(j+1) ···(31)

G(j+1)={bit_rate(j+1)-bit_rate(j)}×(N-j)/pic_rate+ G(j+1) ···(32)

상기 식에 있어서, bit_rate(j)는 픽쳐(j)까지의 픽쳐의 부호화했을 때에 지정되어 있던 제1 비트 레이트를 나타내고, bit_rate(j+1)는 픽쳐(j+1)로부터의 픽쳐를 부호화하였을 때에 지정된 제2 비트 레이트를 나타내고, L은 부호화 처리에 앞서서 부호화 난이도가 연산되는 픽쳐의 매수(부호화 난이도가 선판독되는 픽쳐 매수)를 나타내고, N은 GOP에 포함되는 픽쳐의 매수를 나타내고 있다.

이와 같이, GOP의 도중에 있어서 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는 소정 매수(L매)의 픽쳐에 할당되는 부호량(R')은 도 23에 도시하는 바와 같이, 제1 비트 레이트에 대응한 값(R1)으로부터 제2 비트 레이트에 대응한 R2로 보정된다. 즉, 부호화 대상 픽쳐를 포함하는 L매의 미래의 픽쳐까지의 미부호화 픽쳐에 할당되는 비트량(R')은 새롭게 설정된 제2 비트 레이트로 부호화 처리되고 있었는가와 같이 보정된다. 구체적으로는 식(31)으로부터 이해할 수 있는 바와 같이, 1픽쳐당 비트량의 차분에, 부호화 난이도를 선판독하는 L매의 픽쳐의 매수를 곱한 값으로 보정할 수 있다.

한편, GOP에 있어서의 부호화 대상 픽쳐를 포함하는 미부호화 픽쳐에 할당하는 부호량(G)은 도 24에 도시하는 바와 같이, 초기치(R1)로부터, 비트 레이트 bit_rate(1)로 인코드가 행해졌을 때의 값 G(j+1)으로부터, 처음부터 초기치(R2)로 인코드를 행해 온 경우에 있어서의 값 G(j+1)으로 변경된다. 이 사실은 도 15를 참조하여 설명한 부호량(R)에서의 경우와 같다. 즉, 1픽쳐당 비트량의 차분에, GOP 에서의 미부호화 픽쳐의 매수(N-j)를 곱한 값으로 보정할 수 있다.

다음에, 단계(S42)로 진행하고, 목표 비트량 설정 회로(32)는 GOP에서 픽쳐(j+1) 이후의 미부호화 픽쳐에 할당되는 부호량 G(j+1)이, 최소치(Gmin)보다 작은지의 여부를 판정하고, 부호량(G)이, 최소치(Gmin)와 같거나, 그것보다 큰 경우에는 단계(S43)에 있어서, 보정치(e)에 0을 설정한다.

픽쳐(j+1) 이후의 미부호화 픽쳐에 할당되는 부호량 G(j+1)이, 최소치(Gmin)보다 작은 경우에는 단계(S44)에 있어서, 보정치(e)에, 양자의 차(G(j+1)-Gmin)가 설정된다. 이 처리는 도 7에 있어서의 단계(S13) 내지 단계(S15)의 처리와 같은 처리이다. 이 보정치(e)는 후술하는 단계(S46) 또는 단계(S47)의 처리에서 사용된다.

단계(S38)에 있어서, 부호화 대상으로 되어 있는 픽쳐(j+1)가, GOP의 선두의 픽쳐라고(즉「j+ 1」=「1」) 판정된 경우, 단계(S45)로 진행하고, 목표 비트량 설정 회로(32)는 비트 레이트의 변경이 지령되어 있는지의 여부를 판정한다.

여기서, 비트 레이트의 변경의 유무의 판정이 행해지고, 도 7의 단계(S8)에 있어서, 픽쳐(j+1)가 GOP의 선두의 픽쳐라고 판정된 경우에, 비트 레이트의 변경 처리가 행해지지 않는 것은 도 7의 처리의 경우에는 픽쳐(j+1)가 GOP의 선두의 픽쳐이거나, 그렇지 않더라도, 단계(S11)에서 동일한 식(2O)이 사용되므로, 비트 레이트의 변경 판단이 불필요한 것에 대하여, 도 20의 흐름도의 처리에 있어서는 픽 쳐(j+1)가 GOP의 선두의 픽쳐인 경우에 있어서도, 비트 레이트의 변경의 유무에 의해 처리가 다르기 때문에, 단계(S45)의 판정 처리가 삽입되어 있다.

즉, 단계(S45)에 있어서, 비트 레이트의 변경이 지령되어 있지 않다고 판정된 경우에는 단계(S46)에 있어서, 목표 비트량 설정 회로(32)는 다음식에 따라서, GOP의 최초의 픽쳐를 포함하는 미부호화 픽쳐에 할당되는 부호량 G(1)은 다음식에 의해서 연산된다.

G(1) = bit_rate(j+1) × N/pic_rate + G(j+1) + e ···(33)

한편, 단계(S45)에 있어서, 비트 레이트의 변경이 지령되어 있다고 판정된 경우에는 단계(S47)로 진행하고, 목표 비트량 설정 회로(32)는 다음식에 따라서, GOP의 최초의 픽쳐(1)로부터 L매 앞의 미부호화 픽쳐에 할당되는 부호량 R'(1)과 GOP의 최초의 픽쳐(1)를 포함하는 미부호화 픽쳐에 할당되는 부호량 G(1)을 갱신한다.

R'(1) = {bit_rate(j+1)-bit_rate(j)}×L/pic_rate+R'(j+1) ···(34)

G(1) = bit_rate(j+1)×N/pic_rate + G(j+1) + e ···(35)

상기 식에 있어서, bit_rate(j)은 픽쳐(j)에 대응하는 비트 레이트로서, bit_rate(j+1)는 픽쳐(j+1)에 대응하는 비트 레이트이다.

단계(S46)의 처리와 단계(S47)의 처리를 비교하여 명백한 바와 같이, 단계(S47)의 처리는 단계(S46)의 처리에 비교하여, 부호량 R'(1)의 갱신 처리가, 부호량 G(1)의 처리에 더하여 부가되어 있다.

보정치(e)의 기능은 도 16을 참조하여 설명한 경우와 같고, 도 25에 도시하 는 바와 같이, 부호량(G)의 변화에 동반하여 GOP의 최후의 픽쳐의 부호화가 행해진 직후에 있어서, e의 값이 0이 아닌 경우에는 다음 GOP의 부호화시의 부호량(G)의 초기치(R2)의 값이, e의 분만큼 작은 값으로 조정된다.

단계(S43, S44, S46, S47)의 처리 후, 단계(S40)로 진행하고, 그 이후의 처리가 반복하여 실행된다.

이상의 피드백형 및 피드포워드형 비트 레이트 제어의 실시예 중의 어느 하나에 있어서도, VBV 버퍼의 사용 범위를 제한하도록 하였지만, 화질을 고려하였을 때, 약간의 문제가 생기는 경우가 있다. 즉, 도 26에 도시하는 바와 같이, 최초의 GOP에서, 3Mbps의 비트 레이트가 설정되고, 다음의 GOP에서, 1.5Mbps의 비트 레이트가 설정되며, 또한, 그 다음 GOP에서, 다시 3Mbps의 비트 레이트가 설정된 것으로 한다. 이 때, VBV 버퍼의 용량을 1.8M 비트로 하고, 임계치 bit_rate(0)를 3.0Mbps로 하면, 지연 시간 τmax=1.8/3.0=0.6(초)가 된다.

이 때, 각 GOP에서의 TM5의 비트 레이트 알고리즘에 적용되어 있는 GOP에서의 미부호화 픽쳐에 할당되는 부호량(R)의 초기치는 bit_rate×N/pic_rate의 식으로부터 다음과 같이 구할 수 있다. 또, GOP의 매수(N)를 15로 하고, pic_rate=30로 한다.

즉, 최초의 GOP에서는 미부호화 픽쳐에 할당되는 부호량(R)의 초기치는 1.5(=3.0×15/30) Mbits가 된다. 다음의 GOP에서는 초기치는 0.75(=1.5×15/30)이 되지만, 그 값이, 도 6의 단계(S7)의 식(17)에 기초하여, VBV 버퍼의 용량의 차분(vbv_size(1)-vbv_size(2))으로 보정되는 변경전(앞의 GOP)의 VBV 버퍼 용량 vbv_size(1)은 1.8(=τmax×bit_rate(1)=0.6×3.0)로 되어 있는 것에 대하여, 제2번째의 GOP에서의 VBV 버퍼의 용량 vbv_size(2)은 0.9(=τmax×bit_rate(2)= 0.6×1, 5)가 되므로, 그 차분은 0.9(=1.8-0.9)로 되며, 결국, 초기치(R)는 1.65(=0.75+(1.8-0.9)) Mbits가 된다.

한편, 제3번째의 GOP에서는 초기치는 1.5(=3.0×15/30)이 되지만, VBV 버퍼의 변경전의 용량 vbv_size(2)는 0.9인 것에 대하여, 이 GOP에 있어서의 용량 vbv_size(3)는 1.8이 된다. 따라서, 초기치(R)는 0.6(=1.5+(O.9-1.8)) Mbits가 된다.

2번째의 GOP에서는 원래 인코드하기 쉬운 그림이기 때문에, 비트 레이트를 1.5 Mbps로 작은 값으로 설정하였음에도 불구하고, 부호량(R)의 초기치는 1.65로 큰 값으로 설정되어 버린다. 이것에 대하여, 제3번째의 GOP에서는 인코드가 어려운 그림이기 때문에, 비트 레이트를 3.OMbps로 크게 한 것임에도 불구하고, 부호량(R)의 초기치는 O.6 Mbps로 작은 값으로 설정되어 버린다. 즉, 2번째의 GOP의 부호량의 초기치(R)가 커지고, 최후의 GOP의 부호량(R)의 초기치가 대단히 작아진다는 역전 현상이 발생하고 있다.

이것은 도 27에 도시하는 바와 같이, 비트 레이트 bit_rate의 값이, 임계치 bit_rate(0)보다 작게 되었을 때, 급격히 VBV 버퍼의 용량 vbv_size의 사용 범위를 제한하도록 한 것에 기인한다. 또, 도 27에 있어서, 횡축은 비트 레이트 bit_rate를 나타내고, 종축은 VBV 버퍼의 용량 vbv_size를 나타내고 있다. 그리고, 도 27에 있어서, 음영을 넣어 나타낸 범위는 VBV 버퍼의 사용이 제한되어 있는 범위를 나타내고 있다.

그래서, 도 28에 도시하는 바와 같이, 임계치 bit_rate(0)보다 큰 임계치 bit_rate(0_U)를 설정하고, 또한 임계치 bit_rate(0)보다 작은 임계치 bit_rate(O_L)를 설정하여, 비트 레이트 bit_rate의 값이, 임계치 bit_rate(O_U)보다 작게 되었을 때, VBV 버퍼의 사용 범위를 비트 레이트가 임계치 bit_rate(0_L)가 될 때까지, 서서히 제한하고, 비트 레이트가 임계치 bit_rate(0_L)보다 작게 된 경우에는 도 27에 도시한 경우와 마찬가지로, 또한 급격히 VBV 버퍼의 사용 범위를 제한하도록 할 수 있다. 이 경우, 도 6의 단계(S2)의 식(13)에 있어서의 VBV 버퍼의 사용범위를 규정하는 우변의 제1 인수를, 비트 레이트가 bit_rate(0_L) 이하일 때, τmax×bit_rate(j+1)로 하지만, 비트 레이트가 bit_rate(0_L) 내지 bit_rate(0_U)의 사이의 값일때, 다음식으로 변경하도록 하면 된다.

{(vbv_size(0)-vbv_size(0_L))×bit_rate+vbv_size(O_L)×bit_rate(0_U)-vbv_size(0)×vbv_size(0_L)}/{bit_rate(0_U)-bit_rate(0_L)} ···(36)

또한, vbv_size(0_L)는 다음식으로 나타낸다.

vbv_size(0_L)=vbv_size(0)×bit_rate(0_L)/bit_rate(0) ···(37)

또한, 피드포워드형 비트 레이트 제어에 있어서도, 도 19의 단계(S32)에 있어서의 연산에 있어서, 마찬가지로 VBV 버퍼의 용량이 연산된다.

도 18의 인트라 AC 연산 회로(41)에 있어서, 인트라 AC를 연산하도록 하였으나, 인트라 AC를 대신하여, 플래트네스를 연산하도록 해도 된다. 플래트네스란, 화상의 공간적인 평탄함을 나타내는 데이터이다. 이 경우, 8×8화소의 DCT 블록이 2화소×2화소의 소블록으로 분할된다. 그리고, 각 소블록내에서의 대각선상에 위치하는 화소 데이터(화소치)의 차분이 산출되고, 그차분의 절대치 중 작은 쪽이 선택된다. 선택된 차분치가, 또한 소정의 임계치와 비교되어, 차분치가 임계치보다 작은 소블록의 총수가, 플래트네스로서 픽쳐마다 구할 수 있다.

또, 플래트네스의 값은 화상의 도안이 공간적으로 복잡할수록 작아지고, 평탄하면 커진다. 이 플래트네스는 부호화 난이도(Dj)와, 강한 음의 상관 관계를 갖는다. 따라서, 압축 부호화 전에 I 픽쳐가 되는 픽쳐의 부호화 난이도(Dj)를 플래트네스로부터 구하고, 이 플래트네스로부터 I 픽쳐에 대한 목표 부호량 T(j)을 구할 수 있다.

이상과 같이, 고정 비트 레이트에 사용하는 비트 레이트 제어 방법을 사용하면서, GOP의 도중에 있어서 비트 레이트를 변경할 수 있도록 하였으므로, 그림의 부호가 난이도의 변화에 빠르게 대응하여, 비트 레이트를 변경할 수 있다. 그 결과, 각 프로그램의 GOP의 위상이 동기하지 않도록 한 경우에 있어서도, 전송 용량을 낭비 없이 유효하게 사용할 수 있고, 전체로서 화질의 향상을 꾀할 수 있다.

또한, 고정 비트 레이트 인코드로 사용되는 비트 레이트 제어방법을 사용함으로써, VBV 버퍼(또는 디코더의 버퍼)의 언더플로 또는 오버플로를 일으키지 않도록 한 비트 레이트 제어가 통계 다중의 경우에까지 확장할 수 있다.

본 발명은 반드시 통계 다중에 제한되지 않고, 예를 들면, 하드 디스크와 같은 기록 미디어에 축적 보존하기 위해서 데이터를 인코드하도록 한 경우, 고정 비율 부호화의 비율 제어 방법을 사용하면서, 심리스하게 비트 레이트를 변경하는 데에 적용할 수 있고, 그림에 따라서 비트 레이트를 변경하여, 결과적으로 소정의 화질을 실현하는 축적 미디어의 용량을 절약하는 것이 가능해진다.

상술한 실시예에 있어서는 TM5의 알고리즘에 의해 GOP를 단위로하여 목표 부호량을 계산하는 경우에 대해서 기술하였지만, 본 발명은 이것에 제한되지 않고, 부호화 처리하는 픽쳐로부터 소정수의 픽쳐를 단위 목표 전송 레이트에 의한 부호량을 계산하여 목표 부호량을 산출하는 경우 등에 있어서도, 널리 적용할 수 있다.

또한 상술한 실시예에 있어서는 나머지 미부호화 픽쳐에 할당하는 부호량(R)을 보정함으로써, 픽쳐 단위로 비트 레이트를 변경하는 경우에 대해서 기술하였지만, 본 발명은 이것에 제한되지 않고, GOP 단위로 비트 레이트를 변경하는 경우 등에도 널리 적용할 수 있다.

또한 상술한 실시예에 있어서는 MPEG에 의해 각 프로그램을 부호화 처리하여 전송하는 경우에 대해서 설명하였지만, 본 발명은 이것에 제한되지 않고, 여러가지의 부호화 방식에 의해 여러가지의 프로그램을 부호화 처리하여 전송하는 경우에 널리 적용할 수 있다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 장치에 의해 구성되는 장치전체를 나타내는 것으로 한다.

또한, 상술한 바와 같은 처리를 행하는 컴퓨터 프로그램을 유저에게 제공하 는 제공 매체로서는 자기 디스크, CD-R0M, 고체 메모리 등의 기록 매체 이외의 네트워크, 위성 등의 통신 매체를 이용할 수 있다.

이상과 같이, 본 발명에 의하면, 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여, 부호화 대상 픽쳐에 할당되는 목표 비트량을 보정하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록 미부호화픽쳐의 비트량을 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서, 지정 비트 레이트가 제1 비트 레이트가 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량을 제1 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이, 제2 비트 레이트로 각 픽쳐를 부호화하고 있을 때의 궤적이 되도록, 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 보정된 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 지정 비트 레이트의 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 대하여 할당되는 비트량을 제1 비트 레이트에 기초하여 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당하는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, 지정 비트 레이트의 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 제1 비트 레이트와 제2 비트 레이트의 차분에 기초하여, 부호화 대상 픽쳐에 할당되는 목표 비트량을 보정하도록 하였다.

본 발명에 의하면, 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터 제2 비트 레이트에 대응하는 목표 비트량으로 보정하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서, 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록 미부호화 픽쳐의 비트량을 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당하는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 지정 비트 레이트의 제1 비트 레이트가 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐의 비트량은 제1 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로부터, 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 목표 비트 레이트를 제1 비트 레이트에 대응하는 목표 비트량으로부터의 제2 비트 레이트에 대응하는 목표 비트량으로 보정하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이, 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록, 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 보정된 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

본 발명에 의하면, GOP의 도중에 있어서 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우, 미부호화 픽쳐에 대하여 할당되는 비트량을, 제1 비트 레이트에 기초하여 미부호화 픽쳐의 비트량으로부터 제2 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로 보정하고, 보정된 미부호화 픽쳐의 비트량에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하도록 하였다.

따라서, 어느 경우에도, 화상 데이터의 통계 다중시에, GOP의 위상에 불일치가 있다고 하더라도, 전송 효율의 저하를 억제할 수 있다.

Claims (39)

1. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

   상기 지정 비트 레이트에 기초하여, GOP에 포함되는 각 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 각각 연산하는 제어 수단과,

   상기 제어 수단에 의해서 제어된 목표 비트량에 기초하여, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며,

   상기 제어 수단은,

   상기 부호화 수단에 의해서 상기 부호화 대상 픽쳐의 부호화 처리를 행하는 경우, 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 상기 제1 비트 레이트와 상기 제2 비트 레이트의 차분에 기초하여 상기 부호화 대상 픽쳐에 할당되는 상기 목표 비트량을 보정하는 것을 특징으로 하는, 부호화 장치.
2. 제1항에 있어서, 상기 제어 수단은,

   상기 부호화 대상 픽쳐에 대하여 할당되는 상기 목표 비트량을, 상기 대상 GOP에서 아직 부호화되어 있지 않는 미부호화 픽쳐에 대하여 할당되는 비트량을 상기 부호화 대상 픽쳐의 픽쳐 형태에 따라서 배분함으로써 구하는 것을 특징으로 하는, 부호화 장치.
3. 제2항에 있어서, 상기 제어 수단은,

   상기 제1 비트 레이트와 상기 제2 비트 레이트의 차분에 따라서 상기 미부호화 픽쳐의 비트량을 보정하고, 이 보정된 미부호화 픽쳐의 비트량에 기초하여 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
4. 제2항에 있어서, 상기 제어 수단은,

   상기 제1 비트 레이트에서의 1픽쳐당의 비트량과 상기 제2 비트 레이트에서의 1픽쳐당의 비트량의 차분에, 미부호화 픽쳐의 매수를 곱한 값으로 상기 미부호화 픽쳐의 비트량을 보정하고,

   이 보정된 미부호화 픽쳐의 비트량에 기초하여 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
5. 제4항에 있어서, 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 알고리즘은,

   상기 부호화 수단에 의한 각 픽쳐마다 부호화 처리의 결과 발생한 발생 비트량에 기초하여, 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 연산하고, 이 글로벌 콤플렉시티와 상기 미부호화 픽쳐의 비트량에 기초하여 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 피드백형 연산 알고리즘인 것을 특징으로 하는, 부호화 장치.
6. 제4항에 있어서, 상기 제어 수단은,

   상기 부호화 대상 픽쳐 직전의 픽쳐까지를 상기 제1 비트 레이트로 부호화하고, 상기 부호화 대상 픽쳐로부터 제2 비트 레이트로 부호화하는 경우에 있어서, 상기 부호화 대상 픽쳐 이후의 미부호화 픽쳐의 비트량을, 상기 직전의 픽쳐 이후의 미부호화 픽쳐에 할당되는 비트량으로부터 상기 직전의 픽쳐의 부호화 처리에 의한 발생 비트량을 감산함으로써 구하는 것을 특징으로 하는, 부호화 장치.
7. 제6항에 있어서, 상기 제어 수단은,

   상기 부호화 대상 픽쳐 직전의 픽쳐까지를 상기 제1 비트 레이트로 부호화하고, 상기 부호화 대상 픽쳐로부터 제2 비트 레이트로 부호화한 후, 상기 대상 GOP의 다음 GOP의 선두 픽쳐를 부호화하는 경우에는,

   상기 다음의 GOP의 미부호화 픽쳐에 대하여 할당되는 비트량을 상기 대상 GOP의 부호화 처리의 결과 생성된 보정치로 보정하는 것을 특징으로 하는, 부호화 장치.
8. 제1항에 있어서, 상기 GOP에 있어서 j+1번째의 픽쳐인 부호화 대상 픽쳐(j+1)를 부호화하는 경우에, 상기 대상 GOP에 있어서 부호화 대상 픽쳐(j+1)를 포함하는 미부호화 픽쳐에 대하여 할당되는 비트량 R(j+1)은 픽쳐(j)를 부호화하기 전의 미부호화 픽쳐의 부호량R(j)로부터, 픽쳐(j)를 부호화하여 발생한 부호량 S(j)를 감산하는 아래식에 의해서 계산되고,

   R(j+1)=R(j)-S(j)

   상기 부호화 대상 픽쳐(j+1)에 대하여 할당되는 목표 비트량은 상기 미부호화 픽쳐에 대하여 할당되는 비트량 R(j+1)에 기초하여 연산되는 것을 특징으로 하는, 부호화 장치.
9. 제8항에 있어서, 상기 부호화 대상 픽쳐(j+1)가, 상기 GOP의 최초의 픽쳐인 경우에는 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP에 있어서의 상기 부호화 대상 픽쳐(j+1) 이후의 미부호화 픽쳐의 비트량 R(j+1)은,

   bit_rate(j+1)는 상기 픽쳐(j+1)를 포함하는 대상 GOP에 대하여 지정된 비트 레이트를 나타내고,

   N은 GOP에 포함되는 픽쳐의 매수를 나타내며,

   pic_rate는 프레임 레이트를 나타내고,

   R(j+1)는 상기 부호화 대상 픽쳐(j+1)의 이전의 픽쳐(j)를 포함하는 GOP에서의 상기 픽쳐(j) 이후의 미부호화 픽쳐의 비트량 R(j)으로부터, 상기 픽쳐(j)의 부호화 처리에 의해서 발생한 비트량을 감산한 값을 나타내며,

   e는 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP의 다음의 GOP에 대하여 공급되는 보정 비트량을 나타내고 있을 때,

   아래식,

   R(j+1)=bit_rate(j+1)×N/pic_rate+R(j+1)+e

   에 의해 계산되는 것을 특징으로 하는, 부호화 장치.
10. 제8항에 있어서, 상기 부호화 대상 픽쳐(j+1)가 상기 대상 GOP의 도중의 픽쳐로서,

    상기 부호화 대상 픽쳐 이전의 픽쳐(j)까지를 상기 제1 비트 레이트로 부호화하고, 상기 부호화 대상 픽쳐(j+1)로부터 제2 비트 레이트로 부호화하는 경우에 있어서, 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP에 있어서의 상기 픽쳐(j+1) 이후의 미부호화 픽쳐의 비트량을,

    bit_rate(j)는 제1 비트 레이트를 나타내고,

    bit_rate(j+1)는 제2 비트 레이트를 나타내며,

    N은 GOP에 포함되는 픽쳐의 매수를 나타내고,

    pic_rate는 프레임 레이트를 나타내며,

    R(j+1)는 상기 부호화 대상 픽쳐(j+1) 이전의 픽쳐(j)를 포함하는 GOP에 있어서의 상기 픽쳐(j) 이후의 미부호화 픽쳐의 비트량 R(j)으로부터, 상기 픽쳐(j)의 부호화 처리에 의해 발생한 비트량을 감산한 값을 나타내고 있을 때,

    아래식,

    R(j+1)=(bit_rate(j+1)-bit_rate(j))×(N-j)/pic_rate+ R(j+1)

    에 의해서 계산하는 것을 특징으로 하는, 부호화 장치.
11. 제10항에 있어서, 상기 부호화 대상 픽쳐(j+1)에 대하여 할당되는 목표 비트량 T(j+1)은,

    Ti(j+1)은 상기 부호화 대상 픽쳐(j+1)가 I 픽쳐인 경우의 목표 비트량을 나타내고,

    Tp(j+1)는 상기 부호화 대상 픽쳐(j+1)가 P 픽쳐인 경우의 목표 비트량을 나타내며,

    Tb(j+1)는 상기 부호화 대상 픽쳐(j+1)가 B 픽쳐인 경우의 목표 비트량을 나타내고,

    R(j+1)은 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP에 있어서의 픽쳐(j+1) 이후의 미부호화 픽쳐에 할당되는 비트량을 나타내며,

    Xi는 I 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내고,

    Xp는 P 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내며,

    Xb는 B 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내고,

    Np는 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP에 있어서 아직 부호화되어 있지 않는 P 픽쳐의 매수를 나타내며,

    Nb는 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP에 있어서 아직 부호화되어 있지 않는 P 픽쳐의 매수를 나타내고,

    Kp는 I 픽쳐의 양자화 스케일 코드를 기준으로 한 P 픽쳐의 양자화 스케일 코드의 비율을 나타내며,

    Kb는 I 픽쳐의 양자화 스케일 코드를 기준으로 한 B 픽쳐의 양자화 스케일 코드의 비율을 나타내고 있을 때,

    아래식,

    Ti(j+1)=max(R(j+1)/(1+NpXp/XiKp+NbXb/XiKb), bit_rate/8×pic_rate)

    Tp(j+1)=max(R(j+1)/{Np+NbKpXb/KbXp}, bit_rate/8×pic_rate)

    Tb(j+1)=max(R(j+1)/{Nb+NpKbXp/KpXb}, bit_rate/8×pic_rate)

    에 의해서 계산되는 것을 특징으로 하는, 부호화 장치.
12. 제1항에 있어서, 상기 제어 수단은,

    상기 부호화 대상 픽쳐 직전의 픽쳐까지를 상기 제1 비트 레이트로 부호화하고, 상기 부호화 대상 픽쳐로부터 제2 비트 레이트로 부호화하는 경우에 있어서,

    상기 부호화 대상 픽쳐 이후의 소정 매수의 미부호화 픽쳐에 할당하는 비트량을 연산하는 동시에, 상기 소정 매수의 미부호화 픽쳐의 부호화 난이도를 나타내는 디피컬티를 각각 검출하며,

    상기 부호화 대상 픽쳐에 대하여 할당되는 상기 목표 비트량을 상기 소정 매수의 미부호화 픽쳐의 비트량을 상기 부호화 대상 픽쳐의 디피컬티에 기초하여 배분함으로써 구하는 것을 특징으로 하는, 부호화 장치.
13. 제12항에 있어서, 상기 제어 수단은,

    상기 제1 비트 레이트와 상기 제2 비트 레이트의 차분에 따라서 상기 소정 매수의 미부호화 픽쳐의 비트량을 보정하고, 이 보정된 소정 매수의 미부호화 픽쳐의 비트량에 기초하여 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
14. 제12항에 있어서, 상기 제어 수단은,

    상기 제1 비트 레이트에 있어서의 1픽쳐당의 비트량과 상기 제2 비트 레이트에 있어서의 1픽쳐당의 비트량의 차분에, 상기 미부호화 픽쳐의 소정 매수를 곱한 값으로 상기 소정 매수의 미부호화 픽쳐의 비트량을 보정하고,

    이 보정된 소정 매수의 미부호화 픽쳐의 비트량에 기초하여 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
15. 제13항에 있어서, 상기 제어 수단은,

    각 픽쳐가 부호화할 때마다, 상기 부호화 대상 픽쳐 직전의 픽쳐의 부호화 처리의 결과 발생한 비트량과, 상기 부호화 대상 픽쳐의 소정 매수 앞의 픽쳐의 예상 발생 비트량에 기초하여, 상기 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 할당되는 비트량을 구하는 것을 특징으로 하는, 부호화 장치.
16. 제15항에 있어서, 상기 부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐의 예상발생 비트량은,

    상기 소정 매수 앞의 픽쳐를 포함한 GOP에 있어서, 상기 소정 매수 앞의 픽쳐 이후의 미부호화 픽쳐에 대하여 할당되는 비트량을, 상기 소정 매수 앞의 픽쳐의 픽쳐 형태에 따라서 배분함으로써 구할 수 있는 것을 특징으로 하는, 부호화 장치.
17. 제16항에 있어서, 상기 소정 매수 앞의 픽쳐 이후의 미부호화 픽쳐에 대하여 할당되는 비트량은,

    상기 제1 비트 레이트에 있어서의 1픽쳐당의 비트량과 상기 제2 비트 레이트에 있어서의 1픽쳐당의 비트랑의 차분에, 상기 소정 매수 앞의 픽쳐를 포함한 GOP에서의 상기 소정 매수 앞의 픽쳐 이후의 미부호화 픽쳐의 매수를 곱한 값으로 보정되는 것을 특징으로 하는, 부호화 장치.
18. 제17항에 있어서, 상기 부호화 대상 픽쳐 직전의 픽쳐까지를 상기 제1 비트 레이트로 부호화하고, 상기 부호화 대상 픽쳐로부터 제2 비트 레이트로 부호화한 후에, 다음 GOP의 선두 픽쳐를 부호화하는 경우에는,

    상기 제어 수단은,

    상기 다음의 GOP의 미부호화 픽쳐에 대하여 할당되는 비트량을, 상기 부호화 대상 픽쳐를 포함하고 있는 GOP의 부호화 처리의 결과 생성된 보정치로 보정하는 것을 특징으로 하는, 부호화 장치.
19. 제18항에 있어서, 상기 보정치는,

    상기 부호화 대상 픽쳐를 포함하고 있는 GOP의 최후의 픽쳐에 할당된 목표 부호량으로부터 상기 최후의 픽쳐의 실제의 부호화 처리에 의한 발생 비트량을 감산한 값을 사용함으로써 얻을 수 있는 것을 특징으로 하는, 부호화 장치.
20. 제12항에 있어서, 제어 수단에서의 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 알고리즘은,

    상기 부호화 대상 픽쳐의 부호화 처리 전에,

    상기 부호화 대상 픽쳐를 포함하는 소정 매수의 미부호화 픽쳐의 부호화 난이도를 나타내는 디피컬티를 각각 검출하고, 상기 소정 매수의 미부호화 픽쳐의 디피컬티와, 상기 부호화 대상 픽쳐의 디피컬티에 기초하여, 상기 부호화 대상 픽쳐의 목표 비트량을 연산하는 피드포워드형 알고리즘인 것을 특징으로 하는, 부호화 장치.
21. 제1항에 있어서, 상기 GOP에 있어서 j+1번째의 픽쳐인 부호화 대상 대상 픽쳐(j+1)를 부호화하는 경우에, 상기 부호화 대상 픽쳐(j+1)로부터 픽쳐(j+L)까지의 L매의 미부호화 픽쳐에 대하여 할당되는 비트량 R'(j+1)은,

    R'(j)은 픽쳐(j)로부터 픽쳐(j-1+L)까지의 L매의 미부호화 픽쳐에 대하여 할당되는 비트량을 나타내고,

    S(j)는 픽쳐(j)의 부호화 처리의 결과 발생한 비트량을 나타내며,

    F(j+L)는 픽쳐(j+L)의 예상 발생 비트량을 나타내고 있을 때, 아래식,

    R'(j+1)= R'(j)-S(j)+F(j+L)에 의해서 계산되는 것을 특징으로 하는, 부호화 장치.
22. 제21항에 있어서, 상기 픽쳐(j+L)의 예상 발생 비트량 F(j+L)은,

    Fi(j+L)은 상기 픽쳐(j+L)가 I 픽쳐인 경우의 목표 비트량을 나타내고,

    Fp(j+L)은 상기 픽쳐(j+L)가 P 픽쳐인 경우의 목표 비트량을 나타내며,

    Fb(j+L)은 상기 픽쳐(j+L)가 B 픽쳐인 경우의 목표 비트량을 나타내고,

    G(j+L)은 상기 픽쳐(j+L)가 포함되는 GOP에서 상기 픽쳐(j+L) 이후의 미부호화 픽쳐에 할당되는 비트량을 나타내며,

    Xi는 I 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내고,

    Xp는 P 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내며,

    Xb는 B 픽쳐의 화면의 복잡함을 나타내는 글로벌 콤플렉시티를 나타내고,

    Np는 상기 픽쳐(j+L)가 포함되는 GOP에서 아직 부호화되어 있지 않은 P 픽쳐의 매수를 나타내며,

    Nb는 상기 픽쳐(j+L)가 포함되는 GOP에서 아직 부호화되어 있지 않는 P 픽쳐의 매수를 나타내고,

    Kp는 I 픽쳐의 양자화 스케일 코드를 기준으로 한 P 픽쳐의 양자화 스케일 코드의 비율을 나타내며,

    Kb는 I 픽쳐의 양자화 스케일 코드를 기준으로 한 B 픽쳐의 양자화 스케일 코드의 비율을 나타내고 있을 때,

    아래식,

    Fi(j+L)=max(G(j+L)/(1+NpXp/XiKp+NbXb/XiKb), bit_rate/8×pic_rate)

    Fp(j+L)=max(G(j+L)/(Np+NbKpXb/KbXp), bit_rate/8×pic_rate)

    Fb(j+L)=max(G(j+L)/(Nb+NpKbXp/KpXb), bit_rate/8×pic_rate)

    에 의해서 연산되는 것을 특징으로 하는, 부호화 장치.
23. 제22항에 있어서, 상기 픽쳐(j+L)가 포함되는 GOP에 있어서 상기 픽쳐(j+L)이후의 미부호화 픽쳐에 할당되는 비트량 G(j+L)은,

    G(j+L-1)은 상기 픽쳐(j+L)가 포함되는 GOP에서 픽쳐(j+L-1) 이후의 미부호화 픽쳐에 할당하는 비트량을 나타내고,

    F(j+L-1)는 상기 픽쳐(j+L-1)의 예상 발생 비트량을 나타내고 있을 때,

    아래식,

    G(j+L)=G(j+L-1)-F(j+L-1)

    에 의해서 구할 수 있는 것을 특징으로 하는, 부호화 장치.
24. 제23항에 있어서, 상기 부호화 대상 픽쳐(j+1)가 GOP의 최초의 픽쳐이고, 상기 부호화 대상 픽쳐(j+1)를 포함하는 GOP보다도 과거의 GOP에 있어서, 상기 지정 비트 레이트가 상기 제1 비트 레이트로부터 상기 제2 비트 레이트로 변경되는 경우에는,

    상기 부호화 대상 픽쳐(j+1) 이후의 L매의 미부호화 픽쳐의 비트량 R'(j+1), 및 상기 부호화 대상 픽쳐(j+1)가 포함되는 GOP에서의 상기 부호화 대상 픽쳐(j+1)이후의 L매의 미부호화 픽쳐의 비트량 G(j+1)은,

    bit_rate(1)는 상기 제1 비트 레이트를 나타내고,

    bit_rate(2)는 상기 제2 비트 레이트를 나타내며,

    N은 GOP에 포함되는 픽쳐의 매수를 나타내고,

    pic_rate는 프레임 레이트를 나타내며,

    G(j+1)는 상기 픽쳐(j)를 포함하는 GOP의 최후의 픽쳐의 부호화 처리의 결과, 남은 비트량을 나타내고,

    e는 상기 픽쳐(j+1)를 포함하는 GOP의 다음의 GOP에 대하여 공급되는 보정 비트량을 나타내고 있을 때,

    아래식

    R'(j+1)=(bit_rate(2)-bit_rate(1))×L/pic_rate+R'(j+1)

    G(j+1)=bit_rate(2)×N/pic_rate+G(j+1)+e에 의해서 구할 수 있는 것을 특징으로 하는, 부호화 장치.
25. 제23항에 있어서, 상기 부호화 대상 픽쳐(j+1)가 GOP의 도중의 픽쳐이고, 픽쳐(j)까지를 상기 제1 비트 레이트로 부호화하고, 픽쳐(j+1)로부터 상기 제2 비트 레이트로 부호화하는 경우는,

    상기 부호화 대상 픽쳐(j+1) 이후의 L매의 미부호화 픽쳐의 비트량 R'(j+1) 및 상기 부호화 대상 픽쳐(j+1)가 포함되는 GOP에서의 상기 부호화 대상 픽쳐(j+1)이후의 L매의 미부호화 픽쳐의 비트량 G(j+1)은,

    bit_rate(j)는 픽쳐(j)를 포함하는 GOP에 대하여 지정된 상기 제1 비트 레이트를 나타내고,

    bit_rate(j+1)는 픽쳐(j+1)를 포함하는 GOP에 대하여 지정된 상기 제2 비트 레이트를 나타내며,

    N은 GOP에 포함되는 픽쳐의 매수를 나타내고,

    pic_rate는 프레임 레이트를 나타내며,

    G(j+1)는 상기 픽쳐(j)를 포함하는 GOP의 최후의 픽쳐의 부호화 처리의 결과, 남은 비트량을 나타내고,

    e는 상기 픽쳐(j+1)를 포함하는 GOP의 다음 GOP에 대하여 공급되는 보정 비트량을 나타내고 있을 때,

    아래식,

    R' (j+1)=(bit_rate(j+1)-bit_rate(j))×L/pic_rate+ R'(j+1)

    G(j+1)=(bit_rate(j+1)-bit_rate(j))×N/pic_rate+ G(j+1)+e에 의해서 구할 수 있는 것을 특징으로 하는, 부호화 장치.
26. 제25항에 있어서, 상기 부호화 대상 픽쳐(j+1)에 대하여 할당되는 목표 비트량 T(j+1)은,

    D(j+1)은 상기 부호화 대상 픽쳐(j+1)의 디피컬티를 나타내고,

    ΣD(k)는 픽쳐(j+1)로부터 픽쳐(j+1+L)까지의 각각의 디피컬티를 가산한 값을 나타낼 때,

    아래식,

    T(j+1)=max(R'(j+1)×D(j+1)/ΣD(k), bit_rate(j+1)/8×pic_rate)에 의해서 계산되는 것을 특징으로 하는, 부호화 장치.
27. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    GOP내에 있어서의 미부호화 픽쳐에 대하여 할당되는 비트량과 상기 지정 비트 레이트에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고,

    상기 제어 수단은,

    상기 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 부호화 수단에 주어지는 목표 비트 레이트를 상기 제1 비트 레이트에 대응하는 상기 목표량으로부터 상기 제2 비트 레이트에 대응하는 상기 목표 비트량으로 보정하는 것을 특징으로 하는, 부호화 장치.
28. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며,

    상기 제어 수단은,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록, 상기 미부호화 픽쳐의 비트량을 보정하고, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
29. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    GOP내에서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당하는 목표 비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고,

    상기 제어 수단은,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐의 비트량을, 상기 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 상기 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
30. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 연산된 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고,

    상기 제어 수단은,

    상기 지정 비트 레이트가 GOP 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 부호화 수단에 주어지는 목표 비트 레이트를, 상기 제1 비트 레이트에 대응하는 상기 목표 비트량으로부터 제2 비트 레이트에 대응하는 상기 목표 비트량으로 보정하는 것을 특징으로 하는, 부호화 장치.
31. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하고,

    상기 제어 수단은,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이 상기 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록, 상기 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 상기 보정된 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
32. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 장치에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당하는 목표 비트량을 연산하는 제어 수단과,

    상기 제어 수단에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 수단을 구비하며,

    상기 제어 수단은,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐에 대하여 할당되는 비트량을, 상기 제1 비트 레이트에 기초하여 미부호화 픽쳐의 비트량으로부터 상기 제2 비트 레이트에 기초하는 미부호화 픽쳐의 비트량으로 보정하고, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 장치.
33. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    상기 지정 비트 레이트에 기초하여, GOP에 포함되는 각 픽쳐에 대하여 할당되는 목표 비트량을 각각 연산하는 제어 공정과,

    상기 제어 공정에 의해서 제어된 목표 비트량에 기초하여 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정에 있어서,

    상기 부호화 공정에 의해서 상기 부호화 대상 픽쳐의 부호화 처리를 하는 경우에는, 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경되었을 때, 상기 제1 비트 레이트와 상기 제2 비트 레이트의 차분에 기초하여 상기 부호화 대상 픽쳐에 할당되는 상기 목표 비트량을 보정하는 것을 특징으로 하는, 부호화 방법.
34. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량과 상기 지정 비트 레이트에 기초하여, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정에 있어서,

    상기 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 부호화 공정에 주어지는 목표 비트 레이트를 상기 제1 비트 레이트에 대응하는 상기 목표 비트량으로부터, 상기 제2 비트 레이트에 대응하는 상기 목표 비트량으로 보정하는 것을 특징으로 하는, 부호화 방법.
35. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    GOP 내에서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하고,

    상기 제어 공정에 있어서,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐의 비트량의 변화 궤적이 GOP의 선두 픽쳐로부터 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록, 상기 미부호화 픽쳐의 비트량을 보정하며, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 방법.
36. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    GOP 내에 있어서의 미부호화 픽쳐에 대하여 할당되는 비트량으로부터, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정 있어서,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐의 비트량을, 상기 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 상기 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 방법.
37. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정에 있어서,

    상기 지정 비트 레이트가 GOP의 도중에 있어서 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 부호화 공정에 주어지는 목표 비트 레이트를, 상기 제1 비트 레이트에 대응하는 상기 목표 비트량으로부터, 상기 제2 비트 레이트에 대응하는 상기 목표 비트량으로 보정하는 것을 특징으로 하는, 부호화 방법.
38. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정에 있어서,

    GOP 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐에 할당되는 예상 비트량의 변화 궤적이 상기 제2 비트 레이트로 각 픽쳐를 부호화하고 있었을 때의 궤적이 되도록, 상기 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 보정하고, 상기 보정된 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 방법.
39. 지정 비트 레이트에 기초하여 비디오 데이터를 부호화하는 부호화 방법에 있어서,

    부호화 대상 픽쳐로부터 소정 매수 앞의 픽쳐까지의 미부호화 픽쳐에 대하여 할당되는 예상 비트량을 연산하고, 그 예상 비트량을 상기 부호화 대상 픽쳐의 부호화 난이도에 기초하여 배분함으로써, 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 제어 공정과,

    상기 제어 공정에 의해서 연산된 목표 비트량에 따라서, 상기 부호화 대상 픽쳐를 부호화하는 부호화 공정을 구비하며,

    상기 제어 공정에 있어서,

    GOP의 도중에 있어서 상기 지정 비트 레이트가 제1 비트 레이트로부터 제2 비트 레이트로 변경된 경우에는, 상기 미부호화 픽쳐에 대하여 할당되는 비트량을, 상기 제1 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로부터 상기 제2 비트 레이트에 기초한 미부호화 픽쳐의 비트량으로 보정하고, 상기 보정된 미부호화 픽쳐의 비트량에 기초하여, 상기 부호화 대상 픽쳐에 대하여 할당되는 목표 비트량을 연산하는 것을 특징으로 하는, 부호화 방법.

Images