KR101391661B1 - 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램 - Google Patents

동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램 Download PDF

Info

Publication number
KR101391661B1
KR101391661B1 KR1020127029220A KR20127029220A KR101391661B1 KR 101391661 B1 KR101391661 B1 KR 101391661B1 KR 1020127029220 A KR1020127029220 A KR 1020127029220A KR 20127029220 A KR20127029220 A KR 20127029220A KR 101391661 B1 KR101391661 B1 KR 101391661B1
Authority
KR
South Korea
Prior art keywords
encoding
picture
parameter
coding
quantization
Prior art date
Application number
KR1020127029220A
Other languages
English (en)
Other versions
KR20130006684A (ko
Inventor
마사키 기타하라
아츠시 시미즈
나오키 오노
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20130006684A publication Critical patent/KR20130006684A/ko
Application granted granted Critical
Publication of KR101391661B1 publication Critical patent/KR101391661B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

CPB(부호화 픽처 버퍼)의 언더플로우를 억제하면서 화질 열화가 적은 동화상 부호화를 종래의 2패스 부호화보다도 적은 연산량으로 실현한다. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 제어 방법은, 소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 단계; 픽처의 부호화마다 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 픽처의 양자화 통계량을 산출하고, 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하는 단계; 양자화 통계량이 소정의 문턱값을 초과하는 경우에 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 부호화 중의 부호화순 픽처군의 선두 픽처부터 변경 후의 부호화 파라미터를 이용하여 재부호화하는 단계;를 가진다.

Description

동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램{Video coding control method, video coding device and video coding program}
본 발명은, 가상 디코더에서의 부호화 픽처 버퍼(CPB: Coded Picture Buffer) 등의 가상 버퍼의 파탄이 생기지 않도록, 또한 화질의 열화가 커지지 않도록 영상 신호를 부호화하기 위한 동화상 부호화 기술에 관한 것이다.
본원은 2010년 5월 12일에 일본 출원된 일본 특원 2010-109874호, 일본 특원 2010-109875호, 일본 특원 2010-109876호, 일본 특원 2010-109877호, 일본 특원 2010-109878호에 대해 우선권을 주장하고, 이들 내용을 여기에 원용한다.
영상 신호의 부호화에서는 디코더를 파탄시키지 않도록 부호화를 행할 필요가 있다. H.264 부호화 방식에서는 디코더를 모델화한 가상 디코더 HRD(Hypothetical Reference Decoder)를 규정하고 있다. H.264의 부호화기는 가상 디코더를 파탄시키지 않도록 부호화를 할 필요가 있다. 본 발명은 가상 디코더의 CPB의 파탄, 구체적으로는 CPB의 언더플로우를 억제하면서 화질의 열화를 경감하기 위한 기술이다.
도 1에 CPB 언더플로우의 개념도를 나타낸다. 고정 비트 레이트의 경우, 그 비트 레이트로 CPB에 부호화 스트림이 입력된다(도 1의 참조부호 RS1). 각 시각에서의 CPB 내의 부호화 스트림의 데이터량을 「잔부호량」이라고 부른다. 가상 디코더는 각 픽처에 대응한 부호화 스트림을 CPB로부터 뽑아낸다. 그 때에는 순식간에 해당 픽처에 대응한 부호량분만큼 CPB 잔부호량이 감소한다. 도 1에서는 고정 비트 레이트의 경우의 예를 나타내었지만, 가변 비트 레이트의 경우도 동일하다.
CPB 언더플로우란, 도 1에 도시된 바와 같이 가상 디코더가 픽처의 부호화 스트림을 CPB로부터 뽑아내고자 했을 때에 CPB 내에 해당 픽처의 부호화 스트림이 부족한 상황을 말한다. H.264에 기초한 부호화에서는 부호화를 행하면서 CPB의 상태를 검증하여 CPB 언더플로우를 발생시키지 않는 스트림을 작성할 필요가 있다. 전술한 바와 같이, 가상 디코더의 CPB는 H.264에서 규격화되어 있고, 더욱 상세한 것은 예를 들면 하기의 비특허문헌 1에 기재되어 있다.
또, 다른 부호화 표준에서도 CPB와 같은 개념이 규정되어 있다. 예를 들면 MPEG(Moving Picture Experts Group)-2에서는 VBV(Video Buffering Verifier)가 있고, 이러한 디코더의 버퍼 모델을 여기서는 「가상 버퍼」라고 총칭한다. 이하의 설명에서의 「CPB」는 「가상 버퍼」라는 말로 그대로 적용하여 넓은 의미로 해석할 수 있다.
영상 신호의 부호화 방법에는 1패스 부호화와 멀티 패스 부호화라는 기술이 있다. 1패스 부호화에서는 일반적으로 입력 영상의 픽처를 순차적으로 부호화해 간다. 한편, 멀티 패스 부호화에서는 입력 영상을 복수회 부호화한다. 2패스 부호화에서는 1회 부호화한 결과를 이용하여 2번째의 부호화를 행한다. 이하, 1패스 부호화의 종래기술을 「종래기술 a」, 2패스 부호화의 종래기술을 「종래기술 b」로서 설명한다.
<종래기술 a>
1패스 부호화에서는, 입력되는 픽처를 순차적으로 부호화하기 때문에 부호화 대상 픽처로부터 미래 픽처의 성질을 알 수 없다. 그래서, 과거에 부호화한 픽처의 발생 부호량 등으로부터 미래 픽처의 복잡도를 추정하여 CPB 언더플로우를 억제한다. 예를 들면, 특허문헌 1의 기술에서는, 각 픽처의 부호화 전에 과거에 부호화한 결과로부터 얻어진 영상의 복잡도를 GOP(Group Of Pictures)의 나머지 영상의 복잡도의 추정값으로 한다. 그 복잡도의 추정값을 전제로 CPB의 잔부호량으로부터 GOP의 나머지 영상의 부호화에 이용할 수 있는 최대의 부호량을 발생시키는 양자화 파라미터를 추정하고, 이를 부호화 대상 픽처의 부호화의 양자화 파라미터의 하한값으로서 이용함으로써 CPB 언더플로우를 억제한다. 이 때문에, 단순한 신(scene)에서 복잡한 신으로 이동하는 경우에서는, 단순한 신의 부호화시에는 미래도 동등하다고 하여 부호량을 발생시키고, 복잡한 신에서는 CPB에 화질을 유지하기 위해 필요한 잔부호량이 없어 큰 양자화 파라미터를 이용하여 부호화하게 된다. 결과적으로 화질이 크게 열화하는 문제가 있다.
<종래기술 b>
2패스 부호화에서는, 입력 영상의 모든 픽처를 부호화하고 그 때에 발생한 각 픽처의 부호량을 2번째의 부호화에서 이용한다. 이 방법에서는, 1패스 부호화의 경우와 달리 2번째의 부호화시에 영상의 각 부분의 복잡함을 알 수 있기 때문에 화질의 열화를 억제하면서 CPB 언더플로우를 억제할 수 있는 것을 기대할 수 있다. 예를 들면, 특허문헌 2의 기술에서는, 1번째의 부호화에서 각 프레임의 복잡도를 구하고 각 프레임의 할당 부호량을 구한다. 그리고, 이 할당 부호량으로 CPB 언더플로우가 발생하는지를 검증하여 CPB 언더플로우가 생기는 경우에는 할당 부호량을 수정한다. 이와 같이 각 프레임의 복잡도를 알 수 있기 때문에, CPB 언더플로우를 억제하면서 화질을 유지하는 것을 기대할 수 있다. 그러나, 이 방법은 입력 영상의 모든 프레임을 2회 부호화하기 때문에 많은 연산량을 필요로 하는 문제가 있다.
특허문헌 1: 일본특개 2006-295535호 공보 특허문헌 2: 일본특개 2003-018603호 공보
비특허문헌 1: 가도노, 기쿠치, 스즈키, "개정 3판 H.264/AVC 교과서", 임프레스 R&D 발행, 2009, pp.189-191.
전술한 종래기술 a에서는, 이미 부호화 완료한 정보만을 이용하여 부호화 제어를 행하기 때문에 CPB 언더플로우의 억제에 의한 큰 화질 열화를 피할 수 없는 문제가 있다. 화질 열화에 대한 단순한 회피 방법으로서는 양자화 파라미터의 상한 문턱값을 설정하는 것도 생각할 수 있다. 그러나, 이 대처 방법에서는 CPB 언더플로우를 유발하게 된다.
한편, 종래기술 b에 의하면, 화질 열화를 억제하면서 CPB 언더플로우를 억제할 수 있지만 연산량이 많은 문제가 있다.
본 발명은 상기 과제의 해결을 도모하여 종래의 2패스 부호화(종래기술 b)보다도 적은 연산량으로 CPB 언더플로우를 억제하면서도 종래의 1패스 부호화(종래기술 a)에서 생기는 큰 화질 열화를 경감하는 것을 목적으로 한다.
본 발명을 설명함에 있어서 「부호화순 픽처군」과 「양자화 통계량」을 정의한다. 부호화순 픽처군은 소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합이다. 전형적인 부호화순 픽처군의 예는 GOP(Group Of Pictures)이다.
부호화순 픽처군의 개념도를 도 2a~도 2c에 나타낸다. 도 2a~도 2c에 있어서, I는 화면 내 예측 부호화의 대상이 되는 픽처(I픽처), P는 순방향 예측 부호화의 대상이 되는 픽처(P픽처), B는 쌍방향 예측 부호화의 대상이 되는 픽처(B픽처)를 나타내고 있다.
픽처의 표시순이 예를 들면 도 2a에 도시된 바와 같이 I→B→P→B→P→B……의 순이었다고 하자. 본 발명에서 말하는 부호화순 픽처군을 GOP라고 한 경우, 부호화순 픽처군은 도 2b에 도시된 바와 같이 I→P→B→P→…→B→P(I 직전)의 픽처군이 된다. 예를 들면, 부호화순 픽처군을 13픽처 구성으로 한 경우에는, 도 2c에 도시된 바와 같은 부호화순으로 연속한 13픽처가 본 발명에서 말하는 부호화순 픽처군이 된다.
이상과 같이, 입력 영상의 픽처 열을 부호화순으로 연속하고 소정의 매수로 구성되는 픽처군으로 분할한 픽처의 집합을 부호화순 픽처군이라고 한다. 또, 여기서 「픽처」란 영상이 프로그레시브 형식인 경우에는 프레임이고, 인터레이스 형식인 경우에는 하나의 필드 또는 톱 필드와 보텀 필드를 하나로 한 프레임이다.
또한, 양자화 통계량은 픽처의 각 매크로 블록의 부호화에 이용된 양자화 파라미터 또는 양자화 단계로부터 구하는 통계량이다. 예를 들면, 픽처의 매크로 블록의 양자화 파라미터 혹은 양자화 단계의 평균, 메디안(median)이다.
본 발명의 제1 관점에서는, 부호화순 픽처군을 단위로서 입력 영상의 부호화를 진행한다. 단, 입력 픽처를 부호화할 때마다 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 체크하여, 양자화 통계량이 소정의 문턱값을 초과한 경우에는 부호화 파라미터를 발생 부호량이 적어지도록 변경하여 부호화 중의 부호화순 픽처군을 재부호화한다. 부호화 결과의 출력 버퍼로부터의 출력 계기는 부호화순 픽처군의 부호화가 완료되었을 때로 한다.
변경하는 부호화 파라미터로서는 예를 들면 양자화 파라미터나 프리필터 강도가 있고, 이들 하나 이상을 변경한다. 예를 들면, 양자화 파라미터의 경우에는 양자화 파라미터의 단계 크기를 보다 크게 하여 부호화 파라미터를 발생 부호량이 적어지도록 한다. 또한, 입력 영상에 대한 프리필터의 필터 강도를 변경하는 경우, 블러(blur) 정도를 보다 크게 변경함으로써 발생 부호량을 적게 할 수 있다.
부호화순 픽처군의 재부호화가 완료된 경우, 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌린다. 이에 의해, 발생 부호량이 적어지도록 부호화 파라미터를 변경한 것에 의한 화질의 열화가 다음 부호화순 픽처군까지 파급되는 것을 억제한다. 여기서, 통상의 부호화시의 부호화 파라미터란 재부호화가 아닌 상태일 때에 정해지는 부호화 파라미터라는 의미이다.
또는, 부호화순 픽처군의 재부호화가 완료된 경우에 반드시 부호화 파라미터를 통상의 부호화시의 값으로 되돌리는 것은 아니고, CPB의 잔부호량을 조사하여 잔부호량이 소정의 문턱값 이상일 때에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌리고, 잔부호량이 적을 때에는 부호화 파라미터를 통상의 부호화시의 값으로 되돌리지 않도록 해도 된다. 이렇게 하면, 재부호화가 연속하여 생길 가능성을 적게 할 수 있다.
또, 본 발명의 제1 관점에서 기본적으로는 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌리는데, 부호화순 픽처군의 재부호화시에도 각 픽처의 부호화마다 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 체크하여, 양자화 통계량이 소정의 문턱값을 초과한 경우에는 현재 부호화 중의 부호화순 픽처군의 선두 픽처로부터 부호화 파라미터를 변경하여 재부호화하도록 해도 된다. 즉, 양자화 통계량이 소정의 문턱값을 초과한다는 재부호화 조건이 성립되는 한 같은 부호화순 픽처군에 대해 복수회 부호화를 반복한다.
이때, 하나의 부호화순 픽처군의 재부호화 횟수를 리트라이 카운트라는 파라미터로 관리하여 재부호화가 생기면 리트라이 카운트의 값을 늘리고, 부호화순 픽처군의 부호화가 완료되었을 때에 리트라이 카운트의 값을 줄인다. 전술한 부호화 파라미터의 값은 리트라이 카운트의 크기에 따라 설정하고, 리트라이 카운트가 클수록 발생 부호량이 적어지는 값을 이용한다. 부호화 파라미터가 양자화 파라미터인 경우에는 리트라이 카운트가 클수록 단계 크기를 크게 하고, 부호화 파라미터가 프리필터의 필터 강도인 경우에는 리트라이 카운트가 클수록 블러(blur) 정도를 크게 한다.
통상 부호화 대상이 되는 영상에는 복잡한 부분과 단순한 부분이 있다. 일반적으로 영상의 복잡한 부분일수록 부호화 파라미터의 변경에 의한 발생 부호량의 변동량이 크다. 또한, 화질의 변동량도 크다. 만약 하나의 부호화순 픽처군에 대한 재부호화는 1회만이라고 정한 경우, 양자화 통계량이 소정의 문턱값을 초과한다는 재부호화 조건이 성립되어 재부호화를 행하고 있을 때에 다시 재부호화 조건이 성립되지 않도록 하기 위해서는 재부호화시의 부호화 파라미터를 재부호화 전의 부호화 파라미터로부터 크게 변경한 것으로 할 필요가 있다. 이 경우, 영상의 비교적 복잡한 부분이 재부호화의 대상이 되었을 때에 큰 화질 열화가 생길 우려가 있다.
그래서, 전술한 바와 같이 재부호화 조건이 성립되는 한 부호화순 픽처군을 반복하여 부호화하기로 하고, 리트라이 카운트를 관리하여 리트라이 카운트의 크기에 따라 부호화 파라미터를 설정한다. 이에 의해, 부호화 파라미터의 변화량을 작게 억제하여 적절한 부호화 파라미터로 부호화한다. 그 결과, 화질 열화를 보다 작게 할 수 있다.
혹은, 상기와 같이 하나의 부호화순 픽처군의 재부호화 횟수를 리트라이 카운트라는 파라미터에서 관리하여 재부호화가 생기면 리트라이 카운트의 값을 늘리고, 부호화순 픽처군의 부호화가 완료되었을 때에 리트라이 카운트의 값을 줄인다.
다만, 부호화순 픽처군의 부호화가 완료되었을 때에 리트라이 카운트의 값을 무조건으로 줄이는 것이 아니라 부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정의 문턱값 이상인 경우에만 리트라이 카운트를 줄이도록 해도 된다.
즉, 재부호화시에 리트라이 카운트를 늘려 부호화한 후, 부호화순 픽처군의 부호화가 완료된 시점에서 기본적으로는 리트라이 카운트를 줄임으로써 다음 부호화순 픽처군에의 화질 열화의 영향을 적게 한다. 다만, CPB 잔부호량이 소정량 미만이면, 리트라이 카운트를 줄이지 않도록 한다. 이에 의해, 다음 부호화순 픽처군의 부호화에서도 재부호화가 생길 가능성을 적게 한다.
본 발명의 제2 관점에서는, 부호화순 픽처군은 화면 내 예측 부호화 픽처(I픽처)를 선두로 하는 소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합이다.
본 발명의 제2 관점에서는 부호화순 픽처군은 반드시 GOP가 아니어도 되지만, 부호화순 픽처군의 선두 픽처는 화면 내 예측 부호화 픽처(I픽처)로 한다. 도 2d는 부호화순 픽처군을 2GOP분의 20픽처 구성으로 한 경우의 예를 나타내고 있다.
본 발명의 제2 관점에서는 부호화순 픽처군을 단위로서 입력 영상의 부호화를 진행한다. 다만, 입력 픽처를 부호화할 때마다 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 체크하여 양자화 통계량이 소정의 문턱값을 초과한 경우에는, 부호화 파라미터를 발생 부호량이 적어지도록 변경하여 리트라이 포인트(후술)로 설정된 부호화순 픽처군의 위치로부터 재부호화한다. 부호화 결과의 출력 버퍼로부터의 출력 계기는 부호화순 픽처군의 부호화가 완료되고 재부호화하지 않는 것이 확정되었을 때로 한다.
변경하는 부호화 파라미터로서는 예를 들면 양자화 파라미터나 프리필터 강도가 있고, 이들 하나 이상을 변경한다. 예를 들면, 양자화 파라미터의 경우에는 양자화 파라미터의 단계 크기를 보다 크게 하여 부호화 파라미터를 발생 부호량이 적어지도록 한다. 또한, 입력 영상에 대한 프리필터의 필터 강도를 변경하는 경우, 블러(blur) 정도를 보다 크게 변경함으로써 발생 부호량을 적게 할 수 있다.
부호화순 픽처군의 재부호화가 완료된 경우, 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌린다. 이에 의해, 발생 부호량이 적어지도록 부호화 파라미터를 변경한 것에 의한 화질의 열화가 다음 부호화순 픽처군까지 파급되는 것을 억제한다. 여기서, 통상의 부호화시의 부호화 파라미터란 재부호화가 아닌 상태일 때에 정해지는 부호화 파라미터라는 의미이다.
또는, 부호화순 픽처군의 재부호화가 완료된 경우에 반드시 부호화 파라미터를 통상의 부호화시의 값으로 되돌리는 것은 아니고, CPB의 잔부호량을 조사하여 잔부호량이 소정의 문턱값 이상일 때에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌리고, 잔부호량이 적을 때에는 부호화 파라미터를 통상의 부호화시의 값으로 되돌리지 않도록 해도 된다. 이렇게 하면, 재부호화가 연속하여 생길 가능성을 적게 할 수 있다.
이상의 처리에 의해, 예를 들면 부호화 처리가 영상의 단순한 신에서 복잡한 신으로 이동하고 CPB 잔부호량이 부족하여 화질이 악화되어도, 리트라이 포인트로 설정된 부호화순 픽처군의 위치로 되돌아가 CPB 잔부호량이 보다 증가하도록 재부호화를 행함으로써 복잡한 신에서의 화질 열화를 경감할 수 있다.
전술한 리트라이 포인트란, 어떤 픽처에서 양자화 통계량이 소정의 문턱값을 초과함으로써 재부호화할 필요가 있는 경우에 어느 픽처부터 재부호화를 개시하는지를 나타내는 위치 정보이다.
리트라이 포인트는 기본적으로 현재 부호화하고 있는 부호화순 픽처군의 선두 픽처인데, 하나 전에 부호화한 부호화순 픽처군의 선두 픽처인 경우도 있다. 리트라이 포인트를 갱신하는 계기는 이하와 같다.
(1)부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정의 문턱값 이상인 경우, 리트라이 포인트를 다음 부호화순 픽처군의 선두 픽처(I픽처)로 설정한다.
(2)부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정의 문턱값보다 작은 경우, 리트라이 포인트는 그대로이고 다음 부호화순 픽처군의 선두 픽처의 부호화로 진행한다. 그 부호화순 픽처군의 선두 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하지 않은 경우, 리트라이 포인트를 현재 부호화한 부호화순 픽처군의 선두 픽처로 설정한다.
이상과 같이 리트라이 포인트를 설정하는 이유에 대해 설명한다. 리트라이 포인트를 항상 현재 부호화하고 있는 부호화순 픽처군의 선두로 설정하면, 처리 구성이 본 발명보다 간단명료하게 된다. 이하, 이 기술을 「관련기술」이라고 한다. 관련기술의 경우에도 양자화 통계량이 소정의 문턱값을 초과한 경우에 한해 그것이 생긴 픽처를 포함하는 부호화순 픽처군만을 재부호화함으로써 화질 열화를 경감할 수 있다. 본 발명의 제2 관점은 이 관련기술보다도 더욱 효과적으로 복호 화상의 화질 열화를 경감하는 것을 가능하게 하고 있다.
주지와 같이 I픽처는 다른 픽처 타입과 비교하여 발생 부호량이 많다. 따라서, 어떤 부호화순 픽처군의 부호화가 완료된 시점에서의 CPB 잔부호량이 적은 경우, 종래부터 행해지고 있는 레이트 제어에서는 발생 부호량을 억제하기 위해 다음 I픽처의 부호화에 이용하는 양자화 파라미터의 값을 크게 하는 형태가 된다. 이러한 경우, 상기 관련기술에서는 그 I픽처의 양자화 파라미터가 커진 영향으로 재부호화가 생기는데, 재부호화를 현재 부호화 중의 부호화순 픽처군의 선두 픽처부터 개시하기 때문에, 부호화는 그 I픽처 자체만으로 재부호화 조건의 성립을 회피할 필요가 있다. 이 경우, 그 I픽처 자체의 화질이 크게 열화하는 문제가 있다. 또, I픽처는 이후의 P픽처, B픽처의 부호화에서 참조되기 때문에, 이들 P픽처, B픽처의 부호화 효율도 악화된다.
그래서, 본 발명의 제2 관점에서는 CPB 잔부호량이 적은 경우, 다음 부호화순 픽처군의 선두 I픽처에서 재부호화 조건이 성립되었을 때에는 설정된 리트라이 포인트에 의해 그 하나 전의 부호화순 픽처군으로 되돌려 그 선두부터 재부호화한다. 따라서, 부호화순 픽처군의 선두 픽처에 큰 화질 열화가 생기는 것을 회피할 수 있고 화질 열화를 경감할 수 있다.
본 발명의 제3 관점에서는, CPB 언더플로우를 억제하기 위해 종래의 2패스 부호화와 같이 입력 영상의 프레임을 항상 2회 부호화하는 것이 아니라, 원칙은 1패스의 부호화로 하고, 어떤 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과한다는 재부호화 조건이 성립된 경우에 한해 복수 픽처만큼 되돌아가 재부호화하는 것을 기본으로 한다.
본 발명의 제3 관점에서는, 부호화순 픽처군의 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과했을 때에 부호화순 픽처군 내의 어떤 픽처까지 되돌아가 재부호화를 행한다. 어느 픽처까지 되돌아가 재부호화를 행할지는 이용 가능한 메모리양에 따라 미리 결정된다. 여기서, 재부호화시에 되돌아갈 수 있는 최대의 픽처수를 「최대 픽처 간 거리」라고 정의하여 설명한다.
본 발명의 제3 관점에서의 처리 개요는 이하와 같다. 처음에, 외부로부터 주어진 이용 가능한 메모리양의 정보에 기초하여 재부호화시에 되돌아갈 수 있는 최대의 픽처수를 구하여 최대 픽처 간 거리로 하고 이 값을 기억한다.
이는 이하의 이유에 의한다. 재부호화를 위해서는 입력 버퍼에 부호화 대상의 픽처의 영상 신호를 저장해 둘 필요가 있고, 또한 출력 버퍼에는 재부호화하지 않는 것이 확정되어 출력 버퍼로부터의 부호화 결과의 출력이 끝날 때까지 부호화 결과의 부호화 스트림을 유지해 둘 필요가 있다. 만약 사용 가능한 메모리양이 충분히 존재하는 경우에는, 입력 버퍼와 출력 버퍼 각각에 부호화순 픽처군의 픽처 수분(數分)의 메모리 용량을 갖게 함으로써 재부호화 조건의 성립시의 재부호화를 부호화순 픽처군을 단위로서 부호화순 픽처군의 선두부터 행할 수 있다.
그러나, 반드시 메모리가 필요한 만큼 사용할 수 있다고는 할 수 없으므로, 사전에 사용 가능한 메모리양으로부터 재부호화시에 되돌아갈 수 있는 최대의 픽처수인 최대 픽처 간 거리를 산출해 둔다.
본 발명의 제3 관점에서는 부호화순 픽처군을 단위로서 입력 영상의 부호화를 진행한다. 단, 입력 픽처를 부호화할 때마다 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 체크하여 양자화 통계량이 소정의 문턱값을 초과한 경우에는 부호화 파라미터를 발생 부호량이 적어지도록 변경하여 부호화 중의 부호화순 픽처군을 재부호화한다. 단, 부호화 중의 부호화순 픽처군의 어느 픽처까지 되돌아가 재부호화할지에 대해서는 다음 세 조건을 만족시키는 픽처로 한다.
·조건 1: 그 픽처가 부호화 중의 부호화순 픽처군에 포함될 것.
·조건 2: 그 픽처가 양자화 통계량이 소정의 문턱값을 초과한 픽처를 기준으로 최대 픽처 간 거리에 포함될 것.
·조건 3: 조건 1, 2를 만족시키는 픽처 중에서 양자화 통계량이 소정의 문턱값을 초과한 픽처로부터 가장 먼 픽처일 것.
이 재부호화를 개시하는 픽처를 리트라이 포인트라고 한다. 리트라이 포인트는 예를 들면 최대 픽처 간 거리에 있는 선두 픽처가 하나 전의 부호화순 픽처군 내이면, 현재 부호화 중의 부호화순 픽처군의 선두 픽처이고, 그렇지 않으면 최대 픽처 간 거리에 있는 선두 픽처, 즉 최대 픽처 간 거리만큼 떨어진 시간적으로 가장 오래전에 부호화된 픽처가 된다.
재부호화시에 변경하는 부호화 파라미터로서는 예를 들면 양자화 파라미터나 프리필터 강도가 있고, 이들 하나 이상을 변경한다. 예를 들면, 양자화 파라미터의 경우에는 양자화 파라미터의 단계 크기를 보다 크게 하여 부호화 파라미터를 발생 부호량이 적어지도록 한다. 또한, 입력 영상에 대한 프리필터의 필터 강도를 변경하는 경우, 블러(blur) 정도를 보다 크게 변경함으로써 발생 부호량을 적게 할 수 있다.
재부호화에 의해 현재 부호화 중의 부호화순 픽처군의 부호화가 완료된 경우, 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌림으로써 화질의 열화가 다음 부호화순 픽처군까지 파급되는 것을 억제한다. 여기서, 통상의 부호화시의 부호화 파라미터란 재부호화가 아닌 상태일 때에 정해지는 부호화 파라미터라는 의미이다.
또는, 부호화순 픽처군의 재부호화가 완료된 경우에 반드시 부호화 파라미터를 통상의 부호화시의 값으로 되돌리는 것은 아니고, CPB의 잔부호량을 조사하여 잔부호량이 소정의 문턱값 이상일 때에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌리고, 잔부호량이 적을 때에는 부호화 파라미터를 통상의 부호화시의 값으로 되돌리지 않도록 해도 된다. 이렇게 하면, 재부호화가 연속하여 생길 가능성을 적게 할 수 있다.
본 발명에 의하면, 부호화 처리가 영상의 단순한 신에서 복잡한 신으로 이동하고 CPB 잔부호량이 부족하여 화질이 악화되어도 부호화순 픽처군의 선두로 되돌아가 CPB 잔부호량이 보다 증가하도록 재부호화를 행하기 때문에, 1패스 부호화의 종래기술 a와 비교하여 복잡한 신에서의 화질 열화를 경감할 수 있다. 또한, 본 발명은 필요할 때에만 부분적으로 재부호화함으로써 화질 열화를 경감하는 것이므로, 입력 영상의 모든 프레임을 2회 부호화하는 2패스 부호화의 종래기술 b와 비교하여 연산량이 적다.
특히, 본 발명은 리트라이 카운트를 관리함으로써 재부호화시에서의 부호화 파라미터의 변화량을 작게 억제하여 재부호화에 의한 화질의 열화를 적게 할 수 있다.
또한, 재부호화 후의 CPB 잔부호량이 적은 경우에는 부호화 파라미터를 재부호화시와 같이 유지하므로, 다시 재부호화의 발생을 억제할 수 있다.
또한, 본 발명에 의하면, 부호화 처리가 영상의 단순한 신에서 복잡한 신으로 이동하고 CPB 잔부호량이 부족하여 화질이 악화되어도 리트라이 포인트로 설정된 부호화순 픽처군의 선두로 되돌아가 CPB 잔부호량이 보다 증가하도록 재부호화를 행하기 때문에, 1패스 부호화의 종래기술 a와 비교하여 복잡한 신에서의 화질 열화를 경감할 수 있다. 또한, 본 발명은 필요할 때에만 부분적으로 재부호화함으로써 화질 열화를 경감하는 것이므로, 입력 영상의 모든 프레임을 2회 부호화하는 2패스 부호화의 종래기술 b와 비교하여 연산량이 적다.
특히, 본 발명은 부호화순 픽처군의 부호화가 완료되고 CPB 잔부호량이 적은 경우에도 부호화순 픽처군의 선두 I픽처의 화질이 크게 열화되는 것을 막을 수 있다.
또한, 본 발명에 의하면, 부호화 처리가 영상의 단순한 신에서 복잡한 신으로 이동하고 CPB 잔부호량이 부족하여 화질이 악화되어도 부호화순 픽처군에서 리트라이 포인트로 설정된 픽처로 되돌아가 CPB 잔부호량이 보다 증가하도록 재부호화를 행하기 때문에, 1패스 부호화의 종래기술 a와 비교하여 복잡한 신에서의 화질 열화를 경감할 수 있다. 또한, 본 발명은 필요할 때에만 부분적으로 재부호화함으로써 화질 열화를 경감하는 것이므로, 입력 영상의 모든 프레임을 2회 부호화하는 2패스 부호화의 종래기술 b와 비교하여 연산량이 적다. 또한, 재부호화에 필요한 메모리양에 따라 정해진 리트라이 포인트부터 재부호화가 행해지기 때문에, 메모리의 유효 활용이 가능하게 된다.
도 1은 CPB 언더플로우를 설명하기 위한 도면이다.
도 2a는 부호화순 픽처군의 개념도이다.
도 2b는 부호화순 픽처군의 개념도이다.
도 2c는 부호화순 픽처군의 개념도이다.
도 2d는 부호화순 픽처군의 개념도이다.
도 3은 본 발명의 제1 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
도 4는 본 발명의 제1 실시형태에 관한 동화상 부호화 제어 방법의 변형예의 처리 흐름도이다.
도 5는 GOP의 개념도이다.
도 6은 본 발명의 제1 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 7은 재부호화가 행해졌을 때의 부호화 파라미터의 변경의 개념도이다.
도 8은 재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도이다.
도 9는 재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도이다.
도 10은 재부호화해도 양자화 통계량이 소정의 문턱값을 초과하는 것을 회피할 수 없는 경우의 양자화 통계량의 천이의 개념도이다.
도 11은 본 발명의 제2 실시형태에 관한 동화상 부호화 제어 방법의 처리 흐름도이다.
도 12는 본 발명의 제2 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 13은 리트라이 카운트, 부호화 파라미터의 추이의 개념도이다.
도 14는 본 발명의 제3 실시형태에 관한 동화상 부호화 제어 방법의 처리 흐름도이다.
도 15는 본 발명의 제3 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 16은 본 발명의 제4 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
도 17은 본 발명의 제4 실시형태에 관한 동화상 부호화 제어 방법의 변형예의 처리 흐름도이다.
도 18은 본 발명의 제4 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 19는 본 발명의 제5 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
도 20은 본 발명의 제5 실시형태에 관한 동화상 부호화 제어 방법의 변형예의 처리 흐름도이다.
도 21은 본 발명의 제5 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 22는 참조 화상용의 필요 메모리양을 설명하는 개념도이다.
도 23은 리트라이 포인트를 최대 픽처 간 거리로 제한하는 것에 의한 입력 버퍼와 출력 버퍼의 메모리 삭감을 설명하는 도면이다.
[제1 실시형태]
이하, 본 발명의 제1 실시형태를 도면을 이용하여 상세하게 설명한다. 도 3은 본 발명의 제1 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
우선, 입력 영상 신호에서의 부호화가 종료된 픽처의 다음 픽처를 부호화 대상으로 설정한다(단계 S1). 부호화 대상으로 설정한 입력 픽처를 H.264 그 밖의 소정의 부호화 방식에 의해 부호화한다(단계 S2). 입력 픽처를 부호화했을 때의 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 판정하여(단계 S3), 양자화 통계량이 소정의 문턱값을 초과한 경우에는 처리가 단계 S7로 진행한다.
양자화 통계량이 소정의 문턱값을 초과하지 않으면, 최종 픽처의 부호화가 완료되었는지를 판정하여(단계 S4), 최종 픽처까지 부호화가 완료되었다면 부호화 처리를 종료한다.
그렇지 않으면, 부호화순 픽처군의 부호화가 완료되었는지를 판정한다(단계 S5). 부호화순 픽처군의 부호화가 완료되지 않았으면, 처리가 단계 S1로 되돌아가 다음 픽처에 대해 마찬가지로 부호화 처리를 계속한다. 부호화순 픽처군의 부호화가 완료된 경우, 부호화 파라미터가 부호화순 픽처군의 재부호화(리트라이)에서 변경되어 있으면, 부호화 파라미터를 통상의 부호화시의 값으로 되돌리고(단계 S6), 처리가 단계 S1로 되돌아가 다음 부호화순 픽처군의 선두 픽처부터 부호화 처리를 한다.
단계 S3에서 양자화 통계량이 소정의 문턱값을 초과하였음이 검출된 경우, 현재 부호화순 픽처군은 재부호화가 행해졌는지(리트라이 완료인지)를 판정한다(단계 S7). 리트라이 완료인 경우, 추가로 재부호화를 행하지 않고 처리가 단계 S4로 진행하여 그대로 부호화 처리를 계속한다.
리트라이 완료가 아닌 경우, 현재 부호화순 픽처군의 재부호화를 위해 현재 부호화순 픽처군의 선두 픽처를 부호화 대상으로 설정한다(단계 S8). 그리고, 2개의 부호화 파라미터(양자화 파라미터, 프리필터 강도) 중 하나 이상을 변경하고(양자화 파라미터는 단계 크기를 보다 크게 변경하고, 필터 강도의 경우는 블러(blur) 정도를 보다 크게 변경)(단계 S9), 처리가 단계 S2로 되돌아가 부호화 중의 부호화순 픽처군을 재부호화한다.
즉, 입력 영상의 모든 프레임을 2회 부호화하는 종래기술 b와 달리, 부호화한 픽처의 양자화 통계량이 너무 큰 경우에 한해 부호화순 픽처군(예를 들면, GOP)을 2회 부호화한다. 2회째의 부호화시에는 CPB 잔부호량이 보다 증가하는 부호화 파라미터를 이용하여 현재 부호화 중의 부호화순 픽처군만을 재부호화함으로써, 영상이 단순한 신에서 복잡한 신으로 이동할 때의 화질의 열화를 경감하면서 입력 영상의 모든 픽처를 2회 부호화하는 종래기술 b와 비교하여 연산량을 삭감할 수 있다.
도 4는 본 실시형태의 변형예에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다. 본 실시형태는 도 3에 도시된 단계 S6의 처리를 도 4에 도시된 단계 S61~S63의 처리로 치환하여 실시할 수도 있다. 단계 S6 이외의 처리는 도 3과 같다.
도 3의 단계 S5의 처리 후, 부호화 파라미터가 리트라이에서 변경되어 있는지를 판정한다(단계 S61). 부호화 파라미터가 리트라이에서 변경되지 않았으면, 처리가 도 3의 단계 S1로 되돌아간다. 부호화 파라미터가 리트라이에서 변경되어 있으면, 다음에 CPB 잔부호량이 소정의 문턱값 이상인지를 판정한다(단계 S62). CPB 잔부호량이 소정의 문턱값 미만이면, 부호화 파라미터를 재부호화에서 이용한 상태 그대로 하고, CPB 잔부호량이 소정의 문턱값 이상인 경우에만 부호화 파라미터를 원래의 디폴트 부호화 파라미터로 되돌린다(단계 S63). 그 후에, 처리가 도 3의 단계 S1로 되돌아가 다음 부호화순 픽처군의 부호화로 이동한다.
도 4에 도시된 변형예에서는, 이상과 같이 부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정량을 초과하는 경우에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌린다. 이는 다음의 이유에 의한다. 부호화순 픽처군의 부호화가 완료되었다고 해도, CPB 잔부호량이 적은 경우 부호화 파라미터를 통상의 부호화시의 값으로 되돌리면 발생 부호량이 보다 많아지기 때문에, 다음 부호화순 픽처군의 부호화에서 다시 부호화한 픽처의 양자화 통계량이 소정의 문턱값을 초과할 가능성이 높아진다. 도 4의 처리에서는 CPB 잔부호량이 적은 경우에는 부호화 파라미터를 변경하지 않기 때문에, 도 3의 처리에 비해 다음 부호화순 픽처군의 부호화에서의 재부호화의 발생이 억제되고 연산량이 더욱 삭감된다.
이상과 같이, 본 실시형태에서는 재부호화시에 부호화 파라미터를 변경한다. 여기서는, 부호화시에 입력 영상에 대해 프리필터를 적용하는 것으로 하고, 변경하는 부호화 파라미터로서는 양자화 파라미터와 프리필터 강도라고 한다. 이 2개의 부호화 파라미터의 쌍방을 변경해도 되고, 어느 한쪽만을 변경해도 된다.
양자화 파라미터에 대해서는, 통상의 부호화시의 양자화 파라미터 값에 대해 소정의 오프셋 값을 더하고 보다 큰 양자화 파라미터에서 재부호화한다.
프리필터에 대해서는, 본 실시형태에서는 가우시안 필터를 이용하는 것으로 한다. 가우시안 필터는 다음 식에서 나타나는 가우스 분포를 x, y에 대해 샘플링함으로써 작성할 수 있다.
g(x,y)={1/(2πσ2)}×exp{-(x2+y2)/(2σ2)}
상기 식으로부터 알 수 있는 바와 같이, σ의 값이 클수록 블러(blur) 정도가 커진다. 블러(blur) 정도가 클수록 고주파수 성분이 줄어들기 때문에, 부호화시의 발생 부호량이 줄어들게 된다. 가우시안 필터의 상세는 예를 들면 이하의 비특허문헌 2에 기재되어 있다.
〔비특허문헌 2〕: 오쿠토미, 오자와, 시미즈, 호리, "디지털 화상 처리", 재단법인 화상 정보 교육 진흥 협회, 2006, pp.108-110.
σ=0의 경우에는 가우시안 필터를 작동시키지 않는 것으로 하고, 예를 들면 디폴트 부호화 파라미터는 σ0=0, 재부호화용 부호화 파라미터는 σ1>0으로 한다. 또, 본 실시형태에서는 로우 패스 필터의 종류는 묻지 않는다. 또한, 재부호화시의 블러(blur) 정도가 강한 쪽도 미리 임의로 정해도 된다. 예를 들면, 디폴트 부호화 파라미터의 σ0은 픽처마다의 복잡도에 따라 변경하고, σ1은 σ0에 소정의 오프셋을 더한 것인 구성이어도 된다.
또한, 양자화 통계량으로서는 본 실시형태에서는 픽처의 각 매크로 블록의 양자화 파라미터의 평균값을 이용하는 것으로 한다.
부호화는 H.264의 규격에 따른 부호화를 행하는 것으로 한다. 또한, 본 실시형태에서는 부호화순 픽처군은 GOP라고 하고, 부호화할 때의 GOP의 개념도를 도 5에 나타낸다. 하나의 GOP는 10픽처로 구성되고, 표시순으로 I픽처를 선두로 B픽처와 P픽처가 교대로 나열되는 것으로 한다.
본 실시형태의 장치 구성예를 도 6에 나타낸다. 입력 버퍼(10)는 입력되는 영상 신호를 축적함과 동시에 부호화부(20)에 부호화 대상의 영상 신호를 출력한다. 또, 입력 버퍼(10)는 후술하는 양자화 통계량 계산부(40)로부터 픽처의 양자화 통계량이 소정의 문턱값을 초과하였기 때문에 재부호화를 행하는 것을 나타내는 정보(리트라이 정보)를 받은 경우, 부호화 중의 GOP의 선두 픽처부터 영상 신호를 다시 부호화부(20)에 출력한다. 또한, 리트라이 정보를 받지 않고 GOP의 부호화가 완료된 경우, 입력 버퍼(10)는 축적되어 있던 그 GOP의 영상 신호를 파기한다.
부호화부(20)는 입력 버퍼(10)로부터 입력된 영상 신호를 부호화하고, 부호화 스트림을 출력 버퍼(30)에 출력한다. 또한, 부호화부(20)는 입력된 영상 신호를 부호화했을 때의 각 매크로 블록의 양자화 파라미터(양자화 파라미터 정보)를 양자화 통계량 계산부(40)에 출력한다. 또, 부호화부(20)는 양자화 통계량 계산부(40)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP의 선두 픽처로부터의 영상 신호가 입력 버퍼(10)로부터 다시 입력됨과 동시에 파라미터 조정부(50)로부터 재부호화용 부호화 파라미터가 입력되기 때문에, 입력된 재부호화용 부호화 파라미터를 이용하여 재부호화를 행한다.
출력 버퍼(30)는 GOP의 부호화 스트림이 전부 축적된 단계에서 그 GOP의 부호화 스트림을 출력하고, 한편으로 양자화 통계량 계산부(40)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에 대해 축적한 부호화 스트림을 파기한다.
양자화 통계량 계산부(40)는, 부호화부(20)로부터 입력되는 양자화 파라미터 정보를 이용하여 픽처 단위로 변화하는 양자화 통계량을 구한다. 그리고, 양자화 통계량이 소정의 문턱값을 초과한 경우, 양자화 통계량 계산부(40)는 리트라이 정보를 입력 버퍼(10), 부호화부(20), 파라미터 조정부(50), 출력 버퍼(30)에 출력하고, 양자화 통계량이 소정의 문턱값을 초과하였음을 통지한다.
파라미터 조정부(50)는 양자화 통계량 계산부(40)로부터 리트라이 정보를 받은 경우, 전술한 바와 같이 재부호화용 부호화 파라미터를 부호화부(20)에 입력한다. 이에 의해, 부호화부(20)는 재부호화시에는 같은 GOP에 대해 발생 부호량이 적어지는 부호화 파라미터를 이용하여 부호화를 하게 된다.
본 실시형태에서의 부호화 처리의 흐름에 대해 도 3의 흐름도에 따라 설명한다. 이하의 설명에서는 S1, S2, … 등과 같이 문장 중에 도 3의 흐름도와의 대응을 기재한다.
어떤 GOP의 부호화를 행하는 처리에 대해 이하와 같이 3가지 케이스로 나누어 설명한다.
·[케이스 1]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일은 없었다.
·[케이스 2]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었다.
·[케이스 3]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었다.
[케이스 1의 처리예]
우선, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었던 경우의 케이스 1에 대해 설명한다. GOP의 픽처가 입력 버퍼(10)에 입력되면, 입력 버퍼(10)는 그 픽처를 축적함과 동시에 부호화부(20)에 그 픽처를 부호화 대상 픽처로서 입력한다(S1). 그리고, 부호화부(20)는 그 픽처를 부호화하고, 출력 버퍼(30)에 부호화 스트림을 출력함과 동시에(출력 버퍼(30)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(40)에 출력한다(S2).
여기서, 부호화에서는 디폴트 부호화 파라미터가 이용되고, 디폴트 부호화 파라미터에 대응한 프리필터 강도로 부호화 대상 픽처에 프리필터부(21)에 의한 필터링 처리가 적용되며, 본 픽처에서 발생한 DCT(Discrete Cosine Transform) 계수는 디폴트 부호화 파라미터에 따른 양자화 파라미터에서 양자화부(22)에 의해 양자화된다.
양자화 통계량 계산부(40)는, 그 픽처에 대해 부호화부(20)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 예에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없기 때문에, 양자화 통계량 계산부(40)는 리트라이 정보의 출력은 하지 않는다(S3). 부호화 대상 픽처가 입력 영상 신호 중의 최종 픽처이면, 출력 버퍼(30)는 축적되어 있는 부호화 스트림을 출력하고 부호화 처리가 완료된다(S4). 혹은 부호화 대상 픽처가 GOP의 최종 픽처이면, 출력 버퍼(30)는 축적되어 있던 부호화 스트림을 출력함과 동시에, 입력 버퍼(10)는 축적되어 있던 픽처를 파기하고 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S5). 여기서, 그 GOP에서는 재부호화가 발생하지 않았기 때문에, 부호화 파라미터에 변경을 가하지 않고 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S6).
[케이스 2의 처리예]
다음에, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었던 경우의 케이스 2에 대해 설명한다. GOP의 픽처가 입력 버퍼(10)에 입력되면, 입력 버퍼(10)는 그 픽처를 축적함과 동시에 부호화부(20)에 그 픽처를 부호화 대상 픽처로서 입력한다(S1). 그리고, 부호화부(20)는 그 픽처를 부호화하고, 출력 버퍼(30)에 부호화 스트림을 출력함과 동시에(출력 버퍼(30)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(40)에 출력한다(S2). 여기서, 부호화에서는 디폴트 부호화 파라미터가 이용된다.
양자화 통계량 계산부(40)는, 그 픽처에 대해 부호화부(20)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 결과, 그 픽처에 대해 양자화 통계량이 소정의 문턱값을 초과하였음을 양자화 통계량 계산부(40)가 검지한 경우, 양자화 통계량 계산부(40)는 부호화부(20), 파라미터 조정부(50), 입력 버퍼(10), 출력 버퍼(30)에 리트라이 정보를 출력한다(S3).
부호화 중의 GOP에 대해 아직 리트라이가 발생하지 않은 경우(S7), 입력 버퍼(10)는 축적되어 있던 부호화 중의 GOP의 선두 픽처를 부호화부(20)에 출력함과 동시에(S8), 파라미터 조정부(50)는 부호화부(20)에 재부호화용 부호화 파라미터를 출력한다(S9). 또, 출력 버퍼(30)는 부호화 중의 GOP의 부호화 스트림을 파기한다. 그리고, 부호화부(20)는 재부호화용 부호화 파라미터를 이용하여 입력된 GOP의 선두 픽처를 부호화한다.
여기서, 부호화에서는 재부호화용 부호화 파라미터가 이용되고, 재부호화용 부호화 파라미터에 대응한 프리필터 강도(디폴트 부호화 파라미터보다 블러(blur) 정도가 큼)로 부호화 대상 픽처에 프리필터부(21)에 의한 프리필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 재부호화용 부호화 파라미터에 따른 양자화 파라미터(디폴트 부호화 파라미터보다 양자화 단계 크기가 큼)에서 양자화부(22)에 의해 양자화된다.
이후, 그 GOP의 픽처가 순차적으로 입력 버퍼(10)로부터 부호화부(20)에 입력되고, 부호화부(20)에 의해 부호화 처리가 행해진다. 그리고, GOP의 최종 픽처의 부호화가 완료된 경우(S5), 출력 버퍼(30)로부터 그 GOP의 부호화 스트림이 출력됨과 동시에, 부호화부(20)는 부호화 파라미터를 디폴트 부호화 파라미터로 설정하고(S6), 다음 GOP의 부호화 처리로 진행한다. 또, 입력 영상의 최종 픽처의 부호화가 완료된 경우의 동작은 전술한 케이스 1의 경우와 같다.
재부호화가 행해졌을 때의 부호화 파라미터의 변경의 개념도를 도 7에 나타낸다. 도 7의 예에서는, 2번째의 GOP2의 6번째 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였으므로, 발생 부호량을 억제하는 재부호화용 부호화 파라미터를 설정하여 GOP2의 선두 I픽처부터 재부호화하고 있다. 그 후, 재부호화에 의해 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었으므로, 다음 GOP3의 부호화에서는 재부호화용 부호화 파라미터를 디폴트 부호화 파라미터로 되돌려 부호화 처리를 계속한다.
재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도를 도 8에 나타낸다. 굵은 선으로 나타낸 부분이 재부호화 후의 CPB 잔부호량이다. 재부호화에서는 프리필터에서 블러(blur) 정도를 강하게 하고, 양자화 파라미터도 디폴트 부호화 파라미터보다도 크게 하기 때문에 발생 부호량이 억제되며, CPB 잔부호량의 천이가 예를 들면 도 8에 나타내게 된다. 이 결과, 재부호화가 발생한 픽처에서의 CPB 잔부호량이 재부호화시에는 증가하고, 그 픽처에서 큰 화질 열화가 생기는 것을 회피할 수 있다.
또, 도 9에 재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도를 나타낸다. 도 9에 도시된 바와 같이, 재부호화시에 부호화 파라미터를 변경하기 때문에 재부호화를 개시한 픽처의 양자화 통계량이 커지지만, 그 영향으로 도 8에 도시된 바와 같이 CPB 잔부호량에 여유가 생기기 때문에 재부호화가 발생한 픽처에서는 양자화 통계량이 재부호화 전보다 작아진다.
[케이스 3의 처리예]
마지막으로, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 케이스 3에 대해 설명한다.
도 10에 재부호화가 행해지고 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 양자화 통계량의 천이의 개념도를 나타낸다. 케이스 3은, 예를 들면 도 10에 도시된 바와 같이 재부호화를 개시하는 GOP의 선두에서 이미 양자화 통계량이 큰 경우에 생길 수 있다. 이 경우, 양자화 통계량 계산부(40)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검지되어 GOP의 재부호화를 행하는 동작은 케이스 2와 같다. 이 GOP의 재부호화 중에 양자화 통계량이 소정의 문턱값을 초과한 경우(S3, S7), 추가로 재부호화를 행하지 않고 그대로 부호화 처리를 계속한다(처리가 S4로 이행). 도 10에서, 참조부호 RS10은 재부호화해도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었음을 나타낸다.
또, 재부호화시에 통상의 부호화시보다도 양자화 파라미터가 커짐으로써, 재부호화시에 재부호화의 계기가 된 픽처보다도 부호화순으로 과거의 픽처에서 양자화 통계량이 문턱값을 초과하는 일도 일어날 수 있다. 이것이 생길 가능성을 저감하기 위해, 재부호화시의 양자화 파라미터가 양자화 통계량의 문턱값보다도 커지는 경우, 재부호화시의 양자화 파라미터를 양자화 통계량의 문턱값과 같은 값으로 수정해도 된다. 다만, 재부호화시의 양자화 파라미터가 통상의 부호화시보다도 작아지지 않도록, 통상의 부호화시의 양자화 파라미터가 양자화 통계량 이상인 경우에는 재부호화시의 양자화 파라미터의 값을 통상의 부호화시의 값과 동일하게 한다.
[제2 실시형태]
이하, 본 발명의 제2 실시형태를 도면을 이용하여 상세하게 설명한다. 도 11은 본 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
우선, 입력 영상 신호에서의 부호화가 종료된 픽처의 다음 픽처를 부호화 대상으로 설정한다(단계 S101). 부호화 대상으로 설정한 입력 픽처를 H.264 그 밖의 소정의 부호화 방식에 의해 부호화한다(단계 S102). 입력 픽처를 부호화했을 때의 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 판정하여(단계 S103), 양자화 통계량이 소정의 문턱값을 초과한 경우에는 처리가 단계 S108로 진행한다.
양자화 통계량이 소정의 문턱값을 초과하지 않으면, 최종 픽처의 부호화가 완료되었는지를 판정하고(단계 S104), 최종 픽처까지 부호화가 완료되었다면 부호화 처리를 종료한다.
그렇지 않으면, 부호화순 픽처군의 부호화가 완료되었는지를 판정한다(단계 S105). 부호화순 픽처군의 부호화가 완료되지 않았으면, 처리가 단계 S101로 되돌아가 다음 픽처에 대해 마찬가지로 부호화 처리를 계속한다. 부호화순 픽처군의 부호화가 완료된 경우, 리트라이 카운트가 1이상이면 리트라이 카운트를 1만큼 줄인다(단계 S106). 또, 리트라이 카운트의 초기값은 0이다. 그 후, 리트라이 카운트에 기초하여 미리 리트라이 카운트에 따라 정해진 부호화 파라미터를 설정하고(단계 S107), 처리가 단계 S101로 되돌아가 다음 부호화순 픽처군의 선두 픽처부터 부호화 처리를 행한다.
단계 S103에서 양자화 통계량이 소정의 문턱값을 초과하였음이 검출된 경우, 현재 리트라이 카운트의 값이 미리 정해진 최대값이 되어 있는지를 판정한다(단계 S108). 리트라이 카운트가 최대값인 경우, 추가로 재부호화를 행하지 않고 처리가 단계 S104로 진행하여 그대로 부호화 처리를 계속한다.
리트라이 카운트가 최대값에 도달하지 않은 경우, 현재 부호화순 픽처군의 재부호화를 위해 현재 부호화순 픽처군의 선두 픽처를 부호화 대상으로 설정한다(단계 S109). 그리고, 리트라이 카운트를 1만큼 늘린다(단계 S110). 그 후, 리트라이 카운트에 기초하여 2개의 부호화 파라미터(양자화 파라미터, 프리필터 강도) 중 하나 이상을 변경하고(양자화 파라미터는 단계 크기를 보다 크게 변경하고, 필터 강도의 경우는 블러(blur) 정도를 보다 크게 변경)(단계 S111), 처리가 단계 S102로 되돌아가 부호화 중의 부호화순 픽처군을 재부호화한다.
본 실시형태는 입력 영상의 모든 프레임을 2회 부호화하는 종래기술 b와 달리 기본적으로 1회의 부호화 처리로 하고, 재부호화 조건이 성립된 경우에 한해 부호화순 픽처군(예를 들면, GOP)의 각 픽처를 재부호화 조건이 성립되지 않게 될 때까지 발생 부호량을 단계적으로 억제하여 반복하여 부호화한다. 2회째 이후의 부호화시에는, 리트라이 카운트에 따라 정해진 발생 부호량을 억제하는 부호화 파라미터에서 부호화를 행한다. 따라서, 입력 영상의 모든 픽처를 2번 부호화하는 종래기술 b와 비교하여 연산량을 삭감할 수 있음과 동시에 재부호화에 의한 화질의 열화도 적게 할 수 있다.
이상과 같이, 본 실시형태에서는 재부호화시에 부호화 파라미터를 리트라이 카운트에 따라 변경한다. 여기서는, 부호화시에 입력 영상에 대해 프리필터를 적용하는 것으로 하고, 변경하는 부호화 파라미터로서는 양자화 파라미터와 프리필터 강도로 한다. 이 2개의 부호화 파라미터의 쌍방을 변경해도 되고, 어느 한쪽만을 변경해도 된다.
양자화 파라미터에 대해서는, 통상의 부호화시에 정해지는 양자화 파라미터 값에 대해 리트라이 카운트에 따라 단계적으로 커지는 소정의 오프셋 값을 더하고 보다 큰 양자화 파라미터에서 재부호화한다.
프리필터에 대해서는, 본 실시형태에서는 가우시안 필터를 이용하는 것으로 한다. 가우시안 필터는 다음 식에서 나타나는 가우스 분포를 x, y에 대해 샘플링함으로써 작성할 수 있다.
g(x,y)={1/(2πσ2)}×exp{-(x2+y2)/(2σ2)}
상기 식으로부터 알 수 있는 바와 같이, σ의 값이 클수록 블러(blur) 정도가 커진다. 블러(blur) 정도가 클수록 고주파수 성분이 줄어들기 때문에, 부호화시의 발생 부호량이 줄어들게 된다. 가우시안 필터의 상세는 예를 들면 상술한 비특허문헌 2에 기재되어 있다.
σ=O인 경우에는 가우시안 필터를 작동시키지 않는 것으로 하고, 예를 들면 디폴트 부호화 파라미터는 σ0=0, 재부호화용 부호화 파라미터는 리트라이 카운트의 값을 c라고 하면 σc라고 한다. σc는 c의 값이 클수록 큰 값으로 한다. O<σ1<σ2<……이다. 또, 본 실시형태에서는 로우 패스 필터의 종류는 묻지 않는다. 또한, 예를 들면 디폴트 부호화 파라미터의 σ0은 픽처마다의 복잡도에 따라 변경하고, σc는 σc-1에 소정의 오프셋을 더한 것인 구성이어도 된다.
또한, 양자화 통계량으로서는, 본 실시형태에서는 픽처의 각 매크로 블록의 양자화 파라미터의 평균값을 이용하는 것으로 한다.
이하에서 설명하는 실시형태에서는 부호화 방식으로서 H.264의 규격에 따라 부호화를 행하는 것으로 한다. 또한, 부호화순 픽처군은 GOP라고 한다. 부호화할 때의 GOP의 개념도는 도 5에 도시된 바와 같다. 하나의 GOP는 10픽처로 구성되고, 표시순으로 I픽처를 선두로 B픽처와 P픽처가 교대로 나열되는 것으로 한다.
본 실시형태의 장치 구성예를 도 12에 나타낸다. 입력 버퍼(110)는 입력되는 영상 신호를 축적함과 동시에 부호화부(120)에 부호화 대상의 영상 신호를 출력한다. 또, 입력 버퍼(110)는 후술하는 양자화 통계량 계산부(140)로부터 픽처의 양자화 통계량이 소정의 문턱값을 초과하였기 때문에 재부호화를 행하는 것을 나타내는 정보(리트라이 정보)를 받은 경우, 부호화 중의 GOP의 선두 픽처부터 영상 신호를 다시 부호화부(120)에 출력한다. 또한, 리트라이 정보를 받지 않고 GOP의 부호화가 완료된 경우, 입력 버퍼(110)는 축적되어 있던 그 GOP의 영상 신호를 파기한다.
부호화부(120)는 입력 버퍼(110)로부터 입력된 영상 신호를 부호화하고, 부호화 스트림을 출력 버퍼(130)에 출력한다. 또한, 부호화부(120)는 입력된 영상 신호를 부호화했을 때의 각 매크로 블록의 양자화 파라미터(양자화 파라미터 정보)를 양자화 통계량 계산부(140)에 출력한다. 또, 부호화부(120)는 양자화 통계량 계산부(140)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP의 선두 픽처로부터의 영상 신호가 입력 버퍼(110)로부터 다시 입력됨과 동시에 파라미터 조정부(160)로부터 재부호화용 부호화 파라미터가 입력되기 때문에, 입력된 재부호화용 부호화 파라미터를 이용하여 재부호화를 행한다.
출력 버퍼(130)는 GOP의 부호화 스트림이 전부 축적된 단계에서 그 GOP의 부호화 스트림을 출력하고, 한편으로 양자화 통계량 계산부(140)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에 대해 축적한 부호화 스트림을 파기한다.
양자화 통계량 계산부(140)는, 부호화부(120)로부터 입력되는 양자화 파라미터 정보를 이용하여 픽처 단위로 변화하는 양자화 통계량을 구한다. 그리고, 양자화 통계량이 소정의 문턱값을 초과한 경우, 양자화 통계량 계산부(140)는 리트라이 정보를 입력 버퍼(110), 부호화부(120), 리트라이 카운트 관리부(150), 출력 버퍼(130)에 출력하고, 양자화 통계량이 소정의 문턱값을 초과하였음을 통지한다.
리트라이 카운트 관리부(150)는 양자화 통계량 계산부(140)로부터 리트라이 정보를 받은 경우, 현재 리트라이 카운트의 값에 1을 가산하고, 갱신 후의 리트라이 카운트를 파라미터 조정부(160)에 통지한다. 또한, 양자화 통계량 계산부(140)로부터 리트라이 정보를 받지 않고 현재 부호화 중의 GOP의 부호화가 완료된 경우, 리트라이 카운트의 값이 1이상이면, 리트라이 카운트 관리부(150)는 리트라이 카운트의 값으로부터 1을 감산하고 갱신 후의 리트라이 카운트를 파라미터 조정부(160)에 통지한다. GOP의 부호화가 완료되었을 때에 리트라이 카운트의 값이 0이면, 리트라이 카운트 관리부(150)는 리트라이 카운트=0을 파라미터 조정부(160)에 통지한다.
파라미터 조정부(160)는, 리트라이 카운트 관리부(150)로부터 리트라이 카운트를 받으면, 리트라이 카운트에 따라 정해진 부호화 파라미터를 부호화부(120)에 입력 한다. 이에 의해, 부호화부(120)는 같은 GOP에 대해 재부호화의 반복 횟수가 많아질수록 발생 부호량이 적어지는 부호화 파라미터를 이용하여 부호화를 하게 된다.
이상과 같이, 본 실시형태에서는 재부호화가 발생하면 값이 증가하고, GOP의 부호화가 완료된 시점에서 값이 줄어드는 리트라이 카운트라는 개념을 도입하여 리트라이 카운트 관리부(150)에서 리트라이 카운트를 관리한다. 이 리트라이 카운트에는 예를 들면 상한값이 「3」이라고 하는 바와 같이 소정의 상한값이 있고, 상한값에 도달할 때까지 같은 GOP의 재부호화를 행해도 되는 것으로 한다. 부호화시에서의 양자화 파라미터의 오프셋 값, 프리필터의 필터 강도는 리트라이 카운트의 값에 따라 변화한다.
리트라이 카운트가 O일 때에는 디폴트 부호화 파라미터가 이용된다. 리트라이 카운트가 0 이외의 경우에는, 예를 들면 리트라이 카운트의 상한값이 3인 경우, 리트라이 카운트의 1, 2, 3 각각에 대응한 재부호화용 부호화 파라미터를 부호화 파라미터 테이블로서 미리 준비해 두고, 그 부호화 파라미터 테이블로부터 얻은 부호화 파라미터를 재부호화에 이용해도 된다.
본 실시형태에서의 부호화 처리의 흐름에 대해 도 11의 흐름도에 따라 설명한다. 이하의 설명에서는 S101, S102, … 등과 같이 문장 중에 도 11의 흐름도와의 대응을 기재한다.
어떤 GOP의 부호화를 행하는 처리에 대해 이하와 같이 3가지 케이스로 나누어 설명한다.
·[케이스 1]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었다.
·[케이스 2]: GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었다.
·[케이스 3]: GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었다.
[케이스 1의 처리예]
우선, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었던 경우의 케이스 1에 대해 설명한다. GOP의 픽처가 입력 버퍼(110)에 입력되면, 입력 버퍼(110)는 그 픽처를 축적함과 동시에 부호화부(120)에 그 픽처를 부호화 대상 픽처로서 입력한다(S101). 그리고, 부호화부(120)는 그 픽처를 부호화하고, 출력 버퍼(130)에 부호화 스트림을 출력함과 동시에(출력 버퍼(130)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(140)에 출력한다(S102).
여기서, 예를 들면 리트라이 카운트가 초기값 0이라고 하면, 부호화에서는 디폴트 부호화 파라미터가 이용되고, 디폴트 부호화 파라미터에 대응한 프리필터 강도로 부호화 대상 픽처에 프리필터부(121)에 의한 필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 디폴트 부호화 파라미터에 따른 양자화 파라미터에서 양자화부(122)에 의해 양자화된다. 리트라이 카운트가 1이상인 경우에는, 각각 리트라이 카운트에 따라 정해진 필터 강도 및 양자화 파라미터에 의한 프리필터, 양자화 처리에서 부호화가 행해진다.
양자화 통계량 계산부(140)는, 그 픽처에 대해 부호화부(120)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 예에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없기 때문에, 양자화 통계량 계산부(140)는 리트라이 정보의 출력은 하지 않는다(S103). 부호화 대상 픽처가 입력 영상 신호 중의 최종 픽처이면, 출력 버퍼(130)는 축적되어 있는 부호화 스트림을 출력하고 부호화 처리가 완료된다(S104). 혹은 부호화 대상 픽처가 GOP의 최종 픽처이면, 출력 버퍼(130)는 축적되어 있던 부호화 스트림을 출력함과 동시에, 입력 버퍼(110)는 축적되어 있던 픽처를 파기하고 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S105~S107).
이 케이스 1과 같이, 각 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하지 않고 GOP의 부호화가 완료된 경우, 리트라이 카운트가 0일 때를 제외하고 리트라이 카운트 관리부(150)가 현재 리트라이 카운트에서 값을 1 줄인다(S106). 현재 부호화가 완료된 GOP보다 전의 GOP에서 재부호화가 발생하는 경우에 리트라이 카운트가 0이 아닐 수 있다. 리트라이 카운트 관리부(150)는 변경 후의 리트라이 카운트를 파라미터 조정부(160)에 통지하고, 파라미터 조정부(160)는 통지된 리트라이 카운트에 대응한 부호화 파라미터를 부호화부(120)에 설정하여 다음 GOP의 선두 픽처의 부호화가 개시된다.
[케이스 2의 처리예]
다음에, GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었던 경우의 케이스 2에 대해 설명한다. 여기서는, GOP의 부호화를 개시하는 시점에서의 리트라이 카운트가 1이라고 하고, 같은 GOP에서 2회 재부호화가 행해진 경우를 설명한다.
GOP의 픽처가 입력 버퍼(110)에 입력되면, 입력 버퍼(110)는 그 픽처를 축적함과 동시에 부호화부(120)에 그 픽처를 부호화 대상 픽처로서 입력한다(S101). 그리고, 부호화부(120)는 그 픽처를 부호화하고, 출력 버퍼(130)에 부호화 스트림을 출력함과 동시에(출력 버퍼(130)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(140)에 출력한다(S102). 여기서, 부호화에서는 리트라이 카운트=1에 대응한 부호화 파라미터가 이용된다.
양자화 통계량 계산부(140)는, 그 픽처에 대해 부호화부(120)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 결과, 그 픽처에 대해 양자화 통계량이 소정의 문턱값을 초과하였음을 양자화 통계량 계산부(140)가 검지한 경우, 양자화 통계량 계산부(140)는 부호화부(120), 리트라이 카운트 관리부(150), 입력 버퍼(110), 출력 버퍼(130)에 리트라이 정보를 출력한다(S103).
현재 리트라이 카운트는 1이고 상한값의 3에는 도달하지 못하였으므로(S108), 입력 버퍼(110)는 축적되어 있던 부호화 중의 GOP의 선두 픽처를 부호화부(120)에 출력한다(S109). 한편, 리트라이 카운트 관리부(150)에서 리트라이 카운트가 1 증가하여 값이 2가 된 리트라이 카운트가 파라미터 조정부(160)에 출력된다(S110).
파라미터 조정부(160)에서는, 리트라이 카운트가 2일 때의 부호화 파라미터를 부호화 파라미터 테이블로부터 독출하고, 그 부호화 파라미터를 부호화부(120)에 설정한다(S111). 출력 버퍼(130)는 부호화 중의 GOP의 부호화 스트림을 파기한다.
부호화부(120)에서는, 양자화 통계량이 소정의 문턱값을 초과하지 않는 한 순차적으로 GOP의 픽처가 입력 버퍼(110)로부터 입력되어 부호화가 진행된다. 이 부호화시에 같은 GOP에서 다시 양자화 통계량이 소정의 문턱값을 초과한 경우, 전술한 처리와 같은 처리에 의해 리트라이 카운트가 1 증가하여 3이 된다. 이에 의해, 부호화 파라미터가 리트라이 카운트=3에 대응하는 것으로 변경된 후에, 같은 GOP에 대해 다시 선두 픽처부터 부호화가 순차적으로 행해진다.
이 GOP의 부호화에서 더 이상 양자화 통계량이 소정의 문턱값을 초과하지 않은 경우, 리트라이 카운트 관리부(150)에 의해 리트라이 카운트가 1 줄어들어 리트라이 카운트가 2가 되고 다음 GOP의 부호화가 진행된다. 이때의 입력 버퍼(110) 및 출력 버퍼(130)의 동작은 전술한 예와 같다.
이 케이스 2의 예에서의 리트라이 카운트, 부호화 파라미터의 추이의 개념도를 도 13에 나타낸다. 도 13의 예에서는, 리트라이 카운트가 1인 상태에서 2번째의 GOP2를 부호화하고 있을 때에 6번째 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였으므로, 리트라이 카운트를 2로 하고 다시 리트라이 카운트=2에 대응하는 부호화 파라미터에서 GOP2의 선두 I픽처부터 재부호화하고 있다. 이 재부호화에서도 8번째 픽처에서 양자화 통계량이 소정의 문턱값을 초과하고, 또 리트라이 카운트=3에 대응하는 발생 부호량이 적은 부호화 파라미터에서 재부호화한다. 재차의 재부호화에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었으므로, GOP2의 부호화 완료시에 리트라이 카운트에서 1을 줄여 리트라이 카운트가 2인 부호화 파라미터를 이용하여 다음 GOP3의 부호화로 처리가 이행된다.
재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도는 도 8에 도시된 바와 같다. 굵은 선으로 나타낸 부분이 재부호화 후의 CPB 잔부호량이다. 재부호화에서는 프리필터에서 블러(blur) 정도를 강하게 하고, 양자화 파라미터도 디폴트 부호화 파라미터보다도 크게 하기 때문에 발생 부호량이 억제되며, CPB 잔부호량의 천이가 예를 들면 도 8에 나타내게 된다. 이 결과, 재부호화가 발생한 픽처에서의 CPB 잔부호량이 재부호화시에는 증가하고, 그 픽처에서 큰 화질 열화가 생기는 것을 회피할 수 있다.
또, 재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도는 도 9에 도시된 바와 같다. 도 9에 도시된 바와 같이, 재부호화시에 부호화 파라미터를 변경하기 때문에 재부호화를 개시한 픽처의 양자화 통계량이 커지지만, 그 영향으로 도 8에 도시된 바와 같이 CPB 잔부호량에 여유가 생기기 때문에 재부호화가 생긴 픽처에서는 양자화 통계량이 재부호화 전보다 작아진다.
[케이스 3의 처리예]
마지막으로, 같은 GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 케이스 3에 대해 설명한다.
어떤 GOP를 부호화 중에 케이스 2의 경우와 같이 리트라이 카운트가 3에 도달하였다고 하자. 또, 같은 GOP의 부호화에서 양자화 통계량 계산부(140)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검지된 경우(S103), 리트라이 카운트 관리부(150)에서 리트라이 카운트가 상한값에 도달하였음이 검지되고(S108), 재부호화가 행해지지 않고 부호화 처리가 진행된다.
재부호화가 행해지고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 양자화 통계량의 천이의 개념도는 도 10에 도시된 바와 같다. 케이스 3은, 예를 들면 도 10에 도시된 바와 같이 재부호화를 개시하는 GOP의 선두에서 이미 양자화 통계량이 큰 경우에 생길 수 있다.
또, 재부호화시에 통상의 부호화시보다도 양자화 파라미터가 커짐으로써, 재부호화시에 재부호화의 계기가 된 픽처보다도 부호화순으로 과거의 픽처에서 양자화 통계량이 문턱값을 초과하는 일도 일어날 수 있다. 이것이 생길 가능성을 저감하기 위해, 리트라이 카운트의 각 값에 대응하는 양자화 파라미터의 오프셋 값을 다음과 같이 결정해도 된다.
리트라이 카운트의 최대값(전술한 실시형태에서는 3)에 대응하는 양자화 파라미터의 오프셋 값(이는 미리 결정된 소정의 값)을 통상의 부호화시의 양자화 파라미터에 더하고, 그 값이 양자화 통계량의 문턱값을 초과하는 경우, 그 문턱값과 값이 동일하게 되도록 리트라이 카운트의 최대값에 대응하는 양자화 파라미터의 오프셋 값을 수정한다. 그리고, 그 오프셋 값을 기초로 다른 리트라이 카운트의 값에 대응하는 오프셋 값을 결정한다(예를 들면, 전술한 실시형태의 경우이면, 리트라이 카운트의 최대값에 대응하는 오프셋 값을 A라고 했을 때, 리트라이 카운트 0, 1, 2의 오프셋 값을 각각 0, A/3, 2×(A/3)와 같이 등분해도 됨). 다만, 재부호화시의 양자화 파라미터가 통상의 부호화시보다 작아지지 않도록 통상의 부호화시의 양자화 파라미터가 양자화 통계량 이상인 경우에는 리트라이 카운트의 모든 값에 대응하는 오프셋 값을 0으로 한다. 또한, 리트라이 카운트의 최대값에 대응하는 미리 정해진 양자화 파라미터의 오프셋 값을 통상의 부호화시의 양자화 파라미터에 더한 값이 양자화 통계량의 문턱값을 초과하지 않은 경우에는, 그 오프셋 값을 기초로 다른 리트라이 카운트의 값에 대응하는 오프셋 값을 결정하면 된다.
[제3 실시형태]
이하, 본 발명의 제3 실시형태를 도면을 이용하여 상세하게 설명한다. 도 14는 본 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
우선, 입력 영상 신호에서의 부호화가 종료된 픽처의 다음 픽처를 부호화 대상으로 설정한다(단계 S201). 부호화 대상으로 설정한 입력 픽처를 H.264 그 밖의 소정의 부호화 방식에 의해 부호화한다(단계 S202). 입력 픽처를 부호화했을 때의 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 판정하여(단계 S203), 양자화 통계량이 소정의 문턱값을 초과하는 경우에는 처리가 단계 S208로 진행된다.
양자화 통계량이 소정의 문턱값을 초과하지 않으면, 최종 픽처의 부호화가 완료되었는지를 판정하고(단계 S204), 최종 픽처까지 부호화가 완료되었다면 부호화 처리를 종료한다.
그렇지 않으면, 부호화순 픽처군의 부호화가 완료되었는지를 판정한다(단계 S205). 부호화순 픽처군의 부호화가 완료되지 않았으면, 처리가 단계 S201로 되돌아가 다음 픽처에 대해 마찬가지로 부호화 처리를 계속한다.
부호화순 픽처군의 부호화가 완료된 경우, 이하의 조건이 만족되는지를 판정하여 조건이 만족되는 경우에만 리트라이 카운트를 1 줄인다(단계 S206).
·조건 1: 리트라이 카운트가 1 이상일 것.
·조건 2: CPB 잔부호량이 소정의 문턱값 이상일 것.
리트라이 카운트가 0인 경우 또는 CPB 잔부호량이 소정의 문턱값보다 적은 경우에는 리트라이 카운트는 줄이지 않고 원래 그대로 한다.
그 후, 리트라이 카운트에 기초하여 미리 리트라이 카운트에 따라 정해진 부호화 파라미터를 설정하고(단계 S207), 처리가 단계 S201로 되돌아가 다음 부호화순 픽처군의 선두 픽처부터 부호화 처리를 한다.
단계 S203에서 양자화 통계량이 소정의 문턱값을 초과하였음이 검출된 경우, 현재 리트라이 카운트의 값이 미리 정해진 최대값이 되어 있는지를 판정한다(단계 S208). 리트라이 카운트가 최대값인 경우, 추가로 재부호화를 행하지 않고 처리가 단계 S204로 진행되어 그대로 부호화 처리를 계속한다.
리트라이 카운트가 최대값에 도달하지 못한 경우, 현재 부호화순 픽처군의 재부호화를 위해 현재 부호화순 픽처군의 선두 픽처를 부호화 대상으로 설정한다(단계 S209). 그리고, 리트라이 카운트를 1만큼 늘린다(단계 S210). 그 후, 리트라이 카운트에 기초하여 2개의 부호화 파라미터(양자화 파라미터, 프리필터 강도) 중 하나 이상을 변경하고(양자화 파라미터는 단계 크기를 보다 크게 변경하고, 필터 강도의 경우는 블러(blur) 정도를 보다 크게 변경)(단계 S211), 처리가 단계 S202로 되돌아가 부호화 중의 부호화순 픽처군을 재부호화한다.
본 실시형태는, 입력 영상의 모든 프레임을 2회 부호화하는 종래기술 b와 달리 기본적으로 1회의 부호화 처리로 하고, 재부호화 조건이 성립된 경우에 한해 부호화순 픽처군(예를 들면, GOP)의 각 픽처를 재부호화 조건이 성립되지 않게 될 때까지 발생 부호량을 단계적으로 억제하여 반복하여 부호화한다. 2번째 이후의 부호화시에는, 리트라이 카운트에 따라 정해진 발생 부호량을 억제하는 부호화 파라미터에서 부호화를 행한다. 따라서, 입력 영상의 모든 픽처를 2번 부호화하는 종래기술 b와 비교하여 연산량을 삭감할 수 있음과 동시에 재부호화에 의한 화질의 열화도 적게 할 수 있다.
이상과 같이, 본 실시형태에서는 재부호화시에 부호화 파라미터를 리트라이 카운트에 따라 변경한다. 여기서는, 부호화시에 입력 영상에 대해 프리필터를 적용하는 것으로 하고, 변경하는 부호화 파라미터로서는 양자화 파라미터와 프리필터 강도로 한다. 이 2개의 부호화 파라미터의 쌍방을 변경해도 되고, 어느 한쪽만을 변경해도 된다.
양자화 파라미터에 대해서는, 통상의 부호화시에 정해지는 양자화 파라미터 값에 대해 리트라이 카운트에 따라 단계적으로 커지는 소정의 오프셋 값을 더하고 보다 큰 양자화 파라미터에서 재부호화한다.
프리필터에 대해서는, 본 실시형태에서는 가우시안 필터를 이용하는 것으로 한다. 가우시안 필터는 다음 식에서 나타나는 가우스 분포를 x, y에 대해 샘플링함으로써 작성할 수 있다.
g(x,y)={1/(2πσ2)}×exp{-(x2+y2)/(2σ2)}
상기 식으로부터 알 수 있는 바와 같이, σ의 값이 클수록 블러(blur) 정도가 커진다. 블러(blur) 정도가 클수록 고주파수 성분이 줄어들기 때문에, 부호화시의 발생 부호량이 줄어들게 된다. 가우시안 필터의 상세는 예를 들면 상술한 비특허문헌 2에 기재되어 있다.
σ=O인 경우에는 가우시안 필터를 작동시키지 않는 것으로 하고, 예를 들면 디폴트 부호화 파라미터는 σ0=0, 재부호화용 부호화 파라미터는 리트라이 카운트의 값을 c라고 하면 σc라고 한다. σc는 c의 값이 클수록 큰 값으로 한다. O<σ1<σ2<……이다. 또, 본 실시형태에서는 로우 패스 필터의 종류는 묻지 않는다. 또한, 예를 들면 디폴트 부호화 파라미터의 σ0은 픽처마다의 복잡도에 따라 변경하고, σc는 σc-1에 소정의 오프셋을 더한 것인 구성이어도 된다.
또한, 양자화 통계량으로서는, 본 실시형태에서는 픽처의 각 매크로 블록의 양자화 파라미터의 평균값을 이용하는 것으로 한다.
이하에서 설명하는 실시형태에서는 부호화 방식으로서 H.264의 규격에 따라 부호화를 행하는 것으로 한다. 또한, 부호화순 픽처군은 GOP라고 한다. 부호화할 때의 GOP의 개념도는 도 5에 도시된 바와 같다. 하나의 GOP는 10픽처로 구성되고, 표시순으로 I픽처를 선두로 B픽처와 P픽처가 교대로 나열되는 것으로 한다.
본 실시형태의 장치 구성예를 도 15에 나타낸다. 입력 버퍼(210)는 입력되는 영상 신호를 축적함과 동시에 부호화부(220)에 부호화 대상의 영상 신호를 출력한다. 또, 입력 버퍼(210)는 후술하는 양자화 통계량 계산부(240)로부터 픽처의 양자화 통계량이 소정의 문턱값을 초과하였기 때문에 재부호화를 행하는 것을 나타내는 정보(리트라이 정보)를 받은 경우, 부호화 중의 GOP의 선두 픽처부터 영상 신호를 다시 부호화부(220)에 출력한다. 또한, 리트라이 정보를 받지 않고 GOP의 부호화가 완료된 경우, 입력 버퍼(210)는 축적되어 있던 그 GOP의 영상 신호를 파기한다.
부호화부(220)는 입력 버퍼(210)로부터 입력된 영상 신호를 부호화하고, 부호화 스트림을 출력 버퍼(230)에 출력한다. 또한, 부호화부(220)는 입력된 영상 신호를 부호화했을 때의 각 매크로 블록의 양자화 파라미터(양자화 파라미터 정보)를 양자화 통계량 계산부(240)에 출력한다. 또한, 부호화부(220)는 GOP의 부호화가 완료된 시점에서 CPB 잔부호량 정보를 CPB 상태 예측부(260)에 통지한다.
또, 부호화부(220)는 양자화 통계량 계산부(240)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP의 선두 픽처로부터의 영상 신호가 입력 버퍼(210)로부터 다시 입력됨과 동시에 파라미터 조정부(270)로부터 재부호화용 부호화 파라미터가 입력되기 때문에, 입력된 재부호화용 부호화 파라미터를 이용하여 재부호화를 행한다.
출력 버퍼(230)는 GOP의 부호화 스트림이 전부 축적된 단계에서 그 GOP의 부호화 스트림을 출력하고, 한편으로 양자화 통계량 계산부(240)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에 대해 축적한 부호화 스트림을 파기한다.
양자화 통계량 계산부(240)는, 부호화부(220)로부터 입력되는 양자화 파라미터 정보를 이용하여 픽처 단위로 변화하는 양자화 통계량을 구한다. 그리고, 양자화 통계량이 소정의 문턱값을 초과한 경우, 양자화 통계량 계산부(240)는 리트라이 정보를 입력 버퍼(210), 부호화부(220), 리트라이 카운트 관리부(250), 출력 버퍼(230)에 출력하고, 양자화 통계량이 소정의 문턱값을 초과하였음을 통지한다.
리트라이 카운트 관리부(250)는 양자화 통계량 계산부(240)로부터 리트라이 정보를 받은 경우, 현재 리트라이 카운트의 값에 1을 가산하고 갱신 후의 리트라이 카운트를 파라미터 조정부(270)에 통지한다. 또한, 양자화 통계량 계산부(240)로부터 리트라이 정보를 받지 않고 현재 부호화 중의 GOP의 부호화가 완료된 경우, 리트라이 카운트의 값이 1 이상이면, 리트라이 카운트 관리부(250)는 리트라이 카운트의 값에서 1을 감산하고 갱신 후의 리트라이 카운트를 파라미터 조정부(270)에 통지한다. 다만, CPB 상태 예측부(260)로부터 통지된 파라미터 변경 유무 정보가 「파라미터 변경 없음」을 나타내고 있으면, 리트라이 카운트 관리부(250)는 리트라이 카운트가 1 이상이어도 리트라이 카운트에서 1을 감산하지 않는다. 또한, 리트라이 카운트가 0인 경우에도 리트라이 카운트 관리부(250)는 리트라이 카운트에서 1을 감산하지 않고 현재 리트라이 카운트의 값을 파라미터 조정부(270)에 통지한다.
CPB 상태 예측부(260)는, GOP의 부호화가 완료된 시점에서 부호화부(220)로부터 통지된 CPB 잔부호량 정보를 기초로 CPB 잔부호량이 소정의 문턱값 이상인지를 판정하여 CPB 잔부호량이 문턱값 이상인 경우, 파라미터 변경 유무 정보로서 부호화 파라미터를 변경하는 것을 리트라이 카운트 관리부(250)에 통지한다. 한편, CPB 잔부호량이 문턱값보다 적은 경우, CPB 상태 예측부(260)는 파라미터 변경 유무 정보로서 부호화 파라미터를 변경하지 않음을 리트라이 카운트 관리부(250)에 통지한다.
파라미터 조정부(270)는 리트라이 카운트 관리부(250)로부터 리트라이 카운트를 받으면, 리트라이 카운트에 따라 정해진 부호화 파라미터를 부호화부(220)에 입력한다. 이에 의해, 부호화부(220)는 같은 GOP에 대해 재부호화의 반복 횟수가 많아질수록 발생 부호량이 적어지는 부호화 파라미터를 이용하여 부호화를 하게 된다.
이상과 같이, 본 실시형태에서는 재부호화가 발생하면 값이 증가하고, GOP의 부호화가 완료된 시점에서 값이 줄어드는 리트라이 카운트라는 개념을 도입하여 리트라이 카운트 관리부(250)에서 리트라이 카운트를 관리한다. 이 리트라이 카운트에는 예를 들면 상한값이 「3」이라고 하는 바와 같이 소정의 상한값이 있고, 상한값에 도달할 때까지 같은 GOP의 재부호화를 행해도 되는 것으로 한다. 부호화시에서의 양자화 파라미터의 오프셋 값, 프리필터의 필터 강도는 리트라이 카운트의 값에 따라 변화한다.
리트라이 카운트가 O일 때에는 디폴트 부호화 파라미터가 이용된다. 리트라이 카운트가 0 이외의 경우에는, 예를 들면 리트라이 카운트의 상한값이 3인 경우, 리트라이 카운트의 1, 2, 3 각각에 대응한 재부호화용 부호화 파라미터를 부호화 파라미터 테이블로서 미리 준비해 두고, 그 부호화 파라미터 테이블로부터 얻은 부호화 파라미터를 재부호화에 이용해도 된다.
본 실시형태에서의 부호화 처리의 흐름에 대해 도 14의 흐름도에 따라 설명한다. 이하의 설명에서는 S201, S202, … 등과 같이 문장 중에 도 14의 흐름도와의 대응을 기재한다.
어떤 GOP의 부호화를 행하는 처리에 대해 이하와 같이 3가지 케이스로 나누어 설명한다.
·[케이스 1]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었다.
·[케이스 2]: GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었다.
·[케이스 3]: GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었다.
[케이스 1의 처리예]
우선, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었던 경우의 케이스 1에 대해 설명한다. GOP의 픽처가 입력 버퍼(210)에 입력되면, 입력 버퍼(210)는 그 픽처를 축적함과 동시에 부호화부(220)에 그 픽처를 부호화 대상 픽처로서 입력한다(S201). 그리고, 부호화부(220)는 그 픽처를 부호화하고, 출력 버퍼(230)에 부호화 스트림을 출력함과 동시에(출력 버퍼(230)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(240)에 출력한다(S202).
여기서, 예를 들면 리트라이 카운트가 초기값의 O이라고 하면, 부호화에서는 디폴트 부호화 파라미터가 이용되고, 디폴트 부호화 파라미터에 대응한 프리필터 강도로 부호화 대상 픽처에 프리필터부(221)에 의한 필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 디폴트 부호화 파라미터에 따른 양자화 파라미터에서 양자화부(222)에 의해 양자화된다. 리트라이 카운트가 1 이상인 경우에는, 각각 리트라이 카운트에 따라 정해진 필터 강도 및 양자화 파라미터에 의한 프리필터, 양자화 처리에서 부호화가 행해진다.
양자화 통계량 계산부(240)는, 그 픽처에 대해 부호화부(220)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 예에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없기 때문에, 양자화 통계량 계산부(240)는 리트라이 정보의 출력은 하지 않는다(S203). 부호화 대상 픽처가 입력 영상 신호 중의 최종 픽처이면, 출력 버퍼(230)는 축적되어 있는 부호화 스트림을 출력하고 부호화 처리가 완료된다(S204). 혹은 부호화 대상 픽처가 GOP의 최종 픽처이면, 출력 버퍼(230)는 축적되어 있던 부호화 스트림을 출력함과 동시에, 입력 버퍼(210)는 축적되어 있던 픽처를 파기하고 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S205~S207).
이 케이스 1과 같이 양자화 통계량이 소정의 문턱값을 초과하지 않고 GOP의 부호화가 완료된 경우, 부호화부(220)는 GOP의 부호화가 완료된 시점에서 CPB 잔부호량 정보를 CPB 상태 예측부(260)에 통지한다. CPB 상태 예측부(260)는 CPB 잔부호량이 소정의 문턱값 이상인지를 판정하여 CPB 잔부호량이 문턱값 이상인 경우, 파라미터 변경 유무 정보로서 부호화 파라미터를 변경하는 것을 리트라이 카운트 관리부(250)에 통지한다. 한편, CPB 잔부호량이 문턱값보다도 적은 경우, 파라미터 변경 유무 정보로서 부호화 파라미터를 변경하지 않음을 리트라이 카운트 관리부(250)에 통지한다. 리트라이 카운트 관리부(250)는, 파라미터 변경 유무 정보가 부호화 파라미터를 변경하는 것을 나타내는 경우에 한해 현재 리트라이 카운트에서 값을 1 줄인다(S206).
즉, 현재 부호화가 완료된 GOP보다 전의 GOP에서 재부호화가 발생하는 경우에 리트라이 카운트가 0이 아닐 수 있다. 그 때, 리트라이 카운트 관리부(250)는 CPB 상태 예측부(260)로부터의 파라미터 변경 유무 정보의 통지에 따라 리트라이 카운트를 변경하고, 변경 후의 리트라이 카운트를 파라미터 조정부(270)에 통지한다. 파라미터 조정부(270)는, 통지된 리트라이 카운트에 대응한 부호화 파라미터를 부호화부(220)에 설정하고 다음 GOP의 선두 픽처의 부호화가 개시된다.
[케이스 2의 처리예]
다음에, GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었던 경우의 케이스 2에 대해 설명한다. 여기서는, GOP의 부호화를 개시하는 시점에서의 리트라이 카운트가 1이라고 하고, 같은 GOP에서 2회 재부호화가 행해진 경우를 설명한다.
GOP의 픽처가 입력 버퍼(210)에 입력되면, 입력 버퍼(210)는 그 픽처를 축적함과 동시에 부호화부(220)에 그 픽처를 부호화 대상 픽처로서 입력한다(S201). 그리고, 부호화부(220)는 그 픽처를 부호화하고, 출력 버퍼(230)에 부호화 스트림을 출력함과 동시에(출력 버퍼(230)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(240)에 출력한다(S202). 여기서, 부호화에서는 리트라이 카운트=1에 대응한 부호화 파라미터가 이용된다.
양자화 통계량 계산부(240)는, 그 픽처에 대해 부호화부(220)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 결과, 그 픽처에 대해 양자화 통계량이 소정의 문턱값을 초과하는 것을 양자화 통계량 계산부(240)가 검지한 경우, 양자화 통계량 계산부(240)는 부호화부(220), 리트라이 카운트 관리부(250), 입력 버퍼(210), 출력 버퍼(230)에 리트라이 정보를 출력한다(S203).
현재 리트라이 카운트는 1이고 상한값의 3에는 도달하지 못하였으므로(S208), 입력 버퍼(210)는 축적되어 있던 부호화 중의 GOP의 선두 픽처를 부호화부(220)에 출력한다(S209). 한편, 리트라이 카운트 관리부(250)에서 리트라이 카운트가 1 증가하여 값이 2가 된 리트라이 카운트가 파라미터 조정부(270)에 출력된다(S210).
파라미터 조정부(270)에서는, 리트라이 카운트가 2일 때의 부호화 파라미터를 부호화 파라미터 테이블로부터 독출하고, 그 부호화 파라미터를 부호화부(220)에 설정한다(S211). 출력 버퍼(230)는 부호화 중의 GOP의 부호화 스트림을 파기한다.
부호화부(220)에서는, 양자화 통계량이 소정의 문턱값을 초과하지 않는 한 순차적으로 GOP의 픽처가 입력 버퍼(210)로부터 입력되어 부호화가 진행된다. 이 부호화시에 같은 GOP에서 다시 양자화 통계량이 소정의 문턱값을 초과한 경우, 전술한 처리와 같은 처리에 의해 리트라이 카운트가 1 증가하여 3이 된다. 이에 의해, 부호화 파라미터가 리트라이 카운트=3에 대응하는 것으로 변경된 후에 같은 GOP에 대해 다시 선두 픽처부터 부호화가 순차적으로 행해진다.
이 GOP의 부호화에서 더 이상 양자화 통계량이 소정의 문턱값을 초과하지 않은 경우, 부호화부(220)는 CPB 잔부호량 정보를 CPB 상태 예측부(260)에 통지한다. CPB 상태 예측부(260)는, CPB 잔부호량이 소정의 문턱값 이상인 경우 파라미터 변경 유무 정보를 「변경 있음」으로 하고, 그 이외의 경우에는 파라미터 변경 유무 정보를 「변경 없음」으로 하여 리트라이 카운트 관리부(250)에 통지한다.
통지된 파라미터 변경 유무 정보가 「변경 있음」의 경우, 리트라이 카운트 관리부(250)에 의해 리트라이 카운트가 1 줄어들어 리트라이 카운트가 2가 되어 다음 GOP의 부호화가 진행된다. 이때의 입력 버퍼(210) 및 출력 버퍼(230)의 동작은 전술한 예와 같다. 파라미터 변경 유무 정보가 「변경 없음」의 경우에는, 리트라이 카운트가 3 그대로이고 다음 GOP의 부호화가 진행된다.
이 케이스 2의 예에서의 리트라이 카운트, 부호화 파라미터의 추이의 개념도는 도 13에 도시된 바와 같다. 도 13의 예에서는, 리트라이 카운트가 1인 상태에서 2번째의 GOP2를 부호화하고 있을 때에 6번째 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였으므로, 리트라이 카운트를 2로 하고 다시 리트라이 카운트=2에 대응하는 부호화 파라미터에서 GOP2의 선두 I픽처부터 재부호화하고 있다. 이 재부호화에서도 8번째 픽처에서 양자화 통계량이 소정의 문턱값을 초과하고, 또 리트라이 카운트=3에 대응하는 발생 부호량이 적은 부호화 파라미터에서 재부호화가 행해지고 있다.
재차의 재부호화에서는 양자화 통계량이 소정의 문턱값을 초과하지 않았으므로, CPB 잔부호량이 소정의 문턱값 이상인지를 판정한다. 여기서는 CPB 잔부호량이 소정의 문턱값 이상이었으므로, GOP2의 부호화 완료시에 리트라이 카운트에서 1을 줄이고 리트라이 카운트가 2인 부호화 파라미터를 이용하여 다음 GOP3의 부호화로 처리가 이행된다.
재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도는 도 8에 도시된 바와 같다. 굵은 선으로 나타낸 부분이 재부호화 후의 CPB 잔부호량이다. 재부호화에서는 프리필터에서 블러(blur) 정도를 강하게 하고, 양자화 파라미터도 디폴트 부호화 파라미터보다도 크게 하기 때문에 발생 부호량이 억제되며, CPB 잔부호량의 천이가 예를 들면 도 8에 나타내게 된다. 이 결과, 재부호화가 발생한 픽처에서의 CPB 잔부호량이 재부호화시에는 증가하고, 그 픽처에서 큰 화질 열화가 생기는 것을 회피할 수 있다.
또, 재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도는 도 9에 도시된 바와 같다. 도 9에 도시된 바와 같이, 재부호화시에 부호화 파라미터를 변경하기 때문에 재부호화를 개시한 픽처의 양자화 통계량이 커지지만, 그 영향으로 도 8에 도시된 바와 같이 CPB 잔부호량에 여유가 생기기 때문에, 재부호화가 발생한 픽처에서는 양자화 통계량이 재부호화 전보다 작아진다.
[케이스 3의 처리예]
마지막으로, 같은 GOP의 부호화에서 복수회 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 케이스 3에 대해 설명한다.
어떤 GOP를 부호화 중에 케이스 2의 경우와 같이 리트라이 카운트가 3에 도달하였다고 하자. 또, 같은 GOP의 부호화에서 양자화 통계량 계산부(240)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검지된 경우(S203), 리트라이 카운트 관리부(250)에서 리트라이 카운트가 상한값에 도달하였음이 검지되고(S208), 재부호화가 행해지지 않고 부호화 처리가 진행된다.
재부호화가 행해지고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 양자화 통계량의 천이의 개념도는 도 10에 도시된 바와 같다. 케이스 3은, 예를 들면 도 10에 도시된 바와 같이 재부호화를 개시하는 GOP의 선두에서 이미 양자화 통계량이 큰 경우에 생길 수 있다.
또, 재부호화시에 통상의 부호화시보다도 양자화 파라미터가 커짐으로써, 재부호화시에 재부호화의 계기가 된 픽처보다도 부호화순으로 과거의 픽처에서 양자화 통계량이 문턱값을 초과하는 일도 일어날 수 있다. 이것이 생길 가능성을 저감하기 위해, 리트라이 카운트의 각 값에 대응하는 양자화 파라미터의 오프셋 값을 다음과 같이 결정해도 된다.
리트라이 카운트의 최대값(전술한 실시형태에서는 3)에 대응하는 양자화 파라미터의 오프셋 값(이는 미리 결정된 소정의 값)을 통상의 부호화시의 양자화 파라미터에 더하고, 그 값이 양자화 통계량의 문턱값을 초과하는 경우, 그 문턱값과 값이 동일하게 되도록 리트라이 카운트의 최대값에 대응하는 양자화 파라미터의 오프셋 값을 수정한다. 그리고, 그 오프셋 값을 기초로 다른 리트라이 카운트의 값에 대응하는 오프셋 값을 결정한다(예를 들면, 전술한 실시형태의 경우이면, 리트라이 카운트의 최대값에 대응하는 오프셋 값을 A라고 했을 때, 리트라이 카운트 0, 1, 2의 오프셋 값을 각각 0, A/3, 2×(A/3)와 같이 등분해도 됨). 다만, 재부호화시의 양자화 파라미터가 통상의 부호화시보다 작아지지 않도록 통상의 부호화시의 양자화 파라미터가 양자화 통계량 이상인 경우에는 리트라이 카운트의 모든 값에 대응하는 오프셋 값을 0으로 한다. 또한, 리트라이 카운트의 최대값에 대응하는 미리 정해진 양자화 파라미터의 오프셋 값을 통상의 부호화시의 양자화 파라미터에 더한 값이 양자화 통계량의 문턱값을 초과하지 않은 경우에는, 그 오프셋 값을 기초로 다른 리트라이 카운트의 값에 대응하는 오프셋 값을 결정하면 된다.
[제4 실시형태]
이하, 본 발명의 제4 실시형태를 도면을 이용하여 상세하게 설명한다. 도 16은 본 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
우선, 입력 영상 신호에서의 부호화가 종료된 픽처의 다음 픽처를 부호화 대상으로 설정한다(단계 S301). 부호화 대상으로 설정한 입력 픽처를 H.264 그 밖의 소정의 부호화 방식에 의해 부호화한다(단계 S302). 입력 픽처를 부호화했을 때의 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 판정하여(단계 S303), 양자화 통계량이 소정의 문턱값을 초과하는 경우에는 처리가 단계 S311로 진행된다.
양자화 통계량이 소정의 문턱값을 초과하지 않으면, 최종 픽처의 부호화가 완료되었는지를 판정하고(단계 S304), 최종 픽처까지 부호화가 완료되었다면 부호화 처리를 종료한다.
그렇지 않으면, 부호화한 픽처는 부호화순 픽처군의 선두 I픽처인지를 판정한다(단계 S305). 현재 부호화한 픽처가 부호화순 픽처군의 선두 I픽처인 경우, 그 I픽처를 리트라이 포인트로 설정한다(단계 S306). 이는 후술하는 단계 S309에서 CPB 잔부호량이 소정의 문턱값 미만인 경우에 리트라이 포인트가 하나 전의 부호화순 픽처군의 선두로 설정된 채이기 때문에, 다음 I픽처에서 재부호화 조건(양자화 통계량이 소정의 문턱값을 초과함)이 성립되지 않음을 확인하고 나서 리트라이 포인트를 갱신하기 위한 처리이다. 또, 단계 S310에서 리트라이 포인트가 설정되어 있는 경우에는 같은 위치에 리트라이 포인트를 재설정하게 되는데, 처리상 결함은 생기지 않는다. 그 후, 처리가 단계 S301로 되돌아가 다음 픽처의 부호화를 진행한다.
부호화한 픽처가 부호화순 픽처군의 선두가 아닌 경우, 다음에 부호화순 픽처군의 부호화가 완료되었는지를 판정한다(단계 S307). 부호화순 픽처군의 부호화가 완료되지 않았으면, 처리가 단계 S301로 되돌아가 다음 픽처에 대해 마찬가지로 부호화 처리를 계속한다. 부호화순 픽처군의 부호화가 완료된 경우, 부호화 파라미터가 부호화순 픽처군의 재부호화(리트라이)에서 변경되어 있으면, 부호화 파라미터를 통상의 부호화시의 값으로 되돌린다(단계 S308).
또한, 부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정의 문턱값 이상인지를 판정한다(단계 S309). CPB 잔부호량이 소정의 문턱값 이상이면, 리트라이 포인트를 다음 부호화순 픽처군의 선두 I픽처로 설정한다(단계 S310). 그 후, 처리가 단계 S301로 되돌아가 다음 부호화순 픽처군의 선두부터 순번으로 부호화를 행한다.
CPB 잔부호량이 소정의 문턱값 미만인 경우에는, 리트라이 포인트를 갱신하지 않고 처리가 단계 S301로 되돌아가 다음 부호화순 픽처군의 부호화로 진행한다.
단계 S303에서 양자화 통계량이 소정의 문턱값을 초과하였음이 검출된 경우, 현재 부호화순 픽처군은 재부호화가 행해졌는지(리트라이 완료인지)를 판정한다(단계 S311). 리트라이 완료인 경우, 추가로 재부호화를 행하지 않고 처리가 단계 S304로 진행되어 그대로 부호화 처리를 계속한다.
리트라이 완료가 아닌 경우, 현재 부호화순 픽처군의 재부호화를 위해 리트라이 포인트의 픽처를 부호화 대상으로 설정한다(단계 S312). 그리고, 2개의 부호화 파라미터(양자화 파라미터, 프리필터 강도) 중 하나 이상을 변경하고(양자화 파라미터는 단계 크기를 보다 크게 변경하고, 필터 강도의 경우는 블러(blur) 정도를 보다 크게 변경)(단계 S313), 처리가 단계 S302로 되돌아가 부호화 중의 부호화순 픽처군을 재부호화한다.
즉, 입력 영상의 모든 프레임을 2회 부호화하는 종래기술 b와 달리, 양자화 통계량이 소정의 문턱값을 초과한 경우에 한해 부호화순 픽처군(예를 들면, GOP)을 2회 부호화한다. 2회째의 부호화시에는, 발생 부호량을 억제하는 부호화 파라미터에서 부호화를 행한다. 재부호화 조건이 성립된 경우에 한해 그것이 성립된 부호화순 픽처군만을 재부호화함으로써(또, 예외적으로 하나 전의 부호화순 픽처군부터 재부호화하는 경우도 있음), CPB 언더플로우를 억제하면서 화질 열화를 경감한다. 따라서, 입력 영상의 모든 픽처를 2번 부호화하는 종래기술 b와 비교하여 연산량을 삭감할 수 있다.
도 17은 본 실시형태의 변형예에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다. 본 실시형태는 도 16에 도시된 단계 S308의 처리를 도 17에 도시된 단계 S381~S383의 처리로 치환하여 실시할 수도 있다. 단계 S308 이외의 처리는 도 16과 거의 같다.
도 16의 단계 S307의 처리 후, 부호화 파라미터가 리트라이에서 변경되어 있는지를 판정한다(단계 S381). 부호화 파라미터가 리트라이에서 변경되지 않으면, 처리가 단계 S309로 진행된다. 부호화 파라미터가 리트라이에서 변경되어 있으면, 다음에 CPB 잔부호량이 소정의 제1 문턱값 이상인지를 판정한다(단계 S382). CPB 잔부호량이 소정의 문턱값 미만이면, 부호화 파라미터를 재부호화에서 이용한 상태 그대로 하고, CPB 잔부호량이 소정의 문턱값 이상인 경우에만 부호화 파라미터를 원래의 디폴트 부호화 파라미터로 되돌린다(단계 S383). 그 후, 처리가 단계 S309로 진행되어 CPB 잔부호량이 소정의 제2 문턱값 이상인지를 판정하는데, 이 처리 및 단계 S310의 처리는 도 16에 도시된 단계 S309, S310의 처리와 같다. 또, 제1 문턱값과 제2 문턱값은 같은 값이어도 다른 값이어도 모두 된다.
도 17에 도시된 변형예에서는, 이상과 같이 부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정량을 초과하는 경우에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌린다. 이는 다음 이유에 의한다. 부호화순 픽처군의 부호화가 완료되었다고 해도, CPB 잔부호량이 적은 경우 부호화 파라미터를 통상의 부호화시의 값으로 되돌리면 발생 부호량이 보다 많아지기 때문에, 다음 부호화순 픽처군의 픽처의 부호화에서 재부호화 조건이 성립될 가능성이 높아진다. 도 17의 처리에서는 CPB 잔부호량이 적은 경우에는 부호화 파라미터를 변경하지 않기 때문에, 도 16의 처리에 비해 다음 부호화순 픽처군의 부호화에서의 재부호화의 발생이 억제되고 연산량이 더욱 삭감된다.
이상과 같이, 본 실시형태에서는 재부호화시에 부호화 파라미터를 변경한다. 여기서는, 부호화시에 입력 영상에 대해 프리필터를 적용하는 것으로 하고, 변경하는 부호화 파라미터로서는 양자화 파라미터와 프리필터 강도로 한다. 이 2개의 부호화 파라미터의 쌍방을 변경해도 되고, 어느 한쪽만을 변경해도 된다.
양자화 파라미터에 대해서는, 통상의 부호화시의 양자화 파라미터 값에 대해 소정의 오프셋 값을 더하고, 보다 큰 양자화 파라미터에서 재부호화한다.
프리필터에 대해서는, 본 실시형태에서는 가우시안 필터를 이용하는 것으로 한다. 가우시안 필터는 다음 식에서 나타나는 가우스 분포를 x, y에 대해 샘플링함으로써 작성할 수 있다.
g(x,y)={1/(2πσ2)}×exp{-(x2+y2)/(2σ2)}
상기 식으로부터 알 수 있는 바와 같이, σ의 값이 클수록 블러(blur) 정도가 커진다. 블러(blur) 정도가 클수록 고주파수 성분이 줄어들기 때문에, 부호화시의 발생 부호량이 줄어들게 된다. 가우시안 필터의 상세는 예를 들면 상술한 비특허문헌 2에 기재되어 있다.
σ=O의 경우에는 가우시안 필터를 작동시키지 않는 것으로 하고, 예를 들면 디폴트 부호화 파라미터는 σ0=0, 재부호화용 부호화 파라미터는 σ1>0으로 한다. 또, 본 실시형태에서는 로우 패스 필터의 종류는 묻지 않는다. 또한, 재부호화시의 블러(blur) 정도가 강한 쪽도 미리 임의로 정해도 된다. 예를 들면, 디폴트 부호화 파라미터의 σ0은 픽처마다의 복잡도에 따라 변경하고, σ1은 σ0에 소정의 오프셋을 더한 것인 구성이어도 된다.
또한, 양자화 통계량으로서는, 본 실시형태에서는 픽처의 각 매크로 블록의 양자화 파라미터의 평균값을 이용하는 것으로 한다.
부호화는 H.264의 규격에 따른 부호화를 행하는 것으로 한다. 또한, 본 실시형태에서는 부호화순 픽처군은 GOP라고 한다. 부호화할 때의 GOP의 개념도는 도 5에 도시된 바와 같다. 하나의 GOP는 10픽처로 구성되고, 표시순으로 I픽처를 선두로 B픽처와 P픽처가 교대로 나열되는 것으로 한다.
본 실시형태의 장치 구성예를 도 18에 나타낸다. 입력 버퍼(310)는 입력되는 영상 신호를 축적함과 동시에 부호화부(320)에 부호화 대상의 영상 신호를 출력한다. 또, 입력 버퍼(310)는 후술하는 양자화 통계량 계산부(340)로부터 픽처의 양자화 통계량이 소정의 문턱값을 초과하였기 때문에 재부호화를 행하는 것을 나타내는 정보(리트라이 정보)를 받은 경우, 리트라이 포인트로 설정된 GOP의 선두 픽처부터 영상 신호를 다시 부호화부(320)에 출력한다. 또한, 리트라이 포인트 관리부(360)로부터 리트라이 포인트 정보를 입력한 경우에, 입력 버퍼(310)는 리트라이 포인트보다 전의 축적되어 있던 GOP의 영상 신호를 파기한다.
부호화부(320)는 입력 버퍼(310)로부터 입력된 영상 신호를 부호화하고, 부호화 스트림을 출력 버퍼(330)에 출력한다. 또한, 부호화부(320)는 입력된 영상 신호를 부호화했을 때에 발생한 양자화 파라미터(양자화 파라미터 정보)를 양자화 통계량 계산부(340)에 출력한다. 또, 부호화부(320)는 양자화 통계량 계산부(340)로부터 리트라이 정보를 받은 경우, 리트라이 포인트가 나타내는 GOP의 선두 픽처로부터의 영상 신호가 입력 버퍼(310)로부터 다시 입력됨과 동시에, 파라미터 조정부(370)로부터 재부호화용 부호화 파라미터가 입력되기 때문에, 입력된 재부호화용 부호화 파라미터를 이용하여 재부호화를 행한다. 또한, 부호화부(320)는 GOP의 부호화가 완료된 시점에서의 CPB 잔부호량의 정보를 CPB 상태 예측부(350)에 출력한다.
출력 버퍼(330)는, 리트라이 포인트 관리부(360)로부터의 리트라이 포인트 정보에 기초하여 출력하는 것이 확정된 부호화 스트림, 즉 재부호화의 필요가 없는 것이 확정된 부호화 결과의 부호화 스트림을 출력한다. 한편, 출력 버퍼(330)는 양자화 통계량 계산부(340)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에 대해 축적된 부호화 스트림을 파기한다.
양자화 통계량 계산부(340)는, 부호화부(320)로부터 입력되는 양자화 파라미터 정보를 이용하여 픽처 단위로 변화하는 양자화 통계량을 구한다. 그리고, 양자화 통계량이 소정의 문턱값을 초과한 경우, 양자화 통계량 계산부(340)는 리트라이 정보를 입력 버퍼(310), 부호화부(320), 파라미터 조정부(370), 출력 버퍼(330)에 출력하고, 양자화 통계량이 소정의 문턱값을 초과하였음을 통지한다.
CPB 상태 예측부(350)는 CPB 잔부호량이 소정의 문턱값 이상인지의 판정을 하여, CPB 잔부호량이 문턱값 이상인 경우에는 리트라이 포인트 관리부(360)에 다음 GOP의 리트라이 포인트는 그 GOP의 선두 I픽처임을 나타내는 정보를 리트라이 포인트 변경 유무 정보로서 통지한다. 반대로 CPB 잔부호량이 문턱값보다 작은 경우에는, CPB 상태 예측부(350)는 다음 GOP의 선두 픽처의 리트라이 포인트는 그 GOP의 직전 GOP의 선두 픽처(I픽처)임을 나타내는 정보를 리트라이 포인트 변경 유무 정보로서 리트라이 포인트 관리부(360)에 통지한다.
리트라이 포인트 관리부(360)는, 이로부터 부호화하는 GOP의 선두 픽처에서 리트라이 포인트가 직전 GOP의 선두 픽처임을 리트라이 변경 유무 정보가 나타내는 경우에 그 리트라이 포인트를 입력 버퍼(310)에 통지함과 동시에, 선두 픽처의 부호화에서 재부호화가 발생하지 않은 경우에 다음 픽처의 부호화로부터 리트라이 포인트를 현재 부호화하고 있는 GOP의 선두 픽처로 하는 것을 입력 버퍼(310)에 통지한다. 또한, 리트라이 포인트가 이로부터 부호화하는 GOP의 선두 픽처임을 리트라이 변경 유무 정보가 나타내는 경우에, 리트라이 포인트 관리부(360)는 그 리트라이 포인트를 입력 버퍼(310)와 출력 버퍼(330)에 통지한다. 여기서는, 이들 통지 정보를 리트라이 포인트 정보라고 한다. 전술한 바와 같이, 입력 버퍼(310)는 재부호화시에는 리트라이 포인트 정보에 기초한 픽처부터 부호화부(320)에 영상 신호를 입력하고, 출력 버퍼(330)는 리트라이 포인트 정보에 기초하여 출력하는 것이 확정된 부호화 스트림만을 출력한다.
파라미터 조정부(370)는 양자화 통계량 계산부(340)로부터 리트라이 정보를 받은 경우, 전술한 바와 같이 재부호화용 부호화 파라미터를 부호화부(320)에 입력한다. 이에 의해, 부호화부(320)는 재부호화시에는 같은 GOP에 대해 발생 부호량이 적어지는 부호화 파라미터를 이용하여 부호화를 하게 된다.
본 실시형태에서의 부호화 처리의 흐름에 대해 도 16의 흐름도에 따라 설명한다. 이하의 설명에서는 S301, S302, …등과 같이 문장 중에 도 16의 흐름도와의 대응을 기재한다.
어떤 GOP의 부호화를 행하는 처리에 대해 처음 GOP를 GOP1, 다음 GOP를 GOP2라고 하여 이하와 같이 4가지 케이스로 나누어 설명한다.
·[케이스 1]: GOP1의 부호화에서 양자화 통계량이 소정의 문턱값을 초과한다는 재부호화 조건이 성립되지 않고 GOP1의 부호화가 완료되며, 다음 GOP2의 선두 픽처의 부호화에서도 재부호화 조건이 성립되지 않았다.
·[케이스 2]: GOP1의 부호화가 완료되고, 다음 GOP2의 선두 픽처의 부호화에서 재부호화 조건이 성립되어 재부호화가 필요하게 되었다.
·[케이스 3]: GOP2의 중간 픽처의 부호화에서 재부호화 조건이 성립되어 재부호화가 필요하게 되었다.
·[케이스 4]: GOP2의 중간 픽처의 부호화에서 재부호화 조건이 성립되고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었다.
[케이스 1의 처리예]
우선, GOP1의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었던 경우(재부호화 조건이 성립되지 않은 경우)의 케이스 1에 대해 설명한다. GOP1의 픽처가 입력 버퍼(310)에 입력되면, 입력 버퍼(310)는 그 픽처를 축적함과 동시에 부호화부(320)에 그 픽처를 부호화 대상 픽처로서 입력한다(S301). 그리고, 부호화부(320)는 그 픽처를 부호화하고, 출력 버퍼(330)에 부호화 스트림을 출력함과 동시에(출력 버퍼(330)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(340)에 출력한다(S302).
여기서, 부호화에서는 디폴트 부호화 파라미터가 이용되고, 디폴트 부호화 파라미터에 대응한 프리필터 강도로 부호화 대상 픽처에 프리필터부(321)에 의한 필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 디폴트 부호화 파라미터에 따른 양자화 파라미터에서 양자화부(322)에 의해 양자화된다.
양자화 통계량 계산부(340)는, 그 픽처에 대해 부호화부(320)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 예에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없기 때문에, 양자화 통계량 계산부(340)는 리트라이 정보의 출력은 하지 않는다(S303). 부호화 대상 픽처가 입력 영상 신호 중의 최종 픽처이면, 출력 버퍼(330)는 축적되어 있는 부호화 스트림을 출력하고 부호화 처리가 완료된다(S304).
부호화 대상 픽처가 GOP1의 선두 픽처이면(S305), 리트라이 포인트 관리부(360)는 GOP1의 선두 픽처(I픽처)를 리트라이 포인트로 설정하고(S306), 이어서 부호화부(320)는 다음 픽처의 부호화를 진행한다.
혹은 부호화 대상 픽처가 GOP의 최종 픽처이면(S307), 파라미터 조정부(370)는 재부호화에서 재부호화용 부호화 파라미터가 이용되고 있던 경우에 부호화 파라미터를 디폴트 부호화 파라미터로 변경한다(S308).
한편, 부호화부(320)가 CPB 잔부호량 정보를 CPB 상태 예측부(350)에 출력하고, CPB 상태 예측부(350)는 CPB 잔부호량이 소정의 문턱값 이상인지를 판정한다(S309). CPB 상태 예측부(350)는, 그 판정 결과를 전술한 리트라이 포인트 변경 유무 정보로서 리트라이 포인트 관리부(360)에 통지한다. 리트라이 포인트 관리부(360)는 리트라이 포인트 변경 유무 정보가 리트라이 포인트를 변경하지 않음(CPB 잔부호량이 문턱값 미만)을 나타내는 경우, 입력 버퍼(310)에 리트라이 포인트가 GOP1의 선두 픽처임을 리트라이 포인트 정보로서 통지한다.
그 후, 처리는 GOP2의 선두 I픽처의 부호화 처리로 진행하고(S302), 그 I픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하지 않은 경우(S303), 리트라이 포인트 관리부(360)는 입력 버퍼(310) 및 출력 버퍼(330)에 리트라이 포인트가 GOP2의 선두 픽처임을 통지한다(S306). 즉, 그 이후의 GOP2의 픽처에서 재부호화가 발생한 경우, GOP2의 선두 픽처부터 재부호화가 행해진다.
전술한 GOP1의 부호화가 완료된 시점에서 CPB 잔부호량이 충분히 있는 경우에는, 리트라이 포인트를 변경하는 것을 나타내는 리트라이 포인트 변경 유무 정보가 CPB 상태 예측부(350)로부터 리트라이 포인트 관리부(360)에 출력되고, 리트라이 포인트 관리부(360)는 입력 버퍼(310)에 리트라이 포인트는 GOP2의 선두 픽처임을 리트라이 포인트 정보로서 통지한다(S310). 이 경우, 다음에 GOP2의 어느 픽처에서 양자화 통계량이 소정의 문턱값을 초과해도 GOP2의 선두 픽처부터 재부호화가 행해진다.
[케이스 2의 처리예]
다음에, GOP2의 선두 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였지만, 그 후에 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었던 경우의 케이스 2에 대해 설명한다. 케이스 1과 같이, GOP1의 부호화가 완료된 시점에서의 리트라이 포인트 변경 유무 정보가 CPB 잔부호량이 적기 때문에 리트라이 포인트를 변경하지 않음을 나타내는 경우, 리트라이 포인트 관리부(360)는 입력 버퍼(310)에 리트라이 포인트는 GOP1의 선두 I픽처임을 통지한다.
처리가 GOP2의 선두 I픽처의 부호화 처리로 진행하고, 그 픽처에서 양자화 통계량 계산부(340)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검출된 경우(S303), 양자화 통계량 계산부(340)로부터의 리트라이 정보에 기초하여 입력 버퍼(310)는 GOP1의 선두 픽처부터 순차적으로 부호화부(320)에 픽처를 입력시키고 부호화부(320)에서 재부호화가 행해진다. 이때의 부호화 파라미터는 파라미터 조정부(370)로부터 설정된 재부호화용 부호화 파라미터가 이용된다(S313). 이 재부호화에서는, 프리필터부(321)에 의해 재부호화용 부호화 파라미터에 대응한 프리필터 강도(디폴트 부호화 파라미터보다 블러(blur) 정도가 큼)로 부호화 대상 픽처에 프리필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 재부호화용 부호화 파라미터에 따른 양자화 파라미터(디폴트 부호화 파라미터보다 양자화 단계 크기가 큼)에서 양자화부(322)에 의해 양자화된다.
이 GOP1의 재부호화에 의해 GOP1의 최종 픽처까지의 부호화가 완료된 경우, 그 때의 CPB 잔부호량에 의해 리트라이 포인트가 GOP1의 선두 픽처 또는 GOP2의 선두 픽처로 설정되고, 이어서 GOP2의 선두 픽처의 부호화 처리가 진행된다.
[케이스 3의 처리예]
앞의 케이스 2에서는, GOP2의 선두 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였기 때문에 재부호화가 필요하게 된 예를 설명하였다. 한편, GOP2의 선두 픽처 이외의 픽처에서 양자화 통계량이 소정의 문턱값을 초과한 경우에는 마찬가지로 재부호화용 부호화 파라미터를 이용하여 GOP2의 선두 픽처부터 재부호화가 행해지게 된다.
GOP2의 중간 픽처에서 재부호화가 행해졌을 때의 부호화 파라미터의 변경의 개념도는 도 7에 도시된 바와 같다. 도 7의 예에서는 GOP2의 6번째 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였으므로, 발생 부호량을 억제하는 재부호화용 부호화 파라미터를 설정하여 GOP2의 선두 I픽처부터 재부호화하고 있다. 재부호화에 의해 양자화 통계량이 소정의 문턱값을 초과하지 않게 되었으므로, 다음 GOP3의 부호화에서는 재부호화용 부호화 파라미터를 디폴트 부호화 파라미터로 되돌리고 부호화 처리를 계속한다.
재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도는 도 8에 도시된 바와 같다. 굵은 선으로 나타낸 부분이 재부호화 후의 CPB 잔부호량이다. 재부호화에서는 프리필터에서 블러(blur) 정도를 강하게 하고, 양자화 파라미터도 디폴트 부호화 파라미터보다도 크게 하기 때문에 발생 부호량이 억제되며, CPB 잔부호량의 천이가 예를 들면 도 8에 나타내게 된다. 이 결과, 재부호화가 발생한 픽처에서의 CPB 잔부호량이 재부호화시에는 증가하고, 그 픽처에서 큰 화질 열화가 생기는 것을 회피할 수 있다.
또, 재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도는 도 9에 도시된 바와 같다. 도 9에 도시된 바와 같이, 재부호화시에 부호화 파라미터를 변경하기 때문에 재부호화를 개시한 픽처의 양자화 통계량이 커지지만, 그 영향으로 도 8에 도시된 바와 같이 CPB 잔부호량에 여유가 생기기 때문에, 재부호화가 발생한 픽처에서는 양자화 통계량이 재부호화 전보다 작아진다.
[케이스 4의 처리예]
마지막으로, GOP2의 중간 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 케이스 4에 대해 설명한다.
재부호화가 행해지고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 양자화 통계량의 천이의 개념도는 도 10에 도시된 바와 같다. 케이스 4는, 예를 들면 도 10에 도시된 바와 같이 재부호화를 개시하는 GOP의 선두에서 이미 양자화 통계량이 큰 경우에 생길 수 있다. 이 경우, 양자화 통계량 계산부(340)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검지되고 GOP2의 재부호화를 행하는 동작은 케이스 3과 같다. 이 GOP2의 재부호화 중에 양자화 통계량이 소정의 문턱값을 초과한 경우(S303, S311), 추가로 재부호화를 행하지 않고 그대로 부호화 처리를 계속한다(S304로 이행).
또, 재부호화시에 통상의 부호화시보다도 양자화 파라미터가 커짐으로써, 재부호화시에 재부호화의 계기가 된 픽처보다도 부호화순으로 과거의 픽처에서 양자화 통계량이 문턱값을 초과하는 일도 일어날 수 있다. 이것이 생길 가능성을 저감하기 위해, 재부호화시의 양자화 파라미터가 양자화 통계량의 문턱값보다도 커지는 경우, 재부호화시의 양자화 파라미터를 양자화 통계량의 문턱값과 같은 값으로 수정해도 된다. 다만, 재부호화시의 양자화 파라미터가 통상의 부호화시보다도 작아지지 않도록, 통상의 부호화시의 양자화 파라미터가 양자화 통계량 이상인 경우에는 재부호화시의 양자화 파라미터의 값을 통상의 부호화시의 값과 동일하게 한다.
[제5 실시형태]
이하, 본 발명의 제5 실시형태를 도면을 이용하여 상세하게 설명한다. 도 19는 본 실시형태에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다.
부호화순으로 M장째의 픽처와 N장째(N>M)의 픽처에 관해 N-M을 픽처 간 거리라고 한다. 처음에, 외부로부터 주어진 이용 가능한 메모리양의 정보에 기초하여 재부호화시에 메모리 제한 내에서 최대로 되돌릴 수 있는 픽처 간 거리인 최대 픽처 간 거리를 구하고 기억한다(S400).
다음에, 입력 영상 신호에서의 부호화가 종료된 픽처의 다음 픽처(부호화 개시시에는 입력 영상 신호의 선두 픽처)를 부호화 대상으로 설정한다(단계 S401). 부호화 대상으로 설정한 입력 픽처를 H.264 그 밖의 소정의 부호화 방식에 의해 부호화한다(단계 S402). 입력 픽처를 부호화했을 때의 그 픽처의 양자화 통계량이 소정의 문턱값을 초과하는지를 판정하여(단계 S403), 양자화 통계량이 소정의 문턱값을 초과하는 경우에는 처리가 단계 S407로 진행된다.
양자화 통계량이 소정의 문턱값을 초과하지 않으면, 최종 픽처의 부호화가 완료되었는지를 판정하고(단계 S404), 최종 픽처까지 부호화가 완료되었다면 부호화 처리를 종료한다.
그렇지 않으면, 부호화순 픽처군의 부호화가 완료되었는지를 판정한다(단계 S405). 부호화순 픽처군의 부호화가 완료되지 않았으면, 처리가 단계 S401로 되돌아가 다음 픽처에 대해 마찬가지로 부호화 처리를 계속한다. 부호화순 픽처군의 부호화가 완료된 경우, 부호화 파라미터가 부호화순 픽처군의 재부호화(리트라이)에서 변경되어 있으면, 부호화 파라미터를 통상의 부호화시의 값으로 되돌리고(단계 S406), 처리가 단계 S401로 되돌아가 다음 부호화순 픽처군의 선두 픽처부터 부호화 처리를 행한다.
단계 S403에서 양자화 통계량이 소정의 문턱값을 초과하는 것이 검출된 경우, 현재 부호화순 픽처군은 재부호화가 행해졌는지(리트라이 완료인지)를 판정한다(단계 S407). 리트라이 완료인 경우, 추가로 재부호화를 행하지 않고 처리가 단계 S404로 진행되어 그대로 부호화 처리를 계속한다.
리트라이 완료가 아닌 경우, 현재 부호화순 픽처군 내의 픽처의 재부호화를 위해 리트라이 포인트를 설정한다. 즉, 단계 S400에서 산출한 최대 픽처 간 거리의 범위 내의 부호화 중의 부호화순 픽처군에 포함되는 가장 떨어진 픽처를 부호화 대상으로 설정한다(단계 S408). 그리고, 2개의 부호화 파라미터(양자화 파라미터, 프리필터 강도) 중 하나 이상을 변경하고(양자화 파라미터는 단계 크기를 보다 크게 변경하고, 필터 강도의 경우는 블러(blur) 정도를 보다 크게 변경)(단계 S409), 처리가 단계 S402로 되돌아가 리트라이 포인트로 설정한 부호화순 픽처군의 픽처부터 재부호화한다.
이상의 재부호화 처리에 의하면, 입력 영상의 모든 프레임을 2회 부호화하는 종래기술 b와 달리, 부호화한 픽처의 양자화 통계량이 너무 큰 경우에 한해 부호화순 픽처군(예를 들면, GOP) 내의 복수 픽처를 2회 부호화한다. 2회째의 부호화시에는, CPB 잔부호량이 보다 증가하는 부호화 파라미터를 이용하여 현재 부호화 중의 부호화순 픽처군 내의 복수 픽처만을 재부호화한다. 이에 의해, 영상이 단순한 신에서 복잡한 신으로 이동할 때의 화질의 열화를 경감하면서 입력 영상의 모든 픽처를 2회 부호화하는 종래기술 b와 비교하여 연산량을 삭감할 수 있다. 또한, 입력 버퍼 및 출력 버퍼로서 필요로 하는 메모리도 소정수의 픽처에 상당하는 분만큼으로 되어 메모리의 삭감을 도모할 수 있다.
도 20은 본 실시형태의 변형예에 관한 동화상 부호화 제어 방법을 나타내는 처리 흐름도이다. 본 실시형태는 도 19에 도시된 단계 S406의 처리를 도 20에 도시된 단계 S461~S463의 처리로 치환하여 실시할 수도 있다. 단계 S406 이외의 처리는 도 19와 같다.
도 19의 단계 S405의 처리 후, 부호화 파라미터가 리트라이에서 변경되어 있는지를 판정한다(단계 S461). 부호화 파라미터가 리트라이에서 변경되지 않았으면, 처리가 도 19의 단계 S401로 되돌아간다. 부호화 파라미터가 리트라이에서 변경되어 있으면, 다음에 CPB 잔부호량이 소정의 문턱값 이상인지를 판정한다(단계 S462). CPB 잔부호량이 소정의 문턱값 미만이면, 부호화 파라미터를 재부호화에서 이용한 상태 그대로 하고, CPB 잔부호량이 소정의 문턱값 이상인 경우에만 부호화 파라미터를 원래의 디폴트 부호화 파라미터로 되돌린다(단계 S463). 그 후에, 처리가 도 19의 단계 S401로 되돌아가 다음 부호화순 픽처군의 부호화로 이동한다.
도 20에 도시된 변형예에서는, 부호화순 픽처군의 부호화가 완료된 시점에서 CPB 잔부호량이 소정량을 초과하는 경우에만 부호화 파라미터를 통상의 부호화시의 값으로 되돌린다. 이는 다음 이유에 의한다. 부호화순 픽처군의 부호화가 완료되었다고 해도, CPB 잔부호량이 적은 경우 부호화 파라미터를 통상의 부호화시의 값으로 되돌리면 발생 부호량이 보다 많아지기 때문에, 다음 부호화순 픽처군의 부호화에서 다시 부호화한 픽처의 양자화 통계량이 소정의 문턱값을 초과할 가능성이 높아진다. 도 20의 처리에서는 CPB 잔부호량이 적은 경우에는 부호화 파라미터를 변경하지 않기 때문에, 도 19의 처리에 비해 다음 부호화순 픽처군의 부호화에서의 재부호화의 발생이 억제되고 연산량이 더욱 삭감된다.
이상과 같이, 본 실시형태에서는 재부호화시에 부호화 파라미터를 변경한다. 여기서는, 부호화시에 입력 영상에 대해 프리필터를 적용하는 것으로 하고, 변경하는 부호화 파라미터로서는 양자화 파라미터와 프리필터 강도로 한다. 이 2개의 부호화 파라미터의 쌍방을 변경해도 되고, 어느 한쪽만을 변경해도 된다.
양자화 파라미터에 대해서는, 통상의 부호화시의 양자화 파라미터 값에 대해 소정의 오프셋 값을 더하고 보다 큰 양자화 파라미터에서 재부호화한다.
프리필터에 대해서는, 본 실시형태에서는 가우시안 필터를 이용하는 것으로 한다. 가우시안 필터는 다음 식에서 나타나는 가우스 분포를 x, y에 대해 샘플링함으로써 작성할 수 있다.
g(x,y)={1/(2πσ2)}×exp{-(x2+y2)/(2σ2)}
상기 식으로부터 알 수 있는 바와 같이, σ의 값이 클수록 블러(blur) 정도가 커진다. 블러(blur) 정도가 클수록 고주파수 성분이 줄어들기 때문에, 부호화시의 발생 부호량이 줄어들게 된다. 가우시안 필터의 상세는 예를 들면 상술한 비특허문헌 2에 기재되어 있다.
σ=O의 경우에는 가우시안 필터를 작동시키지 않는 것으로 하고, 예를 들면 디폴트 부호화 파라미터는 σ0=0, 재부호화용 부호화 파라미터는 σ1>0으로 한다. 또, 본 실시형태에서는 로우 패스 필터의 종류는 묻지 않는다. 또한, 재부호화시의 블러(blur) 정도가 강한 쪽도 미리 임의로 정해도 된다. 예를 들면, 디폴트 부호화 파라미터의 σ0은 픽처마다의 복잡도에 따라 변경하고, σ1은 σ0에 소정의 오프셋을 더한 것인 구성이어도 된다.
또한, 양자화 통계량으로서는, 본 실시형태에서는 픽처의 각 매크로 블록의 양자화 파라미터의 평균값을 이용하는 것으로 한다.
부호화는 H.264의 규격에 따른 부호화를 행하는 것으로 한다. 또한, 본 실시형태에서는 부호화순 픽처군은 GOP라고 한다. 부호화할 때의 GOP의 개념도는 도 5에 도시된 바와 같다. 하나의 GOP는 10픽처로 구성되고, 표시순으로 I픽처를 선두로 B픽처와 P픽처가 교대로 나열되는 것으로 한다.
본 실시형태의 장치 구성예를 도 21에 나타낸다. 최대 픽처 간 거리 결정부(500)는 외부로부터 사용 가능 메모리양이 통지되고(사용 가능 메모리양 정보), 이에 기초하여 재부호화시에 최대로 되돌아갈 수 있는 최대 픽처 간 거리를 구한다. 본 실시형태에서는, 재부호화에 대비하기 위해 입력 버퍼(410)에 부호화 중의 GOP의 입력 영상 신호를 축적하고, 출력 버퍼(430)에 부호화 중의 GOP의 부호화 스트림을 축적해 둔다. 최대 픽처 간 거리 결정부(500)는, GOP 길이를 최대 픽처 간 거리라고 한 경우부터 시작하여 최대 픽처 간 거리의 값을 줄이면서 입력 버퍼(410) 및 출력 버퍼(430)의 최악의 케이스에서의 필요 메모리양 및 다른 이용 메모리양의 총합이 사용 가능 메모리양 이하가 되는 픽처 간 거리를 구하고 최대 픽처 간 거리를 결정한다.
여기서, 최대 픽처 간 거리를 구할 때의 필요 메모리양의 계산예를 나타낸다. 우선, 입력 버퍼(410)의 필요 메모리양은 다음과 같이 된다.
입력 버퍼의 필요 메모리양=(최대 픽처 간 거리+1)×(1픽처의 데이터량)
한편, 출력 버퍼(430)의 필요 메모리양은 CPB의 크기 및 비트 레이트의 제한 하에서 CPB 언더플로우를 발생시키지 않고 발생할 수 있는 최대의 부호량으로 한다. 구체적으로 GOP의 부호 개시 직전에 CPB 잔부호량이 CPB의 크기와 같은 상태에서 CPB에 비트 레이트에 따라 입력되는 데이터를 전부 사용한 경우(GOP 부호화 후에 CPB 잔부호량이 0)가 발생할 수 있는 최대의 부호량이 된다. 비트수에서의 계산식으로서는 출력 버퍼의 필요 메모리양은 다음 식과 같이 된다.
출력 버퍼의 필요 메모리양=(비트 레이트/1초당 픽처수)×(최대 픽처 간 거리+1)+(비트수에서의 CPB의 크기)
또, 다음과 같은 데이터의 데이터량도 계산할 필요가 있는 경우가 있다. H.264의 경우, 재부호화에 대비하여 GOP의 부호화 중에 작성된 복호 화상을 참조 화상으로서 남겨 둘 필요가 있다(남겨 두지 않은 경우, 재부호화시에 리트라이 포인트부터 부호화할 때의 참조 화상이 없는 상태가 됨). GOP 내의 픽처는 그 GOP 이전의 픽처를 참조하지 않기 때문에, 참조 화상으로서 DPB(Decoded Picture Buffer)에 저장하는 것은 I 및 P픽처의 전제의 경우 다음과 같이 메모리를 확보해 두면 모든 상황에서 메모리가 충분하게 된다.
GOP의 마지막 픽처에서 재부호화가 발생한 경우에, 재부호화를 개시하는 픽처(최대 픽처 간 거리의 픽처)보다도 부호화순에서 과거인 부호화순 픽처군 내의 I 및 P픽처의 수의 분만큼 메모리를 갖고 있으면 된다.
도 22에 이 필요 메모리양을 설명하는 개념도를 나타낸다. 예를 들면, 도 22에 도시된 바와 같이 GOP가 10픽처 구성이고 최대 픽처 간 거리가 6이라고 한다. 입력 버퍼(410)에 유지해야 할 픽처수는 최대로 7이 된다. 한편, 도 22의 예의 경우, 재부호화를 위해서는 선두 I픽처와 다음 P픽처의 복호 화상에 대해서도 참조 화상으로서 메모리에 유지해 둘 필요가 있다. 최대 픽처 간 거리가 GOP 길이와 같은 경우와 비교하면, 도 22와 같은 경우에 선두 I픽처와 2번째 P픽처의 두 픽처(도 22의 참조부호 RS22)분의 DPB를 추가로 유지할 필요가 있는데, 입력 버퍼(410)에 유지해야 할 픽처수는 3개 줄어든다. 즉, 최대 픽처 간 거리가 작을수록 참조 화상의 메모리양이 늘어나지만 입력 버퍼(410)에 저장해야 할 픽처수의 감소량이 많기 때문에, 최대 픽처 간 거리를 작게 하면 필요 메모리양이 줄어드는 것을 알 수 있다.
또한, H.264에서는 참조 화상의 움직임 벡터를 참조하는 경우가 있기 때문에, 그 움직임 벡터를 위한 메모리가 필요한 경우가 있다. 그 밖에 인코더의 구성 등에 의존하여 필요한 메모리를 계산한다. 이들의 총합이 사용 가능 메모리양 이하에 있는 픽처 간 거리를 구하여 최대 픽처 간 거리를 결정하게 된다.
또, 본 발명의 실시에 있어서 최대 픽처 간 거리 결정부(500)에 외부로부터 사용 가능 메모리양을 통지하여 최대 픽처 간 거리를 계산하는 것이 아니라, 외부에서 최대 픽처 간 거리를 계산하여 최대 픽처 간 거리 결정부(500)에 부여하도록 해도 된다.
최대 픽처 간 거리 결정부(500)는, 결정한 최대 픽처 간 거리 정보를 리트라이 포인트 관리부(460)에 통지한다.
입력 버퍼(410)는, 입력되는 영상 신호를 축적함과 동시에 부호화부(420)에 부호화 대상의 영상 신호를 출력한다. 또, 입력 버퍼(410)는 후술하는 양자화 통계량 계산부(440)로부터 양자화 통계량이 소정의 문턱값을 초과함으로써 재부호화를 행하는 것을 나타내는 정보(리트라이 정보)를 받은 경우, 리트라이 포인트 관리부(460)로부터 통지된 리트라이 포인트의 픽처부터 영상 신호를 다시 부호화부(420)에 출력한다. 또한, 입력 버퍼(410)는 리트라이 포인트 관리부(460)로부터 리트라이 포인트 정보가 통지되면, 축적되어 있던 리트라이 포인트 이전의 픽처에 대응하는 영상 신호의 데이터를 파기한다.
부호화부(420)는 입력 버퍼(410)로부터 입력된 영상 신호를 부호화하고, 부호화 스트림을 출력 버퍼(430)에 출력한다. 또한, 부호화부(420)는 픽처의 부호화가 완료되었을 때에 입력된 영상 신호를 부호화했을 때에 발생한 양자화 파라미터(양자화 파라미터 정보)를 양자화 통계량 계산부(440)에 출력함과 동시에, 리트라이 포인트 관리부(460)에 픽처의 부호화가 완료되었음을 나타내는 정보(부호화 완료 픽처 정보)를 출력한다. 또, 부호화부(420)는 양자화 통계량 계산부(440)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에서의 리트라이 포인트의 픽처로부터의 영상 신호가 입력 버퍼(410)로부터 다시 입력됨과 동시에 파라미터 조정부(450)로부터 재부호화용 부호화 파라미터가 입력되기 때문에, 입력된 재부호화용 부호화 파라미터를 이용하여 재부호화를 행한다.
출력 버퍼(430)는, GOP의 부호화 결과인 부호화 스트림을 축적함과 동시에 리트라이 포인트 관리부(460)로부터 리트라이 포인트 정보가 통지되면, 그것까지 축적되어 있던 리트라이 포인트 이전의 픽처에 대응하는 부호화 스트림을 출력하고, 그 데이터를 출력 버퍼(430)로부터 제거한다. 또한, 양자화 통계량 계산부(440)로부터 리트라이 정보를 받은 경우, 부호화 중의 GOP에 대해 축적한 부호화 스트림을 파기한다.
양자화 통계량 계산부(440)는, 부호화부(420)로부터 입력되는 양자화 파라미터 정보를 이용하여 픽처 단위로 변화하는 양자화 통계량을 구한다. 그리고, 양자화 통계량이 소정의 문턱값을 초과한 경우, 양자화 통계량 계산부(440)는 리트라이 정보를 입력 버퍼(410), 부호화부(420), 파라미터 조정부(450), 출력 버퍼(430)에 출력하고, 양자화 통계량이 소정의 문턱값을 초과하였음을 통지한다.
파라미터 조정부(450)는 양자화 통계량 계산부(440)로부터 리트라이 정보를 받은 경우, 전술한 바와 같이 재부호화용 부호화 파라미터를 부호화부(420)에 입력한다. 이에 의해, 부호화부(420)는 재부호화시에는 같은 GOP에 대해 발생 부호량이 적어지는 부호화 파라미터를 이용하여 부호화를 하게 된다.
리트라이 포인트 관리부(460)는, 부호화 완료 픽처 정보 및 최대 픽처 간 거리 정보에 기초하여 다음 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과한 경우에 어디가 리트라이 포인트가 되는지를 나타내는 리트라이 포인트 정보를 입력 버퍼(410), 출력 버퍼(430)에 통지한다.
본 실시형태에서의 부호화 처리의 흐름에 대해 도 19의 흐름도에 따라 설명한다. 이하의 설명에서는 S401, S402, … 등과 같이 문장 중에 도 19의 흐름도와의 대응을 기재한다.
어떤 GOP의 부호화를 행하는 처리에 대해 이하와 같이 3가지 케이스로 나누어 설명한다.
·[케이스 1]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었다.
·[케이스 2]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었다.
·[케이스 3]: GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었다.
[케이스 1의 처리예]
우선, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하는 일이 없었던 경우의 케이스 1에 대해 설명한다. GOP의 픽처가 입력 버퍼(410)에 입력되면, 입력 버퍼(410)는 그 픽처를 축적함과 동시에 부호화부(420)에 그 픽처를 부호화 대상 픽처로서 입력한다(S401). 그리고, 부호화부(420)는 그 픽처를 부호화하고, 출력 버퍼(430)에 부호화 스트림을 출력함과 동시에(출력 버퍼(430)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(440)에 출력한다. 또한, 부호화부(420)는 리트라이 포인트 관리부(460)에 부호화 완료 픽처 정보를 출력한다(S402).
여기서, 부호화에서는 디폴트 부호화 파라미터가 이용되고, 디폴트 부호화 파라미터에 대응한 프리필터 강도로 부호화 대상 픽처에 프리필터부(421)에 의한 필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 디폴트 부호화 파라미터에 따른 양자화 파라미터에서 양자화부(422)에 의해 양자화된다.
양자화 통계량 계산부(440)는, 그 픽처에 대해 부호화부(420)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 예에서는 양자화 통계량이 소정의 문턱값을 초과하는 일이 없기 때문에, 양자화 통계량 계산부(440)는 리트라이 정보의 출력은 하지 않는다(S403). 부호화 대상 픽처가 입력 영상 신호 중의 최종 픽처이면, 출력 버퍼(430)는 축적되어 있는 부호화 스트림을 출력하고 부호화 처리가 완료된다(S404). 혹은 부호화 대상 픽처가 GOP의 최종 픽처이면, 출력 버퍼(430)는 축적되어 있던 부호화 스트림을 출력함과 동시에, 입력 버퍼(410)는 축적되어 있던 픽처를 파기하고 처리가 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S405). 여기서, 그 GOP에서는 재부호화가 발생하지 않았기 때문에, 부호화 파라미터에 변경을 가하지 않고 다음 GOP의 처음 픽처의 부호화 처리로 이동한다(S406).
[케이스 2의 처리예]
다음에, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였지만, 재부호화에서 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 있었던 경우의 케이스 2에 대해 설명한다. GOP의 픽처가 입력 버퍼(410)에 입력되면, 입력 버퍼(410)는 그 픽처를 축적함과 동시에 부호화부(420)에 그 픽처를 부호화 대상 픽처로서 입력한다(S401). 그리고, 부호화부(420)는 그 픽처를 부호화하고, 출력 버퍼(430)에 부호화 스트림을 출력함과 동시에(출력 버퍼(430)는 그 부호화 스트림을 출력하지 않고 축적함), 그 픽처에 관한 양자화 파라미터 정보를 양자화 통계량 계산부(440)에 출력한다(S402). 여기서, 부호화에서는 디폴트 부호화 파라미터가 이용된다.
양자화 통계량 계산부(440)는, 그 픽처에 대해 부호화부(420)로부터 입력된 양자화 파라미터 정보를 기초로 양자화 통계량을 계산한다. 이 결과, 그 픽처에 대해 양자화 통계량이 소정의 문턱값을 초과하는 것을 양자화 통계량 계산부(440)가 검지한 경우, 양자화 통계량 계산부(440)는 부호화부(420), 파라미터 조정부(4500, 입력 버퍼(410), 출력 버퍼(430)에 리트라이 정보를 출력한다(S403).
부호화 중의 GOP에 대해 아직 리트라이가 발생하지 않은 경우(S407), 입력 버퍼(410)는 축적되어 있던 부호화 중의 GOP에서의 리트라이 포인트가 나타내는 위치의 픽처를 부호화부(420)에 출력함과 동시에(S408), 파라미터 조정부(450)는 부호화부(420)에 재부호화용 부호화 파라미터를 출력한다(S409). 또, 출력 버퍼(430)는 부호화 중의 GOP의 부호화 스트림을 파기한다. 그리고, 부호화부(420)는 재부호화용 부호화 파라미터를 이용하여 입력된 리트라이 포인트 이후의 픽처를 부호화한다.
여기서, 부호화에서는 재부호화용 부호화 파라미터가 이용되고, 재부호화용 부호화 파라미터에 대응한 프리필터 강도(디폴트 부호화 파라미터보다 블러(blur) 정도가 큼)로 부호화 대상 픽처에 프리필터부(421)에 의한 프리필터링 처리가 적용된다. 또한, 본 픽처에서 발생한 DCT 계수는 재부호화용 부호화 파라미터에 따른 양자화 파라미터(디폴트 부호화 파라미터보다 양자화 단계 크기가 큼)에서 양자화부(422)에 의해 양자화된다.
이후, 양자화 통계량이 소정의 문턱값을 초과하지 않는 한 그 GOP의 픽처가 순차적으로 입력 버퍼(410)로부터 부호화부(420)에 입력되고, 부호화부(420)에 의해 부호화 처리가 행해진다. 그리고, GOP의 최종 픽처의 부호화가 완료된 경우(S405), 출력 버퍼(430)로부터 그 GOP의 부호화 스트림이 출력됨과 동시에, 부호화부(420)는 부호화 파라미터를 디폴트 부호화 파라미터로 설정하고(S406), 처리가 다음 GOP의 부호화 처리로 진행된다. 또, 입력 영상의 최종 픽처의 부호화가 완료된 경우의 동작은 전술한 케이스 1의 경우와 같이 동작한다.
재부호화가 행해졌을 때의 부호화 파라미터의 변경의 개념도는 도 7에 도시된 바와 같다. 도 7의 예에서는 2번째의 GOP2의 6번째 픽처의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하였으므로, 발생 부호량을 억제하는 재부호화용 부호화 파라미터를 설정하여 최대 픽처 간 거리의 범위 내의 GOP2의 선두 I픽처부터 재부호화하고 있다. 재부호화에 의해 양자화 통계량이 소정의 문턱값을 초과하는 일이 없어졌으므로, 다음 GOP3의 부호화에서는 재부호화용 부호화 파라미터를 디폴트 부호화 파라미터로 되돌리고 부호화 처리를 계속한다.
재부호화가 행해졌을 때의 CPB 잔부호량의 천이의 개념도는 도 8에 도시된 바와 같다. 굵은 선으로 나타낸 부분이 재부호화 후의 CPB 잔부호량이다. 재부호화에서는 프리필터에서 블러(blur) 정도를 강하게 하고, 양자화 파라미터도 디폴트 부호화 파라미터보다도 크게 하기 때문에 발생 부호량이 억제되며, CPB 잔부호량의 천이가 예를 들면 도 8에 나타내게 된다. 이 결과, 재부호화가 발생한 픽처에서의 CPB 잔부호량이 재부호화시에는 증가하고, 그 픽처에서 큰 화질 열화가 생기는 것을 회피할 수 있다.
재부호화가 행해졌을 때의 양자화 통계량의 천이의 개념도는 도 9에 도시된 바와 같다. 도 9에 도시된 바와 같이, 재부호화시에 부호화 파라미터를 변경하기 때문에 재부호화를 개시한 픽처의 양자화 통계량이 커지지만, 그 영향으로 도 8에 도시된 바와 같이 CPB 잔부호량에 여유가 생기기 때문에, 재부호화가 발생한 픽처에서는 양자화 통계량이 재부호화 전보다 작아진다.
도 23은 리트라이 포인트를 최대 픽처 간 거리로 제한하는 것에 의한 입력 버퍼와 출력 버퍼의 메모리 삭감을 설명하는 도면이다. 본 실시형태에 의해 리트라이 포인트를 설정하는 경우를 「케이스 A」라고 하여 설명한다. 예를 들면, 본 실시형태와는 달리 양자화 통계량이 소정의 문턱값을 초과하였을 때에 재부호화를 개시하는 픽처를 항상 부호화순 픽처군(예를 들면, GOP)의 선두 픽처로 하는 것도 생각할 수 있다. 이를 「케이스 B」라고 한다. 케이스 A와 케이스 B를 비교하면, 예를 들어 케이스 A에서는 현재 부호화하고 있는 픽처가 도 23에 도시된 바와 같이 GOP2의 9번째 B픽처이고, 최대 픽처 간 거리가 「5」이었다고 하면, 리트라이 포인트는 GOP2의 4번째 픽처(P픽처)가 되고, 그 이전의 GOP2의 선두부터 3픽처는 재부호화에 이용하지 않는다. 이 때문에, 이들 픽처에 대응한 입력 버퍼(410) 및 출력 버퍼(430)의 데이터는 유지해 둘 필요가 없어지고 파기 가능하다(도 23의 참조부호 RS23). 이에 대해, 케이스 B와 같은 경우에는 GOP2의 선두 픽처의 부호화가 개시되고 나서 GOP2의 최종 픽처의 부호화가 완료될 때까지 입력 버퍼(410) 및 출력 버퍼(430)에 이들 픽처에 대응하는 데이터를 유지해 둘 필요가 있기 때문에, 필요하게 되는 메모리양이 증가한다. 본 실시형태(케이스 A)에서는 최대 픽처 간 거리를 산출하여 리트라이 포인트를 설정하기 때문에, 케이스 B보다도 메모리양을 삭감할 수 있다.
[케이스 3의 처리예]
마지막으로, GOP의 부호화에서 양자화 통계량이 소정의 문턱값을 초과하고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 케이스 3에 대해 설명한다.
재부호화가 행해지고, 재부호화에서도 양자화 통계량이 문턱값을 초과하는 것을 회피할 수 없었던 경우의 양자화 통계량의 천이의 개념도는 도 10에 도시된 바와 같다. 케이스 3은, 예를 들면 도 10에 도시된 바와 같이 재부호화를 개시하는 GOP의 선두에서 이미 양자화 통계량이 큰 경우에 생길 수 있다. 이 경우, 양자화 통계량 계산부(440)에 의해 양자화 통계량이 소정의 문턱값을 초과하였음이 검지되고 GOP의 재부호화를 행하는 동작은 케이스 2와 같다. 이 GOP의 재부호화 중에 양자화 통계량이 소정의 문턱값을 초과한 경우(S403, S407), 추가로 재부호화를 행하지 않고 그대로 부호화 처리를 계속한다(처리가 S404로 이행).
또, 재부호화시에 통상의 부호화시보다도 양자화 파라미터가 커짐으로써, 재부호화시에 재부호화의 계기가 된 픽처보다도 부호화순으로 과거의 픽처에서 양자화 통계량이 문턱값을 초과하는 일도 일어날 수 있다. 이것이 생길 가능성을 저감하기 위해, 재부호화시의 양자화 파라미터가 양자화 통계량의 문턱값보다도 커지는 경우, 재부호화시의 양자화 파라미터를 양자화 통계량의 문턱값과 같은 값으로 수정해도 된다. 다만, 재부호화시의 양자화 파라미터가 통상의 부호화시보다도 작아지지 않도록, 통상의 부호화시의 양자화 파라미터가 양자화 통계량 이상인 경우에는 재부호화시의 양자화 파라미터의 값을 통상의 부호화시의 값과 동일하게 한다.
이상 설명한 동화상 부호화 제어의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.
이상, 본 발명의 실시형태에 대해 도면을 참조하여 상술하였지만, 구체적인 구성은 이들 실시형태에 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위의 설계 등(구성의 부가, 생략, 치환 및 그 밖의 변경)도 포함된다. 본 발명은 전술한 설명에 의해 한정되는 것은 아니고 첨부하는 특허청구범위에 의해서만 한정된다.
본 발명은, 예를 들면 영상 신호를 부호화하기 위한 동화상 부호화 기술에 이용 가능하다. 본 발명에 의하면, 가상 디코더에서의 부호화 픽처 버퍼 등의 가상 버퍼의 파탄이 생기지 않도록, 또한 화질의 열화가 커지지 않도록 영상 신호를 부호화할 수 있다.
10 입력 버퍼
20 부호화부
21 프리필터부
22 양자화부
30 출력 버퍼
40 양자화 통계량 계산부
50 파라미터 조정부
110 입력 버퍼
120 부호화부
121 프리필터부
122 양자화부
130 출력 버퍼
140 양자화 통계량 계산부
150 리트라이 카운트 관리부
160 파라미터 조정부
210 입력 버퍼
220 부호화부
221 프리필터부
222 양자화부
230 출력 버퍼
240 양자화 통계량 계산부
250 리트라이 카운트 관리부
260 CPB 상태 예측부
270 파라미터 조정부
310 입력 버퍼
320 부호화부
321 프리필터부
322 양자화부
330 출력 버퍼
340 양자화 통계량 계산부
350 CPB 상태 예측부
360 리트라이 포인트 관리부
370 파라미터 조정부
410 입력 버퍼
420 부호화부
421 프리필터부
422 양자화부
430 출력 버퍼
440 양자화 통계량 계산부
450 파라미터 조정부
460 리트라이 포인트 관리부
500 최대 픽처 간 거리 결정부

Claims (16)

  1. 삭제
  2. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 제어 방법으로서,
    소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 단계;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하는 단계;
    상기 양자화 통계량이 상기 소정의 문턱값을 초과한 경우에, 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 부호화 중의 부호화순 픽처군의 선두 픽처부터 변경 후의 부호화 파라미터를 이용하여 재부호화하는 단계;를 가지고,
    상기 순차적으로 부호화하는 단계에서는, 상기 부호화순 픽처군의 각 픽처를 재부호화 횟수를 나타내는 리트라이 카운트에 따라 설정된 부호화 파라미터에 따라 순차적으로 부호화하고,
    상기 재부호화하는 단계에서는, 상기 양자화 통계량이 상기 소정의 문턱값을 초과하는 경우에 상기 리트라이 카운트를 증가시키고, 상기 부호화 파라미터를 상기 리트라이 카운트의 값이 클수록 부호화에 의한 발생 부호량이 감소하는 부호화 파라미터로 변경하는, 동화상 부호화 제어 방법.
  3. 제2항에 있어서,
    상기 부호화순 픽처군에서의 최종 픽처의 부호화가 완료될 때까지 부호화한 각 픽처의 양자화 통계량이 상기 소정의 문턱값을 초과하지 않은 경우에 상기 가상 버퍼의 잔부호량을 조사하여, 상기 잔부호량이 소정의 잔부호량 문턱값 미만 또는 상기 리트라이 카운트가 0이면 상기 리트라이 카운트의 값을 변경하지 않고, 상기 잔부호량이 상기 잔부호량 문턱값 이상이면서 상기 리트라이 카운트가 0이 아니면 상기 리트라이 카운트를 감소시키는 단계를 갖는, 동화상 부호화 제어 방법.
  4. 제2항에 있어서,
    상기 부호화순 픽처군에서의 최종 픽처의 부호화가 완료될 때까지 부호화한 각 픽처의 양자화 통계량이 상기 소정의 문턱값을 초과하지 않은 경우에, 상기 리트라이 카운트를 감소시키는 단계를 갖는, 동화상 부호화 제어 방법.
  5. 제2항에 있어서,
    상기 부호화 파라미터는 양자화 파라미터 또는 상기 입력 영상 신호에 대한 프리필터의 필터 강도 또는 그 쌍방이며, 상기 부호화 파라미터가 상기 양자화 파라미터인 경우에는 상기 리트라이 카운트의 값이 클수록 상기 양자화 파라미터의 단계 크기가 큰 부호화 파라미터가 설정되고, 상기 부호화 파라미터가 상기 프리필터의 상기 필터 강도인 경우에는 상기 리트라이 카운트의 값이 클수록 필터링 처리에 의한 블러(blur) 정도가 큰 부호화 파라미터가 설정되는, 동화상 부호화 제어 방법.
  6. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 제어 방법으로서,
    화면 내 예측 부호화 픽처를 선두로 하는 소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 단계;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하는 단계;
    상기 양자화 통계량이 상기 소정의 문턱값을 초과하는 경우에 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 리트라이 포인트로 설정된 부호화순 픽처군의 선두 픽처부터 변경 후의 부호화 파라미터를 이용하여 재부호화하는 단계;
    상기 부호화순 픽처군의 부호화가 완료되었을 때에, 상기 가상 버퍼의 잔부호량을 조사하여 상기 잔부호량이 소정의 잔부호량 문턱값 이상이면 상기 리트라이 포인트를 다음 부호화순 픽처군의 선두 픽처로 설정하고, 상기 가상 버퍼의 상기 잔부호량이 상기 소정의 잔부호량 문턱값 미만이면, 상기 리트라이 포인트를 변경하지 않고 상기 다음 부호화순 픽처군의 상기 선두 픽처의 부호화에서 상기 양자화 통계량이 상기 소정의 문턱값을 초과하지 않았을 때에 상기 리트라이 포인트를 그 부호화순 픽처군의 선두 픽처로 설정하는 단계;를 갖는, 동화상 부호화 제어 방법.
  7. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 제어 방법으로서,
    소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 단계;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하는 단계;
    상기 양자화 통계량이 상기 소정의 문턱값을 초과하는 경우에, 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 부호화 중의 부호화순 픽처군에서 리트라이 포인트로 설정된 픽처부터 변경 후의 부호화 파라미터를 이용하여 재부호화하는 단계;
    재부호화시에 재부호화 대상의 픽처로서 되돌아갈 수 있는 최대 픽처수인 최대 픽처 간 거리를 기초로 상기 재부호화를 개시하는 픽처의 위치를 나타내는 리트라이 포인트를 설정하는 단계;를 갖는, 동화상 부호화 제어 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 부호화순 픽처군의 재부호화에서 그 부호화순 픽처군의 최종 픽처의 부호화가 완료될 때까지 부호화한 각 픽처의 양자화 통계량이 상기 소정의 문턱값을 초과하지 않는 경우에, 다음 부호화순 픽처군의 부호화에 이용하는 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌리는, 동화상 부호화 제어 방법.
  9. 제6항 또는 제7항에 있어서,
    상기 부호화순 픽처군의 재부호화에서 그 부호화순 픽처군의 최종 픽처의 부호화가 완료될 때까지 상기 양자화 통계량이 상기 소정의 문턱값을 초과하지 않는 경우에 상기 가상 버퍼의 잔부호량을 조사하여, 상기 잔부호량이 소정의 잔부호량 문턱값 미만이면 다음 부호화순 픽처군의 부호화에 이용하는 부호화 파라미터를 변경하지 않고, 상기 잔부호량이 상기 소정의 잔부호량 문턱값 이상이면 상기 부호화 파라미터를 통상의 부호화시의 부호화 파라미터 값으로 되돌리는, 동화상 부호화 제어 방법.
  10. 제6항 또는 제7항에 있어서,
    상기 부호화 파라미터는 양자화 파라미터 또는 상기 입력 영상 신호에 대한 프리필터의 필터 강도 또는 그 쌍방이며, 상기 부호화순 픽처군의 재부호화시에 있어서 상기 부호화 파라미터가 상기 양자화 파라미터인 경우에는 재부호화시에 상기 양자화 파라미터의 단계 크기를 크게 하고, 상기 부호화 파라미터가 상기 프리필터의 상기 필터 강도인 경우에는 필터링 처리에 의한 블러(blur) 정도를 크게 하는 부호화 파라미터의 변경을 행하는, 동화상 부호화 제어 방법.
  11. 삭제
  12. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 장치로서,
    소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 부호화부;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하여 상기 양자화 통계량이 상기 소정의 문턱값을 초과하였음을 검출한 경우에 리트라이 정보를 출력하는 양자화 통계량 계산부;
    상기 리트라이 정보가 출력된 경우에 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 변경된 부호화 파라미터를 상기 부호화부에 통지하는 파라미터 조정부;를 구비하며,
    상기 부호화부는, 상기 리트라이 정보가 출력된 경우에 부호화 중의 부호화순 픽처군의 선두 픽처부터 상기 파라미터 조정부가 변경한 부호화 파라미터를 이용하여 상기 입력 영상 신호를 재부호화하고,
    상기 부호화부는, 상기 부호화순 픽처군의 각 픽처를 재부호화 횟수를 나타내는 리트라이 카운트에 따라 설정된 부호화 파라미터에 따라 순차적으로 부호화하고,
    상기 동화상 부호화 장치는, 상기 리트라이 정보가 출력된 경우에 상기 리트라이 카운트를 증가시키고, 상기 부호화순 픽처군에서의 최종 픽처의 부호화가 완료될 때까지 상기 리트라이 정보가 출력되지 않은 경우에 상기 리트라이 카운트를 감소시키는 리트라이 카운트 관리부를 구비하며,
    상기 파라미터 조정부는, 상기 리트라이 카운트에 따라 정해진 상기 리트라이 카운트의 값이 클수록 부호화에 의한 발생 부호량이 감소하는 부호화 파라미터를 설정하고, 설정된 부호화 파라미터를 상기 부호화부에 통지하는, 동화상 부호화 장치.
  13. 제12항에 있어서,
    상기 부호화순 픽처군에서의 최종 픽처까지 상기 양자화 통계량이 상기 소정의 문턱값을 초과하지 않고 부호화가 완료된 경우에, 상기 가상 버퍼의 잔부호량이 소정의 잔부호량 문턱값 이상인지에 의해 파라미터 변경 필요 또는 파라미터 변경 불필요를 나타내는 파라미터 변경 유무 정보를 출력하는 버퍼 상태 예측부를 구비하고,
    상기 리트라이 카운트 관리부는, 상기 버퍼 상태 예측부로부터 상기 파라미터 변경 유무 정보를 입력한 경우에, 상기 파라미터 변경 유무 정보가 파라미터 변경 불필요를 나타내거나 또는 상기 리트라이 카운트가 0이면 상기 리트라이 카운트의 값을 변경하지 않고, 상기 파라미터 변경 유무 정보가 파라미터 변경 필요를 나타내면서 상기 리트라이 카운트가 0이 아니면 상기 리트라이 카운트를 감소시키는, 동화상 부호화 장치.
  14. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 장치로서,
    소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 부호화부;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하여 상기 양자화 통계량이 상기 소정의 문턱값을 초과하였음을 검출한 경우에 리트라이 정보를 출력하는 양자화 통계량 계산부;
    상기 리트라이 정보가 출력된 경우에 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 변경된 부호화 파라미터를 상기 부호화부에 통지하는 파라미터 조정부;
    상기 부호화순 픽처군의 부호화가 완료되었을 때에 상기 가상 버퍼의 잔부호량을 조사하여, 상기 잔부호량이 소정의 잔부호량 문턱값 이상인지를 판정하는 버퍼 상태 예측부;
    상기 버퍼 상태 예측부의 판정 결과에 따라 상기 가상 버퍼의 상기 잔부호량이 상기 소정의 잔부호량 문턱값 이상이면, 리트라이 포인트를 다음 부호화순 픽처군의 선두 픽처로 설정하고, 상기 가상 버퍼의 상기 잔부호량이 상기 소정의 잔부호량 문턱값 미만이면, 상기 리트라이 포인트를 변경하지 않고 다음 부호화순 픽처군의 선두 픽처의 부호화에서 상기 양자화 통계량이 상기 소정의 문턱값을 초과하지 않았을 때에 상기 리트라이 포인트를 그 부호화순 픽처군의 선두 픽처로 설정하는 리트라이 포인트 관리부;를 구비하며,
    상기 부호화부는, 상기 리트라이 정보가 출력된 경우에 상기 리트라이 포인트로 설정된 부호화순 픽처군의 선두 픽처부터 상기 파라미터 조정부가 변경한 부호화 파라미터를 이용하여 상기 입력 영상 신호를 재부호화하는, 동화상 부호화 장치.
  15. 디코더에서의 가상 버퍼가 파탄하지 않도록 발생 부호량을 제어하여 입력 영상 신호를 부호화하는 동화상 부호화 장치로서,
    소정수의 픽처로 구성되고, 부호화순으로 연속하는 픽처의 집합인 부호화순 픽처군의 각 픽처에 대해 소정의 부호화 파라미터에 따라 순차적으로 부호화하는 부호화부;
    상기 픽처의 부호화마다 그 픽처의 부호화에서 이용한 양자화 파라미터 정보를 기초로 그 픽처의 양자화 통계량을 산출하고, 상기 양자화 통계량이 소정의 문턱값을 초과하였는지를 검사하여 상기 양자화 통계량이 상기 소정의 문턱값을 초과하였음을 검출한 경우에 리트라이 정보를 출력하는 양자화 통계량 계산부;
    상기 리트라이 정보가 출력된 경우에 상기 부호화 파라미터를 부호화에 의한 발생 부호량이 감소하도록 변경하고, 변경된 부호화 파라미터를 상기 부호화부에 통지하는 파라미터 조정부;
    재부호화시에 재부호화 대상의 픽처로서 되돌아갈 수 있는 최대 픽처수인 최대 픽처 간 거리를 기초로 상기 재부호화를 개시하는 픽처의 위치를 나타내는 리트라이 포인트를 설정하는 리트라이 포인트 관리부;를 구비하며,
    상기 부호화부는, 상기 리트라이 정보가 출력된 경우에 부호화 중의 부호화순 픽처군에서 상기 리트라이 포인트로 설정된 픽처부터 상기 파라미터 조정부가 변경한 부호화 파라미터를 이용하여 상기 입력 영상 신호를 재부호화하는, 동화상 부호화 장치.
  16. 제2항, 제6항 및 제7항 중 어느 한 항에 기재된 동화상 부호화 제어 방법을 컴퓨터에 실행시키기 위한 동화상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020127029220A 2010-05-12 2011-05-02 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램 KR101391661B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JPJP-P-2010-109877 2010-05-12
JP2010109874 2010-05-12
JPJP-P-2010-109878 2010-05-12
JP2010109875 2010-05-12
JPJP-P-2010-109876 2010-05-12
JPJP-P-2010-109875 2010-05-12
JP2010109877 2010-05-12
JP2010109876 2010-05-12
JPJP-P-2010-109874 2010-05-12
JP2010109878 2010-05-12
PCT/JP2011/060522 WO2011142291A1 (ja) 2010-05-12 2011-05-02 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム

Publications (2)

Publication Number Publication Date
KR20130006684A KR20130006684A (ko) 2013-01-17
KR101391661B1 true KR101391661B1 (ko) 2014-05-07

Family

ID=44914347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029220A KR101391661B1 (ko) 2010-05-12 2011-05-02 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램

Country Status (11)

Country Link
US (1) US9179149B2 (ko)
EP (1) EP2571268B1 (ko)
JP (1) JP5286581B2 (ko)
KR (1) KR101391661B1 (ko)
CN (1) CN102870415B (ko)
BR (1) BR112012028576A2 (ko)
CA (1) CA2798354C (ko)
ES (1) ES2773329T3 (ko)
RU (1) RU2527740C2 (ko)
TW (1) TWI507016B (ko)
WO (1) WO2011142291A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083845A1 (en) 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
CN103517080A (zh) * 2012-06-21 2014-01-15 北京数码视讯科技股份有限公司 实时视频流编码器和实时视频流编码方法
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CA3129121C (en) 2013-04-07 2024-02-20 Dolby International Ab Signaling change in output layer sets
KR102071580B1 (ko) 2014-11-03 2020-01-30 삼성전자주식회사 이미지 재부호화 방법 및 그 장치
EP3125108A1 (en) * 2015-07-31 2017-02-01 ARM Limited Vector processing using loops of dynamic vector length
JP2017158183A (ja) * 2016-02-29 2017-09-07 大学共同利用機関法人情報・システム研究機構 画像処理装置
CN107426567B (zh) * 2017-05-19 2019-11-15 西安电子科技大学 基于编码顺序已知图像集的多参考图像确定方法
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
JP7077141B2 (ja) * 2018-05-28 2022-05-30 シャープ株式会社 画像記録装置、画像記録方法およびプログラム
CN114930822A (zh) 2019-08-15 2022-08-19 字节跳动有限公司 用于调色板逸出符号的熵编解码
JP2022548737A (ja) * 2019-09-19 2022-11-21 バイトダンス インコーポレイテッド パレット・モードのための量子化パラメータ導出
CN112822516B (zh) * 2020-12-30 2022-07-26 北京大学 基于数据块重组的图像组传输方法、装置、设备和系统
CN113055673B (zh) * 2021-04-23 2023-06-23 北京汇钧科技有限公司 视频流的处理方法、装置、电子设备和存储介质

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136371A (en) 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5134476A (en) 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
US5786858A (en) 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
US5589884A (en) * 1993-10-01 1996-12-31 Toko Kabushiki Kaisha Adaptive quantization controlled by scene change detection
KR950030491A (ko) 1994-04-30 1995-11-24 배순훈 부호화기
JP3911035B2 (ja) 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
EP0753235B1 (en) 1994-12-28 2000-07-12 Koninklijke Philips Electronics N.V. Buffer management in variable bit-rate compression systems
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
KR100203637B1 (ko) 1995-09-29 1999-06-15 전주범 동영상을 부호화하는 장치
US5982436A (en) 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
JPH10304311A (ja) * 1997-04-23 1998-11-13 Matsushita Electric Ind Co Ltd 映像符号化装置及び映像復号化装置
JPH1118083A (ja) 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6167088A (en) * 1998-04-03 2000-12-26 Sarnoff Corporation Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information
US6859496B1 (en) 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6310915B1 (en) 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6493402B1 (en) 1999-05-27 2002-12-10 Zenith Electronics Corporation Mode control for trellis decoder
US6529558B1 (en) 1999-05-27 2003-03-04 Zenith Electronics Corporation Coding and decoding a signal modified in accordance with the feedback states of an encoder
KR100634660B1 (ko) 1999-09-13 2006-10-16 마츠시타 덴끼 산교 가부시키가이샤 부호화장치 및 부호화방법
GB2356998A (en) 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
US6300973B1 (en) 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6522693B1 (en) 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
US6674797B1 (en) * 2000-03-30 2004-01-06 Lucent Technologies Inc. Ensuring video buffer verifer integrity in MPEG-like encoding
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US20050210145A1 (en) 2000-07-24 2005-09-22 Vivcom, Inc. Delivering and processing multimedia bookmark
US20050193408A1 (en) 2000-07-24 2005-09-01 Vivcom, Inc. Generating, transporting, processing, storing and presenting segmentation information for audio-visual programs
JP4428680B2 (ja) 2000-11-06 2010-03-10 パナソニック株式会社 映像信号符号化方法および映像信号符号化装置
EP1231793A1 (en) 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the syntax, resolution and bitrate of MPEG bitstreams, a system and a computer program product therefor
EP1231794A1 (en) 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the resolution of MPEG bitstreams, a system and a computer program product therefor
JP3866538B2 (ja) 2001-06-29 2007-01-10 株式会社東芝 動画像符号化方法及び装置
US6804301B2 (en) 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7356079B2 (en) 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
CA2491522C (en) 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
US8837605B2 (en) 2006-09-26 2014-09-16 Onmobile Global Limited Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US20040252758A1 (en) * 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
US7099389B1 (en) 2002-12-10 2006-08-29 Tut Systems, Inc. Rate control with picture-based lookahead window
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
WO2004105253A1 (ja) * 2003-05-21 2004-12-02 Sony Corporation データ処理装置、符号化装置および符号化方法、復号装置および復号方法、並びにプログラム
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7346106B1 (en) 2003-12-30 2008-03-18 Apple Inc. Robust multi-pass variable bit rate encoding
US7453938B2 (en) 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
KR20050090841A (ko) * 2004-03-10 2005-09-14 엘지전자 주식회사 비트율 제어 방법
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
CN102833539B (zh) 2004-06-27 2015-03-25 苹果公司 多通路视频编码
CN100579223C (zh) * 2004-12-02 2010-01-06 索尼株式会社 编码装置和方法
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
JP2006295535A (ja) 2005-04-11 2006-10-26 Toshiba Corp 動画像符号化装置および方法
US20060256868A1 (en) 2005-05-16 2006-11-16 Ensequence, Inc. Methods and systems for repositioning mpeg image content without recoding
EP1908303A4 (en) * 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
US20070025441A1 (en) 2005-07-28 2007-02-01 Nokia Corporation Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
JP4492484B2 (ja) 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8218655B2 (en) 2005-09-19 2012-07-10 Maxim Integrated Products, Inc. Method, system and device for improving video quality through in-loop temporal pre-filtering
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US9071844B2 (en) * 2005-12-16 2015-06-30 Texas Instruments Incorporated Motion estimation with motion vector penalty
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
JP4584871B2 (ja) 2006-06-09 2010-11-24 パナソニック株式会社 画像符号化記録装置および画像符号化記録方法
US7804435B2 (en) * 2006-08-31 2010-09-28 Ati Technologies Ulc Video decoder with reduced power consumption and method thereof
US9582060B2 (en) * 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
KR101329860B1 (ko) * 2006-09-28 2013-11-14 톰슨 라이센싱 효과적인 레이트 제어 및 비디오 인코딩 품질의 향상을 위한 ρ-도메인 프레임 레벨 비트 할당 방법
JP4609411B2 (ja) * 2006-10-24 2011-01-12 日本ビクター株式会社 動画像符号化装置及び動画像符号化プログラム
US8711929B2 (en) 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
KR100846512B1 (ko) 2006-12-28 2008-07-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2008258858A (ja) * 2007-04-04 2008-10-23 Victor Co Of Japan Ltd 動画像符号化装置
US20090161766A1 (en) 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values
JP4577357B2 (ja) * 2007-12-27 2010-11-10 ソニー株式会社 符号化装置及び方法、並びにプログラム
US8189677B2 (en) * 2008-04-15 2012-05-29 Sony Corporation Estimation of P frame average rate quantization parameter (QP) in a group of pictures (GOP)
JP4676508B2 (ja) 2008-04-16 2011-04-27 日本電信電話株式会社 量子化マトリクス切り換え方法，映像符号化装置および映像符号化プログラム
WO2010032457A1 (ja) * 2008-09-16 2010-03-25 パナソニック株式会社 撮像装置および動画データ作成方法
EP2403248B1 (en) 2009-02-27 2018-07-04 Fujitsu Limited Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program
TWI387314B (zh) 2009-03-10 2013-02-21 Univ Nat Central Image processing apparatus and method thereof
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture

Also Published As

Publication number Publication date
EP2571268A1 (en) 2013-03-20
JP5286581B2 (ja) 2013-09-11
US9179149B2 (en) 2015-11-03
JPWO2011142291A1 (ja) 2013-07-22
RU2012147239A (ru) 2014-06-20
CA2798354A1 (en) 2011-11-17
EP2571268B1 (en) 2019-11-27
BR112012028576A2 (pt) 2016-08-02
KR20130006684A (ko) 2013-01-17
ES2773329T3 (es) 2020-07-10
WO2011142291A1 (ja) 2011-11-17
CA2798354C (en) 2016-01-26
CN102870415A (zh) 2013-01-09
RU2527740C2 (ru) 2014-09-10
EP2571268A4 (en) 2015-12-16
TWI507016B (zh) 2015-11-01
CN102870415B (zh) 2015-08-26
TW201215150A (en) 2012-04-01
US20130051458A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101391661B1 (ko) 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
US20190297347A1 (en) Picture-level rate control for video encoding
KR101389919B1 (ko) 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
US20110292998A1 (en) Image coding apparatus and image coding method
KR101461856B1 (ko) 동화상 부호화 장치 및 동화상 부호화 방법
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
KR102424258B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
US8781241B2 (en) Image encoding device encoding an image by performing sequential processing, method for encoding image, and computer-readable storage medium storing image encoding program
US9544594B2 (en) Moving image reencoding device and moving image reencoding method
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP2008153946A (ja) 画像符号化装置
Chen An intra-rate estimation method for H. 264 rate control
JP2006166103A (ja) 動画像符号化装置、その方法、そのプログラム、その記憶媒体
JP2006166104A (ja) 動画像符号化装置、その方法、そのプログラム、その記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180420

Year of fee payment: 5