KR100796857B1 - 동화상 부호화 방법 및 장치 - Google Patents

동화상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR100796857B1
KR100796857B1 KR20067014594A KR20067014594A KR100796857B1 KR 100796857 B1 KR100796857 B1 KR 100796857B1 KR 20067014594 A KR20067014594 A KR 20067014594A KR 20067014594 A KR20067014594 A KR 20067014594A KR 100796857 B1 KR100796857 B1 KR 100796857B1
Authority
KR
South Korea
Prior art keywords
frame
picture
frames
encoded
encoding
Prior art date
Application number
KR20067014594A
Other languages
English (en)
Other versions
KR20060103545A (ko
Inventor
케이이치 초노
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20060103545A publication Critical patent/KR20060103545A/ko
Application granted granted Critical
Publication of KR100796857B1 publication Critical patent/KR100796857B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하는 동화상 부호화 방법은, 멀티 프레임 움직임 예측에 이용하는 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 고화질로 부호화된 프레임을 포함하는 것을 갖는다. 고화질로 부호화된 프레임은, 예를 들면, P픽처 프레임 또는 B픽처 프레임으로서, 바람직하게는, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당된 프레임, 또는, 동일한 픽처 타입의 다른 프레임보다도 양자화 파라미터가 작은 프레임이다.
인코딩, 부호화, 동화상

Description

동화상 부호화 방법 및 장치{MOVING IMAGE ENCODING METHOD AND APPARATUS}
본 발명은, 동화상 부호화 기술에 관한 것으로서, 특히, 멀티 프레임 움직임 예측을 행하는 동화상 부호화 방법 및 장치에 관한 것이다.
도 1은, 동화상 신호를 부호화하는 종래의 전형적인 부호화 장치의 구성을 도시한 블록도이다.
도 1에 도시된 부호화 장치는, 국소적 복호 장치를 포함하고 있고, 주파수 변환 장치(101), 양자화 장치(102), 가변 길이 부호화 장치(103), 역양자화 장치(104), 역주파수 변환 장치(105), 프레임 메모리(106), 프레임 내 예측 장치(107), 움직임 보상 장치(108), 움직임 추정 장치(109), 버퍼(110) 및 부호량 제어 장치(111)를 구비하고 있다. 또한 부호화 장치는, 감산기(121), 스위치(122) 및 가산기(123)를 구비하고 있다.
입력 화상 프레임은, 부호화 장치에 입력되어, 복수의 블록으로 분할된다. 분할된 블록은, 감산기(121)에 의해, 프레임 내 예측 또는 프레임 사이 예측에 의한 예측치가 줄여진다. 여기서, 프레임 내 예측이란, 현재의 부호화 프레임의 재구축 영역을 이용하여 현재의 화상을 예측하는 방법으로서, 프레임 사이 예측이란, 과거에 재구축된 화상 프레임을 이용하여 현재의 화상을 예측하는 방법이다. 프레 임 내 예측 또는 프레임 사이 예측에 의한 예측치가 줄여진 화상 블록을 예측 오차라고 부른다. 또한, 동일 부호화 프레임의 인접 화소로부터 예측치를 생성하는 프레임 내 예측만으로 부호화 프레임 내의 모든 블록을 부호화한 화상 프레임을 I픽처이라고 부른다. 프레임 내 예측과 프레임 사이 예측을 혼재하여 이용하여 부호화된 화상 프레임을 P픽처이라고 부른다. 또한, 프레임 사이 예측에 있어서, 현재의 부호화 프레임에 대해 입력 시각이 과거와 미래인 복수의 화상 프레임을 참조하여 부호화된 화상 프레임을 B픽처이라고 부른다.
일반적으로, 부호화 동화상 데이터에서, I픽처는 일정 주기로 설정되고, 이 I픽처로 구획되는 복수 프레임으로 이루어지는 구간을 GOP(그룹 오브 픽처 ; Group of Picture)라고 부른다. I, P, B픽처 및 GOP의 정의는, 국제 표준의 동화상 부호화 규격인 MPEG(Motion Picture Expert Group) 방식 등에서 정해져 있다.
다음에, 예측 오차는, 주파수 변환 장치(101)에 의해 주파수 영역으로 변환된다. 주파수 영역으로 변환된 예측 오차는, 양자화 장치(102)에 의해 양자화된다. 양자화된 예측 오차 즉 변환 계수는, 가변 길이 부호화 장치(103)에 의해 엔트로피 부호화되고, 버퍼(110)에 축적된다. 버퍼(110)는, 축적한 발생 부호 즉 비트스트림를 소정의 타이밍에서 출력한다. 또한, 양자화된 예측 오차는, 국소적 복호 처리로서, 역양자화 장치(104) 및 역주파수 변환 장치(105)에 의해, 재차 원래의 공간 영역의 예측 오차로 되돌아온다. 또한 공간 영역으로 되돌아온 예측 오차는, 가산기(123)에 의해 예측치를 더하여, 재구축 화상으로서 프레임 메모리(106)에 격납된다.
프레임 메모리(106)에 격납된 재구축 화상은, 프레임 내 예측 장치(107), 움직임 보상 장치(108) 및 움직임 추정 장치(109)에 의해 예측치의 생성에 참조된다. 따라서 프레임 메모리(106)에 격납된 재구축 화상은 참조 프레임이라고도 불린다.
프레임 내 예측 장치(107)는, 프레임 메모리(107) 내의 재구축 화상에 의거하여 프레임 내 예측을 행하고, 예측치를 출력한다. 움직임 추정 장치(109)는, 입력 화상의 블록과 프레임 메모리(106)로부터 판독된 참조 프레임으로부터, 입력 블록과 예측치와의 차분 즉 예측 오차를 최소로 하는, 입력 블록의 움직임 벡터와 참조 프레임을 검출한다. 움직임 보상 장치(108)는, 움직임 추정 장치(109)로부터 공급되는 움직임 벡터와 참조 프레임을 이용하여, 프레임 메모리(106)에 격납된 참조 프레임으로부터 예측치를 생성한다. 움직임 보상 장치(109)에 의한 예측치는 프레임 사이 예측에 의거한 것이다. 그래서, 스위치(122)를 마련하고, 프레임 내 예측 장치(107)가 출력하는 예측치와 움직임 보상 장치(108)가 출력하는 예측치중, 감산기(121)에 공급되는 예측치가 전환되도록 하고 있다.
상기한 처리에 의해 압축된 동화상 정보인 비트스트림은, 주로 블록마다의 변환 계수, 양자화 파라미터, (예측 오차를 최소로 하는) 움직임 벡터, 및 (예측 오차를 최소로 하는) 참조 프레임으로 이루어지는 가변 길이 부호에 의해 구성되어 있다.
이상은, 동화상 압축 기술의 기본 동작이다.
그런데, 일반적으로, 디지털 방송 시스템이나 화상 통신 서비스 등에 있어서, 동화상 신호는, 전송·축적을 위해, 그 발생 부호량 즉 비트레이트가 제어되어 있다. 그래서, 부호량 제어 장치(111)는, 가변 길이 부호화 장치(103)가 공급하는 발생 부호량을 검출하여, 이하에 나타내는 2개의 처리를 실행하여, 발생 부호량을 제어한다.
제 1의 처리에서는, 부호량 제어기(111)는, 각 픽처 타입에 응하여 각 프레임에 목표 부호량을 설정한다. R을 GOP 내에서 아직 부호화되지 않은 프레임에 대해 할당되는 부호량, Np 및 Nb를 각각 GOP 내에서 아직 부호화되지 않은 P픽처와 B픽처의 매수, Xi, Xp, Xb를 식(1) 내지 (3)으로 정의되는 각 픽처의 화면의 복잡함을 나타내는 파라미터, Kp와 Kb를 픽처 타입별의 주관(主觀) 화질을 고려한 파라미터라고 하면, 픽처 타입별의 목표 부호량(Ti, Tb, Tb)은, 식(4) 내지 (6)으로 주어진다.
Xi = Qi×Ci … (1),
Xp = Qp×Cp … (2),
Xb = Qb×Cb … (3),
Ti = R/(1+Np×Xp/(Kp×Xi)+Nb×Xb/(Kb×Xi)) … (4),
Tp = R/(Np+Nb×Kp×Xb/(Kb×Xp)) … (5),
Tb = R/(Nb+Np×Kb×Xp/(Kp×Xb)) … (6).
여기서, Ci, Cp, Cb는, 각각, 최후에 부호화한 I, P, B픽처의 발생 부호량이고, Qi, Qp, Qb는, 각각, 최후에 부호화한 I, P, B픽처의 평균 양자화 스텝 사이즈라고 하다. 또한, 이하의 설명에서, 표기의 간단화를 위해, 예를 들면, Ci, Cp, Cb의 어느 하나인 값은, Ci, p, b와 같이 기재한다. 또한, Qi, p, b = Xi, p, b/Ti, p, b의 식은, I픽처에 대한 Qi = Xi/Ti라는 식과, P픽처에 대한 Qp = Xp/Tp라는 식과, B픽처에 대한 Qb = Xb/Tb라는 식을 종합하여 나타내고 있다.
각 프레임을 제 1의 처리와 이하에서 설명하는 제 2의 처리에 따라서 부호화할 때마다, GOP 내에서 아직 부호화되지 않은 프레임에 대해 할당된 부호량(R)을 식(7)에 의거하여 갱신한다.
R = R-Ci, p, b … (7).
또한, GOP 선두의 픽처를 부호화할 때에는, 부호량(R)을 식(8)으로 초기화한다.
R = bit_rate×N/frame_rate+R … (8).
여기서, bit_rate는 목표로 하는 비트레이트이고, frame_rate는 프레임레이트이고, N은 GOP 내의 프레임의 매수이다.
제 2의 처리에서는, 제 1의 처리에서 구하여진 각 프레임에 대한 할당 부호량(Ti, Tp, Tb)과 실제의 발생 부호량을 일치시키기 위해, 각 픽처 타입별로 설정한 가상 버퍼 용량에 의거하여, 양자화 스텝을 매크로 블록 단위의 피드백 제어로 구한다.
우선 j번째의 매크로 블록의 부호화에 앞서서, 가상 버퍼의 점유량을 픽처 타입별로 식(9)로 종합한다.
di, p, b(j) = di, p, b(0)+B(j-1)-Ti, p, b×(j-1)/MBcount … (9).
di, p, b(0)는, 가상 버퍼의 초기 점유량이고, B(j)는, 프레임의 선두부터 j번째의 매크로 블록까지의 발생 부호량이고, MBcount는, 프레임 내의 매크로 블록 의 수이다.
각 프레임의 부호화가 종료한 때, 픽처 타입별의 가상 버퍼의 초기 점유량(di, p, b(MBcount))은, 다음의 픽처에 대한 가상 버퍼의 초기 점유량(di, p, b(0))으로서 이용된다.
다음에, j번째의 매크로 블록에 대한 양자화 스텝 사이즈(Q(j))를 식(10)에 의해, 계산한다.
Q(j) = Qi, p, b×di, p, b(j)×31/(10×r) … (10),
Qi, p, b = Xi, p, b/Ti, p, b … (11).
r은, 리액션 파라미터라고 불리는 피드백 루프의 응답 속도를 제어하는 파라미터이고, 식(12)로 주어진다.
r = 2×bitrate/fram_rate … (12).
또한, 부호화의 시작시에 있어서 가상 버퍼의 초기 점유량(di, p, b(0))은, 식(13) 내지 (15)로 주어진다.
di(0) = 10×r/31 … (13),
dp(0) = Kp×di(0) … (14),
db(0) = Kb×di(0) … (15).
한편, 직전에 부호화한 I픽처 또는 P픽처만으로부터가 아니고 또한 과거에 부호화한 프레임으로부터 P픽처를 예측하고, 직전에 부호화한 I픽처 또는 P픽처로부터뿐만 아니라 또한 과거에 부호화한 B픽처로부터도 B픽처를 예측한다는, 움직임 예측이 가능한 멀티 프레임 움직임 예측을 받아들인 동화상의 부호화 방식이 고려 되고 있다. 이 방식에서는, 과거에 부호화한 고화질의 프레임을 선택하여 움직임 예측을 행할 수 있기 때문에, 움직임 예측의 자유도가 증대한다.
발명의 개시
발명이 해결하고자 하는 과제
그러나, 상술한 종래의 동화상 부호화 기술은, 멀티 프레임 움직임 예측에 의한 움직임 예측의 자유도를 이용하지 않고, 단순하게 픽처 타입과, 최후에 부호화한 각 픽처의 복잡도만으로 각 프레임에 대한 할당 부호량을 제어한다. 이 때문에 종래의 수법에서는, 멀티 프레임 움직임 예측을 이용하는 동화상 압축에 있어서, 멀티 프레임 움직임 예측을 유효적으로 이용하여 동화상을 고화질로 부호화하고 있다고는 할 수 없다. 역으로 말하면, 멀티 프레임 움직임 예측을 이용하는 동화상 압축에 있어서, 멀티 프레임 움직임 예측을 유효적으로 이용함에 의해, 동화상을 고품질로 부호화할 수 있는 기술이 요망되고 있다.
본 발명의 목적은, 멀티 프레임 움직임 예측을 유효적으로 활용하여 동화상을 고화질로 부호화할 수 있는 동화상 부호화 방법을 제공하는 것에 있다.
본 발명의 다른 목적은, 멀티 프레임 움직임 예측을 유효적으로 활용하여 동화상을 고화질로 부호화할 수 있는 동화상 부호화 장치를 제공하는 것에 있다.
과제를 해결하기 위한 수단
본 발명의 목적은, 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하는 동화상 부호화 방법으로서, 멀티 프레임 움직임 예측에 이용하는 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 고화질로 부호화된 프레임을 포함하는 것을 갖는, 동화상 부호화 방법에 의해 달성된다.
본 발명의 다른 목적은, 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 부호화를 행하는 동화상 부호화 장치로서, 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 1매의 참조 프레임을 선택하는 선택 수단과, 선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 부호화 수단을 갖는 것을 특징으로 하는 동화상 부호화 장치에 의해 달성된다.
본 발명에서는, 멀티 프레임 움직임 예측을 이용하는 동화상 압축에 있어서, 단순하게 픽처 타입과 최후에 부호화한 각 화상의 복잡도를 이용하는 것은 아니고, 멀티 프레임 움직임 예측에서의 부호화 대상 프레임과 참조 프레임과의 관계도 고려하고, 참조 프레임으로서 우선도가 높은 프레임을 고화질로 부호화함에 의해, 씬 전체의 움직임 예측의 효과를 개선하는 부호량 제어를 행한다. 이로써, 본 발명에 의하면, 멀티 프레임 움직임 예측에 의한 움직임 예측의 자유도를 이용한 동화상 압축에 있어서, 고화질의 동화상 부호화 방법을 실현할 수 있다.
또한, 동화상의 씬에 응하여, 고화질로 부호화하는 프레임을 일정한 프레임 간격으로 배치하거나, 고화질로 부호화하는 프레임의 프레임 간격을, 참조 프레임과 부호화 대상 프레임 사이의 차분(差分) 정보 및 움직임 정보에 의해 적응적(適應的)으로 변경함으로써, 우선적으로 고화질로 부호화하는 참조 프레임을 정확하게 선택할 수 있어서, 보다 고화질의 동화상의 부호량 제어를 제공할 수 있다. 이 결과, 더욱 동화상을 고화질로 부호화할 수 있다.
또한, 참조 프레임으로서 우선도가 높은 B픽처 프레임에 의해 많은 부호량을 할당함에 의해, 고화질의 동화상의 부호량 제어도 제공할 수 있다. 이 결과, 시퀀스 전체의 움직임 예측의 효과를 개선할 수 있기 때문에, 동화상을 고화질로 부호화할 수 있다.
도 1은 종래의 전형적인 동화상 부호화 장치의 구성을 도시한 블록도.
도 2는 본 발명에 의거한 동화상 부호화 처리를 설명하는 도면.
도 3은 본 발명에 의거한 동화상 부호화 처리를 설명하는 도면.
도 4는 본 발명의 제 1의 실시 형태의 동화상 부호화 장치의 구성을 도시한 블록도.
도 5는 화질 제어 장치의 구성을 도시한 블록도.
도 6은 화질 판정의 처리를 도시한 순서도.
도 7은 고화질로 부호화되는 프레임을 설명하는 도면.
도 8은 화질 제어 카운터 처리를 도시한 순서도.
도 9는 부호량 제어 장치의 구성을 도시한 블록도.
도 10은 프레임 부호량 할당의 처리를 도시한 순서도.
도 11은 양자화 파라미터 갱신의 처리를 도시한 순서도.
도 12는 본 발명의 제 2의 실시 형태의 동화상 부호화 장치의 구성을 도시한 블록도.
도 13은 동화상 해석 장치의 구성을 도시한 블록도.
도 14는 움직임 검출의 처리를 도시한 순서도.
도 15는 화질 제어 장치의 구성을 도시한 블록도.
도 16은 화질 판정의 처리를 도시한 순서도.
도 17A는 최량 참조 프레임을 설명하는 도면.
도 17B는 최량 참조 프레임을 설명하는 도면.
도 18A는 프레임 사이 예측 곤란도를 설명하는 도면.
도 18B는 프레임 사이 예측 곤란도를 설명하는 도면.
도 19는 고화질 부호화 프레임 판정의 처리를 도시한 순서도.
도 20은 고화질로 부호화되는 프레임을 설명하는 도면.
도 21은 화질 판정의 처리를 도시한 순서도.
도 22는 고화질로 부호화되는 프레임을 설명하는 도면.
도 23은 프레임 부호량 할당의 처리를 도시한 순서도.
도 24는 화질 판정의 처리를 도시한 순서도.
도 25는 본 발명에 의거한 동화상 부호화 장치를 실장한 정보 처리 시스템의 일반적인 블록 구성도.
도 26은 본 발명에 의거하여 생성된 동화상 비트스트림이 입력되는 수신기의 한 예를 도시한 블록도.
도 27은 참조 프레임 화질 변동 플래그를 생성하는 처리를 도시한 순서도.
상술한 바와 같이 본 발명에서는, 멀티 프레임 움직임 예측에 있어서의 부호화 대상 프레임과 참조 프레임과의 관계도 고려하고, 참조 프레임으로서 우선도가 높은 프레임을 고화질로 부호화함에 의해, 씬 전체의 움직임 예측의 효과를 개선하는 부호량 제어를 행하고 있다.
이하의 설명에서, 「씬」이란, 임의의 매수가 연속하는 프레임을 의미한다. 「프레임을 고화질로 부호화한다」는, 그 프레임에 대해 많은 부호량을 할당하는, 그 프레임의 양자화 스텝 사이즈를 작게 하는, 또는, 그 프레임의 부호화 왜곡을 작게 하는 등을 의미한다.
이하에, 본 발명의 기본 원리에 관해, 종래 기술과 대비하면서 설명한다.
본 발명에서는, 멀티 프레임 움직임 예측을 이용한 동화상 부호화 방법에 있어서, 동일한 픽처 타입의 프레임의 화질을 균일하지가 않고, 가변으로 함으로써, 씬 전체의 움직임 예측의 효과를 높이고, 고화질의 동화상의 부호화를 가능하게 하고 있다. 이에 대해, 종래의 움직임 예측 방향을 이용한 동화상 부호화 방법에서는, 직전에 부호화한 화상만으로부터 움직임 예측을 행하기 때문에, 동일한 픽처 타입의 프레임의 화질을 균일하게 유지하는 부호화밖에 행할 수 없었다. 왜냐하면, 같은 씬에서 화질을 변동시킨 경우, 화질이 저하된 프레임을 참조하는 프레임에서의 프레임 사이의 차분이 커져서 움직임 예측의 효과가 저하되기 때문에, 씬 전체의 부호화 효율이 저하되고, 이에 수반하여, 부호화된 동화상의 화질도 저하되기 때문이다.
이하에 도 2를 참조하여, 이 문제점을 설명한다.
도 2에서 실선으로 도시한 바와 같이, 종래의 움직임 예측에서는, 각 P픽처는, 직전에 부호화된 I 또는 P픽처만을 참조한다. P2, P4프레임을 P1, P3프레임보다도 고화질로 부호화하려고 하여도, P1프레임은 저화질로 부호화되기 때문에, P1프레임을 참조하는 P2프레임의 움직임 예측의 효과는 크게 저감하고, P2프레임의 화질도 크게 저하된다. P2프레임을 참조하는 P3프레임도 마찬가지로 화질이 크게 저하되고, 이 화질 열화가 이후의 프레임으로 전파되기 때문에, 씬 전체의 화질이 열화된다. 이 때문에 종래의 움직임 예측을 이용한 방법로1는, 동일한 픽처 타입의 화상의 화질을 균일하게 유지하여야 한다.
그러나, 본 발명이 적용되는 부호화 방법과 같이, 직전에 부호화된 프레임뿐만 아니라, 더욱 과거에 부호화한 프레임을 참조하여 움직임 예측이 가능한 멀티 프레임 움직임 예측이 있다. 멀티 프레임 움직임 예측에 의해, 도 2에 도시한 경우에서는, 종래 방식에 추가하여, 점선으로 도시한 바와 같은 예측이 가능해진다. 이 경우, 프레임 내의 영역 또는 블록의 단위로, 참조한 프레임을 선택할 수 있다.
이 멀티 프레임 움직임 예측의 구조를 이용함에 의해, 동일한 픽처 타입이라도, 화질을 변동시키는 부호화가 가능하게 된다. 도 2를 참조하여, 본 발명을 설명한다.
도 2에 도시한 멀티 프레임 움직임 예측에서는, 각 P픽처는, 직전에 부호화된 복수의 I 또는 P픽처를 참조한다. 여기서는, 2매의 I 또는 P픽처를 참조하고 있 다. P2, P4프레임을 P1, P3프레임보다도 고화질로 부호화하려고 하는 때, P1프레임 이 저화질로 부호화되었다고 하여도, P1프레임뿐만 아니라 I프레임도 참조하는 P2프레임에서는, 움직임 예측의 효과는 크게 저감하지 않는다. 따라서, P2프레임은 고화질로 부호화된다.
또한, 고화질로 부호화된 P2프레임을 참조하는 P3프레임에서의 움직임 예측의 효과도 높아지고, P3프레임은, 종래 기술보다도 고화질로 부호화된다. 또한, P4프레임은, 고화질로 부호화된 P2, P3프레임을 참조하기 때문에, 보다 고화질로 부호화된다. 이후의 프레임에서도 상기한 바와 마찬가지로, 움직임 예측의 효과가 높아지고, 동화상을 고화질로 부호화할 수 있다.
이로써, 종래 기술보다도 움직임 예측의 효과가 높아지고, 동화상을 고화질로 부호화하는 것이 가능해진다. 또한, 본 발명에 의해 부호화된 동화상은, 고화질로 부호화된 프레임이 복호시에 주기적으로 표시되는 것과, 인간의 잔상(殘像)의 시각 특성에 의해, 종래 기술보다도 주관적으로도 고화질이 된다.
이상은, I, P픽처만을 이용한 경우에서의 예를 나타냈지만, I, P, B픽처를 이용한 경우에도, 본 발명을 적용할 수 있다. 그래서, 도 3을 이용하여, I, P, B픽처가 존재하는 경우의 본 발명의 이점에 관해, 종래 기술과 대비시키면서 설명한다. 그리고, P픽처에 대한 본 발명의 기본적인 개념은 도 2에 도시한 것과 마찬가지이기 때문에, 이하에서는, B픽처만에 주목하여 설명한다.
종래 기술에 있어서, B픽처 프레임은, 피(被)참조가 아닌 프레임, 즉 다른 프레임에서 참조되지 않는 프레임이다. 따라서 B픽처 프레임이 연속하는 경우, 그 연속하는 각 B픽처에서의 움직임 예측의 효과가 동등하기 때문에, 연속하는 각 B프레임에는 같은 부호량이 할당되고, 같은 화질로 부호화된다. 여기서, 연속하는 각 B픽처의 움직임 예측의 효과가 동등하게 되는 이유는, 도 3의 예에서 B1 및 B2프레임에 주목하면, I0, P3프레임으로부터 B1프레임까지의 프레임 사이 거리가 각각 1, 2이고, B2프레임까지는 각각 2, 1이고, 움직임 예측의 효과를 결정하는 프레임 사이 거리의 총합이가 모두 3이기 때문이다.
그러나, 멀티 프레임 움직임 예측을 이용한 동화상 부호화에서는, B픽처는, 과거에 부호화된 B픽처도 참조하는 것이 가능하다. 이 때문에, 연속하는 B픽처의 움직임 예측의 효과는 가변으로 된다, 도 3의 B1 및 B2프레임에 주목하면, B2프레임에서는, I0프레임뿐만 아니라, 프레임 사이 거리가 짧은 B1프레임을 참조한 움직임 예측이 가능하고, B2프레임은, 분명히 B1프레임보다도 높은 움직임 예측의 성능을 얻을 수 있다. 이 때문에, B1프레임과 B2프레임에 같은 부호량을 할당하지 않고도, 같은 화질로 부호화할 수 있다.
이것을 이용하여, 본 발명에 의하면, 멀티 프레임 움직임 예측을 이용한 동화상 부호화 방법에 있어서, 연속하는 B프레임에 있어서 부호화순으로 선행하는 참조 B프레임에 우선적으로 부호량을 배분함으로써, 고화질로 동화상 부호화를 행할 수가 있게 된다. 도 3에 도시한 B1 및 B2프레임에서는, 우선적으로 부호량이 할당된 분만큼, B1프레임은 종래 기술보다도 고화질로 부호화되게 되고, 보다 고화질로 부호화된 B1프레임을 참조하는 B2프레임도, 보다 고화질로 부호화될 수 있다. 즉, B픽처 프레임의 화질을 변동시킴으로써, 움직임 예측 전체의 효과를 높이고, 동화상을 보다 고화질로 부호화할 수 있다.
이하에 본 발명의 구체적인 실시 형태를 설명한다.
도 4에 도시한 본 발명의 제 1의 실시 형태의 동화상 부호화 장치는, 도 1에 도시한 동화상 부호화 장치에 대해, 또한, 화질 제어 장치(112)를 더한 것이고, 부호량 제어 장치(111)는, 화질 제어 장치(112)로부터 공급되는 화질 제어 정보에 의거하여, 참조 프레임에 대응하는 할당 부호량을 결정한다. 도 4에서, 도 1에서 것과 동일한 구성 요소에는 동일한 참조 부호화가 부여되어 있고, 이들에 관해서는, 상세한 설명은 생략한다. 또한, 제 1의 실시 형태에서는, 프레임을 부호화하는 픽처 타입으로서 I픽처와 P픽처를 이용하는 경우의 동작을 설명한다. 이하, 본 실시 형태의 동화상 부호화 장치에서 특징적인 화질 제어 장치(112) 및 부호량 제어 장치(111)를 설명한다.
도 5에 도시된 바와 같이, 화질 제어 장치(112)는, 화질 판정 장치(1121)와 화질 제어 카운터(1122)에 의해 구성되어 있다. 화질 제어 장치(112)가 공급하는 화질 제어 정보는, 고화질화 플래그(HQ_flg)와 잔여 고화질화 프레임 수(R_HQ_num)와 잔여 고화질화 프레임 번호(R_HQ_num)이다. 화질 제어 장치(112)에서 화질 판정 장치(1121)는, 고화질화 플래그(HQ_flg), 고화질화 프레임 수(HQ_num) 및 고화질화 프레임 번호(R_HQ_num)를 계산하고, 고화질화 플래그(HQ_flg)를 부호량 제어 장치(111)에 공급하고, 고화질화 프레임 수(HQ_num)와 고화질화 프레임 번호(HQ_frame_num)를 화질 제어 카운터(1122)에 공급한다.
이하, 도 6을 참조하여, 본 실시 형태에서의 화질 판정 장치(1121)의 동작을 설명한다. 이하의 설명에서, 고화질로 부호화되는 프레임 상호의 프레임 간격을 S로 하고, 직전에 고화질로 부호화한다고 판정한 프레임 번호를 prev_hq_num, 고화질화 판정이 끝난 프레임 매수를 i로 한다. 단, 부호화 대상 프레임과 멀티 프레임 예측에서 참조할 수 있는 가장 과거의 프레임과의 간격을 MAX_REF로 하여, S ≤ MAXR_EF이다. prev_hq_num와 i의 초기치는 어느 것이나 0이다.
또한, 본 실시 형태에서, 고화질로 부호화하는 프레임 간격(S)은, 움직임의 속도 또는 압축 후의 프레임레이트에 의해, 어느 기간마다, 예를 들면, GOP마다 또는 씬마다, 전환하여도 좋다. GOP마다 또는 씬마다 그것에 적합한 프레임 간격(S)을 선택함에 의해, 본 발명에 의한 부호화 효율의 개선은 더윽 높아진다.
스텝 S101에서는, 화질 판정 장치(1121)는, 프레임 간격(S)과 GOP의 프레임 매수(N)로부터, 식(16)을 이용하여 고화질화 프레임 수(HQ_num)를 계산한다.
HQ_num = (N/S)-1 … (16).
다음에 스텝 S102에서, 화질 판정 장치(1121)는, 고화질화 프레임 수(HQ_num)보다도 고화질화 판정이 끝난 프레임 매수(i)가 작은지를 판정하고, 작으면 스텝 S103을 실행하고, 그렇지 않으면 처리를 종료한다.
스텝 S103에서는, 화질 판정 장치(1121)는, 고화질화 프레임 번호(HQ_frame_num)[i]를 식(17)을 이용하여 계산한다. 또한, 다음의 처리를 위해 고화질화 판정이 끝난 프레임 매수(i)를 1증가하고, 직전에 고화질로 부호화한다고 판정한 프레임 번호(prev_hq_num)를 식(18)에 의해 갱신하고, 스텝 S102를 실행한다.
HQ_frame_num[i] = prev_hq_num+S … (17),
prev_hq_num = HQ_frame_num[i] … (18).
화질 판정 장치(1121)는, 이상의 처리를 완료한 후 HQ_num이 1 이상이면 HQ_flg를 온으로 하고, 그렇지 않으면 오프로 한다.
본 실시 형태의 동화상 부호화 장치에서는, 도 6에서 도시한 처리에 의해, 다른 프레임의 부호화에 즈음하여 참조되는 참조 프레임을 S의 간격마다 고화질로 부호화한다. S는, 멀티 프레임 예측에서 가장 과거에 참조할 수 있는 프레임의 간격(MAX_REF) 이하이기 때문에, 모든 부호화 대상 프레임은, 반드시, 고화질로 부호화된 프레임을 참조하여 움직임 예측이 가능해진다.
예로서, N = 10, MAX_REF = 3, S = 2인 경우에, 본 실시 형태의 방법에 의해 고화질로 부호화된 프레임을 도 7에 도시한다. 이 경우, P2, P4, P6, P8의 각 프레임(2468)이 고화질로 부호화된다.
화질 제어 카운터(1122)는, 부호량 제어기(111)가 공급하는 프레임 번호(coding_frame_num), 화질 판정 장치(1121)가 공급하는 고화질화 프레임 수(HQ_num)와 고화질화 프레임 번호(HQ_frame_num[HQ_num])로부터, 잔여 고화질화 프레임 수(R_HQ_numb)와 잔여 고화질화 프레임 번호(R_HQ_frame_num)를 계산하고, 부호량 제어기(111)에 출력한다. 이 화질 제어 카운터(1122)는, 고화질화 프레임 수(HQ_num)가 1 이상일 때에만 동작한다. 여기서, GOP 선두의 I픽처의 프레임 번호를 frame_num_I, 고화질 프레임 카운터(HQ_frame_count)를 0으로 하고, 도 8을 참조하여, 화질 제어 카운터(1122)의 동작을 설명한다.
스텝 S201에서는, 화질 제어 카운터(1122)는, 화질 판정 장치(1121)로부터 공급되는 고화질화 프레임 번호(HQ_frame_num[HQ_frame_count])에 frame_num_I를 더한다. 이것은, 부호량 제어기(111)로부터 입력되는 부호화 중의 프레임 번호(coding_frame_num)와 고화질로 부호화하는 프레임 번호와의 동기를 취하기 위해서이다.
스텝 S202에서, 화질 제어 카운터(1122)는, HQ_frame_num[HQ_frame_count]를 잔여 고화질 프레임 번호(R_HQ_frame_count)로 하고, HQ_num-HQ_frame_count를 잔여 고화질 프레임 수(R_HQ_num)로서 출력한다. 그 후, 스텝 S203에서는, 화질 제어 카운터(1122)는, 프레임 번호(coding_frame_num)와 고화질화 프레임 번호(HQ_frame_num[HQ_frame_count])가 동기하였는지를 판정한다. 동기한 경우에는 스텝 S204로 이행하고, 그렇지 않으면 스텝 S202로 되돌아온다.
스텝 S204에서는, 화질 제어 카운터(1122)는, HQ_frame_count를 1증가하고, HQ_frame_count가 HQ_num보다도 작은지의 여부를 판단한다. HQ_frame_count가 HQ_num보다도 작으면 스텝 S201로 이행하고, 그렇지 않으면 처리를 종료한다.
이상과 같이 하여, 화질 제어 카운터(1122)는, 잔여 고화질 프레임 번호(R_HQ_frame_num)와 잔여 고화질 프레임 수(R_HQ_num)를 부호량 제어 장치(111)에 출력한다.
부호량 제어 장치(111)는, 도 9에 도시된 바와 같이, 프레임 부호량 할당 장치(1111)와 양자화 파라미터 갱신 장치(1112)에 의해 구성되어 있다. 본 실시 형태에서의 부호량 제어 장치(111)와, 도 1에 도시한 종래의 동화상 부호화 장치에서의 부호량 제어 장치와의 차이는, 프레임 부호량 할당 장치(1111)의 동작에 있다.
본 실시 형태에서 프레임 부호량 할당 장치(1111)는, 화질 제어 장치(112)로부터 공급되는 화질 제어 정보(고화질화 플래그(HQ_flg), 잔여 고화질화 프레임 수(R_HQ_num) 및 잔여 고화질화 프레임 번호(R_HQ_frame_num))를 이용하여, 각 프레임에 대한 할당 부호량을 계산하고, 양자화 파라미터 갱신 장치(1112)에 공급한다. 양자화 파라미터 갱신 장치(1112)는, 프레임 부호량 할당 장치(1111)로부터 공급되는 프레임 할당 부호량과 버퍼(110)로부터 공급되는 발생 부호량을 이용하여, 양자화 파라미터를 계산하고, 가변 길이 부호화 장치(103)에 공급한다.
이하에, 프레임 부호량 할당 장치(1111)의 동작을 설명한다. 또한, 이하의 설명에서, 목표 부호량(Ti, Tp)을 픽처 타입별의 목표 부호량, R을 GOP 내에서 아직 부호화되지 않은 프레임 대해 할당되는 부호량, Np를 GOP 내에서 아직 부호화되지 않은 P픽처의 매수, Xi를 최후에 부호화한 I픽처의 화면의 복잡도, Xp를 최후에 부호화한 P픽처의 화면의 복잡도, Kp를 픽처 타입별의 주관 화질을 고려한 파라미터로 한다.
도 10은, 제 1의 실시 형태에서의 프레임 부호량 할당 장치(1111)의 동작을 도시하고 있다.
우선 스텝 S301에서, 프레임 부호량 할당 장치(1111)는, 화질 제어 장치(112)로부터 공급되는 고화질화 플래그(HQ_flg)가 온인지 오프인지를 판정한다. 고화질화 플래그(HQ_flg)가 온이면 스텝 S302로 이행하고, 오프이면 스텝 S307로 이행한다.
스텝 S302에서는, 지금부터 부호화하려고 하는 프레임이 I픽처인지의 여부가 판정된다. 부호화 대상 프레임이 I픽처이면 스텝 S303으로 이행하고, 그렇지 않으면 스텝 S304로 이행한다.
스텝 S303에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하는 I픽처에 대한 부호량(Ti)을 식(19)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Ti = R/(1+Np×Xp/Xi)-additional_Ti … (19),
additional_Ti = residu1_bit1×Xi/Xgop2 … (20),
residu_bit1 = (margin_ratio×R×(Np-R_HQ_num)×Xp)/(Kp×Xgop1) … (21),
Xgop1 = Xi+Np×Xp/Kp … (22),
Xgop2 = Xi+R_HQ_num×Xp/Kp … (23).
여기서, margin_ratio는 1 이하의 수이다.
이 경우, 종래 기술보다도, additional_Ti만큼 많은 비트 수가 이 I프레임에 할당되기 때문에, 이 프레임의 화질은 개선한다. 이 결과, 이 프레임을 참조하는 프레임의 움직임 예측 효과도 개선한다.
스텝 S304에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 P픽처의 프레임 번호(coding_frame_num)가, 화질 제어 장치(112)로부터 공급되는 잔여 고화질 프레임 번호(R_HQ_frame_num)와 동기하는지를 판정한다. 동기하면 스텝 S305로 이행하고, 그렇지 않으면 스텝 S306으로 이행한다.
스텝 S305에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 P픽처에 대한 부호량을 식(24)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tp = R/Np+additional_Tp … (24),
additional_Tp = (margin_ratio×R×(Np-R_HQ_num))/(Np×R_HQ_num) … (25).
이 경우, 종래 기술보다도, additional_Tp만큼 많은 비트 수가 이 P프레임에 할당되기 때문에, 이 프레임의 화질은 개선한다. 이 결과, 이 프레임을 참조하는 프레임의 움직임 예측 효과도 개선한다.
스텝 S306에서는, 프레임 부호량 할당 장치(1111)는, 식(26)에 의해, 지금부터 부호화하려고 하는 P픽처에 대한 부호량을 계산하고, 프레임 부호량 할당을 종료한다.
Tp = (1-margin_ratio)×R/Np … (26).
이 경우, margin_ratio의 분만큼 이 프레임에 대한 할당 부호량이 감소하기 때문에, 이 프레임의 화질 열화가 생각된다. 그러나, 화질 제어 장치(112)의 제어 에 의해, 고화질로 부호화된 프레임을 참조하여 움직임 예측이 가능하기 때문에, 할당 부호량이 다소 적어도, 움직임 예측의 성능이 개선한 분만큼, 화질의 열화를 억제할 수 있다.
스텝 S307에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 프레임이 I픽처인지의 여부를 판정한다. 부호화 대상 프레임이 I픽처이면 스텝 S308로 이행하고, 그렇지 않으면 스텝 S309로 이행한다.
스텝 S308에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 I픽처에 대한 부호량을 식(27)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Ti = R/(1+Np×Xp/Xi) … (27).
마찬가지로 스텝 S309에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 P픽처에 대한 부호량을 식(28)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tp = R/Np … (28).
이상의 부호량 할당에 의해, 멀티 프레임 움직임 예측에서의 움직임 예측의 자유도를 이용하여, 모든 프레임이 고화질로 부호화된 프레임을 참조할 수 있도록 된다. 이로써, 본 실시 형태에 의하면, 씬 전체의 움직임 예측의 효과가 개선되기 때문에, 동화상을 고화질로 부호화할 수 있다.
양자화 파라미터 갱신 장치(1112)는, 프레임 부호량 할당 장치(1111)에서 구하여진 각 프레임에 대한 할당 부호량(Ti, Tp)과 실제의 발생 부호량을 일치시키기 위해, 각 픽처 타입별로 설정한 가상 버퍼 용량에 의거하여, 양자화 파라미터를 매크로 블록 단위으로 피드백 제어한다. 도 11는, 양자화 파라미터의 갱신의 순서도이다.
우선 스텝 S401에서는, 양자화 파라미터 갱신 장치(1112)는, j번째의 매크로 블록의 부호화에 앞서서, 가상 버퍼의 점유량을 픽처 타입별로 식(29)에 의해 계산한다.
di, p(j) = di, p(0)+B(j-1)-Ti, p×(j-1)/MBcount … (29)
di, p(0)는 픽처 타입별의 가상 버퍼의 초기 점유량, B(j)는 프레임의 선두로부터 j번째의 매크로 블록까지의 발생 부호량, MBcount는 프레임 내의 매크로 블록의 수이다. 물론, I픽처용의 가상 버퍼의 초기 점유량은 di(0)이고, P픽처용의 dp(0)이다.
각 프레임의 부호화의 종료시에 있어서, 픽처 타입별의 가상 버퍼의 초기 점유량(di, p(MBcount))은, 다음의 화상에 대한 가상 버퍼의 초기 점유량(di, p(0))으로서 이용된다.
다음에 스텝 S402에서, 양자화 파라미터 갱신 장치(1112)는, j번째의 매크로 블록에 대한 양자화 스텝 사이즈를 식(30)에 의해 계산한다.
Qstep = Qi, p×di, p(j)×31/(10×r) … (30),
Qi, p = Xi, p/Ti, p … (31).
프레임 부호량 할당 장치(1111)의 제어에 의해, 고화질로 부호화되는 프레임의 할당 부호량(Ti, p)은 종래 방식보다도 커진다. 따라서, 식(31)로부터 알 수 있 는 바와 같이, 고화질화 프레임의 양자화 스텝 사이즈(Qi, p)는 작아지고, 프레임은 고화질로 부호화된다. 이 결과, 출력되는 비트스트림의 프레임의 평균 양자화 파라미터는, S의 프레임 간격으로 작은 값을 취한다.
r은 리액션 파라미터라고 불리는 피드백 루프의 응답 속도를 제어하는 파라미터이고, 식(32)으로 주어진다.
r = 2×bitrate/fram_rate … (32).
또한, 부호화의 시작시에 가상 버퍼의 초기 점유량(di, p(0))은, 픽처 타입마다, 식(33), (34)로 주어진다.
di(0) = 10×r/31 … (33),
dp(0) = Kp×di(0) … (34).
계속해서 스텝 S403에서, 양자화 파라미터 갱신 장치(1112)는, 양자화 스텝 사이즈(Qstep)에 대응하는 양자화 파라미터(Q)를 양자화 테이블로부터 검출한다. 양자화 테이블에, 대응하는 양자화 스텝 사이즈(Qstep)가 존재하지 않는 경우, 양자화 스텝 사이즈(Qstep)에 가장 가까운 양자화 스텝 값의 양자화 파라미터(Q)를 출력한다.
이상과 같이 하여, 제 1의 실시 형태의 동화상 부호화 장치는, 참조 프레임으로서 우선도가 높은 프레임을 고화질로 부호화함에 의해, 씬 전체의 움직임 예측의 효과를 개선하는 부호량 제어를 행하고 있다.
다음에, 본 발명의 제 2의 실시 형태의 동화상 부호화 장치를 설명한다. 도 12에 도시한 본 발명의 제 2의 실시 형태의 동화상 부호화 장치는, 도 4에 도시한 제 1의 실시 형태의 동화상 부호화 장치에 대해, 또한, 동화상의 해석을 행하는 동화상 해석 장치(113)를 더한 것이다. 동화상 해석 장치(113)는 프레임 차분 정보와 프레임 움직임 정보를 출력하고, 화질 제어 장치(112)는, 이 프레임 차분 정보와 프레임 움직임 정보도 이용하여, 화질 제어 정보를 생성한다. 그래서, 제 2의 실시 형태의 동화상 부호화 장치에 관해, 동화상 해석 장치(113) 및 화질 제어 장치(112)를 중점적으로 설명한다. 또한, 여기서는, 프레임을 부호화하는 픽처 타입으로서, I픽처와 P픽처를 이용하는 경우를 설명한다.
동화상 해석 장치(113)는, 입력 화상으로부터 프레임 차분 정보와 프레임 움직임 정보를 계산하고, 계산된 정보를 화질 제어 장치(112)에 공급하는 것으로서, 도 13에 도시한 바와 같이, 입력 프레임 버퍼(1131)와 움직임 검출 장치(1132)에 의해 구성되어 있다.
입력 프레임 버퍼(1131)는, 입력 동화상 프레임의 N매를 먼저(先) 판독하고, 각 프레임에 승순(昇順)으로 번호를 할당하고, 프레임을 축적한다. 먼저 판독한 프레임의 매수(N)는 임의이지만, 예로서, MPEG에서 이용되는 GOP 간격 등을 N으로서 이용하는 것이 고려된다.
움직임 검출 장치(1132)는, 입력 프레임 버퍼(1131)에 축적된 프레임으로부터, 각 프레임의 프레임 움직임 정보와 프레임 차분 정보를 계산한다. 이하, 도 14를 참조하여 움직임 검출 장치(1132)의 동작을 설명한다. 움직임 검출 장치(1132)는, 먼저 판독한 각 프레임에 대해, 도 14에 도시한 각 스텝의 처리를 행한다.
우선, 스텝 S501에서, 움직임 검출 장치(1132)는, 프레임을 프레임 사이즈(W ×H)보다도 작은 w×h사이즈의 블록으로 분할하고, 스텝 S502에서, 프레임을 구성하는 블록의 블록 움직임 정보(MVX, MVY)와 블록 차분 정보(D)를 이하의 처리에 의해 계산한다.
cur번째의 프레임의 좌표(x, y)에서의 화소치를 F(cur, x, y)로 하고, cur번째의 프레임의 분할한 k번째 블록을 B(cur, k)으로 하고, B(cur, k)의 좌상각(角)의 프레임 내에서의 좌표를 (bx(cur, k), by(cur, k))로 한다.
cur번 프레임의 블록(B(cur, k))의, 그 프레임으로부터 ref매(枚)만큼 과거의 프레임 즉 (cur-ref)번 프레임에 대한 블록 움직임 정보(MVX(cur, k, ref), MVY(cur, k, ref))와 차분 정보(D(cur, k, ref))는, 식(35)의 diff(ref, mvx, mvy)를 최소로 하는 mvx, mvy와, 그 최소의 diff(ref, MVX(cur, k, ref), MVY(cur, k, ref))에 의해 주어진다.
[수식 1]
Figure 112006051600215-pct00001
cur_pixel(i, j) = F(cur, bx(cur, k)+i, by(cur, k)+j) … (36),
ref_pixel(ref, i, j) = F(cur-ref, bx(cur, k)+i, by(cur, k+j)) … (37)
그러면 스텝 S503에서, 움직임 검출 장치(1132)는, 블록 움직임 정보(MVX, MVY)와 블록 차분 정보(D)로부터, 프레임 움직임 정보와 프레임 차분 정보를 계산한다.
프레임 내의 블록의 수를 block_num로 하면, i번째 프레임의 i-j번째 프레임 에 대한 프레임 움직임 정보(FMVj(i)) 및 프레임 차분 정보(FDj(i))는, 식(38), (39)에 의해 주어진다.
[수식 2]
Figure 112006051600215-pct00002
움직임 검출 장치(1132)는, 이상의 처리를 각 입력 프레임(i)(1 ≤ i ≤ N-1) 및 각 참조 프레임(ref)(1 ≤ ref ≤ MAX_REF)에 관해 행하고, 모든 인력 프레임과 참조 프레임 사이의 프레임 차분 정보와 프레임 움직임 정보를 계산한다.
화질 제어 장치(112)는, 도 15에 도시한 바와 같이, 화질 판정 장치(1121)와 화질 제어 카운터(1122)에 의해 구성된다. 화질 제어 장치(112)가 공급하는 화질 제어 정보는, 고화질화 플래그, 잔여 고화질화 프레임 수 및 잔여 고화질화 프레임 번호이다. 본 실시 형태에서의 화질 제어 장치(112)와 상술한 제 1의 실시 형태의 화질 제어 장치(112)는, 화질 판정 장치(1121)의 동작에 관해 다르다. 그래서, 이하에서는, 이 제 2의 실시 형태에서의 화질 판정 장치(1121)의 동작을 설명한다.
화질 판정 장치(1121)는, 동화상 해석 장치(112)에 의해 공급되는 프레임 차분 정보와 프레임 움직임 정보로부터, 고화질화 플래그, 고화질화 프레임 수 및 고품질화 프레임 번호를 계산한다. 고화질화 플래그는, 부호량 제어 장치(111)에 대해 출력되고, 고화질화 프레임 수와 고품질화 프레임 번호는 화질 제어 카운 터(1122)에 출력된다. 이하, 도 16을 참조하여, 본 실시 형태에서의 화질 판정 장치(1121)의 동작을 설명한다.
우선, 스텝 S601에서, 화질 판정 장치(1121)는, 각 프레임(i)과 그 참조 프레임(j)에 관해, 식(40)을 이용하여, 프레임 사이 코스트(IFC(i))를 계산한다. α는 프레임의 평균 양자화 파라미터에 의존하는 값이다.
IFCj(i) = FDj(i)+α×FMVj(i) … (40),
[수식 3]
Figure 112006051600215-pct00003
다음에 스텝 S602에서, 화질 판정 장치(1121)는, 최소 프레임 사이 코스트(MIN_IFC(i))(1 ≤ i ≤ N-1)를 식(41)을 이용하여 계산하고, 이에 대응하는 최량 참조 프레임(BEST_REF(i))을 구한다. 여기서, MAX_REF는, 부호화 대상 프레임과 멀티 프레임 예측에서 참조할 수 있는 가장 과거의 프레임과의 간격이다.
스텝 S603에서, 화질 판정 장치(1121)는, 모든 프레임의 BEST_REF(i)(1 ≤ i ≤ N-1)가 1인지를 판정한다. 도 17A에 도시된 바와 같이 모든 프레임의 BEST_REF(i)가 1이면, N매의 해석 구간에 씬 체인지나 플래시 등의 순간적(瞬時的)인 화상의 변동이 없는 연속한 씬이라고 예측된다. 이에 대해, 도 17B에 도시한 바와 같이 BEST_REF(i)가 1이 아닌 프레임이 존재하는 경우는, N매의 해석 구간중에 씬 체인지나 플래시 등이 존재하는 불연속 씬이라고 예측된다. 그래서, 스텝 S603에서 모든 BEST_REF(i)가 1이면 스텝 S604로 이행하고, 그렇지 않으면, 고화질화 플래그를 오프로 하고, 고화질화 프레임 수를 0으로 하고, 처리를 종료한다.
스텝 S604에서, 화질 제어 장치(112)는, 모든 프레임의 MIN_IFC(i)(==IFC1(i))로부터, 평균 프레임 사이 코스트(AVERAGE_IFC), 프레임 사이 코스트 상한(IFC_LOWER_LIMIT) 및 프레임 사이 코스트 하한(IFC_UPPER_LIMIT)을 식(42) 내지 (44)에 의해 계산한다. 여기서 margin_ratio는 1 이하의 값이다.
[수식 4]
Figure 112006051600215-pct00004
IFC_UPPER_LIMIT = (1+margin_ratio)×AVERAGE_IFC … (43).
IFC_L0WER_LIMIT = (1-margin_ratio)×AVERAGE_IFC … (44).
그 후 스텝 S605에서, 화질 제어 장치(112)는, 모든 프레임의 MIN_IFC(i)(1 ≤ i ≤ N-1)가, IFC_LOWER_LIMIT와 IFC_UPPER_LIMIT 사이의 범위 내에 있는지를 해석한다. N-1매의 모든 화상 프레임의 MIN_IFC(i)가 상기한 범위내에 있다면, 도 18A에 도시한 바와 같이, 프레임 사이 예측의 곤란도는 안정하게 되고, 그렇지 않으면, 도 18B에 도시한 바와 같이, 불안정하게 된다.
따라서, 화질 제어 장치(112)는, 스텝 S605에서 모든 프레임의 MIN_IFC(i)가 상기한 범위내에 있으면 고화질화 플래그를 온으로 하고 스텝 S606으로 이행하고, 그렇지 않으면 고화질화 플래그를 오프로 하고, 고화질화 프레임 수를 0으로 하고, 이후의 처리를 종료한다.
스텝 S606에서는, 화질 제어 장치(112)는, GOP마다 또는 씬마다 설정하는 최 대 고화질화 프레임 간격을 SS로 하여, 이하에서 기술하는 처리에 의해, 고화질로 부호화하는 프레임 간격(S)를 SS의 범위에서 적응적으로 계산한다. 여기서 최대 고화질화 프레임 간격(SS)은, 부호화 대상 프레임과 멀티 프레임 예측에서 가장 과거에 참조할 수 있는 프레임의 간격 이하의 값으로서, 움직임의 속도나 동화상 압축 후에서의 프레임레이트에 의해, 적절하게 설정된다.
IFC_UPPER_LIMIT를 초과하지 않는 연속한 프레임의 수를 s_frame으로 하고, 직전에 고화질로 부호화한다고 판정한 프레임 번호를 prev_fnum으로 하고, 화질 판정 처리중의 프레임의 번호를 i로 하고, 도 19를 참조하여, 고화질화 프레임 수(HQ_num)와 고화질화 프레임 번호(HQ_frame_num[N-1])의 계산방법의 예를 나타낸다. 단, s_frame의 초기치는 1이고, prev_fnum의 초기치는 0이고, i의 초기치는 2이고, HQ_num의 초기치는 0이다.
도 19는, 스텝 S606에서의 처리를 더욱 상세히 도시하고 있다.
우선, 스텝 S701에서, 화질 제어 장치(112)는, IFCs_frame+1(i)가, IFC_UPPER_LIMIT보다도 큰지의 여부를 판정하고, 크면 스텝 S702로 이행하고, 그렇지 않으면 스텝 S703으로 이행한다.
스텝 S702에서는, 화질 제어 장치(112)는, 식(45)에 의거하여 고화질화 프레임 번호를 구하고, prev_fnum, HQ_num 및 s_frame을 식(46) 내지 (48)에 의해 갱신하고, 스텝 S706으로 이행한다.
HQ_frame_num[hp_num] = prev_fnum+s_frame … (45),
prev_fnum = HQ_frame_num[hp_num] … (46),
HQ_fnum = HQ_fnum+1 … (47),
s_frame = 1 … (48).
스텝 S703에서는, 화질 제어 장치(112)는, s_frame이 SS-1에 동등한지를 판정하고, 동등하면 스텝 S704로 이행하고, 동등하지 않으면 스텝 S705로 이행한다.
스텝 S704에서는, 화질 제어 장치(112)는, s_frame = SS으로 하여, 식(45)보다 고화질화 프레임 번호를 구하고, prev_fnum, HQ_num 및 s_frame을 식(46)(48)에 따라 갱신하고, 프레임 번호(i)를 1증가 한다. 그 후, 스텝 S706으로 이행한다.
스텝 S705에서는, 화질 제어 장치(112)는, s_frame을 1증가하고, 스텝 S706으로 이행한다.
스텝 S706에서는, 화질 제어 장치(112)는, 처리 대상의 프레임 번호(i)를 1증가하여, i가 먼저 판독한 프레임 수(N)보다 작은지를 판정하고, 작으면 스텝 S701로 되돌아가고, 그렇지 않으면 처리를 종료한다.
이상의 처리에 의해, 모든 부호화 대상 프레임이, 반드시 고화질로 부호화된 프레임을 참조하여, 움직임 예측 가능해진다. 또한, 상술한 화질 판정 처리에 의해 얻어진 HQ_num이 N-1과 동등한 때, 즉 모든 프레임을 고화질로 부호화한다고 판정한 경우에는, HQ_num을 0으로 리셋하고, 고화질화 플래그를 오프, 고화질화 프레임 수를 0으로 한다.
N = 15, REF_NUM = 3, 0번째의 선두 프레임이 I픽처인 경우에, 상술한 고화질 부호화 프레임 판정을 실행한 예를 도 20에 도시한다. 본 실시 형태에 의하면, 고화질로 부호화된 프레임 간격(S)이, 적응적으로 갱신된 것을 알 수 있다.
이와 같이 이 제 2의 실시 형태에서는, 동화상 해석 장치(113)를 마련하고, GOP 중에서의 씬 체인지나 플래시 등의 순간적인 화상의 변동, 즉 연속하는 프레임 사이의 화소 상관(相關)의 급격한 저하나, 씬의 부호화 곤란도가 큰 변동의 영향 등을 고려하여, 고화질로 부호화하는 프레임을 정확하게 선택할 수 있다. 이 결과, 본 실시 형태에 의하면, 더욱 동화상을 고화질로 부호화할 수 있다.
또한, 고화질로 부호화되는 프레임의 선택의 방법은, 상술한 것으로 한정되지 않는다. 예를 들면, 프레임 사이 코스트(IFC(i))를 이용한 간단한 실시 형태로도 실현할 수 있다. 예를 들면, 부호화 대상 프레임과 멀티 프레임 예측에서 참조할 수 있는 가장 과거의 프레임과의 간격이 MAX_REF일 때에, 직전에 고화질화된 고화질 프레임 번호(R_HQ_frame_num)를 참조 프레임의 하나로 하고, m ≤ MAX_REF인 프레임 번호(R_HQ_frame_num+m) 중에서, 고화질 참조 프레임에 대한 프레임 사이 코스트(IFC(i))가 미리 정한 임계치보다 작고, 또한 가장 큰 m에 대응하는 프레임을, 다음의 고화질화 프레임으로 정할 수 있다.
다음에, 본 발명의 제 3의 실시 형태의 동화상 부호화 장치를 설명한다. 제 3의 실시 형태에서는, 프레임을 부호화하는 픽처 타입으로서, I픽처, P픽처 및 B픽처를 이용한다. 제 3의 실시 형태의 동화상 부호화 장치는, 제 1의 실시 형태의 동화상 부호화 장치와 같은 구성을 갖지만, B픽처를 이용하여 부호화를 행하기 때문에, 화질 제어 장치(112) 및 부호량 제어 장치(111)의 동작이 제 1의 실시 형태의 경우와 다르다. 이하, 제 3의 실시 형태에서의 화질 제어 장치(112)와 부호량 제어 장치(111)의 동작을 설명한다.
화질 제어 장치(112)는, 제 1의 실시 형태의 경우와 마찬가지로 화질 판정 장치(1121)와 화질 제어 카운터(1122)에 의해 구성된다. 화질 제어 장치(112)는, 부호량 제어 장치(111)에 대해, 화질 제어 정보로서 고화질화 플래그, 잔여 고화질화 프레임 수, 잔여 고화질화 프레임 번호를 공급하지만, 이 중에 잔여 고화질화 프레임 수 및 잔여 고화질화 프레임 번호에 관해서는 제 1의 실시 형태에서는 P픽처 프레임에 관한 것이였음에 대해, 제 3의 실시 형태에서는, B픽처 프레임에 관한 것이다. 이 때문에, 제 3의 실시 형태에서는, 화질 제어 장치(112)에서의 화질 판정 장치(1121)의 동작만이, 제 1의 실시 형태와는 다르다.
그래서, 도 21을 이용하여, 제 3의 실시 형태에서의 화질 판정 장치(1121)의 동작을 설명한다.
GOP에 포함되는 프레임의 매수를 N으로 하고, 화질 판정 처리중의 프레임의 번호를 i로 하여, 도 21을 참조하여, 고화질화 프레임 수(HQ_num)와 고화질화 프레임 번호(HQ_frame_num[HQ_num])의 계산 순서를 설명한다. i의 초기치는 1이고, HQ_num의 초기치는 0이다.
우선, 스텝 S801에서, 화질 판정 장치(1121)는, 현재의 해석 대상인 i번째의 프레임의 부호화 타입이 B픽처인지의 여부를 판정한다. B픽처이면 스텝 S802로 이행하고, 그렇지 않으면 스텝 S804로 이행한다.
스텝 S802에서는, 화질 판정 장치(1121)는, 계속되는 i+1번째의 프레임의 부호화 타입이 B픽처인지의 여부를 판정한다. B픽처이면 스텝 S803으로 이행하고, 그렇지 않으면 스텝 S804로 이행한다.
스텝 S803에서는, 화질 판정 장치(1121)는, 식(49)에 의거하여 현재의 i번째의 프레임을 고화질로 부호화하는 프레임으로서 기억하고, 고화질화 프레임 수를 식(50)에 의해 갱신한다.
HQ_frame_num[HQ_num] = i … (49),
HQ_num = HQ_num+1 … (50).
스텝 S804에서는, 화질 판정 장치(1121)는, 처리 대상의 프레임 번호(i)을 1증가하여, N보다 작은지를 판정하고, 작으면 스텝 S801로 되돌아가고, 그렇지 않으면 처리를 종료한다.
화질 판정 장치(1121)는, 이상의 처리를 완료한 후 HQ_num이 1 이상이면 고화질화 플래그(HQ_flg)를 온으로 하고, 그렇지 않으면 오프로 한다.
이상의 처리에 의해, 피참조이면서 B픽처로서 부호화되는 프레임을 고화질 프레임 번호로 할 수 있다. 즉, 참조 프레임을 고화질로 부호화할 수 있다. 도 22는, 이와 같은 처리에 의해, 고화질로 부호화되는 B픽처의 예를 도시하고 있다.
부호량 제어 장치(111)는, 제 1의 실시 형태의 경우와 마찬가지로, 프레임 부호량 할당 장치(1111)와 양자화 파라미터 갱신 장치(1112)에 의해 구성되어 있다. 제 3의 실시 형태에서의, 부호량 제어 장치(111)에서의 프레임 부호량 할당 장치(1111)와 양자화 파라미터 갱신 장치(1112)의 동작을 설명한다.
프레임 부호량 할당 장치(1111)는, 화질 제어 장치(112)로부터 공급되는 화질 제어 정보의 고화질화 제어 플래그, 잔여 고화질화 프레임 수(R_HQ_num) 및 잔여 고화질화 프레임 번호(R_HQ_frame_num)를 이용하여, 프레임 부호량 할당을 행한 다.
목표 부호량(Ti, Tp, Tb)을 픽처 타입별의 목표 부호량으로 하고, R을 GOP 내에서 아직 부호화되지 않은 프레임에 대해 할당되는 부호량으로 하고, Np 및 Nb를 GOP 내에서 아직 부호화되지 않은 P 및 B픽처의 매수로 하고, Xi, Xp, Xb을 최후에 부호화한 각 화상의 화면의 복잡도로 하고, Kp와 Kb를 픽처 타입별의 주관 화질을 고려한 파라미터로 한다. 도 23은, 제 3의 실시 형태에서의 프레임 부호량 할당 장치(1111)의 동작을 도시하고 있다.
우선, 스텝 S901에서, 프레임 부호량 할당 장치(1111)는, 화질 제어 장치(112)로부터 공급되는 고화질 플래그(HQ_flg)가 온인지 오프인지를 판정한다. 고화질 플래그 HQ_flg가 온이면 스텝 S902로 이행하고, 오프이면 스텝 S908로 이행한다.
스텝 S902에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 프레임의 픽처 타입을 판정한다. I픽처이면 스텝 S903으로 이행하고, P픽처이면 스텝 S904로 이행하고, 그 이외이면, 즉 B픽처이면, 스텝 S905로 이행한다.
스텝 S903에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화 사용으로 하는 I픽처에 대한 부호량을 식(51)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Ti = R/(1+Np×Xp/(Kp×Xi)+Nb×Xb/(Kb×Xi))+additional_Ti … (51).
additional_Ti = residu_bit3×Xi/Xgop4 … (52), .
residu_bit3 = (margin_ratio×R×(Nb-R_HQ_num)×Xb)/(Kb×Xgop3) … (53),
Xgop3 = Xi+Np×Xp/Kp+Nb×Xb/Kb … (54),
Xgop4 = Xi+Np×Xp/Kp+(Nb-R_HQ_num)×Xb/Kb … (55).
이 경우, 종래 기술에 비하여, additional_Ti에 대응하는 분만큼 많은 비트 수가 이 I프레임에 할당되기 때문에, 이 프레임의 화질은 개선한다. 이 결과, 이 프레임을 참조하는 프레임의 움직임 예측 효과도 개선한다.
스텝 S904에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 P픽처에 대한 부호량을 식(56)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tp = R/(Np+Nb×Kp×Xb/(Kb×Xp))+additional_Tp … (56),
additional_Tp = residu_bit4×Xp/(Kp×Xgop6) … (57),
residu_bit4 = (margin_ratio×R×(Nb-R_HQ_num)×Xb)/(Kb×Xgop5) … (58),
Xgop5 = Np×Xp/Kp+Nb×Xb/Kb … (59),
Xgop6 = Np×Xp/Kp+(Nb-R_HQ_num)×Xb/Kb … (60).
이 경우도, 종래 기술에 비하여, additional_Tp의 분만큼 많은 비트 수가 이 P프레임에 할당되기 때문에, 이 프레임의 화질은 개선한다. 이 결과, 이 프레임을 참조하는 프레임의 움직임 예측 효과도 개선한다.
스텝 S905에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 B픽처의 프레임 번호(coding_frame_num)가, 화질 제어 장치(112)로부터 공급되는 잔여 고화질 프레임 번호(R_HQ_frame_num)와 동기하는지를 판정한다. 동기하면 스텝 S906으로 이행하고, 그렇지 않으면 스텝 S907로 이행한다.
스텝 S906에서는, 프레임 부호량 할당 장치(1111)는, 식(61)에 의해, 지금부터 부호화하려고 하는 B픽처에 대한 부호량을 계산하고, 프레임 부호량 할당을 종료한다.
Tb = R/(Nb+Np×Kb×Xp/(Kp×Xb))+additional_Tb … (61),
additional_Tb = residu_bit4×Xb/(Kb×Xgop6) … (62).
이 경우도, 종래 방식에 비하여, additional_Tb의 분만큼 많은 비트 수가 이 B프레임에 할당되기 때문에, 이 프레임의 화질은 개선한다. 이 결과, 이 프레임을 참조하는 프레임의 움직임 예측 효과도 개선한다.
스텝 S907에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 B픽처에 대한 부호량을 식(63)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tb = (1-margin_ratio)×R/(Nb+Np×Kb×Xp/(Kp×Xb)) … (63)
이 때, margin_ratio의 분만큼 이 B프레임에 대한 할당 부호량이 감소하기 때문에, 이 프레임의 화질 열화가 생각된다. 그러나, 화질 제어 장치(112)의 제어에 의해, 고화질로 부호화된 I, P, B프레임을 참조하여 움직임 예측이 가능하기 때문에, 할당 부호량이 다소 적어도, 움직임 예측의 성능이 개선한 분만큼, 화질의 열화를 억제할 수 있다.
스텝 S908에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 프레임의 픽처 타입을 판정한다. I픽처이면 스텝 S909로 이행하고, P픽처이면 스텝 S910로 이행하고, 그 이외이면, 즉 B픽처이면, S911로 이행한다.
스텝 S909에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 I픽처에 대한 부호량을 식(64)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Ti = R/(1+Np×Xp/(Kp×Xi)+Nb×Xb/(Kb×Xi)) … (64).
스텝 S910에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하려고 하는 P픽처에 대한 부호량을 식(65)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tp = R/(Np+Nb×Kp×Xb/(Kb×Xp)) … (65).
스텝 S911에서는, 프레임 부호량 할당 장치(1111)는, 지금부터 부호화하는 B픽처에 대한 부호량을 식(66)에 의해 계산하고, 프레임 부호량 할당을 종료한다.
Tb = R/(Nb+Np×Kb×Xp/(Kp×Xb)) … (66).
이상의 부호량 할당에 의해, 참조 프레임으로서 우선도가 낮다 B픽처 프레임에 여분의 부호량을 할당하는 일 없이, 다른 프레임으로부터 참조됨과 함께 I, P, B픽처로서 부호화되는 프레임을 고화질로 부호화할 수 있다. 이 결과, 모든 프레임이 고화질로 부호화된 프레임으로부터 움직임 예측 가능해지고, 동화상을 고화질로 부호화할 수 있다.
양자화 파라미터 갱신 장치(1112)는, 프레임 부호량 할당 장치(1111)에서 구하여진 각 프레임에 대한 할당 부호량(Ti, p, b)과 실제의 발생 부호량을 일치시키기 위해, 각 픽처 타입별로 설정한 가상 버퍼 용량을 기초로, 양자화 파라미터를 매크로 블록 단위의 피드백 제어로 구한다. 이 양자화 파라미터 갱신 장치(1112)의 동작은, 제 1의 실시 형태의 경우와 같지만, 픽처 타입별의 변수명(變數名)에 대응시키기 위해, 도 11의 순서도를 참조하여, 각 스텝의 동작을 이하에서 설명한다.
스텝 S401에서는, 양자화 파라미터 갱신 장치(1112)는, j번째의 매크로 블록의 부호화에 앞서서, 가상 버퍼의 점유량을 픽처 타입별로 식(67)에 의해 계산한다.
di, p, b(j) = di, p, b(0)+B(j-1)-Ti, p, b×(j-1)/MBcount … (67).
di, p, b(0)는 가상 버퍼의 초기 점유량, B(j)는 프레임의 선두부터 j번째의 매크로 블록까지의 발생 부호량, MBcount는 프레임 내의 매크로 블록의 수이다. 각 프레임의 부호화 종료시에 있어서, 픽처 타입별의 가상 버퍼의 초기 점유량(di, p, b(MBcount))은, 다음의 픽처에 대한 가상 버퍼의 초기 점유량(di, p, b(0))으로서 이용된다.
스텝 S402에서는, 양자화 파라미터 갱신 장치(1112)는, j번째의 매크로 블록에 대한 양자화 스텝 사이즈를 식(68)에 의거하여 계산한다.
Qstep = Qi, p, b×di, p, b(j)×31/(10×r) … (68),
Qi, p, b = Xi, p, b/Ti, p, b … (69).
프레임 부호량 할당 장치(1111)의 제어에 의해, 고화질로 부호화된 프레임의 할당 부호량(Ti, p, b)은, 종래의 방식보다도 커지고, 거칠게 부호화되는 B픽처 부호량(Tb)은, 종래의 방식보다도 작아진다. 식(69)으로부터, 고화질로 부호화되는 B픽처 프레임의 양자화 스텝 사이즈(Qb)는 작아지고, 거칠게 부호화되는 B픽처 프레임의 양자화 스텝 사이즈(Qb)는 커진다. 즉, 참조 프레임으로서 우선도가 높은 B픽 처 프레임은, 참조 프레임으로서 우선도가 낮은 B픽처 프레임보다도 고화질로 부호화된다.
r은 반응 파라미터라고 불리는 피드백 루프의 응답 속도를 제어하는 파라미터이고, 식(70)으로 주어진다.
r = 2×bitrate/frame_rate … (70).
또한, 부호화의 시작시에 있어서의 가상 버퍼의 초기 점유량(di, p(0))은, 식(71) 내지 (73)으로 주어진다.
di(0) = 10×r/31 … (71),
dp(0) = Kp×di(0) … (72),
db(0) = Kb×di(0) … (73).
스텝 S403에서는, 양자화 파라미터 갱신 장치(1112)는, 양자화 스텝 사이즈(Qstep)에 대응하는 양자화 파라미터(Q)를 양자화 테이블로부터 검출한다. 양자화 테이블에, 대응하는 양자화 스텝 사이즈(Qstep)가 존재하지 않는 경우에는, 양자화 파라미터 갱신 장치(1112)는, 양자화 스텝 사이즈(Qstep)에 가장 가까운 양자화 스텝 값의 양자화 파라미터(Q)을 출력한다.
다음에, 본 발명의 제 4의 실시 형태의 동화상 부호화 장치를 설명한다. 제 4의 실시 형태에서는, 프레임을 부호화하는 픽처 타입으로서, I픽처, P픽처 및 B픽처를 이용한다. 제 4의 실시 형태의 동화상 부호화 장치는, 제 2의 실시 형태의 동화상 부호화 장치와 같은 구성을 갖지만, B픽처를 이용하여 부호화를 행하기 때문에, 화질 제어 장치(112) 및 부호량 제어 장치(111)의 동작이 제 2의 실시 형태의 경우와 다르다. 이 중, 부호량 제어 장치(111)의 동작은, 제 3의 실시 형태에서의 부호량 제어 장치(111)와 같다. 따라서, 이하에서는, 본 실시예에서의 화질 제어 장치(112)를 설명한다.
화질 제어 장치(112)는, 제 3의 실시 형태의 경우와 마찬가지로, 화질 판정 장치(1121)와 화질 제어 카운터(1122)에 의해 구성된다. 제 4의 실시 형태의 화질 제어 장치가 제 3의 실시 형태의 화질 제어 장치와 다른 점은, 동화상 해석 장치(112)로부터 공급되는 프레임 차분 정보와 프레임 움직임 정보에 의한 화질 판정 장치(1121)의 동작이 변한 것이다. 도 24를 이용하여, 제 4의 실시 형태에서의 화질 판정 장치(1121)의 동작을 설명한다.
GOP의 프레임 매수를 N으로 하고, 화질 판정 처리중의 프레임의 번호를 i로 하고, 도 24를 참조하여, 고화질화 프레임 수(HQ_num)와 고화질화 프레임 번호(HQ_frame_num[HQ_num])의 계산방법을 설명한다. i의 초기치는 1이고, HQ_num의 초기치는 0이다.
우선, 스텝 S1001에서, 화질 판정 장치(1121)는, 각 프레임(i)과 그 참조 프레임(1)에 관해, 동화상 해석 장치(113)가 공급하는 프레임 차분 정보(FDI(i))와 프레임 움직임 정보(FMV1(i))를 이용하여 식(40)으로부터 프레임 사이 코스트(IFC1(i))를 계산한다. 또한, 화질 판정 장치(1121)는, 식(42)의 MIN_IFC(i)에 관해 MIN_IFC(i) = IFC1(i)가 성립되는 것으로 하여, 식(42) 내지 (44)에 의거하여, IFC_UPPER_LIMIT 및 IFC_LOWER_LIMIT를 구한다. 그리고 나서, 화질 판정 장치(1121)는, 모든 IFC1(i)가 IFC_LOWER_LIMIT < IFC1(i) < IFC_UPPRE_LIMIT인지를 판정한다. 모든 IFC1(i)가 상기 범위내에 있으면 i = 1로 하고 S1002로 이행하고, 그렇지 않으면 처리를 종료한다.
스텝 S1002에서는, 화질 판정 장치(1121)는, 현재의 해석 대상인 i번째의 프레임의 부호화 타입이 B픽처인지의 여부를 판정한다. B픽처이면 스텝 S1003으로 이행하고, 그렇지 않으면 스텝 S1005로 이행한다.
스텝 S1003에서는, 화질 판정 장치(1121)는, 계속되는 i+1번째의 프레임의 부호화 타입이 B픽처인지의 여부를 판정한다. B픽처이면 스텝 S1004로 이행하고, 그렇지 않으면 스텝 S1005로 이행한다.
스텝 S1004에서는, 화질 판정 장치(1121)는, 식(49)에 의거하여, 현재의 i번째의 프레임을 고화질화 프레임 번호(HQ_frame_num[HQ_num])로서 기억하고, 고화질화 프레임 수(HQ_num)를 식(50)에 의해 갱신한다.
스텝 S1005에서는, 화질 판정 장치(1121)는, 처리 대상의 프레임 번호(i)를 1증가하여, 프레임 수(N)보다 작은지를 판정하고, 작으면 스텝 S1002로 되돌아가고, 그렇지 않으면 처리를 종료한다.
화질 판정 장치(1121)는, 이상의 처리를 완료한 후 HQ_num이 1 이상이면 고화질화 플래그 HQ_flg를 온으로 하고, 그렇지 않으면 오프로 한다.
본 실시 형태에서도, 동화상 해석 장치(113)를 구비하고 있음에 의해, GOP 중에 씬 체인지나 플래시 등의 순간적인 화상의 변동이 있은 경우나, 씬의 부호화 곤란도의 큰 변동의 영향을 고려하여, 고화질로 부호화하는 B픽처 프레임을 정확하게 선택할 수 있다. 이 결과, 더욱 동화상을 고화질로 부호화할 수 있다.
다음에, 본 발명의 제 5의 실시 형태를 설명한다. 이상 설명한 본 발명에 의거한 동화상 부호화 장치는, 이상의 설명으로부터도 분명한 바와 같이, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 25는, 본 발명의 제 5의 실시 형태에서의 정보 처리 시스템을 도시한 것으로서, 본 발명에 의거한 동화상 부호화 장치을 구현한 정보 처리 시스템의 일반적인 구성을 도시하고 있다.
이 정보 처리 시스템은, 프로세서(210), 프로그램 메모리(주(主)메모리)(202), 기억 매체(203, 204)로 이루어진다. 기억 매체(203, 204)는, 별개의 기억 매체라도 좋고, 동일한 기억 매체에서의 다른 기억 영역이라도 좋다. 기억 매체로서는, 하드디스크의 자기 기억 매체 등을 이용할 수 있다.
그리고, 상술한 동화상 부호화 처리를 정보 처리 시스템에 실행시키기 위한 프로그램을 프로그램 메모리(202)에 격납하고, 그 프로그램을 프로세서(210)가 실행함에 의해, 이 정보 처리 시스템은 상술한 동화상 부호화 장치으로서 기능하게 된다. 입력 동화상 데이터는 기억 매체(203)에 미리 격납되어 있고, 부호화 후의 비트스트림은, 기억 매체(204)에 격납된다.
따라서 본 발명의 범주에는, 본 발명에 의거한 동화상 부호화 처리를 컴퓨터에 실행시키기 위한 프로그램, 또는 그러한 프로그램을 격납한 컴퓨터 판독 가능한 기억 매체, 나아가서는 그러한 프로그램으로 되는 프로그램 제품도 포함된다.
본 발명의 컴퓨터 프로그램은, 예를 들면, 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 동화상 부호화를 실행하는 컴퓨터에,
동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 1매의 참조 프레임을 선택하는 처리,
선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램이다.
또는, 본 발명의 컴퓨터 프로그램은, 예를 들면, 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 동화상 부호화를 실행하는 컴퓨터에,
참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보를 구하는 처리,
차분 정보 및 움직임 정보에 의거하여, 선택되는 참조 프레임의 간격이 적응적으로 변화하도록, 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 하나의 참조 프레임을 선택하는 처리,
선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램이다.
다음에, 본 발명의 제 6의 실시 형태로서, 예를 들면 상술한 제 1 내지 제 5의 실시 형태의 동화상 부호화 장치에 의해 부호화된 동화상 데이터 또는 동화상 비트스트림이 입출력되는 입출력 장치에 관해 설명한다. 여기서는, 동화상 데이터(동화상 비트스트림)가 입출력되는 입출력 장치의 예로서, 제 1의 실시 형태 또는 제 2의 실시 형태에 의거하여 생성된 동화상 부호화 비트스트림을 입력으로 하는 수신기를 설명하지만, 본 발명에 의거한 입출력 장치는 이것으로 한정된 것이 아니라, 동화상 데이터가 입출력되는 프레임 싱크로나이저나, 비디오 등의 녹화 장치 등이라도 좋다.
도 26에 도시한 바와 같이, 수신기는, 비디오 디코더(115)와 참조 프레임 화질 감시 장치(116)를 구비하고 있다. 비디오 디코더(115)는, 도 1에 도시한 종래의 동화상 부호화 장치와 쌍을 이루고 사용되는 종래의 동화상 복화 장치와 마찬가지의 것이다. 즉 비디오 디코더(115)는, 도 1에 도시한 동화상 부호화 장치중의 국소적 복호 장치를 구성하는 역양자화 장치(104), 역주파수 변환 장치(105), 프레임 메모리(106), 프레임 내 예측 장치(107), 움직임 보상 장치(108) 및 버퍼(110)로 구비되어 있다. 또한, 비디오 디코더(115)는, 가변 길이 복호 장치(114)를 구비하고 있다. 비디오 디코더(115)에 있어서의 이들 구성 요소의 기능은, 가변 길이 복호 장치(114)를 제외하면, 도 1에 도시한 종래의 동화상 부호화 장치에서의 것과 동등하다.
비디오 디코더(115)에 입력하는 비디오 비트스트림은, 동화상 부호화 장치에 의해, 원래의 입력 화상을 복수의 블록으로 분할하고, 이들의 블록으로부터 프레임 내 예측 장치 또는 움직임 보상 장치에 의해 예측치가 줄여진 예측 오차 신호를 주파수 변환하고 양자화하여 얻은 변환 계수, 및 예측치를 생성하기 위한 움직임 벡터 및 참조 프레임 등이 가변 길이 복호된 부호열(列)을 주된 구성 요소로 한다.
가변 길이 복호 장치(114)는, 수신한 비디오 비트스트림을 축적하는 버퍼(110)로부터 공급되는 가변 길이 부호을 원래의 수치로 복호한다. 복호된 수치에는. 변환 계수, 양자화 파라미터, 픽처 타입, 움직임 벡터 및 참조 프레임 등이 포함된다.
역양자화 장치(104)는, 양자화 파라미터를 이용하여 변환 계수를 역양자화하고, 역양자화 변환 계수를 생성한다. 역주파수 변환 장치(105)는, 역양자화 변환 계수를 역주파수 변환하여, 예측 오차 신호를 생성한다. 이 예측 오차 신호에는, 프레임 내 예측 장치(107) 또는 움직임 보상 장치(108)로부터 공급되는 예측치가 가산기(132)에 의해 가하여져서, 복호 화상을 얻을 수 있다. 프레임 내 예측 장치(107) 및 움직임 보상 장치(108)의 어느 것으로부터의 예측치가 사용되는지는, 스위치(131)에 의해 선택할 수 있다. 이들의 처리를 비디오 디코더가 반복함으로써, 복호 화상을 얻을 수 있다. 또한, 이와 같이 얻어진 복호 화상은, 재구축 화상으로서 프레임 메모리(106)에 격납되고, 프레임 내 예측 장치(107), 움직임 보상 장치(108) 및 움직임 추정 장치(109)에 의한 예측치의 생성에 이용된다.
다음에, 참조 프레임 화질 감시 장치(114)의 동작에 관해 설명한다.
참조 프레임 화질 감시 장치(114)는, 비디오 디코더(115)로부터 공급되는 픽처 타입, 참조 프레임, 양자화 파라미터, 가변 길이 부호 및 프레임 메모리를 감시하고, 참조 프레임 화질 변동 플래그로 이루어지는 참조 프레임 화질 변동 정보를 출력한다. 참조 프레임 화질 변동 플래그란, "동화상 비트스트림의 복호의 움직임 보상(멀티 프레임 움직임 예측)에 이용하는 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당되어 있는, 또는 양자화 파라미터가 작은 프레임을 포함하는 동화상 부호화 비트스트림인지의 여부"를 나타낸다.
참조 프레임 화질 변동 플래그는, 구체적으로, 복호 후에 다른 프레임으로부터 참조되게 되는 참조 프레임가 되는 프레임의 복호시의 픽처 타입, 부호량 및 평 균 양자화 파라미터를 기억하여 둠으로써, 프레임 메모리에 격납된 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당되어 있는, 또는 양자화 파라미터가 작은 프레임을 포함하는 동화상 부호화 비트스트림인지의 여부를 확인함에 의해 구할 수 있다.
프레임 메모리에 격납된 참조 프레임의 번호(i)(1 < i < MAX_REF)에 대응하는 픽처 타입을 pic_type(i)으로 하고, 프레임 전체의 부호량을 total_bit(i)로 하고, 프레임 전체의 평균 양자화 파라미터를 avcrage_q(i)로 하여, 도 27은, 참조 프레임 화질 변동 플래그를 생성하기 위한 처리를 도시하고 있다.
우선, 스텝 SA01에서, 참조 프레임 화질 감시 장치(114)는, 지금부터 복호를 시작하려고 하는 프레임의 픽처 타입이 P픽처 또는 B픽처인지를 판별한다. P픽처 또는 B픽처이면 스텝 SA02로 이행하고, 그렇지 않으면 참조 프레임 화질 변동 플래그가 오프로 설정되고 처리가 종료한다.
스텝 SA02에서는, 참조 프레임 화질 감시 장치(114)는, 지금부터 복호를 시작하려고 하는 프레임의 픽처 타입과 동일한 픽처 타입의 복수매(ref)(1 < ref < MAXR_EF))의 참조 프레임에서, 조건 1로서, i번째의 프레임이 j번째의 참조 프레임보다도 많은 부호량이 할당되어 있는지, 또는, 조건 2로서, 양자화 파라미터가 작은지를 판정한다.
조건 1은, total_bit(i) ≒ (1+margin_ratio)×total_bit(j), 또한, pic_type(i) = pic_type(j), 또한, i≠j로 기술할 수 있다. 조건 2는, average_q(i) ≒ (1/(1+margin_ratio))×average_q(j), 또한, pic_type(i) = pic_type(j), 또한, i≠j로 기술할 수 있다.
스텝 SA02에서, 조건 1 또는 조건 2가 성립하는 경우는, 동화상 비트스트림이 멀티 프레임 움직임 예측에 이용하는 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당되어 있는, 또는, 그러한 참조 프레임은, 양자화 파라미터가 작은 프레임을 포함하는 동화상 부호화 비트스트림이기 때문에, 참조 프레임 화질 감시 장치(114)는, 참조 프레임 화질 변동 플래그를 온이으로 한다. 조건 1, 조건 2의 어느 것도 충족되지 않은 경우에는, 참조 프레임 화질 변동 플래그는 오프로 된다.
다음에, 스텝 SA03에서는, 참조 프레임 화질 감시 장치(114)는, 버퍼(110)로부터 공급되는 가변 길이 부호의 부호 길이를 검사함에 의해 복호 대상 프레임 전체의 부호량(tmp_total_bit)을 계산함과 함께, 가변 길이 복호 장치(114)로부터 공급되는 MB마다의 양자화 파라미터로부터, 프레임 전체의 평균 양자화 파라미터(tmp_average_Q)를 계산한다. 또한 이 때, 가변 길이 복호 장치(114)로부터 공급되는 픽처 타입(tmp_pic_type)도 기억한다. 현재의 복호 대상의 프레임이 복호 종료 후에 프레임 메모리(106)에 번호(k)로서 격납되는 타이밍에서, 참조 프레임 화질 감시 장치(114)는, tmp_total_bit, tmp_average_Q 및 tmp_pic_type을 각각 pic_type(k), total_bit(k) 및 average_q(k)에 격납하고, 처리를 종료한다.
이와 같은 참조 프레임 화질 변동 플래그의 계산은, 각 프레임을 디코드할 때마다 실행된다.
이상의 처리에 의해, 참조 프레임 화질 변동 플래그가 온으로 된 때, 본 발 명에 의거한 동화상 부호화 방법에 의해 생성된 동화상 비트스트림으로서 멀티 프레임 움직임 예측에 이용하는 참조 프레임에, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당되어 있는, 또는 양자화 파라미터가 작은 프레임을 포함하는 것을 확인할 수 있다.

Claims (26)

  1. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하는 동화상 부호화 방법으로서,
    어떤 프레임의 멀티 프레임 움직임 예측에 사용되는 동일한 픽처 타입의 복수매의 참조 프레임으로부터 적어도 하나의 참조 프레임을 선택하는 단계; 및
    상기 선택된 참조 프레임을 상기 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 인코딩하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  2. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임은, 동일한 픽처 타입의 다른 프레임보다도 많은 부호량이 할당된 프레임인 것을 특징으로 하는 동화상 부호화 방법.
  3. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임은, 동일한 픽처 타입의 다른 프레임보다도 양자화 파라미터가 작은 프레임인 것을 특징으로 하는 동화상 부호화 방법.
  4. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임은, P픽처 프레임인 것을 특징으로 하는 동화상 부호화 방법.
  5. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임은, B픽처 프레임인 것을 특징으로 하는 동화상 부호화 방법.
  6. 제 5항에 있어서,
    연속하는 복수의 B픽처 프레임을 부호화할 때에, 상기 연속하는 B픽처 프레임 중의 최후의 B픽처 프레임에 비교하고, 상기 최후의 B픽처 프레임 이전의 B픽처 프레임을 고화질로 부호화하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  7. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임을 일정한 프레임 간격으로 배치하는 단계를 더 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  8. 제 6항에 있어서,
    상기 고화질로 부호화된 프레임을 일정한 프레임 간격으로 배치하는 단계를 더 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  9. 제 1항에 있어서,
    상기 고화질로 부호화된 프레임의 프레임 간격을, 참조 프레임과 부호화 대 상 프레임 사이의 차분 정보 및 움직임 정보에 의해 적응적으로 변경하는 단계를 더 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  10. 제 6항에 있어서,
    상기 고화질로 부호화된 프레임의 프레임 간격을, 참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보에 의해 적응적으로 변경하는 단계를 더 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  11. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하는 동화상 부호화 장치로서,
    어떤 프레임의 멀티 프레임 움직임 예측에 사용되는 동일한 픽처 타입의 복수매의 참조 프레임으로부터 적어도 하나의 참조 프레임을 선택하는 선택 수단; 및
    상기 선택된 참조 프레임을 상기 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 인코딩하는 인코딩 수단을 포함하는 것을 특징으로 하는 동화상 부호화 장치.
  12. 제 11항에 있어서,
    상기 부호화 수단은, 상기 선택된 참조 프레임에 대해, 상기 동일한 픽처 타입의 다른 참조 프레임보다도 많은 부호량을 할당하는 것을 특징으로 하는 동화상 부호화 장치.
  13. 제 11항에 있어서,
    상기 부호화 수단은, 상기 선택된 참조 프레임에 대해, 상기 동일한 픽처 타입의 다른 참조 프레임보다도 양자화 파라미터를 작게 설정하는 것을 특징으로 하는 동화상 부호화 장치.
  14. 제 11항에 있어서,
    상기 선택된 참조 프레임은 P픽처 프레임인 것을 특징으로 하는 동화상 부호화 장치.
  15. 제 11항에 있어서,
    상기 선택된 참조 프레임은 B픽처 프레임인 것을 특징으로 하는 동화상 부호화 장치.
  16. 제 15항에 있어서,
    상기 선택 수단은, 연속하는 복수의 B픽처 프레임 중에서, 상기 연속하는 B픽처 프레임의 최후의 B픽처 프레임보다 이전의 B픽처 프레임을 선택하는 것을 특징으로 하는 동화상 부호화 장치.
  17. 제 11항에 있어서,
    상기 선택 수단은, 일정한 프레임 간격으로 상기 참조 프레임을 선택하는 것 을 특징으로 하는 동화상 부호화 장치.
  18. 제 16항에 있어서,
    상기 선택 수단은, 일정한 프레임 간격으로 상기 참조 프레임을 선택하는 것을 특징으로 하는 동화상 부호화 장치.
  19. 제 11항에 있어서,
    참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보를 출력하는 동화상 해석 수단을 더 포함하며,
    상기 선택 수단은, 상기 차분 정보 및 상기 움직임 정보에 의거하여, 선택되는 참조 프레임의 프레임 간격이 적응적으로 변화하도록, 상기 참조 프레임을 선택하는 것을 특징으로 하는 동화상 부호화 장치.
  20. 제 16항에 있어서,
    참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보를 출력하는 동화상 해석 수단을 더 포함하며,
    상기 선택 수단은, 상기 차분 정보 및 상기 움직임 정보에 의거하여, 선택되는 참조 프레임의 프레임 간격이 적응적으로 변화하도록, 상기 참조 프레임을 선택하는 것을 특징으로 하는 동화상 부호화 장치.
  21. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측이 행하는 것에 의해 부호화된 동화상 데이터가 입력 또는 출력되는 입출력 장치로서,
    상기 부호화된 동화상 데이터는, 어떤 프레임의 멀티 프레임 움직임 예측에 사용되는 참조 프레임에서 동일한 픽처 타입의 다른 프레임보다 고화질로 부호화된 프레임을 포함하는 것을 특징으로 하는 입출력 장치.
  22. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측이 행하여져서 부호화된 동화상 데이터가 입력 또는 출력되는 입출력 장치로서,
    상기 부호화된 동화상 데이터를 복호하는 비디오 디코더와,
    상기 비디오 디코더로부터 공급되는 픽처 타입, 참조 프레임, 양자화 파라미터, 가변 길이 부호 및 프레임 메모리를 감시하고, 상기 부호화된 동화상 데이터에, 멀티 프레임 움직임 예측에 이용하는 참조 프레임으로서 동일한 픽처 타입의 다른 프레임보다도 고화질로 부호화된 참조 프레임을 포함하는지의 여부를 판별하는 감시 수단을 갖는 것을 특징으로 하는 입출력 장치.
  23. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 동화상 부호화를 실행하는 컴퓨터에,
    어떤 프레임의 멀티 프레임 움직임 예측에 사용되는 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 1매의 참조 프레임을 선택하는 처리와,
    선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램을 기록한 것을 특징으로 하는 기록 매체.
  24. 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 동화상 부호화를 실행한 컴퓨터에,
    참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보를 구하는 처리와,
    상기 차분 정보 및 상기 움직임 정보에 의거하여, 선택되는 참조 프레임의 간격이 적응적으로 변화하도록, 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 하나의 참조 프레임을 선택하는 처리와,
    선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램을 기록한 것을 특징으로 하는 기록 매체.
  25. 컴퓨터가 판독 가능한 기록 매체로서, 복수매의 화상 프레임을 참조하여 멀티 프레임 움직임 예측을 행하여 동화상 부호화를 실행하는 컴퓨터에,
    어떤 프레임의 멀티 프레임 움직임 예측에 사용되는 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 1매의 참조 프레임을 선택하는 처리와,
    선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램을 기록한 것을 특징으로 하는 기록 매체.
  26. 컴퓨터가 판독 가능한 기록 매체로서, 복수매의 화상 프레임을 참조하여 멀 티 프레임 움직임 예측을 행하여 동화상 부호화를 실행하는 컴퓨터에,
    참조 프레임과 부호화 대상 프레임 사이의 차분 정보 및 움직임 정보를 구하는 처리와,
    상기 차분 정보 및 상기 움직임 정보에 의거하여, 선택되는 참조 프레임의 간격이 적응적으로 변화하도록, 동일한 픽처 타입의 복수매의 참조 프레임 중에서 적어도 하나의 참조 프레임을 선택하는 처리와,
    선택된 참조 프레임을 동일한 픽처 타입의 다른 참조 프레임보다도 고화질로 부호화하는 처리를 실행시키는 프로그램을 기록한 것을 특징으로 하는 기록 매체.
KR20067014594A 2003-12-25 2004-12-24 동화상 부호화 방법 및 장치 KR100796857B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00430577 2003-12-25
JP2003430577 2003-12-25

Publications (2)

Publication Number Publication Date
KR20060103545A KR20060103545A (ko) 2006-10-02
KR100796857B1 true KR100796857B1 (ko) 2008-01-22

Family

ID=34736346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067014594A KR100796857B1 (ko) 2003-12-25 2004-12-24 동화상 부호화 방법 및 장치

Country Status (7)

Country Link
US (1) US9071846B2 (ko)
EP (1) EP1699244B1 (ko)
JP (1) JP4632049B2 (ko)
KR (1) KR100796857B1 (ko)
CN (1) CN1898965B (ko)
TW (1) TW200525902A (ko)
WO (1) WO2005064947A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044563A2 (ko) * 2008-10-14 2010-04-22 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4732184B2 (ja) * 2006-02-21 2011-07-27 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
WO2008093714A1 (ja) * 2007-01-31 2008-08-07 Nec Corporation 画質評価方法、画質評価装置および画質評価プログラム
RU2479942C2 (ru) * 2008-06-27 2013-04-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
US8582654B1 (en) * 2009-09-30 2013-11-12 Hewlett-Packard Development Company, L.P. Generating a deblocked version of video frames using motion estimation
BR112012024167A2 (pt) * 2010-04-01 2016-06-28 Sony Corp dispositivo e método de processamento de imagem
JP5988252B2 (ja) * 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
WO2012108181A1 (en) 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
WO2012120855A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
TWI574554B (zh) * 2012-06-29 2017-03-11 Sony Corp 資訊處理設備及資訊處理方法
US20150139310A1 (en) * 2012-06-29 2015-05-21 Sony Corporation Image processing apparatus and image processing method
JP6212345B2 (ja) * 2013-10-02 2017-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
JP6046761B2 (ja) * 2015-04-06 2016-12-21 日本電信電話株式会社 符号量算出方法、符号量算出装置及び符号量算出プログラム
CN110708570B (zh) * 2019-10-21 2022-05-17 腾讯科技（深圳）有限公司 视频的编码码率确定方法、装置、设备及存储介质
CN112291560B (zh) 2020-10-30 2024-05-07 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
CN112291559B (zh) * 2020-10-30 2023-10-31 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
US20230078190A1 (en) * 2021-09-15 2023-03-16 Synaptics Incorporated Image compression method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125232A (ja) * 2000-10-12 2002-04-26 Matsushita Electric Ind Co Ltd 動画像データの符号化装置およびその方法
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223043B2 (ja) 1994-07-19 2001-10-29 松下電器産業株式会社 動画像符号化装置
JPH09191458A (ja) * 1996-01-10 1997-07-22 Nippon Columbia Co Ltd 動画像圧縮符号化方法及びその装置
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
JP2891253B1 (ja) 1997-12-10 1999-05-17 日本電気株式会社 画像圧縮処理装置
US6982762B1 (en) * 1998-05-30 2006-01-03 Stmicroelectronics Asia Pacific Pte Limited Sequence adaptive bit allocation for pictures encoding
JP3757088B2 (ja) 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
JP2003087732A (ja) 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 映像再生装置
JP4217011B2 (ja) 2001-09-28 2009-01-28 日本放送協会 ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器
JP2003299103A (ja) 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
JP2003284077A (ja) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US7106798B1 (en) * 2002-05-23 2006-09-12 Microsoft Corporation Smooth scanning presenter
WO2004064373A2 (en) * 2003-01-09 2004-07-29 The Regents Of The University Of California Video encoding methods and devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125232A (ja) * 2000-10-12 2002-04-26 Matsushita Electric Ind Co Ltd 動画像データの符号化装置およびその方法
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044563A2 (ko) * 2008-10-14 2010-04-22 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2010044563A3 (ko) * 2008-10-14 2010-07-08 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US9137546B2 (en) 2008-10-14 2015-09-15 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding motion vectors of multiple reference pictures, and apparatus and method for image encoding/decoding using the same
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치

Also Published As

Publication number Publication date
EP1699244A1 (en) 2006-09-06
JP4632049B2 (ja) 2011-02-16
KR20060103545A (ko) 2006-10-02
WO2005064947A1 (ja) 2005-07-14
TW200525902A (en) 2005-08-01
CN1898965B (zh) 2012-04-18
US9071846B2 (en) 2015-06-30
EP1699244B1 (en) 2016-04-06
US20070147500A1 (en) 2007-06-28
JPWO2005064947A1 (ja) 2007-12-20
EP1699244A4 (en) 2010-04-07
CN1898965A (zh) 2007-01-17

Similar Documents

Publication Publication Date Title
KR100796857B1 (ko) 동화상 부호화 방법 및 장치
US10165306B2 (en) System and method for video encoding using constructed reference frame
CN107483947B (zh) 视频编码和解码设备及非暂时性计算机可读存储介质
JP4702059B2 (ja) 動画像を符号化する方法及び装置
KR19990076563A (ko) 동화상 부호화 방식
JP2007089035A (ja) 動画像符号化方法、装置及びプログラム
KR101450645B1 (ko) 비디오 비트율 제어 방법 및 장치
JP4485996B2 (ja) 画像符号化装置及び画像符号化プログラム
KR20050041293A (ko) 움직임 예측 장치 및 방법
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
WO2016116984A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US20090279610A1 (en) Method and apparatus for encoding/decoding with interlace scanning based motion vector transformation
JP4586340B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP2010212785A (ja) 動画像符号化装置及び動画像符号化方法
JP7450078B1 (ja) 映像符号化装置、および、映像符号化方法
JP4243205B2 (ja) 動画像符号化装置、その方法及びそのプログラム
KR100220677B1 (ko) 대역 분할 부호화 시스템의 버퍼 제어 장치
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JPH0818952A (ja) 画像信号符号化装置
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JP3311312B2 (ja) 符号化制御方法、符号化制御装置、および符号化制御プログラムを記録した記録媒体
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体
JP2011066592A (ja) 符号化モード選択方法，符号化モード選択装置および符号化モード選択プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee