KR101277363B1 - 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치 - Google Patents

픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치 Download PDF

Info

Publication number
KR101277363B1
KR101277363B1 KR1020087021363A KR20087021363A KR101277363B1 KR 101277363 B1 KR101277363 B1 KR 101277363B1 KR 1020087021363 A KR1020087021363 A KR 1020087021363A KR 20087021363 A KR20087021363 A KR 20087021363A KR 101277363 B1 KR101277363 B1 KR 101277363B1
Authority
KR
South Korea
Prior art keywords
distortion
pixel block
picture
pixel
bit
Prior art date
Application number
KR1020087021363A
Other languages
English (en)
Other versions
KR20080114706A (ko
Inventor
지 보 첸
시아오 동 구
쿠 킹 첸
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080114706A publication Critical patent/KR20080114706A/ko
Application granted granted Critical
Publication of KR101277363B1 publication Critical patent/KR101277363B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

최적화된 비트 할당은 비디오 압축에서 코딩 효율을 증가시키기 위해, 즉, 이용 가능한 데이터 레이트를 최적으로 이용하기 위해 중요하다. 인간의 지각 체계를 고려할 때, 인간은 통상적으로 픽처의 다른 부분들보다는 픽처의 어떤 부분에 더 많은 주의를 기울인다. 그러므로 비트 할당은 상이한 주의(different-attention) 픽처 영역들(GOBi )에 대하여 최적화되어야 한다. 본 발명의 왜곡-구동 비트 할당 방식은 인간의 시각 체계와 일관성 있게 픽처 영역들에 코딩/디코딩 에러 왜곡을 할당하고, 비트 레이트의 제약도 충족시킨다. 본 발명은 왜곡/비트레이트/로양자화(rhoquantisation) 파라미터 히스토그램 분석을 이용한다. 대응하는 테이블들(DGOBi [QPn ], RGOBi [QPn ] and ρ GOBi [QPn ])에 기초하여, 상이한 주의 영역들에 대한 양자화 파라미터, 레이트, 왜곡 및 제로가 아닌 계수들의 백분율 간의 관계들이 결정된다(PREALUTI, DISALL, RALL). 그 후 각 매크로블록 그룹 내의 비트 할당을 계산하기 위해 로-도메인(rho-domain) 비트 레이트 제어가 이용된다.
비디오 압축, 비트 할당, 왜곡-구동(distortion-driven), 로-도메인(rho-domain)

Description

픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING IN PICTURE SIGNAL ENCODING THE BIT ALLOCATION FOR GROUPS OF PIXEL BLOCKS IN A PICTURE}
본 발명은 픽처(picture) 신호 인코딩에서 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치에 관한 것으로, 그에 의해 이들 픽셀 블록 그룹들이 픽처 내의 픽셀 블록들의 대응하는 임의 형상의 영역들의 상이한 주의 중요성 레벨(attention importance levels)에 속하도록 하는 방법 및 장치에 관한 것이다.
최적화된 비트 할당(optimised bit allocation)은 비디오 압축에서 코딩 효율을 증가시키기 위한, 즉, 이용 가능한 데이터 레이트를 최적으로 이용하기 위한 중요한 이슈이다. 제한된 비트 레이트에 관하여 최량의 지각 품질(perceptual quality)을 성취하는 것이 최적화된 비트 할당의 목표이다. 인간의 지각 체계(perceptual system)를 고려할 때, 인간은 통상적으로 픽처의 다른 부분들보다는 픽처의 어떤 부분에 더 많은 주의를 기울인다. L.Itti, Ch.Koch, E.Niebur가 공동 저술한 "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"[IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No.11, Nov. 1998]에 기술되어 있는 바와 같이, 픽처 내의 지각 민감 영역인 '주의 영역(attention area)'은 보다 많은 인간의 주의를 끄는 경향이 있다. 그러므로 상이한 주의 픽처 영역들의 상이한 지각 중요성에 기초한 최적의 비트 할당은 비디오 압축 기술에서의 연구 주제이다.
예를 들어, MPEG2 및 MPEG4에서의 매크로블록-층 비트 레이트 제어는 현재의 프레임 내의 모든 매크로블록들에 대하여 이용되는 비트들의 합이 프레임 목표 비트 레이트 B에 가깝도록 그 매크로블록들에 대한 (변환 후의) 양자화 스텝 사이즈 Q step 의 값들을 선택한다. MPEG2 및 MPEG4는 31개의 상이한 Q step 의 값들을 지원한다. MPEG4 AVC에서는 총 52개의 Q step 값들이 그 표준에 의해 지원되고 이들은 양자화 파라미터 값 QP에 의해 인덱싱된다. Ch.W. Tang, Ch.H. Chen, Y.H. Yu, Ch.J. Tsai가 공동 저술한 "A novel visual distortion sensitivity analysis for video encoder bit allocation"[ICIP 2004, Volume 5, 24-27, Oct. 2004, pp.3225-3228]은 시각 왜곡 감도(visual distortion sensitivity), 즉 인간의 시력이 움직이는 장면들에서의 왜곡을 탐지하는 능력에 대한 설명을 제시하는데, 그 비트 할당 방식은 다음의 수학식을 이용함으로써 매우 간단하다.
Figure 112008062047090-pct00001
상기 수학식에서 QP는 레이트 제어에 의해 할당되는 초기 양자화 파라미터이고, Δq는 QP의 수정을 제한하기 위한 파라미터이고, VDSi,j 는 픽처 내의 (i,j)번째 매크로블록(MB로 표시)의 시각 왜곡 감도 값이고, QPN 은 개선된(refined) 양자화 파라미터이다. 이 비트 할당 방식은 개략적이고 간단하며 정확한 비트 레이트 제어 및 왜곡 분포 제어를 고려하지 않는다.
S. Sengupta, S.K. Gupta, J.M. Hannah가 공동 저술한 "Perceptually motivated bit-allocation for H.264 encoded video sequences"[ICIP 2003]에서는, 픽처가 전경(foreground) 및 배경(background) 영역으로 분할되고, 그 후 배경 품질에 대한 보증 없이 전경 품질에 대하여 목표 왜곡 Dtar 가 미리 결정된다. 배경의 품질은 전경으로부터의 거리의 함수로서 변화한다. 열화 비율(rate of degradation)은 다음의 수학식 2로 정의되는 시각 감도 계수(visual sensitivity factor)에 의해 제어된다.
Figure 112008062047090-pct00002
상기 수학식에서 a는 배경 열화의 하락 비율을 제어하는 상수이고 d는 가장 가까운 전경 픽셀로부터의 배경 픽셀의 거리이다. 이 방식은 인간의 시각 체계와 일관성 있는 왜곡 분포를 제공하려고 하는데, 그의 성능은 이용되는 모델의 정확성으로부터 영향을 받고, 그것은 D tar 를 얻는 방법 및 미리 정해진 비트 예산(bit budget) 하에서 주어진 수학식에 따라 품질 열화를 유지하는 방법을 설명하지 않는다.
비트 예산 제약을 갖는 최적화된 비트 할당의 문제를 해결하기 위하여, 통상적인 비트 할당 알고리즘들은 다음의 수학식 3과 같은 수학식을 이용하여 R T 보다 작 은 제약 레이트(constraint rate) R을 이용해 총 왜곡 D를 최소화하는 제약 최적화 문제로서 기술될 수 있는 라그랑지 승수(Lagrangian multiplier) 처리에 의한 레이트-왜곡 최적화(Rate-Distortion optimisation)에 기초할 수 있다.
Figure 112008062047090-pct00003
상기 수학식에서 D i 및 R i 는 각 단위 i(MB 또는 주의 영역)의 왜곡 및 비트 레이트이다.
각 MB의 레이트 및 왜곡이 상술한 인코딩 파라미터의 선택에만 의존한다고 가정하면, 수학식 3의 최적화는 다음과 같이 각 MB의 비용을 개별적으로 최소화하도록 단순화될 수 있다.
Figure 112008062047090-pct00004
다음의 수학식 5에 따라 각 MB의 코딩 모드 결정에서의 라그랑지 승수를 수정하는 것에 기초한 최적화된 비트 할당 방식을 이용하는 것이 제안되어 있다.
Figure 112008062047090-pct00005
상기 수학식에서 a는 상이한 지각 중요성의 레벨에 따라 라그랑지 승수를 수정하기 위한 스케일링 계수(scaling factor)이다.
또한 최적화된 비트 할당을 수행하기 위해 상이한 주의 영역들의 왜곡에 상 이한 가중 계수(weighting factor) W i 를 추가하는 것이 제안되어 있다.
Figure 112008062047090-pct00006
따라서 레이트 및 왜곡 모델은 다음과 같이 ρ-도메인 비트 레이트 제어 모델에 기초하여 추론될 수 있다.
Figure 112008062047090-pct00007
비트 할당을 위한 최적 해를 얻기 위하여 수학식 7을 수학식 6에 대입할 수 있다.
또한 다음의 수학식 8에서 제시된 바와 같이 비트 할당을 위한 최적 결과를 얻기 위하여 가우시안 분포에 기초한 레이트-제어 모델을 이용하는 것이 알려져 있다.
Figure 112008062047090-pct00008
그러나, 알려진 방법들은 왜곡 분포가 인간의 시각 체계의 특성들과 더 많이 일관성 있도록 왜곡 분포에 크게 영향을 미칠 수 없다. 예를 들면, 상이한 주의 영역들에 대하여 인간의 눈에 대한 그들의 상이한 중요성에 따라 상이한 가중 계수 W i 를 이용하는 것은 실제로 그에 따라서 왜곡 분포에 영향을 미칠 수 없다. 또한, 알려진 방법들은 보다 나은 성능을 얻을 만큼 충분히 정확하지 않다(특히 MB 레벨에서). 또한, 알려진 방법들은 왜곡 분포와 비트 할당 제약 간의 양호한 트레이드오프(trade-off)를 유지하는 데 문제가 있다.
본 발명이 해결하고자 하는 과제는 비디오 신호 인코딩에서의 비트 레이터 제어를 위한 개선된 왜곡-구동 비트 할당(distortion-driven bit allocation)을 제공하는 것이다. 이 과제는 청구항 1에 기재된 방법에 의해 해결된다. 이 방법을 이용하는 장치는 청구항 2에 기재되어 있다.
본 발명의 왜곡-구동 비트 할당 방식은 인간의 시각 체계와 일관성 있게 픽처 영역들에 코딩/디코딩 에러 왜곡을 할당하고, 비트 레이트의 제약도 충족시킨다. "왜곡-구동(distortion-driven)"은 주 목표가 총 왜곡을 최소화하는 것이 아니도록, 비트 레이트 제약 하에서 최적화된 코딩/디코딩 에러 왜곡 분포를 성취하는 비트 할당을 의미한다. 본 발명은 픽처 내의 왜곡 분포가 인간의 시각 특성과 더 많이 일관성 있게 하고, 따라서 제한된 비트 레이트로 훨씬 더 양호한 주관적 품질을 성취하거나, 또는 일관성 있는 주관적 품질을 유지하면서 비트 레이트의 감소를 허용한다.
본 발명은 왜곡/비트레이트/로-양자화(Rho-quantisation) 파라미터 히스토그램 분석을 이용한다. 그러한 히스토그램 분석에 기초하여, 양자화 파라미터, 레이트, 왜곡 및 제로가 아닌 계수들의 백분율 간의 관계들이 결정된다. 본 왜곡 할당 방식은 (변환 및 양자화 전, 모드 판정 및 인트라 또는 인터 예측 후의) 잔여 신호들의 가우시안 분포의 가정에 기초한다. 그 후 각 매크로블록 그룹(GOB) 내의 비트 할당을 계산하기 위해 로-도메인(ρ-domain) 비트 레이트 제어가 이용된다.
원칙적으로, 본 발명의 방법은 변환 계수 블록들의 변환 및 양자화를 포함하는 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 데 적합하고, 그에 의해 상기 픽처는 균일 격자(regular grid)의 픽셀 블록들로 분할되고 상기 픽셀 블록 그룹들은 상기 픽처 내의 픽셀 블록들의 대응하는 임의 형상의 영역들의 상이한 주의 중요성 레벨들(attention importance levels)에 속하고, 각 픽셀 블록 그룹의 인코딩/디코딩 왜곡은 해당 픽셀 블록 그룹에 대한 주의 중요성 레벨에 기본적으로 비례하도록 제어될 것이고, 인코딩된 픽처에 대하여 비트 예산이 주어지고 상기 양자화는 양자화 파라미터에 의해 제어되며, 상기 방법은,
- 현재의 픽처에 대하여, 상기 양자화 파라미터의 후보들에 관련하여, 각 픽셀 블록 그룹에 대하여 추정된 왜곡에 대한 및 비트 레이트에 대한 및 상기 양자화 후의 제로 진폭 계수들의 수에 대한 테이블들 또는 목록들 또는 함수들을 확립하는 단계;
- 상기 픽셀 블록 그룹들의 각각에 대하여, 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들을 이용하여, 그리고 또한 다음의 단계로부터의 출력을 이용하여 대응하는 왜곡 분포를 계산하고, 상기 비트 예산에 도달하기 위하여 상기 왜곡 분포를 수정하는 단계;
- 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들에 기초하여, 그리고 상기 계산된 왜곡 분포에 기초하여, 상기 픽셀 블록 그룹들의 각각에 대한 추정된 비트 레이트를 계산하는 단계; 및
- 상기 추정된 비트 레이트 및 상기 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 이용하여 상기 픽셀 블록 그룹들 각각에 대한 로-도메인(rho-domain) 비트 할당을 수행하여, 상기 픽셀 블록들을 양자화 및 인코딩하기 위한 상기 양자화 파라미터들 중 대응하는 양자화 파라미터를 결정하는 단계를 포함한다.
원칙적으로 본 발명의 장치는 변환 계수 블록들의 변환 및 양자화를 포함하는 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 데 적합하고, 그에 의해 상기 픽처는 균일 격자의 픽셀 블록들로 분할되고 상기 픽셀 블록 그룹들은 상기 픽처 내의 픽셀 블록들의 대응하는 임의 형상의 영역들의 상이한 주의 중요성 레벨들에 속하고, 각 픽셀 블록 그룹의 인코딩/디코딩 왜곡은 해당 픽셀 블록 그룹에 대한 주의 중요성 레벨에 기본적으로 비례하도록 제어될 것이고, 인코딩된 픽처에 대하여 비트 예산이 주어지고 상기 양자화는 양자화 파라미터에 의해 제어되며, 상기 장치는,
- 현재의 픽처에 대하여, 상기 양자화 파라미터의 후보들에 관련하여, 각 픽셀 블록 그룹에 대하여 추정된 왜곡에 대한 및 비트 레이트에 대한 및 상기 양자화 후의 제로 진폭 계수들의 수에 대한 테이블들 또는 목록들 또는 함수들을 확립하도록 적응되어 있는 수단;
- 상기 픽셀 블록 그룹들의 각각에 대하여, 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들을 이용하여, 그리고 또한 다음의 단계로부터의 출력을 이용하여 대응하는 왜곡 분포를 계산하고, 상기 비트 예산에 도달하기 위하여 상기 왜곡 분포를 수정하도록 적응되어 있는 수단;
- 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들에 기초하여, 그리고 상기 계산된 왜곡 분포에 기초하여, 상기 픽셀 블록 그룹들의 각각에 대한 추정된 비트 레이트를 계산하는 단계; 및
- 상기 추정된 비트 레이트 및 상기 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 이용하여 상기 픽셀 블록 그룹들 각각에 대한 로-도메인 비트 할당을 수행하여, 상기 픽셀 블록들을 양자화 및 인코딩하기 위한 상기 양자화 파라미터들 중 대응하는 양자화 파라미터를 결정하도록 적응되어 있는 수단을 포함한다.
본 발명의 이로운 추가 실시예들은 각각의 종속 청구항들에 기재되어 있다.
본 발명의 예시적인 실시예들을 첨부 도면들을 참조하여 설명한다.
도 1은 주의 마스크(attention mask)의 일례이다.
도 2는 본 발명의 콘텐츠 기반 왜곡-구동 비트 할당(CDBA; content based distortion-driven bit allocation) 방식에 대한 플로차트이다.
전술한 바와 같이, 인간은 픽처의 다른 부분들보다는 픽처의 어떤 부분들에 더 많은 주의를 기울인다. 더 많은 인간의 주의를 받는 부분은 '주의 영역(attention area)'이라 불린다. 전술한 L.Itti 등의 논문 및 EP 출원 05300974.2에서는, 주어진 화상의 시각 입력으로부터 그레이-레벨 특징 맵들의 세트(a set of grey-level feature maps)가 추출된다. 이들 특징들은 강도, 컬러, 방위 등을 포함한다. 그 후 각 특징 맵에서, 가장 두드러진 영역들이 선택(pick out)된다. 마지막으로 모든 특징 맵들이 순전히 상향적 방식(bottom-up manner)으로 통합되어 픽처의 주의 정보로서 간주되는 마스터 '현저성 맵(saliency map)'으로 된다. 그로부터 각 픽처에 대하여 주의 마스크가 얻어지고, 그 마스크는 해당 픽처의 대응하는 영역들의 상이한 주의 중요성 레벨을 기술한다.
도 1은 픽처 내의 매크로블록들을 4개의 주의 중요성의 레벨 Mi (i = 1 ... 4)의 세트로 분할하는 예시적인 주의 마스크를 보여준다. 백색 블록들에는 레벨 M4 가 할당되고, 약간 해칭된 블록들에는 레벨 M3 가 할당되고, 강하게 해칭된 블록들에는 레벨 M2 가 할당되고, 대각선으로 해칭된 블록들에는 레벨 M1 이 할당된다. 보다 큰 Mi 값은 시각적으로 덜 중요한 영역이기 때문에 보다 큰 왜곡이 묵인될 수 있다는 것을 의미한다. 예를 들어, N=2, M1 =1 및 M2 =2의 경우 그것은 배경 왜곡 레벨(레벨 2)이 전경 왜곡 레벨(레벨 1)의 2배일 수 있다는 것을 의미한다.
레벨 세트들 및 대응하는 시각 중요성 값들 M i 를 계산하는 방법에 대해서는 여기에서 상세히 기술하지 않는다. 비트 할당 방식은 주의 마스크가 M i (i=1 ... N)로 획득될 수 있다는 가정에 기초할 수 있다. 여기서 N은 주의 레벨들의 수이다.
기본적으로, 왜곡-구동 비트 할당 문제는 다음과 같이 기술될 수 있다.
주의 마스크에 따르면, 픽처는 상이한 주의 또는 마스크 값들 Mi 에 따라서 N개의 GOB(매크로블록 그룹)들로 분할될 수 있고, 각 GOBi 는 Ki 개의 매크로블록(MB로 표시)을 포함하고,
Figure 112012012499237-pct00009
이고, 여기서 NMB 는 하나의 픽처 내의 MB의 총 수이다. 임의의 프레임-레벨 비트 레이트 제어로부터 얻어질 수 있는 프레임 비트 예산 Rf 를 이용하여, 본 발명의 처리는 다음 2개의 수학식의 제약들에 의해 대응하는 주의 마스크 값 Mi 에 따라 GOBi 내의 각 MB에 대한 왜곡
Figure 112012012499237-pct00010
를 할당한다.
Figure 112008062047090-pct00011
Figure 112008062047090-pct00012
상기 수학식에서
Figure 112012012499237-pct00013
는 각 GOBi 에 할당된 비트 레이트이고 Du 는 각 MB에 대한 고정 왜곡 단위(constant distortion unit)이다. 수학식 9는 각 GOBi 의 왜곡이 그의 주의 마스크 값에 (기본적으로) 비례하고 그 후 왜곡 분포는 인간의 지각과 일관성 있을 것임을 의미한다. 수학식 10은 이 경우에 총 프레임 또는 픽처 비트 예산 Rf 가 충족되어야 함을 의미한다. 그러므로 본 발명은 시각 주의 분석에 기초한 왜곡-구동 비트 할당 방식을 제공할 것이고, 그 결과의 왜곡 및 비트 레이트는 수학식 9 및 10의 필요 조건들을 충족시켜야 한다.
도 2에서는 본 발명의 콘텐츠 기반 왜곡-구동 비트 할당 방식(CDBA)에 대한 플로차트가 도시되어 있다. 주의 영역 모델을 구성하는 것에 관하여 많은 연구 저술들, 예를 들어, 전술한 L.Itti 등의 논문 및 EP 출원 05300974.2 등이 발행되어 있으므로, 주의 마스크는 이미 획득되었고, 픽처는 N개의 GOB로 분할되었고, 임의의 프레임-레벨 또는 필드-레벨 레이트 제어 알고리즘으로부터 프레임 비트 예산 Rf 가 획득되었다고 가정한다. 그 후 왜곡-구동 비트 할당을 계산하기 위해 다음의 단계들이 수행된다.
단계 1) 사전 분석 및 조회 테이블 초기화(Pre - analysis and look - up table initialisation; PREALUTI)
현재 처리되는 픽처에 대하여, 각 GOBi (i=1 ... N)에 대하여, 히스토그램 분석 알고리즘에 기초하여, 3개의 조회 테이블 또는 리스트 또는 함수 DGOBi [QPn ], RGOBi [QPn ] 및 ρ GOBi [QPn ]이 각 GOB에 대하여 결정되고, 여기서 QPn 은 후보 양자화 파라미터이고, DGOBi [QPn ]은 (MB당 평균 왜곡 단위의) 추정된 왜곡이고, RGOBi [QPn ]은 양자화 파라미터 QPn 하의 각 GOBi 의 비트 레이트이고, ρ GOBi [QPn ]은 QPn 을 이용한 양자화 후의 GOBi 의 제로 진폭 계수들의 수이다.
단계 2) 왜곡 할당(Distortion allocation; DISALL)
단계 2.1) 고정 비트 레이트 하의 왜곡 분포 추정(Estimate distortion distribution under constant bit rate; ESTDDISTR)
각 GOBi 가 Ki 개의 MB를 포함하고,
Figure 112012012499237-pct00014
(여기서 NMB 는 하나의 픽처 내의 MB의 총 수임)라고 가정하면, 고정 비트 레이트(CBR; constant bit rate) 출력의 경우에(즉, 상이한 주의 레벨 영역들에서의 상이한 왜곡 레벨들을 고려하지 않고) 각 GOBi 에 대한 할당된 비트 레이트는
Figure 112012012499237-pct00015
이어야 한다. 그러므로 각 GOBi 에 대한 대응하는 초기 왜곡 값
Figure 112012012499237-pct00016
는 테이블들 DGOBi [QPn ] 및 RGOBi [QPn ]을 조회함으로써 얻어질 수 있다. 이 왜곡 값은 다음에서 제약 비트 예산과의 왜곡 승산 값으로서 이용된다.
단계 2.2) 왜곡 단위 계산(Calculate distortion unt; CALLDU)
잔여 신호 진폭들(즉, 변환된 예측 에러 신호들)이 가우시안 분포 및 대응하는 레이트 왜곡 모델(W.Lai, X.D.Gu, R.H.Wang, W.Y.Ma, H.J.Zhang이 공동 저술한 "A content-based bit allocation model for video streaming"[ICME '04, 2004 IEEE International Conference on Multimedia and Expo, Volume 2, 27-30, June 2004, pp.1315-1318] 참조)을 갖는다는 가정에 기초하여, D u 의 왜곡 단위를 얻기 위해 다음의 수학식이 이용될 수 있다.
Figure 112008062047090-pct00017
단계 2.3) 개선된 왜곡 분포 획득(Get the refined distortion distribution; GREFDDIRTR)
수학식 9:
Figure 112008062047090-pct00018
를 이용하여 GOB i 내의 각 MB에 대하여 할당된 분포
Figure 112008062047090-pct00019
를 획득한다. 가우시안 분포 가정의 부정확성 때문에, 주어진 비트 예산에 도달하기 위하여 단계 3)으로부터의 피드백에 기초하여 사소한 수정이 행해질 수 있다.
각 양자화 파라미터 하의 왜곡 또는 비트 레이트는 개별이어야 하고 수학식
Figure 112008062047090-pct00020
하에서는 정확한 왜곡 값을 성취할 수 없으므로, 사전 분석 단계 1)에서 생성된 조회 테이블이 이용될 수 있고 값
Figure 112008062047090-pct00021
는
Figure 112008062047090-pct00022
의 추정된 값에 가장 가까운 해당 왜곡 조회 테이블 내의 값이 되도록 적응된다.
단계 3)으로부터의 피드백을 고려하여, 단계 3)에서의 추정된 비트 레이트
Figure 112008062047090-pct00023
가 비트 예산보다 크거나 작은 경우, 주어진 비트 예산에 도달하기 위해 조회 테이블에서 인접한 값들(
Figure 112008062047090-pct00024
에 가까운)을 조사함으로써 일부 수정이 행해질 수 있다.
단계 3) 비트 레이트 할당(Bit rate allocation; RALL)
D GOBi [QP n ] 및 R GOBi [QP n ]의 테이블 및 단계 2)로부터의
Figure 112008062047090-pct00025
에 기초하여, 각 GOB i (i=1 ... N)에 대하여 추정된 레이트
Figure 112008062047090-pct00026
가 바로 획득될 수 있다. 그리고 그 결과는 비트 예산에 도달하기 위하여 할당된 레이트에 대한 일부 사소한 수정을 행하기 위해 단계 2.3)에 피드백된다.
단계 4) 각 GOB i 내의 로 -도메인 비트 할당(Rho - domain bit allocation inside each GOB i ; RDBALL)
단계 4.1) 양자화 파라미터 결정(Quantisation parameter determination; QPDET)
Z.He 및 S.K.Mitra가 공동 저술한 "A linear source model and a unified rate control algorithm for DCT video coding"[IEEE Transactions on Circuits and Systems for Video Technology, Vol.12, No.11, Nov. 2002, pp.970-982]에서의 ρ 도메인 레이트 제어 모델과 유사하게, GOB i 내의 나머지 MB들을 양자화함으로써 생성될 제로들의 수는 다음의 수학식이어야 한다.
Figure 112008062047090-pct00027
상기 수학식에서
Figure 112012012499237-pct00028
는 현재의 픽처 내의 GOBi 의 코딩된 MB의 수이고,
Figure 112012012499237-pct00029
는 이들
Figure 112012012499237-pct00030
개의 MB를 인코딩하는 데 이용되는 비트의 수이고, Ki 는 GOBi 의 MB의 총 수이다. 테이블 ρ GOBi [QPn ]을 조회하여, 양자화 파라미터 QP가 결정된다. 그 후 그 QP 값을 이용하여 현재의 MB가 양자화되고 인코딩된다.
단계 4.2) 파라미터 업데이트(Update parameters; UPDPAR)
이미 인코딩된 MB들에 따라 다음과 같이 파라미터들 θ 및 ρ GOBi [QP n ]을 업데이트한다.
Figure 112008062047090-pct00031
상기 수학식에서
Figure 112008062047090-pct00032
는 이들 코딩된
Figure 112008062047090-pct00033
개의 MB들에서 양자화된 제로 계수들의 수이다. 그 후 다음 매크로블록이 인코딩된다.
이하에서는, 단계 1) 내지 4)에 대한 추가 설명이 주어진다:
단계 1) 사전 분석 및 조회 테이블 초기화
S.H.Hong, S.D.Kim이 공동 저술한 "Histogram-based rate-distortion estimation for MPEG-2 video"[IEEE Proceedings Vision, Image Signal Processing, Vol. 146, No, 4, Aug.1999, pp.198-205]에 의해 제안된 알고리즘에 기초하여, ISO/IEC 14496-10 AVC/H.264 표준에 대한 히스토그램 기반 레이트-왜곡 추정이 수행된다. 기본적인 가정은, 평균제곱오차(MSE; mean squared error)에 의한 왜곡은 적용된 양자화 파라미터의 제곱에 비례하고, 기존의 비디오 코딩 표준들에서는 통상적으로 균일 양자화가 이용된다는 것이다. 그 후 반복 알고리 즘(iterative algorithm)을 이용하여
Figure 112008062047090-pct00034
에 따라 상이한 양자화 파라미터들의 왜곡을 추정한다. 상기 수학식에서
Figure 112008062047090-pct00035
은 양자화 파라미터가 QP n -1 로부터 QP n 으로 증가하는 경우의 왜곡 증분(distortion increment)이다.
그 후 현재의 GOB(매크로블록 그룹)에 대하여 DCT 계수 크기들 및 관련 QP에 기초한 히스토그램 또는 목록
Figure 112008062047090-pct00036
이 확립된다. 이 히스토그램은 QP n 을 적용할 때는 진폭량 '1'로 양자화되지만, 다음의 양자화 파라미터 QP n +1 을 적용할 때는 진폭 '0'으로 양자화될 DCT 계수들의 수를 나타낸다.
상기 히스토그램 또는 목록
Figure 112008062047090-pct00037
에 기초하여, H.264/AVC에 대하여 수학식
Figure 112008062047090-pct00038
에 의해 각 양자화 파라미터 하의 제로가 아닌 크기 계수들의 수의 조회 테이블을 용이하게 확립할 수 있다. 상기 수학식에서 N Coeff 는 (본 발명에서는 GOB인) 각 단위 내의 계수들의 총 수이다.
각 양자화 파라미터 QP n 에는 예컨대 H.264/AVC 표준에서의 대응하는 조회 테이블로부터 얻어질 수 있는 대응하는 양자화 스텝 QPS n 이 속한다.
2개의 연속하는 QP 값들 간의 왜곡 증분
Figure 112008062047090-pct00039
을 정확히 추정하기 위해서는, 다음의 3가지 케이스가 고려된다.
케이스 1) 양자화 계수는 QP n 에서 제로가 아니다;
케이스 2) 양자화 계수는 QP n -1 에서 제로가 아니지만 QP n 에서 제로로 양자화된다;
케이스 3) 양자화 계수는 QP n -1 에서 제로이다.
케이스 1)의 경우에는 양자화 레벨 갭 내에 잔여 신호가 균일하게 분포되어 있다는 가정에 기초하여, 왜곡 증분은 다음의 수학식을 이용하여 추정될 수 있다.
Figure 112008062047090-pct00040
상기 수학식에서 UD(QP n )은 균일 분포의 가정이 존재하는 케이스 1)에서 QP n 에 의해 도입되는 왜곡이고, ΔE 1 (QP n )은 케이스 1)에서 QP n -1 로부터 QP n 으로의 왜곡 증가를 나타낸다.
케이스 2)의 경우에는 왜곡 증분은 다음의 수학식을 이용하여 추정될 수 있다.
Figure 112008062047090-pct00041
케이스 3)의 경우에는 왜곡 증분이 없다.
H.264/AVC에서는, 인트라 16×16 모드에서 이용되는 DC 변환의 경우에 δ n 은
Figure 112008062047090-pct00042
이고 인트라 코딩의 다른 경우에는
Figure 112008062047090-pct00043
이 이용되고, 인터 코딩의 경우 에는
Figure 112008062047090-pct00044
이 이용된다. 그 후 최종 왜곡 증분은
Figure 112008062047090-pct00045
이다.
반복 왜곡 추정 방법의 초기 값은
Figure 112008062047090-pct00046
이다.
그 후 QP-왜곡 테이블 D GOBi [QP n ]이 확립될 수 있다.
상기 Z.He 및 S.K.Mitra 논문으로부터 알려져 있는 바와 같이, 제로가 아인 진폭 계수의 수는 코딩된 비트의 수에 비례하기 때문에, 선형 모델이 매우 잘 맞을 수 있다. 그러므로 추정된 목록 NZC에 기초하여 비트 레이트를 추정하기 위해 선형 모델이 이용된다.
제로가 아닌 계수의 수가 제로인 경우 코딩된 비트의 수는 제로일 것이라고 가정하여, 대응하는 보간선(interpolation line) 상에 적어도 2개의 점이 주어진다면 그 대응하는 보간선이 고정될 수 있다. 하나의 참조 점 QP가 QP ref 로 설정되면, 코딩된 비트들의 실제 수 R bits 는 엔트로피 코딩에 의해 또는 상이한 복잡도 및 정확도 요건들에 따라서(예를 들어, Q.Chen, Y.He가 공동 저술한 "A Fast Bits Estimation Method for Rate-Distortion Optimisation in H.264/AVC"[Picture Coding Symposium, 15-17 December 2004, San Francisco, CA, USA]에 따라서) 주파수 분석에 의하여 그것을 추정함으로써 결정된다. 이 선형 모델 및 조회 테이블 NZC[QP n ]을 조합하여, 다음의 수학식에 의해 R GOBi [QP n ]의 QP-레이트 테이블이 구성될 수 있다.
Figure 112008062047090-pct00047
그 후 제로가 아닌 목록 또는 테이블 NZC[QP n ]에 기초하여, 다음의 수학식을 이용하여 QP-ρ 테이블 ρ GOBi [QP n ]을 용이하게 얻을 수 있다.
Figure 112008062047090-pct00048
단계 2) 왜곡 할당
잔여 신호들의 가우시안 분포의 가정에 기초하여, 수학식 8과 같은 단순화된 레이트-왜곡 모델이 최적 비트 할당에 이용되었다. 수학식 8 및 10에 기초하여, 다음 수학식과 같은 하나의 기본적인 결론에 도달할 수 있다.
Figure 112008062047090-pct00049
그러므로 각 GOB의 왜곡의 승산 결과는 주어진 비트 예산 R f 에서 계속 일정해야 한다. 단계 2.1)에서 설명된 바와 같이, CBR 케이스에서 각 GOB i 의
Figure 112008062047090-pct00050
는 테이블들 D GOBi [QP n ] 및 R GOBi [QP n ]을 조회함으로써 그 후 수학식 14 및 9에 기초하여 용이하게 얻어질 수 있다.
Figure 112008062047090-pct00051
Figure 112008062047090-pct00052
에 의해, 수학식 15로부터 수학식 11이 얻어질 수 있다.
수학식 8은 픽처 내의 콘텐츠 속성 차이 및 이산 유한 집합의 값들(discrete finite set of values)에 의해 양자화 레벨이 제한됨으로 인하여 반드시 충분히 정확하지는 않으므로, 비트 예산에 도달하기 위하여 단계 3)으로부터의 피드백에 기초하여 일부 사소한 수정이 행해질 수 있다. 수학식 11로부터의 결과는 항상 조회 테이블을 이용하여 최적화된 왜곡 할당을 검색하기 위한 양호한 시작점이어야 한다.
단계 3) 레이트 할당
이 단계의 결과는 비트 할당을 개선하기 위하여 단계 2.3)에 피드백된다.
단계 4) 각 GOB i 내의 비트 할당
이 단계는 비트 예산 제약을 정확히 충족시키기 위하여 이용된다. 통상적으로, 만일 비트 예산이 이미 단계 3에서 충족된다면, 각 GOB에 대하여 조회 테이블 RGOBi [QPn ]으로부터 얻어지는 대응하는 양자화 파라미터가 바로 이용될 수 있다. 그러나, 실제 코딩에서의 양자화 파라미터 및 코딩 모드가 사전 분석 프로세스에서의 것과 상이한 경우(예컨대, H.264/AVC에서) 비트 예산을 충족시키기 위해 업데이팅에 의한 정확한 비트 할당이 여전히 요구된다. 그러므로 제한된 비트 예산으로 왜곡을 분포시키기 위해 각 GOB 내에서 개선된 비트 할당 방식으로서 로-도메인 레이트 제어가 이용된다.
프레임 기반 대신에, 본 발명은 인터레이스 방식 비디오 신호(interlaced video signals)을 위하여 필드 기반 방식으로 수행될 수도 있다.
본 발명은 또한 멀티패스 레이트 제어 비디오 코딩(multi-pass rate control video coding) 및 오류 내성 비디오 코딩(error resilience video coding)에서 이용될 수도 있다.

Claims (13)

  1. 변환 계수 블록들의 변환 및 양자화를 포함하는 픽처(picture) 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법으로서 - 그에 의해 상기 픽처는 균일 격자(regular grid)의 픽셀 블록들로 분할되고 상기 픽셀 블록 그룹들은 상기 픽처 내의 픽셀 블록들의 대응하는 임의 형상의 영역들의 상이한 주의 중요성 레벨들(attention importance levels)에 속하고, 각 픽셀 블록 그룹의 인코딩/디코딩 왜곡은 해당 픽셀 블록 그룹에 대한 주의 중요성 레벨에 기본적으로 비례하도록 제어될 것이고, 인코딩된 픽처에 대하여 비트 예산(budget)이 주어지고 상기 양자화는 양자화 파라미터에 의해 제어됨 -,
    현재의 픽처에 대하여, 상기 양자화 파라미터의 후보들에 관련하여, 각 픽셀 블록 그룹에 대하여 추정된 왜곡에 대한 및 비트 레이트에 대한 및 상기 양자화 후의 제로 진폭 계수들의 수에 대한 테이블들 또는 목록들 또는 함수들을 확립하는 단계;
    상기 픽셀 블록 그룹들의 각각에 대하여, 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들을 이용하여, 그리고 다음의 단계로부터의 출력을 또한 이용하여 대응하는 왜곡 분포를 계산하고, 상기 비트 예산에 도달하기 위하여 상기 왜곡 분포를 수정하는 단계;
    상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들에 기초하여, 그리고 상기 계산된 왜곡 분포에 기초하여, 상기 픽셀 블록 그룹들의 각각에 대한 추정된 비트 레이트를 계산하는 단계; 및
    상기 픽셀 블록들을 양자화 및 인코딩하기 위한 상기 양자화 파라미터들 중 대응하는 양자화 파라미터를 결정하도록, 상기 추정된 비트 레이트 및 상기 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 이용하여 상기 픽셀 블록 그룹들 각각에 대한 로-도메인(rho-domain) 비트 할당을 수행하는 단계
    를 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  2. 제1항에 있어서,
    상기 픽셀 블록들은 매크로블록들인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 인코딩된 픽처는 ISO/IEC 14496-10 AVC 인코딩된 픽처 시퀀스의 일부인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 양자화 파라미터는 양자화기 스텝 사이즈인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 픽셀 블록 그룹들의 각각에 대하여 대응하는 왜곡 분포를 계산하는 상기 단계 또는 기능은,
    상기 상이한 주의 레벨 영역들에서의 상이한 왜곡 레벨들을 고려하지 않고, 각 픽셀 블록 그룹에 대하여 대응하는 초기 왜곡 값
    Figure 112012012499237-pct00077
    를 계산하는 단계;
    왜곡 단위
    Figure 112012012499237-pct00078
    을 계산하는 단계 - Mi 는 대응하는 픽셀 블록 그룹에 대한 상기 주의 중요성 레벨이고 Ki 는 상기 대응하는 픽셀 블록 그룹 내의 픽셀 블록들의 수이고 N은 주의 레벨들의 수임 -;
    상기 Du 값으로부터 상기 픽셀 블록 그룹들의 각각에 대하여
    Figure 112012012499237-pct00079
    에 의해 개선된(refined) 왜곡 분포를 계산하는 단계 - 상기 왜곡 분포를 수정하는 단계가 여기에서 수행됨 -
    를 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 픽셀 블록 그룹들 각각에 대한 로-도메인(rho-domain) 비트 할당을 수행하는 상기 단계 또는 기능은,
    Figure 112012012499237-pct00080
    를 계산하는 단계 -
    Figure 112012012499237-pct00081
    는 현재의 픽셀 블록 그룹의 코딩된 픽셀 블록들의 수이고,
    Figure 112012012499237-pct00082
    는 이들
    Figure 112012012499237-pct00083
    개의 픽셀 블록을 인코딩하는 데 이용되는 비트들의 수이고, Ki 는 상기 현재의 픽셀 블록 그룹들의 픽셀 블록들의 총 수임 - ;
    상기 양자화 후의 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수로부터 상기 대응하는 양자화 파라미터를 결정하는 단계; 및
    이미 인코딩된 상기 픽셀 블록들에 따라
    Figure 112012012499237-pct00084
    에 의해 파라미터 θ, 및 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 업데이트하는 단계 -
    Figure 112012012499237-pct00085
    는 이들 코딩된
    Figure 112012012499237-pct00086
    개의 픽셀 블록에서 양자화된 제로 계수들의 수임 -
    를 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법.
  7. 변환 계수 블록들의 변환 및 양자화를 포함하는 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치로서 - 그에 의해 상기 픽처는 균일 격자의 픽셀 블록들로 분할되고 상기 픽셀 블록 그룹들은 상기 픽처 내의 픽셀 블록들의 대응하는 임의 형상의 영역들의 상이한 주의 중요성 레벨들(attention importance levels)에 속하고, 각 픽셀 블록 그룹의 인코딩/디코딩 왜곡은 해당 픽셀 블록 그룹에 대한 상기 주의 중요성 레벨에 기본적으로 비례하도록 제어될 것이고, 인코딩된 픽처에 대하여 비트 예산이 주어지고 상기 양자화는 양자화 파라미터에 의해 제어됨 -,
    현재의 픽처에 대하여, 상기 양자화 파라미터의 후보들에 관련하여, 각 픽셀 블록 그룹에 대하여 추정된 왜곡에 대한 및 비트 레이트에 대한 및 상기 양자화 후의 제로 진폭 계수들의 수에 대한 테이블들 또는 목록들 또는 함수들을 확립하기 위한 수단;
    상기 픽셀 블록 그룹들의 각각에 대하여, 상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들을 이용하여, 그리고 다음의 스텝으로부터의 출력을 또한 이용하여 대응하는 왜곡 분포를 계산하고, 상기 비트 예산에 도달하기 위하여 상기 왜곡 분포를 수정하기 위한 수단;
    상기 추정된 왜곡에 대한 및 상기 비트 레이트에 대한 상기 테이블들 또는 목록들 또는 함수들에 기초하여, 그리고 상기 계산된 왜곡 분포에 기초하여, 상기 픽셀 블록 그룹들의 각각에 대한 추정된 비트 레이트를 계산하기 위한 수단; 및
    상기 픽셀 블록들을 양자화 및 인코딩하기 위한 상기 양자화 파라미터들 중 대응하는 양자화 파라미터를 결정하도록, 상기 추정된 비트 레이트 및 상기 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 이용하여 상기 픽셀 블록 그룹들 각각에 대한 로-도메인(rho-domain) 비트 할당을 수행하기 위한 수단
    을 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  8. 제7항에 있어서,
    상기 픽셀 블록들은 매크로블록들인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 인코딩된 픽처는 ISO/IEC 14496-10 AVC 인코딩된 픽처 시퀀스의 일부인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  10. 제7항 또는 제8항에 있어서,
    상기 양자화 파라미터는 양자화기 스텝 사이즈인, 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  11. 제7항 또는 제8항에 있어서,
    상기 픽셀 블록 그룹들의 각각에 대하여 대응하는 왜곡 분포를 계산하는 상기 스텝 또는 기능은,
    상기 상이한 주의 레벨 영역들에서의 상이한 왜곡 레벨들을 고려하지 않고, 각 픽셀 블록 그룹에 대하여 대응하는 초기 왜곡 값
    Figure 112012012499237-pct00087
    를 계산하는 것;
    왜곡 단위
    Figure 112012012499237-pct00088
    을 계산하는 것 - Mi 는 대응하는 픽셀 블록 그룹에 대한 상기 주의 중요성 레벨이고 Ki 는 상기 대응하는 픽셀 블록 그룹 내의 픽셀 블록들의 수이고 N은 주의 레벨들의 수임 -;
    상기 Du 값으로부터 상기 픽셀 블록 그룹들의 각각에 대하여
    Figure 112012012499237-pct00089
    에 의해 개선된 왜곡 분포를 계산하는 것 - 상기 왜곡 분포를 수정하는 스텝이 여기에서 수행됨 -
    을 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  12. 제7항 또는 제8항에 있어서,
    상기 픽셀 블록 그룹들 각각에 대한 로-도메인(rho-domain) 비트 할당을 수행하는 상기 스텝 또는 기능은,
    Figure 112012012499237-pct00090
    를 계산하는 것 -
    Figure 112012012499237-pct00091
    는 현재의 픽셀 블록 그룹의 코딩된 픽셀 블록들의 수이고, 는 이들
    Figure 112012012499237-pct00093
    개의 픽셀 블록을 인코딩하는 데 이용되는 비트들의 수이고, Ki 는 상기 현재의 픽셀 블록 그룹들의 픽셀 블록들의 총 수임 - ;
    상기 양자화 후의 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수로부터 상기 대응하는 양자화 파라미터를 결정하는 것; 및
    이미 인코딩된 상기 픽셀 블록들에 따라
    Figure 112012012499237-pct00094
    에 의해 파라미터 θ, 및 제로 진폭 계수들의 수에 대한 상기 테이블 또는 목록 또는 함수를 업데이트하는 것 -
    Figure 112012012499237-pct00095
    는 이들 코딩된
    Figure 112012012499237-pct00096
    개의 픽셀 블록에서 양자화된 제로 계수들의 수임 -
    을 포함하는 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 장치.
  13. 저장 매체로서, 제1항 또는 제2항의 방법에 따라 인코딩된 디지털 비디오 신호를 포함하거나 저장하거나 또는 저장 매체 상에 기록하는, 저장 매체.
KR1020087021363A 2006-03-02 2007-02-16 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치 KR101277363B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06300184.6 2006-03-02
EP06300184A EP1830573A1 (en) 2006-03-02 2006-03-02 Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
PCT/EP2007/051500 WO2007099039A1 (en) 2006-03-02 2007-02-16 Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture

Publications (2)

Publication Number Publication Date
KR20080114706A KR20080114706A (ko) 2008-12-31
KR101277363B1 true KR101277363B1 (ko) 2013-06-20

Family

ID=36693922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087021363A KR101277363B1 (ko) 2006-03-02 2007-02-16 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8179981B2 (ko)
EP (2) EP1830573A1 (ko)
JP (1) JP5015967B2 (ko)
KR (1) KR101277363B1 (ko)
CN (1) CN101395923B (ko)
WO (1) WO2007099039A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2145479B1 (en) * 2007-04-20 2014-07-02 Thomson Licensing Method and apparatus for selecting a scan path for the elements of a block in spatial domain picture encoding and decoding
KR101599561B1 (ko) * 2007-10-05 2016-03-03 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 레이트 제어 정밀도를 위한 방법 및 장치
US20110075730A1 (en) * 2008-06-25 2011-03-31 Telefonaktiebolaget L M Ericsson (Publ) Row Evaluation Rate Control
TWI405467B (zh) * 2009-11-25 2013-08-11 Novatek Microelectronics Corp 影像壓縮的位元速率控制電路與方法
JP5423469B2 (ja) * 2010-02-23 2014-02-19 沖電気工業株式会社 量子化装置、プログラム及び方法、並びに、動画像符号化装置
US20110310961A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Video rate control based on transform-coefficients histogram
CN102714722A (zh) * 2010-09-02 2012-10-03 英特赛尔美国股份有限公司 Rho-域量度
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
EP2575364B1 (en) * 2011-09-30 2020-03-18 BlackBerry Limited Methods and devices for data compression using a non-uniform reconstruction space
US9094681B1 (en) * 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
WO2014018050A1 (en) 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression
US9280540B2 (en) 2012-10-01 2016-03-08 Verizon Patent And Licensing Inc. Content-driven download speed
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
KR101603268B1 (ko) * 2014-01-23 2016-03-14 삼성전자주식회사 영상 데이터 처리 방법 및 디바이스
US10091504B2 (en) 2015-01-08 2018-10-02 Microsoft Technology Licensing, Llc Variations of rho-domain rate control
US10812550B1 (en) 2016-08-03 2020-10-20 Amazon Technologies, Inc. Bitrate allocation for a multichannel media stream
CN109246431B (zh) * 2017-07-10 2021-06-04 北京君正集成电路股份有限公司 一种基于量化参数配置的视频编码方法、装置和电子设备
EP3695600A4 (en) * 2017-11-30 2020-08-19 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONTROLLING VIDEO ENCODING IN A FRAME OF IMAGE
CN111164972A (zh) 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于在帧级别控制视频编码的系统和方法
CN110832856A (zh) 2017-11-30 2020-02-21 深圳市大疆创新科技有限公司 用于减小视频编码波动的系统及方法
WO2019109988A1 (en) * 2017-12-08 2019-06-13 Shanghaitech University Face region detection based light field video compression
EP3550837A1 (en) * 2018-04-06 2019-10-09 Comcast Cable Communications LLC Method for generating quantization matrices based on viewing conditions
CN112655212B (zh) * 2018-11-28 2023-04-04 Oppo广东移动通信有限公司 视频编码优化方法、装置及计算机存储介质
CN110602495A (zh) * 2019-08-20 2019-12-20 深圳市盛世生物医疗科技有限公司 一种医学图像编码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030065588A (ko) * 2001-01-03 2003-08-06 인텔 코오퍼레이션 비트 버짓을 이용하여 비디오 인코딩 속도의 제어를실행하는 방법
KR20030082818A (ko) * 2002-04-18 2003-10-23 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR20050018047A (ko) * 2003-08-12 2005-02-23 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
SE521021C2 (sv) * 1998-06-18 2003-09-23 Ericsson Telefon Ab L M Förfarande och anordning vid överförande av bilder
US6904091B1 (en) * 1999-03-25 2005-06-07 Imec Vzw Methods and apparatus for progressive transmission of subband images
US6687294B2 (en) * 2001-04-27 2004-02-03 Koninklijke Philips Electronics N.V. Distortion quantizer model for video encoding
KR100440953B1 (ko) * 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
JP3902948B2 (ja) * 2001-12-04 2007-04-11 株式会社Ｋｄｄｉ研究所 動画像符号化装置
JP4033292B2 (ja) * 2002-06-05 2008-01-16 株式会社Ｋｄｄｉ研究所 動画像符号化のための量子化制御方式
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
WO2006107280A1 (en) * 2005-04-08 2006-10-12 Agency For Science, Technology And Research Method for encoding a picture, computer program product and encoder
US8019170B2 (en) * 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030065588A (ko) * 2001-01-03 2003-08-06 인텔 코오퍼레이션 비트 버짓을 이용하여 비디오 인코딩 속도의 제어를실행하는 방법
KR20030082818A (ko) * 2002-04-18 2003-10-23 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
KR20050018047A (ko) * 2003-08-12 2005-02-23 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법

Also Published As

Publication number Publication date
JP5015967B2 (ja) 2012-09-05
US8179981B2 (en) 2012-05-15
CN101395923A (zh) 2009-03-25
EP1994758A1 (en) 2008-11-26
KR20080114706A (ko) 2008-12-31
EP1994758B1 (en) 2012-05-23
JP2009528738A (ja) 2009-08-06
WO2007099039A1 (en) 2007-09-07
US20100183069A1 (en) 2010-07-22
EP1830573A1 (en) 2007-09-05
CN101395923B (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
KR101277363B1 (ko) 픽처 신호 인코딩에서 픽처 내의 픽셀 블록 그룹들에 대한 비트 할당을 결정하는 방법 및 장치
EP1074148B1 (en) Moving pictures encoding with constant overall bit rate
US8031774B2 (en) Video encoding methods and systems with frame-layer rate control
US8559501B2 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
EP0963657B1 (en) Digital signal compression encoding with improved quantisation
US20070009025A1 (en) Method and apparatus for operational frame-layer rate control in video encoder
US8406297B2 (en) System and method for bit-allocation in video coding
Hu et al. Region-based rate control for H. 264/AVC for low bit-rate applications
US9516328B2 (en) Method and apparatus for rate control accuracy in video encoding
GB2459671A (en) Scene Change Detection For Use With Bit-Rate Control Of A Video Compression System
US8165202B1 (en) Video compression rate
US20060256858A1 (en) Method and system for rate control in a video encoder
Jing et al. A novel intra-rate estimation method for H. 264 rate control
Yin et al. A practical consistent-quality two-pass VBR video coding algorithm for digital storage application
US20040234149A1 (en) Quantization matrix adjusting method for quality improvement
Pai et al. MPEG-4 constant-quality constant-bit-rate control algorithms
Kamaci et al. Frame bit allocation for H. 264 using cauchy-distribution based source modelling
Wu et al. A content-adaptive distortion-quantization model for intra coding in H. 264/AVC
Kamaci et al. /spl rho/-domain rate-distortion optimal rate control for DCT-based video coders
Kuo et al. Efficient two-pass rate control scheme based on adjusting distribution of discrete cosine transform coefficients
GB2323493A (en) Quantisation for compression systems
Chang et al. A two-layer characteristic-based rate control framework for low delay video transmission
Lin et al. A new bit rate control of MPEG with predictive and adaptive perceptual quantization
Lee et al. A target bit matching algorithm for MPEG-2 video coding
Lee et al. A rate control algorithm using macroblock types

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 6