KR20140101867A - Hevc 표준용 양자화 행렬 설계 - Google Patents

Hevc 표준용 양자화 행렬 설계 Download PDF

Info

Publication number
KR20140101867A
KR20140101867A KR1020147019323A KR20147019323A KR20140101867A KR 20140101867 A KR20140101867 A KR 20140101867A KR 1020147019323 A KR1020147019323 A KR 1020147019323A KR 20147019323 A KR20147019323 A KR 20147019323A KR 20140101867 A KR20140101867 A KR 20140101867A
Authority
KR
South Korea
Prior art keywords
intra
matrices
quantization matrices
quantization
computer
Prior art date
Application number
KR1020147019323A
Other languages
English (en)
Inventor
문시 하쿠에
알리 타바타바이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140101867A publication Critical patent/KR20140101867A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

HVS 기반의 수학적 모델 및 데이터 분석을 이용하는 HEVC 표준용 양자화(스케일링) 행렬들에 대해 본 명세서에서 설명된다. 2차 파라미터 모델 기반의 양자화 행렬 설계도 포함된다.

Description

HEVC 표준용 양자화 행렬 설계{QUANTIZATION MATRIX DESIGN FOR HEVC STANDARD}
관련 출원의 상호 참조
본 출원은 2012년 1월 20일자로 출원되고 제목이 "HEVC 표준용 양자화 행렬 설계(QUANTIZATION MATRIX DESIGN FOR HEVC STANDARD)"인 미국 특허 가출원 번호 제61/589,265호의 35 U.S.C.§119(e)에 따른 우선권을 주장하고, 그 전체 내용이 또한 모든 목적을 위해 본 명세서에 인용되어 포함된다.
기술분야
본 발명은 이미지 처리의 분야에 관한 것이다. 보다 구체적으로, 본 발명은 고효율 비디오 코딩에 관한 것이다.
MPEG-H 파트 2라고도 알려진 고효율 비디오 코딩(High Efficiency Video Coding: HEVC)은, 현재 ISO/IEC 동화상 전문가 그룹(Moving Picture Experts Group: MPEG) 및 ITU-T 비디오 코딩 전문가 그룹 (Video Coding Experts Group: VCEG)에 의해 공동 개발중인 H.264/MPEG-4 AVC(Advanced Video Coding: 고급 비디오 코딩)의 후속인, 비디오 압축 표준 초안이다. MPEG 및 VCEG는 HEVC 표준을 개발하기 위해 비디오 코딩의 공동 협력 팀(Joint Collaborative Team on Video Coding: JCT-VC)을 설립했다. HEVC는 비디오 품질을 개선하고 H.264에 비해 데이터 압축률을 두 배로 하고, 320x240부터 7680x4320까지의 화소 해상도를 스케일링한다.
HVS 기반의 수학적 모델 및 데이터 분석을 이용하는 HEVC 표준용 양자화(스케일링) 행렬이 본 명세서에서 설명된다. 2차 파라미터 모델 기반의 양자화 행렬 설계도 포함된다.
일 양태에 있어서, 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계(quantization matrix design for high efficiency video coding)를 구현하는 방법은, 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하는 단계를 포함한다. 이 방법은 직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계를 더 포함한다. 이 방법은 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 더 포함한다. 변환 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들(reference advanced video coding quantization matrices model-based algorithms)을 이용하는 단계를 포함한다. 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들(contrast sensitivity functions adjustment-based algorithms)로부터 유도된다. 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택된다. 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택된다. 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택된다.
다른 양태에 있어서, 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계를 구현하는 방법은, 정사각형 형상의 블록들의 인트라 양자화 행렬들 및 직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로, 그리고 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 포함한다. 변환 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 단계를 포함한다. 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도된다. 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택된다. 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택된다. 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택된다.
다른 양태에 있어서, 기기(apparatus)는, 애플리케이션을 저장하는 메모리 -애플리케이션은, 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하고, 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하기 위한 것임-, 및 메모리에 결합된 프로세싱 컴포넌트 -프로세싱 컴포넌트는 애플리케이션을 처리하도록 구성됨-를 포함한다. 이 기기는 직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계를 더 포함한다. 이 기기는 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 더 포함한다. 변환 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 단계를 포함한다. 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도된다. 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택된다. 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택된다. 기기는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택된다.
도 1은 일부 실시예들에 따른 상이한 피크 주파수들에서 모듈러 전달 함수(Modular Transfer Function: MTF) 곡선을 도시한다.
도 2는 일부 실시예들에 따른 비디오 코덱을 도시한다.
도 3은 일부 실시예들에 따른 비교 Q-행렬들(인트라 4x4)을 도시한다.
도 4는 일부 실시예들에 따른 비교 Q-행렬들(인터 4x4)을 도시한다.
도 5는 일부 실시예들에 따른 비교 Q-행렬들(인트라 4x4) DCT/DST 또는 DST/DCT를 도시한다.
도 6은 일부 실시예들에 따른 비교 Q-행렬들(인트라 8x8)을 도시한다.
도 7은 일부 실시예들에 따른 비교 Q-행렬들(인터 8x8)을 도시한다.
도 8은 일부 실시예들에 따른 2차 파라미터들을 이용하여 생성된 4x4 HVS Q-행렬들을 도시한다.
도 9는 일부 실시예들에 따른 2차 파라미터들을 이용하여 생성된 4x4 HVS Q-행렬들을 도시한다.
도 10은 일부 실시예들에 따른 인트라 및 인터 Q-행렬들을 도시한다.
도 11은 일부 실시예들에 따른 인트라 및 인터 Q-행렬들(16x4)을 도시한다.
도 12는 일부 실시예들에 따른 인트라 2차 모델들에 대한 결과들을 도시한다.
도 13은 일부 실시예들에 따른 인터 2차 모델에 대한 결과들을 도시한다.
도 14는 일부 실시예들에 따른 양자화 행렬 설계를 구현하는 방법의 흐름도를 나타낸다.
도 15는 일부 실시예들에 따른 양자화 행렬 설계를 구현하도록 구성된 예시적인 컴퓨팅 장치의 블록도를 도시한다.
인간의 시각계(Human Visual System: HVS) 기반의 수학적 모델 및 후속의 데이터 분석을 이용하는 고효율 비디오 코딩(HEVC) 표준용 양자화(스케일링) 행렬들에 대한 설계에 대해 본 명세서에서 설명된다. 2차 파라미터 모델 기반의 양자화 행렬(Q-행렬) 설계에 대해서도 설명된다.
HEVC 표준들용의 양자화 행렬 설계는 HVS 기반의 수학적 모델 및 2차 파라미터 모델을 포함한다. HEVC 표준들용의 정사각형 형상의 블록들 또는 직사각형 형상의 블록들의 인트라(intra) Q-행렬들도 포함된다. 인트라 정사각형 형상의 또는 직사각형 형상의 Q-행렬들은 참조 AVC Q-행렬 모델 기반의 알고리즘들을 이용하여 대응하는 인터(inter) 정사각형 형상의 또는 직사각형 형상의 Q-행렬들로 변환된다. HVS 모델의 경우, 인트라 Q-행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도된다. 2차 파라미터 Q-행렬 설계를 위해, 2차 파라미터 리스트의 세트가 HVS 모델들 또는 참조 AVC Q-행렬 모델로부터의 참조 입력 Q-행렬들로부터 유도되고, 후속적으로 Q-행렬들에 기초하여 2차 모델을 생성하기 위해 이용된다. 그 후, 인트라 Q-행렬들은 AVC Q-행렬 분석으로부터 유도된 결과들을 이용하여 대응하는 인터 Q-행렬들로 변환된다.
인트라 Q-행렬들을 대응하는 인터 Q-행렬들로 변환하기 위해, 인트라 모델과 인터 모델 간에 존재하는 단순한 관계가 있음을 나타내는 AVC Q-행렬 분석으로부터 유도된 결과들이 이용된다.
스케일링 리스트 테이블들을 저장하는 다양한 방법들이 있다. 하나의 예는 인코더 및 디코더 둘 다에서 상당한 저장량을 이용하는 룩업 테이블(Look-Up Table: LUT)이다. LUT에 있어서, 디폴트 스케일링 리스트들(default scaling lists)은 사실상 대칭적이다. 이러한 스케일링 리스트들의 엔트리들은 스케일링 행렬들의 지그재그 스캔된 계수들이다. 디폴트 스케일링 리스트들은 두 개의 예시적인 모델을 이용하여 개발된다. 첫 번째 것은 HVS 모델에 기초하고 두 번째 것은 대칭 스케일링 행렬들에 대한 2차 파라미터 모델로 설계된다.
스케일링 리스트 테이블들을 저장하는 다른 예는 추가의 계산을 행함으로써 테이블들이 인코더 및 디코더에서 재생되는 파라메트릭 모델(parametric model)이다. 행렬들을 스케일링하기 위한 파라미터 모델들은 인코딩된 화상/시퀀스들에 의존하여 대칭적, 다중 파라미터들(3 내지 6) 또는 비대칭적, 다중 파라미터들(2x3 내지 6)이 될 수 있다. 2차 방정식의 4 개의 파라미터(par_a0, par_b0, par_c0, 및 par_d0)를 포함하는 디폴트 스케일링 리스트에 대한 대칭적 2차 파라미터 모델은 다음과 같다:
q(x,y) = Int ((par_a0 * (x2 + y2) + par_b0 * (xy) + par_c0 * (x + y) + par_d0 + 5123) >> 10);
여기서, (x, y)는 (스캔이 적용되기 전의) 디폴트 스케일링 리스트 내의 엘리먼트의 위치이다.
HVS 알고리즘
a) 원래 식(콘트라스트 감도 함수 조정)에 있어서:
H(u,v) = [c + (f(u,v)/fpeak)**k1] * exp[-(f(u,v) / fpeak))**k2]
=> a * [c + b * f(u,v)] * exp[-(d * f(u,v))**k2]
=> 여기서, p = 1/fpeak, b=f1(p) = p**k1, d=f2(p) = p**k2, or b = .d, k1 = 1.0443
b) If (f(u,v) > fpeak)
H(u,v) = 2.2 * (0.192 + 0.114 * f(u,v)) exp( -(0.114 * f(u,v))**1.1);
else
H(u,v) = 1.0;
M x N 블록 내의 u = 0 내지 M-1, v = 0 내지 N-1에 대해, f(u,v)는 반경 주파수(radial frequency)이다.
c) Q (u, v) = Int (0.5 + qp / H(u, v))); //qp = 평균 QP 값
d) 상이한 피크 주파수들에서의 곡선. 도 1은 일부 실시예들에 따른 서로 다른 피크 주파수들에서의 모듈러 전달 함수(Modular Transfer Function: MTF) 곡선을 도시한다. HVS가 등방성이라고 가정할 때, HVS는 MTF에 의해 따라지는 비선형 포인트 변환으로서 모델링된다. 곡선은 또한 HVS 모델들의 콘트라스트 감도 함수(Contrast Sensitivity Function: CSF) 곡선이라고 지칭될 수 있다. CSF는 사람들이 시각적 자극의 다양한 주파수들에 얼마나 민감한지를 나타낸다. CSF에 따르면, 사람들은 중간 주파수들에 대해 가장 민감하다. 그러나, 사람들은 매우 낮고 매우 높은 주파수들과 같은 스펙트럼 주파수들의 끝 부분들에 대해서는 매우 둔감하다.
HVS 알고리즘은 왜곡 척도에 관한 적절한 파라미터들을 선택하기 위해 다른 피크 주파수들(fpeak = (a), (b), (c), (d)의 경우들)을 이용한다.
Figure pct00001
새로운 파라미터 삽입
수평 및 수직 주파수들의 이산적 표현
f(u) = R(u) / (delta_u * 2M); f(v) = R(v) / (delta_v * 2N);
수평 및 수직 주파수들의 이산적 표현
f(u) *= [(mH(u)/M) * (width / M)]; f(v) *= [(mT(v)/N) * (height/N)];
모든 프레임 폭 Mbs에 대한 MB 크기에 관해 [(mH(u)/M) * (width/M)] = H-MV
모든 프레임 높이 Mbs에 대한 MB 크기에 관해 [(mT(u)/N) * (height/N)] = V-MV
수평 및 수직 주파수들의 이산적 표현
f(u) = R(u) / (delta_u * 2M); f(v) = R(v) / (delta_v * 2N);
delta_u = 표시 단말기의 폭 방향(u)의 도트 피치
delta_v = 표시 단말기의 높이 방향(v)의 도트 피치
R(u) = 변환 행렬 커널의 각 행에서의 부호 변화의 수
C(v) = 변환 행렬 커널의 각 열에서의 부호 변화의 수
반경 주파수를 수평 및 수직 주파수들에 관해서 표현한다:
f(u, v) = sqrt(f(u) * f(u) + f(v) * f(v));
지정된 표시 해상도에 적응한다:
시거리(viewing distance)(dis) 관련 팩터, dis_factor를 이용하여 반경 주파수를 스케일링한다:
dis_factor = (pii/180/arcsin(1 / sqrt (1 + dis*dis)); pii = 4.0 * arctan (1.0);
f(u,v) = dis_factor * f(u,v);
시각 MTF의 변화를 설명하기 위해 각도 의존적 함수 S(theta (u, v))를 이용하여 최신 반경 주파수를 정규화한다:
theta(u, v), 시야각 = arctan (f(v) / f(u));
S(theta (u,v)) = ((1-w) / 2) * cos (4 * theta (u, v)) + (1+w) / 2;
w = 실험으로부터 유도된 대칭 파라미터 = 0.7;
f(u, v) = f(u, v) / S (theta(u, v)).
HVS 알고리즘을 위한 초기 파라미터들
모델 관련 가정:
mm로 표시 도트 피치(delta_u, delta_v)(= 100 dpi 디스플레이에 대해 0.25).
mm로 시거리(dis) = 4x이미지의 높이(= 512x512 이미지를 보여주는 128mmx128mm 디스플레이에 대해 4 * 128mm).
fpeak = 8.0 cycle(사이클) / degree(도) 또는 7.9.
평균 qp = 12(AVC) 또는 16(JPEG, MPEG-2, MPEG-4:2, HEVC).
w = 실험으로부터 유도된 대칭 파라미터 = 0.7;
일부 실시예들에서, 공간적-시간적 감지가능 왜곡(Spatio-Temporal Just Noticeable Distortion: ST-JND) 모델이 이용된다. 콘트라스트 감도 함수(CSF) 모델을 이용하여 시간적 파라미터가 삽입된다. 비디오 신호의 JND는 공간적 및 시간적 HVS 마스킹 효과들 모두에 의존한다. 공간적 마스킹은 다음과 같은 양태들에 기인한다: 주파수 표현 타입, 휘도 변화, 및 마스킹 효과들을 높이는 텍스처링된 영역들 등의 패턴들의 존재. 시간적 마스킹은, 움직임이 빠른 영역들에서는 눈에 잘 띄지 않는 왜곡에서의 연속된 두 개의 프레임 사이에 존재하는 모션 활동에 의존한다. ST-JND 모델은 이러한 마스킹 효과의 모두를 설명한다. ST-JND 모델은 각 비디오 프레임의 휘도 성분에 걸쳐 DCT 도메인에서 작용하고, ME 및 RD 최적화 인코딩 처리들에서 레이트 할당 및 왜곡의 인지 가중화 둘 다에 활용되고, 각각의 DCT 계수에 대해 JND 임계값을 제공하고, 이들 임계값을 코딩되고 있는 비디오 프레임과 동일한 폭 및 높이를 갖는 행렬로 구성한다. ST-JND 모델은 공간적 마스킹 컴포넌트 모델링, 휘도 변화 마스킹, 화상 패턴 마스킹, 및 시간적 마스킹을 활용할 수 있다.
일부 실시예들에서, 인터 Q-행렬 가중화가 구현된다. HVS 기반의 Q-행렬 모델들을 조정하기 위해 세 개의 상이한 주파수 가중화 전략이 구현될 수 있다: 전략 0: 주파수 가중화 없음, 전략 1: 세부 사항 보존됨(더 높은 주파수들), 및 전략 2: 세부 사항 블러링됨(덜 높은 주파수들). 이웃하는 매크로블록들(A, B, C, D)의 콘텍스트들(코딩 타입)은 I/P/B 화상들의 현재 매크로블록들에 대한 규칙들을 고안하기 위해 이용된다. 전략 0: skip_mode, Intra_16x16; 전략 1: P/B 화상들에서 intra4x4_DC, inter_4x4, intra_MB; 및 P_16x16, B_16x16.
양자화 행렬(Q-행렬)에 대한 2차 모델
nxn Q-행렬에 대한 대칭 2차 모델은 다음과 같이 주어진다:
q(x,y) = unsigned char (a(x * x + y*y) + bxy + c(x + y) + d + 0.5)
인트라/인터, 4x4/8x8, 루마(Luma)/크로마(Chroma) 블록들의 각각의 경우에 대한 4 개의 파라미터 (a, b, c, d)
합계 2 x 2 x 2 = 8 개의 파라미터 세트가 이용된다.
Figure pct00002
비디오 코덱(video codec)에 있어서 최적의 Q-행렬을 찾기 위해 다운힐 심플렉스 검색(Downhill Simplex Search: DSS) 방법이 이용된다. 도 2는 일부 실시예들에 따른 비디오 코덱을 나타낸다.
도 3은 일부 실시예들에 따른 비교 Q-행렬들(인트라 4x4)을 도시한다. 도시된 것은 HVS 기반의 행렬, AVC 모델, EQM AVC-HR 행렬, 및 AVC "소프트" HVS 모델 행렬을 포함한다. 도 4는 일부 실시예들에 따른 비교 Q-행렬(인터 4x4)을 도시한다. Q-행렬들은 2차 모델 행렬, AVC 모델 행렬, EQM AVC-HR 행렬, 모빌리젠 행렬(MobilyGen matrix), 및 AVC "소프트" HVS 모델 행렬을 포함한다. 도 5는 일부 실시예들에 따른 비교 Q-행렬들(인트라 4x4) DCT/DST 또는 DST/DCT를 도시한다. 도 6은 일부 실시예들에 따른 비교 Q-행렬들(인트라 8x8)을 도시한다. Q-행렬들은 HVS 기반의 행렬(qp = 16), HVS 기반의 행렬(qp = 12), MPEG-4 ASP 행렬, EQM AVC-HR 행렬, AVC "소프트" HVS 모델 행렬, 및 AVC 모델 행렬을 포함한다. 도 7은 일부 실시예들에 따른 비교 Q-행렬들(인터 8x8)을 도시한다. Q-행렬들은 2차 모델 행렬, AVC 모델 행렬, 모빌리젠 루마 행렬(MobilyGen Luma matrix), EQM AVC-HR 행렬, 및 AVC "소프트" HVS 모델 행렬을 포함한다.
2차 파라미터 모델들
4x4 및 8x8 인터 및 인트라 Q-행렬들은 참조로서 AVC 디폴트 행렬들을 이용하여 유도될 수 있다. 8x8 인터 모델들은 16x16 및 32x32 인터 Q-행렬들을 생성하기 위해 이용될 수 있다.
새로운 인터 Q-행렬 모델링
4x4 및 8x8(또는 16x16 또는 32x32) 행렬들에 대한 HVS 인트라 Q-행렬들로부터 시작하며, 여기서 이러한 행렬들은 대각선 대칭 또는 비대칭일 수 있다. 인트라 Q-행렬을 인터 Q-행렬로 변환하기 위해 인트라 -> 인터 Q-행렬 변환 모델을 이용한다. 예를 들어, 제1 행, 제1 열, 마지막 행, 마지막 열, 및 대각선 엘리컨트들을 구축한다. 그 다음에 Q-행렬의 나머지 엘리먼트들을 구축하기 위해 지그-재그 스캔 기반의 보간(interpolation) 기술들을 이용한다.
Q-행렬의 2차 모델
대칭적 2차 모델에 대해:
q(x,y) = unsigned char (a(x * x + y*y) + bxy + c(x + y) + d + 0.5)
AVC 디폴트 행렬 값들은 인트라/인터 경우들에 대한 파라미터들(a, b, c, d)을 유도하기 위해 이용될 수 있다.
도 8은 일부 실시예들에 따른 2차 파라미터들을 이용하여 생성된 4x4 HVS Q-행렬들을 도시한다. 도 9는 일부 실시예들에 따른 2차 파라미터들을 이용하여 생성된 4x4 HVS Q-행렬들을 도시한다.
HVS 속성들은 MSE 등의 수학적 모델들의 단점들을 교정하기 위해 이용될 수 있다. HVS는 많은 양의 텍스처 활동을 갖는 영역들에서 세부 사항들에 덜 민감하고, 고도로 텍스터링된 프레임의 영역들에서는 더 많은 노이즈가 허용될 수 있다. HVS에 의해 적응되는 강도와 비교할 때, 더 어둡거나 또는 더 밝은 영역들에서 더 많은 노이즈가 숨겨질 수 있다. HVS는 공간 주파수 응답에 관해서 대역 통과 필터로서 작용한다. 시각의 각도당 약 8 사이클에서 피크가 존재한다. 공간 주파수가 더 높은 영역들에 더 많은 노이즈가 숨겨질 수 있다. 객체의 경계들이 유지될 수 있다. HVS는 비디오 시퀀스들에서 특히 모션의 존재에 있어서 강체들의 유지되지 않은 에지들(edges)에 매우 민감하다. 통상적으로, 모션 벡터의 나쁜 선택 또는 코딩 모드에 대한 부적절한 선택은 장면 내의 고체 객체의 에지 어긋남의 주요 원인이다. 이 타입의 왜곡은 낮은 비트 레이트들에서 발생하기가 더 쉽다. HVS는 매크로블록 분류 및 인지 모델 기반의 비트 레이트 제어를 위해 이용될 수 있다. 매크로블록들은 텍스처, 다크 콘트라스트(dark contrast), 스무스(smooth), 에지, 상세, 또는 정상으로 분류될 수 있다. R-D 기반의 qP 파라미터 조정(Q-행렬 아님)이 구현될 수 있다.
Q-행렬들 기반의 HVS 모델의 변환: 인트라 -> 인터
변환을 위해, 입력은 4x4, 8x8, 16x16 또는 32x32 등의 HVS 인트라 양자화 행렬들(intra quantization matrices)(QM_hvs_intra)을 포함한다. 변환을 수행하기 위해 AVC 행렬 모델들이 이용된다. 출력은 HVS 기반의 인터 양자화 행렬들(inter quantization matrices)(QM_hvs_inter)이다.
인트라 -> 인터 Q-행렬(정사각형) 변환 알고리즘들은 다음을 포함한다:
a) Q-행렬 변환을 위한 3 개의 선형 방정식.
b) Slope_1st = 0.714285714; slope_last = 0.733333333; slope_diag = 0.722222222(대칭 행렬들에 대해 이용되지 않음)
c) 제1 행/열: 인트라 -> 인터:
QM_hvs_inter[0][0] = QM_hvs_intra[0][0];
for (n=1; n<BLK_Y; n++)QM_hvs_inter[0][n] = QM_hvs_inter[0][n-1] + (unsigned char) (slope_1st * (float) (QM_hvs_intra[0][n] - QM_hvs_intra[0][n-1] + 0.5);
d) 마지막 행/열: 인트라 -> 인터:
QM_hvs_inter[0][BLK_Y-1] = QM_hvs_intra[0][BLK_Y-1];
for (m=1; m<BLK_X; m++)QM_hvs_inter[m][BLK_Y-1] = QM_hvs_inter[m-1][BLK_Y-1] + (unsigned char) (slope_last * (float) (QM_hvs_intra[m][BLK_Y-1] - QM_hvs_intra[m-1][BLK_Y-1]) + 0.5);
e) 대칭에 기인한 나머지 데이터;
for (m=1); m<BLK_X; m++)
For(n=0; n<BLK_Y-1; n++)
QM_hvs_inter[m][n] = QM_hvs_inter[m-1][n+1];
직사각형의 Q-행렬 생성
HVS 모델들은 16x4, 32x8, 8x2, 32x2가 될 수 있는 인트라 Q-행렬들(BLK_XxBLK_Y)을 생성하기 위해 이용된다.
BLK_Y<BLK_X이므로, y 방향 성분 주파수가 Q-행렬들에 대해 지배적으로 기여한다(y-주파수 그리드가 더 크다):
for (m=0; m<BLK_X; m++) { for n=0; n<BLK_Y; n++) {
//주파수들을 계산한다: fm, fn, fmn
fm = R[m] / (delta_par * 2.0 * BLK_X);
fn = C[n] / (delta_par * 2.0 * BLK_Y);
fmn = squrt (fm * fm + fn * fn);
fmn = fm_factor * fmn; }}
행 방향(x 방향) 함수, R[m]은 반복 데이터(행마다 # 개의 부호 변화)를 갖는다. 예를 들어, 16x4에 대해, R[m] {0 1 2 3 3 3 2 1 0 1 2 3 3 3 2 1}; C[n] = {0 1 2 3};
직사각형의 Q-행렬들은 R [m] 함수로 인해 반복적인 행들을 갖는다.
HVS 모델 기반의 Q-행렬 변환(인트라 -> 인터)
HEVC를 위해 단지 2 개의 인터 Q-행렬(16x4, 32x8)이 있다.
일부 애드혹(ad-hoc) 변환 규칙들이 비대칭 특성에 기인하여 따라진다. 제1 행의 방정식은 행들의 첫 번째 절반을 위해 이용되고, 마지막 행의 방정식은 행들의 두 번째 절반을 위해 이용된다. 대칭 규칙은 따르지 않는다.
도 10은 일부 실시예들에 따른 인트라 및 인터 Q-행렬들을 도시한다. 도 11은 일부 실시예들에 따른 인트라 및 인터 Q-행렬들(16x4)을 도시한다.
Q-행렬 설계
Q-행렬(정사각형 형상, 대칭)은 2 개의 상이한 모델 중 하나를 이용하여 설계될 수 있다.
HVS 기반의 설계에서, 인트라 Q-행렬들은 HVS를 이용하여 설계되고, 그 후 인터 Q-행렬들은 8x8 블록들의 AVC Q-행렬들로부터 유도된 인트라 -> 인터 관계를 이용하여 설계된다.
2차 파라미터 기반의 설계에서, 두 가지 타입의 참조 입력 Q-행렬들이 2차 파라미터 세트들을 유도하기 위해 이용된다: HVS 모델 기반의 Q-행렬들 및 AVC 4x4 및 8x8 Q-행렬들, 및 8x8 Q-행렬로부터 보간된 16x16 및 32x32 Q-행렬들. 그 후, 2차 파라미터 세트들은 출력 Q-행렬들을 생성하기 위해 이용된다.
정사각형이 아닌 Q-행렬이 정사각형 Q-행렬로부터 생성된다. 선택적 열들/행들이 선택된다. HVS 및 2차 파라미터 기반의 Q-행렬들은 모두 입력 Q-행렬들로서 이용된다.
2차 파라미터 모델링
2차 파라미터들 p를 유도하기 위해 최소 제곱(Least Squares: LS) 곡선 피팅이 이용된다. 단순한 선형 행렬 식(고정된 4x4 행렬과 소스 Q-행렬 데이터에 의존하는 4x1 어레이의 곱셈)이 이용된다:
P = [a b c d]'= C.q, 여기서
C는, 주어진 블록 크기에 대해 미리 계산된 고정된 4x4 행렬(N1xN2 = N)
q는, 소스 Q-행렬 엘리먼트들의 선형 형태의 가중화된 합(gi, i=0 to N-1) 및 대응하는 (xi,yi) 좌표들을 포함하는 4x1 어레이.
(Gi, i=0 to N-1)는 선형화된 입력 Q-행렬 엘리먼트들로부터 유도된다.
파라메트릭 모델링의 소스 Q-행렬들(입력).
인트라/인터 대칭 정사각형 및 비-정사각형 행렬들은 2 개의 설계 모델(HVS 모델 기반, 및 AVC 및 AVC-타입)로 결정된다. 행렬 크기는 4x4, 8x8, 16x16, 32x32를 포함한다.
2차 파라미터들을 이용한 출력 Q-행렬 설계
대칭 2차 방정식을 이용하여 출력 Q-행렬을 설계한다:
Q(xi, yi) = (a * (xi 2 = yi 2) + b (xi . yi) + c * (xi + yi) + d + 512) >> 10;
(xi, yi)는 어레이 형태로 배열된 Q-행렬의 위치 좌표들이다(i=0 내지 N-1);
p = [a, b, c, d]'는 2차 파라미터 열-어레이를 형성한다.
Figure pct00003
Figure pct00004
도 12는 일부 실시예들에 따른 인트라 2차 모델들에 대한 결과들을 도시한다. 도 13은 일부 실시예들에 따른 인터 2차 모델들에 대한 결과들을 도시한다.
도 14는 일부 실시예들에 따른 양자화 행렬 설계를 구현하는 방법의 흐름도를 나타낸다. 단계 1400에서, 인트라 양자화 행렬들이 결정된다. 단계 1402에서, 인트라 양자화 행렬들은 대응하는 인터 양자화 행렬들로 변환된다. 일부 실시예들에서, 인트라 양자화 행렬들은 정사각형 형상의 블록들 및 직사각형 형상의 블록들에 대해 결정된다. 일부 실시예들에서, 인트라 정사각형 형상의 양자화 행렬들로부터 인터 양자화 행렬들로의 변환은 참조 AVC Q-행렬 모델 기반의 알고리즘들을 이용하여 수행된다. 일부 실시예들에서, 인트라 직사각형 형상의 양자화 행렬들로부터 대응하는 인터 직사각형 형상의 양자화 행렬들로의 변환은 그들의 반복 특성에 기인하여 다수의 행렬-행들에 적용되는 참조 AVC Q-행렬 모델 기반의 알고리즘들을 이용하여 수행된다. 일부 실시예들에서, HVS 모델에 대해, 콘트라스트 감도 함수 조정 기반의 알고리즘들은 인트라 양자화 행렬들을 유도하기 위해 널리 이용된다. 일부 실시예들에서, 2차 파라미터 양자화 행렬 설계를 위해, 2차 파라미터 리스트의 세트가 HVS 모델들로부터의 참조 입력 양자화 행렬들 또는 AVC 참조 양자화 행렬들을 입력 행렬들로서 이용하여 생성된다. 이어서, 이러한 새롭게 유도된 2차 파라미터들은 2차 방정식을 이용하여 2차 모델 기반의 양자화 행렬들을 생성하기 위해 이용된다. 일부 실시예들에서, 더 적거나 더 많은 단계들이 구현된다.
도 15는 일부 실시예들에 따른 양자화 행렬 설계를 구현하도록 구성된 예시적인 컴퓨팅 장치(1500)의 블록도를 도시한다. 컴퓨팅 장치(1500)는 이미지, 비디오, 및 오디오 등의 정보를 획득, 저장, 연산, 처리, 통신, 및/또는 표시하기 위해 이용될 수 있다. 예를 들어, 컴퓨팅 장치(1500)는 비디오를 획득하고 저장하기 위해 이용될 수 있다. 양자화 행렬의 설계는 통상 비디오를 획득하는 동안 또는 그 후에 이용된다. 일반적으로, 컴퓨팅 장치(1500)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(1502), 메모리(1504), 프로세서(1506), I/O 장치(들)(1508), 버스(1510), 및 저장 장치(1512)를 포함한다. 프로세서의 선택은 충분한 속도를 갖는 적합한 프로세서가 선택되는 한, 중요하지 않다. 메모리(1504)는 당업계에 공지된 임의의 통상적인 컴퓨터 메모리일 수 있다. 저장 장치(1512)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, Blu-Ray®, 플래시 메모리 카드, 또는 임의의 다른 저장 장치를 포함할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 네트워크 인터페이스(1502)를 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷(Ethernet) 또는 다른 타입의 LAN에 접속된 네트워크 카드를 포함한다. I/O 장치(들)(1508)는 다음 중 하나 이상을 포함할 수 있다: 키보드, 마우스, 모니터, 디스플레이, 프린터, 모뎀, 터치스크린, 버튼 인터페이스, 및 다른 장치들. 일부 실시예들에서, 하드웨어 구조는 병렬 처리를 수행하기 위해 다수의 프로세서 및 다른 하드웨어를 포함한다. 양자화 행렬 설계를 수행하기 위해 이용되는 양자화 행렬 설계 애플리케이션(들)(1530)은 저장 장치(1512) 및 메모리(1504)에 저장될 가능성이 있고 애플리케이션들이 통상적으로 처리됨에 따라 처리될 가능성이 있다. 도 15에 도시된 것들보다 더 많거나 적은 구성 요소들이 컴퓨팅 장치(1500)에 포함될 수 있다. 일부 실시예들에서, 양자화 행렬 설계 하드웨어(1520)가 포함된다. 도 15의 컴퓨팅 장치(1500)가 양자화 행렬 설계를 구현하기 위한 애플리케이션들(1530) 및 하드웨어(1520)를 포함하지만, 양자화 행렬의 설계는 컴퓨팅 장치상에 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 양자화 행렬 설계 애플리케이션들(1530)은 메모리에 프로그래밍되고 프로세서를 이용하여 실행된다. 다른 예를 들면, 일부 실시예들에서, 양자화 행렬 설계 하드웨어(1520)는 방법을 구현하도록 구체적으로 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 로직이다.
일부 실시예들에서, 양자화 행렬 설계 애플리케이션(들)(1530)은 몇몇의 애플리케이션 및/또는 모듈을 포함한다. 일부 실시예들에서, 모듈들은 하나 이상의 서브-모듈을 또한 포함한다.
적합한 컴퓨팅 장치들의 예들은 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기(예를 들어, iPhone®), 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 장치(예를 들어, iPod®), 태블릿 컴퓨터(예를 들면, iPad®), 비디오 재생기, DVD 기록기/재생기, Blu-ray® 기록기/재생기, 텔레비전, 홈 엔터테인먼트 시스템, 또는 임의의 다른 적합한 컴퓨팅 장치를 포함한다.
양자화 행렬 설계를 활용하기 위해, 디지털 카메라 등의 장치가 비디오 또는 이미지를 획득하기 위해 이용될 수 있다. 양자화 행렬 설계는 이미지/비디오 프로세싱을 수행하기 위해 자동으로 이용된다. 양자화 행렬 설계는 이용자의 개입 없이 자동으로 구현될 수 있다.
동작시에, 양자화 행렬 설계는 정보의 더 빠른 처리와 저장 공간 요구량의 감소를 가능하게 한다. 이 구현의 잠재적인 응용들은 HEVC 코덱과의 이용을 포함한다.
비교하자면, HVS 모델 기반의 스케일링 리스트 행렬들은 HM5.0 4x4 및 8x8 디폴트 행렬들보다 더 양호하게 수행했다. HM5.0의 디폴트 스케일링 리스트 행렬들은 4x4/8x8 AVC 및 16x16/32x32 HVS 모델 기반의 행렬들을 포함한다. HM5.0의 4x4/8x8 AVC 스케일링 리스트 행렬들은 국제 표준안(Draft International Standard: DIS)의 대응하는 HVS 모델 기반의 행렬들로 대체된다. 4x4 및 8x8 HVS 모델 기반의 행렬들은 HM5.0 디폴트 16x16 및 32x32 스케일링 리스트 행렬들에 수행된 바와 같이 HVS 모델링 방법을 이용하여 개발된다. HM 5.0 디폴트 AVC 스케일링 리스트 행렬들과 비교할 때, 4x4 및 8x8 HVS만의 행렬들의 성능은 6.5%(AI-HE), 3.6%(RA-HE), 및 1.8%(LD-B-HE)의 BD 비트 레이트 감소를 제공한다.
HEVC 표준용 양자화 행렬 설계의 일부 실시예들
1. 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계를 구현하는 방법으로서,
a. 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및
b. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
2. 제1항에 있어서,
직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계를 더 포함하는, 양자화 행렬 설계 구현 방법.
3. 제2항에 있어서,
상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 더 포함하는, 양자화 행렬 설계 구현 방법.
4. 제1항에 있어서,
상기 변환하는 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들(reference advanced video coding quantization matrices model-based algorithms)을 이용하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
5. 제1항에 있어서,
상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들(contrast sensitivity functions adjustment-based algorithms)로부터 유도되는, 양자화 행렬 설계 구현 방법.
6. 제1항에 있어서,
상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
7. 제2항에 있어서,
상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
8. 제1항에 있어서,
상기 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
9. 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계를 구현하는 방법으로서,
a. 정사각형 형상의 블록들의 인트라 양자화 행렬들 및 직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및
b. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로, 그리고 상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
10. 제9항에 있어서,
상기 변환하는 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
11. 제9항에 있어서,
상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도되는, 양자화 행렬 설계 구현 방법.
12. 제9항에 있어서,
상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
13. 제9항에 있어서,
상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
14. 제9항에 있어서,
상기 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
15. 기기로서,
a. 애플리케이션을 저장하는 메모리 -상기 애플리케이션은,
i. 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하고, ii. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하기 위한 것임-, 및
b. 메모리에 결합되고 상기 애플리케이션을 처리하도록 구성되는 프로세싱 컴포넌트를 포함하는, 기기.
16. 제15항에 있어서,
직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 것을 더 포함하는, 기기.
17. 제16항에 있어서,
상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 것을 더 포함하는, 기기.
18. 제15항에 있어서,
상기 변환은 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 것을 포함하는, 기기.
19. 제15항에 있어서,
상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도되는, 기기.
20. 제15항에 있어서,
상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 기기.
21. 제16항에 있어서,
상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 기기.
22. 제15항에 있어서,
상기 기기는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 기기.
본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 용이하게 하기 위해 상세 내용들을 통합하는 특정 실시예들의 관점에서 설명되었다. 본 발명의 특정 실시예들 및 상세 내용들에 대한 본 명세서에서의 그러한 참조는 본 명세서에 첨부된 청구항들의 범위를 제한하려는 것이 아니다. 다른 다양한 변형들이 청구항들에 의해 정의된 본 발명의 사상 및 범위를 벗어나지 않고 예시를 위해 선택된 실시예에 있어서 형성될 수 있음은 당업자에게 자명할 것이다.

Claims (22)

  1. 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계를 구현하는 방법으로서,
    a. 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및
    b. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
  2. 제1항에 있어서,
    직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계를 더 포함하는, 양자화 행렬 설계 구현 방법.
  3. 제2항에 있어서,
    상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 더 포함하는, 양자화 행렬 설계 구현 방법.
  4. 제1항에 있어서,
    상기 변환하는 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들(reference advanced video coding quantization matrices model-based algorithms)을 이용하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
  5. 제1항에 있어서,
    상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들(contrast sensitivity functions adjustment-based algorithms)로부터 유도되는, 양자화 행렬 설계 구현 방법.
  6. 제1항에 있어서,
    상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  7. 제2항에 있어서,
    상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  8. 제1항에 있어서,
    상기 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  9. 장치의 메모리에 프로그래밍되는 고효율 비디오 코딩용 양자화 행렬 설계를 구현하는 방법으로서,
    a. 정사각형 형상의 블록들의 인트라 양자화 행렬들 및 직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 단계, 및
    b. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로, 그리고 상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
  10. 제9항에 있어서,
    상기 변환하는 단계는 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 단계를 포함하는, 양자화 행렬 설계 구현 방법.
  11. 제9항에 있어서,
    상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도되는, 양자화 행렬 설계 구현 방법.
  12. 제9항에 있어서,
    상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  13. 제9항에 있어서,
    상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  14. 제9항에 있어서,
    상기 장치는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 양자화 행렬 설계 구현 방법.
  15. 기기로서,
    a. 애플리케이션을 저장하는 메모리 -상기 애플리케이션은,
    i. 정사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하고,
    ii. 상기 정사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 정사각형 형상의 양자화 행렬들로 변환하기 위한 것임-, 및
    b. 메모리에 결합되고 상기 애플리케이션을 처리하도록 구성되는 프로세싱 컴포넌트를 포함하는, 기기.
  16. 제15항에 있어서,
    직사각형 형상의 블록들의 인트라 양자화 행렬들을 결정하는 것을 더 포함하는, 기기.
  17. 제16항에 있어서,
    상기 직사각형 형상의 블록들의 인트라 양자화 행렬들을, 대응하는 인터 직사각형 형상의 양자화 행렬들로 변환하는 것을 더 포함하는, 기기.
  18. 제15항에 있어서,
    상기 변환은 참조 고급 비디오 코딩 양자화 행렬 모델 기반의 알고리즘들을 이용하는 것을 포함하는, 기기.
  19. 제15항에 있어서,
    상기 인트라 양자화 행렬들은 콘트라스트 감도 함수 조정 기반의 알고리즘들로부터 유도되는, 기기.
  20. 제15항에 있어서,
    상기 인트라 양자화 행렬들은 4x4, 8x8, 16x16, 및 32x32로 이루어진 그룹으로부터 선택되는, 기기.
  21. 제16항에 있어서,
    상기 인트라 양자화 행렬들은 16x4, 32x8, 8x2, 및 32x2로 이루어진 그룹으로부터 선택되는, 기기.
  22. 제15항에 있어서,
    상기 기기는 퍼스널 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 휴대용 음악 재생기, 태블릿 컴퓨터, 비디오 재생기, DVD 기록기/재생기, Blu-ray 기록기/재생기, 텔레비전, 및 홈 엔터테인먼트 시스템으로 이루어진 그룹으로부터 선택되는, 기기.
KR1020147019323A 2012-01-20 2013-01-18 Hevc 표준용 양자화 행렬 설계 KR20140101867A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261589265P 2012-01-20 2012-01-20
US61/589,265 2012-01-20
US13/597,131 US20130188691A1 (en) 2012-01-20 2012-08-28 Quantization matrix design for hevc standard
US13/597,131 2012-08-28
PCT/US2013/022274 WO2013109971A1 (en) 2012-01-20 2013-01-18 Quantization matrix design for hevc standard

Publications (1)

Publication Number Publication Date
KR20140101867A true KR20140101867A (ko) 2014-08-20

Family

ID=47630150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019323A KR20140101867A (ko) 2012-01-20 2013-01-18 Hevc 표준용 양자화 행렬 설계

Country Status (8)

Country Link
US (2) US20130188691A1 (ko)
EP (3) EP2618574B1 (ko)
JP (2) JP5633584B2 (ko)
KR (1) KR20140101867A (ko)
CN (1) CN103220517A (ko)
BR (1) BR112014016399A8 (ko)
CA (1) CA2860072A1 (ko)
WO (1) WO2013109971A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046084A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
KR102245642B1 (ko) 2020-10-21 2021-04-27 김태형 마스크 가이드

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841419B (zh) * 2014-01-28 2017-01-25 福州大学 基于人眼视觉特性的hevc量化矩阵设计
US20150242360A1 (en) * 2014-02-25 2015-08-27 International Business Machines Corporation Numerical scaling method for mathematical programs with quadratic objectives and/or quadratic constraints
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
CN104219526B (zh) * 2014-09-01 2017-05-24 国家广播电影电视总局广播科学研究院 基于恰可察感知质量判决准则的hevc率失真优化算法
US10491899B2 (en) * 2015-09-02 2019-11-26 Interdigital Vc Holdings, Inc. Method and apparatus for quantization in video encoding and decoding
US10567768B2 (en) 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
CN107256534B (zh) * 2017-05-16 2020-07-24 上海海事大学 基于双线性插值的gqir量子图像的缩小与放大方法
EP3550837A1 (en) * 2018-04-06 2019-10-09 Comcast Cable Communications LLC Method for generating quantization matrices based on viewing conditions
WO2020041003A1 (en) 2018-08-23 2020-02-27 Interdigital Vc Holdings, Inc. Coding of quantization matrices using parametric models
EP3624449A1 (en) 2018-09-17 2020-03-18 InterDigital VC Holdings, Inc. Coding of quantization matrices using parametric models
EP3918797A4 (en) 2019-03-10 2023-01-25 HFI Innovation Inc. METHOD AND DEVICE FOR CALCULATION AND REPRESENTATION OF QUANTIZATION MATRICES FOR VIDEO CODING
WO2020246806A1 (ko) 2019-06-03 2020-12-10 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
CN113950832A (zh) 2019-06-03 2022-01-18 Lg电子株式会社 基于矩阵的帧内预测装置和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2178142T3 (es) 1997-02-08 2002-12-16 Matsushita Electric Ind Co Ltd Matriz de cuantificacion para la codificacion de imagenes fijas y en movimiento.
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
JP4292659B2 (ja) * 1999-11-18 2009-07-08 ソニー株式会社 画像情報変換装置及び画像情報変換方法
KR100860147B1 (ko) * 2004-02-20 2008-09-24 닛본 덴끼 가부시끼가이샤 화상 부호화 방법, 그 장치 및 제어 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
EP1675402A1 (en) * 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
EP1995971B1 (en) 2006-03-16 2016-11-16 Huawei Technologies Co., Ltd. A method and device for realizing quantization in coding-decoding
US20080031325A1 (en) * 2006-08-03 2008-02-07 Yingyong Qi Mesh-based video compression with domain transformation
US8326068B1 (en) * 2006-08-30 2012-12-04 Maxim Integrated Products, Inc. Method and apparatus for modeling quantization matrices for image/video encoding
US20080170620A1 (en) * 2007-01-17 2008-07-17 Sony Corporation Video encoding system
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
MX2009009947A (es) * 2007-04-16 2009-09-24 Toshiba Kk Metodo y dispositivo de codificacion de imagenes y de descodificacion de imagenes.
CN101578878A (zh) * 2007-10-19 2009-11-11 松下电器产业株式会社 编码率变换装置、编码率变换方法及集成电路
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
US8249151B2 (en) * 2008-12-24 2012-08-21 Sony Corporation SIMD-processor-friendly MPEG-2 intra-quantizer
JP2011024066A (ja) * 2009-07-17 2011-02-03 Sony Corp 画像処理装置および方法
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046084A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
US11146816B2 (en) 2018-09-02 2021-10-12 Lg Electronics Inc. Method and apparatus for processing image signal
US11632570B2 (en) 2018-09-02 2023-04-18 Lg Electronics Inc. Method and apparatus for processing image signal
US11882310B2 (en) 2018-09-02 2024-01-23 Lg Electronics Inc. Method and apparatus for processing image signal
KR102245642B1 (ko) 2020-10-21 2021-04-27 김태형 마스크 가이드

Also Published As

Publication number Publication date
US20200314429A1 (en) 2020-10-01
WO2013109971A1 (en) 2013-07-25
JP5633584B2 (ja) 2014-12-03
EP2618574B1 (en) 2014-08-13
EP2618574A1 (en) 2013-07-24
EP2782346A1 (en) 2014-09-24
CN103220517A (zh) 2013-07-24
BR112014016399A8 (pt) 2017-07-04
JP2014147111A (ja) 2014-08-14
JP2013150327A (ja) 2013-08-01
EP2779656A1 (en) 2014-09-17
BR112014016399A2 (pt) 2017-06-13
CA2860072A1 (en) 2013-07-25
US11115662B2 (en) 2021-09-07
US20130188691A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
US11115662B2 (en) Quantization matrix design for HEVC standard
Zeng et al. Directional discrete cosine transforms—A new framework for image coding
Westwater et al. Real-time video compression: techniques and algorithms
US8576908B2 (en) Regions of interest for quality adjustments
US20130287312A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US20130188706A1 (en) Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US20080198932A1 (en) Complexity-based rate control using adaptive prefilter
CN104378636B (zh) 一种视频图像编码方法及装置
US20150023420A1 (en) Image decoding device, image encoding device, image decoding method, and image encoding method
MXPA03011623A (es) Optimizador de patrones configurable.
CN112789856B (zh) 视频编/解码中基于变换域滤波的量化伪影抑制
Gao et al. Advanced video coding systems
KR20040069210A (ko) 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상
Dong et al. 2-D order-16 integer transforms for HD video coding
JP2004528791A (ja) インターフレーム符号化方法および装置
JP4804107B2 (ja) 画像符号化装置、画像符号化方法及びそのプログラム
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
US20210144365A1 (en) Method and apparatus of reference sample interpolation for bidirectional intra prediction
US20090060368A1 (en) Method and System for an Adaptive HVS Filter
US20110289128A1 (en) Method of performing discrete cosine transform
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
Jadhav et al. JPEG XR an image coding standard
Ernst Architecture design of a scalable adaptive deblocking filter for H. 264/AVC
Cassidy An Analysis of VP8, a new video codec for the web
Kamışlı Reduction of blocking artifacts using side information

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20140711

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150821

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20151229

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150821

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I