KR20150133825A - 영상 부호화 장치, 영상 부호화 방법 및 프로그램 - Google Patents

영상 부호화 장치, 영상 부호화 방법 및 프로그램 Download PDF

Info

Publication number
KR20150133825A
KR20150133825A KR1020157030490A KR20157030490A KR20150133825A KR 20150133825 A KR20150133825 A KR 20150133825A KR 1020157030490 A KR1020157030490 A KR 1020157030490A KR 20157030490 A KR20157030490 A KR 20157030490A KR 20150133825 A KR20150133825 A KR 20150133825A
Authority
KR
South Korea
Prior art keywords
encoded data
image
encoding
input image
size
Prior art date
Application number
KR1020157030490A
Other languages
English (en)
Inventor
게이이찌 조노
세이야 시바따
다까유끼 이시다
겐스께 시모뿌레
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20150133825A publication Critical patent/KR20150133825A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes

Abstract

영상 부호화 장치는 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 제1 영상 부호화부(11); 입력 화상을 저장하는 버퍼(12); 제1 영상 부호화부(11)에 의해 생성된 제1 부호화 데이터를 변환한 후 병합하여, 제2 부호화 데이터를 생성하는 부호화 데이터 변환/병합부(13); 및 부호화 데이터 변환/병합부(13)로부터 공급되는 제2 부호화 데이터에 기초하여 버퍼(12)에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 그것의 비트 스트림을 생성하는 제2 영상 부호화부(14)를 갖추고 있다. 또한, 제1 영상 부호화부(11)는 제2 영상 부호화부(14)가 다루는 제2 부호화 처리에 포함되는 제1 부호화 처리를 다루는 기능을 갖고, 부호화 데이터 변환/병합부(13)는 제1 부호화 처리로부터의 부호화 데이터를 제2 부호화 처리에 대응하는 부호화 데이터로 변환한다.

Description

영상 부호화 장치, 영상 부호화 방법 및 프로그램{VIDEO-ENCODING DEVICE, VIDEO-ENCODING METHOD, AND PROGRAM}
본 발명은 영상 부호화 처리의 계산 부하를 분산하는 기술이 적용된 영상 부호화 장치에 관한 것이다.
비특허문헌(NPL) 1에 기초한 영상 부호화 방식에서는, 디지탈화된 영상의 각 프레임은 부호화 트리 유닛(CTU: Coding Tree Unit)으로 분할되어, 래스터 주사 순으로 각각의 CTU가 부호화된다. 각각의 CTU는 사지 트리(quadtree) 구조에서, 부호화 유닛(CU: Coding Unit)으로 분할되어 부호화된다. 각각의 CU는 예측 유닛(PU: Prediction Unit)으로 분할되어 예측된다. 각각의 CU의 예측 오차는 사지 트리 구조에서, 변환 유닛(TU: Transform Unit)으로 분할되어 주파수 변환된다. 이후, 가장 큰 사이즈의 CU는 "최대 CU"(LCU: Largest Coding Unit), 가장 작은 사이즈의 CU는 "최소 CU"(SCU: Smallest Coding Unit)라고 칭한다. LCU 사이즈와 CTU 사이즈는 동일하다.
각각의 CU는 인트라 예측 또는 프레임간 예측에 의해 예측 부호화된다. 이하, 인트라 예측 및 프레임간 예측을 설명한다.
인트라 예측은 부호화 대상 프레임의 재구축 화상으로부터 예측 화상을 생성하는 예측이다. 비특허문헌 1에는 도 26에 나타낸 33 종류의 각도 인트라 예측이 정의되어 있다. 각도 인트라 예측에서, 부호화 대상 블록 주변의 재구축 화소는 도 26에 나타낸 33 종류의 방향 중 어느 하나에 외삽(extrapolation)되어, 인트라 예측 신호를 생성하는데 사용된다. 비특허문헌 1에는, 33 종류의 각도 인트라 예측에 부가하여, 부호화 대상 블록 주변의 재구축 화소를 평균하는 DC 인트라 예측 및 부호화 대상 블록 주변의 재구축 화소를 선형 보간하는 플래너 인트라 예측(planar intra prediction)이 정의되어 있다. 이하, 인트라 예측에 기초하여 부호화된 CU는 "인트라 CU"라고 칭한다.
프레임간 예측은 부호화 대상 프레임과 표시 시각이 다른 재구축 프레임(참조 픽처)의 화상에 기초하는 예측이다. 이하, 프레임간 예측은 "인터 예측"이라고도 칭한다. 도 27은 프레임간 예측의 일례를 나타내는 설명도이다. 움직임 벡터 MV=(mvx, mvy)는 부호화 대상 블록에 대한 참조 픽처의 재구축 화상 블록의 평행 이동량을 나타낸다. 인터 예측에서, 참조 픽처의 재구축 화상 블록에 기초하여(필요할 경우 화소 보간을 사용하여), 인터 예측 신호가 생성된다. 이하, 프레임간 예측에 기초하여 부호화된 CU는 "인터 CU"라고 칭한다.
CU가 인트라 CU 또는 인터 CU인지의 여부는, 비특허문헌 1에 기재되어 있는 pred_mode_flag 신택스에 의해 시그널링된다.
인트라 CU만을 포함하여 부호화된 프레임은 "I 프레임"(또는 "I 픽처")이라고 칭한다. 인트라 CU 뿐만 아니라 인터 CU도 포함하여 부호화된 프레임은 "P 프레임"(또는 "P 픽처")이라고 칭한다. 블록의 인터 예측에 1개의 참조 픽처 뿐만 아니라, 동시에 2개의 참조 픽처를 각각 사용하는 인터 CU를 포함하여 부호화된 프레임은, "B 프레임"(또는 "B 픽처")이라고 칭한다.
도 28을 참조하여, 디지탈화된 영상의 각 프레임의 각 CU를 입력 화상으로 수신하여 비트 스트림을 출력하는 일반적인 영상 부호화 장치의 구조와 동작을 설명한다.
도 28에 나타낸 영상 부호화 장치는 주파수 변환기/양자화기(1021), 역양자화기/역주파수 변환기(1022), 버퍼(1023), 예측기(1024) 및 추정기(1025)를 포함한다.
도 29는 프레임의 공간 해상도가 CIF(CIF: Common Intermediate Format)이고 CTU 사이즈가 64인 경우, 프레임 t의 CTU 분할의 예 및 프레임 t에 포함되는 제8 CTU(CTU8)의 CU 분할의 예를 도시하는 설명도이다. 도 30은 CTU 8의 CU 분할의 예에 대응하는 사지 트리 구조를 도시하는 설명도이다. 각각의 CTU의 사지 트리 구조, 즉, CU 분할 형상은, 비특허문헌 1에 기재된 split_cu_flag 신택스에 의해 시그널링된다.
도 32는 CU의 PU 분할 형상을 도시하는 설명도이다. CU가 인트라 CU인 경우, 정사각형 PU 분할이 선택될 수 있다. CU가 인터 CU인 경우, 정사각형은 물론 직사각형의 PU 분할도 선택될 수 있다. 각각의 CU의 PU 분할 형상은 특허문헌 1에 기재되어 있는 part_mode 신택스에 의해 시그널링된다.
도 32는 CU의 TU 분할의 예를 도시하는 설명도이다. 도면의 상단에는, 2N×2N PU 분할 형상의 인트라 CU의 TU 분할의 예가 나타나 있다. CU가 인트라 CU인 경우, 사지 트리의 루트(root)는 PU에 위치하고, 각 PU의 예측 오차는 사지 트리 구조로 표현된다. 도면의 하단에는, 2N×N PU 분할 형상의 인터 CU의 TU 분할의 예가 나타나 있다. CU가 인터 CU인 경우, 사지 트리의 루트는 CU에 위치하고, CU의 예측 오차는 사지 트리 구조로 표현된다. 상술한 예측 오차의 사지 트리 구조, 즉, 각 CU의 TU 분할 형상은, 비특허문헌 1에 기재되어 있는 split_tu_flag 신택스에 의해 시그널링된다.
추정기(1025)는 각각의 CTU 마다, 부호화 비용을 최소로 하는, CU 분할 형상을 결정하는 split_cu_flag 신택스값을 결정한다. 추정기(1025)는 각각의 CU마다, 부호화 비용을 최소로 하는 인트라 예측/인터 예측을 결정하는 pred_mode_flag 신택스값, PU 분할 형상을 결정하는 part_mode 신택스값 및 TU 분할 형상을 결정하는 split_tu_flag 신택스값을 결정한다. 추정기(1025)는 각각의 PU마다, 부호화 비용을 최소로 하는, 인트라 예측 방향 및 움직임 벡터 등을 결정한다.
비특허문헌 2는 라그랑주(Lagrange) 승수 λ에 기초한 부호화 비용 J을 최소로 하는 split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향, 및 움직임 벡터 등의 결정 방법을 개시하고 있다.
이하, 비특허문헌 2의 섹션 4.8.3 인트라/인터/PCM 모드 결정을 참조하여, split_cu_flag 신택스값, pred_mode_flag 신택스값, 및 part_mode 신택스값의 결정 처리를 간략하게 설명한다.
이 섹션에는 CU의 pred_mode_flag 신택스값 및 part_mode 신택스값을 결정하는 CU 모드 결정 처리가 개시되어 있다. 이 섹션에는 또한 CU 모드 결정 처리를 재귀적으로 실행함으로써 split_cu_flag 신택스값을 결정하는 CU 분할 형상 결정 처리가 개시되어 있다.
먼저, CU 모드 결정 처리를 설명한다. 인터 예측의 PU 분할 형상 후보의 세트인 InterCandidate, 인트라 예측의 PU 분할 형상 후보의 세트인 IntraCandidate, 및 부호화 모드(mode)에 대한 제곱 오차의 합(SSE: Sum of Square Error) 부호화 비용인 JSSE(mode)는 이하와 같이 정의된다.
InterCandidate = {INTER_2N×2N, INTER_2N×N, INTER_N×2N, INTER_2N×N, INTER_N×2N, INTER_2N×nU, INTER_2N×nD, INTER_nL×2N, INTER_nR×2N, INTER_N×N}
IntraCandidate = {INTRA_2N×2N, INTRA_N×N}
JSSE(mode) = DSSE(mode)＋λmode·Rmode(mode)
Figure pct00001
여기서, DSSE(mode)는 CU의 입력 화상 신호와 mode를 사용하여 부호화했을 때에 얻어지는 재구축 화상 신호의 SSE를 나타내고, Rmode(mode)는 mode를 사용하여 부호화했을 때에 생성하는 CU의 비트수(후술하는 변환 양자화값의 비트수를 포함함)를 나타내며, QP는 양자화 파라미터를 나타낸다.
CU 모드 결정 처리에서, InterCandidate 및 IntraCandidate로부터, SSE 부호화 비용 JSSE(mode)를 최소로 하는 pred_mode_flag 신택스 및 part_mode 신택스의 조합인 bestPUmode를 선택한다. CU 모드 결정 처리는 이하와 같이 공식화될 수 있다.
Figure pct00002
PUCandidate = {InterCandidate, IntraCandidate}
이어서, CU 분할 형상 결정 처리를 설명한다.
도 30에 나타낸 것과 같이, CUDepth의 CU(이하, "노드"라고 칭함)의 SSE 부호화 비용은, 해당 노드의 bestPUmode의 SSE 부호화 비용이다. 따라서, 노드의 SSE 부호화 비용 JSSE(node, CUDepth)은 이하와 같이 정의될 수 있다.
Figure pct00003
CUDepth의 CU의 i번째(1≤i≤4) 자(child) CU(이하, "자 노드"나 리프(leaf) 등으로 칭함)의 SSE 부호화 비용은, CUDepth+1의 i번째 CU의 SSE 부호화 비용이다. 따라서, i번째의 리프의 SSE 부호화 비용 JSSE(leaf(i), CUDepth)은 이하와 같이 정의될 수 있다.
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)
노드의 SSE 부호화 비용이 그 리프의 SSE 부호화 비용의 합보다도 큰지의 여부를 비교함으로써, CU를 4개의 자 CU로 분할할지의 여부를 결정할 수 있다. JSSE(node, CUDepth)가 다음의 수학식 4의 값보다도 큰 경우, CU를 4개의 자 CU로 분할한다(split_cu_flag=1). JSSE(node, CUDepth)가 수학식 4의 값보다 크지 않은 경우, CU를 4개의 자 CU로 분할하지 않는다(split_cu_flag=0).
Figure pct00004
CU 사지 트리 구조 결정 처리에서, 상술한 비교는 각각의 CUDepth마다 재귀적으로 실행하여, CTU의 사지 트리 구조를 결정한다. 즉, 각각의 CUDepth마다 각 리프의 split_cu_flag를 결정한다.
추정기(1025)는 마찬가지로 라그랑주 승수 λ에 기초한 부호화 비용 J를 최소화함으로써, split_tu_flag, 인트라 예측 방향, 움직임 벡터 등을 결정한다.
예측기(1024)는 추정기(1025)에 의해 결정된 split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등에 기초하여, 각 CU의 입력 화상 신호에 대응하는 예측 신호를 생성한다. 예측 신호는 상술한 인트라 예측 또는 프레임간 예측에 기초하여 생성된다.
주파수 변환기/양자화기(1021)는 추정기(1025)에 의해 결정된 TU 분할 형상에 기초하여, 입력 화상 신호로부터 예측 신호를 감한 예측오차 화상을 주파수 변환한다.
주파수 변환기/양자화기(1021)는 또한 주파수 변환된 예측 오차 화상(주파수 변환 계수)를 양자화한다. 이하, 양자화된 주파수 변환 계수는 "변환 양자화값"이라고 칭한다.
엔트로피 부호화기(1056)는, 추정기(1025)에 의해 결정된 split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향의 차분 정보, 움직임 벡터의 차분 정보, 및 변환 양자화값을 엔트로피 부호화한다.
역양자화/역주파수 변환기(1022)는 변환 양자화값을 역양자화한다. 역양자화/역주파수 변환기(1022)는 또한 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상에는 예측 신호가 추가되고, 그 결과는 버퍼(1023)에 공급된다. 버퍼(1023)는 재구축 화상을 저장한다.
상술한 동작에 기초하여, 일반적인 영상 부호화 장치는 비트 스트림을 생성한다.
일본 특허 출원 제2012-104940호 공보 일본 특허 출원 제2001-359104호 공보
High Efficiency Video Coding(HEVC) text specification draft 10(for FDIS & Last Call) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 14-23 January 2013 High efficiency video coding(HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012 ITU-T H.264 2011/06
split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등을 결정하는 모든 영상 부호화 처리의 부하는 특정한 추정기에 집중된다.
본 발명은 영상 부호화 장치에서의 처리 부하를 분산하는 것을 목적으로 한다.
특허문헌(PTL) 1에는, 제1 부호화부와 제2 부호화부를 포함하는 영상 부호화 장치가 기재되어 있다. 특허문헌 2에는 복호기와 부호화기를 포함하는 변환 장치가 기재되어 있다. 그러나, 어느 문헌에도, 영상 부호화 장치에서의 부하를 분산하기 위한 기술은 개시되어 있지 않다.
본 발명에 따른 영상 부호화 장치는 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 제1 영상 부호화 수단; 입력 화상을 저장하는 버퍼 수단; 제1 영상 부호화 수단에 의해 생성된 제1 부호화 데이터를 변환한 후 병합하여, 제2 부호화 데이터를 생성하는 부호화 데이터 변환/병합 수단; 및 부호화 데이터 변환/병합 수단으로부터 공급되는 상기 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 제2 영상 부호화 수단을 포함하고, 제1 영상 부호화 수단은 제2 영상 부호화 수단이 다루는 제2 부호화 처리에 포함되는 제1 부호화 처리를 다루는 기능을 갖고, 부호화 데이터 변환/병합 수단은 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 대응하는 부호화 데이터로 변환한다.
본 발명에 따른 영상 부호화 방법은 입력 화상을 부호화하여 제1 부호화 데이터를 생성하고; 입력 화상을 저장하기 위한 버퍼 수단에 입력 화상을 저장하고; 제1 부호화 데이터를 변환한 후에 병합하여 제2 부호화 데이터를 생성하며; 제1 부호화 데이터를 생성하는 수단이 다루는 제1 부호화 처리를 포함하는 제2 부호화 처리를 다루는 기능을 갖는 수단을 사용하여, 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 것을 포함하고, 제2 부호화 데이터를 생성할 때에, 제1 부호화 처리에 의한 부호화 데이터는 제2 부호화 처리에 대응하는 부호화 데이터로 변환된다.
본 발명에 따른 영상 부호화 프로그램은 컴퓨터로 하여금,
입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 처리; 입력 화상을 저장하기 위한 버퍼 수단에 입력 화상을 저장하는 처리; 제1 부호화 데이터를 변환한 후 병합하여, 제2 부호화 데이터를 생성하는 처리; 및 제1 부호화 데이터를 생성하는 처리에서 다루는 제1 부호화 처리를 포함하는 제2 부호화 처리를 다루는 처리에 의해, 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 처리를 실행하게 하고, 영상 부호화 프로그램은 컴퓨터로 하여금 제2 부호화 데이터를 생성할 때에, 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 대응하는 부호화 데이터로 변환하게 한다.
본 발명에 따르면, 영상 부호화 처리의 계산 부하는 제1 영상 부호화 수단과 제2 영상 부호화 수단간에 분배되어, 부하의 집중을 피할 수 있다.
도 1은 영상 부호화 장치의 제1 실시 형태를 도시하는 블록도이다.
도 2는 AVC 부호화 데이터를 도시하는 설명도이다.
도 3은 매크로블록내의 블록 어드레스를 설명하기 위한 설명도이다.
도 4는 예측 종류를 설명하기 위한 설명도이다.
도 5는 예측 종류를 설명하기 위한 설명도이다.
도 6은 AVC의 트리의 예측 형상을 도시하는 설명도이다.
도 7은 HEVC 부호화 데이터인 HEVCCB를 도시하는 설명도이다.
도 8은 I_SLICE의 매크로블록의 AVC 부호화 데이터로부터 HEVCCB로의 변환 룰을 도시하는 설명도이다.
도 9는 P_SLICE의 매크로블록의 AVC 부호화 데이터로부터 HEVCCB로의 변환 룰을 도시하는 설명도이다.
도 10은 B_SLICE의 매크로블록의 AVC 부호화 데이터로부터 HEVCCB로의 변환 룰을 도시하는 설명도이다.
도 11은 HEVCCB의 예를 나타내는 설명도이다.
도 12는 HEVCCB의 예를 나타내는 설명도이다.
도 13은 제1 실시 형태의 영상 부호화 장치의 동작을 나타내는 흐름도이다.
도 14는 영상 부호화 장치의 제2 실시 형태를 도시하는 블록도이다.
도 15는 제2 실시 형태의 영상 부호화 장치의 동작을 나타내는 흐름도이다.
도 16은 영상 부호화 장치의 제3 실시 형태를 도시하는 블록도이다.
도 17은 제3 실시 형태의 영상 부호화 장치의 동작을 나타내는 흐름도이다.
도 18은 화면 분할의 예를 나타내는 설명도이다.
도 19는 분할 화면을 병렬 처리하는 영상 부호화 장치를 도시하는 블록도이다.
도 20은 입력 비트 스트림을 변환하는 영상 부호화 장치를 도시하는 블록도이다.
도 21은 본 발명에 따른 영상 부호화 장치의 기능을 실현할 수 있는 정보 처리 시스템의 구조예를 도시하는 블록도이다.
도 22는 본 발명에 따른 영상 부호화 장치의 주요부를 도시하는 블록도이다.
도 23은 본 발명에 따른 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다.
도 24는 본 발명에 따른 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다.
도 25는 본 발명에 따른 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다.
도 26은 33 종류의 각도 인트라 예측의 예를 나타내는 설명도이다.
도 27은 프레임간 예측의 예를 나타내는 설명도이다.
도 28은 일반적인 영상 부호화 장치의 구조를 도시하는 설명도이다.
도 29는 프레임 t의 CTU 분할의 예 및 프레임 t의 CTU8의 CU 분할의 예를 도시하는 설명도이다.
도 30은 CTU8의 CU 분할의 예에 대응하는 사지 트리 구조를 도시하는 설명도이다.
도 31은 CU의 PU 분할의 예를 도시하는 설명도이다.
도 32는 CU의 TU 분할의 예를 도시하는 설명도이다.
제1 실시 형태
도 1은 본 실시 형태의 영상 부호화 장치의 구조를 도시하는 블록도이다. 도 1에 도시한 영상 부호화 장치에서, 제1 영상 부호화기(102)는 16×16 화소 LCU 사이즈의 CTU와 동등한 매크로블록을 지원하는 AVC(Advanced Video Coding) 영상 부호화기이고, 제2 영상 부호화기(105)는 16×16 화소 CTU 뿐만 아니라 32×32 화소 CTU 및 64×64 화소 CTU를 지원하는 HEVC 영상 부호화기이다. 즉, 제1 영상 부호화기(102)에 의해 지원될 수 있는 최대 LCU 사이즈는, 제2 영상 부호화기(105)에 의해 지원될 수 있는 최대 LCU 사이즈 이하이다.
본 실시 형태의 영상 부호화 장치는 사이즈 확장기(101), 제1 영상 부호화기(102), 버퍼(103), 부호화 데이터 변환기(104) 및 제2 영상 부호화기(105)를 포함한다.
사이즈 확장기(101)는 입력 화상 src의 폭 src_pic_width 및 높이 src_pic_height를 16의 배수로 사이즈 확장한다. 예를 들어, (src_pic_width, src_pic_height)=(1920, 1080)의 경우, 확장된 입력 화상의 폭 e_src_pic_width과 높이 e_src_pic_height는 (e_src_pic_width, e_src_pic_height)=(1920, 1088)이다. 사이즈 확장된 영역의 화소값은 입력 화상의 경계의 화소값의 카피(copy), 또는 선정된 화소값(예를 들어, 그레이(gray)를 나타내는 128)일 수도 있다.
사이즈 확장기(101)는 사이즈 확장된 입력 화상을 제1 영상 부호화기(102) 및 버퍼(103)에 공급한다. 제1 영상 부호화기(102)는 사이즈 확장된 입력 화상을 AVC에 따라 부호화한다.
이하, 제1 영상 부호화기(102)의 구조 및 동작을 설명한다.
제1 영상 부호화기(102)는 주파수 변환기/양자화기(1021), 역양자화/역주파수 변환기(1022), 버퍼(1023), 예측기(1024) 및 추정기(제1 추정기)(1025)를 포함한다.
추정기(1025)는 사이즈 확장된 입력 화상과 버퍼(1023)에 저장된 재구축 화상을 사용하여, 사이즈 확장된 입력 화상을 구성하는 각 매크로블록의 AVC 부호화 데이터를 결정한다. 본 명세서에서, AVC 부호화 데이터(AVCMB)는 도 2에 도시된 바와 같이, 매크로블록에 대응하는 16×16 화소 영역의 DCT 계수를 제외한 부호화 데이터(mb_type, sub_mb_type, ref_idx_l0, ref_idx_l1, mv_l0, mv_l1, intra_lumaN×N_pred, transform_size_8×8_flag)를 포함한다. 여기서, mb_type 및 sub_mb_type은 각각 비특허문헌 3의 테이블 7-11, 테이블 7-13 및 Table 7-14에 정의되어 있는 매크로블록의 부호화 모드 및 비특허문헌 3의 테이블 7-17 및 테이블 7-18에 정의되어 있는 서브매크로블록의 부호화 모드를 나타낸다. 또한, ref_idx_lx(x=0/1), mv_lx, intra_lumaN×N_pred 및 transform_size_8×8_flag는 각각 참조 픽처 리스트 x의 참조 픽처 인덱스, 참조 픽처 리스트 x의 움직임 벡터, 휘도 인트라 예측 방향, 및 매크로블록이 8×8 DCT를 이용하여 부호화되었는지의 여부의 플래그를 나타낸다.
상술한 바와 같이, 매크로블록이 16×16 화소이며, AVC의 최소 처리 단위가 4×4 화소라고 가정하면, 각 매크로블록에서의 각 AVC 부호화 데이터의 위치는, 매크로블록내의 16×16 블록 어드레스 b8(0≤b8≤3)(도 3에서의 상단)과 8×8 블록내의 블록 어드레스 b4(0≤b4≤3)(도 3에서의 하단)의 조합에 의해 정의된다. 예를 들어, 매크로블록 내에서의 위치 (x, y)=(4, 4)의 intra_lumaN×N_pred는, (b8, b4)=(0, 1)에 대응하고, intra_lumaN×N_pred[0][3]에 저장될 수 있다.
추정기(1025)는 결정된 각 매크로블록의 AVC 부호화 데이터를 예측기(1024) 및 부호화 데이터 변환기(104)에 출력한다.
예측기(1024)는 추정기(1025)에 의해 결정된 mb_type 신택스값, sub_mb_type 신택스값, ref_idx_l0 신택스값, ref_idx_l1 신택스값, mv_l0 신택스값, mv_l1 신택스값 및 intra_lumaNxN_pred 신택스값에 기초하여, 각 매크로블록의 사이즈 확장된 입력 화상 신호에 대응하는 예측 신호를 생성한다. 예측 신호는 상술한 인트라 예측 또는 프레임간 예측에 기초하여 생성된다.
AVC의 인트라 예측에 대해서는, 비특허문헌 3에 기재되어 있는 바와 같이, mb_type에 의해 정의되는, 3종류의 블록 사이즈의 인트라 예측 모드, 즉 Intra_4×4, Intra_8×8, Intra_16×16이 활용가능하다.
도 4의 (a) 및 도 4의 (c)로부터 알 수 있는 바와 같이, Intra_4×4와 Intra_8×8는 각각 4×4 블록 사이즈와 8×8 블록 사이즈의 인트라 예측이다. 도면에서의 각 서클(o)은 인트라 예측의 참조 화소, 즉, 버퍼(1023)에 저장된 재구축 화상을 나타낸다.
Intra_4×4의 인트라 예측에서는, 재구축 화상의 주변 화소를 그대로 참조 화소로 설정하고, 도 4의 (b)에 나타낸 9 종류의 방향에 패딩(padding)(외삽)하여 예측 신호를 형성한다. Intra_8×8의 인트라 예측에서는, 도 4의 (c)에서의 우측 화살표의 바로 아래에 나타낸 저역 통과 필터(1/2, 1/4, 1/2)에 의해 재구축 화상의 주변 화소를 평활화시킨 화소를 참조 화소로서 설정하여 도 4의 (b)에 나타낸 9 종류의 방향에 외삽하여 예측 신호를 형성한다.
도 5의 (a)로부터 알 수 있는 바와 같이, Intra_16×16은 16×16 블록 사이즈의 인트라 예측이다. 도 4에 도시된 예에서와 같이, 도 5에서의 각각의 서클(o)은 인트라 예측의 참조 화소, 즉, 버퍼(1023)에 저장된 재구축 화상을 나타낸다. Intra_16×16의 인트라 예측에서는, 재구축 화상의 주변 화소를 그대로 참조 화소로 설정하고, 도 5의 (b)에 나타낸 4종류의 방향에 외삽하여 예측 신호를 형성한다.
AVC의 프레임간 예측에 대해서는, 도 6에 도시되어 있는 바와 같이, mb_type에 의해 정의되는 16×16, 16×8, 8×16 및 트리 예측 형상이 활용될 수 있다. 매크로블록이 트리인 경우, 각각의 8×8 서브매크로블록은, sub_mb_type에 의해 정의되는 8×8, 8×4, 4×8 및 4×4 중 임의의 것의 예측 형상을 갖는다. 본 명세서에서는, 설명의 간략화를 위해, mb_type이 트리인 경우(P_8×8 또는 B_8×8), 각각의 8×8 서브매크로블록은 8×8에만 한정된다고 가정된다.
주파수 변환기/양자화기(1021)는 추정기(1025)에 의해 결정된 mb_type 신택스값 및 transform_size_8×8_flag 신택스값에 기초하여, 사이즈 확장된 입력 화상 신호로부터 예측 신호를 감한 예측 오차 화상을 주파수 변환한다.
주파수 변환기/양자화기(1021)는 또한 주파수 변환된 예측 오차 화상(주파수 변환 계수)을 양자화한다. 이하, 양자화된 주파수 변환 계수는 "변환 양자화값"이라고 칭한다.
역양자화기/역주파수 변환기(1022)는 변환 양자화값을 역양자화한다. 역양자화기/역주파수 변환기(1022)는 또한 역양자화된 주파수 변환 계수를 역 주파수 변환한다. 역 주파수 변환된 재구축 예측 오차 화상에는 예측 신호가 추가되고, 그 결과는 버퍼(1023)에 공급된다. 버퍼(1023)는 재구축 화상을 저장한다.
상술한 동작에 기초하여, 제1 영상 부호화기(102)는 사이즈 확장된 입력 화상 신호를 부호화한다.
부호화 데이터 변환기(104)는 각 매크로블록의 AVCMB를, 도 7에 나타낸 바와 같이, 매크로블록에 대응하는 16×16 화소 영역의 HEVC 부호화 데이터(cu_size, tu_size, pred_mode_flag, part_mode, ref_idx_l0, ref_idx_l1, mv_l0, mv_l1, intra_lumaN×N_pred, intra_chroma_pred)인 HEVCCB로 변환한다. 여기서, cu_size 및 tu_size는 각각 CU 사이즈 및 TU 사이즈를 나타낸다.
도 8 내지 도 10에서, V는 수직 방향을 의미하고, H는 수평 방향을 의미한다. 각 행은 mb_type 및 intra_lumaN×N_pred에 대응하는 변환 룰을 나타낸다.
HEVC에서, LCU의 최소 사이즈가 16×16 화소이고, SCU의 최소 사이즈가 8×8 화소이며, 최소 처리 단위가 4×4 화소라고 가정하면, HEVC 부호화 데이터는 16×16 화소 단위로 관리될 수 있다. 각각의 16×16 화소에서의 HEVC 부호화 데이터의 위치는, AVC 부호화 데이터와 마찬가지로, 매크로블록내의 8×8 블록 어드레스 b8(0≤b8≤3)과 8×8 블록내의 블록 어드레스 b4(0≤b4≤3)의 조합에 의해 정의될 수 있다.
예를 들어, CU 사이즈가 16인 경우, 각각의 16×16 화소에서의 HEVC 부호화 데이터의 cu_size[b8](0≤b8≤3)은 모두 16이다.
도 8에 나타낸 I_SLICE 맵핑, 도 9에 나타낸 P_SLICE 맵핑, 및 도 10에 나타낸 B_SLICE 맵핑은 각각 픽쳐 타입에 따라, AVCMB를 부호화 데이터 변환기(104)에 의한 HEVCCB에 맵핑(변환)하기 위한 룰을 나타낸다.
다음으로, 도 11에 도시된 모든 인접하는 4개의 HEVCCB의 part_mode가 2N×2N이고 모든 HEVCCB가 동일한 cu_size, pred_mode_flag, 및 움직임 정보(ref_idx_l0, ref_idx_l1, mv_l0 및 mv_l1)를 갖는 경우, 부호화 데이터 변환기(104)는 4개의 HEVCCB를 병합한다. 구체적으로, 부호화 데이터 변환기(104)는 4개의 HEVCCB의 cu_size를 32로 갱신한다.
또한, 도 12에 도시된 모든 인접하는 16개의 HEVCCB의 part_mode가 2N×2N이고 모든 HEVCCB가 동일한 cu_size, pred_mode_flag, 및 움직임 정보(ref_idx_l0, ref_idx_l1, mv_l0 및 mv_l1)를 갖는 경우, 부호화 데이터 변환기(104)는 16개의 HEVCCB를 병합한다. 구체적으로, 부호화 데이터 변환기(104)는 16개의 HEVCCB의cu_size을 64로 갱신한다.
제2 영상 부호화기(105)는 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여 버퍼(103)로부터 공급되는 사이즈 확장된 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다. 본 실시 형태의 제2 영상 부호화기(105)는 화상 경계에 대한 제1 영상 부호화기(102)의 부호화 데이터의 신뢰도를 향상시키기 위해, 입력 화상 src을 SCU의 배수가 아니라, 제1 영상 부호화기(102)의 매크로블록 사이즈의 배수로 설정한다.
이하, 제2 영상 부호화기(105)의 구조 및 동작을 설명한다.
제2 영상 부호화기(105)는 주파수 변환기/양자화기(1051), 역양자화/역주파수 변환기(1052), 버퍼(1053), 예측기(1054), 추정기(제2 추정기)(1055) 및 엔트로피 부호화기(1056)를 포함한다.
본 실시 형태의 제2 영상 부호화기(105)에서의 추정기(1055)는 각각의 CTU마다, split_cu_flag를, HEVC 부호화 데이터의 cu_size에 따라 결정할 수 있다. 예를 들어, cu_size=64인 경우, CUDepth=0의 split_cu_flag는 0으로 설정된다. 마찬가지로, 추정기(1055)는 HEVC 부호화 데이터의 pred_mode_flag 및 part_mode에 따라, 각 CU의 인트라 예측/인터 예측 및 PU 분할 형상을 결정할 수 있다. 추정기(1055)는 또한 HEVC 부호화 데이터의 pred_mode_flag 및 part_mode에 따라, 각 PU의 인트라 예측 방향 및 움직임 벡터 등을 결정할 수 있다. 따라서, 추정기(1055)는 배경기술에서의 추정기와는 달리, 라그랑주 승수 λ에 기초한 부호화 비용 J을 최소로 하는 부호화 파라미터를 철저하게 검색할 필요가 없다.
예측기(1054)는 추정기(1055)에 의해 결정된 split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등에 기초하여, 각 CU의 입력 화상 신호에 대응하는 예측 신호를 생성한다. 예측 신호는 상술한 인트라 예측 또는 프레임간 예측에 기초하여 생성된다.
주파수 변환기/양자화기(1051)는 HEVC 부호화 데이터의 tu_size에 따라 추정기(1055)에 의해 결정된 TU 분할 형상에 기초하여, 입력 화상 신호로부터 예측 신호를 감한 예측 오차 화상을 주파수 변환한다.
주파수 변환기/양자화기(1051)는 또한 주파수 변환한 예측 오차 화상(주파수 변환 계수)을 양자화한다.
엔트로피 부호화기(1056)는, 추정기(1055)에 의해 결정된 split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향의 차분 정보 및 움직임 벡터의 차분 정보, 및 변환 양자화값을 엔트로피 부호화한다.
역양자화기/역주파수 변환기(1052)는 변환 양자화값을 역양자화한다. 또한, 역양자화기/역주파수 변환기(1052)는 역양자화한 주파수 변환 계수를 역 주파수 변환한다. 역 주파수 변환된 재구축 예측 오차 화상에는 예측 신호가 추가되고, 그 결과는 버퍼(1053)에 공급된다. 버퍼(1053)는 재구축 화상을 저장한다.
상술한 동작에 기초하여, 제2 영상 부호화기(105)는 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 사이즈 확장된 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
이하, 도 13의 흐름도를 참조하여, 본 실시 형태의 영상 부호화 장치의 동작을 설명한다.
스텝 S101에서, 사이즈 확장기(101)는 입력 화상을 제1 영상 부호화기(102)의 매크로블록 사이즈인 16의 배수로 사이즈 확장한다.
스텝 S102에서, 제1 영상 부호화기(102)는 사이즈 확장된 입력 화상을 AVC에 따라 부호화한다.
스텝 S103에서, 부호화 데이터 변환기(104)는 사이즈 확장된 입력 화상의 각 매크로블록의 AVCMB를 HEVCCB로 변환하고, 또한 HEVCCB를 병합한다.
스텝 S104에서, 제2 영상 부호화기(105)는 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 사이즈 확장된 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
상술한 본 실시 형태의 영상 부호화 장치에서, split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등을 결정하는 영상 부호화 처리의 부하가 제1 영상 부호화기(102)와 제2 영상 부호화기(105)간에 분배되기 때문에, 영상 부호화 처리의 부하 집중이 완화된다.
본 실시 형태에서는, 제1 영상 부호화기(102)를 AVC 영상 부호화기로 했지만, AVC 영상 부호화기는 일례이다. 제1 영상 부호화기(102)는 16×16 화소 CTU를 지원하는 HEVC 영상 부호화기일 수도 있다. 이 경우, 부호화 데이터 변환기(104)는 상술한 AVC 부호화 데이터를 HEVC 부호화 데이터로 변환하는 처리를 스킵한다.
또한, 본 실시 형태에서의 부호화 데이터 변환기(104)는, 인접하는 4개의 HEVCCB가 이하의 32×32 2N×N 조건을 모두 만족시키는 경우, 4개의 HEVCCB의cu_size 및 part_mode를 각각 32 및 2N×N으로 갱신할 수도 있다.
[32×32 2N×N 조건]
· 모든 HEVCCB의 part_mode는 2N×2N이다.
· 모든 HEVCCB의 cu_size는 동일하다.
· 모든 HEVCCB의 pred_mode_flag는 0이다.
· 모든 HEVCCB의 움직임 정보가 동일하지는 않다.
· 상측 2개의 HEVCCB의 움직임 정보는 동일하다.
· 하측 2개의 HEVCCB의 움직임 정보는 동일하다.
마찬가지로, 본 실시 형태의 부호화 데이터 변환기(104)는, 인접하는 4개의 HEVCCB가 이하 32×32 N×2N 조건을 모두 만족시키는 경우, 4개의 HEVCCB의 cu_size 및 part_mode를 각각 32 및 N×2N으로 갱신할 수도 있다.
[32×32 N×2N 조건]
· 모든 HEVCCB의 part_mode는 2N×2N이다.
· 모든 HEVCCB의 cu_size는 동일하다.
· 모든 HEVCCB의 pred_mode_flag는 0이다.
· 모든 HEVCCB의 움직임 정보가 동일하지는 않다.
· 좌측 2개의 HEVCCB 움직임 정보는 동일하다.
· 우측 2개의 HEVCCB 움직임 정보는 동일하다.
또한, 본 실시 형태의 부호화 데이터 변환기(104)는, 인접하는 16개의 HEVCCB가 이하 64×64 2N×N 조건을 모두 만족시키는 경우, 16개의 HEVCCB의 cu_size 및 part_mode를 각각 64 및 2N×N으로 갱신할 수도 있다.
[64×64 2N×N 조건]
· 모든 HEVCCB의 part_mode는 2N×2N이다.
· 모든 HEVCCB의 cu_size는 동일하다.
· 모든 HEVCCB의 pred_mode_flag는 0이다.
· 모든 HEVCCB의 움직임 정보가 동일하지는 않다.
· 상측 8개의 HEVCCB의 움직임 정보는 동일하다.
· 하측 8개의 HEVCCB의 움직임 정보는 동일하다.
마찬가지로, 본 실시 형태의 부호화 데이터 변환기(104)는 인접하는 16개의 HEVCCB가 이하 64×64 N×2N 조건을 모두 만족시키는 경우, 16개의 HEVCCB의 cu_size 및 part_mode를 각각 64 및 N×2N으로 갱신할 수도 있다.
[64×64 N×2N 조건]
· 모든 HEVCCB의 part_mode는 2N×2N이다.
· 모든 HEVCCB의 cu_size는 동일하다.
· 모든 HEVCCB의 pred_mode_flag는 0이다.
· 모든 HEVCCB의 움직임 정보가 동일하지는 않다.
· 좌측 8개의 HEVCCB의 움직임 정보는 동일하다.
· 우측 8개의 HEVCCB의 움직임 정보는 동일하다.
제2 실시 형태
도 14는 제1 영상 부호화기(102)가 4:2:0 8비트 입력 포맷을 지원하는 AVC 영상 부호화기이고, 제2 영상 부호화기(105)가 HEVC 영상 부호화기인, 4:2:0 10비트 입력 포맷을 지원하는 제2 실시 형태에서의 영상 부호화 장치의 구조를 나타낸 블록도이다.
본 실시 형태의 영상 부호화 장치는 사이즈 확장기(101), 화소 비트 깊이 변환기(106), 제1 영상 부호화기(102), 버퍼(103), 부호화 데이터 변환기(104) 및 제2 영상 부호화기(105)를 포함한다.
사이즈 확장기(101)는 4:2:0 10 비트 입력 화상 src의 폭 src_pic_width 및 높이 src_pic_height를 16의 배수로 사이즈 확장한다. 예를 들어, (src_pic_width, src_pic_height)=(1920, 1080)인 경우, 확장된 입력 화상의 폭 e_src_pic_width과 높이 e_src_pic_height는, (e_src_pic_width, e_src_pic_height)=(1920, 1088)이다. 사이즈 확장된 영역의 화소값은, 입력 화상의 경계의 화소값의 카피이거나, 선정된 화소값(예를 들어, 그레이를 나타내는 512)일 수 있다.
화소 비트 깊이 변환기(106)는 사이즈 확장기(101)로부터 공급되는 16의 배수로 사이즈 확장된 4:2:0 10비트 입력 화상을 4:2:0 8비트로 변환한다. 비트 깊이 변환에서, 2 LSB는 우측 시프트만큼 버리거나 반올림될 수도 있다.
제1 영상 부호화기(102)는 제1 실시 형태에서와 같이, 16의 배수로 사이즈 확장되고 4:2:0 8비트로 변환된 입력 화상을 AVC에 따라 부호화한다.
부호화 데이터 변환기(104)는 화소 비트 깊이 변환기(106)로부터 공급되는 16의 배수로 사이즈 확장되고 4:2:0 8비트로 변환된 입력 화상의 각 매크로블록의 AVC 부호화 데이터를 HEVCCB로 변환한다.
다음으로, 부호화 데이터 변환기(104)는, 제1 실시 형태에서와 같이, 인접하는 4개의 HEVCCB의 모든 part_mode가 2N×2N이고 모든 HEVCCB가 cu_size, pred_mode_flag, 움직임 정보(ref_idx_l0, ref_idx_l1, mv_l0 및 mv_l1)가 동일한 경우, 4개의 HEVCCB를 병합한다.
또한, 부호화 데이터 변환기(104)는 제1 실시 형태에서와 같이, 인접하는 16개의 HEVCCB의 모든 part_mode가 2N×2N이고 모든 HEVCCB가 동일한 cu_size, pred_mode_flag 및 움직임 정보(ref_idx_l0, ref_idx_l1, mv_l0 및 mv_l1)를 갖는 경우, 16개의 HEVCCB를 병합한다.
제2 영상 부호화기(105)는 제1 실시 형태에서와 같이, 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 16의 배수로 확장된 4:2:0 10 비트 입력 화상 src을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
이하, 도 15의 흐름도를 참조하여, 본 실시 형태의 영상 부호화 장치의 동작을 설명한다.
스텝 S201에서, 화소 비트 깊이 변환기(106)는 사이즈 확장기(101)로부터 공급되는 16의 배수로 사이즈 확장된 4:2:0 10 비트 입력 화상을 4:2:0 8비트로 변환한다.
스텝 S202에서, 제1 영상 부호화기(102)는 16의 배수로 사이즈 확장되고 4:2:0 8비트로 변환된 입력 화상을 AVC에 따라 부호화한다.
스텝 S203에서, 부호화 데이터 변환기(104)는 16의 배수로 사이즈 확장되고 4:2:0 8비트로 변환된 입력 화상의 각 매크로블록의 AVCMB를 HEVCCB로 변환하고, HEVCCB를 병합한다.
스텝 S204에서, 제2 영상 부호화기(105)는 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 16의 배수로 확장된 4:2:0 10비트 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
상술한 동작에 기초하여, 본 실시 형태의 영상 부호화 장치는 4:2:0 10비트 입력 포맷에 대한 비트 스트림을 생성한다.
상술한 본 실시 형태의 영상 부호화 장치에서, split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등을 결정하는 영상 부호화 처리의 부하는 제1 영상 부호화기(102)와 제2 영상 부호화기(105)간에 분배되기 때문에, 영상 부호화 처리의 부하 집중이 감소된다.
본 실시 형태에서는, 제1 영상 부호화기(102)를 4:2:0 8비트 입력 포맷을 지원하는 AVC 영상 부호화기로 했지만, AVC 영상 부호화기는 일례이다. 제1 영상 부호화기(102)응 4:2:0 8비트 입력 포맷을 지원하는 HEVC 영상 부호화기일 수도 있다. 이 경우, 부호화 데이터 변환기(104)는 상술한 AVC 부호화 데이터를 HEVC 부호화 데이터로 변환하는 처리와 HEVC 부호화 데이터에 대한 병합 처리를 스킵한다.
본 실시 형태에서는, 화소 비트 깊이 변환기(106)가 사이즈 확장기(101)로부터 공급되는 16의 배수로 사이즈 확장된 입력 화상의 화소 비트 깊이를 저감했지만, 화소 비트 깊이 변환기(106)는 영상 부호화 장치에 입력되는 입력 화상의 화소 비트 깊이를 저감할 수 있다. 그 경우에는, 화소 비트 깊이 변환기(106)가 생략된다.
제3 실시 형태
도 16은 HDTV(High Definition Television) 규격의 2160p(4K) 입력 포맷을 지원하는 제3 실시 형태의 영상 부호화 장치의 구조를 도시하는 블록도이다. 제3 실시 형태에서, 제1 영상 부호화기(102)는 1080p(2K) 입력 포맷을 지원하는 AVC 영상 부호화기이고, 제2 영상 부호화기(105)는 HEVC 영상 부호화기이다. 즉, 제1 영상 부호화기(102)에 의해 지원될 수 있는 공간 해상도는, 제2 영상 부호화기(105)에서의 공간 해상도 미만이다.
본 실시 형태의 영상 부호화 장치는 다운 샘플러(107), 제1 영상 부호화기(102), 버퍼(103), 부호화 데이터 변환기(104) 및 제2 영상 부호화기(105)를 포함한다.
다운 샘플러(107)는 2160p 입력 화상 src(src_pic_width=3840, src_pic_height=2160)을 1080p(src_pic_width=1920, src_pic_height=1080)로 축소한다. 또한, 다운 샘플러(107)는 1080p로 축소된 입력 화상의 폭 src_pic_width 및 높이 src_pic_height를 16의 배수로 확장한다. 확장된 영역의 화소값은 1080p로 축소된 입력 화상의 경계의 화소값의 카피이거나, 선정된 화소값(예를 들어, 그레이를 나타내는 128(입력 화상이 8비트인 경우))일 수도 있다.
제1 영상 부호화기(102)는 제1 실시 형태에서와 같이, 다운 샘플러(107)로부터 공급되는 1080p로 축소되고 16의 배수로 확장된 입력 화상을 AVC에 따라 부호화한다.
부호화 데이터 변환기(104)는 제1 실시 형태에서와 같이, 다운 샘플러(107)로부터 공급되는 1080p로 축소되고 16의 배수로 확장된 입력 화상의 각 매크로블록의 AVC 부호화 데이터를 HEVCCB로 변환한다. 여기서, 본 실시 형태의 부호화 데이터 변환기(104)는 제1 영상 부호화기(102)로의 입력 화상이 제2 영상 부호화기(105)로의 입력 화상에 대하여 해상도가 수평 및 수직으로 절반이 되는 것을 고려하여, cu_size, tu_size, 및 움직임 정보의 움직임 벡터의 수평 성분값과 수직 성분값을 2배로 한다.
다음으로, 부호화 데이터 변환기(104)는 제1 실시 형태에서와 같이, 인접하는 4개의 HEVCCB의 모든 part_mode가 2N×2N이고 모든 HEVCCB가 동일한 cu_size, pred_mode_flag, 움직임 정보(ref_idx_l0, ref_idx_l1, mv_l0 및 mv_l1)를 갖는 경우, 4개의 HEVCCB를 병합한다. 구체적으로, 제1 영상 부호화기(102)로의 입력 화상이 제2 영상 부호화기(105)로의 입력 화상에 대하여 해상도가 수평 및 수직으로 절반이 되는 것을 고려하여, 부호화 데이터 변환기(104)는 4개의 HEVCCB의 cu_size를 64로 갱신한다.
제2 영상 부호화기(105)는 제1 실시 형태에서와 같이, 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 2160p 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
이하, 도 17의 흐름도를 참조하여, 본 실시 형태의 영상 부호화 장치의 동작을 설명한다.
스텝 S301에서, 다운 샘플러(107)는 2160p 입력 화상을 1080p로 축소하고, 1080p로 축소된 입력 화상의 폭 및 높이를 16의 배수로 사이즈 확장한다.
스텝 S302에서, 제1 영상 부호화기(102)는 다운 샘플러(107)로부터 공급되는 1080p로 축소되고 16의 배수로 확장된 입력 화상을 AVC에 따라 부호화한다.
스텝 S303에서, 부호화 데이터 변환기(104)는 다운 샘플러(107)로부터 공급되는 1080p로 축소되고 16의 배수로 확장된 입력 화상의 각 매크로블록의 AVC 부호화 데이터를 HEVCCB로 변환하고, 또한 HEVCCB를 병합한다.
스텝 S304에서, 제2 영상 부호화기(105)는 부호화 데이터 변환기(104)로부터 공급되는 HEVC 부호화 데이터에 기초하여, 버퍼(103)로부터 공급되는 2160p 입력 화상을 HEVC에 따라 부호화하고, 비트 스트림을 출력한다.
상술한 본 실시 형태의 영상 부호화 장치에서, split_cu_flag 신택스값, pred_mode_flag 신택스값, part_mode 신택스값, split_tu_flag 신택스값, 인트라 예측 방향 및 움직임 벡터 등을 결정하는 영상 부호화 처리의 부하가 제1 영상 부호화기(102)와 제2 영상 부호화기(105)간에 분배되기 때문에, 영상 부호화 처리의 부하 집중이 감소된다.
본 실시 형태의 제2 영상 부호화기(105)는 움직임 벡터의 수평 성분값과 수직 성분값이 2배가 되는 것을 고려하여, HEVC 부호화 데이터의 움직임 벡터 주변 ±1의 범위에서 움직임 벡터를 또한 검색할 수 있다.
또한, 본 실시 형태의 제2 영상 부호화기(105)는 화상 경계에 대한 제1 영상 부호화기(102)의 부호화 데이터의 신뢰도를 향상시키기 위해서, 2160p 입력 화상 src을 SCU의 배수가 아니라 제1 영상 부호화기(102)의 매크로블록 사이즈의 배수(32의 배수)로 부호화할 수 있다.
본 실시 형태에서는, 2160p(4K) 입력 포맷을 지원하는 영상 부호화 장치를 일례로서 기술하였지만, 동일한 구조에 의해, 4320p(8K) 입력 포맷이 지원될 수도 있다. 이 경우, 부호화 데이터 변환기(104)는 AVC 부호화 데이터를 HEVC 부호화 데이터로 변환할 때, 수평 해상도 및 수직 해상도가 1/4이 되는 것을 고려하여, cu_size, tu_size, 및 움직임 정보의 움직임 벡터의 수평 성분값 및 수직 성분값을 4배로 한다. 또한, 부호화 데이터 변환기(104)는 1080p의 16×16 화소가 4320p의 64×64 화소에 대응한다는 것을 고려하여, 상술한 HEVC 부호화 데이터에 대한 병합 처리를 스킵한다.
상술한 각 실시 형태에서는, 하나의 제1 영상 부호화 수단과 하나의 제2 영상 부호화 수단의 조합을 사용하여 입력 화상을 부호화하였지만, 본 발명은 또한 예를 들어, 도 18에 도시한 바와 같이 입력 화상을 4개의 화면으로 분할하고, 4개의 제1 영상 부호화기와 4개의 제2 영상 부호화기를 사용하여, 4개의 분할 화면을 병렬로 처리하는 영상 부호화 장치에 적용할 수 있다.
도 19는 분할 화면을 병렬로 처리하는 영상 부호화 장치의 구조예를 도시하는 블록도이다. 도 19에 나타낸 영상 부호화 장치는 입력 화상을 4개의 화면으로 분할하는 화면 분할기(1081); 각 분할 화면에 대하여 부호화를 행하는 제1 영상 부호화기(102A, 102B, 102C, 102D); 버퍼(103); 부호화 데이터 변환기(104); 버퍼(103)로부터 공급되는 입력 화상을 4개의 화면으로 분할하는 화면 분할기(1082); 각 분할 화면을 부호화하는 제2 영상 부호화기(105A, 105B, 105C, 105D); 및 제2 영상 부호화기(105A, 105B, 105C, 105D)로부터의 부호화 데이터를 다중화하여 비트 스트림을 출력하는 다중화기(109)를 포함한다.
제1 영상 부호화기(102A, 102B, 102C, 102D)의 기능은 상술한 각 실시 형태에서의 제1 영상 부호화기(102)의 기능과 동일하다. 제2 영상 부호화기(105A, 105B, 105C, 105D)의 기능은 상술한 각 실시 형태에서의 제2 영상 부호화기(105)의 기능과 동일하다.
버퍼(103) 및 부호화 데이터 변환기(104)의 기능은 상술한 각 실시 형태에서의 기능과 동일하다. 그러나, 본 실시 형태에서는, 부호화 데이터 변환기(104)가 4개의 제1 영상 부호화기(102A, 102B, 102C, 102D)로부터 출력되는 부호화 데이터를 각각 변환하고, 제2 영상 부호화기(105A, 105B, 105C, 105D)에 그 변환된 데이터를 공급한다.
상술한 각 실시 형태에서는, 제2 영상 부호화기(105)가 입력 화상을 부호화하였지만, 본 발명은 또한 입력 비트 스트림을 변환하기 위한 영상 부호화 장치에 적용할 수 있다.
도 20은 입력 비트 스트림을 변환하기 위한 영상 부호화 장치의 구조예를 도시하는 블록도이다. 도 20에 도시한 바와 같이, 제1 영상 부호화기(102)는 영상 복호기(110)로 대체되었고, 영상 복호기(110)는 비트 스트림을 복호하고 제2 영상 부호화기(105)는 버퍼(103)에 저장되는 복호 화상을 부호화한다.
영상 복호기(110)는 비트 스트림에 포함되는 예측 파라미터 및 변환 양자화값을 엔트로피 복호하고 그 결과를 역양자화/역주파수 변환기(1102) 및 예측기(1103)에 공급하는 엔트로피 복호기(1101)를 포함한다. 역양자화/역주파수 변환기(1102)는 변환 양자화값을 역양자화하고, 역양자화된 주파수 변환 계수를 역주파수 변환한다. 예측기(1103)는 엔트로피 복호된 예측 파라미터에 기초하여, 버퍼(103)에 저장되어 있는 재구축 화상을 사용하여 예측 신호를 생성한다.
버퍼(103), 부호화 데이터 변환기(104) 및 제2 영상 부호화기(105)의 기능은 상술한 각 실시 형태에서의 기능과 동일하다.
상술한 각 실시 형태는 하드웨어 또는 컴퓨터 프로그램에 의해 실현될 수 있다.
도 21에 나타낸 정보 처리 시스템은 프로세서(1001), 프로그램 메모리(1002), 영상 데이터를 저장하기 위한 기억 매체(1003) 및 비트 스트림을 저장하기 위한 기억 매체(1004)를 포함한다. 기억 매체(1003)와 기억 매체(1004)는 개별적인 기억 매체일 수 있거나, 동일한 기억 매체에 포함되는 기억 영역일 수도 있다. 기억 매체로서, 하드 디스크 등의 자기 기억 매체가 사용될 수 있다.
도 21에 나타낸 정보 처리 시스템에서, 프로그램 메모리(1002)에는, 실시 형태의 각각의 도면에 도시된 블록들(버퍼 블록은 제외한다)의 기능을 실현하기 위한 프로그램이 저장된다. 프로세서(1001)는 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라 처리를 실행함으로써, 상술한 각 실시 형태에 기술된 영상 부호화 장치의 기능을 실현한다.
도 22는 본 발명에 따른 영상 부호화 장치의 주요부를 도시하는 블록도이다. 도 22에 도시한 바와 같이, 영상 부호화 장치는 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 제1 영상 부호화부(11)(예를 들어, 도 1에 도시된 제1 영상 부호화기(102)); 입력 화상을 저장하는 버퍼(12)(예를 들어, 도 1에 도시된 버퍼(103)); 제1 영상 부호화부(11)에 의해 생성된 제1 부호화 데이터를 변환한 후, 병합하여 제2 부호화 데이터를 생성하는 부호화 데이터 변환/병합부(13)(예를 들어, 도 1에 도시된 부호화 데이터 변환기(104)); 및 부호화 데이터 변환/병합부(13)로부터 공급되는 제2 부호화 데이터에 기초하여, 버퍼(12)에 저장된 입력 화상을 부호화하여 비트 스트림을 생성하는 제2 영상 부호화부(14)(예를 들어, 도 1에 도시된 제2 영상 부호화기(105))를 포함한다. 제1 영상 부호화부(11)는 제2 영상 부호화부(14)가 다루는 제2 부호화 처리와 상이한 제1 부호화 처리를 다루는 기능을 갖는다. 부호화 데이터 변환/병합부(13)는 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 대응하는 부호화 데이터로 변환한다.
도 23은 본 발명에 따른 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다. 도 23에 도시한 바와 같이, 영상 부호화 장치는 입력 화상의 사이즈를 제1 영상 부호화부(11)에 의해 지원되는 최대 CU 사이즈의 배수로 확장하는 사이즈 확장부(15)을 더 포함할 수 있고, 제1 영상 부호화부(11)는 사이즈 확장부(15)(예를 들어, 도 14에 도시된 사이즈 확장기(101))에 의해 사이즈 확장된 입력 화상을 부호화하여 제1 부호화 데이터를 생성하고, 버퍼(12)는 사이즈 확장부(15)에 의해 사이즈 확장된 입력 화상을 저장한다. 제1 영상 부호화부(11)에 의해 지원되는 최대 CU 사이즈는 제2 영상 부호화부(14)에 의해 지원되는 최대 CU 사이즈 이하이다.
도 24는 본 발명에 따른 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다. 도 24에 도시한 바와 같이, 영상 부호화 장치는 입력 화상의 화소 비트 깊이를 저감하는 화소 비트 깊이 변환부(16)를 더 포함할 수 있고, 제1 영상 부호화부(11)는 화소 비트 깊이 변환부(16)에 의해 화소 비트 깊이가 저감된 입력 화상을 부호화한다. 제1 영상 부호화부(11)에 의해 지원되는 화소 비트 깊이는 제2 영상 부호화부(14)에 의해 지원되는 화소 비트 깊이 이하이다.
도 25는 본 발명에 의한 다른 영상 부호화 장치의 주요부를 도시하는 블록도이다. 도 25에 도시한 바와 같이, 영상 부호화 장치는 입력 화상의 공간 해상도를 저감하는 다운 샘플링부(17)을 더 포함할 수 있고, 제1 영상 부호화부(11)는 다운 샘플링부(17)에 의해 공간 해상도가 저감된 입력 화상을 부호화하여 제1 부호화 데이터를 생성하고, 부호화 데이터 변환/병합부(13)는 제1 영상 부호화부(11) 및 제2 영상 부호화부(14)에 의해 부호화된 각각의 영상의 공간 해상도의 비율에 기초하여 제2 부호화 데이터를 생성한다. 제1 영상 부호화부(11)에 의해 지원되는 공간 해상도는 제2 영상 부호화부(14)에 의해 지원되는 공간 해상도 이하이다.
상술한 실시 형태의 일부 또는 전부는 이하의 부기와 같이 기재될 수 있지만, 본 발명의 구조는 이하의 구조에 한정되지 않는다.
(부기 1)
영상 부호화 장치는 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 제1 영상 부호화 수단; 입력 화상을 저장하는 버퍼 수단; 제1 영상 부호화 수단에 의해 생성된 제1 부호화 데이터를 변환한 후, 병합하여 제2 부호화 데이터를 생성하는 부호화 데이터 변환/병합 수단; 및 부호화 데이터 변환/병합 수단으로부터 공급되는 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하여 비트 스트림을 생성하는 제2 영상 부호화 수단을 포함하고, 제1 영상 부호화 수단은 제2 영상 부호화 수단이 다루는 제2 부호화 처리와 다른 제1 부호화 처리를 다루는 기능을 갖고, 부호화 데이터 변환/병합 수단은 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 대응하는 부호화 데이터로 변환하고, 제1 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈는 제2 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈 이하이고, 제1 영상 부호화 수단에 의해 지원되는 화소 비트 깊이는 제2 영상 부호화 수단에 의해 지원되는 화소 비트 깊이 이하이고, 영상 부호화 장치는 입력 화상의 사이즈를 제1 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈의 배수로 확장하는 사이즈 확장 수단과, 사이즈 확장 수단에 의해 사이즈 확장된 입력 화상의 화소 비트 깊이를 저감하는 화소 비트 깊이 변환 수단을 더 포함하고, 제1 영상 부호화 수단은 화소 비트 깊이 변환 수단에 의해 화소 비트 깊이가 저감된 입력 화상을 부호화하고, 버퍼 수단은 사이즈 확장 수단에 의해 사이즈 확장된 입력 화상을 저장한다.
(부기 2)
영상 부호화 프로그램은 컴퓨터로 하여금, 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 처리; 입력 화상을 저장하기 위한 버퍼 수단에 입력 화상을 저장하는 처리; 제1 부호화 데이터를 변환한 후 병합하여 제2 부호화 데이터를 생성하는 처리; 및 제1 부호화 데이터를 생성하는 처리에서 다루는 부호화 처리와는 상이한 부호화 처리를 다루는 처리에 의해 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하여 비트 스트림을 생성하는 처리를 실행하게 하고, 제2 부호화 데이터를 생성할 때에, 영상 부호화 프로그램은 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 의한 부호화 데이터로 변환시키기 위한 것이며, 제1 부호화 데이터를 생성하는 수단에 의해 지원되는 화소 비트 깊이는 비트 스트림을 생성하는 수단에 의해 지원되는 화소 비트 깊이 이하이고, 영상 부호화 프로그램은 또한 컴퓨터로 하여금, 입력 화상의 화소 비트 깊이를 저감하고, 제1 부호화 데이터를 생성하는 처리에서, 화소 비트 깊이가 저감된 입력 화상을 부호화하게 한다.
(부기 3)
영상 부호화 프로그램은 컴퓨터로 하여금, 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 처리; 입력 화상을 저장하기 위한 버퍼 수단에 입력 화상을 저장하는 처리; 제1 부호화 데이터를 변환한 후 병합하여 제2 부호화 데이터를 생성하는 처리; 및 제1 부호화 데이터를 생성하는 처리에서 다루는 부호화 처리와는 상이한 부호화 처리를 다루는 처리에 의해 제2 부호화 데이터에 기초하여 버퍼 수단에 저장된 입력 화상을 부호화하여 비트 스트림을 생성하는 처리를 실행하게 하고, 제2 부호화 데이터를 생성할 때에, 영상 부호화 프로그램은 제1 부호화 처리에 의한 부호화 데이터를 제2 부호화 처리에 의한 부호화 데이터로 변환시키기 위한 것이며, 제1 부호화 데이터를 생성하는 수단에 의해 지원되는 공간 해상도는 비트 스트림을 생성하는 수단에 의해 지원되는 공간 해상도 이하이고, 영상 부호화 프로그램은 또한 컴퓨터로 하여금, 입력 화상의 공간 해상도를 저감하기 위한 다운 샘플링을 실행하는 처리; 제1 부호화 데이터를 생성하는 처리에서, 공간 해상도가 저감된 입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 처리; 및 제1 부호화 데이터를 생성하는 처리와 비트 스트림을 생성하는 처리에서 부호화된 각각의 영상의 공간 해상도간의 비율에 기초하여 제2 부호화 데이터를 생성하는 처리를 실행하게 한다.
실시 형태 및 실시예를 참조하여 본원 발명을 설명했지만, 본원 발명은 상술한 실시 형태 및 실시예에 한정되지 않는다. 본원 발명의 범위내에서 본 분야의 숙련된 자가 이해할 수 있는 다양한 변경은 본원 발명의 구조 및 상세에 대해 이루어질 수 있다.
본 출원은 2013년 9월 9일에 출원된 일본 특허 출원 제2013-185994호에 기초한 우선권을 주장하고, 그 개시 내용은 그 전체가 본 명세서에 포함된다.
11: 제1 영상 부호화부
12, 103, 1023, 1053: 버퍼
13: 부호화 데이터 변환/병합부
14: 제2 영상 부호화부
15: 사이즈 확장부
16: 화소 비트 깊이 변환부
17: 다운 샘플링부
101: 사이즈 확장기
102, 102A, 102B, 102C, 102D: 제1 영상 부호화기
104: 부호화 데이터 변환기
105, 105A, 105B, 105C, 105D: 제2 영상 부호화기
106: 화소 비트 깊이 변환기
107: 다운 샘플러
109: 다중화기
110: 영상 복호기
1001: 프로세서
1002: 프로그램 메모리
1003, 1004: 기억 매체
1021, 1051: 주파수 변환기/양자화기
1022, 1052, 1102: 역양자화기/역주파수 변환기
1024, 1054, 1103: 예측기
1025, 1055: 추정기
1056: 엔트로피 부호화기
1081, 1082: 화면 분할기
1101: 엔트로피 복호기

Claims (10)

  1. 영상 부호화 장치로서,
    입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 제1 영상 부호화 수단;
    상기 입력 화상을 저장하는 버퍼 수단;
    상기 제1 영상 부호화 수단에 의해 생성된 상기 제1 부호화 데이터를 변환(transcoding)한 후 병합하여, 제2 부호화 데이터를 생성하는 부호화 데이터 변환/병합 수단; 및
    상기 부호화 데이터 변환/병합 수단으로부터 공급되는 상기 제2 부호화 데이터에 기초하여, 상기 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 제2 영상 부호화 수단
    을 포함하고,
    상기 제1 영상 부호화 수단은 상기 제2 영상 부호화 수단이 다루는 제2 부호화 처리에 포함되는 제1 부호화 처리를 다루는 기능을 갖고,
    상기 부호화 데이터 변환/병합 수단은 상기 제1 부호화 처리에 의한 부호화 데이터를 상기 제2 부호화 처리에 대응하는 부호화 데이터로 변환하는, 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 제1 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈는 상기 제2 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈 이하이고,
    상기 영상 부호화 장치는 상기 입력 화상의 사이즈를, 상기 제1 영상 부호화 수단에 의해 지원되는 최대 CU 사이즈의 배수로 확장하는 사이즈 확장 수단을 더 포함하고,
    상기 제1 영상 부호화 수단은 상기 사이즈 확장 수단에 의해 사이즈 확장된 입력 화상을 부호화하여 제1 부호화 데이터를 생성하고,
    상기 버퍼 수단은 상기 사이즈 확장 수단에 의해 사이즈 확장된 입력 화상을 저장하는, 영상 부호화 장치.
  3. 제1항에 있어서,
    상기 제1 영상 부호화 수단에 의해 지원되는 화소 비트 깊이는 상기 제2 영상 부호화 수단에 의해 지원되는 화소 비트 깊이 이하이고,
    상기 영상 부호화 장치는 상기 입력 화상의 화소 비트 깊이를 저감하는 화소 비트 깊이 변환 수단(pixel bit depth transforming means)을 더 포함하고,
    상기 제1 영상 부호화 수단은 상기 화소 비트 깊이 변환 수단에 의해 화소 비트 깊이가 저감된 입력 화상을 부호화하는, 영상 부호화 장치.
  4. 제1항에 있어서,
    상기 제1 영상 부호화 수단에 의해 지원되는 공간 해상도는 상기 제2 영상 부호화 수단에 의해 지원되는 공간 해상도 이하이고,
    상기 영상 부호화 장치는 상기 입력 화상의 공간 해상도를 저감하는 다운 샘플링 수단을 더 포함하고,
    상기 제1 영상 부호화 수단은 상기 다운 샘플링 수단에 의해 공간 해상도가 저감된 입력 화상을 부호화하여 제1 부호화 데이터를 생성하고,
    상기 부호화 데이터 변환/병합 수단은 상기 제1 영상 부호화 수단과 상기 제2 영상 부호화 수단에 의해 부호화된 각각의 영상의 공간 해상도간의 비율에 기초하여 제2 부호화 데이터를 생성하는, 영상 부호화 장치.
  5. 영상 부호화 방법으로서,
    입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 단계;
    상기 입력 화상을 저장하기 위한 버퍼 수단에 상기 입력 화상을 저장하는 단계;
    상기 제1 부호화 데이터를 변환한 후에 병합하여 제2 부호화 데이터를 생성하는 단계; 및
    상기 제1 부호화 데이터를 생성하는 수단이 다루는 제1 부호화 처리를 포함하는 제2 부호화 처리를 다루는 기능을 갖는 수단을 사용하여, 상기 제2 부호화 데이터에 기초하여 상기 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 단계
    를 포함하고,
    상기 제2 부호화 데이터를 생성할 때에, 상기 제1 부호화 처리에 의한 부호화 데이터는 상기 제2 부호화 처리에 대응하는 부호화 데이터로 변환되는, 영상 부호화 방법.
  6. 제5항에 있어서,
    상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈는 비트 스트림을 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈 이하이고,
    상기 입력 화상의 사이즈는 상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈의 배수로 확장되며,
    사이즈 확장된 입력 화상을 부호화하여 상기 제1 부호화 데이터를 생성하고,
    상기 버퍼 수단에 상기 사이즈 확장된 입력 화상을 저장하는, 영상 부호화 방법.
  7. 제5항에 있어서,
    상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 화소 비트 깊이는 상기 비트 스트림을 생성하기 위한 수단에 의해 지원되는 화소 비트 깊이 이하이고,
    상기 입력 화상의 화소 비트 깊이를 저감하며,
    상기 제1 부호화 데이터를 생성하기 위한 수단은 화소 비트 깊이가 저감된 입력 화상을 부호화하는, 영상 부호화 방법.
  8. 제5항에 있어서,
    상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 공간 해상도는 상기 비트 스트림을 생성하기 위한 수단에 의해 지원되는 공간 해상도 이하이고,
    상기 입력 화상의 공간 해상도를 저감하기 위한 다운 샘플링을 수행하고,
    상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 공간 해상도가 저감된 입력 화상을 부호화하여 상기 제1 부호화 데이터를 생성하고,
    상기 제1 부호화 데이터를 생성하기 위한 수단과 상기 비트 스트림을 생성하기 위한 수단에 의해 부호화된 각각의 영상의 공간 해상도들간의 비율에 기초하여 상기 제2 부호화 데이터를 생성하는, 영상 부호화 방법.
  9. 영상 부호화 프로그램으로서,
    컴퓨터로 하여금,
    입력 화상을 부호화하여 제1 부호화 데이터를 생성하는 처리;
    상기 입력 화상을 저장하기 위한 버퍼 수단에 상기 입력 화상을 저장하는 처리;
    상기 제1 부호화 데이터를 변환한 후 병합하여, 제2 부호화 데이터를 생성하는 처리; 및
    상기 제1 부호화 데이터를 생성하는 처리에서 다루는 제1 부호화 처리를 포함하는 제2 부호화 처리를 다루는 처리에 의해, 상기 제2 부호화 데이터에 기초하여 상기 버퍼 수단에 저장된 입력 화상을 부호화하는 신택스값을 추정하여 비트 스트림을 생성하는 처리
    를 실행하게 하고,
    상기 영상 부호화 프로그램은 상기 컴퓨터로 하여금 상기 제2 부호화 데이터를 생성할 때에, 상기 제1 부호화 처리에 의한 부호화 데이터를 상기 제2 부호화 처리에 대응하는 부호화 데이터로 변환하게 하는, 영상 부호화 프로그램.
  10. 제9항에 있어서,
    상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈는 비트 스트림을 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈 이하이고,
    상기 영상 부호화 프로그램은 상기 컴퓨터로 하여금,
    상기 입력 화상의 사이즈를, 상기 제1 부호화 데이터를 생성하기 위한 수단에 의해 지원되는 최대 CU 사이즈의 배수로 확장하는 처리;
    사이즈 확장된 입력 화상을 부호화하여 상기 제1 부호화 데이터를 생성하는 처리; 및
    상기 버퍼 수단에 상기 사이즈 확장된 입력 화상을 저장하는 처리
    를 실행하게 하는, 영상 부호화 프로그램.
KR1020157030490A 2013-09-09 2014-07-25 영상 부호화 장치, 영상 부호화 방법 및 프로그램 KR20150133825A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013185994 2013-09-09
JPJP-P-2013-185994 2013-09-09
PCT/JP2014/003933 WO2015033510A1 (ja) 2013-09-09 2014-07-25 映像符号化装置、映像符号化方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20150133825A true KR20150133825A (ko) 2015-11-30

Family

ID=52628013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030490A KR20150133825A (ko) 2013-09-09 2014-07-25 영상 부호화 장치, 영상 부호화 방법 및 프로그램

Country Status (5)

Country Link
US (1) US20160301941A1 (ko)
EP (1) EP2975847A4 (ko)
JP (1) JP6332275B2 (ko)
KR (1) KR20150133825A (ko)
WO (1) WO2015033510A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174591A1 (ko) * 2017-03-22 2018-09-27 김기백 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
EP3107297A4 (en) * 2014-02-10 2017-09-06 Nec Corporation Video encoding device, video encoding method, and program
EP3107291A4 (en) 2014-02-10 2017-09-13 Nec Corporation Video encoding apparatus, video encoding method and program
JP6179606B2 (ja) * 2014-02-10 2017-08-16 日本電気株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
JP6566864B2 (ja) 2015-12-28 2019-08-28 Kddi株式会社 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
KR20180129863A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10701392B2 (en) 2016-11-22 2020-06-30 Mediatek Inc. Method and apparatus for motion vector sign prediction in video coding
SG11202102183YA (en) * 2018-09-05 2021-04-29 Huawei Tech Co Ltd Method and apparatus for coding image of video sequence, and terminal device
CN116916080A (zh) * 2019-05-17 2023-10-20 上海哔哩哔哩科技有限公司 视频数据处理方法、装置、计算机设备及可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182080A (ja) * 1995-12-22 1997-07-11 Sony Corp 動きベクトル検出方法および動きベクトル検出装置
JPH1032816A (ja) * 1996-07-18 1998-02-03 Matsushita Electric Ind Co Ltd 映像符号化装置
JP3242362B2 (ja) * 1998-04-13 2001-12-25 日本電信電話株式会社 映像符号化装置、および映像符号化プログラムを記録した記録媒体
JP4432188B2 (ja) * 2000-02-22 2010-03-17 ソニー株式会社 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法
JP4361665B2 (ja) 2000-06-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化データのトランスコーディング方法およびトランスコーディング装置
JP4516874B2 (ja) * 2005-03-30 2010-08-04 Ｎｅｃパーソナルプロダクツ株式会社 画像データ符号化装置及び画像データ符号化方法
EP2087739A2 (en) * 2006-10-25 2009-08-12 Thomson Licensing Methods and apparatus for efficient first-pass encoding in a multi-pass encoder
CN101641958B (zh) * 2007-09-12 2011-10-19 索尼株式会社 图像处理设备和图像处理方法
KR100961443B1 (ko) * 2007-12-19 2010-06-09 한국전자통신연구원 방송 서비스의 가용도 개선을 위한 계층적 전송/수신 장치및 그 방법
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
JP2011004051A (ja) * 2009-06-17 2011-01-06 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
WO2011037933A1 (en) * 2009-09-22 2011-03-31 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
KR101540899B1 (ko) * 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
JP2012104940A (ja) 2010-11-08 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置、動画像符号化方法及びプログラム
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US9014277B2 (en) * 2012-09-10 2015-04-21 Qualcomm Incorporated Adaptation of encoding and transmission parameters in pictures that follow scene changes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018174591A1 (ko) * 2017-03-22 2018-09-27 김기백 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
US11509895B2 (en) 2017-03-22 2022-11-22 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method using pixel value range constituting image
US11949865B2 (en) 2017-03-22 2024-04-02 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method using pixel value range constituting image

Also Published As

Publication number Publication date
JP6332275B2 (ja) 2018-05-30
EP2975847A4 (en) 2017-01-18
US20160301941A1 (en) 2016-10-13
WO2015033510A1 (ja) 2015-03-12
JPWO2015033510A1 (ja) 2017-03-02
EP2975847A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
EP3090546B1 (en) Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
KR101852789B1 (ko) 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
KR101552634B1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
KR20150133825A (ko) 영상 부호화 장치, 영상 부호화 방법 및 프로그램
KR20190046704A (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR102435500B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
WO2014199634A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法
KR20190038405A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JPWO2013065402A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR102378803B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
US10116944B2 (en) Video encoding device, video encoding method, and program
KR20130050899A (ko) 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
JP6179606B2 (ja) 映像符号化装置、映像符号化方法及び映像符号化プログラム
US10298941B2 (en) Video encoding device, video encoding method, and program
KR20220040451A (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20210111901A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application