KR101517184B1 - 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법 - Google Patents

고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법 Download PDF

Info

Publication number
KR101517184B1
KR101517184B1 KR1020130130282A KR20130130282A KR101517184B1 KR 101517184 B1 KR101517184 B1 KR 101517184B1 KR 1020130130282 A KR1020130130282 A KR 1020130130282A KR 20130130282 A KR20130130282 A KR 20130130282A KR 101517184 B1 KR101517184 B1 KR 101517184B1
Authority
KR
South Korea
Prior art keywords
fme
ime
skip
skip condition
compared
Prior art date
Application number
KR1020130130282A
Other languages
English (en)
Inventor
이채은
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130130282A priority Critical patent/KR101517184B1/ko
Application granted granted Critical
Publication of KR101517184B1 publication Critical patent/KR101517184B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit

Abstract

본 발명은 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법에 관한 것으로; 2N x 2N 인터 예측을 위하여 IME 연산을 수행한 후, FME 스킵 조건을 비교하여 FME 연산을 선택적으로 수행하는 제1단계; 상기 제1 단계 후, N x 2N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제2단계; 상기 제2 단계 후, 2N x N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제3단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 작동 수준의 조기 종료 방법은 블록 수준 평행 실시에 여전히 유효한 것으로, 이의 알고리즘의 고속 결정 포인트들은 HEVC 참조 소프트웨어 또는 기존의 연구들에서 제안된 포인트들과는 상호 중첩이 되지 않으므로, 다른 고속 결정 알고리즘들과 함께 쉽게 사용될 수 있으며, 그 결과로 속도를 증가시킬 수 있는 효과가 있다.

Description

고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법 {operation-level early termination method for inter-prediction in HEVC}
본 발명은 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법에 관한 것으로서, 좀더 상세하게는 고효율 비디오 코딩에서 인터 예측시 조기 종료를 위해 보다 많은 기회를 제공할 수 있도록 작동 수준의 조기 종료가 가능하고, 기존의 다른 고속 알고리즘들과 함께 쉽게 사용가능한 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법에 관한 것이다.
일반적으로 영상 압축 기술은 영상회의, 스트리밍, 영상 저장 및 화상통신 등의 영상 애플리케이션들 뿐만 아니라 HD(High-definition) 영상 콘텐츠에 대한 폭발적인 수요 증가로 인해 다양한 산업 분야에서 주목받고 있다. 이때, H.264/AVC는 표준화되고 가장 널리 사용되고 있는 최신의 영상 부호화기술이다.
한편 최근 복잡해진 연산으로 인한 비용 증가 때문에 H.264/AVC에 의하여 제안된 비트레이트 감소를 배가시키기 위하여 고효율 비디오 코딩(HEVC; High-Efficiency Video Coding)로 알려진 차세대 비디오 코딩 표준이 ISO/IEC MPEG 및 ITU-T VCEG에 의하여 개발되었다.
현재의 HEVC 표준에는 다수의 특징들이 소개되어 있으며, 이들 특징들은 코딩 트리 유니트(CTU), 높은 공간 예측 방향을 이용한 인트러 코딩, 첨단의 보간법 필터, 다양한 인-루프 필터, 개선된 엔트로피 코딩 방식 등이다. 특히, 8 x 8에서 64 x 64까지의 다양한 블록 사이즈 및 예측 및 변환을 위한 가변 블록 사이즈 선택 방식들은 큰 용량의 해상도에 매우 적합하다. 4k x 2k 및 그 이상(즉, 8k x 4k)과 같은 대용량의 해상도는 새로운 비디오 프로그램들 및 다양한 사용자 장치들의 중요한 도전 대상이기도 하다.
HEVC 표준 방식은 연산 혼잡도가 증가되지만, H.264/AVC에 의하여 제안된 비트레이트를 배로 줄이는 것을 목적으로 한다. 움직임 추정(ME)를 이용한 모드 결정은 H.264/AVC와 유사하게 HEVC에서 가장 시간을 소모하는 연상 방식 중에 한가지이다. 고속의 인터 예측은 시급히 연구가 되어야 할 필요가 있는 중요하고, 시급한 문제이다.
물론, H.264/AVC를 위한 인터 예측에 대한 연산 혼잡도를 줄이기 위하여, 광범위한 연구 노력이 진행되고 있다. 제1 카테고리(참고문헌 1 ~ 11)에서는, 후보 블록 사이즈들이 ME에 앞서 결정되고, ME를 포함한 예측 작용은 선택된 후보 블록 사이즈를 위하여 만 실행된다. 이와 같은 사전 결정을 위하여, 이웃하는 정보, 움직임 또는 질감 특징들로부터 얻어지는 시공간 상관관계가 연구된다.
두 번째 카테고리(참고문헌 9 ~ 16)에서는, 이전 예측의 결과들은 비교되고, 추가적인 예측이 비교 결과에 따라 결정된다. 이때, 모드 결정은 계층적 방법으로 이루어진다. 제3의 카테고리에서, 분수 ME(FME) 계산은 정수 ME(IME) 결과를 이용함에 따라 감소될 수 있다. FME용 후보 블록 사이즈들은 IME 결과로부터 선택된다.
또한, 제1 카테고리(참고문헌 17 ~ 19)에서는, FME 계산은 동일한 정수 움직임 벡터(MV)을 갖는 다음 블록을 위하여 사용될 수 있다.
그러나, 이러한 종래의 해결 방법들은 H.264/AVC와 비교하여 새로운 코딩 구조 및 다른 데이터 처리 순서로 인하여, HEVC 인코딩 방식에 바로 적용시킬 수 없다. 또한 HEVC 참조 소프트웨어 및 다른 최근의 연구들은 고속 모드 결정을 위한 여러 가지 방식을 제안하고 있다. 그런데 이러한 알고리즘들은 대개 속도 증가를 위하여 유용하나, 계층적 방법으로 만들어지는 기존의 고속 모드 결정은 블록 수준 유사성이 하드웨어 환경 또는 멀티 코어 환경에서 구현될 때는 아무 쓸모가 없게 된다.
참고문헌 1: X. Lu, A.M. Tourapis, P. Yin, and J. Boyce: ISCAS (2005) 1246. IEICE Electronics Express, Vol.* No.*,*-* 2 참고문헌 2: C. E. Rhee, J.-S. Kim, and H.-J. Lee: IEEE Trans. Circuits Syst. Video Technol. 22 [3] (2012) 403. 참고문헌 3: B.-G. Kim and C.-S. Cho: ICIP (2007) 301. 참고문헌 4: T. Zhao, H. Wang, and S. Kwong, C. -C. J. Kuo: IEEE Trans. Circuits Syst. Video Technol. 20 [5] (2010) 697. 참고문헌 5: D. Wu, F. Pan, K. P. Lim, S. Wu, Z. G. Li, X. Lin, S. Rahardja, and C. C. Ko: IEEE Trans. Circuits Syst. Video Technol. 15 [7] (2005) 953. 참고문헌 6: S.-H. Ri, Y. Vatis, and J. Ostermann: IEEE Trans. Circuits Syst. Video Technol. 19 [2] (2009) 302. 참고문헌 7: A. Ahmad, N. Khan, S. Masud, and M.A. Maud: ICASSP [3] (2004) 173. 참고문헌 8: H. Zeng, C. Cai, and K.-K. Ma IEEE Trans. Circuits Syst. Video Technol. 19 [4] (2009) 491. 참고문헌 9: J. Bu, S. Lou, C. Chen, and J. Zhu: ICASSP [2] (2006) 917. 참고문헌 10: J. Y. Lee and H. Park: IEEE Trans. Circuits Syst. Video Technol. 22 [3] (2012) 393. 참고문헌 11: D. Wu, S. Wu, K. P. Lim, F. Pan, Z. G. Li, and X. Lin: ICASSP [3] (2004) 181. 참고문헌 12: Z. Liu, L. Shen, and Z. Zhang: IEEE Trans. Circuits Syst. Video Technol. 19 [1] (2009) 128. 참고문헌 13: D. Zhu, Q. Dai, and R. Ding: ICME [2] (2004) 1123. 참고문헌 14: C.-H. Kuo, M. Shen, and C.-C. J. Kuo: ICME [1] (2004) 663. 참고문헌 15: P. Yin, H.-Y.C. Tourapis, A.M. Tourapis, and J.Boyce: ICIP [3] (2003) 853. 참고문헌 16: A. C. W. Yu, G. R. Martin, and H. Park: IEEE Trans. Circuits Syst. Video Technol. 18 [2] (2009) 186. 참고문헌 17: T.-C. Chen, Y.-W. Huang, and L.-G. Chen: ICASSP [5] (2004) 9. 참고문헌 18: M. Shao, Z. Liu, S. Goto, and T. Ikenaga: IEICE Trans. Fundamentals 90-A [5] (2007) 756. 참고문헌 19: Y. Song, M. Shao, Z. Liu, S. Li, L. Li, T. Ikenaga, and S. Goto: SIPS (2007) 509.
따라서, 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 고효율 비디오 코딩에서 인터 예측시 조기 종료를 위해 보다 많은 기회를 제공할 수 있는 작동 수준(operation-level)의 조기 종료 방법을 제공하는데 그 목적이 있다.
또한 본 발명은 기존의 다른 고속 알고리즘들과 함께 쉽게 사용가능한 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법을 제공함에 그 목적이 있다.
이와 같은 기술적 과제를 해결하기 위해 본 발명은;
2N x 2N 인터 예측을 위하여 IME 연산을 수행한 후, FME 스킵 조건을 비교하여 FME 연산을 선택적으로 수행하는 제1단계; 상기 제1 단계 후, N x 2N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제2단계; 상기 제2 단계 후, 2N x N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제3단계;를 포함하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법을 제공한다.
삭제
이때, 상기 제3단계 후, 인트라 예측을 수행하는 제4단계;를 더 포함하는 것을 특징으로 한다.
그리고, 상기 FME 스킵 조건은, 지금까지의 가장 우수한 모드의 SATD 비용인 COSTBEST가 무게값 WFME _SKIP과 현재 PU의 IME로부터 SATD 비용인 COSTIME을 곱한 값보다 작으면 FME는 현재 PU에 대하여 수행하지 않고 스킵하는 조건인 것을 특징으로 한다.
또한, 상기 제2 파트 스킵 조건은, 지금까지의 가장 우수한 모드의 SATD 비용인 COSTBEST가 무게값 WPART2 _ SKIP와 현재 PU에서 제1 파트의 SATD 비용인 COSTPART1을 곱한 값보다 작으면, 제2 파트를 위한 IME 및 FME는 수행하지 않고 스킵하는 조건인 것을 특징으로 한다.
그리고, 상기 제1단계는, 상기 FME 스킵 조건을 비교하여 스킵하는 경우에는 상기 제2단계로 분기하고, 스킵하지 않으면 FME 연산이 수행된 후 상기 제2단계로 분기하는 단계인 것을 특징으로 한다.
아울러, 상기 제2단계는 제1 파트의 IME 연산을 수행 후, 제1 파트의 FME 스킵 조건을 비교하여 스킵하면, 제2 파트 스킵 조건을 비교하여 스킵하고 상기 제3단계로 분기하는 단계로서; 상기 제1 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제1 파트의 FME 연산을 수행한 후, 상기 제2 파트 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 IME 연산을 수행한 후, 제2 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 FME 연산이 수행된 후 상기 제3단계로 분기하는 것을 특징으로 한다.
또한, 상기 제3단계는 제1 파트의 IME 연산을 수행 후, 제1 파트의 FME 스킵 조건을 비교하여 스킵하면, 제2 파트 스킵 조건를 비교하여 스킵하고 인트라 예측을 수행하는 제4단계로 분기하는 단계이고; 상기 제1 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제1 파트의 FME 연산을 수행한 후, 상기 제2 파트 스킵 조건을 비교하는 것을 특징으로 하며; 상기 제2 파트 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 IME 연산을 수행한 후, 상기 제2 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 FME 연산이 수행된 후 상기 제4단계로 분기하는 것을 특징으로 한다.
본 발명에 따른 작동 수준의 조기 종료 방법은 블록 수준 평행 실시에 여전히 유효한 것으로, 이의 알고리즘의 고속 결정 포인트들은 HEVC 참조 소프트웨어 또는 기존의 연구들에서 제안된 포인트들과는 상호 중첩이 되지 않으므로, 다른 고속 결정 알고리즘들과 함께 쉽게 사용될 수 있으며, 그 결과로 속도를 증가시킬 수 있는 효과가 있다.
특히 본 발명에 따른 시뮬레이션 결과에 따르면, 인코딩 속도는 16% 개선될 수 있으며, 비트 레이트는 0.89% 미만으로 증가되며, 평균 0.028dB 정도로 작은 PSNR 감소가 발생한다. 이전의 작업들과 비교하여, 유사한 속도 증가 효과를 서로 다른 움직임 및 질감 특성을 갖는 다양한 테스트 시퀀스에서 얻을 수 있다.
또한 본 발명은 HEVC 참조 소프트웨어에서 사용 가능한 고속 방식과 함께 사용시 시간을 대폭 줄일 수 있다.
도 1은 HEVC에서의 고속 인터 예측에서의 ECU의 속도를 비교하기 위해 도시한 도면이다.
도 2는 HEVC에서의 고속 인터 예측에서의 ESD의 속도를 비교하기 위해 도시한 도면이다.
도 3은 HEVC에서의 고속 인터 예측에서의 CFM의 속도를 비교하기 위해 도시한 도면이다.
도 4는 SADT 비용 차이를 비교한 그래프이다.
도 5는 본 발명에 따른 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료를 위한 알고리즘을 도시한 도면이다.
도 6은 본 발명에 따른 FME 및 파트 스킵 알고리즘의 성능 및 시간 절약 결과표이다.
도 7은 깊이 및 크기에 따른 FME 스킵에 따른 PU의 비율을 분석한 그래프이다.
도 8은 깊이 및 PU 사이즈에 따른 파트 스킵 속도를 분석한 그래프이다.
도 9는 본 발명에 따른 알고리즘의 R-D 성능 및 시간 절약 결과표이다.
본 발명에 따른 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법을 첨부한 도면을 참고로 하여 이하 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 도 1 내지 도 9를 참고로 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법을 설명한다.
특히 본 발명은 작동 수준(operation-level)의 조기 종료를 위한 보다 많은 기회를 제공하기 위한 것으로, 특정 블록 파티션용의 인터 예측 방식은 여러 개의 작용으로 분할된다. ME 내에서, IME 및 FME가 순서적으로 실시되며, IME 및 FME 사이에서 조기 종료 조건이 점검된다. 만약 이와 같은 조건이 충족되면, 현재 블록 파티션용의 FME는 스킵되고, 검색은 다른 블록 파티션으로 이동한다. 약간의 블록 파티션 유형들은 ME가 각각의 파트에서 독립적으로 실시되는 복수개의 파트로 구성된다. 파티션 유형에서 파트들 사이에 유사 조기 방식이 적용된다.
본 발명에 따른 작동 수준의 조기 종료 방법은 블록 수준 평행 실시에 여전히 유효한 것으로, 이의 알고리즘의 고속 결정 포인트들은 HEVC 참조 소프트웨어 또는 기존의 연구들에서 제안된 포인트들과는 상호 중첩이 되지 않으므로, 다른 고속 결정 알고리즘들과 함께 쉽게 사용될 수 있으며, 그 결과로 속도를 증가시킬 수 있는데, 시뮬레이션 결과에 의하면 인코딩 속도는 16% 개선될 수 있으며, 비트 레이트는 0.89% 미만으로 증가되며, 평균 0.028dB 정도로 작은 PSNR 감소가 발생한다. 이전의 작업들과 비교하여, 유사한 속도 증가 효과를 서로 다른 움직임 및 질감 특성을 갖는 다양한 테스트 시퀀스에서 얻을 수 있다. 특히 본 발명에 따른 방법을 HEVC 참조 소프트웨어에서 사용 가능한 고속 방식과 함께 사용 가능할 때, 시간 절약은 36%이며, 비트 레이트 증가 및 PSNR 감소는 1.19% 및 0.036dB이다.
먼저, 도 1 내지 도 3을 참고로 HEVC의 인터 예측에 대해 살펴보면, 현재의 비디오 표준에서는 메크로 블록(MB)은 오랜 시간 동안 기본적인 처리 유니트로서 기능을 하고 있다.
이때, MB의 사이즈는 루마 부품에서 16x16 픽셀이다. 고해상도 비디오를 위하여 고압축 결과를 얻기 위해서는, HEVC는 MB 대신에 기본 유니트로서 CU(Coding Unit)를 구비하고 있다. 상기 CU의 사이즈는 MB와는 달리 고정되어 있지 않고, 8 x 8에서 64 x 64까지 가변적이다.
이때, CU 사이즈가 주어지면, 가변 블록 유형의 쿼드 트리 구조가 사용될 수 있다. 깊이 '0'에서의 가장 큰 CU는 LCU(Largest Coding Unit)로 표시될 수 있다. 트리의 깊이가 '4'일 때, LCU의 사이즈는 64 x 64이다. LCU는 4개의 32 x 32 CU로 분할될 수 있다. 각각의 32 x 32 CU는 4개의 16 x 16 CU로 추가로 분할될 수 있다.
특정 CU의 사이즈가 2N x 2N이라고 가정하면, 한 개의 CU는 예측 유니트의 2N x 2N, 2N x N 및 N x 2N으로 분할될 수 있다. 인터 및 인트라 예측이 각각의 PU용으로 수행된다.
한편, HEVC는 가변 블록 사이즈의 쿼드 트리 구조를 지원한다. 이와 같은 트리 구조의 깊이는 '4' 정도의 크기가 될 수 있다. 전체 255개의 블록 파티션들이 검색될 필요가 있다. ME에 앞서 후보 블록 사이즈를 정확하게 선택하는 것은 어렵다. 이와 달리 계층적 결정 알고리즘은 CU의 트리 구조를 검색하는 동안에, 추가적인 예측을 중지시킬 많은 기회가 있기 때문에 HEVC용으로는 대단히 효과적이다. 계층 블록 사이즈 결정을 위하여, 참조 소프트웨어는 몇 개의 고속 결정 알고리즘을 포함하고 있다. 모든 깊이에서 조기 SKIP 모드 결정에 대하여, 2N x 2N PU에 대한 ME와 SKIP 모드용 연산이 순서적으로 수행된다. 만약 SKIP 비용이 2N x 2N PU의 ME 비용보다 적다면, 조기 스킵 조건이 만족되는 것이다. 또한 만약 2N x 2N PU의 ME 비용이 SKIP 비용보다 적고, 코딩된 블록 플래그(CBF) 및 2N x 2N PU의 MV 차이(MVD)가 제로라면, 조기 스킵 조건이 만족되는 것이다. CBF는 나머지 값을 갖지 않는 블록들을 표시한다. 만약 조기 스킵 조건이 참이라면, 현재 CU에서 남아 있는 인터 및 인트라 예측은 얻을 수 있다.
이와 같은 방식은 조기 SKIP 모드 검출(ESD) 방식이라고 한다. 고속 인터 예측에 대한 다른 방식들이 ECU 및 CFM으로 각각 표시되는 조기 CU 결정 및 CBF 기반 모드 방식이다. ECU에서, 만약 SKIP 모드가 현재 CU에서 가장 우수한 모드라면, 다음 깊이의 보다 작은 CU들에 대한 예측은 수행되지 않는다.
예를 들면, 만약 64 x 64 CU에서 64 x 64 PU의 SKIP 모드 비용이 64 x 64, 64 x 32, 32 x 64 PU들 중에서 가장 작다면, 블록 사이즈 검색은 그 깊이에서 종료하며, 보다 작은 CU들, 즉 32 x 32, 16 x 16 및 8 x 8 CU들에 대한 예측을 실시할 필요가 있게 된다. CFM은 현재 CU에서 PU 사이즈를 조기에 선택하고, 보다 확률이 낮은 PU 사이즈를 이용한 예측을 위한 필요 연산 량을 줄이기 위하여 사용될 수 있다. SKIP, 2N x 2N, 2N x N 및 N x 2N PU들에 대한 예측들은 하나씩 순차적으로 처리된다.
이러한 예측이 이루어지는 동안에, 만약 현재의 PU의 CBF가 모드 제로가 된다면, 현재 CU에 대한 예측은 종료되고, 나머지 PU 사이즈들에 대한 연산이 축소된다. 왜냐하면, 제로 CBF란 현재 PU가 최고로 우수한 모드가 되기 위하여 종료될 때 속도-왜곡(R-D) 성능이 적절하다는 것을 표시한다. 만약 현재 PU가 최고로 우수한 PU와 서로 다를 때, 현재 PU와 최고로 우수한 PU 사이의 R-D 비용에 있어서의 차이는 무시할 수 있는 정도이다.
그리고, ECU는 최고로 우수한 CU의 조기 모드 결정 동안에 많은 검색 시간을 절약할 수 있게 한다. ECU의 목적은 작은 CU들을 찾는 것이 아니며, 결국에는 현재 CU의 최고로 우수한 모드는 SKIP 모드가 되어야 한다. 그러나, ECU가 균일하지 않은 질감 또는 복잡한 움직임을 갖는 비디오용으로는 적합하지 않다. 이러한 유형의 비디오들을 인코딩 한 이후에, 많은 작은 CU들이 포함되어 있으며, 그리고 그들의 상수 값이 크다는 것이 관찰되었다.
도 1은 만족되는 ECU 조건의 확률을 도시한다. 특히 도 1의 (a)는 QP가 20일 때 크리스텐앤드사라, (b)는 QP가 36일 때 크리스텐앤드사라, (c)는 QP가 20일 때 레이스호스, (d) QP가 36일 때 레이스호스이다. 이때, 옅은 회색 부분은 최고로 우수한 모드가 SKIP 모드가 아닌 CU의 속도를 표시하며, 어두운 회색 부분은 그 기간 동안 최고로 우수한 모드가 SKIP 모드가 되는 CU들의 속도를 표시한다. 좀 더 상세하게는 도 1의 (a) 및 (b)에 도시한 바와 같이, 1280 x 720의 해상도를 갖는 크리스텐앤드사라가 사용되었다. 도 1의 (c) 및 (d)에는 832 x 480의 해상도를 갖는 레이스호스가 사용되었다. QP값들은 두 개의 서로 다른 20 및 36이 각각의 비디오에 적용되었다.
크리스텐앤드사라의 테스트 결과에서는 움직임이 천천히 변하고 질감은 균일하며, 이에 따라 다수의 CU들이 ECU 조건을 만족한다. QP 36.91%를 갖는 CU들은 SKIP 모드로 결정된다.
이와는 대조적으로, 레이스호스의 테스트 결과에서는 복잡한 움직임을 가지며, 공간적으로 상세한 구성을 갖는다. 20 정도의 QP를 이용하면, 단지 7% 정도의 CU들이 ECU 조건을 만족하게 된다. 이와 같은 ECU 방식은 시공간적으로 균일한 특성을 갖는 또는 높은 QP 값으로 인코딩되는 비디오용에 있어서 매우 효율적이다.
한편, ESD 및 CFM은 현재 깊이에서 최고로 우수한 PU를 결정할 때 사용된다. 도 2 및 도 3는 ESD 및 CFM 조건의 확률을 도시한다. 이를 통해 본 발명의 안정성이 분석된다. 특히 도 2는 ECU의 속도에 관한 것으로, 도 2의 (a)는 QP가 20일 때 크리스텐앤드사라, (b)는 QP가 36일 때 크리스텐앤드사라, (c)는 QP가 20일 때, 레이스호스, (d) QP가 36일 때 레이스호스이다. 또한, 도3. CFM의 속도에 관한 것으로, 도 3의 (a)는 QP가 20일 때 크리스텐앤드사라, (b)는 QP가 36일 때 크리스텐앤드사라, (c)는 QP가 20일 때, 레이스호스, (d)는 QP가 36일 때 레이스호스이다. 이때, 크리스텐앤드사라 및 레이스호스는 20 및 36의 QP값들을 이용하여 인코딩된다.
도 2에 도시된 바와 같이, 옅은 회색으로 표시된 ESD_2N x 2N은 ESD 조건이 만족되며, 그리고 최고로 우수한 PU가 종국에는 SKIP 또는 2Nx2N 인터 모드로서 결정되는 것을 표시한다. 이 경우 만약 ESD가 적용되면, 품질 저하 없이 시간을 절약할 수 있다. 검은색으로 표시된 ESD_no2N x 2N은 ESD 조건이 설사 만족한다 해도, 최고로 우수한 PU가 SKIP도 아니고 2N x 2N 인터 모드도 아닌 부정확한 결정을 표시한다. 이와 같은 부분은 R-D 성능을 저하시키게 된다. 마지막으로, 어두운 회색을 표시된 soESD_2Nx2N은 만약 ESD가 만족되지 않으면, 최고로 우수한 모드가 SKIP 및 2Nx2N 인터 모드 중에서 선택되는 ESD 방식에 의하여 보호되지 않는 PU 부분을 표시한다. 도1의 결과와 유사하게, 어두운 회색 부분은 비디오가 복잡해짐에 따라 증가하고, QP값이 작아지면 증가한다. 이와 같은 보호되지 않은 부분은 더 많은 시간을 절약하기 위하여 연구되어져야 한다.
도 3의 CFM 방식은 도 2의 ESD와 매우 유사한 경향을 보인다. 밝은 회색으로 표시된 타임리CFM은 CFM을 이용하한 조기 종료가 최고로 우수한 PU 이후에 바로 적절하게 인가됨을 뜻한다. 어두운 회색으로 표시된 부분은 툴레이트CFM 결정을 표시한다. 테스트되는 현재의 PU는 최종 단계에서 가장 우수한 것이 된다. 현재 PU의 CBF가 제로가 아니기 때문에, PU 검색은 계속 진행되어야 한다. 만약 제로 CBF를 갖는 PU가 없다면, CFM 방식은 인코딩용에 필요한 시간을 줄일 필요가 없게 된다. 타임리CFM의 부분은 감소하고, 도3의 (c)에 도시된 바와 같이 비디오가 복잡하고 그들의 QP값이 낮을 때 툴레이트CFM의 부분은 증가한다.
이상의 도 2 및 도 3에 의하면 압축 효율을 저하시키는 검은색으로 표시된 부분은 매우 낮다. 이 같은 관측을 통하여, 두 가지 방식의 한계는 다음과 같다. 첫째로, PU 검색을 조기에 종료하기 위한 기능은 너무 작다. 비대칭 움직임 파티션(AMP) 옵션이 사용되지 않으면, ESD 조건은 모든 CU 동안 한 번 더 점검되며, CFM 조건은 2N x 2N, N x 2N 및 2N x N PU에 대한 인터 예측 이후에 모든 CU 마다 3번씩 점검된다. 조기 종료를 위해서 전체적으로 4번의 기회가 주어진다. 둘째로, 상수 기반 접근 방법은 제로 상수를 갖는 블록 부분이 크지 않을 때, 비디오용으로 유용하지 않다.
따라서, PU 조기 종료의 가능성을 증가시키기 위하여, 절대 변형 차이(SATD) 비용의 합이 계산되고, 인터 예측 동안에 다양한 포인트에서 비교된다. IME, FME 및 PU의 각 파트의 결과를 점검하기 위한 높은 결정 포인트의 R-D 비용 계산이 너무 비싸기 때문에, SATD 비용이 사용되었다.
도 4를 참고하면, 크리스텐앤드사라 및 레이스호스가 QP 20 및 36을 이용하여 인코딩되었다. Diff_PU로 표시된 옅은 회색 막대 그래프는 2N x 2N, N x 2N 및 2N x 2N PU 중에서 SATD 비용에서의 차이점들을 표시한다. Diff_I/FME로 표시된 어두운 회색 막대 그래프는 IME 및 PU의 FME 작동 사이의 SATD 비용을 표시하며, Diff_Parts로 표시된 금은 막대 그래프는 N x 2N 및 2N x N PU에서 두 개의 파트의 SATD 비용에서의 차이를 표시한다.
또한, 도 4에 도시된 바와 같이, Diff_I/FME 및 Diff_Parts는 Diff_PU와 비교하여 매우 작다. 이와 유사한 결과는 PU의 FME 비용이 ME 비용으로부터 예측 가능함을 표시한다. 이와 같이 N x 2N 및 2N x N PU의 제2 부분(Part 2)의 이용은 제1 부분(Part 1)으로부터 추정될 수 있다.
이와 같이, 본 발명은 PU 수준 고속 결정을 위한 것으로, 이에 따라 조기 종료에 대하여 충분한 기회를 제공할 수 있게 된다.
이하에서는 도 5를 참고로 본 발명에 따른 인터 예측의 상세 작용을 설명한다. 이때, ME를 필요로 하지 않으므로, 2N x 2N SKIP 연산은 생략한다.
먼저, 2N x 2N 인터 예측을 위하여, IME 및 FME 연산이 2N x 2N PU 동안 순차적으로 실시된다.(S100)
또한, 상기 단계(S100)를 수행한 후, N x 2N 인터 예측을 수행한다. 이 경우 제1 파트(Part 1)의 IME 및 FME 작용이 하나의 N x 2N 블록을 위하여 포함되며, 제2 파트(Part 2)의 IME 및 FMR 작용은 다른 N x 2N 블록을 위하여 포함된다.(S110)
한편, 상기 단계(S110)를 수행한 후, 2N x N 인터 예측을 수행하는데, 이는 N x 2N 인터 예측에 사용된 유사한 방법으로 수행된다.(S120)
상기 단계(S110)를 수행한 후, 인트라 예측을 수행하게 된다.(S130)
이와 같은 단계(S100) 내지 단계(S120)를 수행시 두가지의 스킵 조건을 점검하여 모든 미세 작용 동안에 조기 종료에 대한 기회를 찾기 위하여 검색된다.
이때, 한 가지는 FME 스킵 조건이며, 다른 하나는 제2 파트(Part 2) 스킵 조건이다.
먼저, 상기 FME 스킵 조건은 2N x 2N, N x 2N 및 2N x N 인터 예측을 위한 것이다. IME 이후에, IME 비용은 아래의 식 (1)에 정의된 CFME _ SKIP 조건을 이용하여 현재의 가장 우수한 비용과 비교된다.
Figure 112013098742413-pat00001
여기서 COSTBEST는 지금까지의 가장 우수한 모드의 SATD 비용이며, COSTIME --는 현재 PU의 IME로부터 SATD 비용을 표시한다. 만약 COSTBEST가 WFME _SKIP과 COSTIME을 곱한 값보다 작으면, FME는 현재 PU에 대하여 수행되지 않는다. 이때, 무게 값 WFME_SKIP는 실험적으로 선택되는 값이며, 2N x 2N PU을 위하여 0.55로 설정되고, N x 2N 및 2N x N PU들을 위하여 0.8로 설정된다. 따라서, 현재 PU의 최종 ME 비용은 WFME_SKIPxCOSTIME-로 추정될 수 있으며, 이와 같은 추정된 ME 비용은 COSTBEST와 비교된다.
다음으로 제2 파트(Part 2) 스킵 조건은 식 (2)에서 CPART2 _ SKIP로 표시되는 것으로, N x 2N 및 2N x N PU용으로 사용되며, CFME _ SKIP와 유사하다.
Figure 112013098742413-pat00002
여기서 COSTPART1은 현재 PU에서 제1 파트(Part 1)의 SATD 비용을 뜻한다. 만약 COSTBEST가 WPART2 _ SKIP와 COSTPART1을 곱한 값보다 작으면, 제2 파트(Part 2)를 위한 IME 및 FME는 수행되지 않는다. 이 경우 무게 값 WPART2 _ SKIP는 0.8로 설정된다.
즉, 상기 단계(S100)에서는 먼저, 2N x 2N 인터 예측을 위하여, IME 연산이 수행되고, FME 스킵 조건(S102)을 비교하여 스킵하는 경우에는 단계(S110)으로 분기하여 N x 2N 인터 예측을 수행하며, FME 스킵 조건(S102)을 비교하여 스킵하지 않는 경우에는 FME 연산이 수행된 후 상기 단계(S110)으로 분기하여 N x 2N 인터 예측을 수행한다.
또한, 상기 단계(S110)에서는 N x 2N 인터 예측을 위하여 제1 파트(Part 1)의 IME 연산이 수행되고, 제1 파트(Part 1)의 FME 스킵 조건(S112)을 비교하여 스킵하는 경우에는 제2 파트(Part 2) 스킵 조건(S114)를 비교하여 스킵하는 경우에는 단계(S120)으로 분기하여 2N x N 인터 예측을 수행한다. 이 경우 제1 파트(Part 1)의 FME 스킵 조건(S112)을 비교하여 스킵하지 않는 경우에는 제1 파트(Part 1)의 FME 연산이 수행된 후 상기 제2 파트(Part 2) 스킵 조건(S114)를 비교하며, 상기 제2 파트(Part 2) 스킵 조건(S114)을 비교하여 스킵하지 않는 경우에는 제2 파트(Part 2)의 IME 연산이 수행된 후 제2 파트(Part 2)의 FME 스킵 조건(S116)을 비교하여 스킵하는 경우에는 단계(S120)으로 분기하여 2N x N 인터 예측을 수행하며, 제2 파트(Part 2)의 FME 스킵 조건(S116)을 비교하여 스킵하지 않는 경우에는 제2 파트(Part 2)의 FME 연산이 수행된 후 단계(S120)으로 분기하여 2N x N 인터 예측을 수행한다.
그리고, 상기 단계(S120)에서는 2N x N 인터 예측을 위하여 제1 파트(Part 1)의 IME 연산이 수행되고, 제1 파트(Part 1)의 FME 스킵 조건(S122)을 비교하여 스킵하는 경우에는 제2 파트(Part 2) 스킵 조건(S124)를 비교하여 스킵하는 경우에는 단계(S130)으로 분기하여 인트라 예측을 수행한다.
이 경우 제1 파트(Part 1)의 FME 스킵 조건(S122)을 비교하여 스킵하지 않는 경우에는 제1 파트(Part 1)의 FME 연산이 수행된 후 상기 제2 파트(Part 2) 스킵 조건(S114)를 비교하며, 상기 제2 파트(Part 2) 스킵 조건(S124)을 비교하여 스킵하지 않는 경우에는 제2 파트(Part 2)의 IME 연산이 수행된 후 제2 파트(Part 2)의 FME 스킵 조건(S126)을 비교하여 스킵하는 경우에는 단계(S130)으로 분기하여 인트라 예측을 수행하며, 제2 파트(Part 2)의 FME 스킵 조건(S126)을 비교하여 스킵하지 않는 경우에는 제2 파트(Part 2)의 FME 연산이 수행된 후 단계(S130)으로 분기하여 인트라 예측을 수행한다.
이와 같은 일련의 과정을 수행하면 도 6 내지 도 9에 도시된 바와 같은 시뮬레이션 결과를 얻을 수 있다.
이 경우 본 발명에 따른 방법은 HM8.2 참조 소프트웨어 상에서 구현되며, 8기가의 DDR2 RAM을 갖는 3GHz의 속도로 인텔 코어2 프로세서를 구비한 서버에서 시뮬레이트된다. 여기서 시뮬레이션을 실시함에 있어서, 인코딩을 위한 구성은 낮은 혼잡도, 낮은 속도 지연, 일반화 P 및 B 픽쳐(GPB) 구성을 갖고 한 가지 참조 프레임이 존재한다. 고속 인코딩(FEN) 플레그는 턴-온된다. 본 시뮬레이션에는, 해상도 2560x1600을 갖는 클래스 A에서는 12개의 비디오 시퀀스, 네뷰탈페스티벌, 피플온스트리트 및 트래픽이 제공되고, 1920x1080 해상도는 갖는 클래스 B에서는 비큐테라스, 키모노1 및 파크신 등이 제공되고, 832x480의 해상도를 갖는 클래스 C에서는 비큐몰, 파티신 및 레이스호스 등이 제공되고, 416x240 해상도를 갖는 클래스 D에서는 베스켓볼패스, 블로잉버블 및 비큐스퀘어 등이 제공된다. 각 테스트 시퀀스는 50개의 프레임으로 구성되고, 4개의 QP(20, 24, 28, 32)로 인코딩된다.
본 발명의 시뮬레이션 결과는 도 6의 표와 같다. 이때 상기 표의 1,2번째 칼럼은 비디오 사이즈와 테스트 순서가 표시된다. 3,4번째까지의 칼럼에는 FME 스킵 알고리즘이 HM8.2 참조 소프트웨어에 인가될 때 비조인트가드 델타 비트레이트(BDBR)의 증가, 비조인트가드 델타 PSNR(BDPSNR)의 감소 및 절약된 시간(TS로 표시)의 양을 표시되어 있다. 상기 BDBR 및 BDPSNR의 정의는 조기 작업[G. Bjontegaard: ITU-T SG16 Q.6 (2001) VCEG-M33.]에 표시되어 있다. 절약된 평균 시간은 12.88%이며, BDBR의 증가 및 BDPSNR의 감소는 각각 0.33% 및 0.011dB이다. 파티씬에 대한 가장 작은 시간 절약은 8.05%이며, 모비소드2에 대한 가장 큰 시간 절약은 16.47%이다. 그러나, 비디오들에 있어서 시간 절약에서의 차이는 크지 않다. 6 ~ 8번째까지의 칼럼에는, 파트-스킵 알고리즘이 적용될 때의 R-D 성능 및 시간 절약이 표시되어 있다. 평균 시간 절약은 6.37%이며, BDBR의 증가 및 BDPSNR의 감소는 각각 0.32%및 0.010dB이다. FME 스킵 알고리즘의 시뮬레이션 결과와 같이, 파트 스킵 알고리즘은 대개의 비디오에 있어서, 유사한 수준의 시간 절약을 보여 준다.
도 7은 깊이 및 크기에 따른 FME 스킵에 따른 PU의 비율을 분석한 그래프이다. 이에 의하면 수직 축은 FME 스킵의 속도를 표시하며, 수평 축은 PU 사이즈를 표시한다. D0, D1, D2, D3는 깊이 0, 1, 2, 3을 표시한다. 도6a 및 도6b는 시간 절약에 있어 가장 우수한 2가지이며, 도6d 및 6e는 시간 절약에 있어서 가장 좋지 않은 2가지이다. 모든 경우에 있어서, FME 스킵 확률은 N x 2N 또는 2N x N PU보다는 2N x 2N PU에서 훨씬 더 높다. 깊이 3에서의 FME 스킵은 다른 깊이에서 발생하는 것보다 종종 더 적게 발생하지만, 깊이에서의 차이점은 크지 않다.
한편, 도 8에는 깊이 및 PU 사이즈에 따른 파트 스킵 속도가 도시된다. 이때, 수직 축은 파트 스킵 속도를 표시하며, 수평 축은 깊이를 표시한다. N x 2N 및 2NxN PU 사이에서, 파트 스킵 속도에서의 차이는 미미하다. 깊이 0, 1 및 2에 대한 유사한 스킵 속도가 표시되어 있다. 그러나, 파트 스킵은 깊이 3에서는 거의 발생하지 않는다. 깊이 3에서의 SATD 비용은 매우 작다. 2에서 파트 스킵 조건을 적용시키는 것은 어려우며, 가장 우수한 SATD 비용보다 더 높은 SATD 비용을 갖는 PU들을 찾는 것이 어렵다.
또한, 도 9의 표의 3 ~ 5번째 칼럼에는, FME 스킵 및 파트 스킵이 적용된 알고리즘이 HM8.2 참조 소프트웨어에 적용될 때의 R-D 성능 및 시간 절약이 표시되어 있다. 평균 시간 절약은 16.47%이며, BDBR의 증가 및 BDPSNR 감소는 0.89% 및 0.028dB이다. 6번째 칼럼에서 8번째 칼럼에는, ESD, ECU 및 CFM의 HM 고속 알고리즘이 인코딩 시간을 증가시키기 위하여 사용될 때의 시뮬레이션 결과들을 도시하고 있다. 인코딩 시간이 16.98%까지 감소되며, BDBR에서의 증가 및 BDPSNR에서의 감소는 0.82% 및 0.025dB이다. 도 9에 도시된 바와 같이, 본 발명에 따라 적용된 알고리즘의 성능은 HM 고속 알고리즘과 비교 가능하다. 9 ~ 11번째 칼럼에서, HM 고속 및 제안된 알고리즘이 함께 사용될 때 R-D 성능 및 시간 절약이 도시되어 있다. 평균 시간 절약은 36.13%이다. 제안된 알고리즘 및 HM 고속 알고리즘이 각각 분리되어 작용될 때와 비교하여, 인코딩 시간이 현저히 감소하며, 추가 BDBR 증가 및 BDPSNR 감소는 0.37% 및 0.011dB이다.
이상의 본 발명의 알고리즘의 주요 기여도는 고속 결정 포인트들이 이전 연구에서 제안된 포인트들과 상호 중첩이 안 되는 점이다. 따라서 본 발명의 알고리즘들은 다른 고속 결정 알고리즘들과 함께 사용될 수 있으며, 그 결과 속도 증가의 효과를 얻을 수 있다. 또한 PU 검색에서의 조기 종료에 대하여 작동 기반 연구는 속도를 증가시킬 뿐 아니라, 압축 효율에서도 손실이 미미하다. 본 발명에서는 작동 기반 조기 종료는 단지 인터 예측 방식에 적용되는 것만 설명하였지만, HEVC에서의 인트라 예측이 이전의 표준과 비교하여 보다 복잡해지기 때문에, 인트라 예측에서도 효과가 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S100: 2N x 2N 인터 예측
S110: N x 2N 인터 예측
S120: 2N x N 인터 예측
S130: 인트라 예측

Claims (13)

  1. 2N x 2N 인터 예측을 위하여 IME 연산을 수행한 후, FME 스킵 조건을 비교하여 FME 연산을 선택적으로 수행하는 제1단계;
    상기 제1 단계 후, N x 2N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제2단계;
    상기 제2 단계 후, 2N x N 인터 예측을 위하여 제1 파트의 IME 연산을 수행하고, 제1 파트의 FME 스킵 조건을 비교하여 제1 파트의 FME 연산을 선택적으로 수행하고, 제2 파트의 스킵 조건를 비교하여 제2 파트의 IME 및 FME 연산을 선택적으로 수행하는 제3단계;를 포함하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  2. 제 1항에 있어서,
    상기 제3단계 후, 인트라 예측을 수행하는 제4단계;를 더 포함하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  3. 제 1항에 있어서,
    상기 FME 스킵 조건은, 지금까지의 가장 우수한 모드의 SATD 비용인 COSTBEST가 무게값 WFME _SKIP과 현재 PU의 IME로부터 SATD 비용인 COSTIME을 곱한 값보다 작으면 FME는 현재 PU에 대하여 수행하지 않고 스킵하는 조건인 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  4. 제 1항에 있어서,
    상기 제2 파트 스킵 조건은, 지금까지의 가장 우수한 모드의 SATD 비용인 COSTBEST가 무게값 WPART2 _ SKIP와 현재 PU에서 제1 파트의 SATD 비용인 COSTPART1을 곱한 값보다 작으면, 제2 파트를 위한 IME 및 FME는 수행하지 않고 스킵하는 조건인 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  5. 제 1항에 있어서,
    상기 제1단계는, 상기 FME 스킵 조건을 비교하여 스킵하는 경우에는 상기 제2단계로 분기하고, 스킵하지 않으면 FME 연산이 수행된 후 상기 제2단계로 분기하는 단계인 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  6. 제 1항에 있어서,
    상기 제2단계는 제1 파트의 IME 연산을 수행 후, 제1 파트의 FME 스킵 조건을 비교하여 스킵하면, 제2 파트 스킵 조건을 비교하여 스킵하고 상기 제3단계로 분기하는 단계인 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  7. 제 6항에 있어서,
    상기 제1 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제1 파트의 FME 연산을 수행한 후 상기 제2 파트 스킵 조건을 비교하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  8. 제 6항에 있어서,
    상기 제2 파트 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 IME 연산을 수행한 후 제2 파트의 FME 스킵 조건을 비교하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  9. 제 8항에 있어서,
    상기 제2 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 FME 연산이 수행된 후 상기 제3단계로 분기하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  10. 제 1항에 있어서,
    상기 제3단계는 제1 파트(Part 1)의 IME 연산을 수행 후, 제1 파트의 FME 스킵 조건을 비교하여 스킵하면, 제2 파트(Part 2) 스킵 조건(S114)를 비교하여 스킵하고 인트라 예측을 수행하는 제4단계로 분기하는 단계인 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  11. 제 10항에 있어서,
    상기 제1 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제1 파트의 FME 연산을 수행한 후 상기 제2 파트 스킵 조건을 비교하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  12. 제 10항에 있어서,
    상기 제2 파트 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 IME 연산을 수행한 후 상기 제2 파트의 FME 스킵 조건을 비교하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
  13. 제 12항에 있어서,
    상기 제2 파트의 FME 스킵 조건을 비교하여 스킵하지 않으면 제2 파트의 FME 연산이 수행된 후 상기 제4단계로 분기하는 것을 특징으로 하는 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법.
KR1020130130282A 2013-10-30 2013-10-30 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법 KR101517184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130130282A KR101517184B1 (ko) 2013-10-30 2013-10-30 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130130282A KR101517184B1 (ko) 2013-10-30 2013-10-30 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법

Publications (1)

Publication Number Publication Date
KR101517184B1 true KR101517184B1 (ko) 2015-05-15

Family

ID=53393743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130130282A KR101517184B1 (ko) 2013-10-30 2013-10-30 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법

Country Status (1)

Country Link
KR (1) KR101517184B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060016960A (ko) * 2004-08-19 2006-02-23 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
JP2007243337A (ja) * 2006-03-06 2007-09-20 Nec Corp 動画像符号化方法及び動画像符号化装置とプログラムならびに媒体
KR20110028742A (ko) * 2009-09-14 2011-03-22 서울대학교산학협력단 Ｈ.264/ａｖｃ의 인코딩 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060016960A (ko) * 2004-08-19 2006-02-23 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
JP2007243337A (ja) * 2006-03-06 2007-09-20 Nec Corp 動画像符号化方法及び動画像符号化装置とプログラムならびに媒体
KR20110028742A (ko) * 2009-09-14 2011-03-22 서울대학교산학협력단 Ｈ.264/ａｖｃ의 인코딩 방법

Similar Documents

Publication Publication Date Title
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
CN110741639B (zh) 视频译码中的运动信息传播
CN111064959A (zh) 要检查多少个hmvp候选
Zhang et al. Low complexity HEVC INTRA coding for high-quality mobile video communication
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
US11756233B2 (en) Method for image processing and apparatus for implementing the same
JP2008035134A (ja) 画像符号化装置
WO2013108922A2 (en) Video decoder, video encoder, video decoding method, and video encoding method
WO2012161952A2 (en) Method and apparatus for using segmentation-based coding of prediction information
CA2883133A1 (en) A video encoding method and a video encoding apparatus using the same
CN113728645A (zh) 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置
WO2014078430A1 (en) Device and method for scalable coding of video information
JP2023107799A (ja) ビデオピクチャの復号および符号化の方法ならびに装置
KR20220003037A (ko) 인터 예측 방법 및 장치
JP2023179684A (ja) ピクチャ予測方法および装置、およびコンピュータ可読記憶媒体
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
KR20160132865A (ko) 낮은 복잡성 인코딩 및 백그라운드 검출을 위한 시스템들 및 방법들
US10142633B2 (en) Flexible coding unit ordering and block sizing
Wang et al. Fast mode and depth decision algorithm for intra prediction of quality SHVC
WO2023011420A1 (zh) 编解码方法和装置
KR101517184B1 (ko) 고효율 비디오 코딩에서 인터 예측을 위한 작동 수준의 조기 종료 방법
Ma et al. A fast background model based surveillance video coding in HEVC
JP2021524708A (ja) ビデオ・エンコーダ、ビデオ・デコーダおよび対応する方法
TWI748522B (zh) 視訊編碼器、視訊解碼器及相應方法
WO2015015404A2 (en) A method and system for determining intra mode decision in h.264 video coding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 5