KR102075207B1 - 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치 - Google Patents

부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR102075207B1
KR102075207B1 KR1020170170124A KR20170170124A KR102075207B1 KR 102075207 B1 KR102075207 B1 KR 102075207B1 KR 1020170170124 A KR1020170170124 A KR 1020170170124A KR 20170170124 A KR20170170124 A KR 20170170124A KR 102075207 B1 KR102075207 B1 KR 102075207B1
Authority
KR
South Korea
Prior art keywords
reference picture
list
merge mode
prediction
generating
Prior art date
Application number
KR1020170170124A
Other languages
English (en)
Other versions
KR20190069830A (ko
Inventor
김용환
박상효
정진우
김성제
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170170124A priority Critical patent/KR102075207B1/ko
Publication of KR20190069830A publication Critical patent/KR20190069830A/ko
Application granted granted Critical
Publication of KR102075207B1 publication Critical patent/KR102075207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하기 위해, 부호화 압축 효율을 최대한 확보하면서 고속으로 참조 프레임을 적응적으로 설정/제한하는 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 움직임 예측 방법은 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일하면, 현 예측 유닛의 참조 픽처 리스트 중 일부를 Merge 모드의 최종 리스트로 제한하는 단계; 및 제한된 참조 픽처 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
이에 의해, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하여 고속으로 참조 프레임을 적응적으로 설정/제한할 수 있게 된다.

Description

부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치{Video Coding method and Apparatus for Selecting Reference Frame using Context of Coding Unit}
본 발명은 영상 부호화 기술에 관한 것으로, 더욱 상세하게는 비디오 부호화기에서의 움직임 예측 과정에서 검색할 다중 참조 프레임의 범위를 결정하는 방법에 관한 것이다.
1) 비디오 부호화기의 개요
ISO/IEC가 제정한 비디오 표준(MPEG-2/MPEG-4/AVC/HEVC/SVC/SHVC 등) 및 공개 비디오 표준(Dirac/Theora/VP8/VP9 등)의 부호화기는 모두 최소의 비트율을 보장하면서 최대의 화질을 제공한다는 측면에서 각자의 고유한 부호화 툴 뿐 아니라, 고유한 모드 결정 방법을 가지고 있다. 특히 2013년 1월에 제정된 HEVC 비디오 압축 표준은 우수한 부호화 툴과 최적의 모드 결정 방식을 갖추고 있다는 점에서 종래의 비디오 압축 표준보다 우수한 압축 성능을 보이고 있다. 특히 이전 표준인 H.264/AVC에 대비해서 30~50% 부호화 압축 개선율을 보이지만, 연산 복잡도 측면에서는 120~200% 정도 더 복잡한 문제점을 가지고 있다.
특히 다중 참조 프레임(multiple reference frame) 선택 기술은 율-왜곡(Rate-Distortion) 비용 측면에서 우수한 압축 성능을 보이지만, 개별 코딩 트리 유닛(Coding tree unit: CTU) 내의 다양한 파티션(Partition)에 대하여 모든 참조 프레임을 전부 검색을 해야 하기 때문에, 부호화기에서 많은 연산량과 메모리 접근을 필요로 한다.
이에 따라 실시간 부호화기 혹은 배터리 제한적인 모바일 장치에서의 비디오 부호화를 위해서는 참조 프레임을 적응적으로 제한하는 고속 결정 기술이 필요하다.
2) 종래기술 1: HEVC 참조 SW인 HM에서의 참조 픽처 선택 방법
HEVC의 부호화 과정 중 예측 유닛(Prediction Unit)의 화면간 예측(Inter prediction)의 최적의 움직임 벡터(Motion vector), 참조 픽처 인덱스(Reference frame index), 참조 픽처 목록(Reference picture list)을 설정하기 위해, 다양한 방향과 다수의 인덱스 값 모두에 대하여 움직임 예측을 수행한다.
움직임 예측을 수행할 참조 프레임은 3개의 예측 구조 중 하나를 선택하게 된다. 1) 과거 단일 예측(Uni-prediction L0 혹은 List0), 2) 미래 단일 예측(Uni-prediction L1 혹은 List1), 3)쌍예측(Bi-prediction L0+L1)이 있으며, 각 예측 구조에 대하여 참조 픽처 인덱스는 보통 0부터 시작하여 해당 슬라이스(slice)의 참조 프레임 목록(reference frame list) 내의 최대값 사이에서 결정할 수 있다.
도 1은 개별 예측 유닛에 적용하는 일반적인 참조 픽처 인덱스, 참조 픽처 방향 결정 방식에 대한 전체 흐름도를 나타낸 것이다.
먼저, L0의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터(Motion data: motion vector, reference frame index, reference picture list 모두를 포함)를 계산한다(S10). 여기서 ref_idx_L0는 L0의 최적의 참조 픽처 인덱스를, max_ref_L0는 L0의 참조 픽처 인덱스의 최대값을 의미한다.
다음, L1의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터를 계산한다(S20). 여기서 ref_idx_L1는 L1의 최적의 참조 픽처 인덱스를, max_ref_L1는 L1의 참조 픽처 인덱스의 최대값을 의미한다.
다음, 쌍예측(L0+L1)의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터를 계산한다(S30).
마지막 단계에서는 이전 단계들에서 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S40). 여기서 ref_list는 참조 픽처 리스트 종류(UniPred_L0, UniPred_L1, BiPred)을, MV는 움직임 벡터(Motion vector)를 의미한다.
3) 종래기술 2: 조기 참조 픽처 설정 결정 기법
기존 HEVC의 참조 픽처 설정 방법(종래기술 1)은 다수의 참조 프레임을 모두 검색하여 최적의 값을 찾기 때문에, 높은 부호화 효율을 제공하는 반면에 연산 부하가 크다는 단점이 있다.
이에 현재 예측 유닛과 이웃 예측 유닛들의 상관성이 어느 정도 높다는 것에 착안하여, 이웃 예측 유닛들의 참조 픽처 인덱스 정보를 활용하여 조기에 참조 픽처 선택을 결정하는 기법(Early Termination of Reference Frame Selection, ETRFS)이 제시되었다.
보다 더 정확하게 말하면, 이웃 유닛에 해당하는 것들은 현 예측 유닛 기준으로 좌(L), 좌상단(L-U), 상단(U), 우상단(R-U) 위치에 있는 블록을 의미하며 도 2의 위치와 같다. 여기서 4가지의 이웃 예측 유닛들의 참조 프레임과 움직임 벡터가 동일한 경우가 3가지 이상이면 해당 참조 픽처 인덱스 값으로 조기에 결정하여 부호화 속도를 높이는 방법이다.
하지만, ETRFS 방법은 이웃 예측 유닛이 3개 이상 이용 가능하여야 한다는 조건과, 또한 이러한 이웃들의 움직임 정보가 동일해야 한다는 전제 조건이 필요하므로, 적용 가능한 예측 유닛의 수가 적어서 HEVC 참조 SW인 HM에 구현된 원 방법에 비해서 연산 복잡도 개선 효과가 크지 않은 한계점이 있었다. 이로 인해 다수의 참조 프레임에 대하여는 조기 결정의 한계가 있다.
4) 종래기술 3: 콘텐츠 유사성 기반의 고속 참조 픽처 설정 기법
이러한 참조 픽처 선택의 반복적인 계산 복잡도를 획기적으로 줄이기 위해, 콘텐츠 유사성 기반의 고속 참조 픽처 설정 기법(Fast Reference Frame Selection based on Contents Similarity, FRFS-CS)이 제시되었다.
이는 하나의 같은 코딩 유닛(Coding Unit, CU) 내에서 다양한 예측 유닛 파티션 프로세스에서 수행해야 하는 모든 참조 픽처 선택 과정을, 단순히 2Nx2N 예측 유닛 파티션에서의 최종 참조 픽처 인덱스 값과 참조 픽처 리스트 값(L0 또는 L1)으로 결정하여 나머지 참조 픽처 검색을 생략하는 기법이다.
이로 인해 연산 복잡도를 획기적으로 감소시킬 수 있으나, 만약 예측 유닛 파티션을 2Nx2N만 설정한 인코더에서는 FRFS-CS기법을 활용할 여지가 전혀 없으므로, 이 기법은 느린 HEVC 인코더에서만 사용할 수 있는 방법이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하기 위해, 부호화 압축 효율을 최대한 확보하면서 고속으로 참조 프레임을 적응적으로 설정/제한하는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 움직임 예측 방법은 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일하면, 현 예측 유닛의 참조 픽처 리스트 중 일부를 Merge 모드의 최종 리스트로 제한하는 단계; 및 제한된 참조 픽처 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
본 실시예에 따른 움직임 예측 방법은 하위 코딩 유닛들이 모두 화면간 예측으로 부호화되었는지 판단하는 단계;를 더 포함하고, 제한단계는, 하위 코딩 유닛들이 모두 화면간 예측으로 부호화된 경우에 수행될 수 있다.
본 실시예에 따른 움직임 예측 방법은 현 코딩 유닛이 부호화의 깊이가 0보다 큰지 판단하는 단계;를 더 포함하고, 제한단계는, 현 코딩 유닛이 부호화의 깊이가 0보다 큰 경우에 수행될 수 있다.
제한 단계는, Merge 모드의 최종 리스트가 L0이면, 과거 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, 쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L0 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, Merge 모드의 최종 리스트가 L1이면, 미래 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, 쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L1 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, Merge 모드의 최종 리스트가 Bi(L0+L1)이면, 과거 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, 쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L0 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 움직임 예측 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체는 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일하면, 현 예측 유닛의 참조 픽처 리스트 중 일부를 Merge 모드의 최종 리스트로 제한하는 단계; 및 제한된 참조 픽처 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 움직임 예측을 위한 참조 픽처 범위 설정 방법은 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일한지 판단하는 단계; 및 판단단계에서 동일한 것으로 판단되면, 현 예측 유닛의 참조 픽처 리스트 중 일부를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 움직임 예측을 위한 참조 픽처 범위 설정 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체는 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일한지 판단하는 단계; 및 판단단계에서 동일한 것으로 판단되면, 현 예측 유닛의 참조 픽처 리스트 중 일부를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하여 고속으로 참조 프레임을 적응적으로 설정/제한할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 참조 프레임을 높은 정확도로 결정함으로써, 최종 부호화 압축 효율을 최대한 확보/유지할 수 있다.
아울러, 본 발명의 실시예들에 따르면, 참조 픽처 접근의 경우의 수를 줄임으로써, 해당 픽셀을 접근해야 하는 메모리 접근 횟수를 획기적으로 감소시킬 수 있다.
도 1 참조 픽처 방향과 인덱스 결정 과정의 전체 흐름도,
도 2 현 예측 유닛(PUc) 기준으로 이웃 예측 유닛의 위치,
도 3은 본 발명의 일 실시예에 따른 참조 프레임 범위 결정방법의 개괄 설명에 제공되는 흐름도,
도 4는 본 발명의 일 실시예에 따른 참조 프레임 범위 결정방법의 상세 설명에 제공되는 흐름도,
도 5는 본 발명의 실시예에 따른 참조 픽처 검색의 일 예를 나타낸 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 영상 부호화기의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치를 제시한다.
국제 표준 단체인 ISO/IEC와 ITU-T가 2013년에 공동으로 제정한 비디오 압축 표준인 HEVC(High Efficiency Video Coding)에서는 참조 프레임을 여러 장 확인하여 최적의 단일 혹은 쌍 움직임 벡터의 값을 찾아냄으로써 우수한 압축 성능 및 높은 주관적 화질 개선 성능을 보여준다.
본 발명의 실시예에 따른 영상 부호화 방법에서는 비디오 부호화기에서의 움직임 예측 과정에서, 이러한 다양한 방향의 참조 픽처 검색 시 부호화기에서의 적응적인 고속 참조 픽처 값 설정 혹은 제한에 관한 방법을 다룬다.
본 발명의 실시예에 따른 영상 부호화 방법은, 모든 참조 픽처 목록의 참조 픽처 인덱스 값을 확인하는 것 대신, Merge/Skip 모드 결정 과정 이후에 결정되는 Merge 모드 혹은 Skip 모드의 최종 참조 픽처 인덱스 값을 취할 수 있다.
또한, 본 발명의 실시예에 따른 영상 부호화 방법은, 모든 참조 픽처 목록의 참조 픽처 인덱스 값을 확인하는 것 대신, 하위 부호화 유닛(coding unit, CU)에서 결정한 참조 픽처 목록과 그 인덱스 값을 취할 수 있다.
따라서, 본 발명의 실시예에 따른 영상 부호화 방법은, 하나의 CU에서 결정하려고 하는 모든 예측 유닛(Prediction unit, PU)의 파티션(예: 2Nx2N, Nx2N 등)에 대한 참조 픽처 검색 과정의 연산 복잡도 역시 줄일 수 있다.
그리고, 본 발명의 실시예에 따른 영상 부호화 방법은, 이웃 예측 유닛이 존재하지 않아도 수행할 수 있으므로 적용 가능 범위가 보다 더 넓고, 연산 복잡도 개선 가능성이 더 높다.
나아가, 본 발명의 실시예에 따른 영상 부호화 방법은, 참조 프레임의 예측 타입을 결정짓지 않으므로, 단일 예측 이후에 수행하는 쌍예측 과정을 모두 포함할 수 있다.
이와 같이, 본 발명의 실시예에서는, 비디오 부호화기에서 Merge/Skip 모드의 최종 움직임 데이터 정보와 하위 부호화 유닛(CU)의 참조 픽처 목록과 참조 픽처 인덱스 값을 기반으로 사전에 참조 픽처 인덱스 값을 결정하는 고속 참조 픽처 결정 방법을 제시한다.
이를 위해, 본 발명의 실시예에서는, 다양한 예측 유닛 파티션에서의 움직임 예측을 수행하기에 앞서, Merge/Skip 모드의 최종 움직임 데이터(Skip 모드 여부, 참조 픽처 인덱스 값)와 하위 부호화 유닛(Sub-CU)의 참조 픽처 목록과 참조 픽처 인덱스 값을 조건으로 고속 참조 픽처 선택을 하는데, 이 과정은 도 3과 같다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화에서의 움직임 예측 과정에서 검색할 다중 참조 프레임의 범위를 결정하는 방법의 개괄 설명에 제공되는 흐름도이다.
참조 프레임 범위 결정을 위해, 본 발명의 실시예에 따른 방법은, 도 3에 도시된 바와 같이, 먼저, 각 방향에 존재하는 참조 프레임을 검색하기에 앞서서 다음의 조건을 확인한다(S110).
1) 현재 CU 부호화의 깊이가 0보다 큰지(CU 크기가 64x64보다 작은지)의 여부
2) 하위 CU 4개가 모두 화면간 예측(inter prediction)으로 부호화되었는지 여부
3) Merge 모드의 참조 픽처 인덱스 값과 하위 CU의 참조 픽처 인덱스 값이 서로 같은지 여부
S110단계에서의 확인 결과 정해진 조건을 만족하면, 현 방향에서의 참조 픽처 인덱스 값을 Merge 모드의 인덱스 값인 ref_idx_mrg로 하고(S120), 움직임 예측을 수행하여(S130), 모든 참조 픽처 인덱스를 볼 필요를 없게 한다.
이에 따라, 본 발명의 실시예에서는, 참조 픽처의 개수를 줄임으로써 각 참조 픽처에서 수행해야 할 움직임 예측 과정의 복잡도를 대폭 줄인다.
보다 구체적인 과정을 도 4에 제시하였다. 도 4는 본 발명의 일 실시예에 따른 다중 참조 프레임 범위 결정방법의 상세 설명에 제공되는 흐름도이다.
도 4에 도시된 바와 같이, 하위 CU 4개가 모두 화면간 예측(inter prediction)으로 부호화되었고, 현재 CU 부호화의 깊이가 0보다 큰지(CU 크기가 64x64보다 작은지) 확인한다(S210).
하위 CU 4개가 모두 화면간 예측으로 부호화되었고, 현재 CU 부호화의 깊이가 0보다 큰(CU 크기가 64x64보다 작은) 경우(S210-Y), Merge 모드의 참조 픽처 인덱스 값과 하위 CU의 참조 픽처 인덱스 값이 서로 같은지 확인한다(S220).
만약, 하위 CU 4개가 모두 화면간 예측으로 부호화되지 않았거나, 현재 CU 부호화의 깊이가 0(CU 크기가 64x64)인 경우(S210-N)나, S210단계의 조건을 만족하더라도 Merge 모드의 참조 픽처 인덱스 값과 하위 CU의 참조 픽처 인덱스 값이 서로 다른 경우(S220-N)에는, 도 1에 제시된 방법으로 움직임 예측을 수행한다(S261~S262,S270).
반면, S210단계의 조건을 만족하고(S210-Y), Merge 모드의 참조 픽처 인덱스 값과 하위 CU의 참조 픽처 인덱스 값이 서로 같으면(S220-Y). Merge 모드의 최종 리스트(mrg_list)가 L0인지, L1인지, Bi(L0+L1)인지에 따라서 움직임 예측을 수행할 참조 픽처의 범위가 달라진다(S230).
구체적으로, Merge 모드의 최종 리스트(mrg_list)가 L0 혹은 Bi(L0+L1)라면(S230-Y), 본래 ref_idx_L0 목록에 존재하는 가능한 모든 참조 픽처에 대해 과거 단일 예측(L0-ME)을 수행하지 않고, ref_idx_mrg 목록에 존재하는 참조 픽처 인덱스에만 과거 단일 예측(L0-ME)을 수행한다(S241).
반면, 미래 단일 예측(L1)에 대해서는, 기존과 동일하게 ref_idx_L1의 목록의 모든 참조 픽처(0 부터 max_ref_L1까지 참조 픽처)를 검색한다(S242).
한편, 쌍예측(L0+L1)에 대해서는, ref_idx_L0 목록은 ref_idx_mrg에 해당하는 참조 픽처 인덱스로 대체하고, ref_idx_L1의 목록은 그대로 이용한다(S243).
다음, S241단계 내지 S243단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S270).
한편, Merge 모드의 최종 리스트(mrg_list)가 L1이라면(S230-N), 본래 ref_idx_L1 목록에 존재하는 가능한 모든 참조 픽처에 대해 미래 단일 예측(L1-ME)을 수행하지 않고, ref_idx_mrg 목록에 존재하는 참조 픽처 인덱스에만 미래 단일 예측(L1-ME)을 수행한다(S251).
반면, 과거 단일 예측(L0)에 대해서는, 기존과 동일하게 ref_idx_L0의 목록의 모든 참조 픽처(0 부터 max_ref_L0까지 참조 픽처)를 검색한다(S252).
그리고, 쌍예측(L0+L1)에 대해서는, ref_idx_L1 목록은 ref_idx_mrg에 해당하는 참조 픽처 인덱스로 대체하고, ref_idx_L0의 목록은 그대로 이용한다(S253).
다음, S251단계 내지 S253단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S270).
이에 의해, 최소 1장 혹은 여러 장의 참조 픽저를 검색할 시간과 이를 위해 할당할 메모리 공간을 절감할 수 있다.
도 5에는 본 발명의 실시예에 따른 참조 픽처 검색의 일 예를 나타내었다. 본래 HEVC 인코더(HM을 포함)는 보통 하나의 참조 픽처 리스트마다 2장 이상의 프레임을 참조 프레임으로서 검색할 수 있다.
그러나 본 발명의 실시예에 따르면, 도 5에 예시된 바와 같이, L0 리스트의 경우에는 Merge 모드의 참조 픽처 인덱스인 ref_idx_mrg만 검색하고, L1 리스트의 경우에는 참조 픽처 메모리 버퍼에 존재하는 이용 가능한 참조 픽처인 ref_idx_L1을 검색할 수가 있다.
이와 같이, 본 발명의 실시예에 따르면, L0 리스트에서 1장만, L1 리스트에는 1장 혹은 여러장 참조 픽처를 검색하는 경우가 있다. 비슷하게, L1 리스트에서 1장만, L0 리스트에는 1장 혹은 여러 장 참조 픽처를 검색하는 경우도 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 부호화기의 블럭도이다. 본 발명의 실시예에 따른 영상 부호화기는, 도 6에 도시된 바와 같이, 입력부(310), 프로세서(320), 출력부(330) 및 저장부(340)를 포함한다.
입력부(310)는 외부 기기, 외부 네트워크 또는 스토리지로부터 영상을 입력받는 수단이다. 프로세서(320)는 입력된 영상에 대한 부호화를 수행하는데, 도 3과 도 4에 도시된 방법에 따라 참조 프레임 범위를 결정한다.
출력부(330)는 프로세서(320)에서 부호화된 영상을 외부 기기, 외부 네트워크 또는 스토리지로 출력한다. 저장부(340)는 프로세서(320)가 동작함에 있어 필요한 저장공간을 제공한다.
지금까지, 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, Merge/Skip 모드의 최종 움직임 데이터 정보와 하위 CU의 참조 픽처 목록 및 이의 인덱스 값을 기반으로 사전에 참조 픽처 인덱스 값을 결정하는 고속 참조 픽처 결정 기법을 제시하였다.
본 발명의 실시예에 따르면, 비디오 부호화기의 다중 참조 픽처 검색을 지원하는 움직임 예측 과정의 부호화 속도를 향상시킬 수 있고, 높은 정확도로 결정함으로써 최종 부호화 효율을 높게 유지할 수 있으며, 참조 픽처 접근의 경우의 수를 줄임으로써 해당 픽셀을 접근해야 하는 메모리 접근 횟수를 획기적으로 감소시킬 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 입력부
320 : 프로세서
330 : 출력부
340 : 저장부

Claims (12)

  1. 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일하면, 현 예측 유닛의 참조 픽처 리스트를 Merge 모드의 최종 리스트를 기초로 제한하여 생성하는 제1 생성단계; 및
    생성된 참조 픽처 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 제2 생성단계;를 포함하는 것을 특징으로 하는 움직임 예측 방법.
  2. 청구항 1에 있어서,
    하위 코딩 유닛들이 모두 화면간 예측으로 부호화되었는지 판단하는 단계;를 더 포함하고,
    제1 생성단계는,
    하위 코딩 유닛들이 모두 화면간 예측으로 부호화된 경우에 수행되는 것을 특징으로 하는 움직임 예측 방법.
  3. 청구항 2에 있어서,
    현 코딩 유닛이 부호화의 깊이가 0보다 큰지 판단하는 단계;를 더 포함하고,
    제1 생성단계는,
    현 코딩 유닛이 부호화의 깊이가 0보다 큰 경우에 수행되는 것을 특징으로 하는 움직임 예측 방법.
  4. 청구항 1에 있어서,
    제1 생성단계는,
    Merge 모드의 최종 리스트가 L0이면, 과거 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  5. 청구항 2에 있어서,
    제1 생성단계는,
    쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L0 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  6. 청구항 1에 있어서,
    제1 생성단계는,
    Merge 모드의 최종 리스트가 L1이면, 미래 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  7. 청구항 6에 있어서,
    제1 생성단계는,
    쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L1 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  8. 청구항 1에 있어서,
    제1 생성단계는,
    Merge 모드의 최종 리스트가 Bi(L0+L1)이면, 과거 단일 예측을 위한 참조 픽처 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  9. 청구항 6에 있어서,
    제1 생성단계는,
    쌍예측(L0+L1)을 위한 참조 픽처 리스트들 중 L0 리스트를 Merge 모드의 최종 리스트로 제한하여 생성하는 것을 특징으로 하는 움직임 예측 방법.
  10. 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일하면, 현 예측 유닛의 참조 픽처 리스트를 Merge 모드의 최종 리스트를 기초로 제한하여 생성하는 제1 생성단계; 및
    제한된 참조 픽처 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 제2 생성단계;를 포함하는 것을 특징으로 하는 움직임 예측 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
  11. 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일한지 판단하는 단계; 및
    판단단계에서 동일한 것으로 판단되면, 현 예측 유닛의 참조 픽처 리스트를 Merge 모드의 최종 리스트를 기초로 제한하여 생성하는 생성단계;를 포함하는 것을 특징으로 하는 움직임 예측을 위한 참조 픽처 범위 설정 방법.
  12. 하위 코딩 유닛들의 참조 픽처 인덱스가 Merge 모드의 참조 픽처 인덱스와 동일한지 판단하는 단계; 및
    판단단계에서 동일한 것으로 판단되면, 현 예측 유닛의 참조 픽처 리스트를 Merge 모드의 최종 리스트를 기초로 제한하여 생성하는 생성단계;를 포함하는 것을 특징으로 하는 움직임 예측을 위한 참조 픽처 범위 설정 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020170170124A 2017-12-12 2017-12-12 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치 KR102075207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170124A KR102075207B1 (ko) 2017-12-12 2017-12-12 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170124A KR102075207B1 (ko) 2017-12-12 2017-12-12 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190069830A KR20190069830A (ko) 2019-06-20
KR102075207B1 true KR102075207B1 (ko) 2020-02-10

Family

ID=67103523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170124A KR102075207B1 (ko) 2017-12-12 2017-12-12 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102075207B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020297835A1 (en) * 2019-06-21 2022-01-06 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding motion information by using neighboring motion information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013372A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Extended range motion vectors
KR100734314B1 (ko) * 2006-02-11 2007-07-02 삼성전자주식회사 움직임 보상 기반의 영상 압축 시스템에서의 영상 신호의공간 해상도 변환 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013372A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Extended range motion vectors
KR100734314B1 (ko) * 2006-02-11 2007-07-02 삼성전자주식회사 움직임 보상 기반의 영상 압축 시스템에서의 영상 신호의공간 해상도 변환 방법

Also Published As

Publication number Publication date
KR20190069830A (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
KR102620625B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US11343534B2 (en) Method and device for obtaining motion vector of video image
KR102594969B1 (ko) 예측 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
US10812821B2 (en) Video encoding and decoding
US20210281847A1 (en) Pruning method in different prediction mode
US7792188B2 (en) Selecting encoding types and predictive modes for encoding video data
EP2772057B1 (en) Method and device for determining parameters for encoding or decoding of an image of a video sequence
US20140105302A1 (en) Picture encoding device, picture encoding method, picture encoding program, picture decoding device, picture decoding method, and picture decoding program
US20180199052A1 (en) Methods and devices for coding motion vectors in video compression
US11095878B2 (en) Method and device for encoding a sequence of images and method and device for decoding a sequence of image
US20230115074A1 (en) Geometric partition mode with motion vector refinement
JP7448558B2 (ja) 画像エンコーディングおよびデコーディングのための方法およびデバイス
KR102075207B1 (ko) 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치
KR102075208B1 (ko) 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치
US8989268B2 (en) Method and apparatus for motion estimation for video processing
RU2820339C2 (ru) Hmvc для аффинного режима и режима предсказания вектора движения sbtmvp
CN113852811A (zh) 基于cu相关性的帧间预测快速方法、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant