KR20190071189A - 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치 - Google Patents

참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR20190071189A
KR20190071189A KR1020170171993A KR20170171993A KR20190071189A KR 20190071189 A KR20190071189 A KR 20190071189A KR 1020170171993 A KR1020170171993 A KR 1020170171993A KR 20170171993 A KR20170171993 A KR 20170171993A KR 20190071189 A KR20190071189 A KR 20190071189A
Authority
KR
South Korea
Prior art keywords
list
reference frame
merge
mode
prediction
Prior art date
Application number
KR1020170171993A
Other languages
English (en)
Other versions
KR102075208B1 (ko
Inventor
김용환
박상효
정진우
김성제
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170171993A priority Critical patent/KR102075208B1/ko
Publication of KR20190071189A publication Critical patent/KR20190071189A/ko
Application granted granted Critical
Publication of KR102075208B1 publication Critical patent/KR102075208B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하기 위해, 부호화 압축 효율을 최대한 확보하면서 고속으로 참조 프레임을 적응적으로 설정/제한하는 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 움직임 예측 방법은 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계; 제한된 참조 프레임 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
이에 의해, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하여 고속으로 참조 프레임을 적응적으로 설정/제한할 수 있게 된다.

Description

참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치{Video Coding Method and Apparatus for Adaptively Restricting Reference Frames}
본 발명은 영상 부호화 기술에 관한 것으로, 더욱 상세하게는 비디오 부호화기에서의 움직임 예측 과정에서 검색할 다중 참조 프레임의 범위를 결정하는 방법에 관한 것이다.
1) 비디오 부호화기의 개요
ISO/IEC가 제정한 비디오 표준(MPEG-2/MPEG-4/AVC/HEVC/SVC/SHVC 등) 및 공개 비디오 표준(Dirac/Theora/VP8/VP9 등)의 부호화기는 모두 최소의 비트율을 보장하면서 최대의 화질을 제공한다는 측면에서 각자의 고유한 부호화 툴 뿐 아니라, 고유한 모드 결정 방법을 가지고 있다. 특히 2013년 1월에 제정된 HEVC 비디오 압축 표준은 우수한 부호화 툴과 최적의 모드 결정 방식을 갖추고 있다는 점에서 종래의 비디오 압축 표준보다 우수한 압축 성능을 보이고 있다. 특히 이전 표준인 H.264/AVC에 대비해서 30~50% 부호화 압축 개선율을 보이지만, 연산 복잡도 측면에서는 120~200% 정도 더 복잡한 문제점을 가지고 있다.
특히 다중 참조 프레임(multiple reference frame) 선택 기술은 율-왜곡(Rate-Distortion) 비용 측면에서 우수한 압축 성능을 보이지만, 개별 코딩 트리 유닛(Coding tree unit: CTU) 내의 다양한 파티션(Partition)에 대하여 모든 참조 프레임을 전부 검색을 해야 하기 때문에, 부호화기에서 많은 연산량과 메모리 접근을 필요로 한다.
이에 따라 실시간 부호화기 혹은 배터리 제한적인 모바일 장치에서의 비디오 부호화를 위해서는 참조 프레임을 적응적으로 제한하는 고속 결정 기술이 필요하다.
2) 종래기술 1: HEVC 참조 SW인 HM에서의 참조 픽처 선택 방법
HEVC의 부호화 과정 중 예측 유닛(Prediction Unit)의 화면간 예측(Inter prediction)의 최적의 움직임 벡터(Motion vector), 참조 픽처 인덱스(Reference frame index), 참조 픽처 목록(Reference picture list)을 설정하기 위해, 다양한 방향과 다수의 인덱스 값 모두에 대하여 움직임 예측을 수행한다.
움직임 예측을 수행할 참조 프레임은 3개의 예측 구조 중 하나를 선택하게 된다. 1) 과거 단일 예측(Uni-prediction L0 혹은 List0), 2) 미래 단일 예측(Uni-prediction L1 혹은 List1), 3)쌍예측(Bi-prediction L0+L1)이 있으며, 각 예측 구조에 대하여 참조 픽처 인덱스는 보통 0부터 시작하여 해당 슬라이스(slice)의 참조 프레임 목록(reference frame list) 내의 최대값 사이에서 결정할 수 있다.
도 1은 개별 예측 유닛에 적용하는 일반적인 참조 픽처 인덱스, 참조 픽처 방향 결정 방식에 대한 전체 흐름도를 나타낸 것이다.
먼저, L0의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터(Motion data: motion vector, reference frame index, reference picture list 모두를 포함)를 계산한다(S10). 여기서 ref_idx_L0는 L0의 최적의 참조 픽처 인덱스를, max_ref_L0는 L0의 참조 픽처 인덱스의 최대값을 의미한다.
다음, L1의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터를 계산한다(S20). 여기서 ref_idx_L1는 L1의 최적의 참조 픽처 인덱스를, max_ref_L1는 L1의 참조 픽처 인덱스의 최대값을 의미한다.
다음, 쌍예측(L0+L1)의 참조 픽처 인덱스 중에서 움직임 예측 과정을 수행하여 율-왜곡 비용(혹은 왜곡 비용)이 최소인 움직임 데이터를 계산한다(S30).
마지막 단계에서는 이전 단계들에서 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S40). 여기서 ref_list는 참조 픽처 리스트 종류(UniPred_L0, UniPred_L1, BiPred)을, MV는 움직임 벡터(Motion vector)를 의미한다.
3) 종래기술 2: 조기 참조 픽처 설정 결정 기법
기존 HEVC의 참조 픽처 설정 방법(종래기술 1)은 다수의 참조 프레임을 모두 검색하여 최적의 값을 찾기 때문에, 높은 부호화 효율을 제공하는 반면에 연산 부하가 크다는 단점이 있다.
이에 현재 예측 유닛과 이웃 예측 유닛들의 상관성이 어느 정도 높다는 것에 착안하여, 이웃 예측 유닛들의 참조 픽처 인덱스 정보를 활용하여 조기에 참조 픽처 선택을 결정하는 기법(Early Termination of Reference Frame Selection, ETRFS)이 제시되었다.
보다 더 정확하게 말하면, 이웃 유닛에 해당하는 것들은 현 예측 유닛 기준으로 좌(L), 좌상단(L-U), 상단(U), 우상단(R-U) 위치에 있는 블록을 의미하며 도 2의 위치와 같다. 여기서 4가지의 이웃 예측 유닛들의 참조 프레임과 움직임 벡터가 동일한 경우가 3가지 이상이면 해당 참조 픽처 인덱스 값으로 조기에 결정하여 부호화 속도를 높이는 방법이다.
하지만, ETRFS 방법은 이웃 예측 유닛이 3개 이상 이용 가능하여야 한다는 조건과, 또한 이러한 이웃들의 움직임 정보가 동일해야 한다는 전제 조건이 필요하므로, 적용 가능한 예측 유닛의 수가 적어서 HEVC 참조 SW인 HM에 구현된 원 방법에 비해서 연산 복잡도 개선 효과가 크지 않은 한계점이 있었다. 이로 인해 다수의 참조 프레임에 대하여는 조기 결정의 한계가 있다.
4) 종래기술 3: 콘텐츠 유사성 기반의 고속 참조 픽처 설정 기법
이러한 참조 픽처 선택의 반복적인 계산 복잡도를 획기적으로 줄이기 위해, 콘텐츠 유사성 기반의 고속 참조 픽처 설정 기법(Fast Reference Frame Selection based on Contents Similarity, FRFS-CS)이 제시되었다.
이는 하나의 같은 코딩 유닛(Coding Unit, CU) 내에서 다양한 예측 유닛 파티션 프로세스에서 수행해야 하는 모든 참조 픽처 선택 과정을, 단순히 2Nx2N 예측 유닛 파티션에서의 최종 참조 픽처 인덱스 값과 참조 픽처 리스트 값(L0 또는 L1)으로 결정하여 나머지 참조 픽처 검색을 생략하는 기법이다.
이로 인해 연산 복잡도를 획기적으로 감소시킬 수 있으나, 만약 예측 유닛 파티션을 2Nx2N만 설정한 인코더에서는 FRFS-CS기법을 활용할 여지가 전혀 없으므로, 이 기법은 느린 HEVC 인코더에서만 사용할 수 있는 방법이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하기 위해, 부호화 압축 효율을 최대한 확보하면서 고속으로 참조 프레임을 적응적으로 설정/제한하는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 움직임 예측 방법은 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계; 제한된 참조 프레임 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
제한 단계는, Merge 모드의 최종 리스트가 L0이면, 과거 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드이면, 미래 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것일 수 있다.
제한 단계는, 쌍예측을 위한 검색에서, 과거 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하고, 미래 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것일 수 있다.
Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드가 아니면, 미래 단일 예측을 위한 참조 프레임 리스트는 본래대로 유지하는 것일 수 있다.
제한 단계는, Merge 모드의 최종 리스트가 L1이면, 미래 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 것일 수 있다.
제한 단계는, Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드이면, 과거 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것일 수 있다.
제한 단계는, 쌍예측을 위한 검색에서, 미래 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하고, 과거 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것일 수 있다.
Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드가 아니면, 과거 단일 예측을 위한 참조 프레임 리스트는 본래대로 유지할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 움직임 예측 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체는 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계; 제한된 참조 프레임 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 움직임 예측을 위한 참조 프레임 범위 설정 방법은 Merge 모드의 최종 리스트를 확인하는 단계; 및 확인된 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 움직임 예측을 위한 참조 프레임 범위 설정 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체는 Merge 모드의 최종 리스트를 확인하는 단계; 및 확인된 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 비디오 부호화기에서의 최적의 참조 프레임을 선택하기 위한 움직임 예측 과정의 연산 복잡도를 개선하여 고속으로 참조 프레임을 적응적으로 설정/제한할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 참조 프레임을 높은 정확도로 결정함으로써, 최종 부호화 압축 효율을 최대한 확보/유지할 수 있다.
아울러, 본 발명의 실시예들에 따르면, 참조 픽처 접근의 경우의 수를 줄임으로써, 해당 픽셀을 접근해야 하는 메모리 접근 횟수를 획기적으로 감소시킬 수 있다.
도 1 참조 픽처 방향과 인덱스 결정 과정의 전체 흐름도,
도 2 현 예측 유닛(PUc) 기준으로 이웃 예측 유닛의 위치,
도 3은 본 발명의 일 실시예에 따른 참조 프레임 범위 결정방법의 개괄 설명에 제공되는 흐름도,
도 4는 본 발명의 일 실시예에 따른 참조 프레임 범위 결정방법의 상세 설명에 제공되는 흐름도,
도 5는 본 발명의 실시예에 따른 참조 픽처 검색의 일 예를 나타낸 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 영상 부호화기의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치를 제시한다.
국제 표준 단체인 ISO/IEC와 ITU-T가 2013년에 공동으로 제정한 비디오 압축 표준인 HEVC(High Efficiency Video Coding)에서는 참조 프레임을 여러 장 확인하여 최적의 단일 혹은 쌍 움직임 벡터의 값을 찾아냄으로써 우수한 압축 성능 및 높은 주관적 화질 개선 성능을 보여준다.
본 발명의 실시예에 따른 영상 부호화 방법에서는 비디오 부호화기에서의 움직임 예측 과정에서, 이러한 다양한 방향의 참조 프레임 검색 시 부호화기에서의 적응적인 고속 참조 프레임 값 설정 혹은 제한에 관한 방법을 다룬다.
본 발명의 실시예에 따른 영상 부호화 방법은, 모든 참조 픽처 목록의 참조 픽처 인덱스 값을 확인하는 것 대신, Merge/Skip 모드 결정 과정 이후에 결정되는 Merge 모드 혹은 Skip 모드의 최종 참조 프레임 인덱스 값을 취할 수 있다.
또한, 본 발명의 실시예에 따른 영상 부호화 방법은, Merge/Skip의 율-왜곡 비용에 따라 결정된 최종 모드가 Merge인지 Skip인지에 대한 정보를 이용하므로, 2Nx2N 예측 유닛의 참조 프레임 검색 과정의 연산 복잡도 역시 줄일 수 있다.
그리고, 본 발명의 실시예에 따른 영상 부호화 방법은, 이웃 예측 유닛이 존재하지 않아도 수행할 수 있으므로 적용 가능 범위가 보다 더 넓고, 연산 복잡도 개선 가능성이 더 높다.
나아가, 본 발명의 실시예에 따른 영상 부호화 방법은, 참조 프레임의 예측 타입을 결정짓지 않으므로, 단일 예측 이후에 수행하는 쌍예측 과정을 모두 포함할 수 있다.
이와 같이, 본 발명의 실시예에서는, 비디오 부호화기에서 Merge/Skip 모드의 최종 움직임 데이터 정보를 기반으로 사전에 참조 프레임 인덱스 값을 결정하는 고속 참조 프레임 결정 방법을 제시한다.
이를 위해, 본 발명의 실시예에서는, 다양한 예측 유닛 파티션에서의 움직임 예측을 수행하기에 앞서, Merge/Skip 모드의 최종 움직임 데이터(Skip 모드 여부, 참조 프레임 인덱스 값)를 조건으로 고속 참조 프레임을 선택하는데, 이 과정은 도 3과 같다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화에서의 움직임 예측 과정에서 검색할 참조 프레임의 범위를 결정하는 방법의 개괄 설명에 제공되는 흐름도이다.
각 방향에 존재하는 참조 프레임을 검색하기에 앞서서, 본 발명의 실시예에 따른 방법은, 도 3에 도시된 바와 같이, 현 예측 유닛의 참조 픽처 리스트(ref_list)가 Merge 모드의 리스트와 같은지, 만약 다르다면 Merge 모드가 아닌 Skip 모드가 선택되었는지 여부에 따라서 현 방향에서의 참조 프레임 인덱스 값을 Merge 모드의 인덱스 값인 ref_idx_mrg로 하거나 0의 인덱스 값을 취함으로써, 모든 참조 프레임 인덱스를 볼 필요를 없게 한다.
보다 구체적인 과정을 도 4에 제시하였다. 도 4는 본 발명의 일 실시예에 따른 참조 프레임 범위 결정방법의 상세 설명에 제공되는 흐름도이다.
만약 Merge 모드의 최종 리스트(mrg_list)가 L0 이었다면(S105-Y), 과거 단일 예측을 위한 검색에서는, 본래 ref_idx_L0 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색하지 않고, Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스만 검색을 수행한다(S110).
그리고, 미래 단일 예측과 쌍예측을 위한 L1 리스트의 검색에 앞서, 고속 참조 프레임 결정을 추가로 점검하는데, 구체적으로 Merge 모드가 skip으로 부호화되었는지 여부를 점검한다(S115).
만약 Merge/Skip 모드 결정에서의 최적의 모드가 Skip 모드라면(S115-Y), 미래 단일 예측을 위한 검색에서는, 본래 ref_idx_L1 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색하지 않고, 인덱스 0에 해당하는 참조 프레임만 검색을 수행하여 연산량을 줄인다(S120).
이후, 쌍예측을 위한 검색에서도, L0 리스트 검색은 Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스에 대해서만 수행되고, L1 리스트 검색은 인덱스 0에 해당하는 참조 프레임에 대해서만 수행된다(S125).
다음, S110단계, S120단계 및 S125단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S170).
반면 Merge/Skip 모드 결정에서의 최적의 모드가 Skip 모드가 아니면(S115-N), 미래 단일 예측을 위한 검색에서는, 본래 ref_idx_L1 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색을 수행한다(S130).
이후, 쌍예측을 위한 검색에서도, L0 리스트 검색은 Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스에 대해서만 수행되고, L1 리스트 검색은 본래 ref_idx_L1 목록(0부터 최대값)에 존재하는 모든 참조 프레임 인덱스에 대해 수행된다(S135).
다음, S110단계, S130단계 및 S135단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S170).
만약 Merge 모드의 최종 리스트(mrg_list)가 L1 이었다면(S105-N), 미래 단일 예측을 위한 검색에서는, 본래 ref_idx_L1 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색하지 않고, Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스만 검색을 수행한다(S140).
그리고, 과거 단일 예측과 쌍예측을 위한 L0 리스트의 검색에 앞서, 고속 참조 프레임 결정을 추가로 점검하는데, 구체적으로 Merge/Skip 모드 결정에서 최적의 모드가 Skip 모드이었는지 여부를 점검한다(S145).
만약 Merge/Skip 모드 결정에서의 최적의 모드가 Skip 모드라면(S145-Y), 과거 단일 예측을 위한 검색에서는, 본래 ref_idx_L0 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색하지 않고, 인덱스 0에 해당하는 참조 프레임만 검색을 수행하여 연산량을 줄인다(S150).
이후, 쌍예측을 위한 검색에서도, L1 리스트 검색은 Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스에 대해서만 수행되고, L0 리스트 검색은 인덱스 0에 해당하는 참조 프레임에 대해서만 수행된다(S155).
다음, S140단계, S150단계 및 S155단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S170).
반면 Merge/Skip 모드 결정에서의 최적의 모드가 Skip 모드가 아니면(S145-N), 과거 단일 예측을 위한 검색에서는, 본래 ref_idx_L0 목록(0부터 최대값)에 존재하는 가능한 모든 참조 프레임 인덱스에 대해 검색을 수행한다(S160).
이후, 쌍예측을 위한 검색에서도, L1 리스트 검색은 Merge 모드의 최종 인덱스 값인 ref_idx_mrg 목록에 존재하는 참조 프레임 인덱스에 대해서만 수행되고, L0 리스트 검색은 본래 ref_idx_L0 목록(0부터 최대값)에 존재하는 모든 참조 프레임 인덱스에 대해 수행된다(S165).
다음, S140단계, S160단계 및 S165단계를 통해 계산한 움직임 데이터 중에 가장 최적인 움직임 데이터를 현재 예측 유닛의 최적의 움직임 데이터로 결정한다(S170).
도 5에는 본 발명의 실시예에 따른 참조 픽처 검색의 일 예를 나타내었다. 본래 HEVC 인코더(HM을 포함)는 보통 하나의 참조 픽처 리스트마다 2장 이상의 프레임을 참조 프레임으로서 검색할 수 있다.
그러나 본 발명의 실시예에 따르면, 도 5에 예시된 바와 같이, L0 리스트의 경우에는 Merge 모드의 참조 프레임 인덱스인 ref_idx_mrg만 검색하고, L1 리스트의 경우에는 Merge/Skip의 최적 모드가 Skip 모드로 결정됨에 따라 인덱스 0의 참조 프레임만 검색할 수가 있다.
이와 같이, 본 발명의 실시예에 따르면, L0 리스트에 1장만, L1 리스트에 1장만 참조 프레임을 검색하는 경우가 있다. 리스트는 바뀔 수 있으며, 그에 따라 L1 리스트는 ref_idx_mrg를, L1 리스트는 인덱스 0을 사용할 수 있다. 인덱스 0은 사용이 안 될 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 부호화기의 블럭도이다. 본 발명의 실시예에 따른 영상 부호화기는, 도 6에 도시된 바와 같이, 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함한다.
입력부(210)는 외부 기기, 외부 네트워크 또는 스토리지로부터 영상을 입력받는 수단이다. 프로세서(220)는 입력된 영상에 대한 부호화를 수행하는데, 도 3과 도 4에 도시된 방법에 따라 참조 프레임 범위를 결정한다.
출력부(230)는 프로세서(220)에서 부호화된 영상을 외부 기기, 외부 네트워크 또는 스토리지로 출력한다. 저장부(240)는 프로세서(220)가 동작함에 있어 필요한 저장공간을 제공한다.
지금까지, 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, Merge/Skip 모드의 최종 움직임 데이터 정보를 기반으로 사전에 참조 프레임 인덱스 값을 결정하는 고속 참조 프레임 결정 기법을 제시하였다.
본 발명의 실시예에 따르면, 비디오 부호화기의 다중 참조 픽처 검색을 지원하는 움직임 예측 과정의 부호화 속도를 향상시킬 수 있고, 높은 정확도로 결정함으로써 최종 부호화 효율을 높게 유지할 수 있으며, 참조 픽처 접근의 경우의 수를 줄임으로써 해당 픽셀을 접근해야 하는 메모리 접근 횟수를 획기적으로 감소시킬 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 입력부
220 : 프로세서
230 : 출력부
240 : 저장부

Claims (12)

  1. Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;
    제한된 참조 프레임 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 움직임 예측 방법.
  2. 청구항 1에 있어서,
    제한 단계는,
    Merge 모드의 최종 리스트가 L0이면, 과거 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  3. 청구항 2에 있어서,
    제한 단계는,
    Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드이면, 미래 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  4. 청구항 3에 있어서,
    제한 단계는,
    쌍예측을 위한 검색에서, 과거 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하고, 미래 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  5. 청구항 3에 있어서,
    Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드가 아니면, 미래 단일 예측을 위한 참조 프레임 리스트는 본래대로 유지하는 것을 특징으로 하는 움직임 예측 방법.
  6. 청구항 1에 있어서,
    제한 단계는,
    Merge 모드의 최종 리스트가 L1이면, 미래 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  7. 청구항 6에 있어서,
    제한 단계는,
    Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드이면, 과거 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  8. 청구항 7에 있어서,
    제한 단계는,
    쌍예측을 위한 검색에서, 미래 단일 예측을 위한 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하고, 과거 단일 예측을 위한 참조 프레임 리스트를 인덱스 0에 해당하는 참조 프레임만으로 제한하는 것을 특징으로 하는 움직임 예측 방법.
  9. 청구항 7에 있어서,
    Merge/Skip 모드 결정에서의 최적 모드가 Skip 모드가 아니면, 과거 단일 예측을 위한 참조 프레임 리스트는 본래대로 유지하는 것을 특징으로 하는 움직임 예측 방법.
  10. Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;
    제한된 참조 프레임 리스트를 이용하여, 현 예측 유닛의 움직임 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 움직임 예측 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
  11. Merge 모드의 최종 리스트를 확인하는 단계; 및
    확인된 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함하는 것을 특징으로 하는 움직임 예측을 위한 참조 프레임 범위 설정 방법.
  12. Merge 모드의 최종 리스트를 확인하는 단계; 및
    확인된 Merge 모드의 최종 리스트와 동종의 참조 프레임 리스트를 Merge 모드의 최종 리스트로 제한하는 단계;를 포함하는 것을 특징으로 하는 움직임 예측을 위한 참조 프레임 범위 설정 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020170171993A 2017-12-14 2017-12-14 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치 KR102075208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171993A KR102075208B1 (ko) 2017-12-14 2017-12-14 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171993A KR102075208B1 (ko) 2017-12-14 2017-12-14 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190071189A true KR20190071189A (ko) 2019-06-24
KR102075208B1 KR102075208B1 (ko) 2020-02-10

Family

ID=67056141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171993A KR102075208B1 (ko) 2017-12-14 2017-12-14 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102075208B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312131B (zh) * 2020-12-31 2021-04-06 腾讯科技（深圳）有限公司 一种帧间预测方法、装置、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091752A (ko) * 2010-09-02 2017-08-09 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091752A (ko) * 2010-09-02 2017-08-09 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Seungbeom Hong et al: "PU-ytpe-dependent reference frame selection method for HEVC", Signal, Image and Video Processing, January 2017, vol 11. issue 1, pp 25-32.* *

Also Published As

Publication number Publication date
KR102075208B1 (ko) 2020-02-10

Similar Documents

Publication Publication Date Title
KR102620625B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US20220060736A1 (en) Method and an apparatus for processing a video signal
US20210281847A1 (en) Pruning method in different prediction mode
US20220217361A1 (en) Method and apparatus for processing video signal based on inter prediction
US20180199054A1 (en) Multi-Hypotheses Merge Mode
US8831105B2 (en) Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US8824555B2 (en) Video encoding and decoding
US20180249154A1 (en) Method and apparatus of decoder side motion derivation for video coding
KR101834688B1 (ko) 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법
US20200186793A1 (en) Method and apparatus for candidate list pruning
TWI658725B (zh) 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP2013514718A (ja) 映像符号化の方法及び装置
US20230396760A1 (en) Inter prediction encoding and decoding method using combination of prediction blocks, and computer-readable storage medium bitstream to be decoded thereby
TW201921945A (zh) 動態影像解碼裝置及動態影像解碼方法
US10484696B2 (en) Method and apparatus for color index prediction
WO2018127441A1 (en) Method and apparatus for encoding and decoding motion information
CN113709498B (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
US8989268B2 (en) Method and apparatus for motion estimation for video processing
KR102075208B1 (ko) 참조 프레임을 적응적으로 제한하는 영상 부호화 방법 및 장치
KR102075207B1 (ko) 부호화 유닛의 문맥을 사용하여 참조 프레임을 선택하는 영상 부호화 방법 및 장치
US11785242B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
CN113727119B (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
Linck et al. Test Zonal Search based on Region Label (TZSR) for Motion Estimation in HEVC
WO2024010943A1 (en) Template matching prediction with block vector difference refinement
WO2020142468A1 (en) Picture resolution dependent configurations for video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant