WO2018199468A1 - 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 - Google Patents

움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 Download PDF

Info

Publication number
WO2018199468A1
WO2018199468A1 PCT/KR2018/003044 KR2018003044W WO2018199468A1 WO 2018199468 A1 WO2018199468 A1 WO 2018199468A1 KR 2018003044 W KR2018003044 W KR 2018003044W WO 2018199468 A1 WO2018199468 A1 WO 2018199468A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
current block
pixel
block
bio
Prior art date
Application number
PCT/KR2018/003044
Other languages
English (en)
French (fr)
Inventor
임정연
김효성
손세훈
신재섭
이선영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170077246A external-priority patent/KR102409430B1/ko
Priority to CN202310843252.XA priority Critical patent/CN116708830A/zh
Priority to CN202310843458.2A priority patent/CN116708831A/zh
Priority to CN202310841628.3A priority patent/CN116708829A/zh
Priority to CN201880034013.7A priority patent/CN110710213B/zh
Priority to US16/608,020 priority patent/US11272193B2/en
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN202310841020.0A priority patent/CN116708828A/zh
Publication of WO2018199468A1 publication Critical patent/WO2018199468A1/ko
Priority to US17/668,822 priority patent/US20220166989A1/en
Priority to US17/673,922 priority patent/US20220174294A1/en
Priority to US17/673,879 priority patent/US20220174292A1/en
Priority to US17/673,904 priority patent/US20220174293A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

본 발명은 동영상 부호화 과정 중에서 화면 간 예측 보정을 위한 적응적인 양방향 옵티컬 플로우(bidirectional optical flow; BIO) 추정 방법을 개시한다. 본 발명은 픽셀 레벨 혹은 서브 블록 레벨의 양방향 옵티컬 플로우의 복잡성 및/또는 비용을 감소시키는 데 그 목적이 있다. BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이를 바탕으로 결정된다.

Description

움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
본 발명은 영상 부호화 또는 복호화에 관한 것이다. 보다 상세하게는, 본 발명은 동영상 부호화 과정 중에서 화면 간 예측 보정을 위한 적응적인 양방향 옵티컬 플로우(bidrectional optical flow) 추정 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
비디오 코딩에 관한 한 압축은 공간적 및 시간적 차원에서 데이터 중복성을 활용하여 이루어진다. 공간 중복성 감소는 변환 코딩에 의해 크게 달성된다. 시간적 중복성은 예측 코딩을 통해 감소된다. 움직임 궤적을 따라 시간 상관이 최대화되는 것을 관찰하면, 움직임 보상 예측이 이러한 목적으로 사용된다. 이러한 맥락에서 움직임 추정의 주된 목적은, 장면에서 '실제' 움직임을 찾지 않는 것이 아니라, 압축 효율을 극대화하는 것이다. 즉, 움직임 벡터는 신호의 정확한 예측을 제공해야 한다. 또한, 움직임 정보는 압축된 비트 스트림에서 오버헤드로서 전송되어야 하기 때문에 압축된 표현을 가능하게 해야 한다. 효율적인 움직임 추정은 비디오 코딩에서 높은 압축을 달성하는 데 중요하다.
비디오 시퀀스에서 움직임은 중요한 정보 소스이다. 움직임(motion)은 물체는 물론 카메라 움직임으로 인해서도 발생한다. 옵티컬 플로우(optical flow)로도 알려진 외관상의 움직임은 이미지 시퀀스에서 픽셀 강도(pixel intensity)의 시공간적인 변화(spatio-temporal variations)를 포착한다.
양방향 옵티컬 플로우(Bi-directional Optical Flow; BIO)는 JCTVC-C204 및 VCEG-AZ05 BIO에 개시된 움직임 추정/보상 기술로서, 옵티컬 플로우 및 일정한 움직임(steady　motion)의 가정에 기초하여 샘플 레벨의 모션 조정(motion refinement)을 수행한다. 현재 논의 중인 양방향 옵티컬 플로우 추정 방법의 경우 움직임 벡터 정보의 세밀한 보정이 가능하다는 장점이 있으나 세밀한 움직임 벡터 정보 보정을 위해 전통적인 양방향 예측보다 훨씬 높은 연산 복잡도를 요하는 단점이 있다.
비특허문헌1: JCTVC-C204 (E. Alshina, et al., Bi-directional optical flow, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Guangzhou, CN, 7-15 October, 2010)
비특허문헌2: VCEG-AZ05 (E. Alshina, et al., Known tools performance investigation for next generation video coding, ITU-T SG 16 Question 6, Video Coding Experts Group (VCEG), 52nd Meeting: 19-26 June 2015, Warsaw, Poland)
본 발명은 양방향 옵티컬 플로우(bi-directional optical flow; BIO)의 복잡성 및/또는 비용을 감소시키는 데 그 목적이 있다.
본 발명의 일 측면에 의하면, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록을 재구성하는 과정을 포함하는 영상 데이터를 부호화 혹은 복호화하는 방법을 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및 결정된 BIO 움직임 벡터를 기초로, 해당 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함한다.
본 발명의 다른 측면에 의하면, 메모리 및 하나 이상의 프로세서들을 포함하는 영상 데이터를 복호화하는 장치로서, 상기 하나 이상의 프로세서들은, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성된, 영상 데이터를 복호화하는 장치를 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및 결정된 BIO 움직임 벡터를 기초로, 상기 주어진 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함한다.
BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 플로우 차이들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 대안적으로, BIO 움직임 벡터(v x , v y)는 서브 블록 내 일부 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 모든 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 예컨대, 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치는 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 혹은 세로 줄무늬(vertical stripes) 패턴을 이룰 수 있다.
일부 예시에서, 플로우 차이들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여할 수 있다. 일부 예시에서, 현재 블록의 가장자리에 위치하는 서브 블록에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, 마스킹 윈도우가 사용되지 않을 수 있다. 예컨대, BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
본 발명의 또 다른 측면에 의하면, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 포함하는 영상 복호화 방법을 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및 결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함한다.
본 발명의 또 다른 측면에 의하면, 메모리 및 하나 이상의 프로세서들을 포함하는 영상 복호화 장치로서, 상기 하나 이상의 프로세서들은, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성된 영상 복호화 장치를 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및 결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 현재 블록의 주변블록에 대한 예시도이다.
도 3은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치에 대한 예시적인 블록도이다.
도 4는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
도 5a는 본 발명의 일 실시예에 따른 픽셀 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
도 5b는 본 발명의 일 실시예에 따른 서브 블록 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
도 6은 제1 실시예에 따른 BIO 기반의 움직임 보상에 사용되는 5×5 마스킹 윈도우와 현재 블록의 1×1 블록을 예시한 도면이다.
도 7은 제2 실시예에 따른 픽셀 레벨의 BIO 움직임 벡터 결정에 사용될 수 있는 사각형이 아닌 마스킹 윈도우들을 예시한 도면이다.
도 8은 제2 실시예에 따른 픽셀 레벨의 BIO 움직임 벡터 결정에 사용되는 다이아몬드 모양의 마스킹 윈도우와 현재 블록의 1×1 블록을 예시한 도면이다.
도 9는 제3 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 5×5 마스킹 윈도우와 4×4 서브 블록을 예시한 도면이다.
도 10a는 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 차이값들이 중복 계산되는 것을 설명하기 위한 도면이다.
도 10b는 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 차이값들의 픽셀 위치별 가중치들을 예시적으로 도시한 도면이다.
도 11은 제4 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 다이아몬드 모양의 마스킹 윈도우와 4×4 서브 블록이 예시한 도면이다.
도 12는 제5 실시예에 따른 서브 블록 내 마스킹 윈도우가 적용되는 픽셀의 위치들에 대한 3가지 타입을 예시한 도면이다.
도 13은 제5 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 5×5 마스킹 윈도우와 마스킹 윈도우가 적용되는 픽셀들이 체크 패턴으로 샘플링된 4×4 서브 블록을 예시한 도면이다.
도 14는 제6 실시예에 따른 BIO 기반의 움직임 보상에 사용되는 다이아몬드 타입의 마스킹 윈도우와 4×4 서브 블록 내 예측 픽셀들을 예시한 도면이다.
도 15는 제7 실시예에 따른 서브 블록의 각 픽셀에 대한 가중치 부여의 일례를 도시한 도면이다.
도 16a는 16개의 4×4 서브 블록을 포함하는 16×16 현재 블록에서, 현재 블록의 가장자리에 위치한 서브 블록들을 예시한 도면이다.
도 16b는 16×16 현재 블록에서 좌상 모서리에 위치한 4×4 서브 블록에 대한 BIO 움직임 벡터 결정에 사용되는 차이값들의 픽셀 위치별 가중치들을 예시적으로 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시의 기술들은, 일반적으로, 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법의 복잡성 및/또는 비용을 감소시키는 것과 관련된다. BIO는 움직임 보상 동안에 적용될 수 있다. 일반적으로, BIO는 현재 블록 내 모든 픽셀 각각에 대한 움직임 벡터를 옵티컬 플로우를 통해 산정하고, 산정된 픽셀 별 움직임 벡터 값을 근거하여 해당 픽셀에 위치한 예측값을 갱신하는 데 사용된다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함한다. 영상 부호화 장치는 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 복수의 CTU(Coding Tree Unit)으로 분할한 이후에, CTU를 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU (coding unit)가 된다. 트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 이러한 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다. 즉, CTU를 다수의 CU로 분할하기 위해 QTBT를 사용할 수 있다.
QTBT (QuadTree plus BinaryTree) 구조에서, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달 할 때까지 반복 될 수 있다. 쿼드트리의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 크지 않은 경우, BT 구조로 더 파티셔닝될 수 있다. BT에서는 복수의 분할 타입이 존재할 수 있다. 예컨대, 일부 예시에서, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. 또한, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.
블록 분할부(110)가 QTBT 구조에 의해 CTU를 분할하여 생성하는 분할 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBT의 리프 노드)에 해당하는 블록을 '현재 블록'이라 칭한다.
예측부(120)는 현재 블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
일반적으로, 픽처 내 현재 블록들은 각각 예측적으로 코딩될 수 있다. 현재 블록의 예측은 (현재 블록을 포함하는 픽처으로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재 블록을 포함하는 픽처에 대해 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.
각각의 인터 예측된 블록에 대해, 움직임 정보 세트가 이용 가능할 수 있다. 한 세트의 움직임 정보는 순방향(forward) 및 역방향(backward) 예측 방향에 대한 움직임 정보를 포함할 수 있다. 여기서, 순방향 및 역방향 예측 방향은 양방향(bi-directional) 예측 모드의 2개의 예측 방향이고, 용어 "순방향" 및 "역방향"은 반드시 기하학적 의미를 가질 필요는 없다. 대신에, 이들은 일반적으로 참조 픽처가 현재 픽처 전에("역방향") 또는 후에("순방향")에 표시될지 여부에 대응한다. 일부 예에서, "순방향" 및 "역방향" 예측 방향은 현재 픽처의 참조 픽처 리스트 0(RefPicList0) 및 참조 픽처 리스트 1(RefPicList1)에 대응할 수 있다.
각 예측 방향에 대해, 움직임 정보는 참조 인덱스 및 움직임 벡터를 포함한다. 참조 인덱스는 현재 참조 픽처 리스트 (RefPicList0 또는 RefPicList1) 내의 참조 픽처를 식별하는데 사용될 수 있다. 움직임 벡터는 수평(x) 및 수직(y) 성분을 갖는다. 일반적으로, 수평 성분은 참조 블록의 x 좌표를 위치 시키는데 필요한, 현재 픽처에서의 현재 블록의 위치에 상대적인 참조 픽처 내의 수평 변위(horizontal displacement)를 나타낸다. 수직 성분은 참조 블록의 y 좌표를 위치 시키는데 필요한, 현재 블록의 위치에 상대적인 참조 픽처 내의 수직 변위(vertical displacement)를 나타낸다.
인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재 블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재 블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재 블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재 블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
본 개시의 예시들은 일반적으로 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법에 관한 것이다. 이와 같이, 본 개시의 소정의 기법들은 인터 예측부(124)에 의해 수행될 수도 있다. 즉, 예를 들어, 인터 예측부(124)는 아래의 도 4 내지 도 13에 대해 기술된 본 개시의 기법들을 수행할 수도 있다. 다시 말해, 인터 예측부(124)는 현재 블록에 대한 양방향 움직임 벡터를 결정한 후에, 영상 픽셀 단위 혹은 서브 블록 단위로 BIO 기법에 따른 움직인 보상을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 다른 예들에서, 부호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다. 또한, 움직임 벡터를 계산하는 명시적인 방정식이 있기 때문에 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다양한 방법이 사용될 수 있다.
예컨대, 현재블록의 참조 픽처와 움직임벡터가 주변블록의 참조 픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(124)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다.
머지 후보를 유도하기 위한 주변블록으로는, 도 2에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다.
인터 예측부(124)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스 정보를 생성한다. 생성된 머지 인덱스 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
움직임 정보를 부호화하는 또 다른 방법은 차분 움직임벡터를 부호화하는 것이다.
이 방법에서, 인터 예측부(124)는 현재블록의 주변블록들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터 후보들을 유도한다. 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로는, 도 5에 도시된 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 사용될 수 있다.
인터 예측부(124)는 이 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 그리고, 현재블록의 움직임벡터로부터 예측 움직임벡터를 감산하여 차분 움직임벡터를 산출한다.
예측 움직임벡터는 예측 움직임벡터 후보들에 기 정의된 함수(예컨대, 중앙값, 평균값 연산 등)를 적용하여 구할 수 있다. 이 경우, 영상 복호화 장치도 기 정의된 함수를 알고 있다. 또한, 예측 움직임벡터 후보를 유도하기 위해 사용하는 주변블록은 이미 부호화 및 복호화가 완료된 블록이므로 영상 복호화 장치도 그 주변블록의 움직임벡터도 이미 알고 있다. 그러므로 영상 부호화 장치는 예측 움직임벡터 후보를 식별하기 위한 정보를 부호화할 필요가 없다. 따라서, 이 경우에는 차분 움직임벡터에 대한 정보와 현재블록을 예측하기 위해 사용한 참조 픽처에 대한 정보가 부호화된다.
한편, 예측 움직임벡터는 예측 움직임벡터 후보들 중 어느 하나를 선택하는 방식으로 결정될 수도 있다. 이 경우에는 차분 움직임벡터에 대한 정보 및 현재블록을 예측하기 위해 사용한 참조 픽처에 대한 정보와 함께, 선택된 예측 움직임벡터 후보를 식별하기 위한 정보가 추가로 부호화된다.
인트라 예측부(122)는 현재 블록이 포함된 현재 픽처 내에서 현재 블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재 블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다. 특히, 인트라 예측부(122)는 현재 블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측 모드들을 사용하여 현재 블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재 블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(130)는 현재 블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차 블록 내의 잔차 신호들을 현재 블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.
부호화부(150)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 또한, 부호화부(150)는 블록 분할과 관련된 CTU size, MinQTSize, MaxBTSize, MaxBTDepth, MinBTSize, QT 분할 플래그, BT 분할 플래그, 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
부호화부(150)는 현재 블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
현재블록이 인트라 예측된 경우에는 인트라 예측정보로서 인트라 예측 모드에 대한 신택스 요소(syntax element)를 부호화한다. 현재블록이 인터 예측된 경우, 부호화부(150)는 인터 예측정보에 대한 신택스 요소를 부호화한다. 인터 예측정보에 대한 신택스 요소는 다음을 포함한다.
(1) 현재블록의 움직임정보가 머지 모드로 부호화되는지 아니면 차분 움직임벡터를 부호화하는 모드로 부호화되는지 여부를 지시하는 모드 정보
(2) 움직임정보에 대한 신택스 요소
움직임정보가 머지 모드에 의해 부호화되는 경우, 부호화부(150)는 머지 후보들 중 어느 후보가 현재블록의 움직임정보를 추출하기 위한 후보로서 선택되는지를 지시하는 머지 인덱스 정보를 움직임정보에 대한 신택스 요소로 부호화한다.
반면, 움직임정보가 차분 움직임벡터를 부호화하는 모드에 의해 부호화되는 경우, 차분 움직임벡터에 대한 정보 및 참조 픽처에 대한 정보를 움직임정보에 대한 신택스 요소로 부호화한다. 만약, 예측 움직임벡터가 복수의 예측 움직임벡터 후보들 중 어느 하나의 후보를 선택하는 방식으로 결정되는 경우에는, 움직임정보에 대한 신택스 요소는 그 선택된 후보를 식별하기 위한 예측 움직임벡터 식별 정보를 추가로 더 포함한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(190)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하에서는 영상 복호화 장치에 대해 설명한다.
도 3은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
영상 복호화 장치는 복호화부(310), 역양자화부(320), 역변환부(330), 예측부(340), 가산기(350), 필터부(360) 및 메모리(370)를 포함한다. 도 2의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(310)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출하여 복호화하고자 하는 현재 블록을 결정하고, 현재 블록을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(310)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다.
한편, 복호화부(310)는 트리 구조의 분할을 통해 복호화하고자 하는 현재 블록을 결정하게 되면, 현재 블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다.
예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(310)는 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출한다.
예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(310)는 인터 예측정보에 대한 신택스 요소를 추출한다. 먼저, 현재블록의 움직임정보가 복수의 부호화 모드 중 어느 모드에 의해 부호화되었는지 여부를 지시하는 모드 정보를 추출한다. 여기서, 복수의 부호화 모드는 스킵모드를 포함한 머지 모드 및 차분 움직임벡터 부호화 모드를 포함한다. 모드 정보가 머지 모드를 지시하는 경우, 복호화부(310)는 머지 후보들 중 어느 후보로부터 현재블록의 움직임벡터를 유도할지 여부를 지시하는 머지 인덱스 정보를 움직임정보에 대한 신택스 요소로서 추출한다. 반면, 모드 정보가 차분 움직임벡터 부호화 모드를 지시하는 경우, 복호화부(310)는 차분 움직임벡터에 대한 정보 및 현재블록의 움직임벡터가 참조하는 참조 픽처에 대한 정보를 움직임벡터에 대한 신택스 요소로서 추출한다. 한편, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들 중에서 어느 하나의 후보를 현재블록의 예측 움직임벡터로 사용한 경우에는 예측 움직임벡터 식별정보가 비트스트림에 포함된다. 따라서 이 경우에는, 차분 움직임벡터에 대한 정보와 참조 픽처에 대한 정보뿐만 아니라 예측 움직임벡터 식별정보도 움직임벡터에 대한 신택스 요소로서 추출한다.
한편, 복호화부(310)는 잔차신호에 대한 정보로서 현재 블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(320)는 양자화된 변환계수들을 역양자화하고 역변환부(330)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재 블록에 대한 잔차블록을 생성한다.
예측부(340)는 인트라 예측부(342) 및 인터 예측부(344)를 포함한다. 인트라 예측부(342)는 현재 블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(344)는 현재 블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(342)는 복호화부(310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재 블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재 블록 주변의 참조 픽셀들을 이용하여 현재 블록을 예측한다.
인터 예측부(344)는 복호화부(310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소를 이용하여 현재 블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재 블록을 예측한다.
먼저, 인터 예측부(344)는 복호화부(310)로부터 추출된 인터 예측에서의 모드 정보를 확인한다. 모드 정보가 머지 모드를 지시하는 경우, 인터 예측부(344)는 현재블록의 주변블록을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 인터 예측부(344)가 머지 리스트를 구성하는 방법은 영상 부호화 장치의 인터 예측부(124)와 동일하다. 그리고, 복호화부(310)으로부터 전달된 머지 인덱스 정보를 이용하여 머지 리스트 내의 머지 후보들 중에서 하나의 머지 후보를 선택한다. 그리고 선택된 머지 후보의 움직임정보, 즉, 머지 후보의 움직임벡터와 참조 픽처를 현재블록의 움직임벡터와 참조픽처로 설정한다.
반면, 모드 정보가 차분 움직임벡터 부호화 모드를 지시하는 경우, 인터 예측부(344)는 현재블록의 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 인터 예측부(344)가 예측 움직임벡터 후보들을 유도하는 방법은 영상 부호화 장치의 인터 예측부(124)와 동일하다. 만약, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들 중에서 어느 하나의 후보를 현재블록의 예측 움직임벡터로 사용한 경우에는 움직임정보에 대한 신택스 요소는 예측 움직임벡터 식별정보를 포함한다. 따라서, 이 경우에, 인터 예측부(344)는 예측 움직임벡터 후보들 중 예측 움직임벡터 식별정보에 의해 지시되는 후보를 예측 움직임벡터로 선택할 수 있다. 그러나, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들에 기 정의된 함수를 사용하여 예측 움직임벡터를 결정한 경우에는, 인터 예측부는 영상 부호화 장치와 동일한 함수를 적용하여 예측 움직임벡터를 결정할 수도 있다. 현재블록의 예측 움직임벡터가 결정되면, 인터 예측부(344)는 예측 움직임벡터와 복호화부(310)로부터 전달된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 결정한다. 그리고 복호화부(310)로부터 전달된 참조픽처에 대한 정보를 이용하여 현재블록의 움직임벡터가 참조하는 참조픽처를 결정한다.
머지 모드 또는 차분 움직임벡터 부호화 모드에서 현재블록의 움직임벡터와 참조픽처가 결정되면, 인터 예측부(342)는 참조픽처 내에서 움직임벡터가 지시하는 위치의 블록을 이용하여 현재블록의 예측블록을 생성한다.
본 개시의 예시들은 일반적으로 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법에 관한 것이다. 이와 같이, 본 개시의 소정의 기법들은 인터 예측부(344)에 의해 수행될 수 있다. 즉, 예를 들어, 인터 예측부(344)는 아래의 도 4 내지 도 13에 대해 기술된 본 개시의 기법들을 수행할 수 있다. 다시 말해, 인터 예측부(344)는 현재 블록에 대한 양방향 움직임 벡터들을 결정한 후에, 영상 픽셀 단위 혹은 서브 블록 단위로 BIO 기법에 따른 움직인 보상을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 다른 예들에서, 복호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다.
가산기(350)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(360)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(370)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
본 개시는 화면 간 예측을 통해 얻어진 움직임 벡터 정보의 보정을 위해서 양방향 옵티컬 플로우(bi-directional optical flow, BIO) 추정 기법을 사용하는 것과 관련되어 있다. 부호화 장치는 화면 간 예측 과정에서 코딩 블록(CU: coding unit) 단위의 움직임 추정 및 보상을 수행한 후, 그 결과물인 움직임 벡터(MV) 값을 복호화 장치 측에 전송하게 되고, 부호화 장치 및 복호화 장치는 CU 단위의 MV 값을 기반으로 BIO를 이용하여 픽셀 단위로 혹은 CU 보다 작은 서브 블록(즉, sub-CU) 단위로 MV 값을 추가적으로 보정할 수 있다. 즉, BIO는 n×n 크기의 블록에서부터 1×1 크기의 블록(즉, 픽셀) 단위로 코딩 블록(CU)의 움직임을 각 블록의 크기를 기준으로 정밀하게 움직임을 보상할 수 있다. 또한, 움직임 벡터를 계산하는 명시적인 방정식이 있기 때문에 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
도 4는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
영상 부호화 및 복호화 시 이용하는 BIO는 움직임 벡터 정보가 양방향 (bi-prediction) 정보여야 하고, 움직임은 시간축을 기준으로 순차적으로 이동하는 일정한 움직임(steady motion)이라는 가정을 기반으로 한다. 도 4에서 두 개의 참조 픽처 (Ref0, Ref1)를 참조하는 현재 픽처 (B-picture)를 보인다.
우선, 현재 블록에 대한 (통상의) 양방향 움직임 예측에 의하여 참조 픽처(Ref0과 Ref1)에서 현재 픽처의 부호화되는 현재 블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향 움직임 벡터들(MV0, MV1)이 결정되었다고 가정하자. 해당 두 개의 양방향 움직임 벡터들은 현재 블록의 움직임을 나타내는 값이다. 즉, 현재 블록을 하나의 단위로 설정하고, 해당 단위에 대한 움직임을 전체적으로 추정 및 보상한 값이다.
도 4의 예시에서, 현재 블록 내 픽셀 P와 대응되는 것으로 양방향 움직임 벡터(MV0)가 가리키는 참조 픽처(Ref0)내 픽셀은 P0이며, 현재 블록 내 픽셀 P와 대응되는 것으로 양방향 움직임 벡터(MV1)가 가리키는 참조 픽처(Ref1)내 픽셀은 P1이다. 그리고, 도 4에서 픽셀 P에 대한 움직임은 현재 블록의 전체적인 움직임과는 조금 상이하다라고 가정하자. 예컨대, 도 4의 Ref0 내 픽셀 A에 위치하는 물체가 현재 픽처의 현재 블록 내 픽셀 P를 지나 Ref1 내 픽셀 B로 움직였다면, 픽셀 A 및 픽셀 B는 상당히 유사한 값을 가지게 된다. 또한, 이 경우, 현재 블록 내 픽셀 P와 가장 유사한 Ref0 내 지점은 양방향 움직임 벡터(MV0)가 가리키는 P0이 아니라, P0를 소정의 변위 벡터(v x τ 0 , v y τ 0)만큼 이동시킨 A이며, 현재 블록 내 픽셀 P와 가장 유사한 Ref1 내 지점은 양방향 움직임 벡터(MV1)가 가리키는 P1이 아니라, P1를 소정의 변위 벡터(-v x τ 1 , - v y τ 1)만큼 이동시킨 B이다. 이하에서는, 편의상, (v x , v y)를 “BIO 움직임 벡터”라고 지칭한다.
그러므로, 현재 픽처 내 현재 블록의 픽셀(P)값을 예측함에 있어서, 두 참조 픽셀(A, B)의 값을 이용하면, 양방향 움직임 벡터(MV0, MV1)가 가리키는 참조 픽셀(P0, P1)을 이용하는 것보다 좀 더 정확한 예측이 가능하다. 위와 같이, BIO 움직임 벡터(v x , v y)에 의해 특정되는 현재 블록 내 픽셀 단위의 움직임을 고려하여 현재 블록의 한 픽셀을 예측하는 데 사용되는 참조 픽셀을 변경하는 개념은 현재 블록 내 서브 블록들로 확장될 수 있다.
이하에서는, BIO 기법에 따라, 현재 블록 내 픽셀에 대한 예측값을 생성하는 이론적인 방법을 설명하기로 한다. 설명의 편의를 위해, BIO 기반의 양방향 움직임 보상을 픽셀 단위로 수행하는 것을 전제로 한다.
현재 블록에 대한 (통상의) 블록 단위 양방향 움직임 예측에 의하여 참조 픽처(Ref0과 Ref1)에서 현재 픽처의 부호화되는 현재 블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향 움직임 벡터들(MV0, MV1)이 결정되었다고 가정한다. 복호화 장치는 비트스트림에 포함된 움직임 벡터 정보로부터 양방향 움직임 벡터들(MV0, MV1)를 결정할 수 있다. 또한, 현재 블록 내 픽셀 (i,j)와 대응되는 것으로 움직임 벡터들(MV0)가 가리키는 참조 픽처(Ref0)내 픽셀의 밝기 값(luminance value)을 I (0)(i,j)라고 정의하고, 현재 블록 내 픽셀 (i,j)와 대응되는 것으로 움직임 벡터들(MV1)가 가리키는 참조 픽처(Ref1)내 픽셀의 밝기값을 I (1)(i,j)라고 정의한다.
BIO 움직임 벡터 (v x , v y)가 현재 블록 내 픽셀에 대응되는 것으로 가리키는 참조 픽처 Ref0 내의 픽셀 A의 밝기값은
Figure PCTKR2018003044-appb-I000001
로 정의될 수 있으며, 참조 픽처 Ref1 내의 픽셀 B의 밝기값은
Figure PCTKR2018003044-appb-I000002
로 정의될 수 있다. 따라서, 픽셀 A와 픽셀 B 사이의 플로우 차이값(flow difference) Δ는 일반적으로 <수학식 1>와 같이 정의된다.
Figure PCTKR2018003044-appb-M000001
여기서, I (k) (k = 0, 1)는 현재 블록 내의 예측하고자 하는 픽셀에 대응되는 것으로 움직임 벡터들(MV0, MV1)가 가리키는 참조 픽처(Ref0 및 Ref1)내 픽셀의 밝기 (luminance)이고, (v x , v y)은 구하고자 하는 BIO 움직임 벡터이다. 간략하게 표기하기 위해, 위 <수학식 1>의 각 항에서 참조 픽처(Ref0 및 Ref1)내 픽셀의 위치 (i, j)는 생략되었다.
Figure PCTKR2018003044-appb-I000003
와
Figure PCTKR2018003044-appb-I000004
는 각각 I (k) 그래디언트(gradient)의 수평 및 수직 성분을 나타낸다. τ 0와 τ 1은 현재 픽처와 2개의 참조 픽처(Ref0과 Ref1) 간의 시간적 거리를 나타낸다. τ 0와 τ 1은 POC(picture order count)를 기반으로 계산될 수 있으며, 예컨대, τ 0=POC(current)-POC(Ref0), τ 1= POC(Ref1)-POC(current) 이다. 여기서, POC(current), POC(Ref0), 및 POC(Ref1)은 각각 현재 픽처, 참조 픽처 Ref0, 및 참조 픽처 Ref1의 POC를 의미한다.
움직임이 지역적으로 주변 픽셀들과 일관성이 있다는 가정을 기반하여, 현재 예측하고자 하는 픽셀 (i, j)에 대한 BIO 움직임 벡터는 현재 예측하고자 하는 픽셀 (i, j)를 중심으로 하는 일정 영역 Ω 내 존재하는 모든 픽셀 (i', j')에 대한 <수학식 1>의 차이값 Δ들을 고려한다. 즉, 현재 픽셀 (i, j)에 대한 BIO 움직임 벡터는 다음의 <수학식 2>와 같이, 일정 영역 Ω 내의 각 픽셀에 대하여 획득된 차이값 Δ[i',j']의 제곱합을 최소로 하는 벡터로 결정될 수 있다.
Figure PCTKR2018003044-appb-M000002
여기서, (i', j')는 탐색 영역 Ω 내에 위치하는 모든 픽셀들을 의미한다. 따라서, <수학식 2>와 같이, 현재 픽셀 위치에서 목적함수(Δ2의 합)를 최소화하는 명시적인 방정식을 계산함으로써 현재 픽셀의 BIO 움직임 벡터 (v x , v y)를 결정할 수 있으므로, 세부적인 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
일반적으로, 상기 탐색 영역 Ω은 현재 픽셀 (i, j)에 중심을 둔 (2M + 1) × (2N + 1) 크기의 마스킹 윈도우(masking window)로 정의될 수 있다. 마스킹 윈도우의 구조 및 크기는 BIO 움직임 벡터 (v x , v y)를 결정하는 알고리즘의 복잡성 및 그 정밀도에 큰 영향을 미친다. 따라서, 마스킹 윈도우의 선택은 BIO 움직임 벡터 (v x , v y)를 결정하는 알고리즘에 있어서 매우 중요하다.
현재 픽셀의 BIO 움직임 벡터 (v x , v y)가 결정되면, 현재 픽셀 (i, j)에 대한 BIO 움직임 벡터에 기반한 양방향 예측값(pred BIO)은 <수학식 3>에 의해 계산될 수 있다.
Figure PCTKR2018003044-appb-M000003
<수학식 3>에서, (I (0)+I (1))/2는 통상적인 블록 단위 양방향 예측 보상이므로, 나머지 항들은 BIO 오프셋(offset)으로 지칭될 수 있다.
이하, 도 5a 및 도 5b를 참조하여, BIO 기반의 양방향 움직임 보상 방법을 설명한다. 이하의 방법은 영상 부호화 장치 및 영상 복호화 장치에 공통된다. 비록 도 5에는 도시되어 있지 않지만, 부호화 장치는 참조 픽처들로 사용하기 위한 픽처들을 부호화하고 이어서 복호화하여, 메모리에 저장하였다고 가정한다. 또한, 복호화 장치는 참조 픽처들로 사용하기 위한 픽처들을 복호화하여, 메모리에 저장하였다고 가정한다.
도 5a는 본 발명의 일 실시예에 따른 픽셀 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
먼저, 부호화 장치 및 복호화 장치는 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정한다(S510).
부호화 장치 및 복호화 장치는 픽셀 단위로 BIO 프로세스를 적용하여 현재 블록 내 각 픽셀에 대응하는 BIO 움직임 벡터(v x , v y)를 결정한다(S520).
BIO 움직임 벡터(v x , v y)는 해당하는 픽셀을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 <수학식 1 >로 표현되는 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
일부 예시에서, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, (2M + 1) × (2N + 1) 크기를 갖는 사각형 모양의 마스킹 윈도우가 사용될 수 있다. 바람직하게는, 예컨대, 5×5 크기의, 정사각형 모양의 마스킹 윈도우가 사용될 수 있다. 다른 일부 예시에서, 플러스(plus) 모양 혹은 다이아몬드(diamond) 모양과 같은, 사각형 모양이 아닌 마스킹 윈도우가 사용될 수 있다.
부호화 장치 및 복호화 장치는 픽셀 단위로 계산된 BIO 움직임 벡터(v x , v y)를 기초로, 양방향 예측을 사용하여 현재 블록에 대한 예측 블록을 생성한다(S530). 즉, 부호화 장치 및 복호화 장치는, 각 BIO 움직임 벡터를 이용하여, 대응되는 픽셀의 양방향 예측값을 <수학식 3>에 기초로 생성한다.
최종적으로, 부호화 장치 및 복호화 장치는 생성된 예측 블록을 이용하여 현재 블록의 픽셀들을 부호화 혹은 복호화한다(S540).
도 5b는 본 발명의 일 실시예에 따른 서브 블록 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
먼저, 부호화 장치 및 복호화 장치는 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정한다(S560).
부호화 장치 및 복호화 장치는 현재 블록 내 각 서브 블록 단위로 BIO 프로세스를 적용하여, 각 서브 블록에 대응하는 BIO 움직임 벡터(v x , v y)를 결정한다(S570).
BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 플로우 차이들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 대안적으로, BIO 움직임 벡터(v x , v y)는 서브 블록 내 일부 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 모든 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 예컨대, 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치는 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 혹은 세로 줄무늬(vertical stripes) 패턴을 이룰 수 있다.
일부 예시에서, 플로우 차이들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여할 수 있다. 일부 예시에서, 현재 블록의 가장자리에 위치하는 서브 블록에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, (2M + 1) × (2N + 1) 크기를 갖는 사각형 모양의 마스킹 윈도우가 사용될 수 있다. 일부 예시에서, 마스킹 윈도우는 (예컨대, 5×5 크기의) 정사각형 모양일 수 있다. 다른 일부 예시에서, 예컨대 플러스(plus) 모양 및 다이아몬드(diamond) 모양과 같은, 사각형 모양이 아닌 마스킹 윈도우가 사용될 수 있다. 일부 예시에서, 마스킹 윈도우가 사용되지 않을 수 있다. 예컨대, BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
부호화 장치 및 복호화 장치는 서브 블록 단위로 계산된 BIO 움직임 벡터(v x , v y)들을 기초로, 양방향 예측을 사용하여 현재 블록에 대한 예측 블록을 생성한다(S580). 서브 블록 내 모든 픽셀은 서브 블록 단위로 계산된 BIO 움직임 벡터 (v x , v y)를 공유한다. 즉, 서브 블록 내 모든 픽셀에 대한 BIO 기반의 예측값은 해당 서브 블록에 대해 결정된 하나의 BIO 움직임 벡터 (v x , v y)를 이용하여 <수학식 3>에 의해 계산된다.
최종적으로, 부호화 장치 및 복호화 장치는 생성된 예측 블록을 이용하여 현재 블록의 픽셀들을 부호화 혹은 복호화한다(S590).
본 개시의 일부 실시예들에서 BIO는 픽셀-레벨 기반으로 적용되며, 다른 일 부 실시예들에서 BIO는 블록-레벨 기반으로 적용된다. 이하에서는 픽셀-레벨의 BIO 프로세스에 관한 실시예들을 먼저 기술한 후, 블록-레벨의 BIO 프로세스에 관한 실시예들을 기술한다.
이하에서 설명하는 제1 실시예 및 제2 실시예에서는 픽셀-레벨 기반으로 BIO가 적용된다. BIO 프로세스에 사용되는 마스킹 윈도우는 현재 픽셀 (i, j)에 중심을 둔 (2M + 1) × (2N + 1) 크기를 가질 수 있으나, 설명의 간략화를 위해, 이하에서는, 가로 및 세로 크기가 같은 값을 가지는 것(즉, M=N)으로 가정한다. 픽셀-레벨 BIO는 현재 블록의 예측 블록 생성 시에, 픽셀-레벨로 BIO 움직임 벡터를 구하고, 구해진 BIO 움직임 벡터에 근거하여 픽셀-레벨로 양방향 예측값을 구한다.
제1 실시예
본 실시예에서는 픽셀 레벨로 BIO 움직임 벡터를 계산함에 있어서 사각형 모양의 마스킹 윈도우를 사용한다. 본 실시예에서, 예측하고자 하는 픽셀의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 6을 참조하여 설명한다. 도 6에는 5×5 마스킹 윈도우(610)와 현재 블록 내 예측하고자 하는 픽셀(621)이 예시되어 있다. 현재 블록 내 예측하고자 하는 하나의 픽셀(621)이 도 6에서 빗금으로 표시된 마스킹 윈도우(810)의 중앙이 되고, 마스킹 윈도우(810) 내에 위치하는 픽셀의 개수는 예측하고자 하는 픽셀(821)을 포함하여 총 25개가 된다. 따라서, 현재 블록 내 예측하고자 하는 픽셀(621)에 대한 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 개수는 25개이다. 최종적으로 해당 25개의 차이값(Δ)을 <수학식 2>에 대입하여 예측하고자 하는 픽셀에 대한 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 옵티컬 플로우에 기반하여 BIO 움직임 벡터 (v x , v y)가 결정되면, 현재 블록의 해당 픽셀에 대한 양방향 예측값은 <수학식 3>에 의해 계산된다. 이러한 프로세스를 현재 블록 내 각 픽셀에 대하여 반복적으로 적용하여, 현재 블록의 예측 블록을 구성하는 모든 픽셀들의 예측값을 생성한다.
다만, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 마스킹 윈도우내에 포함되더라도, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
제2 실시예
도 7은 제2 실시예에 따른, BIO 기반의 움직임 보상에 사용되는 사각형이 아닌 마스킹 윈도우들을 예시한 도면이다.
본 실시예는, 정사각형 모양의 마스킹 윈도우를 사용하는 제1 실시예와 달리, 다양한 모양의 마스킹 윈도우를 사용한다. 도 7에서는 2가지 타입(즉, 플러스(plus) 모양 및 다이아몬드(diamond) 모양)의 마스킹 윈도우를 제시하였으나, 본 발명은 사각형 모양의 마스킹 윈도우가 아닌 다양한 모양의 어떠한 마스킹 윈도우의 사용도 배제하지 않는다. 이러한 마스킹 윈도우의 사용은 제1 실시예에서 사용하는 정사각형 모양의 마스킹 윈도우 내 모든 픽셀을 처리하는데 드는 복잡도를 줄인다. 도 7에 예시된 바와 같이, 플러스 모양 및 다이아몬드 모양의 마스킹 윈도우의 사이즈는 파라미터 M 값에 의존하여 스케일링(scaling)될 수 있다.
본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 8을 참조하여 설명한다.
도 8에는 M=2인 다이아몬드 모양의 마스킹 윈도우(810)와 현재 블록 내 예측하고자 하는 픽셀(821)이 예시되어 있다. 현재 블록 내 예측하고자 하는 하나의 픽셀(821)이 도 8의 (b)에서 빗금으로 표시된 마스킹 윈도우(810)의 중앙이 되고, 마스킹 윈도우(810) 내의 픽셀의 개수는 예측하고자 하는 픽셀(821)을 포함하여 총 13개가 된다. 따라서, 현재 블록 내 예측하고자 하는 픽셀(821)에 대한 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 개수는 13개이다. 최종적으로 해당 13개의 차이값(Δ)을 <수학식 2>에 대입하여 예측하고자 하는 픽셀에 대한 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 본 실시예에서, 이러한 과정들은 현재 블록 내 모든 픽셀에 대해 수행되어, 각 픽셀에 대응되는 BIO 움직임 벡터가 계산된다.
다만, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 마스킹 윈도우내에 포함되더라도, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
이하에서 설명하는 제3 실시예 내지 제8 실시예에서는 블록-레벨에서 BIO 기반 움직임 보상이 적용된다. 서브 블록-레벨의 BIO 움직임 보상 프로세스에서, 서브 블록 크기는 M × N (M과 N은 정수) 일 수 있다. M × N 서브 블록 내 모든 픽셀은 서브 블록 단위로 계산된 BIO 움직임 벡터 (v x , v y)를 공유한다. 즉, M × N 서브 블록 내 모든 픽셀에 대한 옵티컬 플로우에 기반한 양방향 예측은 계산된 BIO 움직임 벡터 (v x , v y)를 이용하여 <수학식 3>에 의해 계산된다. 본 개시의 방법들은 서브 블록의 크기에 제한을 두지 않으나, 이하의 실시예들에서는 설명의 편의상 4×4 서브 블록을 기준으로 BIO 프로세스를 설명하고 있음에 유의한다.
제3 실시예
본 실시예에서는, 서브 블록에 대한 하나의 BIO 움직임 벡터를 결정하기 위해, 서브 블록 내의 각 픽셀마다, 해당 픽셀에 중심을 둔 사각형 모양의 마스킹 윈도우를 적용하고, 마스킹 윈도우 내에 위치하는 모든 픽셀들 각각에 대한 <수학식 1>의 차이값(Δ)을 구한다. 최종적으로 이들 차이값들을 <수학식 2>에 대입하여 해당 서브 블록에 해당하는 BIO 움직임 벡터를 구하게 된다.
도 9에는, 본 실시예에서 제안하는 방식의 일례에 따른, 5×5 마스킹 윈도우(910)와 4×4 서브 블록(920)의 일 예가 도시되어 있다. 도 9에 예시된 마스킹 윈도우(910)는 M=2인 정사각형 모양이다. 서브 블록(920) 내 현재 픽셀(i, j)(921)이 도 9의 빗금 표시된 부분에 해당하는 마스킹 윈도우(910)의 중앙이 된다. 서브 블록의 한 픽셀(i, j)에 대한 마스킹 윈도우(910) 내의 픽셀의 개수는 (i, j) 픽셀을 포함하여 총 25 (= (2M + 1) × (2M + 1) = 5 × 5)개가 된다. 따라서, 4×4 서브 블록에 대한 BIO 움직임 벡터를 결정하기 위해 요구되는 차이값의 총 개수는 서브 블록의 크기 및 마스킹 윈도우의 크기에 기반하여 총 400(= 16 × 25)개에 달한다. 서브 블록에 대한 BIO 움직임 벡터는 이들 차이값들의 제곱의 합을 최소화하는 벡터로 결정된다.
위 400개의 차이값들 중에서, 구별되는 64개의 차이값들을 제외한 나머지 차이값들은 상기 64개의 차이값들이 중복되는 형태임을 유의한다. 예컨대, 도 10a와 같이, 서브 블록(1020)의 (0,0) 위치의 픽셀에 중심을 둔 마스킹 윈도우(1010a) 내에 위치하는 픽셀들 대부분은, 서브 블록(1020)의 (1,0) 위치의 픽셀에 중심을 둔 마스킹 윈도우(1010b) 내에도 위치한다. 따라서, 중복되는 차이값들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여함으로써, <수학식 2>의 계산을 단순화할 수 있다. 예컨대, 4×4 서브 블록에 대해 5×5 마스킹 윈도우를 적용하는 경우에, 총 64개의 구별되는 차이값을 계산한 후, 각 차이값들에 대응되는 가중치를 부여한 후, 가중치가 부여된 차이값들의 제곱의 합이 최소화되도록 BIO 움직임 벡터 (v x , v y)를 결정할 수 있다. 도 10b에서 각 픽셀에 표기된 숫자는 중복되는 횟수에 따른 가중치 값이다. 여기서, 강조 표시된 4×4 블록은 서브 블록의 위치를 나타낸다.
제4 실시예
본 실시예는, 사각형 모양의 마스킹 윈도우를 사용하는 제3 실시예와 달리, (도 7에 예시된 것과 같은) 다양한 패턴의 마스킹 윈도우를 사용한다. 이러한 마스킹 윈도우의 사용은 사각형 마스킹 윈도우 내 모든 픽셀을 처리하는데 드는 복잡도를 줄인다.
도 11에는, 다이아몬드 타입의 마스킹 윈도우(1110)와 4×4 서브 블록(1120)이 예시되어 있다. 도 11에 예시된 바와 같이, M=2인 다이아몬드 모양의 마스킹 윈도우(1110)를 사용하는 경우에, 마스킹 윈도우(1110) 내의 픽셀의 개수는 총 13개가 된다. 따라서, 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 208 (= 16 × 13)이다. 최종적으로 해당 208개의 차이값을 <수학식 2>에 대입하여 해당 4×4 블록에 해당하는 BIO 움직임 벡터를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제5 실시예
제3 실시예 및 제4 실시예에서는, 서브 블록 내 모든 픽셀들에 대해, 마스킹 윈도우를 적용하였다. 이에 반해, 본 실시예는 서브 블록 내 일부 픽셀들에 대해 마스킹 윈도우를 적용한다.
도 12에는 서브 블록 내 마스킹 윈도우가 적용되는 픽셀의 위치들에 대한 3가지 타입을 예시하고 있다. 하나의 타입에서는 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치가 체크(check) 패턴을 이루고 있으며(도 12의 (a) 참조), 다른 2개의 타입들에서는 각각 가로 줄무늬 (horizontal stripes) 패턴과 세로 줄무늬(vertical stripes) 패턴을 이루고 있다(도 12의 (b), (c) 참조). 본 발명은, 도 12에 예시된 타입들 외에도, 서브 블록 내 일부 픽셀만을 샘플링하여 처리하는 어떠한 타입의 사용도 배제하지 않는다. 이를 통해, 전술한 실시예들에서, 서브 블록 내 모든 픽셀에 대해 마스킹 윈도우에 대응되는 개수의 차이값들을 계산하는 데 드는 연산 복잡도를 줄일 수 있다.
본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 13을 참조하여 설명한다. 도 13에는 5×5 정사각형 모양의 마스킹 윈도우(1310)와 체크(check) 패턴으로 샘플링된 4×4 서브 블록(1320) 내 픽셀들이 예시되어 있다. 5×5 정사각형 모양의 마스킹 윈도우(1310) 내의 픽셀의 개수는 총 25개이다. 서브 블록 내 빗금 표시된 8개의 픽셀들에 대해, 각 픽셀마다, 마스킹 윈도우를 적용하여, 25개의 <수학식 1>의 차이값(Δ)을 구하여야 한다. 따라서, 4×4 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 총 200 (= 8 × 25)개에 달한다. 최종적으로 해당 200개의 차이값을 <수학식 2>에 대입하여 해당 4×4 블록에 해당하는 BIO 움직임 벡터를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제6 실시예
본 실시예는, 제4 실시예와 제5 실시예에서 제시한 방식들의 결합된 형태이다. 즉, 본 실시예는 사각형 모양이 아닌 다양한 패턴의 마스킹 윈도우를 채용하고(제4 실시예와 유사), 서브 블록 내 일부 샘플 픽셀들에 대해서만 마스킹 윈도우를 적용하는 방식을 채용한다(제5 실시예와 유사). 따라서, 본 실시예의 기법은 제4 실시예 및 제5 실시예보다 계산의 복잡도가 낮다.
도 14에는, 본 실시예에서 제안하는 방식의 일례에 따른, 다이아몬드 타입의 마스킹 윈도우(1410)와 4×4 서브 블록(1420) 내 BIO 프로세스를 적용하는 샘플 픽셀들이 도시되어 있다. 도 14의 경우에, 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 104 (= 8 × 13)이다. 최종적으로 해당 104개의 차이값을 <수학식 2>에 대입하여 해당 4×4 서브 블록에 해당하는 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제7 실시예
이전 실시예들에서는 서브 블록의 (모든 혹은 일부) 픽셀들에 대해, 각각, 윈도우 마스크의 크기에 대응되는 수의 차이값(Δ)들을 계산하였다. 예컨대, 제3 실시예에서, 5×5 마스킹 윈도우를 사용하여, 4×4 서브 블록에 대한 BIO 움직임 벡터를 결정하기 위해 요구되는 차이값의 수는 총 400(= 16 × 25)개에 달했다. 이에 반해, 본 실시예는 마스킹 윈도우를 사용하지 않는다. 혹은 1×1 마스킹 윈도우를 사용한다고 볼 수 있다. 즉, 서브 블록 내 픽셀들에 대해, 각각, 하나의 <수학식 1>의 차이값(Δ)만이 계산된다. 예를 들어, 4×4 서브 블록에 대한 BIO 움직임 벡터를 구하기 위해 고려되는 차이값(Δ)의 수는 총 16개에 불과하다. 최종적으로 16개의 차이값(Δ)만을 <수학식 2>에 대입하여 4×4 서브 블록에 관한 BIO 움직임 벡터를 구하게 된다. 즉, 16개의 차이값의 제곱의 합을 최소화하도록 BIO 움직임 벡터를 계산한다.
대안적으로, 16개 차이값에 각기 다른 가중치를 주어서 <수학식 2>에 대입하여 해당 4×4 서브 블록에 해당하는 BIO 움직임 벡터를 구할 수도 있다. 여기서, 서브 블록 내부에 더 높은 가중치가 부여되고, 서브 블록 가장자리 영역에 더 낮은 가중치가 부여될 수 있다. 도 15는 서브 블록의 각 픽셀에 대한 가중치 부여의 일례를 보인다.
제8 실시예
본 실시예에서는, 현재 블록의 가장자리에 위치하는 서브 블록들에 대한 BIO 움직임 벡터를 결정할 때, 현재 블록을 벗어나는 영역에 대해서는 차이값(Δ)을 계산하지 않는 제약을 둔다. 예를 들어, 도 16a에 예시된 것처럼, 현재 블록의 크기가 16×16이고, 4×4 서브 블록 단위로 BIO 움직임 벡터를 계산하는 경우를 가정하자. 총 16개의 4×4 서브 블록들 중에서 현재 블록의 가장자리에 위치하는 12개의 4×4 서브 블록의 BIO 움직임 벡터를 결정할 때, 현재 블록 외부의 영역에 위치하는 마스킹 픽셀에 대한 차이값(Δ)은 고려하지 않는다. 여기서, 현재 블록 외부의 영역에 위치하는 마스킹 픽셀은 서브 블록의 크기와 마스킹 윈도우 크기 및 위치에 따라 달라질 수 있다. 따라서, 본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하기 위해 계산하여야 하는 차이값(Δ)의 개수는 해당 서브 블록의 현재 블록 내 위치에 따라 달라질 수 있다.
이러한 방식을 제3 실시예에서 설명한 중복된 차이값들에 대한 가중치를 부여하는 방식과 결합하면, 각 마스킹 픽셀에 대한 가중치는 도 16b와 같다. 즉, 도 16b에 0으로 표시된 픽셀들은 현재 블록 외부에 위치한 픽셀들이며, 이들에 대한 차이값은 계산하지 않는다. 이러한 방식에 따르면, 제3 실시예에 비해, 계산해야 할 차이값의 개수가 적으므로 연산량이 줄어 들고, 현재 블록 외부에 위치한 픽셀값을 참조하지 않으므로 그 만큼 메모리 사용량을 절약할 수 있다.
이러한 방식은 정사각형 마스킹 윈도우를 사용하는 경우에 한정하지 않고, 다이아몬드 및 플러스를 포함한 다양한 모양의 마스킹 윈도우를 사용하는 경우에도 적용 가능함에 유의한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 04월 24일 한국에 출원한 특허출원번호 제10-2017-0052290호 및 2017년 06월 19일 한국에 출원한 특허출원번호 제10-2017-0077246호에 대해 우선권을 주장한다.

Claims (16)

  1. 영상 데이터를 복호화하는 방법에 있어서,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록을 재구성하는 과정을 포함하고,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 방법.
  2. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 제곱합(sum of squares)이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내의 픽셀들을 중심으로 하는 플러스(plus) 모양, 또는 다이아몬드(diamond) 모양의 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  3. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 가중치가 부여된 제곱합(weighted sum of squares)이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내의 픽셀들을 중심으로 하는 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  4. 제2항에 있어서,
    각 플로우 차이에 부여된 가중치는,
    해당 서브 블록 내의 픽셀이 상기 마스킹 윈도우에 포함되는 횟수에 상응하여 부여된 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  5. 제2항에 있어서,
    상기 마스킹 픽셀에 대한 플로우 차이는,
    상기 마스킹 픽셀에 대응되는 것으로 상기 BIO 움직임 벡터가 가리키는 상기 제1 참조 픽처 상의 제1 지점과 상기 제2 참조 픽처 상의 제2 지점 간의 밝기 차이인 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  6. 제5항에 있어서,
    상기 제1 참조 픽처 상의 제1 지점은,
    상기 마스킹 픽셀에 대응되는 것으로 상기 제1 움직임 벡터가 가리키는 상기 제1 대응 영역 내의 제1 참조 픽셀의 밝기, 상기 제1 참조 픽셀의 그레디언트, 현재 픽처와 제1 참조 픽처 간의 시간적 거리, 및 상기 BIO 움직임 벡터에 의해 정의되고,
    상기 제2 참조 픽처 상의 제2 지점은,
    상기 마스킹 픽셀에 대응되는 것으로 상기 제2 움직임 벡터가 가리키는 상기 제2 대응 영역 내의 제2 참조 픽셀의 밝기, 상기 제2 참조 픽셀의 그레디언트, 상기 현재 픽처와 제2 참조 픽처 간의 시간적 거리, 및 상기 BIO 움직임 벡터에 의해 정의되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  7. 제2항에 있어서,
    상기 현재 블록의 바운더리(boundary)에 위치하는 서브 블록에 대한 BIO 움직임 벡터는,
    상기 현재 블록 외부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이를 배제하고, 상기 현재 블록 내부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  8. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록 내의 픽셀들 각각에 대하여 획득되는 플로우 차이들의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  9. 제8항에 있어서,
    해당 서브 블록 내부에 위치하는 픽셀에 대하여 획득되는 플로우 차이일수록 높은 가중치가 부여된 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  10. 제1항에 있어서,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내에서 샘플링된 일부 픽셀들을 중심으로 하는 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  11. 제10항에 있어서,
    상기 샘플링된 픽셀들과 샘플링되지 않은 픽셀들은,
    상기 서브 블록 내에서 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 또는 세로 줄무늬(vertical stripes) 패턴을 이루는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  12. 제10항에 있어서,
    상기 마스킹 윈도우는,
    사각형 모양, 플러스(plus) 모양, 또는 다이아몬드(diamond) 모양인 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  13. 영상 데이터를 복호화하는 장치로서,
    메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성되되,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및
    결정된 BIO 움직임 벡터를 기초로, 상기 주어진 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 장치.
  14. 영상 데이터를 복호화하는 방법에 있어서,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 포함하고,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 방법.
  15. 제14항에 있어서,
    상기 현재 블록의 바운더리(boundary)에 위치하는 픽셀에 대한 BIO 움직임 벡터는,
    상기 현재 블록 외부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이를 배제하고, 상기 현재 블록 내부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  16. 영상 데이터를 복호화하는 장치로서,
    메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성되되,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 장치.
PCT/KR2018/003044 2017-04-24 2018-03-15 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 WO2018199468A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202310841020.0A CN116708828A (zh) 2017-04-24 2018-03-15 编解码视频数据的方法、发送编码视频数据比特流的方法
CN202310843458.2A CN116708831A (zh) 2017-04-24 2018-03-15 编解码视频数据的方法、发送编码视频数据比特流的方法
CN202310841628.3A CN116708829A (zh) 2017-04-24 2018-03-15 编解码视频数据的装置、发送编码视频数据比特流的方法
CN201880034013.7A CN110710213B (zh) 2017-04-24 2018-03-15 用于估计运动补偿的光流的方法及装置
US16/608,020 US11272193B2 (en) 2017-04-24 2018-03-15 Method and apparatus for estimating optical flow for motion compensation
CN202310843252.XA CN116708830A (zh) 2017-04-24 2018-03-15 编解码视频数据的装置、存储编码视频数据比特流的方法
US17/668,822 US20220166989A1 (en) 2017-04-24 2022-02-10 Method and apparatus for estimating optical flow for motion compensation
US17/673,922 US20220174294A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,879 US20220174292A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,904 US20220174293A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170052290 2017-04-24
KR10-2017-0052290 2017-04-24
KR1020170077246A KR102409430B1 (ko) 2017-04-24 2017-06-19 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
KR10-2017-0077246 2017-06-19

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US16/608,020 A-371-Of-International US11272193B2 (en) 2017-04-24 2018-03-15 Method and apparatus for estimating optical flow for motion compensation
US17/668,822 Continuation US20220166989A1 (en) 2017-04-24 2022-02-10 Method and apparatus for estimating optical flow for motion compensation
US17/673,922 Continuation US20220174294A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,879 Continuation US20220174292A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,904 Continuation US20220174293A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation

Publications (1)

Publication Number Publication Date
WO2018199468A1 true WO2018199468A1 (ko) 2018-11-01

Family

ID=63920338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003044 WO2018199468A1 (ko) 2017-04-24 2018-03-15 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치

Country Status (4)

Country Link
US (5) US11272193B2 (ko)
KR (2) KR102490114B1 (ko)
CN (4) CN116708828A (ko)
WO (1) WO2018199468A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187284A1 (en) * 2019-03-19 2020-09-24 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
WO2021047542A1 (en) * 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Recursive splitting of video coding blocks
CN113411606A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11368711B2 (en) 2019-04-19 2022-06-21 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
US11936904B2 (en) 2019-09-20 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112970259A (zh) * 2018-11-05 2021-06-15 北京字节跳动网络技术有限公司 视频处理中具有细化的帧间预测
WO2023186752A1 (en) * 2022-03-30 2023-10-05 Interdigital Ce Patent Holdings, Sas Methods and apparatuses for encoding/decoding a video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286635A1 (en) * 2010-05-18 2011-11-24 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
US8712095B2 (en) * 2008-10-15 2014-04-29 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow
US20170041632A1 (en) * 2015-08-05 2017-02-09 Thomson Licensing Method and apparatus for hierarchical motion estimation using dfd-based image segmentation
US20170091894A1 (en) * 2015-09-30 2017-03-30 Intel Corporation Dense optical flow acceleration
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363533B2 (en) * 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US20170337711A1 (en) * 2011-03-29 2017-11-23 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US10798385B2 (en) * 2016-04-25 2020-10-06 Lg Electronics Inc. Inter-prediction method and apparatus in image coding system
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712095B2 (en) * 2008-10-15 2014-04-29 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow
US20110286635A1 (en) * 2010-05-18 2011-11-24 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
US20170041632A1 (en) * 2015-08-05 2017-02-09 Thomson Licensing Method and apparatus for hierarchical motion estimation using dfd-based image segmentation
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170091894A1 (en) * 2015-09-30 2017-03-30 Intel Corporation Dense optical flow acceleration

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220007051A1 (en) * 2019-03-19 2022-01-06 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
US11889109B2 (en) 2019-03-19 2024-01-30 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
WO2020187284A1 (en) * 2019-03-19 2020-09-24 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11356697B2 (en) 2019-04-19 2022-06-07 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
US11368711B2 (en) 2019-04-19 2022-06-21 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
CN113411606A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411606B (zh) * 2019-06-21 2022-07-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
WO2021047542A1 (en) * 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Recursive splitting of video coding blocks
US11930216B2 (en) 2019-09-09 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Recursive splitting of video coding blocks
US11936904B2 (en) 2019-09-20 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus

Also Published As

Publication number Publication date
US20220174294A1 (en) 2022-06-02
KR102490114B1 (ko) 2023-01-18
CN116708830A (zh) 2023-09-05
KR20220080732A (ko) 2022-06-14
US11272193B2 (en) 2022-03-08
US20220174293A1 (en) 2022-06-02
KR20220081326A (ko) 2022-06-15
CN116708829A (zh) 2023-09-05
US20220166989A1 (en) 2022-05-26
KR102490118B1 (ko) 2023-01-18
US20210105490A1 (en) 2021-04-08
CN116708828A (zh) 2023-09-05
CN116708831A (zh) 2023-09-05
US20220174292A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
WO2018199468A1 (ko) 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
WO2017022973A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2019045427A1 (ko) 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
WO2019147079A1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2013069975A1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
KR20210134265A (ko) 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
WO2013077659A1 (ko) 모션 벡터의 예측 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2013081365A1 (ko) 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
WO2018056709A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2019240425A1 (ko) 인터 예측 방법 및 영상 복호화 장치
WO2020185050A1 (ko) 인트라 블록 복사를 이용하는 영상 부호화 및 복호화
WO2022065977A1 (ko) 가변계수 딥러닝 기반 인터 예측 방법
WO2022045738A1 (ko) 딥러닝 기반 인루프 필터를 이용하는 영상 부호화 및 복호화
WO2021071145A1 (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
WO2020101392A1 (ko) 인터 예측 방법 및 이를 이용한 영상 복호화 장치
WO2022031003A1 (ko) 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법
WO2018128228A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2023022376A1 (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
WO2022177375A1 (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용하여 예측 블록을 생성하는 방법 및 이를 이용한 장치
WO2023219301A1 (ko) 인트라 예측 블록에 대한 움직임벡터 저장을 위한 방법 및 장치
WO2022114768A1 (ko) 성분 간 참조를 이용하는 잔차신호 생성방법과 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18789985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18789985

Country of ref document: EP

Kind code of ref document: A1