KR102192778B1 - 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 - Google Patents

선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 Download PDF

Info

Publication number
KR102192778B1
KR102192778B1 KR1020187011202A KR20187011202A KR102192778B1 KR 102192778 B1 KR102192778 B1 KR 102192778B1 KR 1020187011202 A KR1020187011202 A KR 1020187011202A KR 20187011202 A KR20187011202 A KR 20187011202A KR 102192778 B1 KR102192778 B1 KR 102192778B1
Authority
KR
South Korea
Prior art keywords
filter
block
interpolation
interpolation filter
video
Prior art date
Application number
KR1020187011202A
Other languages
English (en)
Other versions
KR20180057676A (ko
Inventor
세르게이 유리에비치 이코닌
맥심 보리소비치 시체브
빅터 알렉시비치 스테핀
로만 이고르비치 체른야크
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20180057676A publication Critical patent/KR20180057676A/ko
Application granted granted Critical
Publication of KR102192778B1 publication Critical patent/KR102192778B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

본 발명은 후속 프레임들의 비디오 스트림을 모션 보상에 따라, 인코딩된 비디오 비트 스트림으로 예측 코딩하는 비디오 코더에 관한 것으로, 이 비디오 코더는 비디오 스트림의 적어도 하나의 참조 프레임을 저장하도록 구성된 프레임 버퍼와, 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된 예측 유닛을 포함하며, 이 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 유닛은, 블러링 보간 필터, 탭 필터 및 선예화 필터가 후속하는 탭 필터라는 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하도록 구성된다.

Description

선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법
본 발명은 일반적으로 비디오 처리 분야 및 비디오 모션 보상 장치에 관한 것으로, 구체적으로는 비디오의 프레임을 예측하기 위한 모션 보상을 지원하는 비디오 코더 및 비디오 디코더에 관한 것이다. 본 발명은 또한 모션 보상을 사용하여 비디오 스트림을 코딩하는 방법 및 디코딩하는 방법에 관한 것이다. 마지막으로, 본 발명은 이러한 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
비디오 처리 분야, 특히 하이브리드 비디오 코딩 및 압축 분야에서, 변환 코딩뿐만 아니라 인터 예측(inter prediction) 및 인트라 예측(intra prediction)을 이용하는 것이 알려져 있다. 이러한 하이브리드 비디오 코딩 기술은 H.261, H.263, MPEG-1, 2, 4, H.264/AVC 또는 H.265/HEVC와 같은 공지된 비디오 압축 표준에서 사용된다.
도 1은 종래 기술에 따른 비디오 코더를 도시한 것이다. 비디오 코더(100)는 비디오 스트림의 프레임 또는 픽처의 입력 블록을 수신하기 위한 입력부 및 인코딩된 비디오 비트 스트림을 생성하기 위한 출력부를 포함한다. 비디오 코더(100)는 예측, 변환, 양자화 및 엔트로피 코딩을 비디오 스트림에 적용하도록 구성된다. 변환, 양자화 및 엔트로피 코딩은 각각 변환 유닛(101), 양자화 유닛(102) 및 엔트로피 인코딩 유닛(103)에 의해 각각 수행되어 인코딩된 비디오 비트 스트림을 출력으로서 생성한다.
비디오 스트림은 복수의 프레임에 대응하고, 각각의 프레임은 예측 유닛(108)에 의해 인트라 혹은 인터 코딩될 수 있는 특정 크기의 블록으로 분할된다. 예컨대 비디오 스트림의 제 1 프레임의 블록은 예측 유닛(108)을 통해서 인트라 코딩된다. 인트라 프레임은 동일한 프레임 내의 정보만을 사용해서 코딩되는 것으로, 따라서 독립적으로 디코딩될 수 있고, 비트 스트림 내에서 랜덤 액세스를 위한 엔트리 포인트를 제공할 수 있다. 비디오 스트림의 다른 프레임의 블록은 예측 유닛(108)을 통해서 인터 코딩된다. 재구성된 참조 프레임이라고 불리는 코딩된 프레임으로부터의 정보는 시간적인 중복을 감소시키는데 사용되어, 인터 코딩된 블록은 재구성된 참조 프레임 내의 동일 크기의 블록으로부터 예측된다. 예측 유닛(108)은 프레임의 블록이 인트라 코딩될지 혹은 인터 코딩될지를 선택하도록 구성된다.
인터 예측을 수행하기 위해서, 코딩된 참조 프레임은 역 양자화 유닛(104), 역 변환 유닛(105)에 의해 처리되고, 이후에 예측 블록에 추가되며, 루프 필터링 유닛(106)에 의해 처리되어서 재구성된 참조 프레임을 획득하며, 이는 시간적인 인터 프레임 예측에 사용되도록 프레임 버퍼(107)에 저장된다.
예측 유닛(108)은, 프레임 버퍼(107)로부터의 입력으로서, 인터 코딩될 혹은 인트라 코딩될 현재 프레임이나 픽처 및 하나 혹은 다수의 참조 프레임이나 픽처를 포함한다. 모션 추정 및 모션 보상은 예측 유닛(108)에 의해 적용된다. 모션 추정은 특정 비용 함수(cost function)에 기초해서 모션 벡터 및 참조 프레임을 획득하는데 사용된다. 그 다음에 모션 보상은 참조 프레임의 참조 블록을 현재 프레임으로 변환하는 관점에서 현재 프레임의 현재 블록을 기술한다. 예측 유닛(108)은 현재 블록에 대한 예측 블록을 출력하고, 여기서 예측 블록은 코딩될 현재 블록과 그 예측 블록의 차이를 최소화하며, 즉 잔차 블록(residual block)을 최소화한다. 잔차 블록의 최소화는, 예를 들어, 레이트-왜곡(rate-distortion) 최적화 과정에 기초한다.
그 후 현재 블록과 그 예측 사이의 차이, 즉 잔차 블록이 변환 유닛(101)에 의해 변환된다. 변환 계수는 양자화 유닛(102) 및 엔트로피 인코딩 유닛(103)에 의해 양자화되고 엔트로피 코딩된다. 이렇게 생성된 인코딩된 비디오 비트 스트림은 인트라 코딩된 블록 및 인터 코딩된 블록을 포함한다.
이러한 하이브리드 비디오 코딩은, 예측 에러의 변환 코딩과 조합된 모션 보상된 예측을 포함한다. 각각의 블록에 대해서, 추정된 모션 벡터는 인코딩된 비디오 비트 스트림에서 시그널링 데이터로서 전송된다. 오늘날의 표준 H.264/AVC 및 H.265/HEVC는 모션 벡터에 대한 ¼ 화소 변위 해상도(pel displacement resolution)에 기초한다. 분수 화소(fractional-pel) 변위를 추정하고 보상하기 위해, 분수 화소 위치에서 참조 블록이 보간되어야 한다. 이러한 분수 화소 위치에 보간되는 프레임을 획득하기 위해서 보간 필터가 사용된다.
보간된 블록의 품질은 사용되는 보간 필터의 특성에 크게 좌우된다. 예컨대 이중 선형 필터와 같은 쇼트-탭(Short-tap) 필터는 높은 주파수를 억제하고 보간된 프레임을 블러링한다. 롱-탭 필터와 같은 다른 필터는 높은 주파수는 유지하지만, 선예한 에지 주위에서 일부 링잉 결함을 발생시킬 수 있다. 다른 문제는 모션 보상이 이전에 인코딩되고 재구성된 프레임을 참조 프레임으로서 이용한다는 점으로, 참조 프레임은 깁스 효과(Gibbs effect)라고도 하는 변환 계수의 양자화에 의해 야기되는 결함을 포함할 수 있다. 이러한 결함으로 인해서, 에지 및 에지 주위 영역은 왜곡될 수도 있다.
재구성된 참조 블록 및 프레임은 또한 비디오 코더 자체에 의해 발생되는 바람직하지 않은 오류 에지를 포함할 수도 있다. 이러한 결함은 각각의 블록의 개별적이고 독립적인 처리에 의해 유발될 수 있다. 이러한 측면에서, 루프 필터링 유닛(106)은 이러한 블록화 결함을 경감시키기 위한 목적의 비블록화 필터링을 적용하지만, 루프 필터링 유닛(106)은 이러한 결함을 부분적으로 제거하는 것만 가능하다. 다른 에지 결함은 매끄러운 그래디언트 영역의 대략 양자화에 의한 그래디언트 블렌딩과 관련될 수 있다. 결과적으로, 참조 블록 및 프레임은 바람직하지 않은 에지를 포함할 수 있다.
모션 예측의 품질은 여러가지 요인에 의존한다. 참조 블록에서 구성되는 참조 블록의 품질, 결함의 존재 및 바람직하지 않은 노이즈는 모션 예측의 품질에 크게 영향을 미친다. 나아가 보간 필터는 보간된 에지의 품질, 이들의 블러링 및 보간된 블록 내의 링잉의 존재를 정의한다. 대부분의 결함이 에지 부근에서 나타나기 때문에, 예측 블록의 컨텐츠는 모션 예측의 품질에도 영향을 미친다.
모션 보상된 예측을 개선하기 위한 여러가지 기술이 종래부터 알려져 있다. 예컨대, 이전 H.264/AVC 표준보다 우수한 보간 품질을 제공하는 더 세련된 고정 선형 보간 필터를 가진 비디오 코딩 표준 H.265/HEVC이 제안되었다. 또한, 루프 필터링 유닛(106)에서 ALF(adaptive loop filtering)이 수행될 수 있다. 이러한 필터링은 통상적으로 비너(Wiener) 기반의 선형 적응 필터를 도입해서 재구성된 블록과 원래 블록 사이의 차이를 최소화시키고 있다. 그러나, 인루프 필터는 모션 보간 이전에 참조 블록에 적용되기 때문에, 인루프 필터링 기술은 모션 보간 필터에 의해 야기되는 문제는 제거할 수 없다.
AIF(adaptive interpolation filters)은 보간된 블록과 원래 블록 사이의 차이를 최소화함으로써 각각의 분수(fractional) 모션 위치에 대한 비너 기반 최적 보간을 찾는 시도를 하는 것으로 알려진 기술이다. 이렇게 찾아진 필터 계수는 이후에 디코더에 전달되어야 한다. 이러한 적응 필터는 선형으로 계수의 매트릭스 및 벡터의 형태가 될 수 있다. 나아가, 각각의 부분 모션 벡터 위치는 자체의 최적 필터를 갖고 있다. 적응 필터의 형태 및 분수 위치에 대한 다수의 필터를 이동시킬 필요성은, 적응 보간 필터링 기술에 상당한 시그널링 오버헤드를 의미한다.
전술한 단점 및 문제점을 인식하여, 본 발명은 종래 기술을 개선하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 후속 프레임들의 비디오 스트림의 개선된 코딩 및 디코딩을 위한 비디오 코더, 코딩 방법, 비디오 디코더 및 디코딩 방법을 제공하는 것이다.
본 발명은, 특히 예측 코딩의 품질을 향상시키는 것을 목적으로 한다. 구체적으로, 본 발명은 모션 보상에 의해 야기되는 결함, 특히 분수 화소 위치의 참조 블록의 보간에 의해 유발되는 결함을 제거하고, 참조 프레임의 양자화 결함을 감소시킴으로써 예측의 품질을 개선하기 위한 것이다. 본 발명의 또 다른 목적은 인코딩된 비디오 비트 스트림의 시그널링 오버헤드를 낮은 레벨로 유지하는 것이다.
본 발명의 전술한 목적은 첨부된 독립 청구항들에 제공된 해결책에 의해 달성된다. 본 발명의 유익한 구현예들은 각각의 종속항들에서 추가로 정의된다.
본 발명의 제1 양상은 후속 프레임들의 비디오 스트림을 모션 보상에 따라, 인코딩된 비디오 비트 스트림으로 예측 코딩하기 위한 비디오 코더를 제공한다. 이 비디오 코더는 비디오 스트림의 적어도 하나의 참조 프레임을 저장하도록 구성된 프레임 버퍼를 포함한다. 비디오 코더는 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된 예측 유닛을 포함하며, 이 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 유닛은, 블러링 보간 필터, 탭 필터 및 선예화(sharpening) 필터가 후속하는 탭 필터라는 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하도록 구성된다.
따라서, 예측 유닛의 모션 보간 방식은, 블러링 보간 필터, 탭 필터 및 선예화 필터가 후속하는 탭 필터라는 언급한 3개의 보간 필터 타입을 포함한다. 예측 유닛은 비디오 컨텐츠에 따라서 필터 타입을 선택할 수 있다. 이들 3개의 필터 타입은 인코딩 처리 동안 상이한 컨텐츠의 타입마다 선택될 수 있다.
제1 양상에 따른 비디오 코더의 구현 형태에서, 블러링 보간 필터와 선예화 필터 중 적어도 하나는 적어도 하나의 적응 파라미터에 의해 제어되도록 구성된 적응 필터이다.
따라서, 참조 블록은 비디오의 특정 컨텐츠에 적응될 수 있는 보간 필터에 의해 보간될 수 있다. 적응시에 비디오 컨텐츠의 국지적 특성을 고려할 수 있으며, 적응 및 전송을 위한 계수를 하나만 가진 보간 필터의 파라미터 표현을 사용함으로써, 요구되는 시그널링 오버헤드가 한정될 수 있다.
제1 양상에 따른 비디오 코더의 구현 형태에서, 선예화 필터는 비선형 필터이다.
따라서, 이러한 비선형 선예화 필터를 사용하는 것은 모션 예측 향상에 바람직할 수 있다. 언샤프(unsharp) 마스킹 기술과 같이 선형 선예화 또는 디블러링 필터를 기반으로 하는 전통적인 에지 향상 기법은 주관적 품질을 향상시킬 수는 있지만 모션 보간 필터링에 의해 야기되는 링잉 결함을 억제할 수는 없다. 또한 이러한 선형 선예화는 링잉을 증가시키고 객관적인 성능 특성을 저하시킬 수 있다. 다른 한편, 제안되는 비선형 선예화 필터는 링잉 제거에 더 나은 결과를 제공할 수 있으며 따라서 바람직하다. 또한, 선예화 필터, 예컨대 적응형 선예화 필터에 비선형 설계를 사용하면 적응 파라미터의 수를 바람직하게 감소시킬 수 있고 따라서 시그널링 오버헤드를 감소시킬 수 있다.
제1 양상에 따른 비디오 코더의 또 다른 구현 형태에서, 상기 선예화 필터는, 하나의 적응 파라미터에 의해 제어되도록 구성된다.
따라서, 선예화 필터에 하나의 적응 파라미터만을 사용함으로써, 요구되는 시그널링 오버헤드는 더욱 제한될 수 있다. 특히, 시그널링 오버헤드를 동시에 증가시키는 일없이 예측 코딩에 사용되는 블록의 크기가 감소될 수 있다.
제1 양상에 따른 비디오 코더의 구현 형태에서, 상기 적응 선예화 필터는, 소스 블록의 에지 맵을 생성하도록 구성된 에지 맵 계산 유닛을 포함하며, 상기 소스 블록은 참조 블록 또는 예측 블록이다. 선예화 필터는 소스 블록의 에지 맵을 블러링하도록 구성된 블러링 필터를 포함한다. 선예화 필터는 블러링된 에지 맵을 고역 통과 필터링함으로써, 소스 블록의 각 위치에 대한 미분 벡터를 생성하도록 구성된 고역 통과 필터를 포함한다. 선예화 필터는 선예도 계수로 미분 벡터를 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛을 포함한다. 선예화 필터는 변위 벡터에 기초하여 예측 블록을 워핑하도록 구성된 워핑 유닛을 포함한다.
따라서, 선예화 필터의 이러한 구조는 링잉 결합을 제거하는 측면에서 더 우수한 결과를 바람직하게 제공할 수 있는 비선형 선예화 필터를 정의한다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 선예화 필터의 적응 파라미터는 선예도 계수를 포함한다.
따라서, 적응 파라미터로서 선예도 계수를 사용하는 것은 단 하나의 적응 파라미터만이 필요하다는 것을 의미하며, 이것은 시그널링 오버헤드를 더욱 감소시킨다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 예측 유닛은 잔차 블록을 최소화하는 선예도 계수를 선택하도록 구성되고, 잔차 블록은 현재 블록과 적응 선예화 필터에 의해 출력되는 예측 블록 사이의 차이이거나 혹은 예컨대 레이트-왜곡 최적화와 같은 비용 기준에 기초한다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 블러링 보간 필터는 그 설계의 특성으로 인해서 링잉을 발생시킬 수 없는 로우 패스 필터이다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 블러링 보간 필터는 단일 적응 파라미터를 포함한다.
따라서, 블러링 보간 필터에 단일 적응 파라미터만을 사용함으로써, 요구되는 시그널링 오버헤드는 더 제한될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 블러링 보간 필터의 적응 파라미터는 블러링 계수를 포함한다.
따라서, 적응 파라미터로서 블러링 계수를 사용하는 것은 하나의 적응 파라미터만 필요하다는 것을 의미하며, 이것은 시그널링 오버헤드를 더욱 감소시킨다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 블러링 보간 필터는 가우시안 필터 혹은 이중선형 필터로, 블러링 보간 필터가 가우시안 필터라면, 블러링 계수는 가우시간 분포의 표준 편차이다.
따라서, 예컨대 블러링 보간을 적용함으로써 예컨대, 재구성된 참조 프레임 내의 블록화 및 그래디언트 블렌딩에 의해 야기되는 바람직하지 않은 에지를 억제하는 것이 가능하다. 또한 바람직하지 않은 높은 주파수 노이즈는 재구성된 참조 프레임에서 억제될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 블러링 보간 필터는 표준 편차에 기초해서 가우시안 필터 계수를 계산하도록 구성된 계산 유닛 및 계산된 가우시안 필터 계수를 사용해서 예측 블록을 블러링 보간 필터의 출력으로서 생성하도록 구성된 필터링 유닛을 포함한다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 비디오 코더는 상이한 표준 편차에 기초해서 사전 계산된 가우시안 필터 계수의 세트를 저장하도록 구성된 유닛, 및 사전 계산된 가우시안 필터 중 하나를 사용해서 예측 블록을 블러링 보간 필터의 출력으로서 생성하도록 구성된 필터링 유닛을 포함한다.
따라서, 사전 계산은, 최적화 과정 동안에 계산 리소스가 절감될 수 있다는 효과를 갖고 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 예측 유닛은 잔차 블록을 최소화하는 블러링 계수를 선택하도록 구성되고, 잔차 블록은 현재 블록과 블러링 보간 필터에 의해 출력되는 예측 블록 사이의 차이이거나 혹은 예컨대 레이트-왜곡 최적화와 같은 비용 기준에 기초한다.
따라서, 모션 보상은 최적화 과정 동안 블러링 계수를 선택함으로써 더욱 개선될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 탭 필터는 선예한 스텝 응답을 가진 고정된 롱 탭 필터이다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 정수 화소 위치 및 분수 화소 위치 각각은 적어도 3개의 보간 필터 중 하나와 관련되며, 및/또는 선예화 필터 및/또는 블러링 보간 필터의 적응 파라미터의 값이 존재한다면 주어진 값과 관련된다.
따라서, 화소 위치가 3개의 보간 필터 중 하나와 관련되고 각각의 적응 파라미터와 관련될 수도 있기 때문에, 분수 모션 벡터 위치를 보간 필터 타입에 대한 시그널링 포인트 및 적응 파라미터로서 사용하는 것에 의해서, 시그널링 오버헤드는 감소될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 비디오 코더는 인코딩된 비디오 비트 스트림을 생성하고, 보간 필터링 타입 및 적응 파라미터의 주어진 값, 그리고 관련된 정수 화소 위치 혹은 분수 화소 위치를, 인코딩된 비디오 비트 스트림 내의 시그널링 신호로서 명시하도록 구성된 인코딩 유닛을 포함한다.
따라서, 디코더로 전송되어야 하는 시그널링 정보의 양이 감소될 수 있고, 시그널링 오버헤드는 감소될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 3개의 보간 필터 중 하나를 선택하는 것은, 주어진 정수 화소 위치 혹은 분수 화소 위치가 주어진 보간 필터의 선택 및 적응 파라미터의 값이 존재한다면 그 선택을 의미하도록, 정수 화소 위치 혹은 분수 화소 위치에 의존한다.
따라서, 추가적인 시그널링 오버헤드를 도입하는 일 없이 국부적 특징으로의 적응을 수행할 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 비디오 코더는, 정수 화소 위치 및 분수 화소 위치 각각에 대해서, 관련 보간 필터 타입 및/또는 적응 파라미터의 값이 존재한다면 이 값을 정의하는 적어도 하나의 보간 필터 패턴을 포함한다.
따라서, 보간 필터 패턴은 추가 시그널링 오버헤드를 도입하는 일 없이 보간 필터 타입 및 적응 파라미터 값을 적용 가능하다면 그 값 각각을 용이하게 정의할 수 있다.
따라서, 디코더는 화소 위치에 따라서 보간 필터 패턴에서 정의된 보간 필터를 선택할 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 비디오 코더는 복수의 보간 필터 패턴을 포함하고, 여기서 예측 유닛은 복수의 보간 필터 패턴 중 하나를 선택하도록 구성된다.
따라서, 복수의 보간 필터 패턴은 예컨대, 비디오 스트림을 코딩하는 동안 보간 필터 패턴 중 하나를 선택하기만 하면 되도록 사전에 계산되고 마련될 수 있다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 비디오 코더는 인코딩된 비디오 비트 스트림을 생성하고, 보간 필터 패턴을 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서 추가하도록 구성된 인코딩 유닛을 포함한다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 복수의 보간 필터 패턴이 제공되는 경우에, 인코딩 유닛은 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서, 선택될 보간 필터 패턴에 관한 선택 정보를 추가하도록 구성된다.
따라서, 이 선택 정보 혹은 인덱스 정보는 디코더에 의해 선택되어야 하는 보간 필터 패턴을 나타낼 수 있다. 디코더가 복수의 보간 필터 패턴을 이미 알고 있는 경우에, 이 선택 정보는 시그널링 오버헤드를 더 감소시킨다.
제1 양상에 따른 비디오 코더의 일 구현 형태에서, 인코딩 유닛은, 프레임 레벨에서, GOP(group of pictures) 레벨에서, PPS(picture parameter set) 레벨에서 혹은 SPS(sequence parameter set) 레벨에서, 프레임의 임의의 영역 혹은 정규 영역에 대해서, 각각의 예측 블록에 대해서 선택될 보간 필터 패턴에 관한 시그널링 정보를 추가하도록 구성된다.
이에 따라, 보간 필터 정보를 원하는 입도로 설정하여 시그널링이 최적화될 수 있도록 하는 것이 가능하다.
본 발명의 제2 양상은 후속 프레임들의 비디오 스트림을 모션 보상에 따라, 인코딩된 비디오 비트 스트림으로 예측 코딩하는 방법을 제공한다. 이 방법은 비디오 스트림의 적어도 하나의 참조 프레임을 저장하는 단계를 포함한다. 이 방법은 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 것을 포함하는 예측 단계를 포함하고, 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 단계는, 블러링 보간 필터, 탭 필터 및 선예화 필터가 후속하는 탭 필터라는 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하는 단계를 더 포함한다.
본 발명의 제2 양상에 따른 방법의 다른 특징 또는 구현예는 본 발명의 제1 양상에 따른 비디오 코더 및 이것의 다른 구현 형태의 기능을 수행할 수 있다.
본 발명의 제3 양상은 후속 프레임들의 비디오 스트림을 모션 보상에 따라 예측 코딩함으로써 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 비디오 디코더를 제공한다. 이 비디오 디코더는 인코딩된 비디오 비트 스트림으로부터 획득된 적어도 하나의 참조 프레임을 저장하도록 구성된 프레임 버퍼를 포함한다. 이 비디오 디코더는 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된 예측 유닛을 포함하고, 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 유닛은, 블러링 보간 필터, 탭 필터 및 선예화 필터가 후속하는 탭 필터라는 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하도록 구성된다.
따라서, 제1 양상에 따른 비디오 코더와 관련해서 얻어지는 이점은 제3 양상에 따른 비디오 디코더와 관련해서도 주어진다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 블러링 보간 필터 및 선예화 필터 중 적어도 하나는 적어도 하나의 적응 파라미터에 의해 제어되도록 구성된 적응 필터이다.
따라서, 참조 블록은 비디오의 특정 컨텐츠에 적응될 수 있는 보간 필터에 의해 보간될 수 있다. 적응시에 비디오 컨텐츠의 국지적 특성을 고려할 수 있고, 적응 및 전송을 위한 계수를 하나만 가진 보간 필터의 파라미터 표현을 사용함으로써, 요구되는 시그널링 오버헤드는 제한될 수 있다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 3개의 보간 필터 중 하나를 선택하는 것은, 주어진 정수 화소 위치 혹은 분수 화소 위치가 주어진 보간 필터의 선택 및/또는 적응 파라미터의 값이 존재하는 경우 그 값을 의미하도록, 정수 화소 위치 혹은 분수 화소 위치에 의존한다.
따라서, 보간 필터 타입 및 적응 파라미터에 대한 시그널링 포지션으로서 분수 모션 벡터 위치를 사용하는 것은 추가 시그널링 오버헤드를 발생시키지 않는다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 예측 유닛은 보간 필터 패턴에 따라서 3개의 보간 필터 중 하나를 선택하도록 구성된다. 이 보간 필터 패턴은 모션 벡터의 정수 위치 및 관련 분수 위치에 대해서, 관련 보간 필터 타입 및/또는 적응 파라미터의 값이 존재한다면 그 값을 정의한다.
따라서, 보간 필터 패턴은 보간 필터 타입 및 적응 파라미터를 적용 가능하다면 그 값을 각각 용이하게 정의할 수 있으며, 이로써 시그널링 오버헤드가 더 감소될 수 있다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 비디오 디코더는 인코딩된 비디오 스트림으로부터 시그널링 정보로서 보간 필터 패턴을 획득하도록 구성된 디코딩 유닛을 포함한다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 비디오 디코더는 인코딩된 비디오 스트림으로부터 시그널링 정보로서 복수의 보간 필터 패턴 및 선택되는 보간 필터 패턴에 관한 선택 정보를 획득하도록 구성된 디코딩 유닛을 포함한다. 예측 유닛은 획득한 선택 정보에 따라서 획득한 보간 필터 패턴 중 하나를 선택하고, 선택한 보간 필터 패턴에 따라서 3개의 보간 필터 중 하나를 선택하도록 구성된다.
따라서, 이 선택 정보 혹은 인덱스 정보는 디코더에 의해 선택되어야 하는 보간 필터 패턴을 나타낼 수 있다. 디코더가 복수의 보간 필터 패턴을 이미 알고 있는 경우에, 인코딩된 비디오 비트 스트림을 통해서 그 선택 정보만 전송하면 되기 때문에, 시그널링 오버헤드는 더 감소될 수 있다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 예측 유닛은 비디오 디코더가 인코딩된 비디오 비트 스트림을 수신하기 전에 복수의 보간 필터 패턴을 사전 저장하도록 구성된다. 비디오 디코더는 인코딩된 비디오 비트 스트림으로부터 시그널링 정보로서, 사전 저장된 선택되는 보간 필터 패턴에 관한 선택 정보를 획득하도록 구성된다. 예측 유닛은 획득된 선택 정보에 따라서 사전 저장된 보간 필터 패턴 중 하나를 선택하고, 선택된 보간 필터 패턴에 따라서 3개의 보간 필터 중 하나를 선택하도록 구성된다.
따라서, 디코더는 복수의 보간 필터 패턴을 이미 알고 있어서, 인코딩된 비디오 비트 스트림을 통해서 이 선택 정보를 전송하기만 하면 된다. 따라서 시그널링 오버헤드가 더 감소될 수 있다.
제3 양상에 따른 비디오 디코더의 일 구현 형태에서, 디코딩 유닛은 프레임 레벨에서, GOP 레벨에서, PPS 레벨에서 혹은 SPS 레벨에서, 프레임의 임의의 영역 혹은 정규 영역에 대해서, 각각의 예측 블록에 대해서 선택될 보간 필터 패턴에 관한 시그널링 정보를 획득하도록 구성된다.
이에 따라, 보간 필터 정보를 원하는 입도로 설정하여 시그널링이 최적화될 수 있도록 하는 것이 가능하다.
본 발명의 제1 양상에 따른 방법의 비디오 코더의 다른 특성 혹은 구현예는, 특히 적어도 3개의 보간 필터 및 그 구조와 관련해서, 본 발명의 제3 양상에 따른 비디오 디코더에도 적용 가능하다.
본 발명의 제4 양상은 후속 프레임들의 비디오 스트림을 모션 보상에 따라 예측 코딩함으로써 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 방법을 제공한다. 이 방법은 인코딩된 비디오 비트 스트림으로부터 획득된 적어도 하나의 참조 프레임을 저장하는 단계를 포함한다. 이 방법은 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 예측 단계를 포함하고, 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 단계는, 블러링 보간 필터, 탭 필터 및 선예화 필터가 후속하는 탭 필터라는 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하는 단계를 더 포함한다.
본 발명의 제4 양상에 따른 방법의 다른 특징 또는 구현예는 본 발명의 제3 양상에 따른 비디오 디코더 및 이것의 다른 구현 형태의 기능을 수행할 수 있다.
본 발명의 제5 양상은 컴퓨터 프로그램이 컴퓨팅 장치에서 실행될 때 코딩 및/또는 디코딩 방법을 수행하는 프로그램 코드를 가진 컴퓨터 프로그램을 제공한다.
본 발명은, 블러링 및 국지적인 이미지 특성에 따라서 적응적으로 조정될 수 있는 종래의 선예화 보간을 포함한 개선된 모션 보간 필터링 방식을 적용하는 것을 특징으로 하는 모션 보상을 제공한다. 모션 보간 방식은 블러링 필터, 고정 필터 및 선예화 필터와 같은 3개의 상이한 필터 타입을 포함하며, 이는 인코딩 처리에서 선택될 수 있다. 블러링 및 선예화 필터는 픽처를 코딩하는 국지적 특성에 더 양호하게 맞추도록 적응될 수 있다. 보간 필터 타입 및 적응 파라미터를 디코더에 시그널링하기 위해서, 모션 벡터 위치를 사용하는 것이 제안되었다.
제안된 보간 필터링 방식으로 통해서, 3가지 타입을 적용함으로써 픽처를 코딩하는 국지적 특성에 대한 적응을 수행할 수 있다. 적응을 위해서 하나의 계수만을 사용하는 적응 필터의 파라미터 표현으로 인해서 감소된 시그널링 오버헤드가 달성될 수 있으며, 이로써 시그널링 오버헤드를 감소시키고 더 작은 픽처 코딩 영역에 적응하는 것이 가능하다. 보간 필터 타입 및 적응 파라미터에 대한 시그널링 포인트로서 분수 모션 벡터 위치를 사용함으로써 시그널링 오버헤드는 더 감소될 수 있다. 적응은 감소된 시그널링 오버헤드로 인해서 작은 픽처 코딩 영역의 국지적 특성에 대해서 수행될 수 있다. 보간된 에지의 품질은 유지하면서, 모션 보간 필터에 의해 야기되는 링잉 결함 및 에지의 블러링은 감소될 수 있다. 참조 픽처의 변환 계수의 양자화에 의해 야기되는 링잉 결함 및 에지의 블러링을 감소시키는 것도 가능하다. 모션 블러에 의해 야기되는 에지의 블러링도 감소될 수 있다. 제안된 방식은, 예컨대 블러링 보간을 적용함으로써 재구성된 참조 픽처 내의 블록화 및 그래디언트 블렌딩에 의해 유발되는 바람직하지 않은 에지를 억제하고, 블러링 보간을 적용함으로써 재구성된 참조 픽처 내의 바람직하지 않은 높은 주파수 노이즈를 억제할 수 있다. 제안된 방식은 또한 재구성된 픽처의 에지의 주관적인 품질도 증가시키고, 블러링된 매끄러운 그래디언트 영역의 주관적 품질을 증가시킨다. 제안된 보간 필터링은 루프 혹은 인루프 참조 필터링이 행하는 작업을 수행하고, 동시에 종래의 모션 보간 필터에 의해 이미지 컨텐츠에 적응적으로 야기되는 결함을 감소시킨다.
본원 명세서에 기재된 모든 장치, 구성요소, 유닛 및 수단은 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합으로 구현될 수 있다는 점을 주지해야 한다. 본원 명세서에서 기술된 다양한 개체들에 의해 수행되는 모든 단계들 및 다양한 개체들에 의해 수행되는 것으로 기술된 기능들은 제각기의 엔티티가 제각기의 단계들 및 기능들을 수행하도록 적응되거나 구성됨을 나타내기 위한 것이다. 특정 실시예에 대한 다음의 설명에서, 영구적 개체에 의해 완전하게 형성되는 특정 기능 또는 단계가 특정 단계 또는 기능을 수행하는 개체의 특정 세부 요소의 설명에 반영되지 않았다 하더라도, 이러한 방법 및 기능이 각각의 소프트웨어 또는 하드웨어 요소 또는 이들의 임의의 조합으로 구현될 수 있다는 것은 당업자에게 명확할 것이다.
본 발명의 전술한 양상 및 구현 형태는 첨부된 도면과 관련하여 이하의 특정 실시예에 대한 설명에서 설명할 것이다.
도 1은 종래 기술에 따른 비디오 코더를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 비디오 코더를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 비디오 코더의 보간 필터를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 비디오 디코더를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 비디오 코딩 방법을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 비디오 디코딩 방법을 도시한 것이다.
도 7은 본 발명에 따른 블러링 보간 필터의 실시예를 도시한 것이다.
도 8은 본 발명에 따른 선예화 필터의 실시예를 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 블러링 보간 필터의 보간 필터 패턴을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 선예화 필터의 보간 필터 패턴을 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 혼합 보간 필터 패턴을 도시한 것이다.
도 12는 보간 필터 패턴이 상이한 본 발명의 일 실시예를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 비디오 코더를 도시한 것으로, 상세하게 비디오 코더(200)는 후속하는 프레임의 비디오 스트림을 모션 보상에 따라 인코딩된 비디오 비트 스트림으로 예측 코딩한다. 나아가, 도 3은 본 발명의 일 실시예에 따른 비디오 코더의 보간 필터를 도시한 것이다.
비디오 코더(200)는 특히 프레임 버퍼(207) 및 예측 유닛을 포함한다.
프레임 버퍼(207)는 비디오 스트림의 적어도 하나의 참조 프레임 혹은 픽처를 저장하도록 구성된다. 예측 유닛(210)은 분수 화소 해상도를 가진 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된다. 이 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다.
나아가, 예측 유닛(210)은 적어도 3개의 이하 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하도록 구성된다.
- 블러링 보간 필터(302)
- 탭 필터(303), 및
- 탭 필터(303)에 후속하는 선예화 필터(311)
도 3에 도시된 선예화 필터(311)는 도 2의 참조 번호 208을 참조한다. 도 3의 블러링 보간 필터(302) 밑 탭 필터(303)는 도 2에 보간 필터 블록(209)으로 표시되어 있다.
이 참조 프레임은 비디오 스트림의 현재 프레임과는 상이할 수 있다. 특히 본 발명의 문맥상, 현재 프레임은 현재 인코딩되는 비디오 스트림의 프레임이고, 참조 프레임은 이미 인코딩되고 재구성된 비디오 스트렘의 프레임이다. 이하, 특징 '프레임'을 참조하는 것은 특징 '픽쳐'를 참조하는 것으로 대체될 수 있다.
현재 프레임은 인터 코딩 기법을 사용해서 인코딩될 수 있으며 즉, 현재 프레임은 현재 프레임과 다른 적어도 하나의 참조 프레임으로부터 예측된다. 참조 프레임은 이전 프레임, 즉 후속하는 프레임의 비디오 스트림 내에서 현재 프레임 이전에 위치된 프레임이 될 수 있다. 다른 방안으로, 포워드 예측이 사용되는 경우에, 참조 프레임은 미래 프레임, 즉 현재 프레임 이후에 위치된 프레임이 될 수 있다. 복수의 참조 프레임의 경우에, 적어도 하나는 이전 프레임이 될 수 있고 이들 중 적어도 하나는 미래 프레임이 될 수 있다. 참조 프레임은 인터 코딩될 수 있고, 즉 임의의 추가 프레임을 사용하지 않고 다른 프레임에 대한 어떤 의존없이 사용될 수 있으며, 따라서 독립적으로 디코딩될 수 있고 랜덤 비디오 액세스를 위한 엔트리 포인트로서의 역할을 할 수 있다.
특히, 예측 유닛(210)은, 모션 벡터를 생성하고 현재 프레임의 현재 블록과 참조 프레임의 참조 블록 사이의 모션을 추정함으로써 모션 추정을 수행하도록 구성된다. 이 모션 추정은 인코딩 동안 수행되어서 예컨대, 레이트-왜곡 최적화와 같은 특정함 비용 함수에 기초해서 참조 프레임의 최상의 참조 블록을 가리키는 모션 벡터를 찾아낸다. 예측 유닛(210)은 모션 추정 이외에 모션 벡터 및 참조 블록에 기초해서 현재 블록에 대한 예측 블록을 생성함으로써 모션 보상을 수행하도록 더 구성된다.
특히, 모션 예측은 모션 추정 및 모션 보상을 포함한다. 모션 벡터는 모션 추정 유닛을 사용해서 생성된다. 참조 블록 및 현재 블록은 바람직하게는 참조 프레임과 현재 프레임의 각각의 에어리어 혹은 서브에어리어이다. 이러한 블록은 직사각형 형상과 같은 일정한 형상을 가질 수도 있고 혹은 불규칙한 형상을 가질 수도 있다. 이와 달리, 블록은 프레임과 동일한 크기를 가질 수도 있다. 현재 블록과 기준 블록 모두 동일한 크기를 갖는다. 블록의 크기는 부가 정보 혹은 시그널링 데이터로서 디코더로 전송되는 블록 모드 정보를 통해서 정의될 수 있다. 블록은 예컨대, 64×64 픽셀과 같은 프레임의 일부를 포함한 사전 정의된 크기의 비디오 시퀀스의 기본 코딩 구조인 코딩 단위에 대응할 수 있다.
예측 블록은 참조 블록을 고려해서 현재 블록에 대해서 생성된다. 특히, 복수의 예측 블록이 복수의 참조 블록을 고려해서 현재 프레임의 복수의 현재 블록에 대해서 생성될 수 있다. 이들 참조 블록은 단일 참조 프레임의 일부가 될 수도 있고 혹은 다른 참조 프레임으로부터 선택될 수도 있다. 다수의 예측 블록이 현재 프레임에 대해서 생성될 수도 있고, 현재 프레임에 대해서 생성된 예측 블록들이 결합되어서 현재 프레임의 예측 프레임을 획득할 수도 있다.
도 2의 비디오 코더(200)는 특히 하이브리드 비디오 코딩을 지원하기 위한 도 1의 비디오 코더(100)와 유사한 유닛을 포함한다. 예컨대, 비디오 코더(200)는, 주파수 도메인으로의 변환을 통해서 변환 계수를 생성하고, 계수를 양자화하며, 양자화된 계수를 예컨대 시그널링 데이터와 함께 엔트로피 코딩하도록, 이미 공지되어 있는 변환 유닛(201), 양자화 유닛(202) 및 엔트로피 인코더나 엔트로피 인코딩 유닛(203)과 유사한 유닛을 포함한다. 변환 유닛(201)의 입력은 도 2에 비디오 블록으로서 나타난 현재 프레임의 현재 블록과 예측 유닛(210)에 의해 출력되는 예측 블록 사이의 차로서 정의되는 잔차 블록이다. 엔트로피 인코딩 유닛(203)은 출력으로서 인코딩되는 비디오 비트 스트림을 생성하도록 구성된다.
비디오 코더(200)는 역양자화 유닛(204), 역변환 유닛(205) 및 루프 필터링 유닛(206)과 유사한 유닛을 더 포함한다. 양자화 유닛(202)에 의해 생성되는 양자화된 변환 계수는 역양자화 유닛(204) 및 역변환 유닛(205) 각각에 의해 역양자화되고 역변환되어서, 변환 유닛(201)으로 공급되는 잔차 블록에 대응하는 재구성되는 잔차 블록을 획득한다. 이후에 재구성된 잔차 블록은 잔차 블록을 생성하는데 이전에 사용된 예측 블록에 추가되어서, 현재 블록에 대응하는 재구성된 현재 블록을 획득하며, 이 재구성된 현재 블록은 도 2의 재구성된 비디오 블록을 가리킨다. 재구성된 현재 블록은 루프 필터링 유닛(206)에 의해서 처리되어서 블록 방식 처리 및 양자화에 의해 도입되는 결합을 제거할 수 있다. 적어도 하나의 블록 혹은 바람직하게는 복수의 현재 블록을 포함하는 현재 프레임은 이후 재구성된 현재 블록으로부터 재구성될 수 있다. 재구성된 현재 블록은 비디오 스트림의 다른 프레임의 인터 예측을 위한 참조 프레임의 역할을 하도록 프레임 버퍼(207)에 저장될 수 있다.
본 발명에 의해 제안되는 모션 보간 방식은 예측 유닛(210)에 배치되고, 분수 및 정수 픽셀 위치에서 프레임 블록을 획득하기 위한 모션 추정 및 모션 보상에 사용된다. 도 3에 도시된 바와 같이, 보간 방식은 이하의 3개의 보간 필터 타입에 기초한다.
- 예컨대, 가우시안 혹은 이중선형 필터와 같은, 바람직하게 링잉을 발생시키지는 않는 블러링 보간 필터(302),
- 예컨대, H.265/HEVC로부터의 이산 코사인 변환-기반 보간 필터(DCT-IF)와 같은, 일반적으로 링잉을 발생시킬 수 있는 선예 스텝 응답을 갖는 종래의 롱 탭 필터와 같은 탭 필터(303),
- 선예 스텝 응답을 갖는 상기 종래의 롱 탭 필터와 링잉을 감소시키고 에지의 선예도를 증가시키는 비선형 선예화 필터의 조합과 같은, 선예화 필터(311)가 후속하는 탭 필터(303)의 조합.
예측 유닛(210, 300)은 적어도 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 버퍼(207, 307)에 저장된 참조 블록을 보간하도록 구성된다.
모션 추정 동안, 이들 3개의 보간 타입 중 하나는 예컨대, 최소 예측 에러를 수행하는 판정 유닛(305)에 의해 비용(레이트/왜곡) 기준의 최소화에 의해 선택될 수 있다.
도 4는 본 발명의 실시예에 따른 비디오 디코더, 및 상세하게는 모션 보상에 따른 후속 프레임의 비디오 스트림을 예측 코딩함으로써 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 비디오 디코더(400)를 나타낸다.
비디오 디코더(400)는 특히 프레임 버퍼(407) 및 예측 유닛(410)을 포함한다. 프레임 버퍼(407)는 인코딩된 비디오 비트 스트림으로부터 획득한 적어도 하나의 참조 프레임을 저장하도록 구성된다. 예측 유닛(410)은, 분수 화소 해상도를 가진 모션 벡터에 따른 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성되고, 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 유닛(410)은 적어도 3개의 이하 보간 필터 중 하나를 통해서 분수 화소 해상도에 따른 참조 블록을 보간하도록 구성된다.
- 블러링 보간 필터(302),
- 탭 필터(303), 및
- 선예화 필터(311)가 후속하는 탭 필터(303).
디코더(400)는 비디오 코더(300)에 의해 생성된 인코딩된 비디오 비트 스트림을 디코딩하도록 구성되고, 디코더(400)와 코더(300) 모두 동일한 예측을 생성한다. 도 3에 도시된 선예화 필터(311)는 도 4에서 참조 번호 411에 의해 지시된다. 도 3의 블러링 보간 필터(302) 및 탭 필터(303)는 도 2에서 보간 필터 블록(409)에 의해 표시된다.
특히, 비디오 디코더(400)는, 예컨대, 역양자화 유닛(404), 역변환 유닛(405) 및 루프 필터링 유닛(406)과 같은 비디오 코더(200)에도 존재하는 추가 유닛을 포함할 수 있으며, 이들 각각은 비디오 코더(200)의 역양자화 유닛(204), 역변환 유닛(205) 및 루프 필터링 유닛(206)에 대응한다. 엔트로피 디코딩 유닛(403)은 수신한 인코딩된 비디오 비트 스트림을 디코딩하고, 따라서 양자화된 잔차 변환 계수 및 시그널링 정보가 존재한다면 이 정보를 획득하도록 구성된다. 양자화된 잔차 변환 계수는 역양자화 유닛(404) 및 역변환 유닛(405)에 공급되어서 잔차 블록을 생성한다. 잔차 블록은 예측 블록에 추가되고, 이 추가분은 루프 필터링 유닛(406)에 공급되어서 디코딩된 비디오를 획득한다. 디코딩된 비디오의 프레임은 프레임 버퍼(407)에 저장되어서 인터 예측을 위한 참조 프레임의 역할을 할 수 있다.
비디오 코더(200) 및 비디오 디코더(400)는 유사한 보간 필터, 이를 테면 블러링 보간 필터(302), 탭 필터(303) 및 탭 필터(303)와 선예화 필터(311)의 조합을 포함한다. 바람직하게는, 블러링 보간 필터(302)와 선예화 필터(311) 중 적어도 하나는 적어도 하나의 적응 파라미터에 의해 제어되도록 구성된 적응 필터이다.
코더측 및 디코더측의 동일한 예측을 보장하기 위해서, 정수 화소 위치 및 분수 화소 위치 각각은 적어도 3개의 보간 필터(302, 303, 303+311) 중 상기 하나와 연관되고, 및/또는 선예화 필터(311)의 적응 파라미터의 및/또는 블러링 보간 필터(302)의 주어진 값이 존재한다면 이 값과 연관된다.
비디오 코더(200) 및 비디오 디코더(400)의 경우, 3개의 보간 필터 중 하나를 선택하는 것은 정수 화소 위치 혹은 분수 화소 위치에 따라 달라지며, 그 결과 주어진 정수 화소 위치 혹은 분수 화소 위치는 주어진 보간 필터의 선택 및 적응 파라미터가 있다면 그 선택을 의미한다.
비디오 코더(200) 측에서, 3개의 보간 필터 중 하나를 선택하는 것은 모션 추정 동안 획득된 모션 벡터에 의해 정의된 정수 화소 위치 혹은 분수 화소 위치에 의존한다. 비디오 코더(200)의 인코딩 유닛(203)은 인코딩된 비디오 비트 스트림을 생성하고, 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서, 관련된 정수 화소 위치 혹은 분수 화소 위치는 물론, 보간 필터 타입 및 적응 파라미터가 존재한다면 그 주어진 값을 명시하도록 구성된다. 나아가, 인코딩 유닛(203)은 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서, 상기 모션 벡터를 명시한다.
비디오 디코더(400)는 이 시그널링 정보를 인코딩된 비디오 비트 스트림으로부터 획득하도록 구성된다. 디코더(400)는 보간 필터 타입 및 관련 화소 위치를 수신하고, 특히 각각의 화소 위치에 대해서 관련 보간 필터 타입을 수신한다. 디코더(400)는 각각의 화소 위치에 대한 적응 파라미터의 주어진 값이 존재한다면 이것도 수신한다. 나아가, 비디오 디코더(400)는 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서 모션 추정 동안 코더(200)에 의해 결정된 모션 벡터를 획득하도록 구성된다. 따라서, 획득된 모션 벡터를 사용해서, 디코더(400)는 화소 위치 및 관련 보간 필터 타입, 그리고 관련 적응 파라미터 값이 존재한다면 이것도 추론하는 것이 가능하다. 따라서, 시그널링 오버헤드를 감소시키지 않으면서 코더와 디코더 측에서 동일한 예측이 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 비디오 코딩 방법, 특히 모션 보상에 따라서 후속하는 프레임의 비디오 스트림을 인코딩된 비디오 비트 스트림으로 예측 코딩하는 방법을 도시한다.
이 방법은 비디오 스트림의 적어도 하나의 참조 프레임을 저장하는 단계(501)를 포함한다.
이 방법은 또한 분수 화소 해상도를 갖는 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 것을 포함하는 예측 단계(502)를 더 포함한다. 이 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 나아가, 예측 단계는 적어도 이하의 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하는 것을 포함한다.
- 블러링 보간 필터,
- 탭 필터, 및
- 선예화 필터가 후속하는 탭 필터.
도 6은 본 발명의 일 실시예에 따른 비디오 디코딩 방법, 특히 모션 보상에 따라서 후속하는 프레임의 비디오 스트림을 예측 코딩함으로써 획득한 인코딩된 비디오 비트 스트림을 디코딩하는 방법을 도시한다.
이 방법은 인코딩된 비디오 비트 스트림으로부터 획득한 적어도 하나의 참조 프레임을 저장하는 단계(601)를 포함한다.
이 방법은 또한 분수 화소 해상도를 갖는 모션 벡터에 따라서 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 것을 포함하는 예측 단계(602)를 더 포함한다. 이 분수 화소 해상도는 정수 화소 위치 및 분수 화소 위치를 정의한다. 예측 단계는 적어도 이하의 3개의 보간 필터 중 하나를 통해서 분수 화소 해상도에 따라서 참조 블록을 보간하는 것을 더 포함한다.
- 블러링 보간 필터,
- 탭 필터, 및
- 선예화 필터가 후속하는 탭 필터.
비디오 코더(200) 혹은 비디오 디코더(400)와 관련해서 설명되는 추가 특성 및 특성은 코딩 방법 및 디코딩 방법에 적용될 수도 있다.
도 7은 본 발명에 따른 블러링 보간 필터의 실시예, 특히 비디오 코더(200)의 블러링 보간 필터(302)의 실시예를 도시한 것이다.
도 7의 실시예에서, 블러링 보간 필터(302)는 파라미터 형태의 가우시안 필터로서 구현된다. 블러링의 양은 가우시안 필터의 하나의 적응 파라미터 σ에 의해서만 제어될 수 있다. 이 하나의 적응 파라미터는, 필터가 용이하게 최적화될 수 있고 적응 블러링 파라미터를 전달하기 위한 시그널링 오버헤드가 감소될 수 있다는 장점을 갖는다.
블러링 보간 필터(302)는 입력으로서 모션 벡터를 수신한다. 모션 벡터는 모션 추정 동안 코더(200)에 의해 결정된다. 모션 벡터에 기초해서 유닛(701)은 이 모션 벡터의 화소 위치 중 분수 부분을 획득하도록 구성된다.
추가 유닛(702)은 주어진 파라미터 σ로 가우시안 필터 계수를 계산하고, 분수 시프트를 획득하도록 구성된다. 유닛(703)은 참조 블록 및 유닛(702)에 의해 계산된 보간 필터 계수를 입력으로서 사용해서 모션 예측 블록을 획득하도록 구성된다. 이후, 블러링 보간 필터(302)은 예측 에러 혹은 비용 기준을 통해서 예측 효율을 계산하도록 구성된다. 예측 에러는 잔차 블록에 대응하고, 원래의 블록과 예측 블록 사이의 차이로서 계산된다.
예측 효율을 최적화하기 위해서, 유닛(702)은 파라미터 σ의 다른 값에 대한 계수를 계산하도록 구성되어, 대응하는 예측 블록이 유닛(703)에 의해 획득될 수 있고 대응하는 예측 효율이 블러링 보간 필터(302)에 의해 계산될 수 있다. 파라미터 σ의 다른 값들에 대해서 이들 단계를 반복한 이후에, 블러링 보간 필터(302)는 최상의 예측 효율을 제공하는 파라미터 σ를 선택한다.
이와 달리, 파라미터 σ의 다른 값을 가진 가우시안 블러링 필터를 사전 계산하고, 다른 분수 위치에 대해서 이를 저장하는 것도 가능하다. 이로써 최적화 과정 동안 계산 리소스를 절감할 수 있다.
비디오 디코더(400)는 도 7에 도시된 코더(200)의 블러링 보간 필터(302)와 유사한 블러링 보간 필터를 포함한다. 비디오 디코더(400)의 블러링 보간 필터는 유사하게 유닛(701, 702, 703)을 포함하고, 유사하게 입력으로서 모션 벡터를 수신한다. 모션 벡터는 비디오 디코더(400)에 의해서 인코딩된 비디오 비트 스트림으로부터 시그널링 정보로서 획득된다. 디코더(400)는 보간 필터 패턴에 따라서 모션 벡터의 분수 부분으로부터 필터 계수를 생성하는데 사용될 파라미터 σ의 값을 도출한다.
비디오 코더(200)의 블러링 보간 필터와 비디오 디코더(400)의 블러링 보간 필터 사이의 차는 바람직하게는 예측 효율의 계산 및 파라미터 σ의 다른 값에 대한 예측 효율의 반복 계산에 의한 예측 효율의 최적화에 있다.
도 8은 본 발명에 따른 적응 선예화 필터의 실시예, 특히 비디오 코더(200)의 적응 선예화 필터(311)의 실시예를 나타낸다.
선예화 필터(311)는 비선형 필터인 것이 바람직하다. 모션 보간 필터 및 참조 블록 또는 프레임의 양자화로 인해 야기되는 결함을 제거하기 위해 선형 필터 대신 비선형 선예화 필터를 사용하는 것이 바람직하다. 비선형 필터를 선택함으로써 선예화 필터(311)의 적응 파라미터의 수를 감소시킬 수 있다. 구체적으로, 비선형 필터는 단지 하나의 적응 파라미터만을 이용할 수 있으므로, 인코딩된 비디오 비트 스트림의 시그널링 오버헤드가 감소된다. 본 발명은 또한 선예화 필터(311)를 제어하기 위해 둘 이상의 적응 파라미터의 사용을 커버하지만, 오직 하나의 적응 파라미터를 이용하는 선예화 필터가 특히 바람직한 실시예이다.
특히, 선예화 필터(311)는 에지 맵 계산 유닛(801, 802), 블러링 필터(804), 고역 통과 필터(805), 스케일링 유닛(806) 및 워핑 유닛(807)을 포함한다.
에지 맵 계산 유닛(801, 802)은 소스 블록의 에지 맵을 생성하도록 구성되며, 상기 소스 블록은 참조 블록 또는 예측 블록이다. 블러링 필터(804)는 소스 블록의 에지 맵을 블러링하도록 구성된다. 고역 통과 필터(805)는 블러링된 에지 맵을 고역 통과 필터링하여, 소스 블록의 각 위치에 대한 미분 벡터(d2x, d2y)를 생성하도록 구성된다. 스케일링 유닛(806)은 선예도 계수 k로 미분 벡터(d2x, d2y)를 스케일링하여 변위 벡터(wx, wy)를 생성하도록 구성된다. 워핑 유닛(807)은 변위 벡터(wx, wy)에 기초하여 예측 블록을 워핑하도록 구성된다.
이에 따라, 선예화 필터(800)를 제어하는 적응 파라미터는 선예도 계수(k)이다. 도 8에 도시된 선예화 필터(800)는 단지 하나의 적응 파라미터를 갖는 본 발명의 실시예이다.
에지 맵 계산 유닛(801, 802)은 소스 블록의 각각의 위치에 대한 그래디언트 벡터(dx, dy)를 생성하는 그래디언트 벡터 유닛(801), 및 소스 블록의 에지 맵을 생성하기 위해 각 위치의 그래디언트 벡터(dx, dy)의 길이를 계산하도록 구성된 그래디언트 벡터 길이 유닛(802)을 포함할 수 있다. 따라서, 이러한 구조는 워핑 변위 벡터를 생성하기 위해 블러링 필터, 고역 통과 필터 및 스케일링 유닛에 의해 추가 처리될 수 있는 에지 맵을 생성할 수 있게 한다.
그래디언트 벡터는 dx 및 dy에 대해 별도로, 즉 도 8에서 모션 예측 블록으로 지칭되는 소스 블록의 수평 및 수직 방향 모두에 대해 개별적으로 1차 도함수를 취하고, 다음 식에 따라 대응하는 프리윗(Prewitt) 필터를 적용함으로써 구해질 수 있다.
Figure 112018039462333-pct00001
Figure 112018039462333-pct00002
에지 맵은 다음 식에 따라 그래디언트 벡터 길이를 계산함으로써 그래디언트 벡터 길이 유닛(802)에 의해 구해질 수 있다 :
Figure 112018039462333-pct00003
바람직하게는, 선예화 필터(311)는 소스 블록의 에지 맵을 클립핑하도록 구성된 클리핑 유닛(803)을 포함하고, 클리핑 유닛(803)은 에지 맵 계산 유닛(801, 802)과 블러링 필터(804) 사이에 위치한다. 따라서, 임계 값을 갖는 에지 맵의 클립핑은 워핑 벡터의 극히 높은 값 및 낮은 값의 처리를 방지한다는 점에서, 임계 값을 갖는 에지 맵의 클립핑이 바람직하다.
클리핑된 에지 맵의 블러링 단계는 다음과 같이 정의될 수 있는 가우스 필터 형태의 블러링 필터(blurring filter)(804)에 의해 획득될 수 있다.
Figure 112018039462333-pct00004
고역 통과 필터는, d2x 및 d2y에 대해 별도로, 예컨대 다음 식에 따라 2차 미분을 얻는 데 사용된다.
Figure 112018039462333-pct00005
Figure 112018039462333-pct00006
변위 벡터(wx, wy)는 계수 k로 2차 미분 벡터(d2x, d2y)를 스케일링함으로써 얻어지며, 여기서 계수 k는 다음 식에 따라 선예도로 간주될 수 있다.
Figure 112018039462333-pct00007
워핑 유닛(807)은, 예컨대 분수 화소 위치에서 샘플 값을 얻기 위한 이중선형 보간 필터인 보간 필터를 포함한다. 워핑 유닛(807)은 스케일링 유닛(806)에 의해 생성된 변위 벡터를 사용한다. 이에 따라, 비디오 코더의 전체적인 품질이 향상되는 동시에, 원하는 분수 화소 위치에 대한 참조 프레임/블록의 보간을 제공한다.
감산 유닛(808)은 워핑 유닛(807)에 의해 생성된 선예화된 예측 블록과 인코딩될 블록에 대응하는 현재 블록 사이의 차를 형성하도록 구성된다. 감산 유닛(808)은 사실 잔차 블록을 생성한다. 선예화 필터(311)은, 잔차 블록을 최소화함으로써 또는 예컨대 레이트-왜곡에 기초한 비용 표준에 의해 최적의 선예도 k를 찾도록 구성된다.
비디오 디코더(400)는 도 8에 도시된 비디오 코더(200)의 적응 선예화 필터(311)와 유사한 적응 선예화 필터를 포함한다. 비디오 코더(200) 및 비디오 디코더(300)의 적응형 선명화 필터들 사이의 차이는 바람직하게는 이 감산 유닛(808) 및 이 잔차 블록의 최소화에 있다.
비디오 디코더(400)에서, 적응 파라미터, 예컨대 계수 k는 감산 유닛(808) 및 잔차 블록의 최소화를 통해 설정되지 않는다. 대신에, 적응 파라미터는 바람직하게는 보간 필터 패턴에 따라 모션 벡터의 분수 부분에 의존해서 비디오 디코더(400)에 설명된다.
선예화 필터(400)는 소스 블록으로부터 계산된 변위 벡터에 기초한 워핑을 포함하며, 이 소스 블록은 도 8에서 모션 예측 블록으로 지칭된다.
도 8에 도시되지 않은 실시예에 따르면, 소스 블록은 프레임 버퍼(207)에 저장된 참조 프레임의 참조 블록이며, 따라서 변위 벡터(wx, wy)는 참조 블록으로부터 유도된다. 따라서, 참조 블록은 선예화 변위 벡터 또는 워핑 변위 벡터라고 하는 변위 벡터를 얻기 위한 소스 블록으로 사용된다. 그 후, 워핑이 얻어진 변위 벡터를 사용하여 예측 블록에 적용된다. 이 실시예는 인코더 측에서 계산 자원을 절약한다는 점에서 유리하다.
도 8의 다른 실시예에 따르면, 소스 블록은 예측 유닛(210)에 의해 생성된 예측 블록이며, 따라서 변위 벡터(wx, wy)는 예측 블록으로부터 유도된다.
따라서, 소스 블록으로서 예측 블록을 선택하는 것은 예측 블록의 워핑을 수행하기 위한 적절한 변위 벡터의 계산을 가능하게 한다. 또한, 선예화 필터는 예측 블록에 대해 하나의 입력만을 요구하며, 참조 블록에 대한 제2 입력은 필요하지 않다.
도 8의 실시예와 관련해서, 선예화 필터는 단 하나의 계수, 예컨대 선예도 k에 의해서 제어될 수 있다. 이로써 적응 처리를 더 용이하게 할 수 있고, 종래의 선형 비너 기반의 적응 필터보다 전송에 더 적은 시그널링 비트가 요구된다. 알려진 선형 필터 대신 비선형 선예화 필터를 사용하는 것은 모션 보간 필터 및 참조 픽처의 양자화에 의해 야기되는 결함을 제거하는데 더 바람직하다.
도 9는 본 발명의 일 실시예에 따른 블러링 보간 필터의 보간 필터 패턴을 도시한 것이다. 도 9에 도시된 보간 필터 패턴은 정수 화소 위치 및 분수 화소 위치 각각에 대해서 관련 보간 필터가 블러링 보간 필터(302)라고 정의한다. 나아가, 도 9의 패턴은 각각의 화소 위치에 대해서 적응 파라미터의 값 예컨대, 블러링 계수 σ의 값을 정의한다.
모션 벡터의 분수 공간은 다수의 화소 공간을 포함한다. H.264/AVC 및 H.265/HEVC와 같은 최근의 비디오 코덱에서, 모션 벡터는 전형적으로 차원 X 및 Y 모두에서 전형적으로 ¼ 화소 해상도를 갖는다. 도 9는 이러한 ¼ 화소 해상도에 따른 본 발명의 실시예를 나타낸다. 이 해상도는 총 4×4=16개의 가능 위치를 의미한다. 이들 가능 위치는 사각형 'a'로서 표시된 하나의 정수 위치 및 15개의 분수 위치(b, c, d, e, f, g, h, i, j, k, l, m, n, o, p)를 포함한다. 분수 위치는 원(c, i, k)으로 표시된 3개의 ½ 화소 위치 및 대응하는 삼각형으로 표시된 12개의 ¼ 화소 위치를 포함한다. 이 패턴은 각각의 위치에 대해서 블러링 계수 σ에 대해 값 σ1, ..., σ16을 정의한다.
도 9의 보간 필터 패턴은 시그널링 정보로서 코더(200)에 의해 인코딩된 비디오 비트 스트림에 추가될 수 있고, 대응해서 이 인코딩된 비디오 비트 스트림으로부터 비디오 디코더(400)에 의해 획득될 수 있다. 도 9의 보간 필터 패턴에 때래서 보간을 수행하는 것은, 선예 스텝 응답을 가진 종래의 고정 필터를 사용하는 대신에, 보간을 위해서 블러링 보간 필터가 적용된다. 분수 위치와 관련된 블러링 계수 σi는 적응 블러링 보간 필터에 대해서 적응 계수로서 사용된다.
계수 σi는 일정해서 오프라인 트레이닝에 의해서 사전 정의될 수도 있고, 혹은 예컨대, 사전 코딩 실험에 기초해서 선택될 수도 있다. 패턴의 상이한 분수 위치에서 동일한 블러링 계수 σi를 갖는 것이 가능하다. 계수 σi는 또한 가변일 수 있고 시퀀스 레벨, GOP 레벨, 프레임 레벨 혹은 영역 레벨에서 적응적일 수 있다. 이 경우 추가 시그널링이 요구된다.
도 10은 본 발명의 일 실시예에 따른 선예화 필터의 보간 필터 패턴을 나타낸다.
도 10의 보간 필터 패턴은 도 9의 패턴과 유사하며, 정수 화소 위치 및 분수 화소 위치 각각에 대해서 관련 보간 필터가 선예화 필터(311)라고 정의한다. 나아가, 블러링 보간 필터의 블러링 계수 σ를 정의하는 대신에, 도 10의 보간 필터 패턴은 각각의 화소 위치에 대해서, 적응 파라미터의 값, 예컨대 선예도 계수 k의 값을 정의한다.
도 9와 유사하게, 계수 ki는 일정해서 오프라인 트레이닝에 의해서 사전 정의될 수도 있고, 혹은 예컨대, 사전 코딩 실험에 기초해서 선택될 수도 있다. 상이한 분수 위치에서 동일한 선예화 계수 ki를 갖는 것이 가능하다. 계수 ki는 또한 가변일 수 있고 시퀀스 레벨, GOP 레벨, 프레임 레벨 혹은 영역 레벨에서 적응적일 수 있다. 이 경우 추가 시그널링이 요구된다.
도 11은 본 발명의 추가 실시예에 따른 보간 필터 패턴을 나타낸다.
도 11에 도시된 패턴은 실제로 3개의 보간 필터 타입을 모두 포함하는 혼합 보간 필터 패턴이다. 일부 분수 화소 위치(b, e, f, g, h, j, n)는 관련 블러링 파라미터 σ를 가지며, 이는 이들 위치에 대해서, 블러링 보간 필터(302)에 대응하는 필터 파라미터 σ1, ..., σ7가 적용되어야 한다는 것을 의미한다.
일부 다른 화소 위치(l, o, p)는 관련 선예도 파라미터 k를 가지며, 이는 탭 필터(303)로 즉 종래의 고정 필터 탭으로, 보간된 이후에, 종래의 선예화 필터(311)는 대응하는 파라미터 값 k1, k2, k3이 적용되어야 한다.
일부 다른 화소 위치 a, c, d, i, k, m는 관련 파라미터를 갖지 않으며, 즉, 보간 필터 패턴은 임의의 파라미터 값을 이들 위치에 관련시키지 않는다. 이는 디코더(400)에 의해서, 이들 위치에 대해서 탭 필터(303) 즉, 종래의 선형 보간 필터가 사용되는 방식으로 해석된다.
이들 모든 보간 방식을 하나의 보간 필터 패턴으로 혼합함으로써, 인코더는 각각의 경우마다 이미지 컨텐츠에 가장 적절한 보간을 선택할 수 있다.
도 9, 10 및 11의 실시예에서, 모션 벡터의 분수 위치는 따라서, 보간 필터 타입에서는 물론 블러링 보간 필터(302)에 대해서 및 선예화 필터(311)에 대해서, 정의된 보간 필터 타입의 적응 파라미터를 정의할 수 있다. 보간 필터 패턴은 코더 및 디코더가 모두 알아야 한다. 이는 사전 정의될 수도 있고 혹은 적응적으로 부가 정보로서, 즉 인코딩된 비디오 비트 스트림의 시그널링 정보로서 전달될 수도 있다.
도 12는 보간 필터 패턴이 상이한 본 발명의 일 실시예를 도시한 것이다.
프레임의 일부 영역에서 블러링 보간 필터(302) 혹은 선예화 필터(311)를 사용하는 것은 필요하지 않을 수 있다. 이러한 경우에, 모든 분수 포인트에서 탭 필터(303)를 사용하는 것이 더 바람직하다. 프레임의 다른 영역에서, 블러링 보간 필터(302) 혹은 선예화 필터(311)를 적용하는 것이 최적일 수 있다.
이들 변형예를 커버하기 위해서, 프레임의 일부 국지적 영역에 대해서는 몇가지 다른 보간 필터 패턴을 정의하고, 예컨대, 레이트-왜곡 최적화와 같은 비용 기준에 기준해서 최상의 보간 필터 패턴을 선택하며, 주어진 영역에서 모션 보간에 어떤 보간 필터 패턴이 사용되어야 하는지 디코더(400)에 시그널링하는 것을 제안하고 있다.
이에 대응해서, 도 12는 다수의 영역을 포함하는 프레임을 나타내고 있으며, 예컨대 2개의 상이한 보간 필터 패턴이 사용된다. '보간 패턴 0'으로 표시된 제 1 패턴은 탭 필터(303), 즉 종래의 고정 보간 필터가 각각의 화소 위치에 사용되어야 한다는 것을 정의하고, '보간 패턴 1'로 표시된 제 2 패턴은 도 11에 도시된 바와 같은 고정 보간 필터 패턴이다.
도 12의 실시예에서, 코더(200)는 2개의 영역에 대해서 제 1 패턴을 선택하고, 프레임의 나머지 4개의 영역에 대해서는 제 2 패턴을 선택한다. 인코딩 처리 동안, 각각의 영역 - 예컨대, 각각의 LCU(largest coding unit)에 대해서 - 에 대해서 최상의 보간 필터 패턴이 선택될 수 있으며, 이는 제 1 혹은 제 2 보간 필터 패턴을 결정하는 하나의 비트로 디코더에 시그널링될 수 있다.
본 발명은 구현예들뿐만 아니라 예들로서 다양한 실시예와 함께 설명되었다. 그러나, 청구된 발명을 실시하는 당업자는 도면, 본원 개시 내용 및 독립 청구항의 연구로부터 다른 변형들을 이해하고 실시할 수 있을 것이다. 청구 범위 및 명세서에서 "포함"이라는 단어는 다른 요소 또는 단계를 배제하지 않으며, 단수형 용어는 복수를 배제하지 않는다. 단일 요소 또는 다른 유닛은 청구 범위에 기재된 여러 개체 또는 항목의 기능을 수행할 수 있다. 특정 수단이 서로 다른 종속항에 기재되어 있다는 단순한 사실이 이들 수단의 조합이 유리한 구현에 사용할 수 없다는 것을 나타내지는 않는다.

Claims (33)

  1. 후속 프레임들의 비디오 스트림을, 모션 보상에 따라, 인코딩된 비디오 비트 스트림으로 예측 코딩하는 비디오 코더로서,
    상기 비디오 스트림의 적어도 하나의 참조 프레임을 저장하도록 구성된 프레임 버퍼와,
    분수 화소 해상도(fractional-pel resolution)를 가진 모션 벡터에 따라서 상기 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된 예측 유닛을 포함하고,
    상기 예측 유닛은
    블러링 보간 필터,
    탭 필터, 및
    선예화 필터가 후속하는 상기 탭 필터
    를 포함하는 적어도 3개의 보간 필터 중 하나를 통해서 상기 분수 화소 해상도에 따라서 상기 참조 블록을 보간하도록 구성되며,
    상기 블러링 보간 필터는 가우시안 필터 또는 이중 선형 필터이고 상기 선예화 필터는 비선형 필터인
    비디오 코더.

  2. 제 1 항에 있어서,
    상기 블러링 보간 필터와 상기 선예화 필터 중 적어도 하나는 적어도 하나의 적응 파라미터에 의해 제어되도록 구성된 적응 필터인
    비디오 코더.
  3. 제 2 항에 있어서,
    상기 선예화 필터는 하나의 적응 파라미터에 의해 제어되도록 구성되는
    비디오 코더.
  4. 삭제
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 선예화 필터는,
    소스 블록의 에지 맵을 생성하도록 구성된 에지 맵 계산 유닛 - 상기 소스 블록은 상기 참조 블록 또는 상기 예측 블록임 - 과,
    상기 소스 블록의 상기 에지 맵을 블러링하도록 구성된 블러링 필터와,
    상기 블러링된 에지 맵을 고역 통과 필터링함으로써, 상기 소스 블록의 각 위치에 대한 미분 벡터를 생성하도록 구성된 고역 통과 필터와,
    상기 미분 벡터를 선예도 계수로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛과,
    상기 변위 벡터에 기초하여 상기 예측 블록을 워핑하도록 구성된 워핑 유닛을 포함하는
    비디오 코더.
  6. 제 2 항에 있어서,
    상기 선예화 필터는,
    소스 블록의 에지 맵을 생성하도록 구성된 에지 맵 계산 유닛 - 상기 소스 블록은 상기 참조 블록 또는 상기 예측 블록임 - 과,
    상기 소스 블록의 상기 에지 맵을 블러링하도록 구성된 블러링 필터와,
    상기 블러링된 에지 맵을 고역 통과 필터링함으로써, 상기 소스 블록의 각 위치에 대한 미분 벡터를 생성하도록 구성된 고역 통과 필터와,
    상기 미분 벡터를 선예도 계수로 스케일링함으로써 변위 벡터를 생성하도록 구성된 스케일링 유닛과,
    상기 변위 벡터에 기초하여 상기 예측 블록을 워핑하도록 구성된 워핑 유닛을 포함하고,
    상기 선예화 필터의 상기 적응 파라미터는 상기 선예도 계수를 포함하는
    비디오 코더.
  7. 제 5 항에 있어서,
    상기 예측 유닛은 잔차 블록을 최소화하는 상기 선예도 계수를 선택하도록 구성되고,
    상기 잔차 블록은 상기 현재 블록과 상기 선예화 필터에 의해 출력되는 상기 예측 블록 사이의 차이이거나 혹은 비용 기준에 기초하는
    비디오 코더.
  8. 제 2 항에 있어서,
    상기 블러링 보간 필터는 단일 적응 파라미터를 포함하는
    비디오 코더.
  9. 제 8 항에 있어서,
    상기 블러링 보간 필터의 상기 적응 파라미터는 블러링 계수를 포함하는
    비디오 코더.
  10. 제 9 항에 있어서,
    상기 블러링 보간 필터가 가우시안 필터라면, 상기 블러링 계수는 상기 가우시안 분포의 표준 편차인
    비디오 코더.
  11. 제 10 항에 있어서,
    상기 블러링 보간 필터는,
    상기 표준 편차에 기초해서 가우시안 필터 계수를 계산하도록 구성된 계산 유닛과,
    상기 계산된 가우시안 필터 계수를 사용해서 예측 블록을 상기 블러링 보간 필터의 출력으로서 생성하도록 구성된 필터링 유닛을 포함하는
    비디오 코더.
  12. 제 10 항에 있어서,
    상이한 표준 편차에 기초해서 사전 계산된 가우시안 필터 계수의 세트를 저장하도록 구성된 유닛과,
    상기 사전 계산된 가우시안 필터 중 하나를 사용해서 예측 블록을 싱기 블러링 보간 필터의 출력으로서 생성하도록 구성된 필터링 유닛을 더 포함하는
    비디오 코더.
  13. 제 9 항에 있어서,
    상기 예측 유닛은 잔차 블록을 최소화하는 상기 블러링 계수를 선택하도록 구성되고,
    상기 잔차 블록은 상기 현재 블록과 상기 블러링 보간 필터에 의해 출력되는 상기 예측 블록 사이의 차이이거나 혹은 비용 기준에 기초하는
    비디오 코더.
  14. 제 1 항에 있어서,
    상기 탭 필터는 선예한 스텝 응답을 가진 고정된 롱 탭 필터인
    비디오 코더.
  15. 제 2 항에 있어서,
    정수 화소 위치 및 분수 화소 위치가, 상기 적어도 3개의 보간 필터 중 하나와 관련되거나, 상기 선예화 필터의 상기 적응 파라미터 또는 상기 블러링 보간 필터의 상기 적응 파라미터의 주어진 값이 존재한다면 이 값과 관련되는
    비디오 코더.
  16. 제 15 항에 있어서,
    상기 인코딩된 비디오 비트 스트림을 생성하고, 상기 보간 필터링 타입 및 상기 적응 파라미터의 상기 주어진 값, 그리고 상기 관련된 정수 화소 위치 혹은 분수 화소 위치를, 상기 인코딩된 비디오 비트 스트림 내의 시그널링 신호로서 명시하도록 구성된 인코딩 유닛을 더 포함하는
    비디오 코더.
  17. 제 1 항에 있어서,
    상기 3개의 보간 필터 중 하나를 선택하는 것은, 주어진 정수 화소 위치 혹은 분수 화소 위치가 주어진 보간 필터의 상기 선택 및 적응 파라미터가 존재한다면 그 선택을 의미하도록, 정수 화소 위치 혹은 분수 화소 위치에 의존하는
    비디오 코더.
  18. 제 1 항에 있어서,
    정수 화소 위치 및 분수 화소 위치에 대해서, 상기 관련된 보간 필터 타입 또는 적응 파라미터의 값이 존재한다면 이 값을 정의하는 적어도 하나의 보간 필터 패턴을 포함하는
    비디오 코더.
  19. 제 1 항에 있어서,
    복수의 보간 필터 패턴을 포함하고,
    상기 예측 유닛은 상기 복수의 보간 필터 패턴 중 하나를 선택하도록 구성되는
    비디오 코더.
  20. 제 18 항 또는 제 19 항에 있어서,
    상기 인코딩된 비디오 비트 스트림을 생성하고, 상기 보간 필터 패턴을 상기 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서 추가하도록 구성된 인코딩 유닛을 더 포함하는
    비디오 코더.
  21. 제 20 항에 있어서,
    복수의 보간 필터 패턴이 제공되는 경우에, 상기 인코딩 유닛은 상기 인코딩된 비디오 비트 스트림 내의 시그널링 정보로서, 선택되는 상기 보간 필터 패턴에 관한 선택 정보를 추가하도록 구성되는
    비디오 코더.
  22. 제 20 항에 있어서,
    상기 인코딩 유닛은, 프레임 레벨에서, GOP(group of pictures) 레벨에서, PPS(picture parameter set) 레벨에서 혹은 SPS(sequence parameter set) 레벨에서, 상기 프레임의 임의의 영역 혹은 정규 영역에 대해서, 각각의 예측 블록에 대해서 선택되는 상기 보간 필터 패턴에 관한 상기 시그널링 정보를 추가하도록 구성되는
    비디오 코더.
  23. 후속 프레임들의 비디오 스트림을, 모션 보상에 따라, 인코딩된 비디오 비트 스트림으로 예측 코딩하는 방법으로서,
    상기 비디오 스트림의 적어도 하나의 참조 프레임을 저장하는 단계와,
    분수 화소 해상도를 가진 모션 벡터에 따라서 상기 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 것을 포함하는 예측 단계를 포함하고,
    상기 예측 단계는,
    블러링 보간 필터,
    탭 필터, 및
    선예화 필터가 후속하는 상기 탭 필터
    를 포함하는 적어도 3개의 보간 필터 중 하나를 통해서 상기 분수 화소 해상도에 따라서 상기 참조 블록을 보간하는 단계를 포함하며,
    상기 블러링 보간 필터는 가우시안 필터 또는 이중 선형 필터이고 상기 선예화 필터는 비선형 필터인
    방법.
  24. 후속 프레임들의 비디오 스트림을, 모션 보상에 따라, 예측 코딩함으로써 획득된 인코딩된 비디오 비트 스트림을 디코딩하는 비디오 디코더로서,
    상기 인코딩된 비디오 비트 스트림으로부터 획득된 적어도 하나의 참조 프레임을 저장하도록 구성된 프레임 버퍼와,
    분수 화소 해상도를 가진 모션 벡터에 따라서 상기 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하도록 구성된 예측 유닛을 포함하고,
    상기 예측 유닛은
    블러링 보간 필터,
    탭 필터, 및
    선예화 필터가 후속하는 상기 탭 필터
    를 포함하는 적어도 3개의 보간 필터 중 하나를 통해서 상기 분수 화소 해상도에 따라서 상기 참조 블록을 보간하도록 구성되며,
    상기 블러링 보간 필터는 가우시안 필터 또는 이중 선형 필터이고 상기 선예화 필터는 비선형 필터인
    비디오 디코더.
  25. 제 24 항에 있어서,
    상기 블러링 보간 필터 및 상기 선예화 필터 중 적어도 하나는 적어도 하나의 적응 파라미터에 의해 제어되도록 구성된 적응 필터인
    비디오 디코더.
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 3개의 보간 필터 중 하나를 선택하는 것은, 주어진 정수 화소 위치 혹은 분수 화소 위치가 주어진 보간 필터의 상기 선택 또는 적응 파라미터가 존재하는 경우 그 값을 의미하도록, 정수 화소 위치 혹은 분수 화소 위치에 의존하는
    비디오 디코더.
  27. 제 24 항에 있어서,
    상기 예측 유닛은 보간 필터 패턴에 따라서 상기 3개의 보간 필터 중 하나를 선택하도록 구성되고,
    상기 보간 필터 패턴은 상기 모션 벡터의 정수 위치 및 그 관련된 분수 위치에 대해서, 상기 관련된 보간 필터 타입 또는 적응 파라미터의 값이 존재한다면 그 값을 정의하는
    비디오 디코더.
  28. 제 27 항에 있어서,
    상기 인코딩된 비디오 스트림으로부터 시그널링 정보로서 상기 보간 필터 패턴을 획득하도록 구성된 디코딩 유닛을 더 포함하는
    비디오 디코더.
  29. 제 27 항에 있어서,
    상기 인코딩된 비디오 스트림으로부터 시그널링 정보로서 복수의 보간 필터 패턴 및 선택되는 상기 보간 필터 패턴에 관한 선택 정보를 획득하도록 구성된 디코딩 유닛을 더 포함하고,
    상기 예측 유닛은 상기 획득한 선택 정보에 따라서 상기 획득한 보간 필터 패턴 중 하나를 선택하고, 상기 선택한 보간 필터 패턴에 따라서 상기 3개의 보간 필터 중 하나를 선택하도록 구성되는
    비디오 디코더.
  30. 제 27 항에 있어서,
    상기 예측 유닛은 상기 비디오 디코더가 상기 인코딩된 비디오 비트 스트림을 수신하기 전에 복수의 보간 필터 패턴을 사전 저장하도록 구성되고,
    상기 비디오 디코더는, 상기 인코딩된 비디오 비트 스트림으로부터 시그널링 정보로서, 상기 사전 저장된 선택되는 보간 필터 패턴에 관한 선택 정보를 획득하도록 구성되며,
    상기 예측 유닛은 상기 획득된 선택 정보에 따라서 상기 사전 저장된 보간 필터 패턴 중 하나를 선택하고, 상기 선택된 보간 필터 패턴에 따라서 상기 3개의 보간 필터 중 하나를 선택하도록 구성되는
    비디오 디코더.
  31. 제 28 항 또는 제 29 항에 있어서,
    상기 디코딩 유닛은 프레임 레벨에서, GOP 레벨에서, PPS 레벨에서 혹은 SPS 레벨에서, 상기 프레임의 임의의 영역 혹은 정규 영역에 대해서, 각각의 예측 블록에 대해서 선택되는 상기 보간 필터 패턴에 관한 상기 시그널링 정보를 획득하도록 구성되는
    비디오 디코더.
  32. 후속 프레임들의 비디오 스트림을, 모션 보상에 따라, 예측 코딩함으로써 획득된 인코딩된 비디오 비트 스트림을 디코딩하기 위한 방법으로서,
    상기 인코딩된 비디오 비트 스트림으로부터 획득된 적어도 하나의 참조 프레임을 저장하는 단계와,
    분수 화소 해상도를 가진 모션 벡터에 따라서 상기 참조 프레임의 참조 블록으로부터 현재 프레임의 현재 블록의 예측 블록을 생성하는 예측 단계를 포함하고,
    상기 예측 단계는,
    블러링 보간 필터,
    탭 필터, 및
    선예화 필터가 후속하는 상기 탭 필터
    를 포함하는 적어도 3개의 보간 필터 중 하나를 통해서 상기 분수 화소 해상도에 따라서 상기 참조 블록을 보간하는 단계를 포함하며,
    상기 블러링 보간 필터는 가우시안 필터 또는 이중 선형 필터이고 상기 선예화 필터는 비선형 필터인
    방법.
  33. 컴퓨팅 장치에서 실행될 때, 청구항 23 또는 청구항 32에 개시된 방법을 수행하는 프로그램 코드를 포함하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
KR1020187011202A 2015-09-25 2015-09-25 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 KR102192778B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000614 WO2017052409A1 (en) 2015-09-25 2015-09-25 Apparatus and method for video motion compensation with selectable interpolation filter

Publications (2)

Publication Number Publication Date
KR20180057676A KR20180057676A (ko) 2018-05-30
KR102192778B1 true KR102192778B1 (ko) 2020-12-18

Family

ID=55754395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011202A KR102192778B1 (ko) 2015-09-25 2015-09-25 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법

Country Status (13)

Country Link
US (1) US10841605B2 (ko)
EP (1) EP3354028B1 (ko)
JP (1) JP2018530244A (ko)
KR (1) KR102192778B1 (ko)
CN (1) CN107925772B (ko)
AU (1) AU2015410097B2 (ko)
BR (1) BR112018006009B1 (ko)
CA (1) CA2999826C (ko)
MX (1) MX2018003768A (ko)
MY (1) MY187403A (ko)
RU (1) RU2696311C1 (ko)
WO (1) WO2017052409A1 (ko)
ZA (1) ZA201802228B (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202003260WA (en) 2017-11-07 2020-05-28 Huawei Tech Co Ltd Interpolation filter for an inter prediction apparatus and method for video coding
EP3799692A4 (en) * 2018-06-13 2021-08-04 Huawei Technologies Co., Ltd. INTRA ENHANCEMENT AND / OR CONTOUR CORRECTION FILTER FOR VIDEO CODING ON THE BASIS OF A BIT TRAIN FLAG
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
CN113228637A (zh) * 2018-12-17 2021-08-06 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
WO2020139169A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression
WO2020177696A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Use of extended samples during search in decoder-side motion refinement
MX2021010898A (es) * 2019-03-12 2021-11-12 Fraunhofer Ges Forschung Codificadores, decodificadores, metodos y flujos de bits de video, y programas de computadora para codificacion hibrida de video.
CN110033415B (zh) * 2019-03-20 2023-03-21 东南大学 一种基于Retinex算法的图像去模糊方法
KR20210139446A (ko) * 2019-03-28 2021-11-22 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 스무딩을 위한 방법 및 장치
JP7307191B2 (ja) 2019-04-01 2023-07-11 北京字節跳動網絡技術有限公司 履歴に基づく動きベクトル予測のための補間フィルタの使用
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
WO2020211864A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
EP3954124A4 (en) 2019-05-12 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
CN114128263A (zh) * 2019-08-12 2022-03-01 北京达佳互联信息技术有限公司 用于视频编解码中的自适应运动矢量分辨率的方法和设备
WO2021036976A1 (en) * 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling
CN114287135A (zh) 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
CN112154666A (zh) * 2019-09-24 2020-12-29 深圳市大疆创新科技有限公司 视频编解码方法和装置
CN110572676B (zh) * 2019-09-27 2023-12-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
EP4029250A4 (en) * 2019-09-30 2023-01-04 Huawei Technologies Co., Ltd. INTERPOLATION FILTER FOR INTER PREDICTION DEVICE AND VIDEO CODING METHOD
JP7395727B2 (ja) 2019-10-23 2023-12-11 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
CN114641992B (zh) 2019-10-23 2024-04-05 北京字节跳动网络技术有限公司 参考图片重采样的信令
KR102617470B1 (ko) * 2019-12-24 2023-12-21 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 참조 픽처 리샘플링을 위한 방법 및 장치
CN114762326B (zh) * 2020-01-21 2024-03-22 阿里巴巴集团控股有限公司 用于自适应分辨率视频编码的下一代环路滤波器实现
KR102254290B1 (ko) 2020-11-18 2021-05-21 한국과학기술원 모션 처리 방법 및 장치
CN112911286B (zh) * 2021-01-29 2022-11-15 杭州电子科技大学 一种分像素插值滤波器的设计方法
KR20220124031A (ko) * 2021-03-02 2022-09-13 삼성전자주식회사 영상 패킷을 송수신하는 전자 장치 및 이의 동작 방법
CN113301347B (zh) * 2021-05-08 2023-05-05 广东工业大学 一种hevc高清视频编码的优化方法
WO2022268186A1 (en) * 2021-06-25 2022-12-29 Beijing Bytedance Network Technology Co., Ltd. Conditions for usage of adaptive bilateral filters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014158050A1 (en) * 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
KR101452861B1 (ko) * 2010-09-30 2014-10-27 삼성전자주식회사 평활화 보간 필터를 이용하여 영상을 보간하는 방법 및 그 장치

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175656B1 (en) 1999-03-25 2001-01-16 Sony Corporation Non-linear video sharpening filter
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP3995854B2 (ja) * 1999-06-10 2007-10-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP4576930B2 (ja) * 2004-08-26 2010-11-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
RU2008106939A (ru) 2005-04-19 2009-08-27 Самсунг Электроникс Ко., Лтд. (KR) Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии
WO2007044556A2 (en) 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP2008054267A (ja) * 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US7751873B2 (en) 2006-11-08 2010-07-06 Biotronik Crm Patent Ag Wavelet based feature extraction and dimension reduction for the classification of human cardiac electrogram depolarization waveforms
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080205508A1 (en) 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP4763026B2 (ja) * 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
US8548065B2 (en) 2009-10-22 2013-10-01 The Chinese University Of Hong Kong Parametric interpolation filter for motion-compensated prediction
CN105847814B (zh) 2010-04-13 2019-01-08 太阳专利托管公司 图像编码方法及图像编码装置
US20110299604A1 (en) 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
TW201301199A (zh) * 2011-02-11 2013-01-01 Vid Scale Inc 視訊及影像放大以邊為基礎之視訊內插
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
JP5552092B2 (ja) 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9232233B2 (en) 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
US9432700B2 (en) 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013147495A1 (ko) 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
US9674532B2 (en) * 2012-06-24 2017-06-06 Lg Electronics Inc. Image decoding method using information on a random access picture and apparatus using same
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20140072048A1 (en) 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20160105685A1 (en) 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452861B1 (ko) * 2010-09-30 2014-10-27 삼성전자주식회사 평활화 보간 필터를 이용하여 영상을 보간하는 방법 및 그 장치
WO2014158050A1 (en) * 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec

Also Published As

Publication number Publication date
CA2999826A1 (en) 2017-03-30
CN107925772A (zh) 2018-04-17
MX2018003768A (es) 2018-09-12
MY187403A (en) 2021-09-22
WO2017052409A8 (en) 2017-10-26
KR20180057676A (ko) 2018-05-30
JP2018530244A (ja) 2018-10-11
CN107925772B (zh) 2020-04-14
EP3354028B1 (en) 2021-09-15
EP3354028A1 (en) 2018-08-01
US20180220148A1 (en) 2018-08-02
AU2015410097A1 (en) 2018-04-26
AU2015410097B2 (en) 2020-01-23
WO2017052409A1 (en) 2017-03-30
US10841605B2 (en) 2020-11-17
CA2999826C (en) 2020-10-13
ZA201802228B (en) 2019-01-30
BR112018006009B1 (pt) 2023-12-12
RU2696311C1 (ru) 2019-08-01
BR112018006009A2 (pt) 2018-10-30

Similar Documents

Publication Publication Date Title
KR102192778B1 (ko) 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법
KR102142938B1 (ko) 비디오 모션 보상을 위한 장치 및 방법
JP6673599B2 (ja) ビデオ動き補償のための装置及び方法
KR102146436B1 (ko) 비디오 모션 보상을 위한 장치 및 방법
CN112262579B (zh) 基于比特流标志位的用于视频编码的帧内锐化和/或去振铃滤波器
JP6797247B2 (ja) ビデオ動き補償用の装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant