KR20220070476A - 시간적 필터링의 단순화 방법들 - Google Patents

시간적 필터링의 단순화 방법들 Download PDF

Info

Publication number
KR20220070476A
KR20220070476A KR1020227013647A KR20227013647A KR20220070476A KR 20220070476 A KR20220070476 A KR 20220070476A KR 1020227013647 A KR1020227013647 A KR 1020227013647A KR 20227013647 A KR20227013647 A KR 20227013647A KR 20220070476 A KR20220070476 A KR 20220070476A
Authority
KR
South Korea
Prior art keywords
exponential function
factor
current picture
picture
code
Prior art date
Application number
KR1020227013647A
Other languages
English (en)
Inventor
아니시 마헨드라 탐세
샹 리
산 류
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20220070476A publication Critical patent/KR20220070476A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시간적 필터링을 구현하기 위한 시스템들 및 방법들이 제공된다. 방법은 현재 픽처에 시간적 필터를 적용하고, 시간적 필터가 적용된 후에 현재 픽처를 인코딩하는 단계를 포함한다. 적용하는 단계는 지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 이용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하는 단계; 스케일링 함수와 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계; 현재 픽처의 샘플 값 및 적어도 하나의 이웃 픽처의 가중치에 기초하여 현재 픽처의 필터링된 샘플 값을 획득하는 단계; 및 현재 픽처의 샘플 값을 필터링된 샘플 값으로 대체하는 단계를 포함한다.

Description

시간적 필터링의 단순화 방법들
관련 출원에 대한 교차 참조
본 출원은 2020년 6월 3일자로 출원된 미국 가출원 제63/034,042호 및 2021년 4월 26일자로 출원된 미국 출원 제17/240,376호의 우선권을 주장하며, 이들의 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
기술분야
본 개시내용의 실시예들은 진보된 비디오 코딩 기술들의 세트에 관한 것으로, 보다 구체적으로는 시간적 필터링(temporal filtering)의 구현에 관한 것이다.
AV1(AOMedia Video1)은 인터넷을 통한 비디오 전송을 위해 설계된 개방된, 로열티 없는 비디오 코딩 포맷이다. 그것은 반도체 회사들, 주문형 비디오 제공자들, 비디오 콘텐츠 제작자들, 소프트웨어 개발 회사들 및 웹 브라우저 벤더들을 포함하는 2015년에 설립된 컨소시엄인, AOMedia(Alliance for Open Media)에 의해 VP9에 대한 후임으로서 개발되었다.
Libaom은 AV1의 참조 구현이다. SVT-AV1(Scalable Video Technology AV1)은 2019년 2월에 인텔에 의해 처음 발표된 개방-소스 인코더 및 디코더를 포함한다.
인코딩 동안 테스트되는 다수의 코딩 모드 및 변환 유형과 달리, 시간적 필터링 프로세스는 블록마다 한 번만 수행될 수 있기 때문에, 시간적 필터링에 걸리는 총 시간은 총 인코딩 시간의 작은 부분을 차지한다. 그러나, 실시간 인코더에 접근할 때, 대부분의 인코딩 모드들은 초기 결정 프로세스를 이용하여 테스트되거나 스킵되지 않는 반면, 시간적 필터링은 이전과 대략 동일한 시간을 계속 취하는데, 이것은 이제 전체 시간의 큰 부분이 된다. 시간적 필터링 프로세스 내에서, 대부분의 걸리는 시간은 병치된 픽셀에 대한 가중치의 부동 소수점 계산으로부터 온다. 계산은 또한 시간 소모적인 지수 함수의 값을 찾는 것을 수반할 수 있다.
종래의 가중치 계산은 많은 부동 소수점 계산을 수반하기 때문에, 인코더의 하드웨어 구현은 매우 비싸고 비효율적이다.
본 개시내용의 실시예들은 상기 문제들 및/또는 다른 문제들에 대한 해결책들을 제공할 수 있다.
하나 이상의 실시예에 따르면, 인코더에 의해 수행되는 방법이 제공된다. 방법은 현재 픽처에 시간적 필터를 적용하는 단계를 포함하고, 적용하는 단계는 지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 사용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하는 단계; 스케일링 함수와 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계; 현재 픽처의 샘플 값 및 적어도 하나의 이웃 픽처의 가중치에 기초하여 현재 픽처의 필터링된 샘플 값을 획득하는 단계; 및 현재 픽처의 샘플 값을 필터링된 샘플 값으로 대체함으로써 시간적 필터를 현재 픽처에 적용하는 단계를 포함한다. 방법은 시간적 필터가 적용된 후에 현재 픽처를 인코딩하는 단계를 추가로 포함한다.
실시예에 따르면, 지수 함수를 획득하는 단계는 지수 함수의 지수를 고정 소수점 값들로서 계산하는 단계를 포함한다.
실시예에 따르면, 고정 소수점 값들을 계산하는 단계는 고정 소수점 값들을 2n 비트로서 표현하는 단계를 포함하며, 여기서 n은 정수이다.
실시예에 따르면, 고정 소수점 값들을 계산하는 단계는 적어도 하나의 제1 인자 또는 적어도 하나의 제2 인자 중으로부터의 한 인자의 부동 소수점 값 표현을 2의 거듭제곱을 갖는 스케일링 인자로 스케일링하는 단계를 포함한다.
실시예에 따르면, 지수 함수를 획득하는 단계는 적어도 하나의 룩업 테이블을 사용하는 단계를 포함한다.
실시예에 따르면, 적어도 하나의 룩업 테이블은 제1 룩업 테이블 및 제2 룩업 테이블을 포함하고, 제1 룩업 테이블은 지수 함수의 정수부를 포함하고, 제2 룩업 테이블는 지수 함수의 분수부를 포함한다.
실시예에 따르면, 적어도 하나의 룩업 테이블은 지수 함수의 고정 소수점 값들을 포함한다.
실시예에 따르면, 방법은 스케일링 함수의 인자들을 고정 소수점 표현들로 변환하는 단계를 추가로 포함하고, 여기서 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계는 스케일링 함수의 고정 소수점 표현들을 지수 함수와 곱하는 단계를 포함한다.
실시예에 따르면, 방법은 복수의 반복에 대해 픽셀별 루프를 수행하는 단계 - 복수의 반복 중 각각의 반복은 현재 픽처의 픽셀들 중으로부터 각자의 픽셀에 대해 현재 픽처의 필터링된 샘플 값을 획득하는 단계; 및 픽셀들에 대해 변하지 않는 지수 함수 또는 스케일링 함수 중으로부터의 인자에 기초하여, 픽셀별 루프의 복수의 반복을 수행하기 전에 고정 소수점 표현으로 변환하는 단계를 추가로 포함한다.
실시예에 따르면, 지수의 분자의 적어도 하나의 제1 인자는 적어도 하나의 이웃 픽처의 모션 추정 오류를 포함하고, 지수의 분모의 적어도 하나의 제2 인자는 양자화 파라미터를 포함하고, 스케일링 함수는 적어도 하나의 제3 인자를 갖는 분자 및 적어도 하나의 제4 인자를 갖는 분모를 포함하고, 적어도 하나의 제3 인자는 현재 픽처의 잡음 레벨을 포함하고, 적어도 하나의 제4 인자는 현재 픽처로부터의 적어도 하나의 이웃 픽처의 픽처 순서 카운트 거리(picture order count distance)를 포함한다.
하나 이상의 실시예에 따르면, 시스템이 제공된다. 시스템은 컴퓨터 코드를 저장하는 적어도 하나의 메모리; 컴퓨터 코드에 액세스하고 컴퓨터 코드에 의해 지시된 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함하고, 컴퓨터 코드는 적어도 하나의 프로세서로 하여금 현재 픽처에 시간적 필터를 적용하게 야기하도록 구성된 시간적 필터 코드 - 시간적 필터 코드는: 적어도 하나의 프로세서로 하여금, 지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 이용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하게 야기하도록 구성된 지수 함수 획득 코드를 포함함-; 적어도 하나의 프로세서로 하여금 스케일링 함수에 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하게 야기하도록 구성된 가중치 획득 코드; 적어도 하나의 프로세서로 하여금 현재 픽처의 샘플 값 및 적어도 하나의 이웃 픽처의 가중치에 기초하여 현재 픽처의 필터링된 샘플 값을 획득하게 야기하도록 구성된 필터링된 샘플 값 획득 코드; 및 적어도 하나의 프로세서로 하여금 현재 픽처의 샘플 값을 필터링된 샘플 값으로 대체하게 야기하도록 구성되는 샘플 값 대체 코드를 포함함 - 를 포함한다. 컴퓨터 코드는 적어도 하나의 프로세서로 하여금 시간적 필터가 적용된 후에 현재 픽처를 인코딩하게 야기하도록 구성된 인코딩 코드를 추가로 포함할 수 있다.
실시예에 따르면, 지수 함수 획득 코드는 적어도 하나의 프로세서로 하여금 지수 함수의 지수를 고정 소수점 값들로서 계산하게 야기하도록 구성된다.
실시예에 따르면, 지수 함수 획득 코드는 적어도 하나의 프로세서로 하여금 고정 소수점 값들을 2n 비트로서 표현하게 야기하도록 구성되며, 여기서 n은 정수이다.
실시예에 따르면, 지수 함수 획득 코드는 적어도 하나의 프로세서로 하여금 적어도 하나의 제1 인자 또는 적어도 하나의 제2 인자 중으로부터의 한 인자의 부동 소수점 값 표현을 2의 거듭제곱을 갖는 스케일링 인자로 스케일링하게 야기하도록 구성된다.
실시예에 따르면, 지수 함수 획득 코드는 적어도 하나의 프로세서로 하여금 적어도 하나의 룩업 테이블을 사용하여 지수 함수를 획득하게 야기하도록 구성된다.
실시예에 따르면, 적어도 하나의 룩업 테이블은 제1 룩업 테이블 및 제2 룩업 테이블을 포함하고, 제1 룩업 테이블은 지수 함수의 정수부를 포함하고, 제2 룩업 테이블는 지수 함수의 분수부를 포함한다.
실시예에 따르면, 적어도 하나의 룩업 테이블은 지수 함수의 고정 소수점 값들을 포함한다.
실시예에 따르면, 컴퓨터 코드는 적어도 하나의 프로세서로 하여금 스케일링 함수의 인자들을 고정 소수점 표현들로 변환하게 야기하도록 구성된 변환 코드를 추가로 포함하고, 여기서 가중치 획득 코드는 적어도 하나의 프로세서로 하여금 스케일링 함수의 고정 소수점 표현들에 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하게 야기하도록 구성된다.
실시예에 따르면, 컴퓨터 코드는: 필터링된 샘플 값 획득 코드를 포함하고 또한 적어도 하나의 프로세서로 하여금 복수의 반복에 대해 픽셀별 루프를 수행하게 야기하도록 구성되는 루프 코드 - 복수의 반복 중 각각의 반복은 현재 픽처의 픽셀들 중으로부터의 각자의 픽셀에 대해 현재 픽처의 필터링된 샘플 값을 획득하는 것을 포함함 -; 및 적어도 하나의 프로세서로 하여금, 픽셀들에 대해 변하지 않는 지수 함수 또는 스케일링 함수 중으로부터의 인자에 기초하여, 픽셀별 루프의 복수의 반복이 수행되기 전에 고정 소수점 표현으로 변환하게 야기하도록 구성된 변환 코드를 포함한다.
하나 이상의 실시예에 따르면, 컴퓨터 코드를 저장하는 비일시적 컴퓨터 판독가능 매체가 제공된다. 컴퓨터 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금: 지수 함수의 지수를 고정 소수점 값들로서 계산함으로써, 또는 적어도 하나의 룩업 테이블을 이용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하고; 스케일링 함수와 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계; 현재 픽처의 샘플 값 및 적어도 하나의 이웃 픽처의 가중치에 기초하여 현재 픽처의 필터링된 샘플 값을 획득하는 단계; 및 현재 픽처의 샘플 값을 필터링된 샘플 값으로 대체함으로써 시간적 필터를 현재 픽처에 적용하게 야기하도록 구성된다. 컴퓨터 코드는 또한 적어도 하나의 프로세서로 하여금 시간적 필터가 적용된 후에 현재 픽처를 인코딩하게 하도록 구성될 수 있다.
개시된 주제의 추가의 특징들, 본질 및 다양한 이점들이 다음의 상세한 설명 및 첨부 도면들로부터 더 명백할 것이다.
도 1은 실시예에 따른 통신 시스템의 단순화된 블록도의 개략도이다.
도 2는 실시예에 따른 통신 시스템의 단순화된 블록도의 개략도이다.
도 3은 실시예에 따른 디코더의 단순화된 블록도의 개략도이다.
도 4는 실시예에 따른 인코더의 단순화된 블록도의 개략도이다.
도 5는 실시예들에 따른 컴퓨터 코드의 도면이다.
도 6은 실시예들을 구현하기에 적합한 컴퓨터 시스템의 도면이다.
본 개시내용에서, 용어 블록은 예측 블록, 코딩 블록, 또는 코딩 유닛(CU)을 의미할 수 있다.
도 1은 본 개시내용의 실시예에 따른 통신 시스템(100)의 단순화된 블록도를 예시한다. 시스템(100)은 네트워크(150)를 통해 상호연결되는 적어도 2개의 단말(110, 120)을 포함할 수 있다. 데이터의 단방향 송신을 위해, 제1 단말(110)은 네트워크(150)를 통해 다른 단말(120)로 송신하기 위해 로컬 위치에서 비디오 데이터를 코딩할 수 있다. 제2 단말(120)은 네트워크(150)로부터 다른 단말의 코딩된 비디오 데이터를 수신하고, 코딩된 데이터를 디코딩하고 복구된 비디오 데이터를 디스플레이할 수 있다. 단방향 데이터 송신은 미디어 서빙 응용들(media serving applications) 등에서 흔한 것일 수 있다.
도 1은, 예를 들어, 영상회의(videoconferencing) 동안 발생할 수 있는 코딩된 비디오의 양방향 송신을 지원하기 위해 제공되는 제2 쌍의 단말들(130, 140)을 예시한다. 데이터의 양방향 송신을 위해, 각각의 단말(130, 140)은 네트워크(150)를 통해 다른 단말로 송신하기 위해 로컬 위치에서 캡처된 비디오 데이터를 코딩할 수 있다. 각각의 단말(130, 140)은 다른 단말에 의해 송신되는 코딩된 비디오 데이터를 또한 수신할 수 있고, 코딩된 데이터를 디코딩할 수 있고, 복구된 비디오 데이터를 로컬 디스플레이 디바이스에서 디스플레이할 수 있다.
도 1에서, 단말들(110-140)은 서버들, 개인용 컴퓨터들, 및 스마트폰들, 및/또는 임의의 다른 타입의 단말로서 예시될 수 있다. 예를 들어, 단말들(110-140)은 랩톱 컴퓨터들, 태블릿 컴퓨터들, 미디어 플레이어들 및/또는 전용 영상 회의 장비일 수 있다. 네트워크(150)는, 예컨대 유선 및/또는 무선 통신 네트워크들을 포함하여, 단말들(110-140) 사이에서 코딩된 비디오 데이터를 운반하는 임의의 수의 네트워크를 표현한다. 통신 네트워크(150)는 회선 교환(circuit-switched) 및/또는 패킷 교환(packet-switched) 채널들에서 데이터를 교환할 수 있다. 대표적인 네트워크들은 통신 네트워크들, 근거리 네트워크들, 광역 네트워크들, 및/또는 인터넷을 포함한다. 본 논의의 목적을 위해, 네트워크(150)의 아키텍처 및 토폴로지는 아래에서 본 명세서에서 설명되지 않는 한 본 개시내용의 동작에 중요하지 않을 수 있다.
도 2는, 개시된 주제를 위한 응용의 예로서, 스트리밍 환경에서의 비디오 인코더 및 디코더의 배치를 예시한다. 개시된 주제는, 예를 들어, 영상 회의, 디지털 TV, CD, DVD, 메모리 스틱 등을 포함하는 디지털 미디어 상의 압축된 비디오의 저장 등을 포함하여, 다른 비디오 인에이블 응용들에 동등하게 적용가능할 수 있다.
도 2에 예시된 바와 같이, 스트리밍 시스템(200)은 비디오 소스(201) 및 인코더(203)를 포함할 수 있는 캡처 서브시스템(213)을 포함할 수 있다. 비디오 소스(201)는, 예를 들어, 디지털 카메라일 수 있고, 압축되지 않은 비디오 샘플 스트림(202)을 생성하도록 구성될 수 있다. 압축되지 않은 비디오 샘플 스트림(202)은 인코딩된 비디오 비트스트림들과 비교할 때 높은 데이터 볼륨(high data volume)을 제공할 수 있고, 카메라(201)에 결합된 인코더(203)에 의해 처리될 수 있다. 인코더(203)는 아래에서 더 상세히 설명되는 바와 같이 개시된 주제의 양태들을 가능하게 하거나 구현하기 위해 하드웨어, 소프트웨어, 또는 이들의 조합을 포함할 수 있다. 인코딩된 비디오 비트스트림(204)은 샘플 스트림과 비교할 때 더 낮은 데이터 볼륨을 포함할 수 있고, 미래의 사용을 위해 스트리밍 서버(205) 상에 저장될 수 있다. 하나 이상의 스트리밍 클라이언트(206)는 스트리밍 서버(205)에 액세스하여 인코딩된 비디오 비트스트림(204)의 사본들일 수 있는 비디오 비트 스트림들(209)을 검색할 수 있다.
실시예들에서, 스트리밍 서버(205)는 또한 MANE(Media-Aware Network Element)로서 기능할 수 있다. 예를 들어, 스트리밍 서버(205)는 잠재적으로 상이한 비트스트림들을 스트리밍 클라이언트들(206) 중 하나 이상에 맞춤화하기 위해 인코딩된 비디오 비트스트림(204)을 프루닝(prune)하도록 구성될 수 있다. 실시예들에서, MANE는 스트리밍 시스템(200)에서 스트리밍 서버(205)와 별개로 제공될 수 있다.
스트리밍 클라이언트들(206)은 비디오 디코더(210) 및 디스플레이(212)를 포함할 수 있다. 비디오 디코더(210)는, 예를 들어, 인코딩된 비디오 비트스트림(204)의 인커밍(incoming) 사본인 비디오 비트스트림(209)을 디코딩하고, 디스플레이(212) 또는 다른 렌더링 디바이스(묘사되지 않음) 상에 렌더링될 수 있는 아웃고잉(outgoing) 비디오 샘플 스트림(211)을 생성할 수 있다. 일부 스트리밍 시스템들에서, 비디오 비트스트림들(204, 209)은 특정 비디오 코딩/압축 표준들에 따라 인코딩될 수 있다. 그러한 표준들의 예들은 ITU-T 권고안(Recommendation) H.265를 포함하지만, 이에 제한되지는 않는다. VVC(Versatile Video Coding)로서 비공식적으로 알려진 비디오 코딩 표준이 개발 중이다. 본 개시내용의 실시예들은 VVC의 맥락에서 사용될 수 있다.
도 3은 본 개시내용의 실시예에 따른 디스플레이(212)에 부착되는 비디오 디코더(210)의 예시적인 기능 블록도를 도시한다.
비디오 디코더(210)는 채널(312), 수신기(310), 버퍼 메모리(315), 엔트로피 디코더/파서(320), 스케일러/역변환 유닛(351), 인트라 예측 유닛(352), 모션 보상 예측 유닛(353), 집계기(aggregator)(355), 루프 필터 유닛(356), 참조 픽처 메모리(357), 및 현재 픽처 메모리()를 포함할 수 있다. 적어도 하나의 실시예에서, 비디오 디코더(210)는 집적 회로, 일련의 집적 회로들, 및/또는 다른 전자 회로를 포함할 수 있다. 비디오 디코더(210)는 또한, 연관된 메모리들을 갖는 하나 이상의 CPU 상에서 실행되는 소프트웨어로 부분적으로 또는 전체적으로 구체화될 수 있다.
이 실시예 및 다른 실시예들에서, 수신기(310)는 디코더(210)가 한번에 하나의 코딩된 비디오 시퀀스를 디코딩할 하나 이상의 코딩된 비디오 시퀀스를 수신할 수 있으며, 여기서 각각의 코딩된 비디오 시퀀스의 디코딩은 다른 코딩된 비디오 시퀀스들과 독립적이다. 코딩된 비디오 시퀀스는 인코딩된 비디오 데이터를 저장하는 저장 디바이스에 대한 하드웨어/소프트웨어 링크일 수 있는 채널(312)로부터 수신될 수 있다. 수신기(310)는 인코딩된 비디오 데이터를 다른 데이터, 예를 들어, 코딩된 오디오 데이터 및/또는 보조 데이터 스트림들과 함께 수신할 수 있고, 이들은 그것들 각자의 사용 엔티티들(묘사되지 않음)에 포워딩될 수 있다. 수신기(310)는 코딩된 비디오 시퀀스를 다른 데이터로부터 분리할 수 있다. 네트워크 지터를 방지하기 위해, 수신기(310)와 엔트로피 디코더/파서(320)(이하 "파서(parser)") 사이 내에 버퍼 메모리(315)가 결합될 수 있다. 수신기(310)가 충분한 대역폭 및 제어가능성의 저장/포워드 디바이스로부터, 또는 등시동기식 네트워크(isosynchronous network)로부터 데이터를 수신하고 있을 때, 버퍼(315)는 사용되지 않을 수 있거나, 작을 수 있다. 인터넷과 같은 최선 노력 패킷 네트워크들(best effort packet networks) 상에서의 사용을 위해, 버퍼(315)가 요구될 수 있고, 비교적 클 수 있으며, 적응적 크기의 것일 수 있다.
비디오 디코더(210)는 심벌들(321)을 엔트로피 코딩된 비디오 시퀀스로부터 재구성하기 위한 파서(320)를 포함할 수 있다. 그 심벌들의 카테고리들은, 예를 들어, 디코더(210)의 동작을 관리하기 위해 사용되는 정보, 및 잠재적으로, 도 2에 예시된 바와 같은 디코더에 결합될 수 있는 디스플레이(212)와 같은 렌더링 디바이스를 제어하기 위한 정보를 포함한다. 렌더링 디바이스(들)에 대한 제어 정보는, 예를 들어, SEI(Supplementary Enhancement Information) 메시지들 또는 VUI(Video Usability Information) 파라미터 세트 프래그먼트들(묘사되지 않음)의 형태일 수 있다. 파서(320)는 수신되는 코딩된 비디오 시퀀스를 파싱/엔트로피 디코딩할 수 있다. 코딩된 비디오 시퀀스의 코딩은 비디오 코딩 기술 또는 표준에 따를 수 있고, 가변 길이 코딩, 허프만 코딩, 컨텍스트 감도가 있거나 없는 산술 코딩 등을 포함하여 본 기술분야의 통상의 기술자에게 잘 알려진 원리들을 따를 수 있다. 파서(320)는, 코딩된 비디오 시퀀스로부터, 그룹에 대응하는 적어도 하나의 파라미터에 기초하여, 비디오 디코더에서의 픽셀들의 서브그룹들 중 적어도 하나에 대한 서브그룹 파라미터들의 세트를 추출할 수 있다. 서브그룹들은 픽처 그룹들(Groups of Pictures, GOPs), 픽처들, 타일들, 슬라이스들, 매크로블록들, 코딩 유닛들(Coding Units, CUs), 블록들, 변환 유닛들(Transform Units, TUs), 예측 유닛들(Prediction Units, PUs) 등을 포함할 수 있다. 파서(320)는 또한 코딩된 비디오 시퀀스로부터 변환 계수들, 양자화기 파라미터 값들, 모션 벡터들 등과 같은 정보를 추출할 수 있다.
파서(320)는 버퍼(315)로부터 수신된 비디오 시퀀스에 대해 엔트로피 디코딩/파싱 동작을 수행하여, 심벌들(321)을 생성할 수 있다.
심벌들(321)의 재구성은 코딩된 비디오 픽처 또는 그것의 부분들의 타입(예컨대: 인터 및 인트라 픽처, 인터 및 인트라 블록), 및 다른 인자들에 의존하여 다중의 상이한 유닛을 수반할 수 있다. 어느 유닛들이 수반되는지, 그리고 어떻게 그것들이 수반되는지는 파서(320)에 의해 코딩된 비디오 시퀀스로부터 파싱된 서브그룹 제어 정보에 의해 제어될 수 있다. 파서(320)와 아래의 다중 유닛 사이의 그러한 서브그룹 제어 정보의 흐름은 명확성을 위해 묘사되어 있지 않다.
이미 언급된 기능 블록들 이외에, 디코더(210)는 아래에 설명되는 바와 같이 개념적으로 다수의 기능 유닛으로 세분될 수 있다. 상업적 제약 하에서 동작하는 실제 구현에서, 이들 유닛 중 다수는 서로 밀접하게 상호작용하고, 적어도 부분적으로 서로 통합될 수 있다. 그러나, 개시된 주제를 설명하기 위한 목적으로는, 아래의 기능 유닛들로의 개념적 세분(subdivision)이 적절하다.
하나의 유닛은 스케일러/역변환 유닛(351)일 수 있다. 스케일러/역변환 유닛(351)은, 파서(320)로부터의 심벌(들)(321)로서, 어느 변환을 사용할지, 블록 크기, 양자화 인자, 양자화 스케일링 행렬들(quantization scaling matrices) 등을 포함하는, 제어 정보뿐만 아니라 양자화된 변환 계수를 수신할 수 있다. 스케일러/역변환 유닛(351)은 집계기(aggregator)(355)에 입력될 수 있는 샘플 값들을 포함하는 블록들을 출력할 수 있다.
일부 경우들에서, 스케일러/역변환(351)의 출력 샘플들은 인트라 코딩된 블록에 관련될 수 있다; 즉: 이전에 재구성된 픽처들로부터의 예측 정보를 이용하는 것이 아니라, 현재 픽처의 이전에 재구성된 부분들로부터의 예측 정보를 사용할 수 있는 블록에 관련될 수 있다. 그러한 예측 정보는 인트라 픽처 예측 유닛(352)에 의해 제공될 수 있다. 일부 경우들에서, 인트라 픽처 예측 유닛(352)은 현재 픽처 메모리(358)로부터의 현재 (부분적으로 재구성된) 픽처로부터 페치된 주위의 이미 재구성된 정보를 사용하여, 재구성 중인 블록의 동일한 크기 및 형상의 블록을 생성한다. 집계기(355)는, 일부 경우들에서, 샘플당 기준으로, 인트라 예측 유닛(352)이 생성한 예측 정보를 스케일러/역변환 유닛(351)에 의해 제공되는 출력 샘플 정보에 더한다.
다른 경우들에서, 스케일러/역변환 유닛(351)의 출력 샘플들은 인터 코딩되고 잠재적으로 모션 보상된 블록에 관련될 수 있다. 그러한 경우에, 모션 보상 예측 유닛(353)은 참조 픽처 메모리(357)에 액세스하여 예측을 위해 사용되는 샘플들을 페치할 수 있다. 블록에 관련된 심벌들(321)에 따라 페치된 샘플들을 모션 보상한 후에, 이들 샘플은 집계기(355)에 의해 스케일러/역변환 유닛(351)의 출력(이 경우 잔차 샘플들 또는 잔차 신호라고 불림)에 더해져서 출력 샘플 정보를 생성할 수 있다. 모션 보상 예측 유닛(353)이 그로부터 예측 샘플들을 페치하는 참조 픽처 메모리(357) 내의 어드레스들은 모션 벡터들에 의해 제어될 수 있다. 모션 벡터들은, 예를 들어, X, Y, 및 참조 픽처 성분들을 가질 수 있는 심벌들(321)의 형태로 모션 보상 예측 유닛(353)에 이용가능할 수 있다. 모션 보상은 또한 서브샘플 정확한 모션 벡터들이 사용 중일 때 참조 픽처 메모리(357)로부터 페치된 샘플 값들의 보간, 모션 벡터 예측 메커니즘 등을 포함할 수 있다.
집계기(355)의 출력 샘플들은 루프 필터 유닛(356) 내의 다양한 루프 필터링 기법들을 겪을 수 있다. 비디오 압축 기술들은, 파서(320)로부터의 심벌들(321)로서 루프 필터 유닛(356)에 이용가능하게 되고 코딩된 비디오 비트스트림에 포함된 파라미터들에 의해 제어되지만, 코딩된 픽처 또는 코딩된 비디오 시퀀스의 (디코딩 순서로) 이전 부분들의 디코딩 동안 획득된 메타-정보에 응답할 뿐만 아니라, 이전에 재구성된 및 루프-필터링된 샘플 값들에 응답할 수 있는 인-루프 필터(in-loop filter) 기술들을 포함할 수 있다.
루프 필터 유닛(356)의 출력은 디스플레이(212)와 같은 렌더링 디바이스에 출력될 뿐만 아니라 미래의 인터-픽처 예측에서 사용하기 위해 참조 픽처 메모리(357)에 저장될 수 있는 샘플 스트림일 수 있다.
특정 코딩된 픽처들은, 일단 완전히 재구성되면, 미래 예측을 위한 참조 픽처들로서 사용될 수 있다. 일단 코딩된 픽처가 완전히 재구성되고 코딩된 픽처가 참조 픽처로서 식별되었다면(예를 들어, 파서(320)에 의해), 현재 참조 픽처는 참조 픽처 메모리(357)의 일부가 될 수 있고, 다음 코딩된 픽처의 재구성에 착수하기 전에 새로운(fresh) 현재 픽처 메모리가 재할당될 수 있다.
비디오 디코더(210)는 ITU-T Rec. H.265와 같은 표준에 문서화될 수 있는 미리 결정된 비디오 압축 기술에 따라 디코딩 동작들을 수행할 수 있다. 코딩된 비디오 시퀀스는, 이것이 비디오 압축 기술 문서 또는 표준 및 구체적으로 그 가운데 프로필 문서에 특정된 대로 비디오 압축 기술 또는 표준의 신택스(syntax)를 고수한다는 점에서, 사용되는 비디오 압축 기술 또는 표준에 의해 특정된 신택스를 준수할 수 있다. 또한, 일부 비디오 압축 기술들 또는 표준들을 준수하기 위해, 코딩된 비디오 시퀀스의 복잡도가 비디오 압축 기술 또는 표준의 레벨에 의해 정의된 바와 같은 경계들 내에 있을 수 있다. 일부 경우들에서, 레벨들은 최대 픽처 크기, 최대 프레임 레이트, 최대 재구성 샘플 레이트(예를 들어, 초당 메가샘플로 측정됨), 최대 참조 픽처 크기 등을 제한한다. 레벨들에 의해 설정된 한계들은, 일부 경우들에서, HRD(Hypothetical Reference Decoder) 사양들 및 코딩된 비디오 시퀀스에서 시그널링된 HRD 버퍼 관리를 위한 메타데이터를 통해 추가로 제한될 수 있다.
실시예에서, 수신기(310)는 인코딩된 비디오와 함께 추가적인 (중복) 데이터를 수신할 수 있다. 이 추가적인 데이터는 코딩된 비디오 시퀀스(들)의 일부로서 포함될 수 있다. 이 추가적인 데이터는 데이터를 적절히 디코딩하고, 및/또는 원래의 비디오 데이터를 더 정확하게 재구성하기 위해 비디오 디코더(210)에 의해 사용될 수 있다. 추가적인 데이터는 예를 들어, 시간적, 공간적, 또는 SNR 향상 계층들, 중복 슬라이스들, 중복 픽처들, 순방향 오류 정정 코드들 등의 형식일 수 있다.
도 4는 본 개시내용의 실시예에 따른 비디오 소스(201)와 연관된 비디오 인코더(203)의 예시적인 기능 블록도를 도시한다.
비디오 인코더(203)는, 예를 들어, 소스 코더(430)인 인코더, 코딩 엔진(432), (로컬) 디코더(433), 참조 픽처 메모리(434), 예측기(435), 송신기(440), 엔트로피 코더(445), 제어기(450), 및 채널(460)을 포함할 수 있다.
인코더(203)는 인코더(203)에 의해 코딩될 비디오 이미지(들)를 캡처할 수 있는 비디오 소스(201)(인코더의 일부가 아님)로부터 비디오 샘플들을 수신할 수 있다.
비디오 소스(201)는, 임의의 적합한 비트 심도(예를 들어: 8 비트, 10 비트, 12 비트, …), 임의의 컬러 공간(예를 들어, BT.601 Y CrCB, RGB, …), 및 임의의 적합한 샘플링 구조(예를 들어, Y CrCb 4:2:0, Y CrCb 4:4:4)의 것일 수 있는 디지털 비디오 샘플 스트림의 형태로 인코더(203)에 의해 코딩될 소스 비디오 시퀀스를 제공할 수 있다. 미디어 서빙 시스템에서, 비디오 소스(201)는 이전에 준비된 비디오를 저장하는 저장 디바이스일 수 있다. 영상 회의 시스템에서, 비디오 소스(203)는 비디오 시퀀스로서 로컬 이미지 정보를 캡처하는 카메라일 수 있다. 비디오 데이터는 순차적으로 볼 때 모션을 부여하는 복수의 개별 픽처로서 제공될 수 있다. 픽처들 자체는 픽셀들의 공간 어레이로서 조직될 수 있고, 여기서 각각의 픽셀은 사용 중인 샘플링 구조, 컬러 공간 등에 의존하여 하나 이상의 샘플을 포함할 수 있다. 본 기술분야의 통상의 기술자는 픽셀들과 샘플들 사이의 관계를 용이하게 이해할 수 있다. 이하의 설명은 샘플들에 초점을 맞춘다.
실시예에 따르면, 인코더(203)는 소스 비디오 시퀀스의 픽처들을 실시간으로 또는 응용에 의해 요구되는 임의의 다른 시간 제약들 하에서 코딩된 비디오 시퀀스(443)가 되도록 코딩 및 압축할 수 있다. 적절한 코딩 속도를 시행하는 것이 제어기(450)의 하나의 기능이다. 제어기(450)는 또한 아래에 설명되는 바와 같은 다른 기능 유닛들을 제어할 수 있고 이러한 유닛들에 기능적으로 결합될 수 있다. 결합은 명료성을 위해 묘사되지 않는다. 제어기(450)에 의해 설정된 파라미터들은 레이트 제어 관련 파라미터들(픽처 스킵, 양자화기, 레이트-왜곡 최적화 기법들의 람다 값들,...), 픽처 크기, GOP(group of pictures) 레이아웃, 최대 모션 벡터 검색 범위 등을 포함할 수 있다. 본 기술분야의 통상의 기술자는 제어기(450)의 다른 기능들이 특정한 시스템 설계에 최적화된 비디오 인코더(203)에 관련될 수 있으므로 이들을 쉽게 식별할 수 있다.
일부 비디오 인코더들은 본 기술분야의 통상의 기술자가 "코딩 루프(coding loop)"로서 쉽게 인식하는 것에서 동작한다. 과도하게 단순화된 설명으로서, 코딩 루프는 소스 코더(430)(코딩될 입력 픽처, 및 참조 픽처(들)에 기초하여 심벌들을 생성하는 것을 담당함)의 인코딩 부분, 및 심벌들과 코딩된 비디오 비트스트림 사이의 압축이 특정 비디오 압축 기술들에서 무손실일 때 (원격) 디코더가 또한 생성할 샘플 데이터를 생성하기 위해 심벌들을 재구성하는 인코더(203)에 내장되는 (로컬) 디코더(433)로 이루어질 수 있다. 그 재구성된 샘플 스트림은 참조 픽처 메모리(434)에 입력될 수 있다. 심벌 스트림의 디코딩이 디코더 위치(로컬 또는 원격)와는 독립적으로 비트 정확한 결과들(bit-exact results)을 이끌어내므로, 참조 픽처 메모리 콘텐츠도 또한 로컬 인코더와 원격 인코더 사이에서 비트 정확(bit exact)하다. 다시 말해서, 인코더의 예측 부분은 디코딩 동안 예측을 사용할 때 디코더가 "볼(would see)" 것과 정확히 동일한 샘플 값들을 참조 픽처 샘플들로서 "본다(see)". 참조 픽처 동기성(reference picture synchronicity)의 이러한 기본적인 원리(그리고, 예를 들어, 채널 오류들 때문에, 동기성이 유지될 수 없는 경우, 결과적인 드리프트)는 본 기술분야의 통상의 기술자에게 알려져 있다.
"로컬" 디코더(433)의 동작은 도 3과 연계하여 위에서 이미 상세히 설명된 "원격" 디코더(210)의 것과 동일할 수 있다. 그러나, 심벌들이 이용가능하고 엔트로피 코더(445) 및 파서(320)에 의한 코딩된 비디오 시퀀스로의 심벌들의 인코딩/디코딩이 무손실일 수 있으므로, 채널(312), 수신기(310), 버퍼(315), 및 파서(320)를 포함하는, 디코더(210)의 엔트로피 디코딩 부분들은 로컬 디코더(433)에서 완전히 구현되지 않을 수 있다.
이 시점에서 이루어질 수 있는 관찰은, 디코더에 존재하는 파싱/엔트로피 디코딩을 제외하여 임의의 디코더 기술이 대응하는 인코더에서 실질적으로 동일한 기능 형태로 존재할 필요가 있을 수 있다는 점이다. 이러한 이유로, 개시된 주제는 인코더 동작에 초점을 맞춘다. 디코더 기술들의 설명은 포괄적으로 설명된 인코더 기술들의 역일 수 있으므로 축약될 수 있다. 특정 영역들에서만 더 상세한 설명이 요구되고 아래에 제공된다.
그 동작의 일부분으로서, 소스 코더(430)는, "참조 프레임들(reference frames)"로서 지정된 비디오 시퀀스로부터의 하나 이상의 이전에-코딩된 프레임을 참조하여 예측적으로 입력 프레임을 코딩하는, 모션 보상된 예측 코딩을 수행할 수 있다. 이러한 방식으로, 코딩 엔진(432)은 입력 프레임의 픽셀 블록들과 입력 프레임에 대한 예측 참조(들)로서 선택될 수 있는 참조 프레임(들)의 픽셀 블록들 사이의 차이들을 코딩한다.
로컬 비디오 디코더(433)는, 소스 코더(430)에 의해 생성된 심벌들에 기초하여, 참조 프레임들로서 지정될 수 있는 프레임들의 코딩된 비디오 데이터를 디코딩할 수 있다. 코딩 엔진(432)의 동작들은 유리하게는 손실 프로세스들일 수 있다. 코딩된 비디오 데이터가 비디오 디코더(도 4에 도시되지 않음)에서 디코딩될 수 있는 경우, 재구성된 비디오 시퀀스는 전형적으로 일부 오류들을 갖는 소스 비디오 시퀀스의 복제본(replica)일 수 있다. 로컬 비디오 디코더(433)는 참조 프레임들에 대해 비디오 디코더에 의해 수행될 수 있는 디코딩 프로세스들을 복제하고 재구성된 참조 프레임들이 참조 픽처 메모리(434)에 저장되게 야기할 수 있다. 이러한 방식으로, 인코더(203)는 (송신 오류들이 없이) 원단(far-end) 비디오 디코더에 의해 획득될 재구성된 참조 프레임들로서 공통 콘텐츠를 갖는 재구성된 참조 프레임들의 사본들을 로컬로 저장할 수 있다.
예측기(435)는 코딩 엔진(432)을 위한 예측 검색들을 수행할 수 있다. 즉, 코딩될 새로운 프레임에 대해, 예측기(435)는 새로운 픽처들에 대한 적절한 예측 참조로서 역할할 수 있는 참조 픽처 모션 벡터들, 블록 형상들 등과 같은 특정 메타데이터 또는 (후보 참조 픽셀 블록들로서의) 샘플 데이터에 대해 참조 픽처 메모리(434)를 검색할 수 있다. 예측기(435)는 적절한 예측 참조들을 찾기 위해 샘플 블록-바이-픽셀 블록(sample block-by-pixel block) 기준으로 동작할 수 있다. 일부 경우들에서, 예측기(435)에 의해 획득된 검색 결과들에 의해 결정된 바와 같이, 입력 픽처는 참조 픽처 메모리(434)에 저장된 다중의 참조 픽처로부터 인출된 예측 참조들을 가질 수 있다.
제어기(450)는, 예를 들어, 비디오 데이터를 인코딩하기 위해 사용되는 파라미터들 및 서브그룹 파라미터들의 설정을 포함하여, 비디오 코더(430)의 코딩 동작들을 관리할 수 있다.
앞서 언급한 모든 기능 유닛들의 출력은 엔트로피 코더(445)에서 엔트로피 코딩을 겪을 수 있다. 엔트로피 코더는 본 기술분야의 통상의 기술자에게 알려진 기술들, 예를 들어, 허프만(Huffman) 코딩, 가변 길이 코딩, 산술 코딩 등에 따라 심벌들을 무손실 압축함으로써, 다양한 기능 유닛들에 의해 생성된 심벌들을 코딩된 비디오 시퀀스가 되도록 변환한다.
송신기(440)는, 인코딩된 비디오 데이터를 저장할 저장 디바이스에 대한 하드웨어/소프트웨어 링크일 수 있는, 통신 채널(460)을 통한 송신을 준비하기 위해 엔트로피 코더(445)에 의해 생성된 코딩된 비디오 시퀀스(들)를 버퍼링할 수 있다. 송신기(440)는 비디오 코더(430)로부터의 코딩된 비디오 데이터를 송신될 다른 데이터, 예를 들어, 코딩된 오디오 데이터 및/또는 보조 데이터 스트림들(소스들이 도시되지 않음)과 병합할 수 있다.
제어기(450)는 인코더(203)의 동작을 관리할 수 있다. 코딩 동안, 제어기(450)는, 각자의 픽처에 적용될 수 있는 코딩 기법들에 영향을 미칠 수 있는, 특정 코딩된 픽처 타입을 각각의 코딩된 픽처에 할당할 수 있다. 예를 들어, 픽처들은 종종 인트라 픽처(Intra Picture)(I 픽처), 예측 픽처(Predictive Picture)(P 픽처), 또는 양방향 예측 픽처(Bi-directionally Predictive Picture)(B 픽처)로서 할당될 수 있다.
인트라 픽처(Intra Picture)(I 픽처)는 예측의 소스로서 시퀀스에서의 임의의 다른 프레임을 사용하지 않고 코딩되고 디코딩될 수 있는 것일 수 있다. 일부 비디오 코덱들은, 예를 들어, IDR(Independent Decoder Refresh) 픽처들을 포함하는, 상이한 타입들의 인트라 픽처들을 허용한다. 본 기술분야의 통상의 기술자는 I 픽처들의 해당 변형들 및 그것들 각자의 응용들 및 특징들을 인식한다.
예측 픽처(Predictive picture)(P 픽처)는 각각의 블록의 샘플 값들을 예측하기 위해 많아야 하나의 모션 벡터 및 참조 인덱스를 사용하여 인트라 예측(intra prediction) 또는 인터 예측(inter prediction)을 사용하여 코딩 및 디코딩될 수 있는 것일 수 있다.
양방향 예측 픽처(Bi-directionally Predictive Picture)(B Picture)는 각각의 블록의 샘플 값들을 예측하기 위해 많아야 2개의 모션 벡터들 및 참조 인덱스들을 사용하는 인트라 예측 또는 인터 예측을 사용하여 코딩 및 디코딩될 수 있는 것일 수 있다. 유사하게, 다중-예측 픽처들은 단일 블록의 재구성을 위해 2개보다 많은 참조 픽처 및 연관된 메타데이터를 사용할 수 있다.
소스 픽처들은 흔히 복수의 샘플 블록(예를 들어, 각각 4x4, 8x8, 4x8, 또는 16x16 샘플들의 블록들)으로 공간적으로 세분되고 블록별로(on a block-by-block basis) 코딩될 수 있다. 블록들은 블록들의 각자의 픽처들에 적용되는 코딩 할당에 의해 결정된 다른 (이미 코딩된) 블록들을 참조하여 예측적으로 코딩될 수 있다. 예를 들어, I 픽처들의 블록들은 비예측적으로 코딩될 수 있거나 또는 그것들은 동일한 픽처의 이미 코딩된 블록들을 참조하여 예측적으로 코딩될 수 있다(공간 예측 또는 인트라 예측). P 픽처들의 픽셀 블록들은 하나의 이전에 코딩된 참조 픽처들을 참조하여 공간적 예측을 통해 또는 시간적 예측을 통해 비예측적으로 코딩될 수 있다. B 픽처들의 블록들은 하나의 또는 두 개의 이전에 코딩된 참조 픽처들을 참조하여 공간적 예측을 통해 또는 시간적 예측을 통해 비예측적으로 코딩될 수 있다.
비디오 코더(203)는 ITU-T Rec. H.265와 같은 표준 또는 미리 결정된 비디오 코딩 기술에 따라 코딩 동작들을 수행할 수 있다. 그것의 동작 중에, 비디오 코더(203)는, 입력 비디오 시퀀스에서 시간적 및 공간적 중복성을 활용하는 예측 코딩 동작들을 포함하여, 다양한 압축 동작들을 수행할 수 있다. 따라서, 코딩된 비디오 데이터는 사용 중인 비디오 코딩 기술 또는 표준에 의해 지정된 신택스(syntax)를 준수할 수 있다.
실시예에서, 송신기(440)는 인코딩된 비디오와 함께 추가적인 데이터를 송신할 수 있다. 비디오 코더(430)는 코딩된 비디오 시퀀스의 일부로서 그러한 데이터를 포함할 수 있다. 추가적인 데이터는 시간적/공간적/SNR 향상 계층들, 중복 픽처들 및 슬라이스들과 같은 다른 형태들의 중복 데이터, SEI(Supplementary Enhancement Information) 메시지들, VUI(Visual Usability Information) 파라미터 세트 프래그먼트들 등을 포함할 수 있다.
시간적 필터링은 이웃 프레임들과의 시간적 중복성을 이용하여 현재 프레임의 잡음을 제거하려고 시도하는 기법이다. 이것은 VVC(Versatile Video Coding) 코덱에 대한 테스트 모델인 VTM6(Versatile Video Coding and Test Model6)(JVET-O0549에 설명됨)에서 그리고 AV1 코덱에 대한 인코더들인 libaom 및 SVT-AV1에서 적용된다. 필터의 정확한 구현은 인코더들 사이에서 변한다.
모드 결정 동안, 인코더는 각각의 블록에 대해 rate*lambda + distortion 메트릭을 최소화하려고 시도할 수 있다.
현재 픽처에 이어서 동일한 다음 픽처가 따라오면, 현재 픽처 내의 코딩된 블록들은 스킵될 수 있다. 이 경우, rate*lambda+2*distortion이 최소화될 수 있다. VTM은 시간적 계층들에 대한 상이한 QP(quantization parameter) 값들을 설정함으로써 RA(Random-Access)에 대해 이것을 근사화한다.
다음의 픽처가 단지 약간만 상이한 경우, 코딩된 블록은 여전히 스킵될 가능성이 있다. 이 경우, rate*lambda+ distortion1+ distortion2가 최소화될 수 있다. 2개의 왜곡을 별도로 계산하기보다는, 코딩된 블록과 2개의 픽처의 원래 버전들의 평균 사이의 왜곡이 계산될 수 있다. 이는 시간적으로 필터링된 원래 픽처들을 사용하기 위한 하나의 동기부여가 된다. 원래 이미지들이 상이한 경우에, 제1 픽처에 대한 디코딩된 샘플 값들이 제2 픽처에 대해 재사용될 가능성이 더 이상 없으므로, 필터 강도가 빠르게 떨어질 수 있다.
인코더들에서의 시간적 필터의 일반적인 적용 프로세스는 다음과 같을 수 있다.
단계 1: 픽처가 인코더에 의해 판독된다.
단계 2: 픽처가 코딩 계층구조에서 충분히 낮은 경우, 픽처는 인코딩 이전에 필터링된다. 그렇지 않은 경우, 픽처는 필터링 없이 인코딩된다.
단계 3: 시간적 필터가 현재 프레임에 적용되는 것으로 결정되는 경우, 모션 추정 및 모션 보상 방법이 이웃 픽처들에 적용된다. 이 단계의 목적은 이웃 프레임들 각각에서 현재 블록에 가장 가까운 매칭을 찾는 것이다.
단계 4: 일단 이웃 프레임들 각각으로부터의 모든 유사한 블록들이 수집되면, 원래 픽처의 모든 샘플 값들은 아래의 수학식 1을 이용하여 인코딩하기 전에 인코더에 의해 필터링된 샘플 값들 In으로 대체된다.
Figure pct00001
Figure pct00002
은 원래 샘플 값이고,
Figure pct00003
는 모션 보상 이후의 이웃 픽처 i에서의 공동 위치된 샘플 값이고,
Figure pct00004
는 이용가능한 이웃 픽처들의 수가 a와 동일할 때 이웃 픽처 i의 가중치이다.
가중치들
Figure pct00005
은 다음의 수학식 2를 사용하여 인코더에 의해 계산된다:
Figure pct00006
e는 지수 상수일 수 있다.
Figure pct00007
은 아래의 수학식 3을 이용하여 계산된다.
Figure pct00008
함수 f는
Figure pct00009
에 기초하여 지수에서의 인자를 계산하는데, 정확한 함수는 구현들 간에 상이하다.
Figure pct00010
및
Figure pct00011
은 가중치를 수정하는 다른 인자들이며, 이것들은 로컬 평균 ME 오류와 같은 다른 픽셀 레벨 특성들에 의존할 수 있거나, 또는 QP와 같은 블록/프레임 레벨 특성들에 의존할 수 있다. 마지막으로, s는 최종 가중치 계산을 위한 스케일링 인자이다.
시간적 필터 구현들이 전술한 바와 같이 수행될 수 있지만, 구현들의 상세사항들은 변할 수 있다. 구현들은 주로 다음의 점들에서 변한다:
(A) 적용가능한 프레임들: 구현들이 GOP(Group of Pictures) 계층구조에서 하위 계층들에 시간적 필터링을 적용할 수 있지만, 그것이 결정되는 방식에 사소한 변동들이 있다. 예를 들어, VTM에서, POC(picture order count) ％ 8==0을 갖는 RA(Random-Access) 픽처들 및 POC % 4==0을 갖는 LD(Low-Delay) 픽처들이 필터링된다. AI(All-Intra) 픽처들은 결코 필터링되지 않는다. 또한, Libaom 및 SVT-AV1에서, 모든 KEYFRAMES 및 ALTREF 프레임들이 시간적으로 필터링된다.
(B) 참조 프레임들의 수: 시간적 필터링 프로세스에 대해 사용되는 이웃 프레임들의 수는 인코더마다 다를 수 있다. VTM은 RA 코딩 조건 하에서 4개의 프레임을 사용하고, LD 코딩 구성 하에서 2개의 참조 프레임을 사용할 수 있다. libaom 및 SVT 인코더들은 구성 가능한 참조 프레임들의 수를 갖는다. 그러나, 디폴트 값은 7개의 침조 프레임에 설정될 수 있다.
(C) 사용되는 블록들의 크기들: VTM은 8x8 블록 기반으로 ME(motion estimation), MC(motion compensation) 및 필터링 프로세스를 수행할 수 있는 반면, libaom 및 SVT는 32x32 블록 기반으로 프로세스를 수행할 수 있다. Libaom 및 SVT 둘 다는, 디코더가 ME 오류가 너무 크다는 것을 검출하는 경우, 16x16 레벨 처리로 전환할 수 있다.
(D) 모션 추정: 구현들은 계층적 모션 추정 레벨들의 수, 검색이 서브샘플링된 참조 및 현재 프레임들로부터 시작하는지, 모션 추정이 수행되는 최소 분수 픽셀, 및 모션 보상을 위해 사용되는 필터들의 양태들에서 상이할 수 있다.
(E) 가중치 계산 방법들: 평균화 이전에 병치된 픽셀들 각각에 할당된 가중치는 구현들이 상이할 수 있는 주요 영역이다. 가중치 계산은 다양한 인자들의 함수로 이루어질 수 있다. 현재 픽셀의 모션 추정 오류가 구현들에서 흔히 사용되는 인자이기는 하지만, 더 많은 인자들이 사용되어 결과적인 가중치들을 변경할 수 있다. 예를 들어, VVC에서, 현재 프레임의 ME 오류 및 QP는 가중치를 결정하기 위해 사용될 수 있다. Libaom에서, 현재 픽셀 주변의 윈도우의 ME 오류, 현재 프레임의 잡음 레벨, 및 모션 벡터의 크기가 가중치를 결정하는데 이용될 수 있다. SVT-AV1에서: 현재 픽셀 주변의 윈도우의 ME 오류 및 현재 프레임의 잡음 레벨들이 가중치들을 결정하기 위해 사용될 수 있다.
사용되는 인자들의 차이들에도 불구하고, 구현들은 가중치를 결정하기 위해 다음의 수학식 4를 사용할 수 있다:
Figure pct00012
수학식에서 사용되는 항들은 앞서 설명되었다. 인자들(예로서, 픽셀에 대한 ME 오류/현재 픽셀 주변의 윈도우의 평균 ME 오류) 중 적어도 하나가 픽셀마다 다르므로, 각각의 픽셀에 대한 가중치는 고유하며, 반복적으로 계산되는 것이 필요할 수 있다.
본 개시내용의 실시예들은 개별적으로 사용되거나 또는 임의의 순서로 조합될 수 있다. 또한, 실시예들(예를 들어, 방법들, 인코더들, 및 디코더들) 각각은 처리 회로(예를 들어, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 일 예에서, 하나 이상의 프로세서는 비일시적 컴퓨터 판독가능 매체에 저장되는 프로그램을 실행한다. 본 개시내용의 실시예들은 위에서 그리고 아래에서 설명되는 바와 같은 시간적 필터링의 양태들을 구현할 수 있다.
본 개시내용의 실시예들은 시간적 필터링을 위해 본 개시내용에 설명된 기술들을 구현할 수 있을 뿐만 아니라, 아래에 설명되는 바와 같은 지수 계산을 포함하는 임의의 방법을 구현할 수 있다.
본 개시내용의 실시예들은 가중치 w를 계산하기 위한 가중치 도출 방정식을 구현할 수 있다. 가중치 w를 계산하기 위한 가중치 도출 수학식의 일반적인 형태가 아래의 수학식 5에 제시되며, 여기서 e는 지수 상수일 수 있고,
Figure pct00013
은 실수들이다. 실시예들에 따르면, 인자들의 수는 변할 수 있다. 예를 들어, 실시예에서,
Figure pct00014
만이 방정식에 포함된다. 또 다른 실시예에서,
Figure pct00015
이 수학식에 포함될 수 있다.
Figure pct00016
이러한 방식으로 일반적인 형태를 갖는 이유는 다음과 같다:
(A) 지수의 분자에서의 항들(예를 들어,
Figure pct00017
)은 이들이 더 커지면 계산되는 최종 가중치를 감소시키는 인자들이다. 예를 들어, 하나의 그러한 인자는 모션 추정 오류일 수 있다. 모션 추정 오류가 더 큰 경우, 가중치는 더 작아야 하며, 따라서 모션 추정 오류 관련 인자가 분자에 배치된다. 다중의 그러한 인자가 존재할 수 있으며, 따라서 분자에 일반 형태의 다중의 인자가 존재할 수 있다.
(B) 지수의 분모에서의 항들(예를 들어,
Figure pct00018
)은 이들이 더 커지는 경우에 계산되는 최종 가중치를 증가시키는 인자들이다. 예를 들어, 하나의 그러한 인자는 QP(quantization parameter)일 수 있다. QP(quantization parameter)가 더 큰 경우, 가중치는 더 작아야 하며, 따라서 QP 인자 관련 파라미터는 분모에 배치된다. 다중의 그러한 인자가 있을 수 있고, 따라서 분모에 일반 형태의 다중의 인자가 있을 수 있다.
(C) 분자의 항들
Figure pct00019
의 적용은 최종 스케일링 인자를 포함할 수 있다. 최종 가중치는 지수 함수가 1보다 작은 값을 낳을 수 있기 때문에 스케일링될 수 있고, 고정 소수점 정밀도로 동작하기 위해, 스케일링이 수행될 필요가 있을 수 있다. 항들은 또한 계산된 최종 가중치에 선형적으로 영향을 미칠 수 있는 파라미터들을 포함할 수 있다. 예를 들어, 하나의 파라미터는 필터링되는 프레임의 잡음 레벨일 수 있고, 여기서 잡음의 양이 클수록, 가중치는 비례하여 증가될 수 있다. 다중의 이러한 파라미터가 있을 수 있기 때문에 그리고 스케일링 인자가 또한 분자에 포함되기 때문에, 일반적인 형태는 분자에 다중의 인자를 포함할 수 있다.
(D) 분모의 항들
Figure pct00020
은 최종 가중치에 역으로 영향을 미칠 수 있는 인자들을 포함할 수 있다. 이러한 인자는, 예를 들어, 현재 프레임으로부터의 참조 프레임의 POC 거리를 포함할 수 있다. 이러한 경우에, POC 거리가 더 클수록, 참조 프레임에 더 낮은 가중치가 할당될 수 있다. 다중의 이러한 파라미터가 있을 수 있기 때문에, 분모는 일반적인 형태의 다중의 인자를 포함할 수 있다.
실시예들에 따르면, 인코더는 부동 소수점 값들 대신에 고정 소수점 값들로서 지수 함수의 지수(예를 들어, 항들
Figure pct00021
및
Figure pct00022
)를 계산할 수 있다.
실시예에 따르면, 고정 소수점 표현은 2n 비트를 사용하여 표현될 수 있고, 여기서 n은 자연수이다. 값 n은 고정 소수점 값이 2n을 오버플로우하지 않도록 선택될 수 있다.
또 다른 실시예에서, 고정 소수점 표현은 스케일링 인자로 나눔으로써 기본(underlying) 부동 소수점 값이 획득될 수 있도록 스케일링 인자를 사용할 수 있다. 스케일링 연산들이 간단한 이진 논리 시프트 연산들에 의해 수행될 수 있도록, 스케일링 인자가 또한 2의 거듭제곱이 되도록 선택될 수 있다. 예를 들어, 스케일링 인자는 25과 동일할 수 있다. 부동 소수점 값 xn1은
Figure pct00023
을 계산하고 그것을 가장 가까운 정수로 반올림함으로써 고정 소수점 값으로서 작성될 수 있다.
Figure pct00024
과 또 다른 정수
Figure pct00025
의 곱셈은
Figure pct00026
로서 수행될 수 있다.
일 실시예에서, 기본 부동 소수점 값을 획득하기 위해 스케일링 업(scaling up) 및 백 다운(back down)하는 것이 값의 정확도에 있어서 상당한 손실을 야기하지 않도록 스케일링 인자가 선택될 수 있다.
또 다른 실시예에서, 고정 소수점 표현을 획득하기 위해 부동 소수점의 스케일링 업 연산하는 것과 상기 고정 소수점 표현에서 계산을 수행하는 것이 인코더의 성능을 상당히 열화시키지 않도록 스케일링 인자가 선택될 수 있다. 예를 들어, 지수 함수의 지수의 계산을 위해 사용되는 인자들(예를 들어, 평균 모션 추정 오류, 프레임의 잡음 레벨, 및 모션 벡터의 크기) 자체들 각각은 고정 소수점 표현으로 변환될 수 있다.
실시예들에 따르면, 인코더는 위에 설명된 계산들을 사용하는 대신에 룩업 테이블(들)을 사용하여 지수 함수를 획득할 수 있다.
실시예에 따르면, 지수 함수는 2개의 룩업 테이블를 이용하여 계산될 수 있는데, 하나는 입력 값의 분수부(fractional part)에 대한 것이고, 하나는 정수부(integer part)에 대한 것인데, 그 이유는
Figure pct00027
이기 때문이다.
일 실시예에서, 룩업 테이블(들)은 부동 소수점 값들을 적절하게 스케일링함으로써 도출되는 고정 소수점 값들을 포함할 수 있다.
일 실시예에서,
Figure pct00028
은
Figure pct00029
로 등가적으로 변환될 수 있고, 이것은 추가로
Figure pct00030
으로서 작성될 수 있다.
Figure pct00031
부는 룩업 테이블을 이용하여 계산될 수 있는 한편,
Figure pct00032
부는 논리 시프트 연산을 이용하여 획득될 수 있다.
실시예에서, 룩업 테이블에 저장된 값들은 각각 N-비트 폭보다 크지 않을 수 있어서, 룩업 연산의 SIMD(single instruction/multiple data) 구현이 효율적으로 수행될 수 있도록 한다. 예를 들어, N은 8과 동일할 수 있고, SIMD 룩업은 AVX(Advanced Vector Extensions) 및 AVX2(Advanced Vector Extensions 2) 명령어 세트들에 대해 효율적으로 수행될 수 있다.
실시예에서, 룩업 테이블의 크기는 룩업 연산의 SIMD 구현이 효율적으로 수행될 수 있도록 N 값보다 길지 않을 수 있다. 예를 들어, N은 16과 동일할 수 있고, SIMD 룩업은 AVX 및 AVX2 명령어 세트들에 대해 효율적으로 수행될 수 있다.
실시예들에 따르면, 인코더는 주어진 병치된 픽셀에 대한 최종 가중치를 획득하기 위해 지수 함수와 곱해지고/나누어지는 값들
Figure pct00033
및
Figure pct00034
을 곱셈 전에 고정 소수점 값으로 변환하여 부동 소수점 수학을 회피할 수 있다. 값들이 변환되는 계산 동안의 소수점(point)은 최종 성능을 변화시킬 수 있다.
실시예에서, 부동 소수점 값을 고정 소수점 표현으로 변환하기 위해 사용되는 스케일링 인자는 2의 거듭제곱일 수 있으며, 따라서 스케일링 연산들은 간단한 이진 논리 시프트 연산들에 의해 수행될 수 있다.
실시예에서, 값들
Figure pct00035
및
Figure pct00036
은 이들의 유효값을 계산한 후에 이들을 곱하고/나눔으로써 지수 함수에 대한 룩업 테이블에 직접 통합될 수 있어서, 테이블로부터 값을 룩업한 후에 더 이상의 곱셈이 요구되지 않도록 한다. 예로서, 룩업 테이블로의 통합은 인자
Figure pct00037
을 룩업 테이블 내의 기존 값들에 곱함으로써 수행될 수 있다. 예에서, 룩업 테이블 내의 값들은
Figure pct00038
및
Figure pct00039
을 통합한 후에 고정 소수점 값들로 변환될 수 있다.
실시예들에 따르면, 인코더는
Figure pct00040
및
Figure pct00041
중에서 비-가변 값들을 이들의 유효값을 계산한 후에 이들을 곱하고/나눔으로써 고정 소수점으로 변환할 수 있다. 이 고정 소수점 값은 나중에 픽셀별 가중치 계산 동안 고정 소수점으로 변환하는 대신에 각각의 픽셀에 대한 가중치 계산 동안 직접 사용될 수 있다. 값들이 변환되는 계산 동안의 소수점(point)은 최종 성능을 변화시킬 수 있다. 값들을 픽셀별 루프 외부의 고정 소수점으로 변환하는 것은 중복 계산을 줄이며, 따라서 더 효율적이다.
실시예에서, 픽셀들의 블록에 대해 일정하게 유지되는 지수 (
Figure pct00042
및
Figure pct00043
)의 지수 내의 인자들의 서브세트가 사전 계산될 수 있고, 그의 결과 값이 저장될 수 있다. 픽셀당 가중치를 계산할 때,
Figure pct00044
및
Figure pct00045
의 각각은 곱해지고/나누어지지 않을 수 있고, 각각의 픽셀에 대해 변하는 것들만이 변하지 않는 인자들의 조합된 값과 곱해지고/나누어질 수 있다.
실시예에서, 부동 소수점 값을 고정 소수점 표현으로 변환하기 위해 사용되는 스케일링 인자는 2의 거듭제곱일 수 있으며, 따라서 스케일링 연산들은 간단한 이진 논리 시프트 연산들에 의해 수행될 수 있다.
실시예에서,
Figure pct00046
및
Figure pct00047
중의 변하지 않는 인자들은 이들의 유효 값을 계산한 후에 이들을 곱하고/나눔으로써 고정 소수점으로 변환될 수 있다. 이 고정 소수점 값은 나중에 픽셀별 가중치 계산 동안 고정 소수점으로 변환하는 대신에 각각의 픽셀에 대한 가중치 계산 동안 직접 사용될 수 있다. 값들이 변환되는 계산 동안의 소수점(point)은 최종 성능을 변화시킬 수 있다. 값들을 픽셀별 루프 외부의 고정 소수점으로 변환하는 것은 중복 계산을 줄이며, 따라서 더 효율적이다.
본 개시내용의 실시예들은 적어도 하나의 프로세서 및 컴퓨터 코드를 저장하는 메모리를 포함할 수 있다. 컴퓨터 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 본 개시내용의 실시예들의 기능들을 수행하게 야기하도록 구성될 수 있다. 인코더(또는 디코더)는 적어도 하나의 프로세서 및 메모리를 포함할 수 있다. 인코더(또는 디코더)는 본 명세서에 설명된 실시예들의 기능들을 수행할 수 있다.
예를 들어, 도 5를 참조하면, 본 개시내용의 인코더(500)는 적어도 하나의 프로세서 및 컴퓨터 코드를 저장하는 메모리를 포함할 수 있다. 컴퓨터 명령어들은 시간적 필터 코드(510) 및 인코딩 코드(520)를 포함할 수 있다.
시간적 필터 코드(510)는, 본 개시내용의 하나 이상의 실시예와 관련하여 설명된 바와 같이, 적어도 하나의 프로세서로 하여금 현재 픽처에 시간적 필터를 적용하게 야기하도록 구성될 수 있다. 예로서, 시간적 필터 코드(510)는 지수 함수 획득 코드(511), 스케일링 함수 획득 코드(512), 가중치 획득 코드(513), 필터링된 샘플 값 획득 코드(514), 및 샘플 값 대체 코드(515)를 포함할 수 있다.
지수 함수 획득 코드(511)는 적어도 하나의 프로세서로 하여금, 본 개시내용의 하나 이상의 실시예와 관련하여 설명된 바와 같이, 지수 함수의 지수를 고정 소수점 값들로서 계산하는 것에 의해 및/또는 적어도 하나의 룩업 테이블을 사용하는 것에 의해 적어도 하나의 제1 인자(예컨대,
Figure pct00048
)를 갖는 분자 및 적어도 하나의 제2 인자(예를 들어,
Figure pct00049
)를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하게 야기하도록 구성될 수 있다.
스케일링 함수 획득 코드(512)는 적어도 하나의 프로세서로 하여금, 본 개시내용의 하나 이상의 실시예와 관련하여 설명된 바와 같이, 스케일링 함수의 인자들을 고정 소수점 값들로서 계산하는 것에 의해 및/또는 적어도 하나의 룩업 테이블을 사용하는 것에 의해, 적어도 하나의 제3 인자(예컨대,
Figure pct00050
)를 갖는 분자 및 적어도 하나의 제4 인자(예컨대,
Figure pct00051
)를 갖는 분모를 갖는 지수를 포함하는 스케일링 함수를 획득하게 야기하도록 구성될 수 있다.
가중치 획득 코드(513)는, 본 개시내용의 하나 이상의 실시예와 관련하여 설명된 바와 같이, 적어도 하나의 프로세서로 하여금 스케일링 함수를 지수 함수와 곱함으로써(예를 들어, 수학식 5 참조) 적어도 하나의 이웃 픽처의 가중치를 획득하게 야기하도록 구성될 수 있다.
필터링된 샘플 값 획득 코드(514)는 본 개시내용의 하나 이상의 실시예(예를 들어, 수학식 1 참조)에 대해 설명된 바와 같이, 적어도 하나의 프로세서로 하여금, 현재 픽처의 샘플 값 및 적어도 하나의 이웃 픽처의 가중치에 기초하여 현재 픽처의 필터링된 샘플 값을 획득하게 야기하도록 구성될 수 있다.
샘플 값 대체 코드(515)는, 본 개시내용의 하나 이상의 실시예에 대해 설명된 바와 같이, 적어도 하나의 프로세서로 하여금 현재 픽처의 샘플 값을 필터링된 샘플 값으로 대체하게 야기하도록 구성될 수 있다.
실시예들에 따르면, 시간적 필터 코드(510)는 지수 함수 획득 코드(511), 스케일링 함수 획득 코드(512), 가중치 획득 코드(513), 필터링된 샘플 값 획득 코드(514), 및 샘플 값 대체 코드(515) 중 하나 이상이 현재 픽처의 픽셀들 중으로부터의 각각의 픽셀마다 전체적으로 또는 부분적으로 반복적으로 수행되게 야기하도록 구성되는 루프 코드를 포함할 수 있다. 하나 이상의 실시예에 따르면, 지수 함수 획득 코드(511) 및 스케일링 함수 획득 코드(512) 중 하나 이상은 지수 함수 및/또는 스케일링 함수의 값들을 부동 소수점 표현들로부터 고정 소수점 표현들로 변환하기 위한, 그리고 루프 코드의 내부 또는 외부에 포함될 수 있는 변환 코드를 포함할 수 있다.
인코딩 코드(520)는, 본 개시내용의 하나 이상의 실시예와 관련하여 설명된 바와 같이, 적어도 하나의 프로세서로 하여금 시간적 필터가 적용된 후에 현재 픽처를 인코딩하게 야기하도록 구성될 수 있다.
하나 이상의 실시예에 따르면, 컴퓨터 코드는 적어도 하나의 프로세서로 하여금 본 개시내용의 실시예들에 대해 설명된 바와 같은 하나 이상의 룩업 테이블들을 획득하게 야기하도록 구성될 수 있는 룩업 테이블 코드(530)를 추가로 포함할 수 있다. 예를 들어, 실시예들에 따르면, 룩업 테이블 코드(530)는 적어도 하나의 프로세서로 하여금 룩업 테이블(들)을 수신하고, 및/또는 그 안에 값들을 포함하는 룩업 테이블(들)을 구성하게 야기하도록 구성될 수 있다.
위에서 설명된 본 개시내용의 실시예들의 기법들은 컴퓨터 판독가능 명령어들을 사용하여 컴퓨터 소프트웨어로서 구현되고 하나 이상의 컴퓨터 판독가능 매체에 물리적으로 저장될 수 있다. 예를 들어, 도 6은 개시된 주제의 실시예들을 구현하기에 적합한 컴퓨터 시스템(900)을 도시한다.
컴퓨터 소프트웨어는, CPU들(computer central processing units), GPU들(Graphics Processing Units) 등에 의해, 직접적으로, 또는 해석, 마이크로코드 실행 등을 통해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해, 어셈블리, 컴필레이션, 링킹, 또는 유사한 메커니즘의 대상이 될 수 있는 임의의 적합한 머신 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령어들은, 예를 들어, 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게이밍 디바이스들, 사물 인터넷(internet of things) 디바이스들 등을 포함하여, 다양한 타입의 컴퓨터들 또는 그것의 컴포넌트들 상에서 실행될 수 있다.
컴퓨터 시스템(900)에 대한 도 6에 도시된 컴포넌트들은 사실상 예시적인 것이고, 본 개시내용의 실시예들을 구현하는 컴퓨터 소프트웨어의 사용 또는 기능성의 범위에 대한 임의의 제한을 암시하도록 의도되지 않는다. 컴포넌트들의 구성은 컴퓨터 시스템(900)의 예시적 실시예에 예시된 컴포넌트들 중 어느 하나 또는 조합에 관한 임의의 의존 또는 요건을 갖는 것으로서 해석되지 않아야 한다.
컴퓨터 시스템(900)은 특정 인간 인터페이스 입력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 입력 디바이스는, 예를 들어, 촉각 입력(예컨대: 키스트로크들(keystrokes), 스와이프들(swipes), 데이터 글러브 움직임들(data glove movements)), 오디오 입력(예컨대: 음성, 손뼉), 시각적 입력(예컨대: 제스처들), 후각적 입력(묘사되지 않음)을 통한 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스들은, 오디오(음성, 음악, 주변 소리 등), 이미지들(스캔된 이미지들, 스틸 이미지 카메라로부터 획득된 사진 이미지들 등), 비디오(2차원 비디오, 입체 비디오를 포함하는 3차원 비디오 등) 등의, 인간에 의한 의식적 입력에 반드시 직접 관련될 필요는 없는 특정 미디어를 캡처하는 데에도 이용될 수 있다.
입력 인간 인터페이스 디바이스들은: 키보드(901), 마우스(902), 트랙패드(903), 터치 스크린(910), 데이터-글러브(data-glove), 조이스틱(905), 마이크로폰(906), 스캐너(907), 카메라(908) 중 하나 이상(각각의 하나만이 묘사됨)을 포함할 수 있다.
컴퓨터 시스템(900)은 또한 특정 인간 인터페이스 출력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 출력 디바이스들은, 예를 들어, 촉각 출력, 사운드, 광, 및 냄새/맛을 통해 하나 이상의 인간 사용자의 감각들을 자극하고 있을 수 있다. 그러한 인간 인터페이스 출력 디바이스들은 촉각 출력 디바이스들(예를 들어, 터치-스크린(910), 데이터-글러브, 또는 조이스틱(905)에 의한 촉각 피드백, 그러나 입력 디바이스들로서 역할을 하지 않는 촉각 피드백 디바이스들도 있을 수 있음)을 포함할 수 있다. 예를 들어, 그러한 디바이스들은 오디오 출력 디바이스들(예컨대: 스피커들(909), 헤드폰들(묘사되지 않음)), 시각적 출력 디바이스들(예컨대 CRT 스크린들, LCD 스크린들, 플라즈마 스크린들, OLED 스크린들을 포함하는 스크린들(910), 각각은 터치-스크린 입력 능력이 있거나 없고, 각각은 촉각 피드백 능력이 있거나 없고 - 이들 중 일부는 스테레오그래픽 출력과 같은 수단을 통해 2차원 시각적 출력 또는 3개보다 많은 차원의 출력을 출력할 수 있음 -; 가상 현실 안경(묘사되지 않음), 홀로그래픽 디스플레이 및 연기 탱크(묘사되지 않음), 및 프린터(묘사되지 않음)일 수 있다.
컴퓨터 시스템(900)은 인간 액세스 가능한 저장 디바이스들 및 그것들과 연관된 매체들, 예컨대 CD/DVD 등의 매체(921)를 갖는 CD/DVD ROM/RW(920)를 포함하는 광학 매체, 썸-드라이브(922), 이동식 하드 드라이브 또는 솔리드 스테이트 드라이브(923), 테이프 및 플로피 디스크(묘사되지 않음)와 같은 레거시 자기 매체, 보안 동글들(묘사되지 않음)과 같은 특수화된 ROM/ASIC/PLD 기반 디바이스들 등을 또한 포함할 수 있다.
본 기술분야의 통상의 기술자들은 현재 개시된 주제와 연관되어 사용되는 용어 "컴퓨터 판독가능 매체(computer readable media)"가 송신 매체들, 반송파들(carrier waves), 또는 다른 일시적 신호들을 포함하지 않는다는 점을 또한 이해할 것이다.
컴퓨터 시스템(900)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크들은, 예를 들어, 무선(wireless), 유선(wireline), 광학적(optical)일 수 있다. 네트워크들은 추가로 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연-허용(delay-tolerant) 등일 수 있다. 네트워크들의 예들은 로컬 영역 네트워크들, 예컨대 이더넷, 무선 LAN들, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV 및 지상파 브로드캐스트 TV를 포함하는 TV 와이어라인 또는 무선 광역 디지털 네트워크들, CANBus를 포함하는 차량 및 산업 등을 포함한다. 특정 네트워크들은 흔히 특정 범용 데이터 포트들 또는 주변 버스들(949)(예를 들어, 컴퓨터 시스템(900)의 USB 포트들 등)에 부착된 외부 네트워크 인터페이스 어댑터들을 요구한다; 다른 것들은 흔히 아래에 설명되는 바와 같은 시스템 버스로의 부착에 의해 컴퓨터 시스템(900)의 코어에 통합된다(예를 들어, PC 컴퓨터 시스템으로의 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템으로의 셀룰러 네트워크 인터페이스). 이러한 네트워크들 중 임의의 것을 사용하여, 컴퓨터 시스템(900)은 다른 엔티티들과 통신할 수 있다. 그러한 통신은 단방향 수신 전용(예컨대, 브로드캐스트 TV), 단방향 전송 전용(예컨대, 특정 CANbus 디바이스들에 대한 CANbus), 또는 예컨대 로컬 또는 광역 디지털 네트워크들을 사용한 다른 컴퓨터 시스템들에 대한 양방향성일 수 있다. 이러한 통신은 클라우드 컴퓨팅 환경(955)으로의 통신을 포함할 수 있다. 위에서 설명된 바와 같은 네트워크들 및 네트워크 인터페이스들 각각에 대해 특정 프로토콜들 및 프로토콜 스택들이 사용될 수 있다.
전술한 인간 인터페이스 디바이스들, 인간-액세스 가능 저장 디바이스들, 및 네트워크 인터페이스들(954)은 컴퓨터 시스템(900)의 코어(940)에 부착될 수 있다.
코어(940)는 하나 이상의 CPU(Central Processing Unit)(941), GPU(Graphics Processing Unit)(942), FPGA(Field Programmable Gate Area)(943)의 형식의 특수화된 프로그래머블 처리 유닛, 특정 작업들을 위한 하드웨어 가속기(944) 등을 포함할 수 있다. 이들 디바이스는, 판독 전용 메모리(ROM)(945), 랜덤 액세스 메모리(946), 내부 비-사용자 액세스 가능 하드 드라이브들, SSD들 등과 같은 내부 대용량 저장소(947)와 함께, 시스템 버스(948)를 통해 연결될 수 있다. 일부 컴퓨터 시스템들에서, 시스템 버스(948)는 추가적인 CPU들, GPU들 등에 의한 확장을 가능하게 하기 위해 하나 이상의 물리적 플러그의 형태로 액세스 가능할 수 있다. 주변 디바이스들은 코어의 시스템 버스(948)에 직접적으로, 또는 주변 버스(949)를 통해 부착될 수 있다. 주변 버스를 위한 아키텍처들은 PCI, USB 등을 포함한다. 그래픽 어댑터(950)가 코어(940)에 포함될 수 있다.
CPU(941), GPU(942), FPGA(943), 및 가속기(944)는, 조합하여, 전술한 컴퓨터 코드를 구성할 수 있는 특정 명령어들을 실행할 수 있다. 그 컴퓨터 코드는 ROM(945) 또는 RAM(946)에 저장될 수 있다. 과도적 데이터(transitional data)가 또한 RAM(946)에 저장될 수 있는 반면, 영구 데이터가 예를 들어, 내부 대용량 저장소(947)에 저장될 수 있다. 메모리 디바이스들 중 임의의 것에 대한 고속 저장 및 검색은 하나 이상의 CPU(941), GPU(942), 대용량 저장소(947), ROM(945), RAM(946) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능하게 될 수 있다.
컴퓨터 판독가능 매체는 다양한 컴퓨터 구현된 동작들(computer-implemented operations)을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시내용의 목적을 위해 특별히 설계되고 구성된 것들일 수 있거나, 또는 그것들은 컴퓨터 소프트웨어 기술분야의 통상의 기술자들에게 잘 알려져 있고 이용가능한 종류의 것일 수 있다.
제한이 아니라 예로서, 아키텍처를 갖는 컴퓨터 시스템(900), 및 구체적으로 코어(940)는 프로세서(들)(CPU들, GPU들, FPGA, 가속기들 등을 포함함)가 하나 이상의 유형의(tangible) 컴퓨터 판독가능 매체에 구체화된 소프트웨어를 실행한 결과로서 기능성을 제공할 수 있다. 그러한 컴퓨터 판독가능 매체는 위에 소개된 바와 같은 사용자-액세스가능(user-accessible) 대용량 저장소뿐만 아니라, 코어 내부 대용량 저장소(947) 또는 ROM(945)과 같은 비일시적 본질의 것인 코어(940)의 특정 저장소와 연관된 매체일 수 있다. 본 개시내용의 다양한 실시예들을 구현하는 소프트웨어가 이러한 디바이스들에 저장되고 코어(940)에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 특정 필요에 따라 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(940) 및 구체적으로 그 내부의 프로세서들(CPU, GPU, FPGA 등을 포함함)로 하여금, RAM(946)에 저장된 데이터 구조들을 정의하는 것 및 소프트웨어에 의해 정의된 프로세스들에 따라 그러한 데이터 구조들을 수정하는 것을 포함하여, 본 명세서에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하게 야기할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은, 본 명세서에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하기 위해 소프트웨어 대신에 또는 그와 함께 동작할 수 있는, 회로(예를 들어: 가속기(944))에 하드와이어링되거나 다른 방식으로 구체화된 로직의 결과로서 기능성을 제공할 수 있다. 소프트웨어에 대한 참조는, 적절한 경우, 로직을 포함할 수 있고, 그 반대도 가능하다. 컴퓨터 판독가능 매체에 대한 참조는, 적절한 경우, 실행을 위한 소프트웨어를 저장하는 (IC(integrated circuit)와 같은) 회로, 또는 실행을 위한 로직을 구현하는 회로, 또는 둘 다를 포함할 수 있다. 본 개시내용은 하드웨어 및 소프트웨어의 임의의 적합한 조합을 포함한다.
본 개시내용이 여러 비제한적인 예시적인 실시예들을 설명하였지만, 본 개시내용의 범위 내에 속하는 변경들, 치환들, 및 다양한 대체 균등물들이 존재한다. 따라서, 본 기술 분야의 통상의 기술자들은, 본 명세서에서 명시적으로 도시되거나 기술되지는 않았지만, 본 개시내용의 원리들을 구현하고 따라서 그 사상 및 범위 내에 있는 수많은 시스템들 및 방법들을 안출할 수 있다는 것을 알 것이다.

Claims (20)

  1. 인코더에 의해 수행되는 방법으로서:
    현재 픽처에 시간적 필터를 적용하는 단계 - 상기 적용하는 단계는:
    지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 이용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 상기 지수 함수를 획득하는 단계;
    스케일링 함수와 상기 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계;
    상기 현재 픽처의 샘플 값 및 상기 적어도 하나의 이웃 픽처의 가중치에 기초하여 상기 현재 픽처의 필터링된 샘플 값을 획득하는 단계; 및
    상기 현재 픽처의 샘플 값을 상기 필터링된 샘플 값으로 대체하는 단계를 포함함 -; 및
    상기 시간적 필터가 적용된 후에 상기 현재 픽처를 인코딩하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 지수 함수를 획득하는 단계는 상기 지수 함수의 지수를 상기 고정 소수점 값들로서 계산하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 고정 소수점 값들을 계산하는 단계는 상기 고정 소수점 값들을 2n 비트로서 표현하는 단계를 포함하고, n은 정수인 방법.
  4. 제2항에 있어서, 상기 고정 소수점 값들을 계산하는 단계는 상기 적어도 하나의 제1 인자 또는 상기 적어도 하나의 제2 인자 중으로부터의 한 인자의 부동 소수점 값 표현을 2의 거듭제곱을 갖는 스케일링 인자로 스케일링하는 단계를 포함하는 방법.
  5. 제1항에 있어서, 상기 지수 함수를 획득하는 단계는 상기 적어도 하나의 룩업 테이블을 이용하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 룩업 테이블은 제1 룩업 테이블 및 제2 룩업 테이블을 포함하고,
    상기 제1 룩업 테이블은 상기 지수 함수의 정수부를 포함하고, 상기 제2 룩업 테이블은 상기 지수 함수의 소수부를 포함하는 방법.
  7. 제5항에 있어서, 상기 적어도 하나의 룩업 테이블은 상기 지수 함수의 고정 소수점 값들을 포함하는 방법.
  8. 제1항에 있어서,
    상기 스케일링 함수의 인자들을 고정 소수점 표현들로 변환하는 단계를 추가로 포함하고,
    상기 적어도 하나의 이웃 픽처의 가중치를 획득하는 단계는 상기 스케일링 함수의 고정 소수점 표현들을 상기 지수 함수와 곱하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    복수의 반복에 대해 픽셀별 루프를 수행하는 단계 - 상기 복수의 반복 중 각각의 반복은 상기 현재 픽처의 픽셀들 중으로부터의 각자의 픽셀에 대해 상기 현재 픽처의 필터링된 샘플 값을 획득하는 것을 포함함 -; 및
    상기 스케일링 함수 또는 상기 픽셀들에 대해 변하지 않는 상기 지수 함수 중으로부터의 인자에 기초하여, 상기 픽셀별 루프의 복수의 반복을 수행하기 전의 고정 소수점 표현으로 변환하는 단계를 추가로 포함하는 방법.
  10. 제1항에 있어서,
    상기 지수의 분자의 적어도 하나의 제1 인자는 상기 적어도 하나의 이웃 픽처의 모션 추정 오류를 포함하고,
    상기 지수의 분모의 적어도 하나의 제2 인자는 양자화 파라미터를 포함하고,
    상기 스케일링 함수는 적어도 하나의 제3 인자를 갖는 분자 및 적어도 하나의 제4 인자를 갖는 분모를 포함하고,
    상기 적어도 하나의 제3 인자는 상기 현재 픽처의 잡음 레벨을 포함하고, 및
    상기 적어도 하나의 제4 인자는 상기 현재 픽처로부터의 상기 적어도 하나의 이웃 픽처의 픽처 순서 카운트 거리를 포함하는 방법.
  11. 시스템으로서:
    컴퓨터 코드를 저장하는 적어도 하나의 메모리; 및
    상기 컴퓨터 코드에 액세스하고 상기 컴퓨터 코드에 의해 지시되는 바와 같이 동작하도록 구성된 적어도 하나의 프로세서를 포함하며,
    상기 컴퓨터 코드는:
    상기 적어도 하나의 프로세서로 하여금 현재 픽처에 시간적 필터를 적용하게 야기하도록 구성된 시간적 필터 코드 - 상기 시간적 필터 코드는:
    상기 적어도 하나의 프로세서로 하여금, 상기 지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 사용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 지수 함수를 획득하게 야기하도록 구성된 지수 함수 획득 코드;
    상기 적어도 하나의 프로세서로 하여금 스케일링 함수에 상기 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하게 야기하도록 구성된 가중치 획득 코드;
    상기 적어도 하나의 프로세서로 하여금 상기 현재 픽처의 샘플 값 및 상기 적어도 하나의 이웃 픽처의 가중치에 기초하여 상기 현재 픽처의 필터링된 샘플 값을 획득하게 야기하도록 구성된 필터링된 샘플 값 획득 코드; 및
    상기 적어도 하나의 프로세서로 하여금 상기 현재 픽처의 샘플 값을 상기 필터링된 샘플 값으로 대체하게 야기하도록 구성된 샘플 값 대체 코드를 포함함 -; 및
    상기 적어도 하나의 프로세서로 하여금 상기 시간적 필터가 적용된 후에 상기 현재 픽처를 인코딩하게 야기하도록 구성된 인코딩 코드를 포함하는 시스템.
  12. 제11항에 있어서, 상기 지수 함수 획득 코드는 상기 적어도 하나의 프로세서로 하여금 상기 지수 함수의 지수를 상기 고정 소수점 값들로서 계산하게 야기하도록 구성된 시스템.
  13. 제12항에 있어서, 상기 지수 함수 획득 코드는 상기 적어도 하나의 프로세서로 하여금 상기 고정 소수점 값들을 2n 비트로서 표현하게 야기하도록 구성되고, n은 정수인 시스템.
  14. 제12항에 있어서, 상기 지수 함수 획득 코드는 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 제1 인자 또는 상기 적어도 하나의 제2 인자 중으로부터의 한 인자의 부동 소수점 값 표현을 2의 거듭제곱을 갖는 스케일링 인자로 스케일링하게 야기하도록 구성된 시스템.
  15. 제11항에 있어서, 상기 지수 함수 획득 코드는 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 룩업 테이블을 사용하여 상기 지수 함수를 획득하게 야기하도록 구성된 시스템.
  16. 제11항에 있어서,
    상기 적어도 하나의 룩업 테이블은 제1 룩업 테이블 및 제2 룩업 테이블을 포함하고,
    상기 제1 룩업 테이블은 상기 지수 함수의 정수부를 포함하고, 상기 제2 룩업 테이블은 상기 지수 함수의 소수부를 포함하는 시스템.
  17. 제15항에 있어서, 상기 적어도 하나의 룩업 테이블은 상기 지수 함수의 고정 소수점 값들을 포함하는 시스템.
  18. 제11항에 있어서, 상기 컴퓨터 코드는:
    상기 적어도 하나의 프로세서로 하여금 상기 스케일링 함수의 인자들을 고정 소수점 표현들로 변환하게 야기하도록 구성된 변환 코드를 추가로 포함하고,
    상기 가중치 획득 코드는 상기 적어도 하나의 프로세서로 하여금 상기 스케일링 함수의 고정 소수점 표현들을 상기 지수 함수와 곱함으로써 상기 적어도 하나의 이웃 픽처의 가중치를 획득하게 야기하도록 구성된 시스템.
  19. 제11항에 있어서, 상기 컴퓨터 코드는:
    상기 필터링된 샘플 값 획득 코드를 포함하고 및 상기 적어도 하나의 프로세서로 하여금 복수의 반복에 대해 픽셀별 루프를 수행하게 야기하도록 구성된 루프 코드 - 상기 복수의 반복 중 각각의 반복은 상기 현재 픽처의 픽셀들 중으로부터의 각자의 픽셀에 대해 상기 현재 픽처의 필터링된 샘플 값을 획득하는 것을 포함함 -; 및
    상기 적어도 하나의 프로세서로 하여금, 상기 스케일링 함수 또는 상기 픽셀들에 대해 변하지 않는 지수 함수 중으로부터의 인자에 기초하여 상기 픽셀별 루프의 상기 복수의 반복이 수행되기 전에 고정 소수점 표현으로 변환하게 야기하도록 구성된 변환 코드를 추가로 포함하는 시스템.
  20. 컴퓨터 코드를 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    지수 함수의 지수를 고정 소수점 값들로서 계산함으로써 또는 적어도 하나의 룩업 테이블을 이용함으로써, 적어도 하나의 제1 인자를 갖는 분자 및 적어도 하나의 제2 인자를 갖는 분모를 갖는 지수를 포함하는 상기 지수 함수를 획득하고;
    스케일링 함수와 상기 지수 함수를 곱함으로써 적어도 하나의 이웃 픽처의 가중치를 획득하고;
    상기 현재 픽처의 샘플 값 및 상기 적어도 하나의 이웃 픽처의 가중치에 기초하여 상기 현재 픽처의 필터링된 샘플 값을 획득하고;
    상기 현재 픽처의 샘플 값을 상기 필터링된 샘플 값으로 대체함으로써, 상기 현재 픽처에 시간적 필터를 적용하고;
    상기 시간적 필터가 적용된 후에 상기 현재 픽처를 인코딩하게 야기하도록 구성되는 비일시적 컴퓨터 판독가능 매체.
KR1020227013647A 2020-06-03 2021-04-28 시간적 필터링의 단순화 방법들 KR20220070476A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063034042P 2020-06-03 2020-06-03
US63/034,042 2020-06-03
US17/240,376 US11343495B2 (en) 2020-06-03 2021-04-26 Methods of simplification of temporal filtering
US17/240,376 2021-04-26
PCT/US2021/029603 WO2021247169A1 (en) 2020-06-03 2021-04-28 Methods of simplification of temporal filtering

Publications (1)

Publication Number Publication Date
KR20220070476A true KR20220070476A (ko) 2022-05-31

Family

ID=78818251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227013647A KR20220070476A (ko) 2020-06-03 2021-04-28 시간적 필터링의 단순화 방법들

Country Status (6)

Country Link
US (2) US11343495B2 (ko)
EP (1) EP4026251A4 (ko)
JP (1) JP2023505652A (ko)
KR (1) KR20220070476A (ko)
CN (1) CN114788182A (ko)
WO (1) WO2021247169A1 (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215908B1 (en) * 1999-02-24 2001-04-10 Intel Corporation Symmetric filtering based VLSI architecture for image compression
US7895250B2 (en) * 2005-05-25 2011-02-22 Qualcomm Incorporated Fixed point integer division techniques for AC/DC prediction in video coding devices
US8483277B2 (en) 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
JP4354520B2 (ja) * 2006-11-30 2009-10-28 パナソニック株式会社 符号化装置
US7957589B2 (en) * 2007-01-25 2011-06-07 Qualcomm Mems Technologies, Inc. Arbitrary power function using logarithm lookup table
WO2010014760A1 (en) 2008-08-01 2010-02-04 Zoran Corporation Video encoder with an integrated temporal filter for denoising
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8144253B2 (en) * 2009-07-21 2012-03-27 Sharp Laboratories Of America, Inc. Multi-frame approach for image upscaling
US9462163B2 (en) * 2009-10-10 2016-10-04 Ittiam Systems (P) Ltd. Robust spatiotemporal combining system and method for video enhancement
CN103026707B (zh) * 2010-07-21 2016-11-09 杜比实验室特许公司 使用用于视频编码的高级运动模型的参考处理
US20130195177A1 (en) * 2010-09-28 2013-08-01 Samsung Electronics Co., Ltd. Method and device for the transformation and method and device for the reverse transformation of images
CN106095353B (zh) * 2011-12-06 2019-04-09 杜比实验室特许公司 改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法
US20140052767A1 (en) * 2012-08-15 2014-02-20 Universidade De Santiago De Compostela Apparatus and architecture for general powering computation
US9235392B2 (en) * 2014-01-22 2016-01-12 Nvidia Corporation System, method, and computer program product for improved power efficiency during program code execution
EP3560204A4 (en) 2016-12-23 2019-12-04 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING

Also Published As

Publication number Publication date
JP2023505652A (ja) 2023-02-10
CN114788182A (zh) 2022-07-22
EP4026251A4 (en) 2022-11-23
US20220132112A1 (en) 2022-04-28
US20210385444A1 (en) 2021-12-09
WO2021247169A1 (en) 2021-12-09
US11343495B2 (en) 2022-05-24
EP4026251A1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
JP7295289B2 (ja) 高速ｄｓｔ－７
WO2019236290A1 (en) Method and apparatus for merge mode with additional middle candidates in video coding
KR20200125733A (ko) 비디오 코딩을 위한 방법 및 장치
KR102637503B1 (ko) 비디오 시퀀스의 디코딩 또는 인코딩을 위한 인트라-인터 예측 모드를 제어하기 위한 방법 및 장치
KR102587655B1 (ko) 비디오 코딩을 위한 방법 및 장치
KR20220043215A (ko) 무손실 및 거의-무손실 압축을 위한 양자화기
KR102376833B1 (ko) 8-비트 변환 코어를 이용한 1차 변환을 위한 방법 및 장치
KR102496419B1 (ko) 비디오 코딩에서의 감소된 상위 라인 버퍼에 의한 인터 예측을 위한 방법 및 장치
KR20210126740A (ko) 비디오 비트스트림에서의 픽처 크기 및 파티셔닝 정보의 효율적인 시그널링을 위한 방법 및 장치
US11343495B2 (en) Methods of simplification of temporal filtering
US11909956B2 (en) DNN-based cross component prediction
US20220408098A1 (en) Block-wise entropy coding method in neural image compression
JPWO2021247169A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination