KR20210129151A - 루프 필터링 구현 방법 및 장치 - Google Patents
루프 필터링 구현 방법 및 장치 Download PDFInfo
- Publication number
- KR20210129151A KR20210129151A KR1020217030126A KR20217030126A KR20210129151A KR 20210129151 A KR20210129151 A KR 20210129151A KR 1020217030126 A KR1020217030126 A KR 1020217030126A KR 20217030126 A KR20217030126 A KR 20217030126A KR 20210129151 A KR20210129151 A KR 20210129151A
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- filtered
- component
- components
- original
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims abstract description 169
- 230000004927 fusion Effects 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims description 149
- 238000013139 quantization Methods 0.000 claims description 47
- 238000005070 sampling Methods 0.000 claims description 26
- 238000007499 fusion processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 230000003044 adaptive effect Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 230000008707 rearrangement Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Abstract
본 출원의 실시예가 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 제공하는 바, 해당 방법에는, 필터링하고자 하는 픽처를 취득하며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이며, 상기 인코딩하고자 하는 비다오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며; 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며; 상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며; 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것이 포함된다.
Description
본 출원의 실시예는 픽처 처리 기술 분야에 관한 것으로, 특히 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체에 관한 것이다.
비디오 인코딩/디코딩 시스템에서, 대다수의 비디오 인코딩이 사용하는 것은 블럭 형상 코딩 유닛(Coding Unit，CU)을 기반으로 한 콤비네이션 인코딩 프레임이고, 인접된 CU가 다른 코딩 파라미터, 예를 들면, 다른 변환 과정, 다른 양자화 파라미터(Quantization Parameter，QP), 다른 예측 방식, 다른 참조 픽처 프레임 등을 사용하고, 또한 각 CU가 도입한 오차 크기 및 이의 분포 특성의 서로 독립하고, 인접된 CU 경계의 불연속성으로 인해 블럭 효과를 일으키기 때문에, 재구성 픽처의 주객관 품질에 영향을 미치고 심지어 후속 인코딩/디코딩의 예측 정확성에 영향을 미친다.
이렇게 하면, 인코딩/디코딩 과정에서, 루프 필터가 재구성 픽처의 주객관 품질을 향상시키는 데 사용된다. 전통적인 루프 필터는, 보통 인위적으로 손실 픽처의 특징을 총괄하고, 인위적으로 필터 구조를 설계하고 또한 필터 계수를 구성하며, 예를 들면, 블럭화 제거 필터링, 샘플링 포인트 적응 보상 및 적응적 루프 필터링 등이고, 이러한 수동에 의존하여 설계된 필터는 최적화 필터의 맞춤에 대하여 제대로 되지 않고, 적응 능력과 필터링 효과가 비교적 약하고, 또한 인코딩단이 일부분 통계 정보에 의존한 필터 관련 파라미터를 비트 스트림에 기업하여 인코딩/디코딩단의 일관성을 확보하므로 이는 인코딩 비트 수량을 증가시킨다.
딥러닝 이론의 급성장에 따라, 당업계에서 합성곱 신경망(Convolutional Neural Network，CNN）이 재구성 픽처에 대하여 필터링 처리를 진행하여 픽처 손실을 제거하는 것을 제시하고, 전통적인 루프 필터에 비교하여 분명한 주객관 품질 향상을 취득한다. 하지만, 현재의 CNN 필터가 관련 정보를 충분적이고 종합적으로 이용하지 않기 때문에, 재구성 픽처의 주객관 품질을 향상시키는 것이 제한하게 한다.
본 출원의 실시예가 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 제공하는 바, 캐스케이드 처리 구조를 사용하고 또한 블럭 구분 정보 및 QP 정보 중 적어도 하나 등 코딩 파라미터를 보조 정보로 하여 입력된 다수 개의 픽처 컴포넌트와 융합 처리를 진행하는 것을 통하여, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라 컴퓨팅의 복잡성을 낮추고, 인코딩 비트 레이트를 절약하며; 동시에 진일보로 인코딩/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
본 출원의 실시예의 기술 방안은 다음과 같이 구현될 수 있다.
제1 방면으로, 본 출원의 실시예가 루프 필터링 구현 방법을 제공하는 바, 상기 방법에는,
필터링하고자 하는 픽처를 취득하며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며;
상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것이 포함된다.
제2 방면으로, 본 출원의 실시예가 루프 필터링 구현 장치를 제공하는 바, 상기 루프 필터링 구현 장치에 취득 유닛, 분배 유닛, 결정 유닛 및 필터링 유닛이 포함되며, 여기에서,
상기 취득 유닛은, 필터링하고자 하는 픽처를 취득하도록 구성되며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 분배 유닛은, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되며;
상기 결정 유닛은, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하도록 구성되며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 필터링 유닛은, 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하도록 구성된다.
제3 방면으로, 본 출원의 실시예가 루프 필터링 구현 장치를 제공하는 바, 상기 루프 필터링 구현 장치에 기억장치와 프로세서가 포함되며, 여기에서,
상기 기억장치는, 상기 프로세서에서 운행될 수 있는 컴퓨터 프로그램을 저장하며;
상기 프로세서는, 상기 컴퓨터 프로그램을 운행할 때, 제1 방면의 상기 방법의 단계를 실행한다.
제4 방면으로, 본 출원의 실시예가 컴퓨터 저장 매체를 제공하는 바, 상기 컴퓨터 저장 매체가 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 구현 프로그램이 적어도 하나의 프로세서에 의하여 실행될 때, 제1 방면의 상기 방법의 단계를 구현한다.
본 출원의 실시예가 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 제공하는 바, 먼저 필터링하고자 하는 픽처를 취득하고, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이며; 그 후 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며; 해당 처리 과정은 분배 단계로 보일 수 있으며; 또한 상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며; 해당 처리 과정은 병합 단계로 보일 수 있으며; 이렇게 하면, 캐스케이드 처리 구조를 사용하고 또한 입력된 다수 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하는 것을 통하여, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라, 또한 효과적으로 이 다수 개의 픽처 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 컴퓨팅의 복잡상을 낮추고, 비트 레이트를 절약하며; 마지막으로 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하며; 이렇게 하면, 융합 정보를 통하여 또한 진일보로 필터링을 보조할 수 있어 인코인/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
도 1은 관련 기술 방안이 제공하는 전통 인코딩 블록도의 구성 구조 도면이다.
도 2 는 본 출원의 실시예가 제공하는 업그레이드형 인코딩 블록도의 구성 구조 도면이다.
도 3은 본 출원의 실시예가 제공하는 루프 필터링 구현 방법의 흐름 도면이다.
도 4는 본 출원의 실시예가 제공하는 블럭 구분 매트릭스의 구조 도면이다.
도 5 는 본 출원의 실시예가 제공하는 전통 CNN 필터의 구성 구조 도면이다.
도 6a와 도 6b는 본 출원의 실시예가 제공하는 다른 일 전통 CNN 필터의 구성 구조 도면이다.
도 7은 본 출원의 실시예가 제공하는 루프 필터링 프레임의 구성 구조 도면이다.
도 8은 본 출원의 실시예가 제공하는 다른 일 루프 필터링 프레임의 구성 구조 도면이다.
도 9는 본 출원의 실시예가 제공하는 루프 필터링 구현 장치의 구성 구조 도면이다.
도 10은 본 출원의 실시예가 제공하는 루프 필터링 구현 장치의 구체적 하드웨어 구조 도면이다.
도 2 는 본 출원의 실시예가 제공하는 업그레이드형 인코딩 블록도의 구성 구조 도면이다.
도 3은 본 출원의 실시예가 제공하는 루프 필터링 구현 방법의 흐름 도면이다.
도 4는 본 출원의 실시예가 제공하는 블럭 구분 매트릭스의 구조 도면이다.
도 5 는 본 출원의 실시예가 제공하는 전통 CNN 필터의 구성 구조 도면이다.
도 6a와 도 6b는 본 출원의 실시예가 제공하는 다른 일 전통 CNN 필터의 구성 구조 도면이다.
도 7은 본 출원의 실시예가 제공하는 루프 필터링 프레임의 구성 구조 도면이다.
도 8은 본 출원의 실시예가 제공하는 다른 일 루프 필터링 프레임의 구성 구조 도면이다.
도 9는 본 출원의 실시예가 제공하는 루프 필터링 구현 장치의 구성 구조 도면이다.
도 10은 본 출원의 실시예가 제공하는 루프 필터링 구현 장치의 구체적 하드웨어 구조 도면이다.
본 출원의 실시예의 특징과 기술 내용을 더 자세히 알아보기 위하여 아래는 도면을 참조하여 본 출원의 실시예의 구현에 대하여 상세하게 설명하도록 하여, 상기 첨부된 도면은 단지 참조 설명을 위한 것일 뿐, 본 출원의 실시예에 대하여 제한하는 것이 아니다.
비디오 인코딩/디코딩 시스템에서, 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 오리지널 픽처 프레임에 오리지널 픽처가 포함되어, 해당 오리지널 픽처에 대하여 여러가지 처리, 예를 들면, 예측, 변환, 양자화, 재구성 및 필터링 등을 진행하며, 이러한 처리 과정에서, 이미 처리된 비디오 픽처는 오리지널 픽처에 비하면 픽셀 값의 오프셋이 발생할 수 있어 시각장애 또는 가상을 초래한다. 그리고, 대다수의 비디오 인코딩/디코딩 시스템이 사용하는 블럭 형상 CU를 기반으로 한 콤비네이션 인코딩 프레임 하에서, 인접된 코딩 블럭이 다른 코딩 파라미터(예를 들면, 다른 변환 과정, 다른 QP, 다른 예측 방식, 다른 참조 픽처 프레임 등)를 사용하고, 각 코딩 블럭이 도입한 오차 크기 및 이의 분포 특성의 서로 독립하고, 인접된 코딩 블럭 경계의 불연속성으로 인해 블럭 효과를 일으키기 때문이다. 이러한 손실은 재구성 픽처의 주객관 품질에 영향을 미칠 뿐 아니라, 또한 만일 재구성 픽처는 후속 인코딩 픽셀의 참조 픽처로 하면, 심지어 후속 인코딩/디코딩의 예측 정확성에 영향을 미치고, 나아가 비디오 비트 스트림 중 비트의 크기에 영향을 미친다. 따라서, 비디오 인코딩/디코딩 시스템에서, 루프 필터（In-Loop Filter）가 가입되어 재구성 픽처의 주객관 품질을 향상시킨다.
도 1을 참조하여 관련 기술 방안이 제공하는 전통 인코딩 블록도(10)의 구성 구조 도면을 도시한다. 도 1에 도시된 바와 같이, 해당 전통 인코딩 블록도(10)에 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 필터링 유닛(104)과 엔트로피 코딩 유닛(105) 등 부품이 포함될 수 있으며; 여기에서, 예측 유닛(103)에 또한 인트라 예측 유닛(1031)과 인터프레임 예측 유닛(1032)이 포함된다. 입력된 오리지널 픽처에 대하여 초기 구분을 통하여 코딩 트리 유닛(Coding Tree Unit，CTU)을 취득할 수 있고, 하나의 CTU에 대하여 계속하게 내용 적응적 구분을 진행하여, CU를 취득할 수 있어, CU에 일반적으로 하나 또는 다수 개의 코딩 블럭(Coding Block，CB)이 포함된다. 코딩 블럭에 대하여 인트라 예측 유닛(1031)의 인트라 예측 또는 인터프레임 예측 유닛(1032)의 인터프레임 예측을 진행하면, 잔여 정보를 취득할 수 있으며; 해당 잔여 정보는 변환 및 양자화 유닛(101)을 통하여 해당 코딩 블럭에 대하여 변환을 진행하고, 잔여 정보를 픽셀 도메인으로부터 변환 도메인으로 변환하고, 또한 취득한 변환 계수에 대하여 양자화를 진행하고 진일보로 비트 레이트를 감소시키는 것이 포함되며; 예측 모드를 결정한 후, 예측 유닛(103)은 또한 선택된 인트라 예측 데이터 또는 인터프레임 예측 데이터를 엔트로피 코딩 유닛(105)으로 제공하며; 그리고, 역변환과 역양자화 유닛(102)은 해당 코딩 블럭의 재구성에 이용되고, 픽셀 도메인에서 잔여 블럭을 재구성하며, 해당 재구성 잔여 블럭은 필터링 유닛(104)을 통하여 블럭 효과 아티팩트를 제거한 후, 해당 재구성 잔여 블럭을 디코딩 픽처 캐시 유닛에 추가하여 재구성을 거친 참조 픽처를 생성하며; 엔트로피 코딩 유닛(105)은 여러가지 코딩 파라미터 및 양자화된 후의 변환 계수를 인코딩하며, 예를 들면, 엔트로피 코딩 유닛(105)은 헤드 정보 코딩 및 컨텍스트를 기반으로 한 적응적 2진수 산술 코딩(Context-based Adaptive Binary Arithmatic Coding，CABAC） 알고리즘을 사용하면, 결정된 예측 모드를 지시하는 인코딩 정보를 인코딩하고 대응되는 비트 스트림을 출력할 수 있다.
도 1에 도시된 전통 인코딩 블록도(10)에 있어서, 필터링 유닛(104)은 루프 필터이고, 또한 인루프 필터(In-Loop Filter)라고 칭하며, 이에 블럭화 제거 필터(De-Blocking Filter，DBF)(1041), 샘플링 포인트 적응적 보상(Sample Adaptive Offset，SAO) 필터(1042)와 적응적 루프 필터(Adaptive Loop Filter，ALF)(1043) 등이 포함될 수 있다. 여기에서, 블럭화 제거 필터(1041)는 블럭화 제거 필터링을 구현하고, 차세대 비디오 인코딩 기준 H.266/ 다중 기능 비디오 코딩（Versatile Video Coding，VVC）에서, 오리지널 픽처 중 모든 코딩 블럭 경계에 대하여, 먼저 경계 양쪽의 코딩 파라미터에 의하여 경계 강도의 판정을 진행하고, 및 컴퓨팅하여 취득한 블럭 경계 질감 값에 의하여 블럭화 제거의 필터링 결정을 진행하는지 판단하고, 마지막으로 경제 강도, 필터링 결정에 의하여 코딩 블럭 경계 양쪽의 픽셀 정보에 대하여 수정 처리를 진행한다. VVC에서, 블럭화 제거 필터링을 실행한 후, 고주파수 교류 계수의 양자화 손실을 감소하기 위하여 또한 SAO 기술 즉 샘플링 포인트 적응적 보상 필터(1042)를 도입하며; 나아가, 픽셀 도메인으로부터 착수하여 피크 처의 픽셀에 음수 값을 추가하고, 밸리 처의 픽셀에 양수 값을 추가하여 보상 처리를 진행한다. VVC에서, 블럭화 제거 필터링과 샘플링 포인트 적응적 보상 필터링을 실행한 후, 또한 진일보로 적응적 루프 필터(1043)를 사용하여 필터링 처리를 진행해야 하며; 적응적 루프 필터링에 있어서, 이는 오리지널 픽처의 픽셀 값과 손실 픽처의 픽셀 값에 의하여 컴퓨팅하여 평균 제곱 의미 하의 최적화 필터를 취득한다. 하지만, 이러한 필터(예를 들면 블럭화 제거 필터(1041), 샘플링 포인트 적응적 보상 필터(1042) 및 적응적 루프 필터(1043) 등)는 정밀한 수공 설계, 대량적 판단 결정을 진행해야 할 뿐 아니라; 인코딩단에 또한 일부분 통계 정보에 의존한 필터 관련 파라미터(예를 들면 필터링 계수와 해당 필터의 아이디(Flag) 값을 선택하는지 등)를 비트 스트림에 기입하여 인코딩단과 디코딩단의 일관성을 확보하여야 하기에 인코딩 비트 수량을 증가시키며; 동시에 수공으로 설계된 필터는 진실한 최적화 목표의 복잡 합수에 대한 맞춤 정도가 높지 않기 때문에 필터링 효과를 증가할 필요가 있다.
본 출원의 실시예가 루프 필터링 구현 방법을 제공하는 바, 해당 방법은 업그레이드형 인코딩 블록도에 적용되며; 도 1에 도시된 전통적 인코딩 블록도(10)에 비하면, 주로 구별은 업그레이드형 루프 필터를 사용하여 관련 기술 방안 중의 블럭화 제거 필터(1041), 샘플링 포인트 적응적 보상 필터(1042) 및 적응적 루프 필터(1043) 등을 대체하는 것이다. 본 출원의 실시예에서, 해당 업그레이드형 루프 필터는 합성곱 신경망(Convolutional Neural Networks，CNN) 필터일 수 있고, 또한 기타 딥러닝이 구성한 필터일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
합성곱 신경망 필터를 예로 들어, 도 2를 참조하여, 본 출원의 실시예가 제공하는 업그레이드형 인코딩 블록도(20)의 구성 구조 도면을 도시한다. 도 2에 도시된 바와 같이, 전통적 인코딩 블복도(10)에 비하면, 업그레이드형 인코딩 블록도(20) 중의 필터링 유닛(104)에 합성곱 신경망 필터(201)가 포함된다. 해당 합성곱 신경망 필터(201)는 도 1 중의 블럭화 제거 필터(1041), 샘플링 포인트 적응적 보상 필터(1042) 및 적응적 루프 필터(1043)를 모두 대체할 수 있을 뿐 아니라, 또한 도 1 중의 블럭화 제거 필터(1041), 샘플링 포인트 적응적 보상 필터(1042) 및 적응적 루프 필터(1043) 중의 임의의 하나 또는 두 개를 부분적으로 대체할 수 있고, 심지어 또한 도 1 중의 블럭화 필터(1041), 샘플링 포인트 적응적 보상 필터(1042) 및 적응적 루프 필터(1043) 중의 임의의 하나 또는 다수 개와 조합하여 사용될 수 있다. 또한 주의해야 할 바로는, 도 1 또는 도 2에 도시된 각 부품, 예를 들면, 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 필터링 유닛(104), 엔트로피 코딩 유닛(105) 또는 합성곱 신경망 필터(201)에 대하여, 이러한 부품은 가상 모듈일 수 있고, 또한 하드웨어 모듈일 수 있다. 그리고, 당업계 기술자들은 이러한 유닛이 인코딩 블록도에 대하여 제한하지 않고, 인코딩 블록도에 도시된것 보다 많거나 적은 부품이 포함될 수 있고, 또는 어떠한 부품을 조합하고, 또는 다른 부붐 인테리어를 갖는다고 이해할 것이다.
본 출원의 실시예에서, 합성곱 신경망 필터(201)는 필터링 네트워크 훈련을 진행한 후 직접 인코딩단과 디코딩단에 배치할 수 있어, 이렇게 하면, 아무런 필터 관련 파라미터를 전송할 필요가 없으며; 또한 해당 합성곱 신경망 필터(201)는 또한 블럭 구분 정보 및 QP 정보 중 적어도 하나 등 보조 정보를 입력된 다수 개의 픽처 컴포넌트와 융합 처리를 진행할 수 있으며; 이렇게 하면, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라 컴퓨팅의 복잡성을 낮추고, 인코딩 비트 레이트를 절약하며; 동시에 진일보로 인코딩/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
설명해야 할 바로는, 본 출원의 실시예의 루프 필터링 구현 방법은 인코딩 시스템에 적용될 수 있을 뿐 아니아, 또한 디코딩 시스템에 적용될 수 있다. 일반적으로, 인코딩 비트 레이트를 절약하는 동시에 디코딩 시스템이 정확한 디코딩 처리를 진행할 수 있도록 확보하기 위하여 인코딩 시스템과 디코딩 시스템에서 반드시 동기화적으로 본 출원의 실시예의 루프 필터를 배치해야 한다. 아래는 인코딩 시스템 중의 응용을 예로 들어 상세한 설명을 진행하도록 한다.
도 3을 참조하여, 이는 본 출원의 실시예가 제공하는 루프 필터링 구현 방법의 흐름 도면을 도시하는 바, 해당 방법에는 다음과 같은 단계가 포함될 수 있다.
S301： 필터링하고자 하는 픽처를 취득하며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
S302： 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며;
S303： 상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
S304： 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득한다.
설명해야 할 바로는, 오리지널 픽처는 CTU로 구분될 수 있거나, 또한 CTU가 CU로 구분할 수 있으며; 다시 말하면, 본 출원의 실시예 중의 블럭 구분 정보는 CTU 구분 정보를 가리킬 수 있고, 또한 CU 구분 정보를 가리킬 수 있으며; 이렇게 하면, 본 출원의 실시예의 루프 필터링 구현 방법은 CU 레벨의 루프 필터링에 적용될 수 있을 뿐 아니라, 또한 CTU 레벨의 루프 필터링에 적용될 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
본 출원의 실시예에서, 필터링하고자 하는 픽처를 취득한 후, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며; 해당 처리 과정은 분배 단계로 보일 수 있고, 각각 적어도 두 개의 픽처 컴포넌트를 취득하며; 그 후 상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며; 해당 처리 과정은 병합 단계로 보일 수 있고, 적어도 두 개의 픽처 컴포넌트를 융합하며; 이렇게 하면, 본 출원의 실시예가 캐스케이드 처리 구조를 사용하고 입력된 다수 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하는 것을 통하여, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라 효과적으로 이 다수 개의 픽처 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 컴퓨팅의 복잡상을 낮추고, 인코딩 비트 레이트를 절약하며; 마지막으로 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진해하여 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하며; 이렇게 하면, 융합 정보를 통하여 또한 진일보로 필터링을 보조할 수 있어 인코인/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
일부 실시예에서, 픽처 컴포넌트에 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트이 포함되며; 여기에서, 상기 제1 픽처 컴포넌트는 휘도 컴포넌트를 표시하고, 상기 제2 픽처 컴포넌트는 제1 채도 컴포넌트를 표시하고, 상기 제3 픽처 컴포넌트는 제2 채도 컴포넌트를 표시한다.
설명해야 할 바로는, 비디오 픽처에서, 일반적으로 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트를 사용하여 오리지널 픽처 또는 필터링하고자 하는 픽처를 표시한다. 여기에서, 휘도-채도 컴포넌트 표시 방법 하에서, 이 세 개의 픽처 컴포넌트는 각각 하나의 휘도 컴포넌트, 하나의 푸른색 채도(색차) 컴포넌트와 하나의 빨간색 채도(색차) 컴포넌트이며; 구체적으로, 휘도 컴포넌트는 통상적으로 부호 Y로 표시되고, 푸른색 채도 컴포넌트는 통상적으로 보호 Cb로 표시되고, 또한 U로 표시될 수도 있으며; 빨간색 채도 컴포넌트는 통상적으로 부호 Cr 로 표시되고, 또한 V로 표시될 수도 있다. 본 출원의 실시예에서, 제1 픽처 컴포넌트는 휘도 컴포넌트(Y)일 수 있고, 제2 픽처 컴포넌트는 푸른색 채도 컴포넌트(U)일 수 있고, 제3 픽처 컴포넌트는 빨간색 채도 컴포넌트(V)일 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다. 여기에서, 적어도 하나의 픽처 컴포넌트는 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트 중의 하나 또는 다수 개를 표시하고, 적어도 두 개의 픽처 컴포넌트는 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트일 수 있고, 또한 제1 픽처 컴포넌트와 제2 픽처 컴포넌트일 수 있고, 또한 제1 픽처 컴포넌트와 제3 픽처 컴포넌트일 수 있고, 심지어 제2 픽처 컴포넌트와 제3 픽처 컴포넌트일 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
차세대 비디오 인코딩 기준 VVC에서, 이의 상응된 테스트 모델은 VVC테스트 모델(VVC Test Model，VTM)이다. VTM가 테스트를 실시할 때, 현재 기준 테스트 시퀀스가 사용하는 것은 YUV가 4:2:0 포맷인 것이고, 해당 포맷의 인코딩하고자 하는 비디오 중 각 프레임 픽처가 3 개의 픽처 컴포넌트, 즉 하나의 휘도 컴포넌트(Y로 표시)과 두 개의 채도 컴포넌트(U와 V로 표시)으로 구성될 수 있다. 인코딩하고자 하는 비디오 중 오리지널 픽처의 높이는 H이고, 너비는 W라고 가정하면, 제1 픽처 컴포넌트에 대응되는 사이즈 정보는 
, 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 사이즈 정보는 모두 
이다. 주의해야 할 바로는, 본 출원의 실시예는 YUV가 4:2:0 포맷인 것을 예로 들어 설명하지만, 본 출원의 실시예의 루프 필터링 구현 방법은 마찬가지로 기타 샘플링 포맷에 적용된다.
YUV가 4:2:0 포맷인 것을 예로 들어, 제1 픽처 컴포넌트와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 사이즈 정보가 다른 것이기 때문에, 제1 픽처 컴포넌트 및 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트 중 적어도 하나를 단번에 루프 필터 모델에 입력하기 위하여 이 때에 이 세 개의 픽처 컴포넌트에 대하여 샘플링 또는 재구성 처리를 진행해야 하여 세 개의 픽처 컴포넌트의 공역 사이즈 정보가 같게 한다.
일부 실시예서, 높은 해상도의 픽처 컴포넌트에 대하여 픽셀 재배열 처리(또한 다운 샘플링 처리라고 칭할 수 있음)를 진행할 수 있어, 세 개의 픽처 컴포넌트의 공역 사이즈 정보를 같게 한다. 구체적으로, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여 높은 해상도의 픽처 컴포넌트를 선택하며;
상기 높은 해상도의 픽처 컴포넌트에 대하여 픽셀 재배열 처리를 진행하는 것이 포함된다.
설명해야 할 바로는, 오리지널 픽처 중에 포함된 세 개의 픽처 컴포넌트(예를 들면, 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트)이 기타 처리를 진행하기 전, 이 세 개의 픽처 컴포넌트는 오리지널 컴포넌트이다. 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트는 제1 채도 컴포넌트이고, 제3 픽처 컴포넌트는 제2 채도 컴포넌트이면, 높은 해상도의 픽처 컴포넌트는 제1 픽처 컴포넌트이고, 이 때에 제1 픽처 컴포넌트에 대하여 픽셀 재배열 처리를 진행해야 한다. 예시적으로, 2×2 사이즈 크기의 오리지널 픽처를 예로 들어, 이를 네 개의 통로로 전환하고, 즉 2×2×1의 텐서를 1×1×4의 텐서로 배열하며; 오리지널 픽처의 제1 픽처 컴포넌트의 사이즈 정보가 
일 때, 루프 필터링을 진행하기 전, 픽셀 재배열 처리를 통하여 이를 
의 형식으로 전환하며; 제2 픽처 컴포넌트와 제3 픽처 픽처 컴포넌트의 사이즈 정보가 모두 
이기 때문에, 이렇게 하면 세 개의 픽처 컴포넌트의 공역 사이즈 정보가 같게 할 수 있으며; 후속으로 픽셀 재배열 처리 후의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트 등 이 세 개의 픽처 컴포넌트를 병합한 후 
의 형식으로 전환하여 업그레이드형 루프 필터로 입력한다.
일부 실시예서, 또한 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행할 수 있어, 3 개의 픽처 컴포넌트의 공역 사이즈 정보를 같게 한다. 구체적으로, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여 낮은 해상도의 픽처 컴포넌트를 선택하며;
상기 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행하는 것이 포함된다.
설명해야 할 바로는 높은 해상도의 픽처 컴포넌트에 대하여 사이즈 정보의 픽셀 재배열 처리(즉 하향 조정)를 진행하는 외에, 본 출원의 실시예에서, 또한 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리(즉 상향 조정)를 진행할 수 있다. 그리고, 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행할 수 있을 뿐 아니라, 또한 역합성곱 처리를 진행할 수 있고, 심지어 초해상도 처리 등을 진행할 수 있어 이 세 가지의 처리 효과가 같으며, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
또한 설명해야 할 바로는, 오리지널 픽처 중에 포함된 세 개의 픽처 컴포넌트(예를 들면, 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트)이 기타 처리를 진행하기 전, 이 세 개의 픽처 컴포넌트는 오리지널 컴포넌트이다. 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트는 제1 채도 컴포넌트이고, 제3 픽처 컴포넌트는 제2 채도 컴포넌트이면, 낮은 해상도의 픽처 컴포넌트는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트이고, 이 때에 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행해야 한다. 예시적으로 오리지널 픽처의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트의 사이즈 정보가 모두 
일 때, 루프 필터링을 진행하기 전 업 샘플링 처리를 통하여 이를 
의 형식으로 전환할 수 있으며; 제1 픽처 컴포넌트의 사이즈 정보는 
이기 때문에, 이렇게 하면 3 개의 픽처 컴포넌트의 공역 사이즈 정보가 같게 할 수 있고, 또한 업 샘플링 처리 후의 제2 픽처 컴포넌트와 업 샘플링 처리 후의 제3 픽처 컴포넌트이 제1 픽처 컴포넌트의 해상도와 일관성을 유지한다.
일부 실시예에서, 상기 필터링하고자 하는 픽처를 취득하는 것에는,
인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 생성된 재구성 픽처를 상기 필터링하고자 하는 픽처로 하며; 또는
인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 재구성 픽처를 생성하며; 상기 재구성 픽처에 대하여 사전 설정된 필터링 처리를 진행하고, 사전 설정된 필터링 후의 픽처를 상기 필터링하고자 하는 픽처로 하는 것이 포함된다.
설명해야 할 바로는, 업그레이드형 인코딩 블록도(20)를 기반으로, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩하는 과정에서, 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행할 때, 이에 대하여 CU 구분, 예측, 변환 및 양자화 등 처리를 진행하고, 후속의 인코딩하고자 하는 픽처에 대하여 비디오 인코딩을 진행하는 참조 픽처를 취득하기 위하여 또한 역변환 및 역양자화, 재구성 및 필터링 등 처리를 진행할 수 있다. 이렇게 하면, 본 출원의 실시예 중의 필터링하고자 하는 픽처는 비디오 인코딩 과정 중 재구성 처리를 거친 후 생성된 재구성 픽처일 수 있고, 또한 재구성 픽처에 대하여 기타 사전 설정된 필터링 방법(예를 들면, 블럭화 제거 방법일 수 있음)을 사용하여 사전 설정된 필터링을 진행한 후 취득한 사전 설정된 필터링 후의 픽처일 수 있어, 분 출원의 실시예가 이에 대하여 구제적으로 제한하지 않는다.
일부 실시예에서, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보를 결정하며; 여기에서, 상기 제1 보조 정보에 적어도 블럭 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함되는 것이 포함된다.
제1 보조 정보는 필터링을 보조하여 필터링 품질을 향상시킬 수 있다. 본 출원의 실시예에서 제1 보조 정보는 블럭 구본 정보(예를 들면 CU 구분 정보 및 CTU 구분 정보 중 적어도 하나)일 수 있을 뿐 아니라, 또한 양자화 파라미터 정보일 수 있고, 심지어 운동 벡터(Motion Vector，MV) 정보, 예측 방향 정보 등일 수 있으며; 이러한 정보는 단독적으로 제1 보조 정보로 할 수 있고, 또한 임의의 조합하여 제1 보조 정보로 할 수 있어, 예를 들면 블럭 구분 정보를 단독적으로 제1 보조 정보로 하고, 또는 블럭 구분 정보와 양자화 파라미터 정보를 공동적으로 제1 보조 정보로 하고, 또는 블럭 구분 정보와 MV 정보를 공동적으로 제1 보조 정보로 할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트에 대하여 컴포넌트 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함된다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함된다.
설명해야 할 바로는, “각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며”는 제1 분배 단계로 보일 수 있다. 이렇게 하면, 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여, 각각 컴포넌트 처리(예를 들면 딥러닝)를 진행할 수 있어, 적어도 두 개의 픽처 컴포넌트를 취득할 수 있으며; 그리고, 또한 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보를 대응되는 픽처 컴포넌트에 추가하여, 적어도 두 개의 픽처 컴포넌트를 취득하며; 다시 말하면, 제1 분배 단계에 대하여 제1 보조 정보를 추가할 수 있고, 또한 제1 보조 정보를 추가하지 않을 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함된다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함된다.
설명해야 할 바로는, “상기 필터링하고자 하는 픽처의 융합 정보를 결정하며”는 병합 단계로 보일 수 있다. 이렇게 하면, 필터링하고자 하는 픽처의 융합 정보에 대하여, 적어도 두 개의 픽처 컴포넌트이 직접 융합을 진행하고 취득한 것일 수 있고, 또한 적어도 두 개의 픽처 컴포넌트 및 대응되는 제1 보조 정보가 공동적으로 융합하여 취득한 것일 수 있으며; 다시 말하면, 병합 단계에 대하여 제1 보조 정보를 추가할 수 있고, 또한 제1 보조 정보를 추가하지 않을 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
관련 기술 방안에서, 도 1에 도시된 필터링 유닛(104) 중의 필터가 세 개의 픽처 컴포넌트에 대하여 독립적으로 처리하고, 총 3 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하며; 본 출원의 실시예의 루프 필터링 구현 방법은, 융합 정보를 통하여 이 세 개의 픽처 컴포넌트를 단번에 입력할 수 있고, 또한 세 개의 픽처 컴포넌트 중의 임의의 두 개의 픽처 컴포넌트를 동시에 입력할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않으며; 이렇게 하면 효과적으로 다수 개의 픽처 컴포넌트에 대하여 여러 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고 컴퓨팅의 복잡성을 낮춘다.
또한 오리지널 픽처는 CTU로 구분되고, 또는 CTU가 CU로 구분할 수 있기 때문에 본 출원의 실시예의 루프 필터링 구현 방법은 CU 레벨의 루프 필터링(이 때의 블럭 구분 정보는 CU 구분 정보)에 적용될 수도 있고, 또한 CTU 레벨의 루프 필터링(이 때의 블럭 구분 정보는 CTU 구분 정보)에 적용될 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않느다. 아래는 CU 구분 정보를 블럭 구분 정보로 하는 것을 예를 들어 설명을 진행하도록 한다.
일부 실시예에서, 각 픽처 컴포넌트에 대응되는 제1 보조 정보를 각각 결정하는 것에는
인코딩하고자 하는 비디오 중의 오리지널 픽처를 기반으로, 각각 상기 오리지널 픽처의 적어도 두 개의 픽처 컴포넌트 중 각 픽처 컴포넌트에 대하여 코딩 유닛 (CU) 구분을 진행하고, CU 구분 정보를 취득하여 상기 CU 구분 정보를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 블럭 구분 정보로 하는 것이 포함된다.
나아가, 일부 실시예에서, 상기 CU 구분 정보를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 블럭 구분 정보로 하는 것에는
상기 CU 구분 정보에 있어서, CU 경계에 대응되는 각 픽셀 포인트 위치에서 제1 값을 패딩하고, 기타 픽셀 포인트 위치에서 제2 값을 패딩하여, 상기 CU 구분 정보와 대응되는 제1 매트릭스를 취득하며; 여기에서, 상기 제1 값은 상기 제2 값과 다르며;
상기 제1 매트릭스를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 블럭 구분 정보로 하는 것이 포함된다.
설명해야 할 바로는, 제1 값은 사전 설정된 수치, 알파벳 등일 수 있고, 제2 값은 사전 설정된 수치, 알파벳 등일 수 있어, 제1 값이 제2 값과 다르며; 예를 들면, 제1 값은 2로 구비될 수 있고, 제2 값은 1로 구비될 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
본 출원의 실시예에서, CU 구분 정보를 제1 보조 정보로 하여 필터링하고자 하는 픽처의 필터링 처리를 진행하는 데 보조할 수 있다. 다시 말하면, 필터링하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, CU 구분 정보를 충분히 이용하고 이와 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 융합한 후 필터링을 지도할 수 있다.
구체적으로 CU 구분 정보를 하나의 코딩 유닛 맵(Coding Unit Map，CUmap)으로 전환하고, 이차원 매트릭스, 즉 CUmap 매트릭스, 또한 즉 본 출원의 실시예 중의 제1 매트릭스로 표시하며; 다시 말하면, 오리지널 픽처의 제1 픽처 컴포넌트를 예로 들어, 이를 다수 개의 CU로 구분할 수 있으며; 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 제1 값으로 패딩하고, 기타 픽셀 포인트 위치에서 제2 값으로 패딩하여 이렇게 하면 하나의 CU 구분 정보를 반영하는 제1 매트릭스를 구성할 수 있다. 예시적으로 도 4를 참조하여, 이가 본 출원의 실시예가 제공하는 블럭 구분 매트릭스의 구조 도면을 도시한다. 도 4에 도시된 바와 같이, 만일 해당 도면은 하나의 CTU를 표시하면, 해당 CTU를 9개의 CU로 구분할 수 있으며; 제1 값을 2로 구비한다고 가정하고, 제2 값을 1로 구비하며; 이렇게 하면, 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 2로 패딩하고, 기타 픽셀 포인트 위치에서 1로 피당하여, 다시 말하면, 2로 패당한 픽셀 포인트 위치는 CU의 경계를 표시하여 CU 구분 정보, 즉 필터링하고자 하는 픽처의 제1 픽처 컴포넌트에 대응되는 제1 보조 정보를 결정할 수 있다.
또한 설명해야 할 바로는, 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트와 제3 픽처 컴포넌트는 모두 채도 컴포넌트이면, 제1 픽처 컴포넌트의 CU 구분 정보와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보가 다를 수 있다. 따라서, 제1 픽처 컴포넌트의 CU 구분 정보와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보가 다를 때, 각각 필터링하고자 하는 픽처의 제1 픽처 컴포넌트에 대응되는 CU 구분 정보와 필터링하고자 하는 픽처의 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 CU 구분 정보를 결정해야 하며; 그 후, 이를 제1 보조 정보로 하여 대응되는 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 추가하며; 제1 픽처 컴포넌트의 CU 구분 정보는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보와 같을 때, 이 때 단지 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보를 결정할 수 있고, 그 후 결정된 CU 구분 정보를 제1 보조 정보로 하여 대응되는 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 추가하며; 이렇게 하면, 후속 취득한 적어도 두 개의 새로운 픽처 컴포넌트를 융합하여, 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하는 데 편한다.
일부 실시예에서, 각 픽처 컴포넌트에 대응되는 제1 보조 정보를 각각 결정하는 것에는
인코딩하고자 하는 비디오 중의 오리지널 픽처를 기반으로, 각각 상기 오리지널 픽처의 적어도 두 개의 픽처 컴포넌트 중 각 픽처 컴포넌트에 대응되는 양자화 파라미터를 취득하여, 상기 양자화 파라미터를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것이 포함된다.
나아가, 일부 실시예에서, 상기 양자화 파라마터를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것에는
각각 상기 오리지널 픽처의 각 픽처 컴포넌트 사이즈와 같은 제2 매트릭스를 구성하며; 여기에서, 상기 제2 매트릭스 중 각 픽셀 포인트 위치가 모두 상기 오리지널 픽처의 각 픽처 컴포넌트에 대응되는 양자화 파라미터의 정규화 값을 패딩하며;
상기 제2 매트릭스를 상기 필터링하고자 하는 픽처의 각 픽처 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것이 포함된다.
설명해야 할 바로는, 다른 양자화 파라미터에 대응되는 필터링하고자 하는 픽처는, 이의 손실 정도가 다르다. 만일 양자와 파라미터 정보를 융합하면, 필터링 네트워크가 훈련 과정에서 대응하게 임의의 양자화 파라미터에 대하여 처리를 진행하는 능력을 갖게 한다.
본 출원의 실시예에서, 또한 양자화 파라미터 정보를 제1 보조 정보로 하여 필터링하고자 하는 픽처의 필터링 처리를 진행하는 데 보조할 수 있다. 다시 말하면, 필터링하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, 양자화 파라미터 정보를 충분히 이용하고 이와 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 융합한 후 필터링을 지도할 수 있다. 여기에서, 양자화 파리미터 정보는 정규화 처리를 진행할 수 있고, 양자화 파라미터 정보는 또한 비정규화 처리(예를 들면, 분류 처리, 구간 구분 처리 등)를 진행할 수 있으며; 아래는 양자화 파라미터 정규화 처리를 예로 들어 상세한 설명을 진행하도록 한다.
구체적으로, 양자화 파라미터 정보를 하나의 양자화 파라미터 정보를 반영하는 제2 매트릭스로 전환하며; 다시 말하면, 오리지널 픽처의 제1 픽처 컴포넌트를 예로 들어, 하나의 오리지널 픽처의 제1 픽처 컴포넌트 사이즈와 같은 매트릭스를 구성하고, 해당 매트릭스 중 각 픽셀 포인트 위치가 모두 오리지널 픽처의 제1 픽처 컴포넌트에 대응되는 양자화 파라미터의 정규화 값으로 패딩을 진행하며; 여기에서, 양자화 파라미터의 정규화 값은 
로 표시되고, 즉
식 (1)에서, 
는 오리지널 픽처의 제1 픽처 컴포넌트에 대응되는 양자화 파라미터 값을 표시하고, 
는 오리지널 픽처의 제1 픽처 컴포넌트 중 각 픽셀 포인트 위치의 가로 좌표 값을 표시하고, 
는 오리지널 픽처의 제1 픽처 컴포넌트 중 각 픽셀 포인트 위치의 세로 좌표 값을 표시하며; 
는 양자화 파라미터의 제일 큰 값을 표시하고, 일반적으로, 
의 값은 51이지만 
는 또한 기타 값, 예를 들면 29, 31등일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.
일부 실시예에서, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보를 결정하며; 여기에서, 상기 제2 보조 정보는 상기 제1 보조 정보와 다른 것이 포함된다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함된다.
선택적으로, 일부 실시예에서, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함된다.
설명해야 할 바로는, 제1 보조 정보와 제2 보조 정보가 다른 것이다. 제1 보조 정보인지, 또한 제2 보조 정보인지 물론이고, 모두가 필터링을 보조하여 필터링 품질을 향상시킬 수 있다. 본 출원의 실시예에서, 제1 보조 정보는 블럭 구분 정보, 양자화 파라미터 정보, MV 정보 및 예측 방향 정보 중의 한 가지 또는 여러 가지일 수 있고, 제2 보조 정보는 또한 블럭 구분 정보, 양자화 파라미터 정보, MV 정보 및 예측 방향 정보 등 중의 한 가지 또는 여러 가지일 수 있으며; 다시 말하면, 제1 보조 정보는 블럭 구분 정보일 때, 제2 보조 정보는 양자화 파라미터 정보일 수 있으며; 또는, 제1 보조 정보는 양자화 파라미터 정보일 때, 제2 보조 정보는 블럭 구분 정보일 수 있으며; 또는, 제1 보조 정보는 블럭 구분 정보와 양자화 파라미터 정보일 때, 제2 보조 정보는 MV 정보일 수 있으며; 또는, 제1 보조 정보는 블럭 구분 정보일 때, 제2 보조 정보는 양자화 파라미터 정보와 MV 정보일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
또한 설명해야 할 바로는, 제1 보조 정보와 제2 보조 정보의 융합 단계는 같은 것일 수도 있고, 다른 것일 수도 있다. 본 출원의 실시예에서, 제1 분배 단계는 각각 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에 대응되는 처리 단계를 표시하고, 병합 단계는 상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에 대응되는 처리 단계를 표시하고, 제2 분배 단계는 융합 처리한 후 각 픽처 컴포넌트의 잔여 정보를 각각 결정하는 것에 대응되는 처리 단계를 표시한다고 가정한다. 이렇게 하면, 제1 보조 정보의 융합 단계는 제1 분배 단계, 병합 단계 또는 제2 분배 단계 중의 임의의 하나일 수 있고, 제2 보조 정보의 융합 단계는 또한 제1 분배 단계, 병합 단계 또는 제2 분배 단계 중의 임의의 하나일 수 있으며; 다시 말하면, 제1 보조 정보의 융합 단계는 제1 분배 단계일 수 있고, 제2 보조 정보의 융합 단계는 병합 단계일 수 있으며; 또는, 제1 보조 정보의 융합 단계는 병합 단계일 수 있고, 제2 보조 정보의 융합 단계는 제1 분배 단계일 수 있으며; 또는 ,제1 보조 정보의 융합 단계는 제2 분배 단계일 수 있고, 제2 보조 정보의 융합 단계는 병합 단계일 수 있으며; 또는, 제1 보조 정보의 융합 단계는 제1 분배 단계일 수 있고, 제2 보조 정보의 융합 단계는 제2 분배 단계일 수 있으며; 또는, 제1 보조 정보의 융합 단계는 제1 분배 단계일 수 있고, 제2 보조 정보의 융합 단계는 제1 분배 단계일 수 있으며; 또는, 제1 보조 정보의 융합 단계는 병합 단계일 수 있고, 제2 보조 정보의 융합 단계는 또한 병합 단계일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
일부 실시예에서, 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것에는,
상기 융합 정보를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보를 취득하며;
상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트와 상기 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것이 포함된다.
설명해야 할 바로는, 본 출원의 실시의 루프 필터링 구현 방법이 사용하는 것은 다수의 단계의 캐스케이드 처리 구조이고, 예를 들면, 분배-병합-분배 처리 구조, 분배-병합 처리 구조 또는 병합-분배 처리 구조 등이며,본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
구체적으로, 만일 먼저 각각 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트, 즉 제1 분배 단계를 취득하고, 그 후 적어도 두 개의 픽처 컴포넌트에 대하여 융합, 즉 병합 단계를 진행해야 하면, 이렇게 하면, 모든 정보가 융합 처리된 후, 동시에 다수 개의 픽처 컴포넌트, 예를 들면, 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트를 출력해야 할 때, 이 때에 융합 정보에 대하여 연합 처리를 진행하는 것을 통하여, 각각 제1 픽처 컴포넌트에 대응되는 잔여 정보, 제2 픽처 컴포넌트에 대응되는 잔여 정보와 제3 픽처 컴포넌트에 대응되는 잔여 정보를 취득하고, 그 후 제1 픽처 컴포넌트와 제1 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 제2 픽처 컴포넌트와 제2 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 제3 픽처 컴포넌트와 제3 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하여, 각각 필터링하고자 하는 픽처가 필터링된 후의 제1 픽처 컴포넌트, 필터링하고자 하는 픽처가 필터링된 후의 제2 픽처 컴포넌트와 필터링하고자 하는 픽처가 필터링된 후의 제3 픽처 컴포넌트를 취득하고, 해당 처리 과정은 제2 분배 단계이며; 이 전체적인 루프 필터링 과정은 분배-병합-분배 처리 구조를 사용하며;
만일 먼저 각각 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트, 즉 제1 분배 단계를 취득하고, 그 후 적어도 두 개의 픽처 컴포넌트에 대하여 융합, 즉 병합 계를 진행해야 하면; 이렇게 하면, 모든 정보가 융합 처리된 후, 다만 하나의 픽처 컴포넌트, 예를 들면, 제1 픽처 컴포넌트를 출력해야 할 때; 이 때에 융합 정보에 대하여 연합 처리를 진행하는 것을 통하여, 제1 픽처 컴포넌트에 대응되는 잔여 정보를 취득하고, 그 후 제1 픽처 컴포넌트와 제1 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 필터링하고자 하는 픽처가 필터링된 후의 제1 픽처 컴포넌트를 취득하고, 해당 처리 과정에 제2 분배 단계가 존재하지 않으며; 그러면 이 전체적인 루프 필터링 과정은 분배-병합 처리 구조를 사용하며;
그리고, 만일 각각 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득할 필요가 없으면, 즉 제1 분배 단계를 취득할 필요가 없으면, 직접 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하여, 즉 직접 병합 단계로 진입할 수 있으며; 모든 정보가 융합 처리된 후, 동시에 다수 개의 픽처 컴포넌트를 출력해야 하기 때문에, 이 때 또한 제2 분배 단계가 존재해야 하며; 그러면 이 전체적인 루프 필터링 과정은 병합-분배 처리 구조를 사용한다.
또한 설명해야 할 바로는, 본 출원의 실시의 루프 필터링 구현 방법은 또한 더 많은 캐스케이드 처리 구조, 예를 들면, 분배-병합-분배-벙합-분배 처리 구조 등을 사용할 수 있다. 이러한 캐스케이드 처리 구조에 대하여, 본 출원의 실시예가 전형적 연속 구조, 예를 들면, 분배-병합-분배 처리 구조를 사용할 수 있고, 또한 전형적 연속 구조보다 더 적은 캐스케이드 처리 구조, 예를 들면, 분배-병합 처리 구조 또는 병합-분배 처리 구조 등을 사용할 수 있으며; 심지어 또한 전형적 연속 구조보다 더 많은 캐스케이드 처리 구조, 예를 들면 분배-병합-분배-병합-분배 처리 구조 등을 사용할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
일부 실시예에서, 업그레이드형 루프 필터에 합성곱 신경망 필터가 포함된다.
설명해야 할 바로는, 업그레이드형 루프 필터가 필터링하고자 하는 픽처에 대한 루프 필터링 처리를 구현한다. 여기에서, 업그레이드형 루프 필터는 합성곱 신경망 필터일 수 있고, 또한 기타 딥러닝이 구성한 필터일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다. 여기에서, 합성곱 신경망 필터는 또한 CNN 필터라고 칭할 수 있어, 이는 한 유형의 합성곱 컴퓨팅 또한 딥구조가 포함된 피드포워드 신경망이고, 딥러닝의 대표적인 알고리즘 중 하나이다. CNN 필터의 입력 계층은 다차원 데이터, 예를 들면, 인코딩하고자 하는 비디오 중 오리지널 픽처의 세 개의 픽처 컴포넌트（Y/U/V） 통로를 처리할 수 있다.
도 5 를 참조하여, 이는 본 출원의 실시예가 제공하는 전통 CNN 필터(50)의 구성 구조 도면을 도시한다. 도 5에 도시된 바와 같이, 해당 전통 CNN 필터(50)는 지난 세대 비디오 인코딩 기준 H.265/ 고효과적 비디오 코딩（High Efficiency Video Coding，HEVC）의 기초 상에서 업그레이드를 진행한 것이며, 이에 2 계층의 합성곱 네트워크 구조가 포함되고, 이는 블럭화 제거 필터와 샘플링 포인트 적응적 보상 필터를 대체할 수 있다. 필터링하고자 하는 픽처(
로 표시)를 전통 CNN 필터(50)의 입력 계층에 입력한 후, 순서는 제1 계층 합성곱 네트워크 
(합성곱 코어의 크기는 3×3이고，64 장의 특징도가 포함된다고 가정)와 제2 계층 합성곱 네트워크 
(합성곱 코어의 크기는 5×5이고，32 장의 특징도가 포함된다고 가정）를 거친 후，하나의 잔여 정보 
를 취득하며；그 후 필터링하고자 하는 픽처 
와 잔여 정보 
에 대하여 덧셈을 진행하고, 최종적으로 해당 전통 CNN 필터(50)가 출력한 필터링된 후의 픽처(
로 표시)를 취득한다. 여기에서, 해당 합성곱 네트워크 구조는 또한 잔여 신경망이라고 칭하고, 필터링하고자 하는 픽처에 대응되는 잔여 정보를 출력한다. 해당 전통 CNN 필터(50)에서, 각각 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트（Y/U/V）에 대하여 독립된 처리를 진행하지만, 동일한 필터링 네트워크 및 필터링 네트워크의 관련 파라미터를 공유한다.
도 6a와 도 6b를 참조하여, 이는 본 출원의 실시예가 제공하는 다른 일 전통 CNN 필터(60)의 구성 구조 도면을 도시하며; 해당 전통 CNN 필터(60)는 두 개의 필터 네트워크를 사용하여, 예를 들면, 도 6a에 도시된 필터링 네트워크는 제1 픽처 컴포넌트를 출력하는 데 전용되고, 도 6b에 도시된 필터링 네트워크는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트를 출력하는 데 전용된다. 인코딩하고자 하는 비디오 중 오리지널 픽처의 높이는 H이고, 너비는 W라고 가정하면, 제1 픽처 컴포넌트에 대응되는 사이즈 정보는 
이라고 가정하고, 제1 픽처 컴포넌트에 대하여 픽셀 재배열 처리를 진행하고, 이를 
의 형식으로 전환할 수 있으며; 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 사이즈 정보는 모두 
이기 때문에, 이 세 개의 픽처 컴포넌트를 병합한 후 
의 형식으로 전환하여 전통 CNN 필터(60)에 입력한다. 도 6a에 도시된 필터링 네트워크를 기반으로, 입력 계층 네트워크가 필터링하고자 하는 픽처 
(합성곱 코어의 크기는 N×N이고, 통로 개수는 6이라고 가정)를 수신한 후, 제1 계층 합성곱 네트워크 
(합성곱 코어의 크기는 L1×L1이고, 합성곱 코어의 수량은 M이고, 통로 개수는 6이라고 가정)와 제2 계층 합성곱 네트워크 
(합성곱 코어의 크기는 L2×L2이고, 합성곱 코어의 수량은 4이고, 통로 개수는 M라고 가정)를 거친 후, 하나의 잔여 정보 
(합성곱 코어의 크기는 N×N이고, 통로 개수는 4라고 가정)를 취득하며; 그 후, 입력된 필터링하고자 하는 픽처 
와 잔여 정보 
에 대하여 덧셈을 진행하여, 최종적으로 전통 CNN 필터(60)가 출력한 필터링된 후의 제1 픽처 컴포넌트(
로 표시)을 취득한다. 도 6b에 도시된 필터링 네트워크를 기반으로, 입력 계층 네트워크가 필터링하고자 하는 픽처 
(합성곱 코어의 크기는 N×N이고, 통로 개수는 6이라고 가정)를 수신한 후, 제1 계층 합성곱 네트워크 
(합성곱 코어의 크기는 L1×L1이고, 합성곱 코어의 수량은 M이고, 통로 개수는 6이라고 가정)와 제2 계층 합성곱 네트워크 
(합성곱 코어의 크기는 L2×L2이고, 합성곱 코어의 수량은 2이고, 통로 개수는 M라고 가정) 를 거친 후, 하나의 잔여 정보 
(합성곱 코어의 크기는 N×N이고, 통로 개수는 2라고 가정)를 취득하며; 그 후, 입력된 필터링하고자 하는 픽처 
와 잔여 정보 
에 대하여 덧셈을 진행하여, 최종적으로 전통 CNN 필터(60)가 출력한 필터링 후의 제2 픽처 컴포넌트 또는 필터링된 후의 제3 픽처 컴포넌트(
로 표시)를 취득한다.
도 5에 도시된 전통 CNN 필터(50), 또는 도 6a와 도 6b에 도시된 전통 CNN 필터(60)에 있어서, 다른 픽처 컴포넌트 간의 관계를 고려하지 않기 때문에, 각 픽처 컴포넌트에 대하여 독립된 처리를 진행하는 것이 합리적지 않으며; 그리고, 입력단에서도 충분히 블럭 구분 정보, QP 정보 등 코딩 파라미터를 이용하지 않지만 재구성 픽처의 손실은 주로 블럭 효과에서 오고, 블럭 효과의 경계 정보는 CU 구분 정보가 결정한 것이며; 다시 말하면, CNN 필터 중의 필터링 네트워크가 경계 구역에 관심을 기울려야 하며; 이외에, 양자화 파라미터 정보를 필터링 네트워크에 융합하는 것은 또한 이의 일반화 능력을 향상시켜, 이가 임의의 품질의 손실 픽처에 대하여 필터링을 진행할 수 있게 한다. 따라서, 본 출원의 실시예가 제공하는 루프 필터링 구현 방법은, CNN 필터링 구조의 구비가 합리적일 뿐 아니라, 동일한 필터링 네트워크가 동시에 다수 개의 픽처 컴포넌트를 수신할 수 있고, 또한 이 다수 개의 픽처 컴포넌트 간의 관계를 충분히 고려하여, 필터링 처리 후 또한 동시에 이러한 픽처 컴포넌트의 향상된 픽처를 출력할 수 있으며; 그리고, 해당 루프 필터링 구현 방법은 또한 블럭 구분 정보 및 QP 정보 중 적어도 하나 등 코딩 파라미터를 융합하는 것을 통해 보조 정보로 하여 보조 필터링을 진행할 수 있어, 필터링의 품질을 향상시킨다.
설명해야 할 바로는, 본 출원의 실시예 중의 “상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며”, 구체적으로 말하면, 필터링하고자 하는 픽처의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트에 대해여 각 픽처 컴포넌트에 대응되는 보조 정보(예를 들면 제1 보조 정보 또는 제2 보조 정보)를 각각 결정할 수 있고, 추가 처리를 거친 후 세 개의 픽처 컴포넌트를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트와 제2 픽처 컴포넌트에 대해여 각 픽처 컴포넌트에 대응되는 보조 정보를 각각 결정할 수 있고, 추가 처리를 거친 후 두 개의 픽처 컴포넌트를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트와 제3 픽처 컴포넌트에 대해여 각 픽처 컴포넌트에 대응되는 보조 정보를 가각 결정할 수 있고, 추가 처리를 거친 후 두 개의 픽처 컴포넌트를 취득할 수 있으며; 심지어 필터링하고자 하는 픽처의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트에 대해여 각 픽처 컴포넌트에 대응되는 보조 정보를 각각 결정할 수 있고, 추가 처리를 거친 후 두 개의 새로운 픽처 컴포넌트를 취득할 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
또한 설명해야 할 바로는, 필터링하고자 하는 픽처의 융합 정보에 대하여, 적어도 두 개의 픽처 컴포넌트이 직접 융합을 진행하고 취득한 것일 수 있고, 또한 적어도 두 개의 픽처 컴포넌트 및 대응되는 보조 정보(예를 들면 제1 보조 정보 또는 제2 보조 정보)가 공동적으로 융합하여 취득한 것일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
만일 융합 정보는 적어도 두 개의 픽처 컴포넌트가 직접 융합하여 취득한 것이면, 필터링하고자 하는 픽처의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트와 제2 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트와 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 심지어 필터링하고자 하는 픽처의 제2 픽처 컴포넌트와과 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있다.
만일 융합 정보는 적어도 두 개의 픽처 컴포넌트 및 대응되는 보조 정보(예를 들면 보조 정보 또는 제2 보조 정보)가 공동적으로 융합하여 취득한 것이면, 필터링하고자 하는 픽처의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트와 보조 정보를 융합하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트와 보조 정보를 융합하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽처의 제1 픽처 컴포넌트, 제3 픽처 컴포넌트와 보조 정보를 융합하여 융합 정보를 취득할 수 있으며; 심지어 필터링하고자 하는 픽처의 제2 픽처 컴포넌트, 제3 픽처 컴포넌트와 보조 정보를 융합하여 융합 정보를 취득할 수 있다. 구체적으로 “적어도 두 개의 픽처 컴포넌트 및 대응되는 보조 정보(예를 들면 제1 보조 정보 또는 제2 보조 정보)가 공동적으로 융합되어 취득되며”에 있어서, 먼저 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하고, 그 후 보조 정보를 융합할 수 있으며; 또한 먼저 각각 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 중 각 픽처 컴포넌트와 대응되는 보조 정보를 융합 처리하여 그 후 처리된 후의 적어도 두 개의 픽처 컴포넌트를 융합할 수 있으며; 다시 말하면, 융합 처리의 구체적인 방식에 대하여 본 출원의 실시예가 구체적으로 제한하지 않는다.
그리고, 본 출원의 실시예 중의 “상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하며”에 있어서, 구체적으로 말하면, 필터링하고자 하는 픽처의 다수 개의 픽처 컴포넌트(예를 들면 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트)과 보조 정보(예를 들면 제1 보조 정보 또는 제2 보조 정보)가 융합되어 필터링 네트워크로 입력된 후, 단지 필터링하고자 하는 픽처가 필터링된 후의 제1 픽처 컴포넌트 또는 필터링된 후의 제2 픽처 컴포넌트 또는 필터링된 후의 제3 픽처 컴포넌트를 출력할 수 있고, 또한, 필터링하고자 하는 픽처가 필텅링된 후의 제1 픽처 컴포넌트와 필터링된 후의 제2 픽처 컴포넌트, 또는 필터링된 후의 제2 픽처 컴포넌트와 필터링된 후의 제3 픽처 컴포넌트, 또는 필터링된 후의 제1 픽처 컴포넌트와 필터링된 후의 제3 픽처 컴포넌트를 출력할 수 있고, 심지어 필터링하고자 하는 필처가 필터링된 후의 제1 픽처 컴포넌트, 필터링된 후의 제2 픽처 컴포넌트 및 필터링된 후의 제3 픽처 컴포넌트를 출력할 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트를 동시에 필터링 네트워크로 입력하고 분배-병합-분배의 캐스케이드 처리 구조를 사용하는 것을 예로 들어, 도 7를 참조하여 이가 본 출원의 실시예가 제공하는 루프 필터링 프레임(70)의 구성 구조 도면을 도시한다. 도 7에 도시된 바와 같이, 해당 루프 필터링 프레임(70)에 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트(각각 Y,U, V로 표시)(701), 제1 분배 유닛(702), 제1 보조 정보(703), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), V 픽처 컴포넌트 제1 처리 유닛(706), 제2 보조 정보(707), 입력 융합 유닛(708), 연합 처리 유닛(709), 제2 분배 유닛(710), Y 픽처 컴포넌트 제2 처리 유닛(711), U픽처 컴포넌트 제2 처리 유닛(712), V 픽처 컴포넌트 제2 처리 유닛(713), 제1 가산기(714), 제2 가산기(715), 제3 가산기(716)와 필터링된 후의 세 개의 픽처 컴포넌트(각각 Out_Y, Out_U, Out_V로 표시)(717)이 포함될 수 있다. 구체적으로, 필터링하고자 하는 픽처에 대한 세 개의 픽처 컴포넌트(701)가 제1 분배 유닛(702)을 거친 후, 이를 Y 픽처 컴포넌트, U 픽처 컴포넌트 및 V 픽처 컴포넌트 삼로 신호로 나누며, 제1로의 Y 픽처 컴포넌트 및 이와 대응되는 제1 보조 정보(703)는 Y 픽처 컴포넌트 제1 처리 유닛(704)에 진입하고, 제2 로의U 픽처 컴포넌트 및 이와 대응되는 제1 보조 정보(703)는 U 픽처 컴포넌트 제1 처리 유닛(705)에 진입하고, 제3 로의 V 픽처 컴포넌트 및 이와 대응되는 제1 보조 정보(703)는 V 픽처 컴포넌트 제1 처리 유닛(706)에 진입하며, 이렇게 하면 삼로 새로운 픽처 컴포넌트를 출력할 수 있으며; 입력 융합 유닛(708)은 이 삼로 새로운 픽처 컴포넌트와 제2 보조 정보(707)를 융합하고, 그 후 연합 처리 유닛(709)에 입력하며; 연합 처리 유닛(709)에 여러 계층 합성곱 필터링 네트워크가 포함되고, 입력된 정보에 대하여 합성곱 컴퓨팅을 진행하며, 구체적인 합성곱 컴퓨팅 과정은 관련 기술 방안과 유사하기 때문에, 연합 처리 유닛(709)의 구체적인 실행 단계에 대하여 더 이상 설명하지 않는다. 연합 처리 유닛(709)을 거친 후, 제2 분배 유닛(710)에 진입하고 이를 다시 삼로 신호로 나누고, 그 후 이 삼로 신호를 각각 Y 픽처 컴포넌트 제2 처리 유닛(711), U 픽처 컴포넌트 제2 처리 유닛(712) 및 V 픽처 컴포넌트 제2 처리 유닛(713)에 입력하여, 순차적으로 Y 픽처 컴포넌트의 잔여 정보, U 픽처 컴포넌트의 잔여 정보 및 V 픽처 컴포넌트의 잔여 정보를 취득할 수 있으며; 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트(701) 중의 Y 픽처 컴포넌트와 취득한 Y 픽처 컴포넌트의 잔여 정보를 공동적으로 제1 가산기(714)에 입력하고, 제1 가산기(714)의 출력은 필터링된 후의 Y 픽처 컴포넌트(Out_Y로 표시)이며; 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트(701) 중의 U 픽처 컴포넌트와 취득한 U 픽처 컴포넌트의 잔여 정보를 공동적으로 제2 가산기(715)에 입력하고, 제2 가산기(715)의 출력은 필터링된 후의 U 픽처 컴포넌트(Out_ U 로 표시)이며; 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트(701) 중의 V 픽처 컴포넌트와 취득한 V 픽처 컴포넌트의 잔여 정보를 공동적으로 제3 가산기(716)에 입력하고, 제3 가산기(716)의 출력은 필터링된 후의 V 픽처 컴포넌트(Out_ V로 표시)이다. 여기에서 출력 컴포넌트에 대하여 만일 단지 필터링된 후의 Y 픽처 컴포넌트를 출력할 때, 루프 필터링 프레임(70)에 제2 분배 유닛(710), 제2 가산기(715)와 제3 가산기(716)가 포함되지 않을 수 있으며; 만일 단지 필터링된 후의 U 픽처 컴포넌트를 출력할 때, 루프 필터링 프레임(70)에 제2 분배 유닛(710), 제1 가산기(714)와 제3 가산기(716)가 포함되지 않을 수 있으며; 만일 필터링된 후의 Y 픽처 컴포넌트와 필터링된 후의 U 픽처 컴포넌트를 출력할 때, 루프 필터링 프레임(70)에 제3 가산기(716)가 포함되지 않을 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
필터링하고자 하는 픽처의 두 개의 픽처 컴포넌트를 동시에 필터링 네트워크로 입력하고 분배-병합의 캐스케이드 처리 구조를 사용하는 것을 예로 들어, 도 8을 참조하여 이가 본 출원의 실시예가 제공하는 다른 일 루프 필터링 프레임(80)의 구성 구조 도면을 도시한다. 도 8에 도시된 바와 같이, 해당 루프 필터링 프레임(80)에 필터링하고자 하는 픽처의 두 개의 픽처 컴포넌트(각각 Y와 U로 표시)(801), 제1 분배 유닛(702), 제1 보조 정보(703), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), 입력 융합 유닛(708), 연합 처리 유닛(709), Y 픽처 컴포넌트 제2 처리 유닛(711), 제1 가산기(714)와 필터링된 후의 하나의 픽처 컴포넌트(각각 Out_Y로 표시)(802)가 포함될 수 있다. 구체적으로, 필터링하고자 하는 픽처에 대한 두 개의 픽처 컴포넌트(801)는 제1 분배 유닛(702)을 거친 후, 이를 Y 픽처 컴포넌트와 U 픽처 컴포넌트 이로 신호로 나누며, 제1로의 Y 픽처 컴포넌트 및 이와 대응되는 제1 보조 정보(703)가 Y 픽처 컴포넌트 제1 처리 유닛(704)에 진입하고, 제2 로의 U 픽처 컴포넌트 및 이와 대응되는 제1 보조 정보(703)가 U 픽처 컴포넌트 제1 처리 유닛(705)에 진입하며, 이렇게 하면 이로 새로운 픽처 컴포넌트를 출력할 수 있으며; 입력 융합 유닛(708)은 이 이로 새로운 픽처의 컴포넌트를 융합하고, 그 후 연합 처리 유닛(709)에 입력하며; 연합 처리 유닛(709)을 거친 후, 단지 단일 개의 픽처 컴포넌트(즉 필터링된 후의 Y 픽처 컴포넌트)을 출력해야 하기 때문에, 이 때에 제2 분배 유닛(710)에 진입할 필요가 없고, 직접 Y 픽처 컴포넌트 제2 처리 유닛(711)을 입력할 수 있어, 그 후 Y 픽처 컴포넌트의 잔여 정보를 취득할 수 있으며; 필터링하고자 하는 픽처의 두 개의 픽처 컴포넌트(801) 중의 Y 픽처 컴포넌트와 취득한 Y 픽처 컴포넌트의 잔여 정보를 공동적으로 제1 가산기(714)에 입력하고, 제1 가산기(714)의 출력은 필터링된 후의 Y 픽처 컴포넌트(Out_Y로 표시)이다.
설명해야 할 바로는, Y 픽처 컴포넌트와 U 픽처 컴포넌트 또는 V 픽처 컴포넌트의 사이즈 정보가 다른 것일 수 있기 때문에, 도 7에 도시된 루프 필터링 프레임(70) 또는 도 8에 도시된 루프 필터링 프레임(80)에서, 또한 U 픽처 컴포넌트 제1 처리 유닛(705)과 V 픽처 컴포넌트 제1 처리 유닛(706) 전에, 업 샘플링 유닛(또는 역합성곱 유닛 또는 초해상 유닛)을 증가시켜, 업 샘플링 처리를 진행하고, 업 샘플링 처리 후의 U 픽처 컴포넌트 또는 업 샘플링 처리 후의 V 픽처 컴포넌트와 Y 픽처 컴포넌트의 해상도가 일관성을 유지하게 하여, 후속 루프 필터링 처리를 진행하는 데 편한다. 그리고, 도 7에 도시된 루프 필터링 프레임(70)을 예로 들어, 본 출원의 실시예 중의 업그레이드형 루프 필터에 적어도 입력 융합 유닛(708), 연합 처리 유닛(709) 및 제1 가산기(714), 제2 가산기(715)와 제3 가산기(716)가 포함될 수 있지만, 또한 제1 분배 유닛(702), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), V 픽처 컴포넌트 제1 처리 유닛(706) 등이 포함될 수도 있고, 심지어 또한 제2 분배 유닛(710), Y 픽처 컴포넌트 제2 처리 유닛(711), U 픽처 컴포넌트 제2 처리 유닛(712), V 픽처 컴포넌트 제2 처리 유닛(713) 등이 포함될 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
그리고, 본 출원의 실시예에서, 루프 필터링 구현 방법은 분배-병합-분배 처리 구조, 예를 들면 도 7에 도시된 루프 필터링 프레임(70)을 사용할 수 있으며; 또한 비교적 적은 분배-병합 처리 구조, 예를 들면, 도 8에 도시된 루프 필터링 프레임(80)을 사용할 수 있으며; 또한 비교적 적은 병합-분배 처리 구조를 사용할 수 있으며, 심지어 또한 비교적 적은 병합-분배 처리 구조 또는 비교적 많은 분배-병합-분배-병합-분배 처리 구조를 사용할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
또한 설명해야 할 바로는, 제1 보조 정보와 제2 보조 정보는 모두 루프 필터링 처리, 예를 들면 도 7에 도시된 루프 필터링 프레임(70)에 참여할 수 있으며; 제1 보조 정보와 제2 보조 정보는 또한 루프 필터링 처리, 예를 들면, 도 8에 도시된 루프 필터링 프레임(80)에 선택적으로 참여할 수 있어, 여기에서, 제2 보조 정보는 루프 필터링 처리에 참여하지 않는다. 본 출원의 실시예에서, 제1 보조 정보와 제2 조보 정보는 모두 루프 필터링 처리에 참여할 수도 있고, 또한 제1 보조 정보는 루프 필터링 처리에 참여하지 않을 수도 있고, 또한 제2 보조 정보는 루프 필터링 처리에 참여하지 않을 수도 있고, 심지어 제1 보조 정보와 제2 보조 정보가 모두 루프 필터링 처리에 참여하지 않을 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
또한 설명해야 할 바로는, 제1 보조 정보와 제2 보조 정보의 융합 단계가 같은 것일 수도 있고, 다른 것일 수도 있으며; 다시 말하면, 제1 보조 정보와 제2 보조 정보는 동일한 단계에서 루프 필터링 처리에 참여할 수도 있고, 또한 다른 단계에서 루프 필터링 처리에 참여할 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다. 예를 들면, 여전히 도 7에 도시된 푸르 필터링 프레임(70)을 예로 들어, 제1 보조 정보(703)와 제2 보조 정보(707)는 모두 제1 분배 유닛(702)에 대응되는 단계 내에서 루프 필터링 처리에 참여할 수 있고, 또는 제1 보조 정보(703)와 제2 보조 정보(707)는 모두 입력 융합 유닛(708)에 대응되는 단계 내에서 루프 필터링 처리에 참여할 수 있고, 또는 제1 보조 정보(703)와 제2 보조 정보(707)는 모두 제2 분배 유닛(710)에 대응되는 단계 내에서 루프 필터링 처리에 참여할 수 있으며; 또는 제1 보조 정보(703)는 제1 분배 유닛(702)에 대응되는 단계 내에서 루프 필터링 처리에 참여할 수 있고, 제2 보조 정보(707)는 입력 융합 유닛(708)에 대응되는 단계 내에서 루프 필터링 처리에 참여할 수 있으며; 또는, 제1 보조 정보(703)는 제1 분배 유닛(702)에 대응되는 단계 전에 루프 필터링 처리에 참여하고, 제2 보조 정보(707)는 입력 융합 유닛(708)에 대응되는 단계 내에서 루프 필터링 처리에 참여하며; 또는, 제1 보조 정보(703)는 제1 분배 유닛(702)에 대응되는 단계 전에 루프 필터링 처리에 참여하고, 제2 보조 정보(707)는 제2 분배 유닛(710)에 대응되는 단계 내에서 루프 필터링 처리에 참여하며; 또는 제1 보조 정보(703)는 입력 융합 유닛(708)에 대응되는 단계 내에서 루프 필터링 처리에 참여하며; 제2 보조 정보(707)는 제2 분배 유닛(710)에 대응되는 단계 내에서 루프 필터링 처리에 참여하며; 다시 말하면, 제1 보조 정보(702)와 제2 보조 정보(703)는 캐스케이드 처리 구조에서 유연하게 융합 단계를 선택할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.
도 7에 도시된 루프 필터링 프레임(70)을 예로 들어, 이는 딥러닝 네트워크(예를 들면 CNN)를 사용하여 루프 필터링을 진행하여, 이는 전통 CNN 필터와의 구별은, 본 출원의 실시예 중의 업그레이드형 루프 필터가 캐스케이드 처리 구조를 사용하여 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트를 동시에 필터링 네트워크에 입력할 수 있고, 기타 코딩의 관련된 보조 정보(예를 들면 블럭 구분 정보, 양자화 파라미터 정보, MV 정보 등 코딩 파라미터)를 융합하고, 이러한 보조 정보는 동일한 단계 또는 다른 단계에서 필터링 네트워크에 융합할 수 있으며; 이렇게 하면, 세 개의 픽처 컴포넌트 간의 관계를 충분히 이용하고, 또한 기타 인코딩 관련된 보조 정보를 사용하고 필터링을 보조하여, 필터링 품질을 향상시키며; 그리고, 세 개의 픽처 컴포넌트에 대하여 동시에 처리하고, 세 개의 픽처 컴포넌트에 대하여 세 번의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 나아가 컴퓨팅의 복잡성을 낮추고 인코딩 비트 레이트를 절약한다. 예를 들면, VTM3.0를 기준으로, 어느 실험 테스트에서 관련 기술 방안과 비교하여 본 출원의 실시예의 루프 필터링 구현 방법은 같은 비디오 품질을 획복하는 전제 하에서, 동시에 Y 픽처 컴포넌트의 6.4%에 비트 레이트가 낮아지는 것, U 픽처 컴포넌트 9.8%의 비트 레이트가 낮아지는 것 및 V 픽처 컴포넌트의 11.6% 비트 레이트가 낮아지는 것을 구현할 수 있는 것을 발견하여, 인코딩 비트 레이트를 절약한다.
상술한 실시예가 루프 필터링 구현 방법을 제공하는 바, 필터링하고자 하는 픽처를 취득하는 것을 통하여, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며; 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며; 상기 필터링하고자 하는 픽처의 융합 정보를 결정하고, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며; 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하며; 이렇게 하면, 캐스케이드 처리 구조 및 블럭 구분 정보 및 QP 정보 중 적어도 하나 등 인코딩 파리미터를 보조 정보로 하여, 입력된 다수 개의 픽처 컴포넌트와 융합 처리를 진행하는 것을 통하여, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 사용할 뿐 아니라, 또한 컴퓨팅의 복잡성을 낮추고 인코딩 비트 레이트를 절약하며; 동시에, 진일보로 인코인/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
전술한 실시예와 같은 발명 사상을 기반으로, 도 9를 참조하여, 이가 본 출원의 실시예가 제공하는 루프 필터링 구현 장치(90)의 구성 구조 도면을 도시한다. 해당 루프 필터링 구현 장치(90)에는 취득 유닛(901), 분배 유닛(902), 결정 유닛(903) 및 필터링 유닛(904)이 포함되며, 여기에서
상기 취득 유닛(901)은, 필터링하고자 하는 픽처를 취득하도록 구성되며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 분배 유닛(902)은, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되며;
상기 결정 유닛(903)은, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하도록 구성되며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 필터링 유닛(904)은, 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하도록 구성된다.
상술한 방안에서, 상기 분배 유닛(902)은, 구체적으로 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트에 대하여 컴포넌트 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성된다.
상술한 방안에서, 상기 루프 필터링 구현 장치(90)에는 또한 융합 유닛(905)이 포함되며, 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성된다.
상술한 방안에서, 상기 결정 유닛(903)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보를 결정하도록 구성되며; 여기에서, 상기 제1 보조 정보에 적어도 블럭 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함된다.
상술한 방안에서, 상기 분배 유닛(902)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성된다.
상술한 방안에서, 상기 융합 유닛(905)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성된다.
상술한 방안에서, 상기 분배 유닛(902)은, 또한 상기 융합 정보를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보를 취득하도록 구성되며;
상기 필터링 유닛(904)은, 구체적으로 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트와 상기 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하도록 구성된다.
상술한 방안에서, 상기 결정 유닛(903)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보를 결정하도록 구성되며; 여기에서, 상기 제2 보조 정보는 상기 제1 보조 정보와 다르다.
상술한 방안에서, 상기 융합 유닛(905)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성된다.
상술한 방안에서, 상기 분배 유닛(902)은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성된다.
상술한 방안에서, 상기 취득 유닛(901)은, 구체적으로 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 생성된 재구성 픽처를 상기 필터링하고자 하는 픽처로 하도록 구성되며; 또는
상기 취득 유닛(901)은, 구체적으로 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 재구성 픽처를 생성하며; 상기 재구성 픽처에 대하여 사전 설정된 필터링 처리를 진행하고, 사전 설정된 필터링 후의 픽처를 상기 필터링하고자 하는 픽처로 하도록 구성된다.
상술한 방안에서, 도 9를 참조하여, 상기 루프 필터링 구현 장치(90)에는 또한 샘플링 유닛(906)이 포함되며, 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여 낮은 해상도의 픽처 컴포넌트를 취득하며; 및 상기 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행하도록 구성된다.
본 실시예에서, “유닛”은 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등일 수 인 것을 이해할 것이며, 또한 모듈일 수 있도 있고, 비모듈일 수도 있는 것은 자명한다. 그리고, 본 실시예 중의 각 구성 부분은 하나의 처리 유닛 중에 집적될 수도 있고, 또한 각 유닛의 독립적인 물리적 존재일 수 있으며, 또한 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 집적되어 있을 수 있다. 상술한 집적된 유닛은 하드웨어의 형식을 사용하여 구현될 수도 있고, 또한 소프트웨어 기능 모듈의 형식을 사용하여 구현될 수도 있다.
만일 상기 집적된 유닛은 소프트웨어 기능 모듈의 형식으로 구현되고 또한 독립적인 제품으로 판매 또는 사용될 때, 하나의 컴퓨터 판독가능한 저장 매체에 저장할 수 있어, 이를 기반으로 본 실시예의 기술방안의 본질적이나 또는 종래 기술에 대하여 공헌이 있는 부분 또는 해당 기술방안의 전부 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있는 바, 일부 명령이 포함되어 한 컴퓨터 설비(개인용 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음) 또는 processor(프로세서)로 하여금 본 출원의 각 실시예의 방법의 전부 또는 일부 단계를 구현하게 할 수 있다. 전술된 저장 매체에는 USB 메모리, 이동 하드, 읽기전용 메모리(ReadOnly Memory, ROM), 무작위 접속 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 여러 가지 프로그램 코드를 저장할 수 있는 매체가 포함된다.
따라서, 본 출원의 실시예가 컴퓨터 저장 매체를 제공하는 바, 해당 컴퓨터 저장 매체가 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 구현 프로그램이 적어도 하나의 프로세서에 의하여 실행될 때, 전술한 실시예의 상기 방법의 단계를 구현한다.
상술한 루프 필터링 구현 장치(90)의 구성 및 컴퓨터 저장 매체를 기반으로, 도 10을 참조하여 이가 본 출원의 실시예가 제공하는 루프 필터링 구현 장치(90)의 구체적 하드웨어 구조 예시를 도시하는 바, 네트워크 인터페이스(1001), 기억장치(1002) 및 프로세서(1003)가 포함될 수 있으며; 각 조립은 버스 시스템(1004)을 통하여 커플링된다. 버스 시스템(1004)은 이러한 조립 간의 연결 통신을 구현하는 것을 이해할 것이다. 버스 시스템(1004)에 데이터 버스가 포함되는 외에, 또한 전원 버스, 제어 버스와 상태 신호 버스가 포함된다. 하지만 명확하게 하기 위하여 도 10에서 여러가지 버스를 버스 시스템(1004)이라고 표시한다. 여기에서, 네트워크 인터페이스(1001)는 기타 외부 네트워크 요소와 정보 송수신을 진행하는 과정에서 신호의 수신과 송신에 이용되며;
기억장치(1002)는, 프로세서(1003)에서 운행될 수 있는 컴퓨터 프로그램을 저장하며;
프로세서(1003)는, 상기 컴퓨터 프로그램을 운행할 때, 다음과 같은 단계를 실행한다.
필터링하고자 하는 픽처를 취득하며; 여기에서, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며;
상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득한다.
본 출원의 실시예 중의 기억장치(1002)는 휘발성 기억장치 또는 비휘발성 기억장치일 수 있거나, 또는 휘발성과 비휘발성 기억장치 두 가지를 포함할 수 있는 것을 이해할 것이다. 여기에서, 비휘발성 기억장치는 읽기전용 메모리(Read-Only Memory, ROM), 프로그래머블 메모리(Programmable ROM, PROM), 휘발성 프로그래머블 메모리(Erasable PROM, EPROM), 전기 휘발성 프로그래머블 메모리(Electrically EPROM, EEPROM) 또는 플래시 일 수 있다. 휘발성 메모리는 무작위 접속 메모리(Random Access Memory, RAM)일 수 있으며, 이는 외부 고속 캐시로 사용된다. 예시적이지만 제한적이지 않은 설명을 통하여, 많은 형식의 RAM가 사용가능한 것이며, 예를 들면, 정적 램(Static RAM, SRAM), 동적 램(Dynamic RAM, DRAM), 동기화 동적 램(Synchronous DRAM, SDRAM), 이중 데이터 속도 동적 램(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기화 동적 램(Enhanced SDRAM, ESDRAM), 동기화 링크 동적 램(Synchlink DRAM, SLDRAM)과 직접 램버스 램(Direct Rambus RAM, DR RAM) 등이다. 본 명세서에 기재된 시스템과 방법의 기억장치(1002)는 이러한 것과 임의의 기타 적합한 유형의 기억장치를 포함하나 이에 제한되지 않기 위한 것이다.
프로세서(1003)는 집적회로 칩일 수 있고, 신호의 처리 능력을 갖는다. 구현 과정에서, 상술한 방법의 각 단계는 프로세서(1003) 중의 하드웨어의 집적 논리회로 또는 소프트웨어 형식의 명령을 통하여 완성될 수 있다. 상기 프로세서(1003)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application Specific Integrated CirCUit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그램가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 모듈 등일 수 있다. 본 출원의 실시예에 공개된 각 방법, 단계 및 논리 블럭도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있고, 해당 프로세서는 또한 임의의 일반적인 프로세서 등일 수 있다. 본 출원의 실시예에 공개된 방법의 단계와 결합시켜 직접 하드웨어 디코딩 프로세서로 실행하여 완성한 것으로 구현되거나, 또는 디코딩 프로세서 중의 하드웨어 및 소프트웨어 모듈 조합으로 실행하여 완성할 수 있다. 소프트웨어 모듈은 무작위 메모리, 플래시 메모리, 읽기전용 메모리, 프로그래머블 읽기전용 메모리 또는 전기 휘발성 프로그래머블 메모리, 레지스터 등 당업계의 성숙된 저장 매체에 위치할 수 있다. 해당 저장 매체는 기억장치(1002)에 위치하고, 프로세서(1003)가 기억장치(1002) 중의 정보를 읽으며, 그 하드웨어와 결합시켜 상기 방법의 단계를 완성한다.
본 명세서에 기재된 이러한 실시예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 이의 조합을 사용하여 구현될 수 있다. 하드웨어의 구현에 있어서, 처리 유닛은 하나 또는 다수 개의 주문형 집적회로(Application Specific Integrated CirCUit，ASIC), 디지털 신호 처리기(Digital Signal Processor，DSP), 디지털 신호 처리 장치(DSP Device，DSPD), 프로그램 가능 논리 소자(Programmable Logic Device，PLD), 필드 프로그래머블 게이트 어레이(Field ProgRAMmable Gate Array，FPGA), 범용 처리 장치, 제어기, 마이크로 제어기, 본 출원의 상기 기능을 실행하는 기타 전자 유닛 또는 이의 조합에 구현될 수 있다.
소프트웨어 구현에 있어서, 본 명세서의 상기 기능을 실행하는 모듈(예를 들면 과정, 함수 등)을 통하여 본 명세서의 상기 기능을 구현할 수 있다. 소프트웨어 코드는 기억장치에 저장되고 프로세서에 의하여 실행될 수 있다. 기억장치는 프로세서 또는 포로세서 외부에서 구현될 수 있다.
선택적으로, 다른 일 실시예로서, 프로세서(1003)는 또한 상기 컴퓨터 프로그램을 운행할 때, 전술한 실시예 중의 상기 방법의 단계를 실행하도록 구성된다.
설명해야 할 바로는, 본 출원의 실시예에 기재된 기술 방안 간에, 상충되지 않는 상황 하에서, 임의로 조합될 수 있다.
상술한 것은, 단지 본 출원의 구체적인 실시 방식일 뿐, 본 출원의 보호 범위는 이에 한정되는 것이 아니며, 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자라면 본 출원에 개시된 보호 범위안에서 얼마든지 다양하게 변경하여 실시할 수 있어, 이는 본 출원의 보호범위 안에 포함되어야 한다. 그러므로 본 출원의 보호 범위는 청구항의 보호 범위를 기준으로 하여야 한다.
산업상 이용가능성
본 출원의 실시예에서, 먼저 필터링하고자 하는 픽처를 취득하고, 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이며; 그 후 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며; 해당 처리 과정은 분배 단계로 보일 수 있으며; 또한 상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 여기에서, 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며; 해당 처리 과정은 병합 단계로 보일 수 있으며; 이렇게 하면, 캐스케이드 처리 구조를 사용하고 또한 입력된 다수 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하는 것을 통하여, 다수 개의 픽처 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라 또한 효과적으로 이 다수 개의 픽처 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 컴퓨팅의 복잡상을 낮추고, 비트 레이트를 절약하며; 마지막으로 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진해하여 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하며; 이렇게 하면, 융합 정보를 통하여 또한 진일보로 필터링을 보조할 수 있어 인코인/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.
Claims (26)
- 루프 필터링 구현 방법에 있어서,
상기 방법에는,
필터링하고자 하는 픽처를 취득하며; 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 필터링하고자 하는 픽처를 기반으로, 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하며;
상기 필터링하고자 하는 픽처의 융합 정보를 결정하며; 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항에 있어서,
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트에 대하여 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항에 있어서,
상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항에 있어서,
각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보를 각각 결정하며; 상기 제1 보조 정보에 적어도 블럭 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함되는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제4항에 있어서,
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제4항에 있어서,
상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항에 있어서,
상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것에는,
상기 융합 정보를 기반으로, 각각 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보를 취득하며;
상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트와 상기 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보를 각각 결정하며; 상기 제2 보조 정보는 제1 보조 정보와 다른 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제5항에 있어서,
상기 필터링하고자 하는 픽처의 융합 정보를 결정하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제6항에 있어서,
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것에는,
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 필터링하고자 하는 픽처를 취득하는 것에는,
인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 생성된 재구성 픽처를 상기 필터링하고자 하는 픽처로 하며; 또는
인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 재구성 픽처를 생성하며; 상기 재구성 픽처에 대하여 사전 설정된 필터링 처리를 진행하고, 사전 설정된 필터링 후의 픽처를 상기 필터링하고자 하는 픽처로 하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하기 전, 상기 방법에는 또한
상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여 낮은 해상도의 픽처 컴포넌트를 선택하며;
상기 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행하는 것이 포함되는 것을 특징으로 하는 루프 필터링 구현 방법. - 루프 필터링 구현 장치에 있어서,
상기 루프 필터링 구현 장치에 취득 유닛, 분배 유닛, 결정 유닛 및 필터링 유닛이 포함되며, 여기에서,
상기 취득 유닛은, 필터링하고자 하는 픽처를 취득하도록 구성되며; 상기 필터링하고자 하는 픽처는 인코딩하고자 하는 비디오 중의 오리지널 픽처가 비디오 인코딩 과정에서 생성한 것이고, 상기 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 상기 오리지널 픽처 프레임에 상기 오리지널 픽처가 포함되며;
상기 분배 유닛은, 상기 필터링하고자 하는 픽처를 기반으로, 각각 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되며;
상기 결정 유닛은, 상기 필터링하고자 하는 픽처의 융합 정보를 결정하도록 구성되며; 상기 융합 정보에 적어도 상기 적어도 두 개의 픽처 컴포넌트에 대하여 융합을 진행하여 취득한 것이 포함되며;
상기 필터링 유닛은, 상기 융합 정보를 기반으로 상기 필터링하고자 하는 픽처에 대하여 루프 필터링 처리를 진행하여, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항에 있어서,
상기 분배 유닛은, 구체적으로 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트에 대하여 컴포넌트 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항에 있어서,
상기 루프 필터링 구현 장치에 또한 융합 유닛이 포함되며, 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트에 대하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항에 있어서,
상기 결정 유닛은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보를 각각 결정하도록 구성되며; 상기 제1 보조 정보에 적어도 블럭 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제16항에 있어서,
상기 분배 유닛은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제16항에 있어서,
융합 유닛은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제1 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항에 있어서,
상기 분배 유닛은, 또한 상기 융합 정보를 기반으로, 각각 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보를 취득하도록 구성되며;
상기 필터링 유닛은, 구체적으로, 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중의 적어도 하나의 오리지널 픽처 컴포넌트와 상기 적어도 하나의 오리지널 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 상기 필터링하고자 하는 픽처의 필터링된 후의 적어도 하나의 픽처 컴포넌트를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항 내지 제19항 중 어느 한 항에 있어서,
상기 결정 유닛은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보를 각각 결정하도록 구성되며; 상기 제2 보조 정보는 제1 보조 정보와 다른 것을 특징으로 하는 루프 필터링 구현 장치. - 제17항에 있어서,
융합 유닛은, 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트 및 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽처의 융합 정보를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제18항에 있어서,
상기 분배 유닛은 또한 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트를 기반으로, 각각 상기 적어도 두 개의 오리지널 픽처 컴포넌트 중 각 오리지널 픽처 컴포넌트와 각 오리지널 픽처 컴포넌트에 대응되는 제2 보조 정보에 대하여 추가 처리를 진행하고, 처리한 후 상기 필터링하고자 하는 픽처의 적어도 두 개의 픽처 컴포넌트를 취득하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항 내지 제22항 중 어느 한 항에 있어서,
상기 취득 유닛은, 구체적으로 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 생성된 재구성 픽처를 상기 필터링하고자 하는 픽처로 하도록 구성되며; 또는
상기 취득 유닛은, 구체적으로, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행하고, 재구성 픽처를 생성하며; 상기 재구성 픽처에 대하여 사전 설정된 필터링 처리를 진행하고, 사전 설정된 필터링 후의 픽처를 상기 필터링하고자 하는 픽처로 하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 제13항 내지 제23항 중 어느 한 항에 있어서,
상기 루프 필터링 구현 장치에는 또한 샘플링 유닛이 포함되며, 상기 필터링하고자 하는 픽처의 적어도 두 개의 오리지널 픽처 컴포넌트에 대하여 낮은 해상도의 픽처 컴포넌트를 취득하며; 및 상기 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행하도록 구성되는 것을 특징으로 하는 루프 필터링 구현 장치. - 루프 필터링 구현 장치에 있어서,
상기 루프 필터링 구현 장치에 기억장치와 프로세서가 포함되며;
상기 기억장치는, 상기 프로세서에서 운행될 수 있는 컴퓨터 프로그램을 저장하며;
상기 프로세서는, 상기 컴퓨터 프로그램을 운행할 때, 제1항 내지 제12항 중 어느 한 항의 상기 방법의 단계를 실행하는 것을 특징으로 하는 루프 필터링 구현 장치. - 컴퓨터 저장 매체에 있어서,
상기 컴퓨터 저장 매체가 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 구현 프로그램이 적어도 하나의 프로세서에 의하여 실행될 때, 제1항 내지 제12항 중 어느 한 항의 상기 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/077372 WO2020177134A1 (zh) | 2019-03-07 | 2019-03-07 | 环路滤波实现方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210129151A true KR20210129151A (ko) | 2021-10-27 |
Family
ID=72337635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217030126A KR20210129151A (ko) | 2019-03-07 | 2019-03-07 | 루프 필터링 구현 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11627342B2 (ko) |
| EP (1) | EP3910958A4 (ko) |
| JP (1) | JP2022522860A (ko) |
| KR (1) | KR20210129151A (ko) |
| CN (2) | CN113747179B (ko) |
| WO (1) | WO2020177134A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220337824A1 (en) * | 2021-04-07 | 2022-10-20 | Beijing Dajia Internet Information Technology Co., Ltd. | System and method for applying neural network based sample adaptive offset for video coding |
| CN115883842A (zh) * | 2021-09-28 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 滤波及编解码方法、装置、计算机可读介质及电子设备 |
| WO2024061331A1 (en) * | 2022-09-21 | 2024-03-28 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004159252A (ja) * | 2002-11-08 | 2004-06-03 | Sanyo Electric Co Ltd | 画像信号処理回路及びこれを用いた撮像装置 |
| KR100442835B1 (ko) * | 2002-08-13 | 2004-08-02 | 삼성전자주식회사 | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 |
| CN1816149A (zh) * | 2005-02-06 | 2006-08-09 | 腾讯科技（深圳）有限公司 | 去除视频图像中块效应的滤波方法及环路滤波器 |
| US8798171B2 (en) * | 2010-06-28 | 2014-08-05 | Richwave Technology Corp. | Video transmission by decoupling color components |
| US9877019B2 (en) * | 2011-01-03 | 2018-01-23 | Hfi Innovation Inc. | Method of filter-unit based in-loop filtering |
| US20120294353A1 (en) * | 2011-05-16 | 2012-11-22 | Mediatek Inc. | Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components |
| US9807403B2 (en) * | 2011-10-21 | 2017-10-31 | Qualcomm Incorporated | Adaptive loop filtering for chroma components |
| US9380302B2 (en) * | 2012-02-27 | 2016-06-28 | Texas Instruments Incorporated | Sample adaptive offset (SAO) parameter signaling |
| CN105791877B (zh) * | 2016-03-15 | 2019-06-07 | 北京大学 | 视频编解码中自适应环路滤波的方法 |
| WO2017222140A1 (ko) * | 2016-06-24 | 2017-12-28 | 한국과학기술원 | Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치 |
| CN109120937B (zh) * | 2017-06-26 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
| CN116170590A (zh) * | 2017-08-10 | 2023-05-26 | 夏普株式会社 | 图像滤波装置、图像解码装置以及图像编码装置 |
| EP3451670A1 (en) * | 2017-08-28 | 2019-03-06 | Thomson Licensing | Method and apparatus for filtering with mode-aware deep learning |
| CN108184129B (zh) * | 2017-12-11 | 2020-01-10 | 北京大学 | 一种视频编解码方法、装置及用于图像滤波的神经网络 |
| CN108134932B (zh) | 2018-01-11 | 2021-03-30 | 上海交通大学 | 基于卷积神经网络的视频编解码环路内滤波实现方法及系统 |
| US10674151B2 (en) * | 2018-07-30 | 2020-06-02 | Intel Corporation | Adaptive in-loop filtering for video coding |
| US20200213570A1 (en) * | 2019-01-02 | 2020-07-02 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout |
-
2019
- 2019-03-07 CN CN202111050475.8A patent/CN113747179B/zh active Active
- 2019-03-07 WO PCT/CN2019/077372 patent/WO2020177134A1/zh unknown
- 2019-03-07 JP JP2021552228A patent/JP2022522860A/ja active Pending
- 2019-03-07 KR KR1020217030126A patent/KR20210129151A/ko not_active IP Right Cessation
- 2019-03-07 CN CN201980090702.4A patent/CN113396594A/zh active Pending
- 2019-03-07 EP EP19918003.5A patent/EP3910958A4/en not_active Ceased
-
2021
- 2021-08-09 US US17/397,173 patent/US11627342B2/en active Active
-
2023
- 2023-03-09 US US18/180,962 patent/US20230209097A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN113747179B (zh) | 2023-08-08 |
| CN113396594A (zh) | 2021-09-14 |
| EP3910958A1 (en) | 2021-11-17 |
| US20210368211A1 (en) | 2021-11-25 |
| US20230209097A1 (en) | 2023-06-29 |
| EP3910958A4 (en) | 2022-01-26 |
| JP2022522860A (ja) | 2022-04-20 |
| CN113747179A (zh) | 2021-12-03 |
| WO2020177134A1 (zh) | 2020-09-10 |
| US11627342B2 (en) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7350082B2 (ja) | ループフィルタリング方法、装置およびコンピュータ記憶媒体 | |
| JP2022526633A (ja) | 非線形適応ループフィルタにおけるパラメータの時間的予測 | |
| CN109842799B (zh) | 颜色分量的帧内预测方法、装置及计算机设备 | |
| WO2017036370A1 (en) | Method and apparatus of neural network based processing in video coding | |
| CN115767107A (zh) | 视频处理中的非线性自适应环路滤波 | |
| KR20210003965A (ko) | 비디오 코딩 방법 및 장치 | |
| US11627342B2 (en) | Loop filtering implementation method and apparatus, and computer storage medium | |
| WO2021185008A1 (zh) | 编码方法、解码方法、编码器、解码器以及电子设备 | |
| US20220021905A1 (en) | Filtering method and device, encoder and computer storage medium | |
| WO2022116113A1 (zh) | 一种帧内预测方法、装置及解码器和编码器 | |
| AU2018454766A1 (en) | Decoding prediction method and apparatus, and computer storage medium | |
| US20220329875A1 (en) | Deblocking between block boundaries and sub-block boundaries in a video encoder and/or video decoder | |
| WO2021203381A1 (zh) | 一种视频编解码方法、装置以及计算机可读存储介质 | |
| WO2023193253A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2024007116A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023193254A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023197181A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023197179A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023070505A1 (zh) | 帧内预测方法、解码器、编码器及编解码系统 | |
| WO2023197180A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023245544A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
| WO2024016156A1 (zh) | 滤波方法、编码器、解码器、码流以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |