KR20210132708A - 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체 - Google Patents
루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체 Download PDFInfo
- Publication number
- KR20210132708A KR20210132708A KR1020217031499A KR20217031499A KR20210132708A KR 20210132708 A KR20210132708 A KR 20210132708A KR 1020217031499 A KR1020217031499 A KR 1020217031499A KR 20217031499 A KR20217031499 A KR 20217031499A KR 20210132708 A KR20210132708 A KR 20210132708A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- filtered
- loop filtering
- information
- filtering
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 출원의 실시예는 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 개시하고, 상기 방법은, 필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ; 상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것임 - ; 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하여, 상기 필터링될 이미지가 필터링된 후의 적어도 한 개 이미지 요소를 얻는 단계를 포함한다.
Description
본 출원의 실시예는 이미지 처리 기술 분야에 관한 것으로서, 특히 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체(LOOP FILTER IMPLEMENTATION METHOD AND APPARATUS, AND COMPUTER STORAGE MEDIUM)에 관한 것이다.
비디오 코딩 디코딩 시스템에서, 대부분의 비디오 코딩은 블록형 코딩 유닛(Coding Unit, CU)에 기반한 하이브리드 코딩 프레임워크를 채용하였고, 인접한 CU가 상이한 코딩 파라미터를 채용하며, 예를 들어; 상이한 변환 과정, 상이한 양자화 파라미터(Quantization Parameter, QP), 상이한 예측 방식, 상이한 참고 이미지 프레임 등이며, 또한 각 CU가 도입한 오차의 크기 및 그의 분포 특성의 상호 독립, 인접한 CU 경계의 불연속성으로 생성된 블록 효과로 하여, 재구성 이미지의 주관적이고 객관적인 질량에 영향을 주었고, 심지어 후속 코딩 디코딩의 예측 준확성에도 영향을 준다.
이로 인하여, 코딩 디코딩 과정에서, 루프 필터는 재구성 이미지의 주관적이고 객관적인 질량을 향상시키는 것에 사용된다. 기존의 루프 필터는 보통 인위적으로 왜곡된 이미지의 특징을 요약하고, 인위적으로 필터의 구조 및 필터 계수 구성을 설계하며, 예를 들어 디블로킹 필터링, 샘플 적응 오프셋과 적응 루프 필터링 등이 있고, 이러한 인공적인 설계에 의지하는 필터는 최적화된 필터에 대한 피팅은 완벽하지 않고, 적응 능력과 필터링 효과가 비교적 나쁘고, 또한 코딩 엔드는 로컬 통계 정보에 의존하는 필터 관련 파라미터를 코드 스트림에 작성하여 코딩 디코딩 엔드의 일치성을 보장하는 것이 수요되며, 이로 하여 코딩 비트 수를 증가 시킨다.
딥러닝 이론의 급속한 발전으로, 업계에서 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)가 재구성 이미지에 대해 필터링 처리를 수행하여 이미지의 왜곡을 제거하는 것을 제기하여, 기존의 루프 필터와 비교하여 현저한 주관적이고 객관적인 질량의 향상을 획득하였다. 다만, 현재의 CNN 필터는 관련 정보를 종합적으로 이용하지 못하므로 하여, 재구성 이미지의 주관적이고 객관적인 질량 향상이 제한된다.
본 출원의 실시예는 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 제공하고, 블록 할당 정보 및/또는 QP 정보와 같은 코딩 파라미터를 보조 정보로 사용하는 것을 통해 입력한 복수 개의 이미지 요소와 융합 처리를 수행하여, 복수 개 이미지의 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 계산 복잡도를 낮추고, 코딩 속도를 낮추며; 동시에 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 추가적으로 향상시킨다.
본 출원의 실시예의 기술방안은 아래와 같이 구현될 수 있다.
제1 측면에 있어서, 본 출원의 실시예는 루프 필터링 구현 방법을 제공하고, 상기 방법은,
필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ;
상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻음 - ; 및
상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지가 필터링된 후의 적어도 한 개의 이미지 요소를 얻는 단계를 포함하고;
제2 측면에 있어서, 본 출원의 실시예는 루프 필터링 구현 장치를 제공하고, 상기 루프 필터링 구현 장치는, 획득 유닛, 결정 유닛과 필터링 유닛을 포함하고, 여기서,
상기 획득 유닛은, 필터링될 이미지를 획득하도록 구성되고, 여기서, 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함하며;
상기 결정 유닛은, 상기 필터링될 이미지의 융합 정보를 결정하도록 구성되고, 여기서, 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것이고;
상기 필터링 유닛은, 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻도록 구성되었다.
제3 측면에 있어서, 본 출원의 실시예는 루프 필터링 구현 장치를 제공하고, 상기 루프 필터링 구현 장치는, 메모리와 프로세서를 포함하며, 여기서,
상기 메모리는, 상기 프로세서에서 작동되는 컴퓨터 프로그램을 저장하기 위한 것이고;
상기 프로세서는, 상기 컴퓨터 프로그램이 작동될 때, 제1 측면에 따른 루프 필터링 구현 방법의 단계를 실현하기 위한 것이다.
제4 측면에 있어서, 본 출원의 실시예는 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 저장 매체는 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 구현 프로그램은 적어도 하나의 프로세서에 의해 실행될 때, 제1 측면에 따른 루프 필터링 구현 방법의 단계를 실행한다.
본 출원의 실시예는 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체를 제공하고, 상기 방법은 우선 필터링될 이미지를 획득하고, 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고; 다음 상기 필터링될 이미지의 융합 정보를 결정하는 것이며; 여기서, 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것이며; 마지막으로 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻는 것이며; 이로 하여, 블록 할당 정보 및/또는 QP 정보와 같은 코딩 파라미터를 보조 정보로 사용하여 입력한 복수 개의 이미지 요소와 융합 처리하는 것을 통해, 복수 개 이미지의 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 이러한 복수 개의 이미지 요소에 대해 여러번 완전한 네트워크 순방향 계산을 수행하여야 하는 문제를 효과적으로 회피함으로써, 계산 복잡도를 낮추고, 코딩 속도를 낮추며; 또한, 블록 할당 정보 및/또는 QP 정보와 같은 보조 정보를 유입하는 것을 통해, 진일보 필터링을 보조할 수 있고, 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 향상 시킨다.
도 1은 관련 기술 방안에 따라 제공한 기존 코딩 블록도의 구성의 구조 예시도이고;
도 2는 본 출원의 실시예에 따라 제공한 개진형 코딩 블록도의 구성의 구조 예시도이며;
도 3은 본 출원의 실시예에 따라 제공한 루프 필터링 구현 방법의 흐름 예시도이고;
도 4는 본 출원의 실시예에 따라 제공한 블록 할당 매트릭스의 구조 예시도이며;
도 5는 본 출원의 실시예에 따라 제공한 기존 CNN 필터 구성의 구조 예시도이고;
도 6A와 도 6B는 본 출원의 실시예에 따라 제공한 또 다른 기존 CNN 필터 구성의 구조 예시도이며;
도 7은 본 출원의 실시예에 따라 제공한 루프 필터링 프레임의 구성의 구조 예시도이고;
도 8은 본 출원의 실시예에 따라 제공한 또 다른 루프 필터링 프레임의 구성의 구조 예시도이며;
도 9는 본 출원의 실시예에 따라 제공한 루프 필터링 구현 장치의 구성의 구조 예시도이고;
도 10은 본 출원의 실시예에 따라 제공한 루프 필터링 구현 장치의 구체적 하드웨어 구조 예시도이다.
도 2는 본 출원의 실시예에 따라 제공한 개진형 코딩 블록도의 구성의 구조 예시도이며;
도 3은 본 출원의 실시예에 따라 제공한 루프 필터링 구현 방법의 흐름 예시도이고;
도 4는 본 출원의 실시예에 따라 제공한 블록 할당 매트릭스의 구조 예시도이며;
도 5는 본 출원의 실시예에 따라 제공한 기존 CNN 필터 구성의 구조 예시도이고;
도 6A와 도 6B는 본 출원의 실시예에 따라 제공한 또 다른 기존 CNN 필터 구성의 구조 예시도이며;
도 7은 본 출원의 실시예에 따라 제공한 루프 필터링 프레임의 구성의 구조 예시도이고;
도 8은 본 출원의 실시예에 따라 제공한 또 다른 루프 필터링 프레임의 구성의 구조 예시도이며;
도 9는 본 출원의 실시예에 따라 제공한 루프 필터링 구현 장치의 구성의 구조 예시도이고;
도 10은 본 출원의 실시예에 따라 제공한 루프 필터링 구현 장치의 구체적 하드웨어 구조 예시도이다.
본 출원의 실시예의 특징과 기술적 내용을 더욱 상세하게 이해하기 위해, 아래에 첨부 도면을 결합하여 본 출원의 실시예의 구현에 대해 상세히 설명하며, 첨부된 도면은 다만 설명의 참조를 위한 것일 뿐, 본 출원의 실시예를 한정하려는 것은 아니다.
비디오 코딩 디코딩 시스템에서, 코딩될 비디오는 원본 이미지 프레임을 포함하고, 원본 이미지 프레임에서는 원본 이미지를 포함하며, 상기 원본 이미지에 대해, 예를 들어 예측, 변환, 양자화, 재구성 및 필터링 등과 같은 복수 개의 처리를 수행하고, 이러한 처리 과정에서, 처리된 비디오 이미지는 원본 이미지와 비교하면 픽셀 값 오프셋이 이미 발생하여, 시각 장애 또는 환각을 초래할 수 있다. 또한, 대부분의 비디오 코딩 디코딩 시스템에서 채용된 블록 베이스의 CU에 기반하여 하이브리드 코딩 프레임워크에서, 인접한 코딩 블록이 상이한 코딩 파라미터(예를 들어 상이한 변환 과정, 상이한 QP, 상이한 예측 방식, 상이한 참고 이미지 프레임 등)를 채택함으로써, 각 코딩 블록이 도입한 오차의 크기 및 그의 분포 특성의 상호 독립, 인접한 코딩 블록 경계의 불연속성, 블록 효과를 생성한다. 이러한 왜곡은 재구성 이미지의 주관적이고 객관적인 질량에 영향을 주었을 뿐만 아니라, 만약 재구성 이미지를 후속 코딩된 픽셀의 참고 이미지로 사용하면, 심지어 후속 코딩 디코딩의 예측 정확도에도 영향을 주며, 또한 비디오 코드 스트림의 비트수의 크기에도 영향을 준다. 따라서, 비디오 코딩 디코딩 시스템에서, 보편적으로 인루프 필터(In-Loop Filter)를 추가하여 재구성 이미지의 주관적이고 객관적인 질량을 향상시킨다.
도 1을 참조하면, 관련 기술 방안은 기존 코딩 블록도 10의 구성의 구조 예시도를 보여준다. 도 1에 도시된 바와 같이, 상기 기존 코딩 블록도 10은 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 필터링 유닛(104)과 엔트로피 코딩 유닛(105) 등 부재를 포함하고; 여기서, 예측 유닛(103)은 또한 인트라 예측 유닛(1031)과 인터 예측 유닛(1032)을 포함한다. 입력된 원본 이미지의 경우, 예비 할당을 통해 코딩 트리 유닛(Coding Tree Unit, CTU)을 얻을 수 있고, 한 개의 CTU에 대해 계속하여 내용 적응 할당을 수행하여, CU를 얻을 수 있고, CU는 일반적으로 한 개 또는 복수 개의 코딩 블록(Coding Block, Cb)을 포함한다. 코딩 블록에 대해 인트라 예측 유닛(1031)의 인트라 예측 또는 인터 예측 유닛(1032)의 인터 예측을 수행하여, 잔차 정보를 얻을 수 있고; 상기 잔차 정보를 변환 및 양자화 유닛(101)을 통해 상기 코딩 블록에 대해 변환을 수행하는 것은, 잔차 정보를 픽셀 도메인에서 변환 도메인으로 변환, 및 얻은 변환 계수에 대해 양자화를 수행하는 것을 포함하며, 진일보 비트 전송률을 줄이는 데에 사용되고; 예측 모드를 결정한 후, 예측 유닛(103)은 또한 선택된 인트라 예측 데이터 또는 인터 예측 데이터를 엔트로피 코딩 유닛(105)에 제공하도록 구성되며; 또한, 역변환 및 역양자화 유닛(102)은 상기 코딩 블록의 재구축, 픽셀 도메인에서 잔차 블록 재구축에 사용되고, 상기 잔차 블록 재구축은 필터링 유닛(104)을 통해 블록 효과 아티팩트를 제거하고, 다음 상기 재구성된 잔차 블록을 디코딩된 이미지 버퍼 유닛에 추가하여, 재구축된 참고 이미지를 생성하도록 구성되며; 엔트로피 코딩 유닛(105)은 다양한 코딩 파라미터 및 양자화 후의 변환 계수를 코딩하는 것에 사용되도록 구성되고, 예를 들어 엔트로피 코딩 유닛(105)은 헤더 정보 코딩 및 컨텍스트에 기반한 적응 이진 산술 코드(Context-based Adaptive Binary Arithmatic Coding, CABAC) 알고리즘을 채택하여, 결정된 예측 모드를 나타내는 코딩 정보를 코딩하고, 대응되는 코드 스트림을 출력하는 데에 사용될 수 있도록 구성된다.
도 1의 상기 기존 코딩 블록도 10의 경우, 필터링 유닛(104)은 루프 필터, 또는 인루프 필터(In-Loop Filter)로 불리며, 디블로킹 필터(De-Blocking Filter, DBF)(1041), 샘플 적응 오프셋(Sample Adaptive Offset, SAO) 필터(1042) 및 적응 루프 필터(Adaptive Loop Filter, ALF)(1043) 등을 포함한다. 여기서, 디블로킹 필터(1041)는 디블로킹 필터링 구현에 사용되도록 구성되고, 차세대 비디오 코딩 표준 H. 266/ 다기능 비디오 코딩(Versatile Video Coding, VVC)에서, 원본 이미지에서의 모든 코딩 블록 경계에 대해, 우선 경계 양측의 코딩 파라미터에 따라 경계 강도의 판정을 수행하고, 계산하여 얻은 블록 경계 텍스처 값에 따라 디블로킹의 필터링 결정을 수행할지 여부를 판단하고, 최종적으로 경계 강도, 필터링 결정에 따라 코딩 블록 경계 양측의 픽셀 정보에 대해 수정 처리를 수행한다. VVC에서, 디블로킹 필터링을 실행한 후, 교류 계수의 양자화 왜곡을 줄이기 위해, SAO 기술을 도입하고, 즉 샘플 적응 오프셋 필터(1042)이고; 픽셀 도메인에서 시작하여, 피크의 픽셀에 대해 음의 값을 추가하고, 계곡의 픽셀에 양의 값을 추가하여 보상 처리를 수행한다. VVC에서, 디블로킹 필터링과 샘플 적응 오프셋 필터링을 실행한 후, 또한 진일보 적응 루프 필터(1043)를 사용하여 필터링 처리를 수행하고; 적응 루프 필터링에 있어서, 이는 원본 이미지의 픽셀 값과 왜곡된 이미지의 픽셀 값에 따라 평균 제곱 의미 하의 최적의 필터를 계산하여 얻는다. 그러나, 이러한 필터(예를 들어 디블로킹 필터(1041), 샘플 적응 오프셋 필터(1042) 및 적응 루프 필터(1043) 등)는 정밀한 수공 설계, 대량의 판단 결정이 수요될 뿐만 아니라; 또한 코딩 엔드에서 로컬 통계 정보에 의존하는 필터 관련 계수(예를 들어 필터링 계수와 상기 필터의 플래그 값을 선택할지 여부 등)를 코드 스트림에 작성함으로써 코딩 엔드와 디코딩 엔드의 일치성을 보장할 것이 수요되며, 코딩 비트수를 증가하고; 동시에 인공적인 설계의 필터는 실제 최적화 타깃의 복잡한 함수에 대한 적합도가 높지 않으며 필터링 효과를 향상시킬 필요가 있다.
본 출원의 실시예는 루프 필터링 구현 방법을 제공하고, 상기 방법은 개진형 코딩 블록도에서 응용되고; 도 1에서 도시된 바와 같이 기존 코딩 블록도 10과 비교할 때, 주요 구별점은 개진형 루프 필터를 채택하여 관련 기술 방안에서의 디블로킹 필터(1041), 샘플 적응 오프셋 필터(1042) 및 적응 루프 필터(1043) 등을 대체한다. 본 출원의 실시예에서, 상기 개진형 루프 필터는 컨볼루션 뉴럴 네트워크(Convolutional Neural Networks, CNN)필터일 수도 있고, 다른 딥러닝을 통해 구축된 필터일 수도 있으며, 본 출원의 실시예서는 구제적으로 한정하지 않는다.
컨볼루션 뉴럴 네트워크 필터를 예로 들어, 도 2를 참조하면, 본 출원의 실시예에서 제공한 개진형 코딩 블록도 20의 구성의 구조 예시도를 나타낸다. 도 2에 도시된 바와 같이, 기존 코딩블록도 10과 비교하였을 때, 개진형 코딩 블록도 20에서의 필터링 유닛(104)은 컨볼루션 뉴럴 네트워크 필터(201)를 포함한다. 상기 컨볼루션 뉴럴 네트워크 필터(201)는 도 1에서의 디블로킹 필터(1041), 샘플 적응 오프셋 필터(1042) 및 적응 루프 필터(1043)를 전부 대체할 수 있을 뿐만 아니라, 또한 부분적으로 도 1에서의 디블로킹 필터(1041), 샘플 적응 오프셋 필터(1042) 및 적응 루프 필터(1043)에서의 임의의 하나 또는 두 개를 대체할 수 있고, 심지어 도 1에서의 디블로킹 필터(1041), 샘플 적응 오프셋 필터(1042) 및 적응 루프 필터(1043)에서의 하나 또는 복수 개와 결합하여 사용될 수 있다. 더 주의해야 할 것은, 도 1 또는 도 2에서 나타내는 각 하나의 부재의 경우, 예를 들어 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 필터링 유닛(104), 엔트로피 코딩 유닛(105) 또는 컨볼루션 뉴럴 네트워크 필터(201), 이러한 부재는 가상 모듈일 수 있고, 또한 하드웨어 모듈일 수 있다. 또한, 관련 기술 분야의 통상의 기술자들은, 이러한 유닛이 코딩 블록도에 대한 제한을 구성하지 않으며, 코딩 블록도는 도시된 것보다 많거나 적은 부재, 또는 특정 부재의 결합, 또는 상이한 부재의 배치를 포함할 수 있다.
본 출원의 실시예에서, 컨볼루션 뉴럴 네트워크 필터(201)가 필터링 네트워크 훈련을 수행한 후 코딩 엔드 및 디코딩 엔드에 직접 배치될 수 있으므로, 필터 관련 계수를 전송할 필요가 없고; 또한 상기 컨볼루션 뉴럴 네트워크 필터(201)는 블록 할당 정보 및/또는 QP 정보와 같은 보조 정보를 입력된 복수 개 이미지 요소와 융합 처리를 진행할 수 있으므로; 복수 개 이미지 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 계산 복잡도를 낮추고, 코딩 속도를 낮추며; 동시에 진일보 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 향상 시켰다.
설명해야 할 것은, 본 출원의 실시예에서 루프 필터링 구현 방법은 코딩 시스템에 응용될 뿐만 아니라, 또한 디코딩 시스템에 응용될 수도 있다. 일반적으로, 코딩 속도를 줄이고, 동시에 디코딩 시스템이 정확한 디코딩 처리를 수행할 수 있도록 보장하기 위해, 코딩 시스템과 디코딩 시스템은 반드시 동시에 본 출원의 실시예의 루프 필터를 배치해야 한다. 아래에 코딩 시스템에서의 응용을 예로 들어 설명을 진행한다.
도 3을 참조하면, 본 출원의 실시예에서 제공한 루프 필터링 구현 방법의 흐름 예시도를 나타내며, 상기 방법은,
S301：필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ;
S302：상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것임 - ; 및
S303：상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지가 필터링 후의 적어도 한 개 이미지 요소를 얻는 단계를 포함한다.
설명해야 할 것은, 원본 이미지는 CTU로, 또는 CTU 를 CU로 할당할 수 있고; 다시 말해, 본 출원의 실시예에서의 블록 할당 정보는 CTU 할당 정보를 가리킬 수 있고, 또한 CU 할당 정보를 가리킬 수도 있으므로; 이와 같이, 본 출원의 실시예의 루프 필터링 구현 방법은 CU 레벨의 루프 필터링에 응용될 뿐만 아니라, CTU 레벨의 루프 필터링에도 응용될 수 있으며, 본 출원의 실시예에서 구체적으로 한정하지 않는다.
본 출원의 실시예에서, 필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ; 상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것임 - ; 이와 같이, 복수 개 이미지 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 이러한 복수 개의 이미지 요소에 대해 여러번 완전한 네트워크 순방향 계산을 수행할 수요의 문제를 효과적으로 회피함으로써, 계산 복잡도를 낮추고, 코딩 속도를 낮추며; 최종적으로 융합 정보에 기반하여 필터링될 이미지에 대해 루프 필터링 처리를 수행하여, 상기 필터링될 이미지가 필터링된 후의 적어도 하나의 이미지 요소를 얻고, 블록 할당 정보 및/또는 QP 정보와 같은 보조 정보를 융합 정보에 유입함으로써, 진일보 필터링을 보조할 수 있고, 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 향상 시켰다.
일부 실시예에서, 이미지 요소는 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지요소를 포함하고; 여기서, 상기 제1 이미지 요소는 밝기 요소를 표시하고, 상기 제2 이미지 요소는 제1 색도 요소를 표시하며, 상기 제3 이미지 요소는 제2 색도 요소를 표시한다.
설명해야 할 것은, 비디오 이미지에서, 일반적으로 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소를 채택하여 원본 이미지 또는 필터링될 이미지를 나타낸다. 여기서, 밝기 - 색도 요소의 표시 방법 하에, 세 개 이미지 요소는 각각 한 개의 밝기 요소, 한 개의 푸른색 색도(색차) 요소 및 한 개의 빨간색 색도(색차) 요소이고; 구체적으로, 밝기 요소는 통상적으로 부호 Y를 사용하여 표시하고, 푸른색 색도 요소는 통상적으로 부호 Cb를 사용하여 표시하며, 또한 U로 표시할 수도 있고; 빨간색 색도 요소는 통상적으로 부호 Cr을 사용하여 표시하며, 또한 V로 표시할 수도 있다. 본 출원의 실시예에서, 제1 이미지 요소는 밝기 요소 Y일 수 있고, 제2 이미지 요소는 푸른색 색도 요소 U일 수 있으며, 제3 이미지 요소는 빨간색 색도 요소 V일 수 있으며, 다만 본 출원의 실시예는 구체적으로 한정하지 않는다. 여기서, 적어도 한 개 이미지 요소는 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소에서의 한 개 또는 복수 개를 표시하고, 적어도 두 개 이미지 요소는 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소일 수 있고, 또한 제1 이미지 요소와 제2 이미지 요소일 수 있으며, 또 제1 이미지 요소와 제3 이미지 요소, 심지어 제2 이미지 요소와 제3 이미지 요소일 수 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.
차세대 비디오 코딩 표준 VVC에서, 그의 상응되는 테스트 모델은 VVC 테스트 모델(VVC Test Model, VTM)이다. VTM 실시 테스트 시, 현재 표준 테스트 순서는 YUV가 4:2:0 격식을 채택하고, 상기 격식은 코딩될 비디오에서 각 프레임 이미지는 모두 세 개 이미지 요소로 구성되며, 한 개의 밝기 요소(Y로 표시) 및 두 개의 색도 요소(U 및 V로 표시)이다. 코딩될 비디오에서 원본 이미지의 높이가 H, 너비가 W라고 가정하면, 제1 이미지 요소에 대응되는 사이즈 정보는 
이고, 제2 이미지 요소 또는 제3 이미지 요소에 대응되는 사이즈 정보는 모두 
이다. 주의해야 할 것은, 본 출원의 실시예는 YUV가 4:2:0인 격식을 예로 하여 설명을 진행하고, 다만 본 출원의 실시예는 루프 필터링 구현 방법이 다른 샘플링 격식에도 동일하게 적용할 수 있다.
YUV가 4:2:0인 격식을 예로, 제1 이미지 요소와 제2 이미지 요소 또는 제3 이미지 요소의 사이즈 정보가 상이한 것으로 하여, 제1 이미지 요소 및/또는 제2 이미지 요소 및/또는 제3 이미지 요소를 한 번에 개진형 루프 필터에 입력하기 위해, 세 개의 이미지 요소에 대해 샘플링 또는 재구성 처리를 수행하여, 세 개 이미지 요소의 공간 영역 사이즈 정보가 동일하도록 하여야 한다.
일부 실시예에서, 고해상도의 이미지 요소에 대해 픽셀 재배치 처리(다운 샘플링 처리라고도 함)를 수행하여, 세 개 이미지 요소의 공간 영역 사이즈 정보가 동일하도록 한다. 구체적으로, 상기 필터링될 이미지의 적어도 두 개 이미지 요소와 상기 보조 정보의 융합을 수행하기 전, 상기 방법은 또한,
상기 필터링될 이미지의 적어도 두 개 이미지 요소에 있어서, 고해상도 이미지 요소를 선택하는 단계; 및
상기 고해상도의 이미지 요소에 대해 픽셀 재배치 처리를 수행하는 단계를 포함한다.
설명해야 할 것은, 만약 제1 이미지 요소가 밝기 요소, 제2 이미지 요소가 제1 색도 요소, 제3 이미지 요소가 제2 색도 요소이면; 고해상도의 이미지 요소는 제1 이미지 요소이고, 제1 이미지 요소에 대해 픽셀 재배치 처리를 수행할 것이 수요된다. 예시적으로, 2×2 사이즈 크기의 원본 이미지를 예로 들면, 4 개 채널로 전환하여, 즉 2×2×1의 텐서를 1×1×4의 텐서로 배열하여; 원본 이미지의 제1 이미지 요소의 사이즈 정보가 
시, 루프 필터링을 수행하기 전에 픽셀 재배치 처리를 통해 
의 형태로 전환할 수 있고; 제2 이미지 요소 및 제3 이미지 요소의 사이즈 정보가 모두 
이므로 하여, 세 개 이미지 요소의 공간 영역 사이즈 정보는 동일하도록 하고; 후속으로 픽셀 재배치 처리 후의 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소 등 세 개 이미지 요소가 결합되어 
형태로 변환되어 개진형 루프 필터에 입력된다.
일부 실시예에서, 또한 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행하여, 세 개 이미지 요소의 공간 영역 사이즈 정보가 동일하도록 할 수 있다. 구체적으로, 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 상기 보조 정보의 융합을 수행하기 전, 상기 방법은 또한,
상기 필터링될 이미지의 적어도 두 개의 이미지 요소의 경우, 저해상도의 이미지 요소를 선택하는 단계; 및
상기 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행하는 단계를 포함한다.
설명해야 할 것은, 고해상도의 이미지 요소에 대해 사이즈 정보의 픽셀 재배치 처리(즉 하향 조정)를 수행하는 것 이외에, 본 출원의 실시예에서, 또한 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행할 수 있다(즉 상향 조정). 또한, 저해상도의 이미지 요소에 대해, 업샘플링 처리를 수행할 수 있을 뿐만 아니라, 또한 디컨볼루션 처리를 수행할 수 있으며, 심지어 초고해상도 처리 등을 수행할 수도 있으며, 이 세 가지 처리의 효과는 동일하고, 본 출원의 실시예는 구체적으로 한정하지 않는다.
더 설명해야 할 것은, 만약 제1 이미지 요소가 밝기 요소, 제2 이미지 요소가 제1 색도 요소, 제3 이미지 요소가 제2 색도 요소이면; 저해상도의 이미지 요소는 제2 이미지 요소 또는 제3 이미지 요소이고, 제2 이미지 요소 또는 제3 이미지 요소에 대해 업샘플링 처리를 수행할 것이 수요된다. 예시적으로, 원본 이미지의 제2 이미지 요소 및 제3 이미지 요소의 사이즈 정보가 모두 
일 시, 루프 필터링을 수행하기 전에 업샘플링 처리를 통해 
의 형태로 전환할 수 있고; 제1 이미지 요소의 사이즈 정보가 
이므로 하여, 세 개 이미지 요소의 공간 영역 사이즈 정보가 동일하도록 할 수 있고, 또한 업샘플링 처리 후의 제2 이미지 요소와 업샘플링 처리 후의 제3 이미지 요소는 제1 이미지 요소와 동일한 해상도를 유지한다.
일부 실시예에서, 상기 필터링될 이미지를 획득하는 단계는,
코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하여, 생성된 재구성 이미지를 상기 필터링될 이미지로 사용하는 단계; 또는,
코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하여, 재구성 이미지를 생성하고; 상기 재구성 이미지에 대해 기설정된 필터링 처리를 수행하여, 기설정된 필터링 후의 이미지를 상기 필터링될 이미지로 사용하는 단계를 포함한다.
설명해야 할 것은, 개진형 코딩 블록도(20)에 기반하여, 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩을 수행하는 과정에서, 원본 이미지의 경우 비디오 코딩 처리를 수행할 시, CU 할당, 예측, 변환 및 양자화 등 처리를 수행하고, 또한 후속의 코딩될 이미지에 대해 비디오 코딩을 수행하는 데에 사용될 참고 이미지를 얻기 위해, 역변환 및 역양자화, 재구성 및 필터링 등 처리를 수행할 수 있다. 이와 같이, 본 출원의 실시예에서의 필터링될 이미지는, 비디오 코딩 과정에서 재구성 처리 경과 후에 생성된 재구성 이미지일 수 있고, 재구성 이미지에 대해 다른 기설정 필터링 방법을 채택하여(디블록킹 필터링 방법) 기설정 필터링을 수행한 후에 얻은 기설정 필터링 후의 이미지일 수 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.
일부 실시예에서, 상기 필터링될 이미지의 융합 정보를 결정하기 전에, 상기 방법은 또한,
상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계를 포함하고, 상기 보조 정보는 적어도 블록 할당 정보 및/또는 양자화 파라미터 정보를 포함한다.
이해할 수 있는 것은, 보조 정보는 보조 필터링에 사용될 수 있고, 필터링의 질량을 향상시킨다. 본 출원의 실시예에서, 보조 정보는 블록 할당 정보(예를 들어 CU 할당 정보 및/또는 CTU 할당 정보)일 수 있을 뿐만 아니라, 또한 양자화 파라미터 정보일 수 있고, 심지어 모션 벡터(Motion Vector, MV) 정보, 예측 방향 정보 등일 수 있으며; 이러한 정보는 단독으로 보조 정보로 사용될 수 있고, 또한 임의의 조합으로 보조 정보로 사용될 수 있으며, 예를 들어 블록 할당 정보를 단독으로 보조 정보로 사용하거나, 또는 블록 할당 정보 및 양자화 파라미터 정보를 공동으로 보조 정보로 사용하거나, 또는 블록 할당 정보 및 MV 정보를 공동으로 보조 정보로 사용하는 등, 본 출원의 실시예는 구체적으로 한정하지 않는다.
또한 이해할 수 있는 것은, 원본 이미지는 CTU로 할당될 수 있고, 또는 CTU로부터 CU로 할당될 수 있으므로; 따라서, 본 출원의 실시예의 루프 필터링 구현 방법은 CU 레벨의 루프 필터링(이 때의 블록 할당 정보는 CU 할당 정보임)에 응용될 수 있을 뿐만 아니라, 또한 CTU 레벨의 루프 필터링(이 때의 블록 할당 정보는 CTU 할당 정보임)에 응용될 수도 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다. 아래에 CU 할당 정보를 블록 할당 정보로 예를 들어 설명한다.
일부 실시예에서, 상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계는,
코딩될 비디오에서의 원본 이미지에 대해 CU 할당을 수행하여, CU 할당 정보를 얻고, 상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계를 포함한다.
일부 실시예에서, 상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계는,
상기 CU 할당 정보의 경우, CU 경계에 대응되는 각 픽셀 포인트 위치에 제1 값을 채우고, 다른 픽셀 포인트 위치에 제2 값을 채워, 상기 CU 할당 정보와 대응되는 제1 매트릭스를 얻는 단계 - 여기서, 상기 제1 값과 상기 제2 값은 상이함 - ; 및
상기 제1 매트릭스를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계를 포함한다.
설명해야 할 것은, 제1 값은 사전 설정된 수치, 자모 등일 수 있고, 제2 값도 사전 설정된 수치, 자모 등일 수 있으며, 제1 값과 제2 값은 상이하며; 예를 들어 제1 값은 2로 설정할 수 있고, 제2 값은 1로 설정할 수 있으나, 본 출원의 실시예는 구체적으로 한정하지 않는다.
본 출원의 실시예에서, CU 할당 정보는 보조 정보로 사용하여 필터링될 이미지를 필터링 처리를 수행을 보조한다. 다시 말해, 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩을 수행하는 과정에서, CU 할당 정보를 충분히 이용할 수 있고, 필터링될 이미지의 적어도 두 개 이미지 요소와 융합을 수행한 후 필터링을 유도한다.
구체적으로, CU 할당 정보를 한 개의 코딩 유닛 맵(Coding Unit Map, CUmap)으로 전환하고, 또한 2차원 매트릭스로 표시하며, 즉 CUmap 매트릭스, 또는 본 출원의 실시예에서의 제1 매트릭스; 다시 말해, 원본 이미지의 경우, 복수 개의 CU로 할당할 수 있고; 각 CU 경계에 대응되는 각 픽셀 포인트 위치를 제1 값으로 채우는 것을 수행하고, 다른 픽셀 포인트 위치는 제2 값으로 채우는 것을 수행함으로써, 한 장의 CU 할당 정보의 제1 매트릭스를 반영하는 것을 구성할 수 있다. 예시적으로, 도 4를 참조하면, 본 출원의 실시예가 제공한 블록 할당 매트릭스의 구성 예시도를 나타낸다. 도 4에 도시된 바와 같이, 만약 상기 도가 하나의 CTU를 표시하면, 상기 CTU를 9 개 CU로 할당할 수 있고; 제1 값을 2로, 제2 값은 1로 설정한다고 가정하면; 이로 하여, 각 CU 경계에 대응되는 각 픽셀 포인트 위치를 2로 채우는 것을 수행하고, 다른 픽셀 포인트 위치는 1로 채우는 것을 수행하며, 다시 말해, 2를 이용하여 채운 픽셀 포인트 위치는 CU의 경계를 표시함으로써, CU 할당 정보, 즉 필터링될 이미지에 대응되는 보조 정보를 결정할 수 있다.
일부 실시예에서, 상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계는,
코딩될 비디오에서 원본 이미지에 대응되는 양자화 파라미터를 획득하고, 상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계를 포함한다.
일부 실시예에서, 상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계는,
상기 원본 이미지 사이즈와 동일한 제2 매트릭스를 구축하는 단계 - 상기 제2 매트릭스에서의 각 픽셀 포인트 위치는 모두 상기 원본 이미지에 대응되는 양자화 파라미터의 정규화된 값으로 채워짐- ; 및
상기 제2 매트릭스를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계를 포함한다.
설명해야 할 것은, 상이한 양자화 파라미터에 대응되는 필터링될 이미지는, 그의 왜곡의 정도는 같지 않다. 만약 양자화 파라미터 정보를 유입하면, 필터링 네트워크가 훈련 과정에서 임의의 양자화 파라미터에 대해 처리를 수행하는 능력을 적응적으로 가질수 있다.
본 출원의 실시예에서, 또한 양자화 파라미터 정보를 보조 정보로 사용하여 필터링될 이미지를 필터링 처리하는 것을 보조할 수 있다. 다시 말해, 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩을 진행하는 과정에서, 양자화 파라미터 정보를 충분히 이용할 수 있고, 필터링될 이미지의 적어도 두 개 이미지 요소와 융합을 수행한 후 필터링을 유도한다. 여기서, 양자화 파라미터 정보는 정규화 처리를 수행할 수 있고, 양자화 파라미터 정보는 또한 비정규화 처리를 수행할 수도 있으며(예를 들어 분류 처리, 간격 할당 처리 등); 아래에 양자화 파라미터의 정규화 처리를 예로 들어 상세한 설명을 진행한다.
구체적으로, 양자화 파라미터 정보를 하나의 양자화 파라미터 정보를 반영하는 제2 매트릭스로 전환하며; 다시 말해, 원본 이미지를 예로 들면, 하나의 원본 이미지 사이즈와 동일한 매트릭스를 구축하고, 상기 매트릭스에서의 각 픽셀 포인트 위치는 모두 원본 이미지가 대응되는 양자화 파라미터의 정규화된 값으로 채우는 것을 수행하며; 여기서, 양자화 파라미터의 정규화된 값은 
로 표시하며, 즉,
식(1)에서, 
는 원본 이미지에 대응되는 양자화 파라미터값을 표시하고, x는 상기 CU 블록에서의 각 픽셀 포인트 위치의 횡좌표 값을 표시하며, y는 상기 CU 블록 중에서의 각 픽셀 포인트 위치의 종좌표 값을 표시하며; 
는 양자화 파라미터의 최대치를 표시하며, 일반적으로, 
의 값은 51이고, 다만 
은 또한 기타 값일 수 있으며, 예를 들어 29, 31 등, 본 출원의 실시예는 구체적으로 한정하지 않는다.
일부 실시예에서, 개진형 루프 필터는 컨볼루션 뉴럴 네트워크 필터를 포함한다.
설명해야 할 것은, 개진형 루프 필터는 필터링될 이미지에 대해 루프 필터링 처리를 수행하는 것을 구현하기 위해 사용된다. 여기서, 개진형 루프 필터는 컨볼루션 뉴럴 네트워크 필터일 수 있고, 또한 딥러닝으로 구축된 필터일 수도 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다. 여기서, 컨볼루션 뉴럴 네트워크 필터는, CNN 필터로도 불리며, 이는 컨볼루션 계산을 포함하고 또한 깊은 구성의 피드포워드 뉴럴 네트워크를 구비한, 딥러닝의 대표적인 알고리즘 중의 하나이다. CNN 필터의 입력 레이어는 다차원 데이터를 처리할 수 있고, 코딩될 비디오에서 원본 이미지의 세 개 이미지 요소(Y/U/V) 채널을 예로 들수 있다.
도 5를 참조하면, 본 출원의 실시예에서 제공한 기존 CNN 필터(50)의 구조의 구성 예시도를 나타낸다. 도 5에 도시된 바와 같이, 상기 기존 CNN 필터(50)는 이전 세대 비디오 코딩 표준 H. 265/고효율 비디오 코딩(High Efficiency Video Coding, HEVC)의 기초에서 개선되었으며, 이는 2 레이어 컨볼루션 네트워크 구성을 포함하고 있고, 디블로킹 필터 및 샘플 적응 오프셋을 대체할 수 있다. 필터링될 이미지(
으로 표시)를 기존 CNN 필터(50)의 입력 레이어에 입력한 후, 순서대로 제1 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기가 3×3, 64 장의 특징 맵을 포함한다고 가정)와 제2 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기를 5×5, 32 장의 특징 맵을 포함한다고 가정)를 경과한 후, 한 개의 잔차 정보 
를 얻고; 다음 필터링될 이미지 
및 잔차 정보 
를 합산하여, 최종적으로 상기 기존 CNN 필터(50)가 출력한 필터링 후의 이미지(
으로 표시)를 얻는다. 여기서, 상기 컨볼루션 네트워크 구성은 또한 잔차 뉴럴 네트워크로도 불리며, 필터링될 이미지가 대응되는 잔차 정보를 출력하기 위한 것이다. 상기 기존 CNN 필터(50)에서, 각각 필터링될 이미지의 세 개 이미지 요소(Y/U/V)에 대해 독립적인 처리를 수행하지만, 하나의 필터링 네트워크 및 필터링 네트워크이 관련 파라미터를 공유한다.
도 6A와 도 6B를 참조하면, 본 출원의 실시예에서 제공한 또 다른 하나의 기존 CNN 필터(60)의 구성의 구조 예시도를 나타내며; 상기 기존 CNN 필터(60)는 두 개 필터링 네트워크를 사용하였으며, 예를 들어 도 6A에 도시된 필터링 네트워크는 제1 이미지 요소를 출력하기 위한 것이고, 예를 들어 도 6B에 도시된 필터링 네트워크는 제2 이미지 요소 또는 제3 이미지 요소를 출력하기 위한 것이다. 코딩될 비디오에서 원본 이미지의 높이를 H, 너비를 W라고 가정하면, 제1 이미지 요소에 대응되는 사이즈 정보는 
이고, 제1 이미지 요소에 대해 픽셀 재배치 처리를 수행할 수 있으며, 
의 형태로 전환할 수 있고; 제2 이미지 요소 또는 제3 이미지 요소에 대응되는 사이즈 정보가 모두 
이므로, 세 개 이미지 요소를 결합한 후 
의 형태로 변환하여 기존 CNN 필터(60)에 입력한다. 도 6A에 도시된 필터링 네트워크에 기반하여, 입력 레이어 네트워크에서 필터링될 이미지 
(컨볼루션 커널의 크기가 N×N, 채널 수가 6이라고 가정)를 수신한 후, 제1 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기가 L1×L1, 컨볼루션 커널의 수량을 M, 채널 수를 6이라고 가정)와 제2 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기가 L2×L2, 컨볼루션 커널의 수량을 4, 채널 수를 M이라고 가정)을 경과한 후, 하나의 잔차 정보 
(컨볼루션 커널의 크기가 N×N, 채널 수를 4라고 가정)를 얻고; 다음 입력된 필터링될 이미지 
와 잔차 정보 
을 합산하여, 최종적으로 기존 CNN 필터(60)가 출력한 필터링 후의 제1 이미지 요소(
로 표시)를 얻는다. 도 6B에 도시된 필터링 네트워크에 기반하여, 입력 레이어 네트워크에서 필터링될 이미지 
(컨볼루션 커널의 크기가 N×N, 채널 수를 6이라고 가정)를 수신한 후, 제1 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기가 L1×L1, 컨볼루션 커널의 수량을 M, 채널 수를 6이라고 가정)와 제2 레이어 컨볼루션 네트워크 
(컨볼루션 커널의 크기가 L2×L2, 컨볼루션 커널의 수량을 2, 채널 수를 M이라고 가정)를 경과한 후, 하나의 잔차 정보 
(컨볼루션 커널의 크기가 N×N, 채널 수를 2라고 가정)를 얻고; 다음 입력된 필터링될 이미지 
와 잔차 정보 
를 합산하여, 최종적으로 기존 CNN 필터(60)가 출력한 필터링 후의 제2 이미지요소 또는 필터링 후의 제3 이미지 요소(
로 표시)를 얻는다.
도 5에 도시된 기존 CNN 필터(50), 또는 도 6A 및 도 6B에 도시된 기존 CNN 필터(60)의 경우, 상이한 이미지 요소 간의 관계를 고려하지 않음으로써, 각 이미지 요소를 독립적으로 처리하는 것은 합리하지 않으며; 또한, 입력 엔드도 블록 할당 정보, QP 정보 등 코딩 파라미터를 충분히 이용하지 못하였으며, 재구성 이미지의 왜곡은 주로 블록 효과에서 오며, 또한 블록 효과의 경계 정보는 CU 할당 정보에 의해 결정되며; 다시 말해, CNN 필터에서의 필터링 네트워크는 경계 영역에 초점을 맞춰야 하며; 이 외에, 양자화 파라미터 정보를 필터링 네트워크에 유입하면 일반화 능력이 향상에 도움되고, 임의의 질량의 왜곡된 이미지도 필터링을 수행할 수 있다. 따라서, 본 출원의 실시예에서 제공한 루프 필터링 구현 방법은, CNN 필터링 구성을 합리적으로 설정하였을 뿐만 아니라, 동일한 필터링 네트워크에서 동시에 복수 개 이미지 요소를 수신할 수 있으며, 또한 이러한 복수 개 이미지 요소 간의 관계를 충분히 고려하고, 필터링 처리 후 동시에 이러한 이미지 요소의 향상 이미지를 출력할 수 있으며; 또한, 상기 루프 필터링 구현 방법은 블록 할당 정보 및/또는 Qp 정보 등과 같은 코딩 파라미터에 유입하고 보조 정보로 하는 것을 통해 보조 필터링을 수행함으로써, 필터링의 질량을 향상할 수 있다.
일부 실시예에서, 상기 필터링될 이미지의 융합 정보를 결정하는 단계는,
상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합 처리하여, 상기 필터링될 이미지의 융합 정보를 얻는 단계를 포함한다.
설명해야 할 것은, 본 출원의 실시예에서의 융합 정보는, 필터링될 이미지의 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소와 보조 정보를 융합하여, 융합 정보를 얻은 것일 수 있으며; 또한 필터링될 이미지의 제1 이미지요소, 제2 이미지 요소와 보조 정보를 융합하여, 융합 정보를 얻은 것일 수도 있으며; 필터링될 이미지의 제1 이미지 요소, 제3 이미지 요소와 보조 정보를 융합하여, 융합 정보를 얻은 것일 수 있으며; 심지어 필터링될 이미지의 제2 이미지 요소, 제3 이미지 요소와 보조 정보를 융합하여, 융합 정보를 얻은 것일 수 있으며; 본 출원의 실시예는 구체적으로 한정하지 않는다. 더 설명해야 할 것은, “상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합 처리하는 것”은, 먼저 필터링될 이미지의 적어도 두 개 이미지 요소를 융합을 수행하고, 다음 보조 정보에 유입하며; 또는 먼저 각각 필터링될 이미지의 적어도 두 개 이미지 요소에서 각 이미지 요소와 대응되는 보조 정보를 유입 처리를 수행하고, 다음 처리 후의 적어도 두 개 이미지 요소를 융합 수행하며; 다시 말해, 융합 처리의 구체적인 방식의 경우, 본 출원의 실시예에서도 구체적으로 한정하지 않는다.
또한, 본 출원의 실시예에서의 ”상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻음”은, 구체적으로, 필터링될 이미지의 복수 개 이미지 요소(예를 들어 제1 이미지 요소, 제2 이미지 요소 및 제3 이미지 요소)와 보조 정보를 융합하여 필터링 네트워크에 입력한 후, 필터링될 이미지의 필터링 후의 제1 이미지 요소, 또는 필터링 후의 제2 이미지 요소, 또는 필터링 후의 제3 이미지 요소만 출력할 수 있고, 또한 필터링될 이미지의 필터링 후의 제1 이미지 요소와 필터링 후의 제2 이미지 요소, 또는 필터링 후의 제2 이미지 요소와 필터링 후의 제3 이미지 요소, 또는 필터링 후의 제1 이미지 요소와 필터링 후의 제3 이미지 요소를 출력할 수 있으며, 심지어 필터링될 이미지의 필터링 후의 제1 이미지 요소, 필터링 후의 제2 이미지 요소 및 필터링 후의 제3 이미지 요소일 수도 있으며; 본 출원의 실시예에서는 구체적으로 한정하지 않는다.
필터링될 이미지의 세 개 이미지 요소를 동시에 필터링 네트워크에 입력하는 것을 예로 들고, 도 7을 참조하면, 본 출원의 실시예는 루프 필터링 프레임워크(70)의 구성의 구조 예시도를 나타낸다. 도 7에 도시된 바와 같이, 상기 루프 필터링 프레임워크(70)는 필터링될 이미지의 세 개 이미지 요소(각각 Y, U, V로 표시)(701), 보조 정보(702), 입력 융합 유닛(703), 공동 처리 유닛(704), 제1 가산기(705), 제2 가산기(706), 제3 가산기(707)와 필터링 후의 세 개 이미지 요소(각각 Out_Y, Out_U, Out_V로 표시)(708)를 포함할 수 있다. 여기서, 입력 융합 유닛(703), 공동 처리 유닛(704) 및 제1 가산기(705), 제2 가산기(706)와 제3 가산기(707)는 함께 본 출원의 실시예에서의 개진형 루프 필터를 구성하고; 입력 융합 유닛(703)은 필터링될 이미지의 세 개 이미지 요소(701)와 보조 정보(702)를 전부 융합하여, 공동 처리 유닛(704)에 입력하기 위한 것이고; 공동 처리 유닛(704)은 복수 레이어의 컨볼루션 필터링 네트워크를 포함하며, 입력된 정보에 대해 컨볼루션 계산을 수행하기 위한 것이며, 구체적인 컨볼루션 계산 과정과 관련 기술 방안이 유사하므로, 따라서 공동 처리 유닛(704)의 구체적 실행 단계의 경우 더 설명하지 않는다. 공동 처리 유닛(704)을 경과한 후, 각각 Y 이미지 요소의 잔차 정보, U 이미지 요소의 잔차 정보 및 V 이미지 요소의 잔차 정보를 얻을 수 있고; 필터링될 이미지의 세 개 이미지 요소(701)에서의 Y 이미지 요소와 얻은 Y 이미지 요소의 잔차 정보를 함께 제1 가산기(705)에 입력하여, 제1 가산기(705)의 출력이 바로 필터링 후의 Y 이미지 요소(Out_Y로 표시)이며; 필터링될 이미지의 세 개 이미지 요소(701)에서의 U 이미지 요소와 얻은 U 이미지 요소의 잔차 정보를 함께 제2 가산기(706)에 입력하여, 제2 가산기(706)의 출력이 바로 필터링 후의 U 이미지 요소(Out_U로 표시)이고; 필터링될 이미지의 세 개 이미지 요소(701)에서의 V 이미지 요소와 얻은 V 이미지 요소의 잔차 정보를 함께 제3 가산기(707)에 입력하여, 제3 가산기(707)의 출력이 바로 필터링 후의 V 이미지 요소(Out_V로 표시)이다. 여기서, 출력 요소의 경우, 만약 필터링 후의 Y 이미지 요소만 출력이 수요될 때, 루프 필터링 프레임워크(70)는 제2 가산기(706) 및 제3 가산기(707)를 포함하지 않을 수 있고; 만약 필터링 후의 U 이미지 요소만 출력이 수요될 때, 루프 필터링 프레임워크(70)는 제1 가산기(705) 및 제3 가산기(707)를 포함하지 않을 수 있으며; 만약 필터링 후의 Y 이미지 요소 및 필터링 후의 U 이미지 요소의 출력이 수요될 때, 루프 필터링 프레임워크(70)는 제3 가산기(707)를 포함하지 않을 수 있으며; 본 출원의 실시예는 구체적으로 한정하지 않는다.
필터링될 이미지의 두 개 이미지 요소를 동시에 필터링 네트워크에 입력하는 것을 예로 들고, 도 8을 참조하면, 본 출원의 실시예에서 제공한 또 다른 하나의 루프 필터링 프레임워크(80)의 구성의 구조 예시도를 나타낸다. 도 8에 도시된 바와 같이, 루프 필터링 프레임워크(80)는 필터링될 이미지의 두 개 이미지 요소(각각 Y와 U로 표시)(801), 보조 정보(702), 입력 융합 유닛(703), 공동 처리 유닛(704), 제1 가산기(705), 제2 가산기(706) 및 필터링 후의 두 개 이미지 요소(각각 Out_Y와 Out_U로 표시)(802)를 포함한다. 도 7에 도시된 루프 필터링 프레임워크(70)와의 구별은, 상기 루프 필터링 프레임워크(80)는 필터링될 이미지의 두 개 이미지 요소(801)와 보조 정보(702)를 전부 융합하고, 다음 공동 처리 유닛(704)에 입력하며; 공동 처리 유닛(704) 경과 이후, 각각 Y 이미지 요소의 잔차 정보와 U 이미지 요소의 잔차 정보를 얻을 수 있고; 필터링될 이미지의 두 개 이미지 요소(801)에서의 Y 이미지 요소와 얻은 Y 이미지 요소의 잔차 정보를 함께 제1 가산기(705)에 입력하고, 제1 가산기(705)의 출력이 바로 필터링 후의 Y 이미지 요소(Out_Y로 표시)이며; 필터링될 이미지의 두 개 이미지 요소(801)에서의 U 이미지 요소와 얻은 U 이미지 요소의 잔차 정보를 함께 제2 가산기(706)에 입력하고, 제2 가산기(706)의 출력이 바로 필터링 후의 U 이미지 요소(Out_U로 표시)인 것에 있다. 여기서, 출력 요소의 경우, 만약 필터링 후의 Y 이미지 요소의 출력만 수요될 때, 루프 필터링 프레임워크(70)는 제2 가산기(706)를 포함하지 않을 수 있고; 만약 필터링 후의 U 이미지 요소의 출력만 수요될 때, 루프 필터링 프레임워크(70)는 제1 가산기(705)를 포함하지 않을 수 있으며; 본 출원의 실시예는 구체적으로 한정하지 않는다. 주의해야 할 것은, 만약 한 번에 필터링될 이미지의 단일 이미지 요소에 대해 필터링 처리를 수행하는 것만 고려할 때, 복수 개 이미지 요소 간의 융합은 고려하지 않아도 되며, 관련 기술 방안에서와의 기존 CNN 필터의 필터링 처리 방식은 동일하며, 본 출원의 실시예는 더이상 설명하지 않는다.
도 7에 도시된 루프 필터링 프레임워크(70)를 예로 들면, 이는 딥러닝 네트워크(예를 들어, CNN))를 사용하여 루프 필터링을 수행하고, 기존 CNN 필터와의 구별은, 본 출원의 실시예에서의 개진형 루프 필터는 필터링될 이미지의 세 개 이미지 요소를 동시에 필터링 네트워크에 입력할 수 있고, 또한 다른 코딩 관련의 보조 정보(예를 들어 블록 할당 정보, 양자화 파라미터 정보, MV 정보 등 코딩 파라미터)를 유입하였으며, 이러한 모든 정보를 융합한 후 한 번에 필터링 네트워크에 입력하여; 세 개 이미지 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 다른 코딩 관련의 보조 정보를 사용하여 필터링을 보조하여, 필터링의 질량을 향상하였으며; 또한, 세 개 이미지 요소의 경우 동시 처리를 수행하고, 효과적으로 상기 세 개 이미지 요소에 대해 세 차례의 완전한 네트워크 순방향 계산 수행이 수요되는 문제를 회피하였으며, 계산 복잡도를 낮추고, 코딩 속도를 낮춘다. 예를 들어, VTM3.0을 기준으로, 특정된 실험 테스트에서, 관련 기술 방안과 비교하였을 때, 본 출원의 실시예의 루프 필터링 구현 방법이 동일 회복 비디오 질량의 전제 하에, Y 이미지 요소에 대한 6.4%의 비트 전송률 하락, U 이미지 요소에 대한 9.8%의 비트 전송률 하락, 및 V 이미지 요소에 대한 11.6%의 비트 전송률 하락을 동시에 구현할 수 있으므로, 코딩 속도를 낮춘다.
상기 실시예에서 제공한 루프 필터링 구현 방법은, 필터링될 이미지를 획득하는 단계, 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고; 상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것임 - ; 상기 융합 정보가 필터링될 이미지에 대해 루프 필터링 처리를 수행하는 것에 기반하여, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻는 단계; 이와 같이, 블록 할당 정보 및/또는 QP 정보 등과 같은 코딩 파라미터를 보조 정보로 사용하여 입력된 복수 개 이미지 요소와 융합 처리를 수행하여, 복수 개 이미지 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 계산 복잡도를 낮추고, 코딩 속도를 줄였으며; 동시에 진일보 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 향상시켰다.
전술한 실시예와 동일한 발명 구상에 기반하여, 도 9를 참조하면, 본 출원의 실시예에서 제공한 루프 필터링 구현 장치(90)의 구성의 구조 예시도를 나타낸다. 상기 루프 필터링 구현 장치(90)는, 획득 유닛(901), 결정 유닛(902) 및 필터링 유닛(903)을 포함하며, 여기서,
상기 획득 유닛(901)은, 필터링될 이미지를 획득하도록 구성되고, 여기서, 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함하며;
상기 결정 유닛(902)은, 상기 필터링될 이미지의 융합 정보를 결정하도록 구성되며, 여기서, 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻고;
상기 필터링 유닛(903)은, 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻도록 구성된다.
상기 방안에서, 상기 획득 유닛(901)은, 구체적으로 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하고, 생성된 재구성 이미지를 상기 필터링될 이미지로 사용하도록 구성되고; 또는 ,
상기 획득 유닛(901)은, 구체적으로 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하고, 재구성 이미지를 생성하고; 상기 재구성 이미지에 대해 기설정 필터링 처리를 수행하며, 기설정 필터링 후의 이미지를 상기 필터링될 이미지로 사용하도록 구성된다.
상기 방안에서, 상기 결정 유닛(902)은, 또한 상기 필터링될 이미지에 대응되는 보조 정보를 결정하도록 구성되며; 여기서, 상기 보조 정보는 적어도 블록 할당 정보 및/또는 양자화 파라미터 정보를 포함한다.
상기 방안에서, 도 9를 참조하면, 상기 루프 필터링 구현 장치(90)는 또한 할당 유닛(904)을 포함하고, 코딩될 비디오에서의 원본 이미지에 대해 CU 할당을 수행하여, CU 할당 정보를 얻고, 상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하도록 구성된다.
상기 방안에서, 상기 결정 유닛(902)은, 구체적으로 상기 CU 할당 정보의 경우, CU 경계에 대응되는 각 픽셀 포인트 위치에 제1 값을 채우고, 다른 픽셀 포인트 위치에 제2 값을 채워, 상기 CU 할당 정보와 대응되는 제1 매트릭스를 얻도록 구성되고; 여기서, 상기 제1 값과 상기 제2 값은 상이하고; 및 상기 제1 매트릭스를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하도록 구성된다.
상기 방안에서, 상기 획득 유닛(901)은, 또한 코딩될 비디오에서의 원본 이미지에 대응되는 양자화 파라미터를 획득하고, 상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하도록 구성된다.
상기 방안에서, 상기 결정 유닛(902)은, 구체적으로 상기 원본 이미지와 사이즈가 동일한 제2 매트릭스를 구축하도록 구성되고; 여기서, 상기 제2 매트릭스에서 각 픽셀 포인트 위치는 모두 상기 원본 이미지에 대응되는 양자화 파라미터의 정규화된 값으로 채우고; 및 상기 제2 매트릭스를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하도록 구성된다.
상기 방안에서, 도 9를 참조하면, 상기 루프 필터링 구현 장치(90)는 융합 유닛(905)을 더 포함하고, 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합 처리하여, 상기 필터링될 이미지의 융합 정보를 얻도록 구성된다.
상기 방안에서, 도 9를 참조하면, 상기 루프 필터링 구현 장치(90)는 샘플링 유닛(906)을 더 포함하고, 상기 필터링될 이미지의 적어도 두 개 이미지 요소의 경우, 저해상도의 이미지 요소를 선택하고; 및 상기 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행하도록 구성된다.
이해할 수 있는 것은, 본 실시예에서, “유닛”은 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등등 일 수 있으며, 당연히 모듈일 수도 있고, 또한 비모듈식일 수도 있다. 또한, 본 실시예에서의 각 구성 부분은 하나의 처리 유닛 중에 통합될 수 있거나, 각 유닛이 단독적 및 물리적으로 존재할 수도 있으며, 또는 2개 이상의 유닛이 하나의 유닛에 통합될 수 있다. 상기 통합된 유닛은 하드웨어의 형태를 채택하여 구현될 수 있으며, 소프트웨어 기능 모듈의 형태를 채택하여 구현될 수도 있다.
상기 통합된 유닛은 독립된 제품으로서 판매되거나 사용되는 것이 아닌 소프트웨어 기능 모듈의 형태로 구현될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 이러한 이해에 기반하여, 본 실시예의 기술방안은 본질적으로 또는 기존 기술에 기여하는 부분이나 상기 기술방안의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등) 또는 프로세서(processor)로 하여금 본 실시예에서 설명한 방법의 전부 또는 일부 단계를 실행하도록 하는 몇 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.
따라서, 본 실시예는 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 저장 매체는 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 프로그램이 적어도 한 개 프로세서에 의해 작동될 때 전술한 실시예의 상기 방법의 단계를 구현한다.
상기 루프 필터링 구현 장치(90)의 구성 및 컴퓨터 저장 매체에 기반하고, 도 10을 참조하면, 본 출원의 실시예에서 제공한 루프 필터링 구현 장치(90)의 구체 하드웨어 구조의 예시를 나타내며, 네트워크 인터페이스(1001), 메모리(1002) 및 프로세서(1003)를 포함할 수 있으며; 각 컴포넌트는 버스 시스템(1004)을 통해 연결된다. 이해할 수 있는 것은, 버스 시스템(1004)은 이러한 컴포넌트 간의 연결 통신을 구현하기 위한 것이다. 버스 시스템(1004)은 데이터 버스 외에도, 전원 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그러나, 명확한 설명을 위해, 도 10에서 각 다양한 버스는 모두 버스 시스템(1004)으로 표기된다. 여기서, 네트워크 인터페이스(1001)는, 다른 외부 네트워크 요소 사이에서 정보를 송수신하는 과정에서, 신호를 수신 및 송신하기 위한 것이며;
메모리(1002)는, 프로세서(1003) 상에서 작동될 수 있는 컴퓨터 프로그램을 저장하기 위한 것이며;
프로세서(1003)는, 상기 컴퓨터 프로그램이 작동될 경우,
필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ;
상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻음 - ; 및
상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻는 단계를 실행한다.
이해할 수 있는 것은, 본 발명의 실시예의 메모리(1002)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 또는 휘발성 메모리 및 비휘발성 메모리 모두를 포함할 수 있다. 여기서, 비 휘발성 메모리는 판독 전용 메모리(read-only memory, ROM), 프로그래머블 판독 전용 메모리(programmable rom, PROM), 소거 가능 프로그래머블 판독 전용 메모리(erasable PROM, EPROM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(electrically EPROM, EEPROM) 또는 플래시 메모리일 수 있다. 휘발성 메모리는 외부 쾌속 캐시 역할을 하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적인 설명을 통해, 많은 형태의 RAM이 사용 가능하며, 예를 들어, 정적 랜덤 액세스 메모리(Static RAM, SRAM), 동적 랜덤 액세스 메모리(Dynamic RAM, DRAM), 동기식 동적 랜덤 액세스 메모리(Synchronous DRAM, SDRAM), 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(Double Data Rate SDRAM, DDRSDRAM), 향상된 동기식 동적 랜덤 액세스 메모리(Enhanced SDRAM, ESDRAM), 동기식 연결 동적 랜덤 액세스 메모리(Synchlink DRAM, SLDRAM) 및 직접 메모리 버스 랜덤 액세스 메모리(Direct Rambus RAM, DRRAM)이다. 본 명세서에서 설명한 시스템 및 방법의 메모리(1002)는 이러한 메모리 및 다른 임의의 적합한 타입의 메모리를 포함하지만 이에 한정되지 않는다.
프로세서(1003)는 신호 처리 능력을 구비하는 집적 회로 칩일 수 있다. 구현 과정에서, 상기 방법의 각 단계는 프로세서(1003)에서의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령어에 의해 완료될 수 있다. 상기 프로세서(1003)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated CirCUit, ASIC), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 장치, 분리형 게이트 또는 트랜지스터 논리 장치, 분리형 하드웨어 컴포넌트일 수 있다. 본 출원의 실시예에서 개시된 각 방법, 단계 및 논리 블록도는 구현되거나 실행될 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수도 있다. 본 출원의 실시예를 결합하여 개시된 방법의 단계는, 하드웨어 디코딩 프로세서로 직접 반영되어 실행 및 완료될 수 있거나, 디코딩 프로세서에서의 하드웨어 및 소프트웨어 모듈의 조합에 의해 실행 및 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등 본 기술 분야에서 널리 알려진 저장 매체에 위치할 수 있다. 상기 저장 매체는 메모리(1002)에 위치하고, 프로세서(1003)는 메모리(1002) 에서의 정보를 판독한 후 하드웨어와 결합하여 상기 방법의 단계들을 마무리한다.
이해할 수 있는 것은, 본 명세서에서 설명된 이러한 실시예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 대해서, 처리 유닛은 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated CirCUits, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(DSP Device, DSPD), 프로그래머블 논리 기기(Programmable Logic Device, PLD), 현장 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA), 범용 프로세서, 제어기, 마이크로 제어기, 마이크로 프로세서, 본 출원에서 설명된 기능을 수행하기 위한 다른 전자 유닛 또는 조합 중에서 구현될 수 있다.
소프트웨어 구현의 경우, 본 명세서에서 설명된 기능을 실행하는 모듈(예를 들어 과정, 함수 등)을 통해 본 명세서에서 설명된 기술을 구현할 수 있다. 소프트웨어 코드는 메모리에 저장되고 프로세서를 통해 수행될 수 있다. 메모리는 프로세서에서 또는 프로세서 외부에서 구현될 수 있다.
선택 가능하게, 다른 실시예로서, 프로세서(1003)는 상기 컴퓨터 프로그램이 작동될 경우, 전술한 실시예의 각 방법의 단계를 실행한다.
설명해야 할 것은, 본 출원의 실시예에 기재된 기술방안 사이는, 충돌되지 않는 한, 임의로 조합할 수 있다.
이상의 설명은 다만 본 발명의 구체적인 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않으며, 본 발명이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호범위는 청구범위의 보호범위를 기준으로 해야 한다.
본 출원의 실시예에서, 우선 필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것임 - ; 다음 상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 대응되는 보조 정보를 융합하여 얻은 것임 - ; 및 마지막으로 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하여, 상기 필터링될 이미지의 필터링 후의 적어도 한 개 이미지 요소를 얻는 단계를 포함하며; 이로 하여, 블록 할당 정보 및/또는 QP 정보 등과 같은 코딩 파라미터를 보조 정보로 사용하는 것을 통해 입력된 복수 개 이미지 요소와 융합 처리를 수행하여, 복수 개 이미지 요소 간의 관계를 충분히 이용하였을 뿐만 아니라, 또한 이러한 복수 개의 이미지 요소에 대해 여러번 완전한 네트워크 순방향 계산을 수행할 수요의 문제를 효과적으로 회피함으로써, 계산 복잡도를 낮추고, 코딩 속도를 낮추며; 또한, 블록 할당 정보 및/또는 QP 정보와 같은 보조 정보를 유입하는 것을 통함으로써, 진일보 필터링을 보조할 수 있고, 코딩 디코딩 과정에서 비디오 재구성 이미지의 주관적이고 객관적인 질량을 향상 시켰다.
Claims (20)
- 루프 필터링 구현 방법으로서,
필터링될 이미지를 획득하는 단계 - 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함함 - ;
상기 필터링될 이미지의 융합 정보를 결정하는 단계 - 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 상기 필터링될 이미지에 대응되는 보조 정보를 융합하여 얻음 - ; 및
상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하고, 상기 필터링될 이미지가 필터링된 후의 적어도 한 개의 이미지 요소를 얻는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제1항에 있어서,
상기 필터링될 이미지를 획득하는 단계는,
코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하여, 생성된 재구성 이미지를 상기 필터링될 이미지로 사용하는 단계; 또는,
코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하여, 재구성 이미지를 생성하고; 상기 재구성 이미지에 대해 기설정된 필터링 처리를 수행하여, 기설정된 필터링 후의 이미지를 상기 필터링될 이미지로 사용하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제1항에 있어서,
상기 필터링될 이미지의 융합 정보를 결정하기 전, 상기 방법은 또한,
상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계 - 상기 보조 정보는 적어도 블록 할당 정보 및 양자화 파라미터 정보 중 적어도 하나를 포함함 - 를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제3항에 있어서,
상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계는,
코딩될 비디오에서의 원본 이미지에 대해 코딩 유닛(CU) 할당을 수행하여, CU 할당 정보를 얻고, 상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제4항에 있어서,
상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계는,
상기 CU 할당 정보에 있어서, CU 경계에 대응되는 각 픽셀 포인트 위치에 제1 값을 채우고, 다른 픽셀 포인트 위치에 제2 값을 채워, 상기 CU 할당 정보와 대응되는 제1 매트릭스를 얻는 단계 - 상기 제1 값과 상기 제2 값은 상이함 - ; 및
상기 제1 매트릭스를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제3항 내지 제5항 중 어느 한 항에 있어서,
상기 필터링될 이미지에 대응되는 보조 정보를 결정하는 단계는,
코딩될 비디오에서 원본 이미지에 대응되는 양자화 파라미터를 획득하고, 상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제6항에 있어서,
상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계는,
상기 원본 이미지 사이즈와 동일한 제2 매트릭스를 구축하는 단계 - 상기 제2 매트릭스에서의 각 픽셀 포인트 위치는 모두 상기 원본 이미지에 대응되는 양자화 파라미터의 정규화된 값으로 채워짐- ; 및
상기 제2 매트릭스를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 필터링될 이미지의 융합 정보를 결정하는 단계는,
상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 상기 필터링될 이미지에 대응되는 보조 정보를 융합 처리하여, 상기 필터링될 이미지의 융합 정보를 얻는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 필터링될 이미지의 융합 정보를 결정하기 전에, 상기 방법은 또한,
상기 필터링될 이미지의 적어도 두 개 이미지 요소에 있어서, 저해상도의 이미지 요소를 선택하는 단계; 및
상기 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행하는 단계를 포함하는 것을 특징으로 하는
루프 필터링 구현 방법. - 루프 필터링 구현 장치로서,
상기 루프 필터링 구현 장치는, 획득 유닛, 결정 유닛 및 필터링 유닛을 포함하며,
상기 획득 유닛은, 필터링될 이미지를 획득하도록 구성되고, 상기 필터링될 이미지는 코딩될 비디오에서의 원본 이미지가 비디오 코딩 과정에서 생성한 것이고, 상기 코딩될 비디오는 원본 이미지 프레임을 포함하고, 상기 원본 이미지 프레임은 상기 원본 이미지를 포함하며;
상기 결정 유닛은, 상기 필터링될 이미지의 융합 정보를 결정하도록 구성되고, 상기 융합 정보는 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 상기 필터링될 이미지에 대응되는 보조 정보를 융합하여 얻은 것이고;
상기 필터링 유닛은, 상기 융합 정보에 기반하여 상기 필터링될 이미지에 대해 루프 필터링 처리를 수행하여, 상기 필터링될 이미지의 필터링된 후의 적어도 한 개 이미지 요소를 얻도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제10항에 있어서,
상기 획득 유닛은, 구체적으로 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하고, 생성된 재구성 이미지를 상기 필터링될 이미지로 사용하도록 구성되고; 또는,
상기 획득 유닛은, 구체적으로 코딩될 비디오에서의 원본 이미지에 대해 비디오 코딩 처리를 수행하여, 재구성 이미지를 생성하고; 상기 재구성 이미지에 대해 기설정 필터링 처리를 수행하며, 기설정 필터링 후의 이미지를 상기 필터링될 이미지로 사용하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제10항에 있어서,
상기 결정 유닛은 또한, 상기 필터링될 이미지에 대응되는 보조 정보를 결정하도록 구성되며, 상기 보조 정보는 적어도 블록 할당 정보 및 양자화 파라미터 정보 중 적어도 하나를 포함하는 것을 특징으로 하는
루프 필터링 구현 장치. - 제12항에 있어서,
상기 루프 필터링 구현 장치는 또한 할당 유닛을 포함하고, 상기 할당 유닛은 코딩될 비디오에서의 원본 이미지에 대해 CU 할당을 수행하여, CU 할당 정보를 얻고, 상기 CU 할당 정보를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제13항에 있어서,
상기 결정 유닛은, 구체적으로 상기 CU 할당 정보에 있어서, CU 경계에 대응되는 각 픽셀 포인트 위치에 제1 값을 채우고, 다른 픽셀 포인트 위치에 제2 값을 채워, 상기 CU 할당 정보와 대응되는 제1 매트릭스를 얻도록 구성되고, 상기 제1 값과 상기 제2 값은 상이하고; 및 상기 제1 매트릭스를 상기 필터링될 이미지에 대응되는 블록 할당 정보로 사용하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제12항 내지 제14항 중 어느 한 항에 있어서,
상기 획득 유닛은 또한, 코딩될 비디오에서의 원본 이미지에 대응되는 양자화 파라미터를 획득하고, 상기 양자화 파라미터를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제15항에 있어서,
상기 결정 유닛은, 구체적으로 상기 원본 이미지와 사이즈가 동일한 제2 매트릭스를 구축하도록 구성되고, 상기 제2 매트릭스에서 각 픽셀 포인트 위치는 모두 상기 원본 이미지에 대응되는 양자화 파라미터의 정규화된 값으로 채우고; 및 상기 제2 매트릭스를 상기 필터링될 이미지에 대응되는 양자화 파라미터 정보로 사용하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제10항 내지 제16항 중 어느 한 항에 있어서,
상기 루프 필터링 구현 장치는 융합 유닛을 더 포함하고, 상기 융합 유닛은 상기 필터링될 이미지의 적어도 두 개 이미지 요소 및 상기 필터링될 이미지에 대응되는 보조 정보를 융합 처리하여, 상기 필터링될 이미지의 융합 정보를 얻도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 제10항 내지 제17항 중 어느 한 항에 있어서,
상기 루프 필터링 구현 장치는 또한 샘플링 유닛을 더 포함하고, 상기 샘플링 유닛은 상기 필터링될 이미지의 적어도 두 개 이미지 요소에 있어서, 저해상도의 이미지 요소를 선택하고; 및 상기 저해상도의 이미지 요소에 대해 업샘플링 처리를 수행하도록 구성된 것을 특징으로 하는
루프 필터링 구현 장치. - 루프 필터링 구현 장치로서,
상기 루프 필터링 구현 장치는 메모리 및 프로세서를 포함하고,
상기 메모리는 상기 프로세서에서 작동되는 컴퓨터 프로그램을 저장하기 위한 것이고;
상기 프로세서는 상기 컴퓨터 프로그램이 작동될 경우, 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계를 실행하기 위한 것임을 특징으로 하는
루프 필터링 구현 장치. - 컴퓨터 저장 매체로서,
상기 컴퓨터 저장 매체는 루프 필터링 구현 프로그램을 저장하고, 상기 루프 필터링 구현 프로그램은 적어도 한 개의 프로세서에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법의 단계를 구현하기 위한 것임을 특징으로 하는
컴퓨터 저장매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/077371 WO2020177133A1 (zh) | 2019-03-07 | 2019-03-07 | 环路滤波实现方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210132708A true KR20210132708A (ko) | 2021-11-04 |
Family
ID=72337662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031499A KR20210132708A (ko) | 2019-03-07 | 2019-03-07 | 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210409783A1 (ko) |
| EP (1) | EP3930323A4 (ko) |
| JP (1) | JP7350082B2 (ko) |
| KR (1) | KR20210132708A (ko) |
| CN (2) | CN113596482B (ko) |
| WO (1) | WO2020177133A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220405979A1 (en) * | 2021-06-16 | 2022-12-22 | Tencent America LLC | Content-adaptive online training method and apparatus for deblocking in block-wise image compression |
| CN113497941A (zh) * | 2021-06-30 | 2021-10-12 | 浙江大华技术股份有限公司 | 图像滤波方法、编码方法及相关设备 |
| WO2023274405A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Super resolution position and network structure |
| CN115883842A (zh) * | 2021-09-28 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 滤波及编解码方法、装置、计算机可读介质及电子设备 |
| CN115883851A (zh) * | 2021-09-28 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 滤波及编解码方法、装置、计算机可读介质及电子设备 |
| WO2023059235A1 (en) * | 2021-10-08 | 2023-04-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Combining deblock filtering and another filtering for video encoding and/or decoding |
| CN113709504B (zh) * | 2021-10-27 | 2022-02-15 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及可读存储介质 |
| WO2023143584A1 (en) * | 2022-01-29 | 2023-08-03 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100442835B1 (ko) * | 2002-08-13 | 2004-08-02 | 삼성전자주식회사 | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 |
| CN1816149A (zh) * | 2005-02-06 | 2006-08-09 | 腾讯科技（深圳）有限公司 | 去除视频图像中块效应的滤波方法及环路滤波器 |
| US20100329361A1 (en) * | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
| US8798171B2 (en) * | 2010-06-28 | 2014-08-05 | Richwave Technology Corp. | Video transmission by decoupling color components |
| EP2661879B1 (en) * | 2011-01-03 | 2019-07-10 | HFI Innovation Inc. | Method of filter-unit based in-loop filtering |
| CN102857746B (zh) * | 2011-06-28 | 2017-03-29 | 中兴通讯股份有限公司 | 环路滤波编解码方法及装置 |
| CN103220529B (zh) * | 2013-04-15 | 2016-02-24 | 北京大学 | 一种视频编解码环路滤波的实现方法 |
| CN104735450B (zh) * | 2015-02-26 | 2019-06-07 | 北京大学 | 一种在视频编解码中进行自适应环路滤波的方法及装置 |
| WO2017222140A1 (ko) * | 2016-06-24 | 2017-12-28 | 한국과학기술원 | Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치 |
| CN109120937B (zh) * | 2017-06-26 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、解码方法、装置及电子设备 |
| CN111373751B (zh) | 2017-08-10 | 2023-02-28 | 夏普株式会社 | 图像滤波装置、图像解码装置以及图像编码装置 |
| EP3451670A1 (en) | 2017-08-28 | 2019-03-06 | Thomson Licensing | Method and apparatus for filtering with mode-aware deep learning |
| CN108184129B (zh) * | 2017-12-11 | 2020-01-10 | 北京大学 | 一种视频编解码方法、装置及用于图像滤波的神经网络 |
-
2019
- 2019-03-07 EP EP19917600.9A patent/EP3930323A4/en not_active Ceased
- 2019-03-07 JP JP2021552876A patent/JP7350082B2/ja active Active
- 2019-03-07 WO PCT/CN2019/077371 patent/WO2020177133A1/zh unknown
- 2019-03-07 CN CN202110832617.XA patent/CN113596482B/zh active Active
- 2019-03-07 KR KR1020217031499A patent/KR20210132708A/ko active Search and Examination
- 2019-03-07 CN CN201980075008.5A patent/CN113039792A/zh active Pending
-
2021
- 2021-09-07 US US17/468,477 patent/US20210409783A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3930323A4 (en) | 2022-03-30 |
| WO2020177133A1 (zh) | 2020-09-10 |
| US20210409783A1 (en) | 2021-12-30 |
| CN113596482B (zh) | 2023-08-08 |
| JP2022528604A (ja) | 2022-06-15 |
| EP3930323A1 (en) | 2021-12-29 |
| CN113039792A (zh) | 2021-06-25 |
| CN113596482A (zh) | 2021-11-02 |
| JP7350082B2 (ja) | 2023-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210132708A (ko) | 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체 | |
| CN105474639B (zh) | 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序 | |
| US10306246B2 (en) | Method and apparatus of loop filters for efficient hardware implementation | |
| CN109842799B (zh) | 颜色分量的帧内预测方法、装置及计算机设备 | |
| US20160241881A1 (en) | Method and Apparatus of Loop Filters for Efficient Hardware Implementation | |
| CN113747179B (zh) | 环路滤波实现方法、装置及计算机存储介质 | |
| CN103947208A (zh) | 减少解块滤波器的方法及装置 | |
| EP4094442A1 (en) | Learned downsampling based cnn filter for image and video coding using learned downsampling feature | |
| CN112997500A (zh) | 对基于区域的自适应环路滤波器的改进 | |
| EP4094443A1 (en) | Global skip connection based cnn filter for image and video coding | |
| JP7481332B2 (ja) | デコードのための予測方法及びその装置、並びにコンピュータ記憶媒体 | |
| WO2020192020A1 (zh) | 滤波方法、装置、编码器以及计算机存储介质 | |
| US8503537B2 (en) | System, method and computer readable medium for decoding block wise coded video | |
| WO2020258052A1 (zh) | 图像分量预测方法、装置及计算机存储介质 | |
| CN110249630B (zh) | 去块效应滤波装置、方法和存储介质 | |
| CN107667529B (zh) | 用于有效地对数据进行嵌入式压缩的方法、装置和计算机可读记录介质 | |
| JP7448568B2 (ja) | 画像成分の予測方法、装置およびコンピュータ記憶媒体 | |
| EP4124036A1 (en) | Video coding/decoding method, apparatus, and device | |
| WO2023193254A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| WO2023197189A1 (zh) | 编解码方法、装置、编码设备、解码设备以及存储介质 | |
| WO2024007165A1 (zh) | 编解码方法、装置、编码设备、解码设备以及存储介质 | |
| WO2023245544A1 (zh) | 编解码方法、码流、编码器、解码器以及存储介质 | |
| KR101720216B1 (ko) | 루프 내 필터의 필터링 방법 및 루프 내 필터의 필터링 방법을 수행하는 장치 | |
| CN115769576A (zh) | 通过后滤波的神经图像压缩中的分块内容自适应在线训练 | |
| CN115398893A (zh) | 用于视频滤波的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |