KR20210139342A

KR20210139342A - 필터링 방법, 장치, 인코더 및 컴퓨터 저장 매체

Info

Publication number: KR20210139342A
Application number: KR1020217032825A
Authority: KR
Inventors: 옌주오 마; 슈아이 완; 준옌 훠; 웨이 장; 밍쯔 왕
Original assignee: 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date: 2019-03-24
Filing date: 2019-09-05
Publication date: 2021-11-22
Also published as: EP3941057A4; CN113574884A; EP3941057A1; US20220021905A1; JP2022526107A; WO2020192020A1

Abstract

본 출원의 실시예가 필터링 방법, 장치, 인코더 및 컴퓨터 저장매체를 공개하는 바, 해당 방법에는 필터링하고자 하는 픽셀 정보를 취득하고, 적어도 한 가지 사이드 정보를 취득하며, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하는 것이 포함된다. 본 출원의 실시예는 또한 필터링 장치, 인코더 및 컴퓨터 저장 매체를 제공한다.

Description

필터링 방법, 장치, 인코더 및 컴퓨터 저장 매체

본 출원의 실시예는 비디오 픽처 처리 기술 분야에 관한 것으로, 특히 필터링 방법, 장치, 인코더 및 컴퓨터 저장 매체에 관한 것이다.

비디오 인코딩/디코딩 시스템에서, 대다수의 비디오 인코딩이 사용하는 것은 블록형 인코딩 유닛（Coding Unit，CU）을 기반으로 한 콤비네이션 인코딩 프레임이며, 인접된 CU가 다른 인코딩 파라미터, 예를 들면, 다른 변환 과정, 다른 양자화 파라미터（QP，Quantization Parameter）, 다른 예측 방식, 다른 참조 픽처 프레임 등을 사용하고, 또한 각 CU가 도입한 오차 크기 및 이의 분포 특성의 상호 독립하고, 인접된 CU 경계의 불연속성으로 인해 블록 효과를 일으키기 때문에, 재구성 픽처의 주객관 품질에 영향을 미치고 심지어 후속 인코딩/디코딩의 예측 정확성에 영향을 미친다.

이렇게 하면, 인코딩/디코딩 과정에서, 사전 처리 필터가 오리지널 픽처에 대하여 사전 처리하고, 비디오 해상도를 낮추며, 인코딩이 표시한 비디오 해상도가 오리지널 비디오의 해상도보다 낮아야 하기 때문에, 이렇게 하면, 더 적은 비트를 사용하고 표시하여 전체의 인코딩 효율을 향상시킬 수 있으며; 후 처리 필터가 인루프 필터링된 비디오에 대하여 처리하고, 비디오를 출력하여 비디오 해상도를 향상시키며, 사전 처리 필터와 후 처리 필터에 있어서, 현재 신경망을 기반으로 한 필터가 다수 개의 기본 유닛으로 형성되고, 신경망의 입력이 단일 입력 또는 다중 입력, 즉 입력할 때 단일 픽처 컴포넌트 또는 다중 픽처 컴포넌트이며, 즉 현재의 합성곱 신경망 복잡성이 높고 또한 현재의 합성곱 신경망（CNN，Convolutional Neural Network） 필터가 관련된 정보를 아직 충분히 이용하지 않기 때문에 재구성 픽처 품질을 향상시키는 것이 제한하게 된다.

본 출원의 실시예가 필터링 방법, 장치, 인코더 및 컴퓨터 저장 매체를 제공하는 바, 신경망을 기반으로 한 필터링 방법의 복잡성을 낮추고, 제구성 픽처의 픽처 품질을 향상시키는 데 유리하다.

본 출원의 실시예의 기술 방안은 다음과 같이 구현될 수 있다.

제1 방면으로, 본 출원의 실시예가 필터링 방법을 제공하는 바, 상기 방법에는,

필터링하고자 하는 픽셀 정보를 취득하며;

적어도 한 가지 사이드 정보를 취득하며;

상기 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 상기 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하는 것이 포함된다.

제2 방면으로, 본 출원의 실시예가 필터링 장치를 제공하는 바, 상기 필터링 장치에는

필터링하고자 하는 픽셀 정보를 취득하도록 구성되는 제1 취득 모듈;

적어도 한 가지 사이드 정보를 취득하도록 구성되는 제2 취득 모듈;

상기 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 상기 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하도록 구성되는 결정 모듈이 포함된다.

제3 방면으로, 본 출원의 실시예가 인코더를 제공하는 바, 상기 인코더에는,

프로세서와 상기 프로세서가 실행가능한 명령을 저장하는 저장매체가 포함되며, 상기 저장매체는 통신 버스를 통하여 상기 프로세서에 의존하여 조작을 실행하고, 상기 명령은 상기 프로세서에 의하여 실행될 때, 상기 하나 또는 다수 개의 실시예의 상기 필터링 방법을 실행한다.

제4 방면으로, 본 출원의 실시예가 컴퓨터 저장매체를 제공하는 바, 실행가능한 명령을 저장하고, 상기 실행가능한 명령은 하나 또는 다수 개의 프로세서에 의하여 실행될 때, 상기 프로세서가 상기 하나 또는 다수 개의 실시예의 상기 필터링 방법을 실행한다.

본 출원의 실시예가 필터링 방법, 장치, 인코더 및 컴퓨터 저장 매체를 제공하는 바, 먼저, 필터링 장치가 필터링하고자 하는 픽셀 정보를 취득하고, 적어도 한 가지 사이드 정보를 취득하며, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하며; 다시 말하면, 본 출원의 실시예에서, 필터링하고자 하는 픽셀 정보 중 적어도 두 가지 컴포넌트 및 적어도 한 가지 사이드 정보을 취득하고 이를 신경망을 기반으로 한 필터에 입력하고 처리하며, 필터링하는 과정에서, 적어도 한 가지 컴포넌트의 사이드 정보를 융합하여 필터링된 후의 픽셀 정보를 취득하며, 이렇게 하면, 여러가지 컴포넌트 간의 관계를 이용할 뿐 아니라, 또한 적어도 두 가지 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 나아가 컴퓨팅 복잡성을 낮추고 인코딩 비트 레이트를 절약하고, 인코딩/디코딩 과정 중 사전 처리 필터링된 후 취득된 픽처와 후 처리 필터링된 후 취득된 픽처의 품질을 향상시켜 재구성 픽처의 품질을 향상시킨다.

도1은 전통 인코딩 블럭도의 구조 도면이다.
도2는 전통 디코딩 블럭도의 구조 도면이다.
도3은 본 출원의 실시예가 제공하는 선택가능한 필터링 방법의 흐름 도면이다.
도4는 본 출원의 실시예가 제공하는 블록 구분 매트릭스의 구조 도면이다.
도5는 본 출원의 실시예가 제공하는 전통 CNN 필터의 구조 도면이다.
도6a는 본 출원의 실시예가 제공하는 다른 일 전통 CNN 필터의 구조 도면이다.
도6b는 본 출원의 실시예가 제공하는 또 다른 일 전통 CNN 필터의 구성 구조 도면이다.
도7은 본 출원의 실시예가 제공하는 선택가능한 필터링 프레임의 구조 도면이다.
도8은 본 출원의 실시예가 제공하는 다른 일 선택가능한 필터링 프레임의 구조 도면이다.
도9는 본 출원의 실시예가 제공하는 또 다른 일 선택가능한 필터링 프레임의 구조 도면이다.
도10은 본 출원의 실시예가 제공하는 선택가능한 필터링 장치의 구조 도면이다.
도11은 본 출원의 실시예가 제공하는 선택능한 인코더의 구조 도면이다.

본 출원의 실시예의 특점과 기술 내용을 더 자세히 알아보기 위하여 아래는 도면을 참조하여 본 출원의 실시예의 구현에 대하여 상세하게 설명하도록 하여, 상기 첨부된 도면은 단지 참조 설명을 위한 것일 뿐, 본 출원의 실시예에 대하여 제한하는 것이 아니다.

비디오 인코딩/디코딩 시스템에서, 인코딩하고자 하는 비디오에 오리지널 픽처 프레임이 포함되고, 오리지널 픽처 프레임에 오리지널 픽처가 포함되어, 해당 오리지널 픽처에 대하여 여러가지 처리, 예를 들면, 예측, 변환, 양자화, 재구성 및 필터링 등을 진행하며, 이러한 처리 과정에서, 이미 처리된 비디오 픽처는 오리지널 픽처에 상대되면 픽셀 값의 오프셋이 발생하므르 인해 시각장애 또는 가상을 초래할 수 있다. 그리고, 대다수의 비디오 인코딩/디코딩 시스템이 사용하는 블록형 CU를 기반으로 한 콤비네이션 인코딩 프레임 하에서, 인접된 인코딩 블록이 다른 인코딩 파라미터(예를 들면, 다른 변환 과정, 다른 QP, 다른 예측 방식, 다른 참조 픽처 프레임 등)를 사용하고, 각 인코딩 블록이 도입한 오차 크기 및 이의 분포 특성의 상호 독립하고, 인접된 인코딩 블록 경계의 불연속성으로 인해 블록 효과를 일으킨다. 이러한 손실은 재구성 픽처의 주객관 품질에 영향을 미치고, 만일 재구성 픽처 블록이 후속 인코딩 픽셀의 참조 픽처로 하면, 심지어 후속 인코딩/디코딩의 예측 정확성에 영향을 미치고, 나아가 비디오 비트 스트림 중 비트의 크기에 영향을 미친다. 따라서, 비디오 인코딩/디코딩 시스템에서, 사전 처리 필터와 후 처리 필터가 가입되어 재구성 픽처의 주객관 품질을 향상시킨다.

도1 은 전통 인코딩 블럭도의 구조 도면으로서, 도1에 도시된 바와 같이, 해당 전통 인코딩 블럭도(10)에 변환 및 양자화 유닛(101), 역변환 및 역양자화 유닛(102), 예측 유닛(103), 인루프 필터링 유닛(104) 및 엔트로피 인코딩 유닛(105) 등 부품이 포함될 수 있으며; 여기에서, 예측 유닛(103)에 또한 인트라 예측 유닛(1031)과 인터 예측 유닛(1032)이 포함된다. 입력된 오리지널 픽처에 대하여 초기 구분을 통하여 인코딩 트리 유닛（CTU，Coding Tree Unit)을 취득할 수 있고, 하나의 CTU에 대하여 계속하게 내용 대응형 구분을 진행하고, CU를 취득할 수 있어, CU에 일반적으로 하나 또는 다수 개의 인코딩 블록（CB，Coding Block）이 포함된다. 인코딩 블록에 대하여 인트라 예측 유닛(1031)의 인트라 예측 또는 인터 예측 유닛(1032)의 인터 예측을 진행하면, 잔여 정보를 취득할 수 있으며; 해당 잔여 정보는 변환 및 양자화 유닛(101)을 통하여 해당 인코딩 블록에 대하여 변환을 진행하고, 잔여 정보를 픽셀 도메인으로부터 변환 도메인으로 변환하고, 또한 취득된 변환 계수에 대하여 양자화를 진행하고 진일보로 비트 레이트를 감소시키는 것이 포함되며; 예측 모드를 결정한 후, 예측 유닛(103)은 또한 선택된 인트라 예측 데이터 또는 인터 예측 데이터를 엔트로피 인코딩 유닛(105)으로 제공하며; 그리고, 역변환과 역양자화 유닛(102)은 해당 인코딩 블록의 재구성에 이용되고, 픽셀 도메인에서 잔여 블록을 재구성하며, 해당 재구성된 잔여 블록을 인루프 필터링 유닛(104)을 통하여 블록 효과 아티팩트를 제거한 후, 해당 재구성된 잔여 블록을 디코딩 픽처 캐시 유닛에 추가하여 재구성을 거친 참조 픽처를 생성하며; 엔트로피 인코딩 유닛(105)은 여러가지 인코딩 파라미터 및 양자화된 후의 변환 계수를 인코딩하며, 예를 들면, 엔트로피 인코딩 유닛(105)은 헤드 정보 인코딩 및 컨텍스트를 기반으로 한 대응형 2진수 산술 인코딩（CABAC，Context-based Adaptive Binary Arithmatic Coding） 알고리즘을 이용하여, 결정된 예측 모드를 지시하는 인코딩 정보를 인코딩하고 대응되는 비트 스트림을 출력할 수 있다.

도1 중의 전통 인코딩 블럭도(10)에 대하여, 인루프 필터링 유닛(104)은 루프 필터이고, 또한 인루프 필터（In-Loop Filter）라고 칭하며, 이에 블록화 제거 필터（DBF, De-Blocking Filter）, 샘플링 포인트 대응형 오프셋（SAO, Sample Adaptive Offset） 필터와 대응형 루프 필터(ALF, Adaptive Loop Filter) 등이 포함될 수 있다.

도1 중의 전통 인코딩 블럭도(10)에 있어서, 사전 처리 필터링 유닛(106)은 입력된 오리지널 비디오 프레임을 수신하고 오리지널 비디오 프레임 중의 오리지널 픽처 프레임에 대하여 사전 처리 필터링을 진행하여 비디오의 해상도를 낮추며, 후 처리 필터링 유닛(107)은 인루프 필터링된 비디오 프레임을 수신하고, 인루프 필터링된 비디오 프레임에 대하여 후 처리 필터링을 진행하여 비디오의 해상도를 향상시키며, 이렇게 하면, 비디오의 인코딩/디코딩 과정에서 비교적 적은 비트를 사용하고 재구성 비디오 프레임을 취득하여 전체 인코딩/디코딩의 효율을 향상시킬 수 있다. 하지만, 현재 사전 처리 필터와 후 처리 필터가 모두 사용하는 신경망의 입력은 단일 입력 또는 다중 입력, 즉 입력할 때 단일 픽처 컴포넌트 또는 다중 픽처 컴포넌트이고, 즉 현재의 합성곱 신경망 복잡성이 비교적 높고 또한 현재의 CNN 필터가 관련된 정보를 충분히 종합적으로 사용하지 않기 때문에 재구성 픽처 품질의 향상이 제한하게 된다.

도1 중의 인코딩 블럭도와 유사하게, 도2는 전통 디코딩 블럭도의 구조 도면으로서, 도2에 도시된 바와 같이, 해당 전통 디코딩 블럭도(20)에 엔트로피 인코딩 유닛(201), 역양자화 역변환 유닛(202), 예측 유닛(203), 인루프 필터링 유닛(204)과 후 처리 필터링 유닛(205) 등 부품이 포함될 수 있으며; 여기에서, 예측 유닛(203)에 또한 인트라 예측 유닛(2031)과 인터 예측 유닛(2032)이 포함된다. 여기에서, 설명해야 할 바로는, 비디오 디코딩 과정은 비디오 인코딩 과정과 반대되는 과정이며, 여기에서, 비디오 디코딩 과정에서 취득된 후 처리 필터링된 픽처를 재구성 비디오 프레임으로 결정하며, 도2로부터 알 수 있는 바와 같이, 디코딩 과정에서 인코딩 과정 중의 사전 처리 필터링 유닛에 언급되지 않는다.

본 출원의 실시예가 필터링 방법을 제공하는 바, 해당 방법은 필터링 장치에 적용되고, 해당 필터링 장치가 인코더 중의 사전 처리 필터와 후 처리 필터에 구비될 수 있고, 또한 디코더의 후 처리 필터에 구비될 수 있어, 여기에서 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

도3은 본 출원의 실시예가 제공하는 선택가능한 필터링 방법의 흐름 도면으로서, 도3에 도시된 바와 같이, 해당 필터링 방법에는

S301, 필터링하고자 하는 픽셀 정보를 취득하며；

S302, 적어도 한 가지 사이드 정보를 취득하며;

S303, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하는 것이 포함될 수 있다.

여기에서, 상술한 필터링하고자 하는 픽셀 정보는 픽셀 값으로 표시된 필터링하고자 하는 픽처 블록을 가리키고, 또한 해당 필터링하고자 하는 픽처 블록에 세 가지 픽처 컴포넌트가 포함되며, 상술한 적어도 두 가지 컴포넌트가 세 가지 픽처 컴포넌트 중의 임의의 두 가지 픽처 컴포넌트 또는 세 가지 픽처 컴포넌트일 수 있어, 여기에서, 픽처 컴포넌트에 제1 픽처 컴포넌트, 제2 픽처 컴포넌트와 제3 픽처 컴포넌트가 포함될 수 있으며; 본 출원의 실시예가 제1 픽처 컴포넌트으로 휘도 컴포넌트를 표시하고, 제2 픽처 컴포넌트으로 제1 채도 컴포넌트를 표시하고, 제3 픽처 컴포넌트으로 제2 채도 컴포넌트를 표시하는 것을 예로 들어 설명한다.

상술한 적어도 한 가지 사이드 정보가 제1종 픽처 컴포넌트에 대응되는 사이드 정보, 제2종 픽처 컴포넌트에 대응되는 사이드 정보, 제3종 픽처 컴포넌트의 사이드 정보 중의 적어도 한 가지 사이드 정보일 수 있다.

설명해야 할 바로는, 오리지널 픽처 프레임은 CTU로 구분될 수 있거나,또한 CTU가 CU로 구분될 수 있으며; 다시 말하면, 본 출원의 실시예 중의 블록 구분 정보는 CTU 구분 정보를 가리킬 수 있고, 또한 CU 구분 정보를 가리킬 수 있으며; 이렇게 하면, 본 출원의 실시예의 필터링 방법은 CU 레벨의 사전 처리 필터링 또는 후 처리 필터링에 적용될 수 있을 뿐 아니라, 또한 CTU 레벨의 사전 처리 필터링 또는 후 처리 필터링에 적용될 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

여기에서, 필터링하고자 하는 픽셀 정보는 픽셀 값으로 표시된 인코딩하고자 하는 비디오 중의 오리지널 픽처 블록이고, 또는, 필터링하고자 하는 픽셀 정보는 픽셀 값으로 표시된 인코딩하고자 하는 비디오가 비디오 인코딩 과정에서 인루프 필터링 처리를 거친 후 취득된 픽처 블록이다.

설명해야 할 바로는, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, 오리지널 픽처에 대하여 비디오 인코딩 처리를 진행할 때, 이에 대하여 CU 구분, 예측, 변환 및 양자화 등 처리를 진행하고, 또한 후속의 인코딩하고자 하는 픽처에 대하여 비디오 인코딩을 진행하는 참조 픽처를 취득하기 위하여 또한 역변환 및 역양자화, 재구성 및 필터링 등 처리를 진행할 수 있다. 다시 말하면, 필터링하고자 하는 픽셀 정보는 방금 인코더에 입력된 오리지널 픽처 중의 픽처 블록일 수 있고, 이는 사전 처리 필터에 적용되는 상황이고, 또한 방금 인루프 필터링 처리를 거친 후의 취득된 픽처 블록일 수 있고, 이는 후 처리 필터에 적용되는 상황이며, 이렇게 하면, 필터링하고자 하는 픽셀 정보를 취득한다.

다시 말하면, 필터링하고자 하는 픽셀 정보를 취득한 후, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트, 및 적어도 한 가지 사이드 정보를 취득할 수 있다.

설명해야 할 바로는, 비디오 픽처에서, 일반적으로 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트를 사용하여 오리지널 픽처 또는 필터링하고자 하는 픽처를 표시한다. 여기에서, 휘도-채도 컴포넌트 표시 방법 하에서, 이 세 개의 픽처 컴포넌트는 각각 하나의 휘도 컴포넌트, 하나의 푸른색 채도(대비색) 컴포넌트와 하나의 빨간색 채도(대비색) 컴포넌트이며; 구체적으로, 휘도 컴포넌트는 통상적으로 부호 Y로 표시되고, 푸른색 채도 컴포넌트는 통상적으로 부호 Cb로 표시되고, 또한 U로 표시될 수도 있으며; 빨간색 채도 컴포넌트는 통상적으로 부호 Cr 로 표시되고, 또한 V로 표시될 수도 있다.

본 출원의 실시예에서, 적어도 한 가지 컴포넌트는 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트 중의 한 가지 또는 여러가지를 표시하고, 적어도 두 가지 컴포넌트는 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트일 수 있고, 또한 제1 픽처 컴포넌트와 제2 픽처 컴포넌트일 수 있고, 또한 제1 픽처 컴포넌트와 제3 픽처 컴포넌트일 수 있고, 심지어 제2 픽처 컴포넌트와 제3 픽처 컴포넌트일 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

차세대 비디오 인코딩 기준（VVC，Versatile Video Coding）에서, 이의 상응된 테스트 모델은 VVC 테스트 모델（VTM，VVC Test Model）이다. VTM가 테스트를 실시할 때, 현재 기준 테스트 시퀀스가 사용하는 것은 YUV가 4:2:0 포맷인 것이고, 해당 포맷의 인코딩하고자 하는 비디오 중 각 프레임 픽처가 세 가지 컴포넌트, 즉 하나의 휘도 컴포넌트(Y)과 두 개의 채도 컴포넌트(U) 및 V로 구성될 수 있다. 인코딩하고자 하는 비디오 중 오리지널 픽처의 높이는 H이고, 너비는 W라고 가정하면, 제1 픽처 컴포넌트에 대응되는 사이즈 정보는

,제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 사이즈 정보는 모두

이다. 주의해야 할 바로는, 본 출원의 실시예는 YUV가 4:2:0 포맷인 것을 예로 들어 설명하지만, 본 출원의 실시예의 필터링 방법은 마찬가지로 기타 샘플링 포맷에 적용된다.

YUV가 4:2:0 포맷인 것을 예로 들어, 제1 픽처 컴포넌트와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 사이즈 정보가 다른 것이기 때문에, 제1 픽처 컴포넌트 및 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트 중 적어도 하나를 단번에 신경망을 기반으로 한 필터에 입력하기 위하여, 이 때에 이 세 가지 컴포넌트에 대하여 샘플링 또는 재구성 처리를 진행해야 하여 세 가지 컴포넌트의 공역 사이즈 정보가 같게 한다.

일부 실시예서, 높은 해상도의 픽처 컴포넌트에 대하여 픽셀 재배열 처리(또한 다운 샘플링 처리라고 칭할 수 있음)를 진행할 수 있어, 세 가지 컴포넌트의 공역 사이즈 정보를 같게 한다. 구체적으로, S302 전에, 또한 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트에 대하여 높은 해상도의 픽처 컴포넌트를 선택하고, 높은 해상도의 픽셀 컴포넌트에 대하여 픽셀 재배열 처리를 진행할 수 있다.

설명해야 할 바로는, 오리지널 픽처 중에 포함된 세 가지 컴포넌트는 기타 처리를 진행하기 전, 이 세 가지 컴포넌트는 오리지널 픽처 컴포넌트이다. 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트는 제1 채도 컴포넌트이고, 제3 픽처 컴포넌트는 제2 채도 컴포넌트라고 가정하면, 높은 해상도의 픽처 컴포넌트는 제1 픽처 컴포넌트이고, 이 때에 제1 픽처 컴포넌트에 대하여 픽셀 재배열 처리를 진행해야 한다.

예시적으로, 2×2 사이즈 크기의 오리지널 픽처를 예로 들어, 이를 4 개의 통로로 전환하고, 즉 2×2×1의 텐서를 1×1×4의 텐서로 배열하며; 오리지널 픽처의 제1 픽처 컴포넌트의 사이즈 정보가

일 때, 필터링을 진행하기 전, 픽셀 재배열 처리를 통하여 이를

의 형식으로 전환하며; 제2 픽처 컴포넌트와 제3 픽처 컴포넌트의 사이즈 정보가 모두

이 때문에, 이렇게 하면 3 개의 픽처 컴포넌트의 공역 사이즈 정보가 같게 할 수 있으며; 후속으로 픽셀 제배열 처리된 후의 3 개의 픽처 컴포넌트를 병합한 후 즉시

의 형식으로 전환하고 사전 처리 필터 또는 후 처리 필터에 입력한다.

일부 실시예에서, 또한 낮은 해상도의 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행할 수 있어, 세 가지 컴포넌트의 공역 사이즈 정보를 같게 한다. 구체적으로, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트에 대하여 낮은 해상도의 컴포넌트를 선택하고, 낮은 해상도의 컴포넌트에 대하여 업 샘플링 처리를 진행할 수 있다.

설명해야 할 바로는, 높은 해상도의 컴포넌트에 대하여 사이즈 정보의 픽셀 재배열 처리(즉 하향 조정)를 진행하는 외에, 본 출원의 실시예에서, 또한 낮은 해상도의 컴포넌트에 대하여 업 샘플링 처리(즉 상향 조정)를 진행할 수 있다. 그리고, 낮은 해상도의 컴포넌트에 대하여 업 샘플링 처리를 진행할 수 있을 뿐 아니라, 또한 역 합성곱 처리를 진행할 수 있고, 심지어 초 해상도 처리 등을 진행할 수 있어, 이 세 가지 처리의 효과가 같으며, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

설명해야 할 바로는, 오리지널 픽처 중에 포함된 세 가지 컴포넌트는 기타 처리를 진행하기 전, 이 세 가지 컴포넌트는 오리지널 픽처 컴포넌트이다. 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트는 제1 채도 컴포넌트이고, 제3 픽처 컴포넌트는 제2 채도 컴포넌트이면, 낮은 해상도의 픽처 컴포넌트는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트이고, 이 때에 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대하여 업 샘플링 처리를 진행해야 한다.

예시적으로 오리지널 픽처의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트의 사이즈 정보가 모두

일 때, 필터링을 진행하기 전 업 샘플링 처리를 통하여 이를

의 형식으로 전환할 수 있으며; 제1 픽처 컴포넌트의 사이즈 정보가

이기 때문에, 이렇게 하면 3 개의 픽처 컴포넌트의 공역 사이즈 정보가 같게 할 수 있고, 또한 업 샘플링 처리된 후의 제2 픽처 컴포넌트와 업 샘플링 처리된 후의 제3 픽처 컴포넌트가 제1 픽처 컴포넌트의 해상도과 일관성을 유지한다.

여기에서, 사이드 정보는 필터링을 보조하고, 필터링 품질을 향상시킬 수 있어, 사이드 정보는 블록 구분 정보(예를 들면 CU 구분 정보 및 CTU 구분 정보 중 적어도 하나)일 수 있을 뿐 아니라, 또한 양자화 파라미터 정보일 수 있고, 심지어 운동 벡터（Motion Vector，MV） 정보, 예측 방향 정보 등일 수 있으며; 이러한 정보는 단독적으로 사이드 정보로 할 수 있고, 또한 임의의 조합하여 사이드 정보로 할 수 있어, 예를 들면 블록 구분 정보를 단독적으로 사이드 정보로 하고, 또는 블록 구분 정보와 양자화 파라미터 정보를 공동적으로 사이드 정보로 하고, 또는 블록 구분 정보와 MV 정보를 공동적으로 사이드 정보로 할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 취득한 후, 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고 처리하며, 여기에서, 컴포넌트 처리, 융합 처리, 연합 처리 및 분로 처리 등 처리 방식이 포함될 수 있어, 여기에서, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

여기까지, 취득된 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 입력값으로 하고 신경망을 기반으로 한 필터에 입력하면, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득할 수 있다.

여기에서, 신경망의 구조에 적어도 하나의 연합 처리 단계와 하나의 독립 처리 단계가 포함되며; 연합 처리 단계에서, 모든 컴포넌트가 공동적으로 처리되며; 독립 처리 단계에서 각 가지 컴포넌트가 신경망의 하나의 독립 분기에서 처리된다.

필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하기 위하여 일 선택가능한 실시예에서, S303에는

S3031, 각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하며;

S3032, 적어도 한 가지 사이드 정보와 처리된 후의 적어도 두 가지 컴포넌트에 의하여 융합 처리를 진행하고 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하며;

S3033, 융합 정보에 대하여 처리를 진행하고, 필터링하고자 하는 픽처 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하는 것이 포함된다.

S3031에서, 해당 처리 과정은 분로 단계로 보일 수 있고, 각각 적어도 두 가지 컴포넌트를 취득하며; 융합 정보에 적어도 적어도 두 가지 컴포넌트에 대하여 융합을 진행하여 취득된 정보가 포함되며, S3032, 해당 처리 과정은 병합 단계로 보일 수 있고, 적어도 두 가지 컴포넌트를 융합하며; 이렇게 하면, 본 출원의 실시예가 연결 처리 구조를 사용하고 입력된 여러가지 컴포넌트에 대하여 융합 처리를 진행하는 것을 통하여, 여러가지 컴포넌트 간의 관계를 이용할 뿐 아니라, 또한 효과적으로 이 여러가지 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 나아가 컴퓨팅의 복잡상을 낮추고, 인코딩 비트 레이트를 절약하며; 마지막으로 융합 정보에 대하여 처리하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하며; 이렇게 하면, 융합 정보을 통하여 또한 진일보로 필터링을 보조할 수 있어 인코딩/디코딩 과정에서 비디오 재구성 픽처의 주객관 품질을 향상시킨다.

처리된 후의 적어도 두 가지 컴포넌트를 취득하기 위하여 일 선택가능한 실시예에서, S3031에는

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 컴포넌트 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하는 것이 포함된다.

여기에서, 오리지널 픽처 블록의 오리지널 픽처 컴포넌트(YUV)을 취득하고, Y, U, V에 대하여 각각 처리하고, 필터링하고자 하는 픽처 블록의 YUV를 취득하고, 즉 취득할 수 있는 필터링하고자 하는 픽처 블록의 적어도 두 가지 컴포넌트는 YU, 또는 YV, 또는 UV일 수 있다.

처리된 후의 적어도 두 가지 컴포넌트를 취득하기 위하여 일 선택가능한 실시예에서, 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 취득할 때, 상응하게, S3031에는

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 융합 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하며;

여기에서, 제1 사이드 정보에 블록 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함되는 것이 포함될 수 있다.

제1 사이드 정보는 필터링을 보조하고, 필터링 품질을 향상시킬 수 있어, 제1 사이드 정보는 블록 구분 정보(예를 들면 CU 구분 정보 및 CTU 구분 정보 중 적어도 하나)일 수 있을 뿐 아니라, 또한 양자화 파라미터 정보일 수 있고, 심지어 운동 벡터（Motion Vector，MV） 정보, 예측 방향 정보 등일 수 있으며; 이러한 정보는 단독적으로 제1 사이드 정보로 할 수 있고, 또한 임의로 조합하여 제1 사이드 정보로 할 수 있어, 예를 들면 블록 구분 정보를 단독적으로 제1 사이드 정보로 하고, 또는 블록 구분 정보와 양자화 파라미터 정보를 공동적으로 제1 사이드 정보로 하고, 또는 블록 구분 정보와 MV 정보를 공동적으로 제1 사이드 정보로 할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

설명해야 할 바로는, S3031은 제1 분로 단계로 보일 수 있다. 이렇게 하면, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트에 대하여, 각각 가지 컴포넌트 처리(예를 들면 딥러닝)를 진행할 수 있어, 처리된 후의 적어도 두 가지 컴포넌트를 취득할 수 있으며; 그리고, 또한 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 대응되는 컴포넌트에 추가하여, 처리된 후의 적어도 두 가지 컴포넌트를 취득하며; 다시 말하면, 제1 분로 단계에 대하여 제1 사이드 정보를 융합할 수 있고, 또한 제1 사이드 정보를 융합하지 않을 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

나아가, 일부 실시예에서, CU 구분 정보를 필터링하고자 하는 픽셀 정보의 각 가지 컴포넌트에 대응되는 블록 구분 정보로 할 수 있어, 여기에서, CU 구분 정보에 있어서, CU 경계에 대응되는 각 픽셀 포인트 위치에서 제1 값을 패딩하고, 기타 픽셀 포인트 위치에서 제2 값을 패딩하여, CU 구분 정보와 대응되는 제1 매트릭스를 취득하며; 여기에서, 제1 값은 제2 값과 다르며; 제1 매트릭스를 필터링하고자 하는 픽셀 정보의 각 가지 컴포넌트에 대응되는 블록 구분 정보로 한다.

설명해야 할 바로는, 제1 값은 사전 설정된 수치, 알파벳 등일 수 있고, 제2 값은 사전 설정된 수치, 알파벳 등일 수 있어, 제1 값이 제2 값과 다르며; 예를 들면, 제1 값은 2로 설정될 수 있고, 제2 값은 1로 설정될 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.

본 출원의 실시예에서, CU 구분 정보를 제1 사이드 정보로 하여 필터링하고자 하는 픽셀 정보가 필터링 처리를 진행하는 데 보조할 수 있다. 다시 말하면, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, CU 구분 정보를 충분히 이용하고 이와 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트를 융합한 후 필터링을 지도할 수 있다.

구체적으로 CU 구분 정보를 하나의 인코딩 유닛 맵（Coding Unit Map，CUmap）으로 전환하고, 또한 이차원 매트릭스, 즉 Cumap 매트릭스, 또한 즉 본 출원의 실시예 중의 제1 매트릭스로 표시하며; 다시 말하면, 오리지널 픽처의 제1 픽처 컴포넌트를 예로 들어, 이를 다수 개의 CU로 구분할 수 있으며; 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 제1 값으로 패딩하고, 기타 픽셀 포인트 위치에서 제2 값으로 패딩하여 이렇게 하면 하나의 CU 구분 정보를 반영하는 제1 매트릭스를 구조할 수 있다. 예시적으로, 도4는 본 출원의 실시예가 제공하는 블록 구분 매트릭스의 구조 도면으로서, 도4에 도시된 바와 같이, 만일 해당 도면은 하나의 CTU를 표시하면, 해당 CTU를 9개의 CU로 구분할 수 있으며; 제1 값을 2로 설정하고, 제2 값을 1로 설정한다고 가정하며; 이렇게 하면, 각 CU 경계에 대응되는 각 픽셀 포인트 위치에서 2로 패딩하고, 기타 픽셀 포인트 위치에서 1로 패딩하며, 다시 말하면, 2로 패딩된 픽셀 포인트 위치는 CU의 경계를 표시하여 CU 구분 정보, 즉 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트에 대응되는 제1 사이드 정보를 결정할 수 있다.

또한 설명해야 할 바로는, 만일 제1 픽처 컴포넌트는 휘도 컴포넌트이고, 제2 픽처 컴포넌트와 제3 픽처 컴포넌트는 모두 채도 컴포넌트이면, 제1 픽처 컴포넌트의 CU 구분 정보와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보가 다른 것일 수 있다. 따라서, 제1 픽처 컴포넌트의 CU 구분 정보와 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보가 다를 때, 각각 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트에 대응되는 CU 구분 정보와 필터링하고자 하는 픽셀 정보의 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 CU 구분 정보를 결정해야 하며; 그 후, 이를 제1 사이드 정보로 하여 대응되는 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 융합하며; 제1 픽처 컴포넌트의 CU 구분 정보는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보와 같을 때, 이 때 단지 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트의 CU 구분 정보를 결정할 수 있고, 그 후 결정된 CU 구분 정보를 제1 사이드 정보로 하여 대응되는 제1 픽처 컴포넌트 또는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 융합하며; 이렇게 하면, 후속으로 취득된 적어도 두 가지 새로운 컴포넌트를 융합하여, 필터링하고자 하는 픽셀 정보에 대하여 사전 처리 필터링 또는 후 처리 필터링을 진행하는데 편리하다.

일부 실시예에서, 각각 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 결정하는 것은, 인코딩하고자 하는 비디오 중의 오리지널 픽처를 기반으로, 각각 오리지널 픽처 블록의 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대응되는 양자화 파라미터를 취득하여, 양자화 파라미터를 필터링하고자 하는 픽셀 정보의 각 가지 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것일 수 있다.

나아가, 일부 실시예에서, 양자화 파라미터를 필터링하고자 하는 픽셀 정보의 각 가지 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것은, 각각 오리지널 픽처의 각 가지 컴포넌트 사이즈와 같은 제2 매트릭스를 구성하며; 여기에서, 제2 매트릭스 중 각 픽셀 포인트 위치에서 모두 오리지널 픽처의 각 가지 컴포넌트에 대응되는 양자화 파라미터의 정규화된 값을 패딩하며; 제2 매트릭스를 필터링하고자 하는 픽셀 정보의 각 가지 컴포넌트에 대응되는 양자화 파라미터 정보로 하는 것일 수 있다.

설명해야 할 바로는, 다른 양자화 파라미터에 대응되는 필터링하고자 하는 픽셀 정보의 왜곡 정도가 다르다. 만일 양자화 파라미터 정보를 융합하면, 필터링 네트워크가 훈련 과정에서 적응적으로 임의의 양자화 파라미터에 대하여 처리를 진행하는 능력을 갖게 된다.

본 출원의 실시예에서, 또한 양자화 파라미터 정보를 제1 사이드 정보로 하여 필터링하고자 하는 픽처 블록이 필터링 처리를 진행하는 데 보조할 수 있다. 다시 말하면, 인코딩하고자 하는 비디오 중의 오리지널 픽처에 대하여 비디오 인코딩을 진행하는 과정에서, 양자화 파라미터 정보를 충분히 이용하고 이와 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트를 융합한 후 필터링을 지도할 수 있다. 여기에서, 양자화 파리미터 정보는 정규화 처리를 진행할 수 있고, 양자화 파라미터 정보는 또한 비정규화 처리(예를 들면, 분류 처리, 구간 구분 처리 등)를 진행할 수 있으며; 아래는 양자화 파라미터 정규화 처리를 예로 들어 상세한 설명을 진행하도록 한다.

구체적으로, 양자화 파라미터 정보를 하나의 양자화 파라미터 정보를 반영하는 제2 매트릭스로 전환하며; 다시 말하면, 오리지널 픽처의 제1 픽처 컴포넌트를 예로 들어, 하나의 오리지널 픽처의 제1 픽처 컴포넌트 사이즈와 같은 매트릭스를 구성하고, 해당 매트릭스 중 각 픽셀 포인트 위치에서 모두 오리지널 픽처의 제1 픽처 컴포넌트에 대응되는 양자화 파라미터의 정규화 값으로 패딩하며; 여기에서, 양자화 파라미터의 정규화 값은

로 표시되고, 즉

（1）

식(1)에서,

는 오리지널 픽처의 제1 픽처 컴포넌트에 대응되는 양자화 파라미터 값을 표시하고,

는 오리지널 픽처의 제1 픽처 컴포넌트 중 각 픽셀 포인트 위치의 가로 좌표 값을 표시하고,

는 오리지널 픽처의 제1 픽처 컴포넌트 중 각 픽셀 포인트 위치의 세로 좌표 값을 표시하며;

는 양자화 파라미터의 제일 큰 값을 표시하고, 일반적으로,

의 값은 51이지만

는 또한 기타 값, 예를 들면 29, 31등일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다.

처리된 후의 적어도 두 가지 컴포넌트를 취득하기 위하여 일 선택가능한 실시예에서, 각 가지 컴포넌트에 대응되는 제2 사이드 정보를 취득할 때, 상응하게, S3031에는

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제2 사이드 정보를 융합 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하며;

여기에서, 제2 사이드 정보와 제1 사이드 정보가 다른 것이 포함될 수 있다.

필터링하고자 하는 픽셀 정보의 융합 정보를 취득하기 위하여, 일 선택가능한 실시에에서, S3032에는

처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제1 사이드 정보에 대하여 융합 처리를 진행하고, 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것이 포함될 수 있다.

필터링하고자 하는 픽셀 정보의 융합 정보를 취득하기 위하여, 일 선택가능한 실시예에서, S3032에는

처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제2 사이드 정보에 대하여 융합 처리를 진행하고, 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것이 포함될 수 있다.

설명해야 할 바로는, 제1 사이드 정보인지, 또한 제2 사이드 정보인지 물론이고, 모두가 필터링을 보조하여 필터링 품질을 향상시키는데 이용될 수 있다. 제1 사이드 정보와 제2 사이드 정보는 블록 구분 정보, 양자화 파라미터 정보, MV 정보 및 예측 방향 정보 등 중의 한 가지 또는 여러 가지일 수 있으며; 다시 말하면, 제1 사이드 정보는 블록 구분 정보일 때, 제2 사이드 정보는 양자화 파라미터 정보일 수 있으며; 또는, 제1 사이드 정보는 양자화 파라미터 정보일 때, 제2 사이드 정보는 블록 구분 정보일 수 있으며; 또는, 제1 사이드 정보는 블록 구분 정보와 양자화 파라미터 정보일 때, 제2 사이드 정보는 MV 정보일 수 있으며; 또는, 제1 사이드 정보는 블록 구분 정보일 때, 제2 사이드 정보는 양자화 파라미터 정보와 MV 정보일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

또한 설명해야 할 바로는, 제1 사이드 정보와 제2 사이드 정보의 융합 단계는 같은 것일 수도 있고, 다른 것일 수도 있다. 제1 분로 단계는 각각 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트를 취득하는데 대응되는 처리 단계를 표시하고, 병합 단계는 필터링하고자 하는 픽셀 정보의 융합 정보를 결정하는데 대응되는 처리 단계를 표시하고, 제2 분로 단계는 융합 처리한 후 각각 각 가지 컴포넌트의 잔여 정보를 결정하는데 대응되는 처리 단계를 표시한다고 가정한다. 이렇게 하면, 제1 사이드 정보의 융합 단계는 제1 분로 단계, 병합 단계 또는 제2 분로 단계 중의 임의의 하나일 수 있고, 제2 사이드 정보의 융합 단계는 또한 제1 분로 단계, 병합 단계 또는 제2 분로 단계 중의 임의의 하나일 수 있으며; 다시 말하면, 제1 사이드 정보의 융합 단계는 제1 분로 단계일 수 있고, 제2 사이드 정보의 융합 단계는 병합 단계일 수 있으며; 또는, 제1 사이드 정보의 융합 단계는 병합 단계일 수 있고, 제2 사이드 정보의 융합 단계는 제1 분로 단계일 수 있으며; 또는, 제1 사이드 정보의 융합 단계는 제2 분로 단계일 수 있고, 제2 사이드 정보의 융합 단계는 병합 단계일 수 있으며; 또는, 제1 사이드 정보의 융합 단계는 제1 분로 단계일 수 있고, 제2 사이드 정보의 융합 단계는 제2 분로 단계일 수 있으며; 또는, 제1 사이드 정보의 융합 단계는 제1 분로 단계일 수 있고, 제2 사이드 정보의 융합 단계는 또한 제1 분로 단계일 수 있으며; 또는, 제1 사이드 정보의 융합 단계는 병합 단계일 수 있고, 제2 사이드 정보의 융합 단계는 또한 병합 단계일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하기 위하여 일 선택가능한 실시예에서, S3033에는

융합 정보에 대하여 연합 처리와 분로 처리를 진행하고 적어도 두 가지 컴포넌트 중의 적어도 한 가지 컴포넌트에 대응되는 잔여 정보를 취득하며;

적어도 두 가지 컴포넌트 중의 적어도 한 가지 컴포넌트와 적어도 한 가지 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하는 것이 포함된다.

설명해야 할 바로는, 본 출원의 실시예의 사전 처리 필터링 또는 후 처리 필터링이 사용하는 것은 다수의 단계의 연결 처리 구조이고, 예를 들면, 분로-병합-분로 처리 구조, 분로-병합 처리 구조 또는 병합-분로 처리 구조 등이며, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

구체적으로, 만일 먼저 각각 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트, 즉 제1 분로 단계를 취득해야 하고, 그 후 적어도 두 가지 컴포넌트에 대하여 융합, 즉 병합 단계를 진행하면; 이렇게 하면, 모든 정보가 융합 처리된 후, 동시에 여러가지 컴포넌트, 예를 들면, 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트를 출력해야 할 때; 이 때에 융합 정보에 대하여 연합 처리를 진행하는 것을 통하여, 각각 제1 픽처 컴포넌트에 대응되는 잔여 정보, 제2 픽처 컴포넌트에 대응되는 잔여 정보와 제3 픽처 컴포넌트에 대응되는 잔여 정보를 취득하고, 그 후, 제1 픽처 컴포넌트와 제1 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 제2 픽처 컴포넌트와 제2 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 제3 픽처 컴포넌트와 제3 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하여, 각각 필터링하고자 하는 픽셀 정보가 필터링된 후의 제1 픽처 컴포넌트, 필터링하고자 하는 픽셀 정보가 필터링된 후의 제2 픽처 컴포넌트와 필터링하고자 하는 픽셀 정보가 필터링된 후의 제3 픽처 컴포넌트를 취득하고, 해당 처리 과정은 제2 분로 단계이며; 이 전체적인 사전 처리 필터링 또는 후 처리 필터링 과정은 분로-병합-분로 처리 구조를 사용하며;

만일 먼저 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트, 즉 제1 분로 단계를 취득해야 하고, 그 후 적어도 두 가지 컴포넌트에 대하여 융합, 즉 병합 단계를 진행하면; 이렇게 하면, 모든 정보가 융합 처리된 후, 단지 한 가지 컴포넌트, 예를 들면, 제1 픽처 컴포넌트를 출력해야 할 때; 이 때에 융합 정보에 대하여 연합 처리를 진행하는 것을 통하여, 제1 픽처 컴포넌트에 대응되는 잔여 정보를 취득하고, 그 후, 제1 픽처 컴포넌트와 제1 픽처 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 제1 픽처 컴포넌트를 취득하고, 해당 처리 과정에 제2 분로 단계가 존재하지 않으며; 이 전체적인 사전 처리 필터링 또는 후 처리 필터링 과정은 분로-병합 처리 구조를 사용한다.

그리고, 만일 각각 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트, 즉 제1 분로 단계를 취득할 필요가 없으면, 직접 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트에 대하여 융합 처리를 진행하여, 즉 직접 병합 단계를 진입하며; 모든 정보가 융합 처리된 후, 동시에 여러가지 컴포넌트를 출력해야 하기 때문에, 이 때 또한 제2 분로 단계가 존재해야 하며; 이 전체적인 사전 처리 필터링 또는 후 처리 픽터링 과정은 병합-분로 처리 구조를 사용한다.

또한 설명해야 할 바로는, 본 출원의 실시예의 사전 처리 필터링 또는 후 처리 필터링은 또한 더 많은 연결 처리 구조, 예를 들면, 분로-병합-분로-병합-분로 처리 구조 등을 사용할 수 있다. 이러한 연결 처리 구조에 대하여, 본 출원의 실시예가 전형적 연결 구조, 예를 들면, 분로-병합-분로 처리 구조를 사용할 수 있고, 또한 전형적 연결 구조보다 더 적은 연결 처리 구조, 예를 들면, 분로-병합 처리 구조 또는 병합-분로 처리 구조 등을 사용할 수 있으며; 심지어 또한 전형적 연결 구조보다 더 많은 연결 처리 구조, 예를 들면 분로-병합-분로-병합-분로 처리 구조 등을 사용할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

여기에서, 사전 처리 필터 또는 후 처리 필터에 합성곱 신경망 필터가 포함될 수 있다.

설명해야 할 바로는, 사전 처리 필터 또는 후 처리 필터는 합성곱 신경망 필터일 수 있고, 또한 기타 딥러닝이 구성한 필터일 수 있어, 본 출원의 실시예가 이에 대하여 제한하지 않는다. 여기에서, 합성곱 신경망 필터는, 또한 CNN 필터라고 칭할 수 있어, 이는 한 유형의 합성곱 컴퓨팅 또한 딥 주조가 포함된 피드포워드 신경망이고, 딥러닝의 대표적인 알고리즘 중 하나이다. CNN 필터의 입력 계층은 다차원 데이터, 예를 들면, 인코딩하고자 하는 비디오 중 오리지널 픽처의 세 개의 픽처 컴포넌트（Y/U/V） 통로를 처리할 수 있다.

도5는 본 출원의 실시예가 제공하는 전통 CNN 필터의 구조 도면으로서, 도5에 도시된 바와 같이, 해당 전통 CNN 필터(50)는 지난 세대 비디오 인코딩 기준 H.265/고효율 비디오 인코딩（High Efficiency Video Coding，HEVC）의 기초 상에서 업그레이드를 진행한 것이며, 이에 2 계층의 합성곱 신경망 구조가 포함되고, 블록화 제거 필터와 샘플링 포인트 적응형 보상 필터를 대체할 수 있다. 필터링하고자 하는 픽처(

로 표시）를 전통 CNN 필터(50)의 입력 계층에 입력한 후, 제1 계층 합성곱 신경망

（합성곱 코어의 크기는 3×3이고，64 장의 특징 맵이 포함된다고 가정）와 제2 계층 합성곱 신경망

（합성곱 코어의 크기는 5×5이고，32 장의 특징 맵이 포함된다고 가정）를 거친 후，하나의 잔여 정보

를 취득하며；그 후 필터링하고자 하는 픽처

와 잔여 정보

에 대하여 덧셈을 진행하고, 최종적으로 해당 전통 CNN 필터(50)가 출력한 필터링된 픽처（

로 표시)을 취득한다. 여기에서, 해당 합성곱 네트워크 구조는 또한 잔여 신경망이라고 칭하고, 필터링하고자 하는 픽처에 대응되는 잔여 정보를 출력한다. 해당 전통 CNN 필터(60)에서, 각각 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트에 대하여 독립된 처리를 진행하지만, 동일한 필터링 네트워크 및 필터링 네트워크의 관련 파라미터를 공유한다.

도6a는 본 출원의 실시예가 제공하는 다른 일 전통 CNN 필터의 구조 도면으로서, 도6b는 본 출원의 실시예가 제공하는 또 다른 일 전통 CNN 필터의 구조 도면으로서, 도6a와 도6b를 참조하여 해당 전통 CNN 필터(60)는 두 개의 필터 네트워크를 사용하여, 예를 들면, 도6a에 도시된 필터링 네트워크는 제1 픽처 컴포넌트를 출력하는 데 전용되고, 도6b에 도시된 필터링 네트워크는 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트를 출력하는 데 전용된다. 인코딩하고자 하는 비디오 중 오리지널 픽처의 높이는 H이고, 너비는 W라고 가정하면, 제1 픽처 컴포넌트에 대응되는 사이즈 정보는

이고, 제1 픽처 컴포넌트에 대하여 픽셀 재배열 처리를 진행하고, 이를

의 형식으로 전환하며; 제2 픽처 컴포넌트 또는 제3 픽처 컴포넌트에 대응되는 사이즈 정보는 모두

이 기 때문에, 이 세 개의 픽처 컴포넌트를 병합한 후

의 형식으로 전환하여 전통 CNN 필터(60)에 입력한다. 도6a에 도시된 필터링 네트워크를 기반으로, 입력 계층 네트워크가 필터링하고자 하는 픽처

(합성곱 코어의 크기는 N×N이고, 통로 개수는 6이라고 가정)를 수신한 후, 제1 계층 합성곱 네트워크

(합성곱 코어의 크기는 L1×L1이고, 합성곱 코어의 수량은 M이고, 통로 개수는 6이라고 가정)와 제2 계층 합성곱 네트워크

（합성곱 코어의 크기는 L2×L2이고, 합성곱 코어의 수량은 4이고, 통로 개수는 M라고 가정)를 거친 후, 하나의 잔여 정보

（합성곱 코어의 크기는 N×N이고, 통로 개수는 4라고 가정)를 취득하며; 그 후, 입력된 필터링하고자 하는 픽처

와 잔여 정보

에 대하여 덧셈을 진행하여, 최종적으로 전통 CNN 필터(60)가 출력한 필터링된 후의 제1 픽처 컴포넌트(

로 표시)을 취득한다. 도6b에 도시된 필터링 네트워크를 기반으로, 입력 계층 네트워크가 필터링하고자 하는 픽처

（합성곱 코어의 크기는 L2×L2이고, 합성곱 코어의 수량은 2이고, 통로 개수는 M라고 가정) 를 거친 후, 하나의 잔여 정보

（합성곱 코어의 크기는 N×N이고, 통로 개수는 2라고 가정)를 취득하며; 그 후, 입력된 필터링하고자 하는 픽처

와 잔여 정보

에 대하여 덧셈을 진행하여, 최종적으로 전통 CNN 필터(60)가 출력한 필터링된 후의 제2 픽처 컴포넌트 또는 필터링된 후의 제3 픽처 컴포넌트(

로 표시)을 취득한다.

도5에 도시된 전통 필터(50), 또는 도6a와 도6b에 도시된 전통 CNN 필터(60)에 있어서, 다른 픽처 컴포넌트 간의 관계를 고려하지 않으므로 인해, 각 픽처 컴포넌트에 대하여 독립된 처리를 진행하는 것이 합리적지 않으며; 그리고, 입력단에서도 충분히 블록 구분 정보, QP 정보 등 인코딩 파라미터를 이용하지 않지만 재구성 픽처의 왜곡은 주로 블록 효과에서 오고, 블록 효과의 경계 정보는 CU 구분 정보가 결정한 것이며; 다시 말하면, CNN 필터 중의 필터링 네트워크가 경계 구역에 더 관심을 기울려야 하며; 이외에, 양자화 파라미터 정보를 필터링 네트워크에 융합하는 것은 또한 이의 일반화 능력을 향상시켜, 이가 임의의 품질의 왜곡 픽처에 대하여 필터링을 진행할 수 있게 한다. 따라서, 본 출원의 실시예가 제공하는 필터링 방법은, CNN 필터링 구조의 설치가 합리적일 뿐 아니라, 동일한 필터링 네트워크가 동시에 다수 개의 픽처 컴포넌트를 수신할 수 있고, 또한 이 다수 개의 픽처 컴포넌트 간의 관계를 충분히 고려하여, 필터링 처리한 후 또한 동시에 이러한 픽처 컴포넌트의 향상된 픽처를 출력할 수 있으며; 그리고, 해당 필터링 방법은 또한 블록 구분 정보 및 QP 정보 등 중 적어도 하나 등의 인코딩 파라미터를 융합하는 것을 통하여 인코딩 정보로 하여 필터링을 보조할 수 있어, 필터링의 품질을 향상시킨다.

설명해야 할 바로는, 본 출원의 실시예 중의 S3031은, 구체적으로 말하면, 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트에 대해여 각각 각 가지 컴포넌트에 대응되는 사이드 정보(예를 들면 제1 사이드 정보 또는 제2 사이드 정보)를 결정할 수 있고, 융합 처리를 거친 후 세 개의 픽처 컴포넌트를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트와 제2 픽처 컴포넌트에 대해여 각각 각 픽처 컴포넌트에 대응되는 사이드 정보를 결정할 수 있고, 융합 처리를 거친 후 두 개의 픽처 컴포넌트를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트와 제3 픽처 컴포넌트에 대해여 각각 각 가지 컴포넌트에 대응되는 사이드 정보를 결정할 수 있고, 융합 처리를 거친 후 두 가지 컴포넌트를 취득할 수 있으며; 심지어 또한 필터링하고자 하는 픽셀 정보의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트에 대해여 각각 각 가지 컴포넌트에 대응되는 사이드 정보를 결정할 수 있고, 융합 처리를 거친 후 두 가지 새로운 컴포넌트를 취득할 수 있으며; 본 출원의 실시예가 이에 대하여 제한하지 않는다.

또한 설명해야 할 바로는, 필터링하고자 하는 픽셀 정보의 융합 정보에 대하여, 적어도 두 가지 컴포넌트로 직접 융합을 진행하고 취득된 것일 수 있고, 또한 적어도 두 가지 컴포넌트 및 대응되는 사이드 정보(예를 들면 제1 사이드 정보 또는 제2 사이드 정보)로 공동적으로 융합하여 취득된 것일 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

만일 융합 정보는 적어도 두 가지 컴포넌트를 직접 융합하여 취득한 것이면, 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트와 제2 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트와 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있으며; 심지어 또한 필터링하고자 하는 필터링 픽셀 정보의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트에 대하여 융합을 진행하여 융합 정보를 취득할 수 있다.

만일 융합 정보는 적어도 두 가지 컴포넌트 및 대응되는 사이드 정보(예를 들면 제1 사이드 정보 또는 제2 사이드 정보)가 공동적으로 융합되어 취득된 것이면, 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트와 사이드 정보를 융합하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트와 제2 픽처 컴포넌트와 사이드 정보를 융합하여 융합 정보를 취득할 수 있으며; 또한 필터링하고자 하는 픽셀 정보의 제1 픽처 컴포넌트, 제3 픽처 컴포넌트와 사이드 정보를 융합하여 융합 정보를 취득할 수 있으며; 심지어 또한 필터링하고자 하는 픽셀 정보의 제2 픽처 컴포넌트와 제3 픽처 컴포넌트와 사이드 정보를 융합하여 융합 정보를 취득할 수 있다. 구체적으로 “적어도 두 가지 컴포넌트 및 대응되는 인코딩 정보(예를 들면 제1 사이드 정보 또는 제2 사이드 정보)가 공동적으로 융합되어 취득되며”에 있어서, 먼저 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트에 대하여 융합을 진행하고, 그 후 사이드 정보를 융합할 수 있으며; 또한 먼저 각각 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 대응되는 사이드 정보를 융합 처리하고 그 후 처리된 후의 적어도 두 가지 컴포넌트에 대하여 융합을 진행하며; 다시 말하면, 융합 처리의 구체적인 방식에 대하여 본 출원의 실시예가 구체적으로 제한하지 않는다.

그리고, 본 출원의 실시예 중의 S303은, 구체적으로 필터링하고자 하는 픽셀 정보의 여러가지 컴포넌트(예를 들면 제1 픽처 컴포넌트, 제2 픽처 컴포넌트 및 제3 픽처 컴포넌트)와 사이드 정보(예를 들면 제1 사이드 정보 또는 제2 사이드 정보)를 융합하여 필터로 입력한 후, 단지 필터링하고자 하는 픽셀 정보가 필터링된 후의 제1 픽처 컴포넌트 또는 필터링된 후의 제2 픽처 컴포넌트 또는 필터링된 후의 제3 픽처 컴포넌트를 출력할 수 있고, 또한, 필터링하고자 하는 픽셀 정보가 필터링된 후의 제1 픽처 컴포넌트와 필터링된 후의 제2 픽터 컴포넌트, 또는 필터링된 후의 제2 픽터 컴포넌트와 필터링된 후의 제3 픽처 컴포넌트, 또는 필터링된 후의 제1 픽처 컴포넌트와 필터링된 후의 제3 픽처 컴포넌트, 심지어 필터링하고자 하는 픽셀 정보가 필터링된 후의 제1 픽처 컴포넌트, 필터링된 후의 제2 픽처 컴포넌트 및 필터링된 후의 제3 픽처 컴포넌트를 출력할 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트를 동시적으로 신경망을 기반으로 한 필터에 입력하고 또한 분로-병합-분로의 연결 처리 구조를 사용하는 것을 예로 들어, 도7은 본 출원의 실시예가 제공하는 일 선택가능한 필터링 프레임의 구조 도면으로서, 도7에 도시된 바와 같이, 해당 필터링 프레임(70)에 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트(각각 Y, U, V로 표시)(701), 제1 분로 유닛(702), 제1 사이드 정보(703), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), V 픽처 컴포넌트 제1 처리 유닛(706), 제2 사이드 정보(707), 입력 융합 유닛(708), 연합 처리 유닛(709), 제2 분로 유닛(710), Y 픽처 컴포넌트 제2 처리 유닛(711), U픽처 컴포넌트 제2 처리 유닛(712), V 픽처 컴포넌트 제2 처리 유닛(713), 제1 가산기(714), 제2 가산기(715), 제3 가산기(716)와 필터링된 후의 세 개의 픽처 컴포넌트(각각 Out_Y, Out_U, Out_V로 표시)(717)이 포함될 수 있다. 구체적으로, 필터링하고자 하는 픽처 블록에 대한 세 개의 픽처 컴포넌트(701)이 제1 분로 유닛(702)을 거친 후, 이를 Y 픽처 컴포넌트, U 픽처 컴포넌트 및 V 픽처 컴포넌트 삼로 신호로 나누며, 제1로의 Y 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)는 Y 픽처 컴포넌트 제1 처리 유닛(704)에 진입하고, 제2 로의 U 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)는 U 픽처 컴포넌트 제1 처리 유닛(705)에 진입하고, 제3 로의 V 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)는 V 픽처 컴포넌트 제1 처리 유닛(706)에 진입하며, 이렇게 하면 삼로 새로운 픽처 컴포넌트를 출력할 수 있으며; 입력 융합 유닛(708)은 이 삼로 새로운 픽처 컴포넌트와 제2 사이드 정보(707)을 융합하고, 그 후 연합 처리 유닛(709)에 입력하며; 연합 처리 유닛(709)에 여러 계층 합성곱 필터링 네트워크가 포함되고, 입력된 정보에 대하여 합성곱 컴퓨팅을 진행하며, 구체적인 합성곱 컴퓨팅 과정은 관련 기술 방안과 유사하기 때문에, 연합 처리 유닛(709)의 구체적인 실행 단계에 대하여 더 이상 설명하지 않는다. 연합 처리 유닛(709)을 거친 후, 제2 분로 유닛(710)에 진입하고 이를 다시 삼로 신호로 나누고, 그 후 이 삼로 신호를 각각 Y 픽처 컴포넌트 제2 처리 유닛(711), U 픽처 컴포넌트 제2 처리 유닛(712) 및 V 픽처 컴포넌트 제2 처리 유닛(713)에 입력하여, 순차적으로 Y 픽처 컴포넌트의 잔여 정보, U 픽처 컴포넌트의 잔여 정보 및 V 픽처 컴포넌트의 잔여 정보를 취득할 수 있으며; 필터링하고자 하는 픽처 블록의 세 개의 픽처 컴포넌트(701) 중의 Y 픽처 컴포넌트와 취득된 Y 픽처 컴포넌트의 잔여 정보를 공동적으로 제1 가산기(714)에 입력하고, 제1 가산기(714)의 출력은 필터링된 후의 Y 픽처 컴포넌트(Out_Y로 표시)이며; 필터링하고자 하는 픽처의 세 개의 픽처 컴포넌트(701) 중의 U 픽처 컴포넌트와 취득된 U 픽처 컴포넌트의 잔여 정보를 공동적으로 제2 가산기(715)에 입력하고, 제2 가산기(715)의 출력은 필터링된 후의 U 픽처 컴포넌트(Out_U로 표시)이며; 필터링하고자 하는 픽처 블록의 세 개의 픽처 컴포넌트(701) 중의 V 픽처 컴포넌트와 취득된 V 픽처 컴포넌트의 잔여 정보를 공동적으로 제3 가산기(716)에 입력하고, 제3 가산기(716)의 출력은 필터링된 후의 V 픽처 컴포넌트(Out_V로 표시)이다. 여기에서 출력 컴포넌트에 대하여 만일 단지 필터링된 후의 Y 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(70)에 제2 분로 유닛(710), 제2 가산기(715)와 제3 가산기(716)가 포함되지 않을 수 있으며; 만일 단지 필터링된 후의 U 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(70)에 제2 분로 유닛(710), 제1 가산기(714)와 제3 가산기(716)가 포함되지 않을 수 있으며; 만일 필터링된 후의 Y 픽처 컴포넌트와 필터링된 후의 U 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(70)에 제3 가산기(716)가 포함되지 않을 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

필터링하고자 하는 픽셀 정보의 두 가지 컴포넌트를 동시적으로 신경망을 기반으로 한 필터에 입력하고 또한 분로-병합의 연결 처리 구조를 사용하는 것을 예로 들어, 도8은 본 출원의 실시예가 제공하는 다른 일 선택가능한 필터링 프레임의 구조 도면으로서, 도8에 도시된 바와 같이, 해당 필터링 프레임(80)에 필터링하고자 하는 픽셀 정보의 두 가지 컴포넌트(각각 Y과 U로 표시)(801), 제1 분로 유닛(702), 제1 사이드 정보(703), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), 입력 융합 유닛(708), 연합 처리 유닛(709), Y 픽처 컴포넌트 제2 처리 유닛(711), 제1 가산기(714)와 필터링된 후의 한 개의 픽처 컴포넌트(Out_Y로 표시)(802)이 포함될 수 있다. 구체적으로, 필터링하고자 하는 픽처 블록에 대한 두 개의 픽처 컴포넌트(801)은 제1 분로 유닛(702)을 거친 후, 이를 Y픽처 컴포넌트와 U 픽처 컴포넌트, 이로 신호로 나누며, 제1로의 Y 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)가 Y 픽처 컴포넌트 제1 처리 유닛(704)에 진입하고, 제2 로의 U 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)가 U 픽처 컴포넌트 제1 처리 유닛(705)에 진입하며, 이렇게 하면 이로 새로운 픽처 컴포넌트를 출력할 수 있으며; 입력 융합 유닛(708)은 이 이로 새로운 픽처 컴포넌트를 융합하고, 그 후 연합 처리 유닛(709)에 입력하며; 연합 처리 유닛(709)을 거친 후, 단지 단일 개의 픽처 컴포넌트(즉 필터링된 후의 Y 픽처 컴포넌트)을 출력해야 하고, 이 때에 제2 분로 유닛(710)에 진입할 필요가 없기 때문에, 직접 Y 픽처 컴포넌트 제2 처리 유닛(711)에 입력하고, 그 후 Y 픽처 컴포넌트의 잔여 정보를 취득할 수 있으며; 필터링하고자 하는 픽처 블록의 두 개의 픽처 컴포넌트(801) 중의 Y 픽처 컴포넌트와 취득된 Y 픽처 컴포넌트의 잔여 정보를 공동적으로 제1 가산기(714)에 입력하고, 제1 가산기(714)의 출력은 필터링된 후의 Y 픽처 컴포넌트(Out_Y로 표시)이다.

설명해야 할 바로는, Y 픽처 컴포넌트와 U 픽처 컴포넌트 또는 V 픽처 컴포넌트의 사이즈 정보가 다른 것일 수 있기 때문에, 도7에 도시된 필터링 프레임(70) 또는 도8에 도시된 필터링 프레임(80)에 있어서, 또한 U 픽처 컴포넌트 제1 처리 유닛(705)과 V 픽처 컴포넌트 제1 처리 유닛(706) 전에, 업 샘플링 유닛(또는 역합성곱 유닛 또는 초해상도 유닛)을 증가시켜, 업 샘플링 처리를 진행하고, 업 샘플링 처리된 후의 U 픽처 컴포넌트 또는 업 샘플링 처리된 후의 V 픽처 컴포넌트와 Y 픽처 컴포넌트의 해상도가 일관성을 유지하게 하여, 후속으로 사전 처리 필터링과 후 처리 필터링을 진행한다. 그리고, 도7에 도시된 필터링 프레임(70)을 예로 들어, 본 출원의 실시예 중의 사전 처리 필터와 후 처리 필터에 적어도 입력 융합 유닛(708), 연합 처리 유닛(709) 및 제1 가산기(714), 제2 가산기(715)와 제3 가산기(716)가 포함될 수 있지만, 또한 제1 분로 유닛(702), Y 픽처 컴포넌트 제1 처리 유닛(704), U 픽처 컴포넌트 제1 처리 유닛(705), V 픽처 컴포넌트 제1 처리 유닛(706) 등이 포함될 수도 있고, 심지어 또한 제2 분로 유닛(710), Y 픽처 컴포넌트 제2 처리 유닛(711), U 픽처 컴포넌트 제2 처리 유닛(712), V 픽처 컴포넌트 제2 처리 유닛(713) 등이 포함될 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

그리고, 본 출원의 실시예에서 제공하는 필터링 방법은 분로-병합-분로 처리 구조, 예를 들면 도7에 도시된 필터링 프레임(70)을 사용할 수 있으며; 또한 비교적 적은 분로-병합 처리 구조, 예를 들면, 도8에 도시된 필터링 프레임(80)을 사용할 수 있으며; 또한 비교적 적은 병합-분로 처리 구조를 사용할 수 있으며, 심지어 또한 비교적 적은 병합-분로 처리 구조 또는 비교적 많은 분로-병합-분로-병합-분로 처리 구조를 사용할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

또한 설명해야 할 바로는, 제1 사이드 정보와 제2 사이드 정보는 모두 필터링 처리에 참여할 수 있으며, 예를 들면 도7에 도시된 필터링 프레임(70)과 같고; 제1 사이드 정보와 제2 사이드 정보는 또한 선택적으로 필터링 처리에 참여할 수 있어, 예를 들면, 도8에 도시된 필터링 프레임(80)과 같으며, 여기에서, 제2 사이드 정보는 필터링 처리에 참여하지 않는다. 본 출원의 실시예에서, 제1 사이드 정보와 제2 사이드 정보는 모두 필터링 처리에 참여할 수도 있고, 또한 제1 사이드 정보는 필터링 처리에 참여하지 않을 수도 있고, 또한 제2 사이드 정보는 필터링 처리에 참여하지 않을 수도 있고, 심지어 제1 사이드 정보와 제2 사이드 정보가 모두 필터링 처리에 참여하지 않을 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

또한 설명해야 할 바로는, 제1 사이드 정보와 제2 사이드 정보의 융합 단계가 같은 것일 수도 있고, 다른 것일 수도 있으며; 다시 말하면, 제1 사이드 정보와 제2 사이드 정보가 동일한 단계에서 필터링 처리에 참여할 수도 있고, 또한 다른 단계에서 필터링 처리에 참여할 수도 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다. 예를 들면, 여전히 도7에 도시된 필터링 프레임(70)을 예로 들어, 제1 사이드 정보(703)와 제2 사이드 정보(707)가 모두 제1 분로 유닛(702)에 대응되는 단계 내에서 필터링 처리에 참여할 수 있고, 또는 제1 사이드 정보(703)와 제2 사이드 정보(707)가 모두 입력 융합 유닛(708)에 대응되는 단계 내에서 필터링 처리에 참여할 수 있고, 또는 제1 사이드 정보(703)와 제2 사이드 정보(707)가 모두 제2 분로 유닛(710)에 대응되는 단계 내에서 필터링 처리에 참여할 수 있으며; 또는 제1 사이드 정보(703)가 제1 분로 유닛(702)에 대응되는 단계 내에서 필터링 처리에 참여할 수 있고, 제2 사이드 정보(707)가 입력 융합 유닛(708)에 대응되는 단계 내에서 필터링 처리에 참여할 수 있으며; 또는, 제1 사이드 정보(703)가 제1 분로 유닛(702)에 대응되는 단계 전에 필터링 처리에 참여하고, 제2 사이드 정보(707)가 입력 융합 유닛(708)에 대응되는 단계 내에서 필터링 처리에 참여하며; 또는, 제1 사이드 정보(703)는 제1 분로 유닛(702)에 대응되는 단계 전에 필터링 처리에 참여하고 제2 사이드 정보(707)가 제2 분로 유닛(710)에 대응되는 단계 내에서 필터링 처리에 참여하며; 또는 제1 사이드 정보(703)가 입력 융합 유닛(708)에 대응되는 단계 내에서 필터링 처리에 참여하고, 제2 사이드 정보(707)가 제2 분로 유닛(710)에 대응되는 단계 내에서 필터링 처리에 참여하며; 다시 말하면, 제1 사이드 정보(703)와 제2 사이드 정보(707)가 연결 처리 구조에서 유연하게 융합 단계를 선택할 수 있어, 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

도7에 도시된 필터링 프레임(70)을 예로 들어, 이는 딥러닝 네트워크(예를 들면 CNN)를 사용하여 필터링을 진행하여, 이와 전통 CNN 필터와의 구별은, 본 출원의 실시예 중의 필터가 연결 처리 구조를 사용하고 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트를 동시에 필터링 네트워크에 입력할 수 있고, 또한 기타 인코딩의 관련된 사이드 정보(예를 들면 블록 구분 정보, 양자화 파라미터 정보, MV 정보 등 인코딩 파라미터)를 융합하고, 또한 이러한 사이드 정보는 동일한 단계 또는 다른 단계에서 필터링 네트워크에 융합될 수 있는 것이며; 이렇게 하면, 세 가지 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라, 또한 기타 인코딩 관련된 인코딩 정보를 사용하여 필터링을 보조하여, 필터링 품질을 향상시키며; 그리고, 세 가지 컴포넌트에 대하여 동시적으로 처리를 진행하고, 효과적으로 세 가지 컴포넌트에 대하여 세 번에 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고 컴퓨팅의 복잡성을 낮추고 인코딩 비트 레이트를 절약한다.

도9는 본 출원의 실시예가 제공하는 다른 일 선택가능한 필터링 프레임의 구조 도면으로서, 도9에 도시된 바와 같이, 해당 필터링 프레임(90)에 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트(각각 Y, U, V로 표시)(901), 제1 사이드 정보(902), Y 픽처 컴포넌트 제1 처리 유닛(903), U 픽처 컴포넌트 제1 처리 유닛(904), V 픽처 컴포넌트 제1 처리 유닛(905), 제2 사이드 정보(906), 융합 유닛(907), 연합 처리 유닛(908), 분로 유닛(909), Y 픽처 컴포넌트 제2 처리 유닛(910), U픽처 컴포넌트 제2 처리 유닛(911), V 픽처 컴포넌트 제2 처리 유닛(912), 제1 가산기(913), 제2 가산기(914), 제3 가산기(915)와 필터링된 후의 세 개의 픽처 컴포넌트(각각 Out_Y, Out_U, Out_V로 표시)(916)이 포함될 수 있다. 구체적으로, 필터링하고자 하는 픽셀 정보에 대한 세 가지 컴포넌트(901)이 컴포넌트 처리를 거친 후, 이를 Y 픽처 컴포넌트, U 픽처 컴포넌트 및 V 픽처 컴포넌트 삼로 신호로 나누며, 제1로의 Y 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(902)가 Y 픽처 컴포넌트 제1 처리 유닛(903)에 진입하고, 제2 로의 U 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(703)가 U 픽처 컴포넌트 제1 처리 유닛(904)에 진입하고, 제3 로의 V 픽처 컴포넌트 및 이와 대응되는 제1 사이드 정보(902)가 V 픽처 컴포넌트 제1 처리 유닛(905)에 진입하며, 이렇게 하면 삼로 새로운 픽처 컴포넌트를 출력할 수 있으며; 융합 유닛(907)은 이 삼로 새로운 픽처 컴포넌트와 제2 사이드 정보(906)을 융합하고, 그 후 연합 처리 유닛(908)에 입력하며; 연합 처리 유닛(908)에 여러 계층 합성곱 필터링 네트워크가 포함되고, 입력된 정보에 대하여 합성곱 컴퓨팅을 진행하며, 구체적인 합성곱 컴퓨팅 과정은 관련 기술 방안과 유사하기 때문에, 연합 처리 유닛(908)의 구체적인 실행 단계에 대하여 더 이상 설명하지 않는다. 연합 처리 유닛(908)을 거친 후, 분로 유닛(909)에 진입하고 이를 다시 삼로 신호로 나누고, 그 후 이 삼로 신호를 각각 Y 픽처 컴포넌트 제2 처리 유닛(910), U 픽처 컴포넌트 제2 처리 유닛(911) 및 V 픽처 컴포넌트 제2 처리 유닛(912)에 입력하여, 순차적으로 Y 픽처 컴포넌트의 잔여 정보, U 픽처 컴포넌트의 잔여 정보 및 V 픽처 컴포넌트의 잔여 정보를 취득할 수 있으며; 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트(901) 중의 Y 픽처 컴포넌트와 취득된 Y 픽처 컴포넌트의 잔여 정보를 공동적으로 제1 가산기(913)에 입력하고, 제1 가산기(913)의 출력은 필터링된 후의 Y 픽처 컴포넌트(Out_Y로 표시)이며; 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트(901) 중의 U 픽처 컴포넌트와 취득된 U 픽처 컴포넌트의 잔여 정보를 공동적으로 제2 가산기(914)에 입력하고, 제2 가산기(914)의 출력은 필터링된 후의 U 픽처 컴포넌트(Out_U로 표시)이며; 필터링하고자 하는 픽셀 정보의 세 가지 컴포넌트(901) 중의 V 픽처 컴포넌트와 취득된 V 픽처 컴포넌트의 잔여 정보를 공동적으로 제3 가산기(915)에 입력하고, 제3 가산기(915)의 출력은 필터링된 후의 V 픽처 컴포넌트(Out_V로 표시)이다. 여기에서 출력 컴포넌트에 대하여 만일 단지 필터링된 후의 Y 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(90)에 분로 유닛(909), 제2 가산기(914)와 제3 가산기(915)가 포함되지 않을 수 있으며; 만일 단지 필터링된 후의 U 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(90)에 분로 유닛(909), 제1 가산기(913)와 제3 가산기(915)가 포함되지 않을 수 있으며; 만일 필터링된 후의 Y 픽처 컴포넌트와 필터링된 후의 U 픽처 컴포넌트를 출력해야 할 때, 필터링 프레임(90)에 제3 가산기(915)가 포함되지 않을 수 있으며; 본 출원의 실시예가 이에 대하여 구체적으로 제한하지 않는다.

본 출원의 실시예가 제공하는 신경망 구조가 합리적이고 유효적으로 각 가지 컴포넌트와 사이드 정보를 이용하고 더 바람직한 인코딩 성능을 가져올 수 있다.

본 출원의 실시예가 필터링 방법을 제공하는 바, 먼저, 필터링 장치가 필터링하고자 하는 픽셀 정보를 취득하고, 적어도 한 가지 사이드 정보를 취득하며, 필터링하고자 하는 픽셀 정보의 적어도 두 가지의 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하며; 다시 말하면, 본 출원의 실시예에서, 필터링하고자 하는 픽셀 정보 중 적어도 두 가지 컴포넌트 및 적어도 한 가지 사이드 정보을 취득하고 이를 신경망을 기반으로 한 필터에 입력하고 처리하며, 필터링하는 과정에서, 적어도 한 가지 컴포넌트의 사이드 정보를 융합하여 필터링된 후의 픽셀 정보를 취득하며, 이렇게 하면, 여러가지 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라, 또한 효과적으로 적어도 두 가지 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 나아가 컴퓨팅 복잡성을 낮추고 인코딩 비트 레이트를 절약하고, 인코딩/디코딩 과정 중 사전 처리 필터링된 후 취득된 픽처와 후 처리 필터링된 후 취득된 픽처의 품질을 향상시켜 재구성 픽처의 품질을 향상시킨다.

같은 발명 구상를 기반으로, 도10은 본 출원의 실시예가 제공하는 일 선택가능한 핑터링 장치의 구조 도면으로, 도10에 도시된 바와 같이, 해당 필터링 장치에는 제1 취득 모듈(101), 제2 취득 모듈(102) 및 결정 모듈(103)이 포함될 수 있으며, 여기에서,

제1 취득 모듈(101)은, 필터링하고자 하는 픽셀 정보를 취득하도록 구성되며;

제2 취득 모듈(102)은, 적어도 한 가지 사이드 정보를 취득하도록 구성되며;

결정 모듈(103)은, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하도록 구성된다.

상술한 방안에서, 결정 모듈(103)에는,

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하도록 구성되는 제1 처리 서브 모듈;

적어도 한 가지 사이드 정보와 처리된 후의 적어도 두 가지 컴포넌트에 의하여 융합 처리를 진행하고 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하도록 구성되는 융합 서브 모듈;

융합 정보에 대하여 처리를 진행하고, 필터링하고자 하는 픽처 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하도록 구성되는 제2 처리 서브 모듈이 포함된다.

상술한 방안에서, 제1 처리 서브 모듈은 구체적으로

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하도록 구성될 수 있다.

상술한 방안에서, 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 취득할 때, 상응하게, 제1 처리 서브 모듈은 구체적으로

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 융합 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하도록 구성될 수 있으며;

여기에서, 제1 사이드 정보에 블록 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함된다.

상술한 방안에서, 융합 서브 모듈은 구체적으로

처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제1 사이드 정보에 대하여 융합 처리를 진행하고, 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하도록 구성될 수 있다.

상술한 방안에서, 제2 처리 서브 모듈은 구체적으로

적어도 두 가지 컴포넌트 중의 적어도 한 가지 컴포넌트와 적어도 한 가지 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하도록 구성될 수 있다.

상술한 방안에서, 각 가지 컴포넌트에 대응되는 제2 사이드 정보를 취득할 때, 상응하게, 제1 처리 서브 모듈은 구체적으로

각각 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제2 사이드 정보를 융합 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하도록 구성될 수 있으며;

여기에서, 제2 사이드 정보와 제1 사이드 정보가 다르다.

상술한 방안에서, 융합 서브 모듈은 구체적으로

처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제2 사이드 정보에 대하여 융합 처리를 진행하고, 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하도록 구성될 수 있다.

상술한 방안에서, 신경망의 구조에 적어도 하나의 연합 처리 단계와 하나의 독립 처리 단계가 포함되며; 연합 처리 단계에서, 모든 컴포넌트가 공동적으로 처리되며; 독립 처리 단계에서 각 가지 컴포넌트가 신경망의 하나의 독립 분기에서 처리된다.

본 실시예에서, “유닛”은 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등일 수 있는 것을 이해할 것이며, 또한 모듈일 수 있도 있고, 비모듈일 수도 있는 것은 자명한다. 그리고, 본 실시예 중의 각 구성 부분은 하나의 처리 유닛 중에 집적될 수도 있고, 또한 각 유닛의 독립적인 물리적 존재일 수 있으며, 또한 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 집적되어 있을 수 있다. 상술한 집적된 유닛은 하드웨어의 형식을 이용하여 구현될 수도 있고, 또한 소프트웨어 기능 모듈의 형식을 이용하여 구현될 수도 있다.

만일 상기 집적된 유닛은 소프트웨어 기능 모듈의 형식으로 구현되고 또한 독립적인 제품으로 판매 또는 사용될 때, 하나의 컴퓨터 판독가능한 저장 매체에 저장할 수 있어, 이를 기반으로 본 실시예의 기술방안의 본질적이나 또는 종래 기술에 대하여 공헌이 있는 부분 또는 해당 기술방안의 전부 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있는 바, 일부 명령이 포함되어 한 컴퓨터 설비(개인용 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음) 또는 processor(프로세서)로 하여금 본 출원의 각 실시예의 방법의 전부 또는 일부 단계를 구현하게 할 수 있다. 전술된 저장 매체에는 USB 메모리, 이동 하드, 읽기전용 메모리(ReadOnly Memory, ROM), 무작위 접속 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 여러 가지 프로그램 코드를 저장할 수 있는 매체가 포함된다.

도11은 본 출원의 실시예가 제공하는 일 선택가능한 인코더의 구조 도면으로서, 도11에 도시된 바와 같이, 본 출원의 실시예가 인코더(1100)를 제공하는 바,

프로세서(1101)와 프로세서(1101)가 실행가능한 명령을 저장하는 저장매체(1102)가 포함되며, 저장매체(1102)는 통신 버스(1103)를 통하여 프로세서(1101)에 의존하여 조작을 실행하고, 명령은 프로세서(1101)에 의하여 실행될 때, 상술한 실시예의 필터링 방법을 실행한다.

설명해야 할 바로는, 실제 응용할 때, 단말 중의 각의 각 조립은 통신 버스(1103)를 통하여 커플링된다. 통신 버스(1103)는 이러한 조립 간의 연결 통신을 구현하는 것을 이해할 것이다. 통신 버스(1103)에 데이터 버스가 포함되는 외에, 또한 전원 버스, 제어 버스와 상태 신호 버스가 포함된다. 하지만 명확히 설명하기 위하여 도11에서 여러가지 버스를 통신 버스(1103)라고 표시한다.

본 출원의 실시예가 컴퓨터 저장매체를 제공하는 바, 실행가능한 명령을 저장하고, 상기 실행가능한 명령은 하나 또는 다수 개의 프로세서에 의하여 실행될 때, 상기 프로세서가 상술한 하나 또는 다수 개의 실시예의 상기 필터링 방법을 실행한다.

본 출원의 실시예 중의 기억장치는 휘발성 기억장치 또는 비휘발성 기억장치일 수 있거나, 또는 휘발성과 비휘발성 기억장치 두 가지를 포함할 수 있는 것을 이해할 것이다. 여기에서, 비휘발성 기억장치는 읽기전용 메모리(Read-Only Memory, ROM), 프로그래머블 메모리(Programmable ROM, PROM), 휘발성 프로그래머블 메모리(Erasable PROM, EPROM), 전기 휘발성 프로그래머블 메모리(Electrically EPROM, EEPROM) 또는 플래시 일 수 있다. 휘발성 메모리는 무작위 접속 메모리(Random Access Memory, RAM)일 수 있으며, 이는 외부 고속 캐시로 사용된다. 예시적이지만 제한적이지 않은 설명을 통하여, 많은 형식의 RAM가 사용가능한 것이며, 예를 들면, 정적 램(Static RAM, SRAM), 동적 램(Dynamic RAM, DRAM), 동기화 동적 램(Synchronous DRAM, SDRAM), 이중 데이터 속도 동적 램(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기화 동적 램(Enhanced SDRAM, ESDRAM), 동기화 링크 동적 램(Synchlink DRAM, SLDRAM)과 직접 램버스 램(Direct Rambus RAM, DR RAM) 등이다. 본 명세서에 기재된 시스템과 방법의 기억장치는 이러한 것과 임의의 기타 적합한 유형의 기억장치를 포함하나 이에 제한되지 않기 위한 것이다.

프로세서는 집적회로 칩일 수 있고, 신호의 처리 능력을 갖는다. 구현 과정에서, 상술한 방법의 각 단계는 프로세서 중의 하드웨어의 집적 논리회로 또는 소프트웨어 형식의 명령을 통하여 완성될 수 있다. 상기 프로세서는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그램가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 모듈 등일 수 있다. 본 출원의 실시예에 공개된 각 방법, 단계 및 논리 블럭도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있고, 해당 프로세서는 또한 임의의 일반적인 프로세서 등일 수 있다. 본 출원의 실시예에 공개된 방법의 단계와 결합시켜 직접 하드웨어 디코딩 프로세서로 실행하여 완성한 것으로 구현되거나, 또는 디코딩 프로세서 중의 하드웨어 및 소프트웨어 모듈 조합으로 실행하여 완성할 수 있다. 소프트웨어 모듈은 무작위 메모리, 플래시 메모리, 읽기전용 메모리, 프로그래머블 읽기전용 메모리 또는 전기 휘발성 프로그래머블 메모리, 레지스터 등 당업계의 성숙된 저장 매체에 위치할 수 있다. 해당 저장 매체는 기억장치에 위치하고, 프로세서가 기억장치 중의 정보를 읽으며, 그 하드웨어와 결합시켜 상기 방법의 단계를 완성한다.

본 명세서에 기재된 이러한 실시예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 이의 조합을 사용하여 구현될 수 있는 것을 이해할 것이다. 하드웨어의 구현에 있어서, 처리 유닛은 하나 또는 다수 개의 주문형 집적회로 （Application Specific Integrated Circuit，ASIC）, 디지털 신호 처리기（Digital Signal Processor，DSP）, 디지털 신호 처리 장치（ DSP Device，DSPD）, 프로그램 가능 논리 소자（Programmable Logic Device，PLD）, 필드 프로그래머블 게이트 어레이（Field ProgRAMmable Gate Array，FPGA）, 범용 프로세서, 제어기, 마이크로 제어기, 마이크로 프로세서, 본 출원의 상기 기능을 실행하는 기타 전자 유닛 또는 이의 조합에 구현될 수 있다.

소프트웨어 구현에 있어서, 본 명세서의 상기 기능을 실행하는 모듈(예를 들면 과정, 함수 등)을 통하여 본 명세서의 상기 기술을 구현할 수 있다. 소프트웨어 코드는 기억장치에 저장되고 프로세서에 의하여 실행될 수 있다. 기억장치는 프로세서 또는 포로세서 외부에서 구현될 수 있다.

설명해야 할 바로는, 본 명세서에서, 용어 “포함” 또는 이의 임의의 기타 변체는 비 배타성의 포함을 포함되고, 일련의 요소가 포함된 과정, 방법, 물품 또는 장치에 그런 요소가 포함되게 할 뿐 아니라, 또한 명확히 열거하지 못한 기타 요소가 포함되고, 또는 이런 과정, 방법, 물품 또는 장치에 위하여 고정된 요소가 포함된다. 더 많은 제한이 없는 상황 하에서, 용어 “ 하나가 포함……”가 제한한 요소는, 해당 요소가 포함되는 과정, 방법, 물품 또는 장치 중에 또한 다른 같은 요소가 존재하는 것을 제거하지 않는다.

상술한 본 출원의 실시예 번호는 단지 설명하기 위한 것일 뿐, 실시예의 우열을 대표하지 않는다.

위의 실시 방식의 설명을 통하여 본 분야의 기술자들이 상술한 실시예의 방법은 소프트웨어와 필요한 범용 하드웨어 플랫폼의 방식에 의존하여 구현될 수 있고, 하드웨어를 통하여 구현될 수 있는 것은 물론이지만, 많은 상황 하에서 전자는 더욱 바람직한 실시 방식이다. 이를 기반으로 본 출원의 기술방안의 본질적이나 또는 종래 기술에 대하여 공헌이 있는 부분은 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 하나의 저장 매체(예를 들면 ROM/RAM, 자기 디스크, 광 디스크)에 저장될 수 있는 바, 일부 명령이 포함되어 한 단말(핸드폰, 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음)로 하여금 본 출원의 각 실시예의 상기 방법을 구현하게 할 수 있다.

위에 도면을 참조하여 본 출원의 실시예에 대하여 설명을 진행하지만, 본 출원은 상술한 구체적인 실시 방식에 제한되지 않으며, 상술한 구체적인 실시 방식은 단지 예시적일 뿐 제한하는 것이 아니고, 본 분야의 기술자들이 본 출원의 계시 하에서, 본 출원의 주지와 청구범위에 청구한 범위에 벗어나지 않는 상황 하에서, 또한 많은 형식을 할 수 있어, 이들은 모두 본 출원의 보호 범위에 속한다.

산업상　이용가능성

본 출원의 실시예에서, 먼저, 필터링 장치가 필터링하고자 하는 픽셀 정보를 취득하고, 적어도 한 가지 사이드 정보를 취득하며, 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하며; 다시 말하면, 본 출원의 실시예에서, 필터링하고자 하는 픽셀 정보 중 적어도 두 가지 컴포넌트 및 적어도 한 가지 사이드 정보을 취득하고 이를 신경망을 기반으로 한 필터에 입력하고 처리하며, 필터링하는 과정에서, 적어도 한 가지 컴포넌트의 사이드 정보를 융합하여 필터링된 후의 픽셀 정보를 취득하며, 이렇게 하면, 여러가지 컴포넌트 간의 관계를 충분히 이용할 뿐 아니라, 또한 효과적으로 적어도 두 가지 컴포넌트에 대하여 다수 회의 완전한 네트워크 포워드 컴퓨팅을 진행해야 하는 문제를 피하고, 나아가 컴퓨팅 복잡성을 낮추고 인코딩 비트 레이트를 절약하고, 인코딩/디코딩 과정 중 사전 처리 필터링된 후 취득된 픽처와 후 처리 필터링된 후 취득된 픽처의 품질을 향상시켜 재구성 픽처의 품질을 향상시킨다.

Claims

필터링 방법에 있어서,
상기 방법에는,
필터링하고자 하는 픽셀 정보를 취득하며;
적어도 한 가지 사이드 정보를 취득하며;
상기 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 상기 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제1항에 있어서,
상기 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 상기 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하는 것에는,
각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하며；
상기 적어도 한 가지 사이드 정보와 상기 처리된 후의 적어도 두 가지 컴포넌트에 의하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하며;
상기 융합 정보에 대하여 처리를 진행하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제2항에 있어서,
상기 각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하는 것에는,
각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 컴포넌트 처리를 진행하고, 상기 처리된 후의 적어도 두 가지 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제2항에 있어서,
각 가지 컴포넌트에 대응되는 제1 사이드 정보를 취득할 때, 상응하게, 상기 각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하는 것에는,
각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제1 사이드 정보를 융합 처리를 진행하고, 상기 처리된 후의 적어도 두 가지 컴포넌트를 취득하며;
상기 제1 사이드 정보에 블록 구분 정보 및 양자화 파라미터 정보 중 적어도 하나가 포함되는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제4항에 있어서,
상기 적어도 한 가지 사이드 정보와 상기 처리된 후의 적어도 두 가지 컴포넌트에 의하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것에는,
상기 처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제1 사이드 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제2항에 있어서,
상기 융합 정보에 대하여 처리를 진행하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하는 것에는,
상기 융합 정보에 대하여 연합 처리와 분로 처리를 진행하고 상기 적어도 두 가지 컴포넌트 중의 적어도 한 가지 컴포넌트에 대응되는 잔여 정보를 취득하며;
상기 적어도 두 가지 컴포넌트 중의 적어도 한 가지 컴포넌트와 상기 적어도 한 가지 컴포넌트에 대응되는 잔여 정보에 대하여 덧셈을 진행하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
각 가지 컴포넌트에 대응되는 제2 사이드 정보를 취득할 때, 상응하게, 각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트에 대하여 처리를 진행하고, 처리된 후의 적어도 두 가지 컴포넌트를 취득하는 것에는,
각각 상기 적어도 두 가지 컴포넌트 중 각 가지 컴포넌트와 각 가지 컴포넌트에 대응되는 제2 사이드 정보를 융합 처리를 진행하고, 상기 처리한 후의 적어도 두 가지 컴포넌트를 취득하며;
상기 제2 사이드 정보와 제1 사이드 정보가 다른 것이 포함되는 것을 특징으로 하는 필터링 방법.
제7항에 있어서,
상기 적어도 한 가지 사이드 정보와 상기 처리된 후의 적어도 두 가지 컴포넌트에 의하여 융합 처리를 진행하고 상기 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것에는,
상기 처리된 후의 적어도 두 가지 컴포넌트 및 각 가지 컴포넌트에 대응되는 제2 사이드 정보에 대하여 융합 처리를 진행하고, 상기 필터링하고자 하는 픽셀 정보의 융합 정보를 취득하는 것이 포함되는 것을 특징으로 하는 필터링 방법.
제1항에 있어서,
상기 신경망의 구조에는 적어도 하나의 연합 처리 단계와 하나의 독립 처리 단계가 포함되며;
상기 연합 처리 단계에서, 모든 컴포넌트가 공동적으로 처리되며;
상기 독립 처리 단계에서, 각 가지 컴포넌트가 상기 신경망의 하나의 독립 분기에서 처리되는 것을 특징으로 하는 필터링 방법.
필터링 장치에 있어서,
상기 필터링 장치에는,
필터링하고자 하는 픽셀 정보를 취득하도록 구성되는 제1 취득 모듈;
적어도 한 가지 사이드 정보를 취득하도록 구성되는 제2 취득 모듈; 및
상기 필터링하고자 하는 픽셀 정보의 적어도 두 가지 컴포넌트와 상기 적어도 한 가지 사이드 정보를 신경망을 기반으로 한 필터에 입력하고, 상기 필터링하고자 하는 픽셀 정보가 필터링된 후의 적어도 한 가지 컴포넌트를 출력하고 취득하도록 구성되는 결정 모듈;
이 포함되는 것을 특징으로 하는 필터링 장치.
인코더에 있어서,
상기 인코더에는,
프로세서와 상기 프로세서가 실행가능한 명령을 저장하는 저장매체가 포함되며,
상기 저장매체는 통신 버스를 통하여 상기 프로세서에 의존하여 조작을 실행하고,
상기 명령은 상기 프로세서에 의하여 실행될 때, 상술한 제1항 내지 제9항 중 어느 한 항의 상기 필터링 방법을 실행하는 것을 특징으로 하는 인코더.
컴퓨터 저장매체에 있어서,
실행가능한 명령을 저장하고,
상기 실행가능한 명령은 하나 또는 다수 개의 프로세서에 의하여 실행될 때, 상기 프로세서가 상기 제1항 내지 제9항 중 어느 한 항의 상기 필터링 방법을 실행하는 것을 특징으로 하는 컴퓨터 저장매체.