KR20210114462A - 정보 처리 방법 및 장치, 기기, 저장 매체 - Google Patents

정보 처리 방법 및 장치, 기기, 저장 매체 Download PDF

Info

Publication number
KR20210114462A
KR20210114462A KR1020217025551A KR20217025551A KR20210114462A KR 20210114462 A KR20210114462 A KR 20210114462A KR 1020217025551 A KR1020217025551 A KR 1020217025551A KR 20217025551 A KR20217025551 A KR 20217025551A KR 20210114462 A KR20210114462 A KR 20210114462A
Authority
KR
South Korea
Prior art keywords
pixel
encoded
block
attribute information
encoding
Prior art date
Application number
KR1020217025551A
Other languages
English (en)
Inventor
옌주오 마
준옌 훠
슈아이 완
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20210114462A publication Critical patent/KR20210114462A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 출원의 실시예는 정보 처리 방법 및 장치, 기기, 저장매체를 개시하였고, 여기서 상기 방법은 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하는 단계; 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하는 단계; 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계; 및상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하는 단계를 포함한다.

Description

정보 처리 방법 및 장치, 기기, 저장 매체
본 출원의 실시예는 비디오 인코딩 기술에 관한 것이며, 정보 처리 방법 및 장치, 기기, 저장 매체(information processing method and apparatus, and device and storage medium)에 관한 것이지만 이에 한정되지는 않는다.
근년에, 비디오 서비스는 인터넷 및 이동 통신 영역에서 신속히 발전하고 있다. 비디오 서비스는 원본 비디오 데이터에 대해 인코딩을 수행한 후, 인코딩 후의 비디오 데이터를 인터넷 또는 이동 통신망 채널을 통해 사용자 단말에 전송해야 한다.
사용자에 있어서, 비디오의 유창성은 사용자의 비디오 시청 체험에 직접적인 영향을 미친다. 또한 비디오 인코딩 중 예측 인코딩의 계산 복잡성은 비디오 유창성에 직접적인 영향을 미친다.
이 점을 고려하여, 본 출원의 실시예는 관련 기술에 존재하는 적어도 하나의 문제를 해결하기 위하여 정보 처리 방법 및 장치, 기기, 저장 매체를 제공한다.
본 출원의 실시예의 기술 방안은 아래와 같이 구현된다.
제1 측면에 있어서, 본 출원의 실시예는 정보 처리 방법을 제공하고, 상기 방법은, 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하는 단계; 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하는 단계;
속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계; 및 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하는 단계를 포함한다.
제2 측면에 있어서, 본 출원의 실시예는 정보 처리 장치를 제공하고, 상기 장치는, 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하도록 구성된 원본 픽셀 집합 결정 모듈; 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하도록 구성된 속성 정보 결정 모듈; 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하도록 구성된 타깃 픽셀 선택 모듈; 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하도록 구성된 인코딩 처리 모듈을 포함한다.
제3 측면에 있어서, 본 출원의 실시예는 메모리 및 프로세서를 포함하는 전자 기기를 제공하고, 상기 메모리에는 프로세서에서 운행 가능한 컴퓨터 프로그램이 저장되어 있으며, 상기 프로세서는 상기 프로그램을 실행할 때 상기 정보 처리의 단계를 구현한다.
제4 측면에 있어서, 본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 정보 처리 방법의 단계를 구현한다.
본 출원의 실시예에 있어서, 인코딩될 블록의 원본 픽셀 집합에서 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하고; 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하며; 이로써, 원본 픽셀 집합 중 모든 원본 픽셀의 속성 정보에 기반하여 인코딩될 블록에 대해 인코딩을 수행하는 것이 아니라, 선택한 일부 원본 픽셀(즉 타깃 픽셀 집합 중의 원본 픽셀)의 속성 정보에 기반하여 인코딩될 블록에 대해 인코딩을 수행함으로써, 인코딩 처리의 계산 복잡성을 줄여 비디오 인코딩 효율을 향상시켜 사용자가 비디오를 시청하는 유창성을 향상할 수 있다.
도 1은 본 출원의 실시예에 따른 비디오를 인코딩/디코딩하는 네트워크 구조의 구성 구조 예시도이다.
도 2a는 본 출원의 실시예에 따른 비디오 인코더의 구성 구조 예시도이다.
도 2b는 본 출원의 실시예에 따른 비디오 디코더의 구성 구조 예시도이다.
도 3a는 본 출원의 실시예에 따른 정보 처리 방법의 구현 프로세스 예시도이다.
도 3b는 본 출원의 실시예에 따른 다른 정보 처리 방법의 구현 프로세스 예시도이다.
도 3c는 본 출원의 실시예에 따른 인코딩될 블록 및 참조 픽셀의 관계 예시도이다.
도 3d는 본 출원의 실시예에 따른 또 다른 정보 처리 방법의 구현 프로세스 예시도이다.
도 4는 본 출원의 실시예에 따른 또 다른 정보 처리 방법의 구현 프로세스 예시도이다.
도 5a는 본 출원의 실시예에 따른 또 다른 정보 처리 방법의 구현 프로세스 예시도이다.
도 5b는 본 출원의 실시예에 따른 예측 모델을 구축하는 방법의 구현 프로세스 예시도이다.
도 6a는 본 출원의 실시예에 따른 정보 처리 장치의 구성 구조 예시도이다.
도 6b는 본 출원의 실시예에 따른 다른 정보 처리 장치의 구성 구조 예시도이다.
도 6c는 본 출원의 실시예에 따른 또 다른 정보 처리 장치의 구성 구조 예시도이다.
도 6d는 본 출원의 실시예에 따른 또 다른 정보 처리 장치의 구성 구조 예시도이다.
도 7은 본 출원의 실시예에 따른 전자 기기의 하드웨어 엔티티 예시도이다.
본 실시예는 비디오 인코딩 네트워크 구조를 제공하고, 도 1은 본 출원의 실시예에 따른 비디오 인코딩 네트워크 구조의 구성 구조 예시도이며, 도 1에 도시된 바와 같이, 상기 네트워크 구조는 한 개 또는 복수 개의 전자 기기(11) 내지 전자 기기(1N) 및 통신망(01)을 포함하고, 여기서 전자 기기(11) 내지 전자 기기(1N)는 통신망(01)을 통해 비디오 인터렉션을 수행할 수 있다. 전자 기기는 실시 과정에서 여러 타입의 비디오 인코딩/디코딩 기능을 가진 기기일 수 있고, 예를 들어, 상기 전자 기기는 핸드폰, 태블릿 PC, 개인용 컴퓨터, 개인 정보 단말기, GPS, 디지털 전화, 비디오 전화, 텔레비전, 센서 기기, 서버 등을 포함할 수 있다.
상기 전자 기기는 비디오 인코딩/디코딩 기능을 가지고 있고, 일반적으로 비디오 인코더 및 비디오 디코더가 포함되며, 예를 들어, 도 2a에 도시된 바와 같이, 비디오 인코더(21)의 구성 구조는, 변환 및 양자화 유닛(211), 인트라 추정 유닛(212), 인트라 예측 유닛(213), 모션 보상 유닛(214), 모션 추정 유닛(215), 역변환 및 역 양자화 유닛(216), 필터 제어 분석 유닛(217), 필터링 유닛(218), 인코딩 유닛(219), 및 디코딩 이미지 캐시 유닛(210) 등을 포함하며, 여기서, 필터링 유닛(218)은 디 블로킹 필터링 및 샘플 적응성 오프셋(Sample Adaptive Offset, SAO) 필터링을 실현할 수 있고, 인코딩 유닛(219)은 헤드 정보 인코딩 및 콘텍스트 적응형 이진 산술 인코딩(Context-based Adaptive Binary Arithmatic Coding, CABAC)을 실현할 수 있다. 입력된 원본 비디오 데이터의 경우, 인코딩 트리 유닛(Coding Tree Unit, CTU)의 구분을 통해 현재 비디오 프레임의 인코딩될 블록을 획득할 수 있고, 상기 인코딩될 블록에 대해 인트라 예측 또는 인터 예측을 수행한 후, 획득한 잔차 정보를 변환 및 양자화 유닛(211)을 통해 변환하고, 잔여 정보를 픽셀 도메인에서 변환 도메인으로 변환하여, 획득된 변환 계수를 양자화함으로, 비트 레이트를 더 줄이는데 사용하고; 인트라 추정 유닛(212) 및 인트라 예측 유닛(213)은 인코딩될 블록에 대한 인트라 예측을 수행하는 데 사용되며, 예를 들어, 인코딩될 블록을 인코딩하는 데 사용되는 인트라 예측 모드를 결정하고; 모션 보상 유닛(214) 및 모션 추정 유닛(215)은 시간적 예측 정보를 제공하기 위하여 인코딩될 블록이 하나 또는 복수 개의 참조 프레임에서 하나 또는 복수 개의 블록에 대한 인터 예측 인코딩을 수행하는 데 사용되며; 여기서, 모션 추정 유닛(215)은 모션 벡터를 추정하는 데 사용되며, 상기 모션 벡터는 상기 인코딩될 블록의 모션을 추정할 수 있으며, 모션 보상 유닛(214)은 모션 벡터를 기반으로 모션 보상을 수행하고, 인트라 예측 모드를 결정한 후, 인트라 예측 유닛(213)은 또한 선택된 인트라 예측 데이터를 인코딩 유닛(219)에 제공하는 데 사용되며, 모션 추정 유닛(215)은 또한 계산하여 결정된 모션 벡터 데이터를 인코딩 유닛(219)으로 전송하고; 또한, 역변환 및 역 양자화 유닛(216)은 인코딩될 블록을 재구성하고, 픽셀 영역에서 잔차 블록을 재구성하는 데 사용되고, 상기 재구성된 잔차 블록은 필터 제어 분석 유닛(217) 및 필터링 유닛(218)을 통해 블로킹 이펙트 아티팩트를 제거한 후, 상기 재구성된 잔차 블록을 디코딩 이미지 캐시 유닛(210)의 프레임 내의 예측 블록에 추가하여, 재구성된 비디오 인코딩 블록을 생성하기 위해 사용되며; 인코딩 유닛(219)은 다양한 인코딩 파라미터 및 양자화된 변환 계수를 인코딩하는 데 사용되며, CABAC에 기반한 인코딩 알고리즘에서, 컨텍스트 콘텐츠는 인접한 인코딩 블록에 기반하여, 결정된 인트라 예측 모드의 정보를 인코딩하여, 비디오 데이터의 코드 스트림을 출력하는 데 사용될 수 있으며; 디코딩 이미지 캐시 유닛(210)은 예측 참조를 위하여, 재구성된 비디오 인코딩 블록을 저장하는 데 사용된다. 비디오 인코딩이 수행됨에 따라, 새로운 재구성된 비디오 인코딩 블록이 계속 생성되고, 이러한 재구성된 비디오 인코딩 블록은 모두 디코딩 이미지 캐시 유닛(210)에 저장된다.
비디오 인코더(21)에 대응하는 비디오 디코더(22)에 있어서, 이의 구성 구조는 도 2b에 도시된 바와 같이, 디코딩 유닛(221), 역변환 및 역 양자화 유닛(222), 인트라 예측 유닛(223), 모션 보상 유닛(224), 필터링 유닛(225) 및 디코딩 이미지 캐시 유닛(226) 등을 포함하며, 여기서 디코딩 유닛(221)은 헤드 정보 디코딩 및 CABAC 디코딩을 구현할 수 있고, 필터링 유닛(225)은 디 블록킹 필터링 및 SAO 필터링을 구현할 수 있다. 입력된 비디오 신호가 도 2a의 인코딩 과정을 거친 후, 상기 비디오 신호의 코드 스트림을 출력하고; 상기 코드 스트림은 비디오 디코더(22)에 입력되며, 먼저 디코딩 유닛(221)을 통과하여, 디코딩 후의 변환 계수를 획득하고; 상기 변환 계수는 역변환 및 역 양자화 유닛(222)에 의해 처리되므로, 픽셀 도메인에서 잔차 블록을 생성하며; 인트라 예측 유닛(223)은 결정된 인트라 예측 모드 및 현재 프레임 또는 이미지의 이전 디코딩 블록에 따른 데이터에 기반하여 현재 디코딩 블록의 예측 데이터를 생성하는 데 사용될 수 있으며; 모션 보상 유닛(224)은 모션 벡터 및 다른 관련 문법 요소를 분석함으로써 현재 디코딩 블록의 예측 정보를 결정하고, 상기 예측 정보를 사용하여 현재 디코딩되고 있는 현재 디코딩 블록의 예측 블록을 생성하고; 역변환 및 역 양자화 유닛(222)의 잔차 블록 및 인트라 예측 유닛(223) 또는 모션 보상 유닛(224)에 의해 생성된 대응되는 예측 블록을 합산함으로써, 디코딩된 비디오 블록을 구성하고; 상기 디코딩된 비디오 블록은 블록 이펙트 아티팩트를 제거하여 비디오 품질을 향상시키기 위하여 필터링 유닛(225)을 통과하며; 디코딩된 비디오 블록은 디코딩 이미지 캐시 유닛(226)에 저장되고, 디코딩 이미지 캐시 유닛(226)은 후속 인트라 예측 또는 모션 보상을 위한 참조 이미지를 저장하고, 동시에 비디오 신호의 출력 표시에도 사용된다.
이로써, 아래에 첨부된 도면 및 실시예를 결합하여 본 출원의 기술 방법을 상세히 설명한다. 본 출원의 실시예에서 제공되는 정보 처리 방법은, 비디오 인코더(21), 및 비디오 디코더(22)에 적용될 수 있으며, 이는 본 출원의 실시예에서 특별히 한정되지 않는다.
본 실시예는 정보 처리 방법을 제공하고, 상기 방법은 전자 기기에 적용되며, 상기 방법에서 구현된 기능은 전자 기기에서의 프로세서에 의해 프로그램 코드를 호출하여 구현될 수 있으며, 물론 프로그램 코드는 컴퓨터 저장 매체에 저장될 수 있으며, 이로부터 알다시피, 상기 전자 기기는 적어도 프로세서 및 저장 매체를 포함한다.
도 3a는 본 출원의 실시예에 따른 정보 처리 방법의 구현 프로세스 예시도이다. 도 3a에 도시된 바와 같이, 상기 방법은 단계 S301 내지 S304를 포함한다.
단계 S301에 있어서, 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정한다.
설명해야 할 것은, 상기 인코딩될 블록은 현재 비디오 프레임에서 인코딩이 필요한 이미지 영역을 의미하고, 상이한 인코딩 프로세스의 경우, 인코딩될 블록의 타입이 상이하며, 원본 픽셀 집합에 포함된 내용도 상이하다. 예를 들어, 인코딩 처리가 예측 인코딩일 경우, 인코딩될 블록은 휘도 성분 및 색도 성분을 포함하는 이미지 블록이고, 인코딩될 블록 외의 재구성 픽셀은 상기 원본 픽셀 집합으로 결정될 수 있으며, 즉, 상기 인코딩될 블록의 예측 인코딩에 사용되는 참조 픽셀이지만, 원본 픽셀 집합의 콘텐츠에 관해 한정되지 않으며, 이는 단지 예일뿐이고; 인코딩 처리가 변환 인코딩일 경우, 인코딩될 블록은 잔차 값을 포함하는 이미지 블록, 즉 예측 인코딩 후 출력되는 잔차 블록이며, 잔차 블록의 픽셀을 원본의 픽셀 집합으로 결정할 수 있지만, 원본 픽셀 집합의 내용에 관해 한정하지 않으며, 이는 단지 예일뿐이며; 인코딩 처리가 엔트로피 인코딩일 경우, 인코딩될 블록은 변환 계수를 포함하는 이미지 블록, 즉 변환 인코딩 후 출력되는 계수 블록이며, 계수 블록의 픽셀을 상기 원본 픽셀 집합으로 결정할 수 있지만, 원본 픽셀 집합의 내용에 관해 한정하지 않으며, 이는 단지 예일뿐이다.
단계 S302에 있어서, 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정한다.
이해할 수 있는 것은, 상기 원본 픽셀 집합이 인코딩될 블록 외의 재구성 픽셀일 경우, 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보는 재구성 픽셀의 위치 정보, 휘도 성분, 색도 성분 등이고; 상기 원본 픽셀 집합이 잔차 블록의 픽셀일 경우, 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보는 잔차 블록의 픽셀의 위치 정보, 잔차 값 등이며; 상기 원본 픽셀 집합이 계수 블록의 픽셀일 경우, 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보는 계수 블록의 일부 픽셀의 위치 정보, 변환 계수 등이다.
단계 S303에 있어서, 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득한다.
단계 S304에 있어서, 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행한다.
설명해야 할 것은, 여기서 인코딩 처리의 종류는 한정되지 않으며, 예를 들어, 상기 인코딩 처리는 예측 인코딩, 변환 인코딩, 엔트로피 인코딩 중 어느 하나 일 수 있다.
본 출원의 실시예에 있어서, 인코딩될 블록을 인코딩하기 전에, 먼저 상기 인코딩될 블록의 원본 픽셀 집합에서 일부 원본 픽셀(즉 대상 픽셀 집합)을 선택하고, 일부 원본 픽셀(원본 픽셀 집합의 모든 원본 픽셀이 아님)의 속성 정보에 기반하여, 상기 인코딩될 블록을 인코딩하여, 인코딩 처리의 복잡성을 줄여, 인코딩에 소요되는 시간을 줄임으로써, 사용자가 비디오를 시청하는 유창성을 향상할 수 있다.
설명해야 할 것은, 본 출원의 실시예에서 제공한 정보 처리 방법은, 전통적인 비디오 인코딩 기술(예를 들어 비디오 인코딩 기준 H.264, H.265등)에 대해 개량을 수행한 것이고, 즉 전통 비디오 인코딩 기술을 기반으로 부분 집합의 개념을 추가한 것이다. 예를 들어, 인코딩될 블록에 대해 예측 인코딩을 수행하기 전, 먼저 원본 픽셀 집합 (인코딩될 블록에 인접한 모든 재구성 픽셀을 포함)에서 원본 픽셀을 선택하고(즉 부분 집합을 얻음), 그 다음, 원본 픽셀 집합에 대해 다운 샘플링 처리 또는 필터링 처리를 수행하는 것이 아니라, 일부 원본 픽셀 집합에 대해 다운 샘플링 처리 또는 필터링 처리 등을 수행하며, 이로써, 예측 인코딩의 복잡성을 줄임으로써, 인코딩 효율을 향상시킬 수 있다.
본 출원의 실시예는 다른 정보 처리 방법을 제공하였으며, 도 3b는 본 출원의 실시예에 따른 정보 처리 방법의 구현 프로세스 예시도이고, 도 3b에 도시된 바와 같이, 상기 방법은 단계 S311내지 S314를 포함한다.
단계 S311에 있어서, 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하고, 상기 원본 픽셀 집합의 각 원본 픽셀은 상기 인코딩될 블록 외의 재구성 픽셀이다.
이해할 수 있는 것은, 여기서 상기 인코딩될 블록 외의 적어도 하나의 재구성 픽셀을 상기 원본 픽셀 집합의 원본 픽셀로 결정된다. 일반적으로 말하면, 상기 인코딩될 블록 외의 재구성 픽셀을 참조 픽셀이라고 칭하고, 이는 인코딩될 블록을 예측할 때 이러한 재구성 픽셀의 속성 정보(예를 들어 휘도 성분, 색도 성분 등)를 참조하여 인코딩될 블록에서 예측될 픽셀을 예측해야 하기 때문이다. 따라서, 재구성 픽셀은 이미 예측 완료된 픽셀이다. 예를 들어, 도 3c에 도시된 바와 같이, 상기 원본 픽셀 세트는 인코딩될 블록(30)의 위쪽 행 영역(31)의 모든 재구성 픽셀을 포함할 수 있고, 또는, 상기 원본 픽셀 집합은 또한 인코딩될 블록(30)의 왼쪽 열 영역(32)의 모든 재구성 픽셀을 포함할 수 있다. 일반적으로 말하면, 상기 원본 픽셀 집합에 포함된 것은 재구성 픽셀의 픽셀 식별자이고, 예를 들면, 픽셀 번호 등이다.
단계 S312에 있어서, 상기 원본 픽셀 집합의 각 재구성 픽셀의 속성 정보를 결정한다.
예를 들어, 상기 현재 비디오 프레임의 비디오 데이터에 기반하여, 상기 원본 픽셀 집합의 각 재구성 픽셀의 위치 정보, 휘도 성분, 색도 성분 등 속성 정보를 획득할 수 있다.
단계 S313에 있어서, 속성 정보가 선별 조건을 만족하는 재구성 픽셀을 선택하여, 타깃 픽셀 집합을 획득한다.
일반적으로 말하면, 상기 선별 조건은 인코딩될 블록과 심하게 관련된 재구성 픽셀을 선별하여, 타깃 픽셀 집합을 획득하는 데 사용된다. 설명해야 할 것은, 상기 타깃 픽셀 집합에 재구성 픽셀의 속성 정보가 포함되어 있다.
단계 S314에 있어서, 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행한다.
이해할 수 있는 것은, 상기 예측 인코딩은 인코딩 처리의 처리 단계로, 주로 인접 픽셀의 공간적 또는 시간적 연관 관계를 이용하여, 현재 전송된 픽셀로 인코딩 중인 픽셀을 예측 한 다음, 예측된 값 및 실제 값의 차이에 대해(즉 예측 오류) 인코딩 및 전송을 수행한다. 예를 들어, 예측 인코딩에서, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보를 이용하여, 상기 타깃 픽셀 집합에 대해 다운 샘플링 또는 필터링 처리를 수행하며; 또한, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보를 이용하여, 인코딩될 블록의 예측 모델을 결정한다.
다른 실시예에 있어서, 또한 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 변환 인코딩 또는 엔트로피 인코딩을 수행한다.
이해할 수 있는 것은, 상기 변환 인코딩은 인코딩 프로세스의 다른 처리 단계로, 주로 공간 영역을 설명한 이미지이고, 일부 변환(이산 코사인 변환, 이산 사인 변환, Hadamard 변환 등)을 통해 변환 도메인의 데이터 (계수)를 형성하고, 데이터 배포를 변경하여, 유효 데이터의 양을 줄이는 목적에 도달한다. 예를 들어, 변환 인코딩에서, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보를 이용하여, 변환 인코딩 모드의 정보를 추론한다.
예측 인코딩과 변환 인코딩은 압축 인코딩의 두 가지 방법으로, 이 두 방법이 결합되면, 하이브리드 인코딩이 형성되고, 하이브리드 인코딩의 틀에서, 엔트로피 인코딩은 예측 인코딩과 변환 인코딩 이후의 처리 단계이며, 일종의 가변 길이 인코딩(Variable Length Coding, VLC)으로서, 하이브리드 인코딩의 압축 효율을 더욱 향상시킬 수 있다. 엔트로피 인코딩에 있어서, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보를 이용하여, 엔트로피 인코딩 컨텍스트 모델의 정보를 추론할 수 있다.
본 출원의 실시예에 있어서, 인코딩될 블록의 원본 픽셀 집합에서 속성 정보가 선별 조건을 만족하는 재구성 픽셀을 선택하여 타깃 픽셀을 획득하고; 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행하고; 이로써, 선택된 일부 원본 픽셀(원본 픽셀 집합의 모든 원본 픽셀이 아님)의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 상기 어느 한 인코딩 처리를 수행하며, 인코딩 처리의 계산 복잡성을 줄여, 비디오 인코딩 효율을 개선함으로써, 사용자가 비디오를 시청하는 유창성을 향상할 수 있다.
본 출원의 실시예는 또 다른 정보 처리 방법을 제공하였으며, 도 3d는 본 출원의 실시예에 따른 또 다른 정보 처리 방법의 구현 프로세스 예시도이다. 도 3d에 도시된 바와 같이, 상기 방법은 단계 S321 내지 S324를 포함한다.
단계 S321에 있어서, 현재 비디오 프레임에서 인코딩될 블록에서 적어도 하나의 인코딩될 픽셀을 원본 픽셀로 결정하여, 원본 픽셀 집합을 획득한다.
설명해야 할 것은, 상이한 단계의 인코딩 처리 과정에서, 상기 인코딩될 블록에서 인코딩될 픽셀의 속성 정보는 상이하다. 예를 들어, 단계 S321 내지 단계 S324는 예측 인코딩을 수행하고, 여기서 상기 인코딩될 픽셀의 속성 정보는 휘도 성분, 색도 성분, 위치 정보 등을 포함한다. 다른 예로서, 단계 S321 내지 단계 S324는 변환 인코딩을 수행하고, 여기서 인코딩될 픽셀의 속성 정보는 예측 인코딩 후에 출력되는 잔차 값, 위치 정보 등을 포함하고, 즉, 상기 인코딩될 블록은 잔차 블록이며; 또 다른 예로서, 단계 S321 내지 단계 S324가 엔트로피 인코딩을 수행할 경우, 여기서 상기 인코딩될 픽셀의 속성 정보는 변환 인코딩 후 출력되는 변환 계수, 위치 정보 등을 포함하고, 즉, 인코딩될 블록은 계수 블록이다.
단계 S322에 있어서, 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정한다.
단계 S323에 있어서, 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득한다.
예를 들어, 변환 인코딩에 있어서, 상기 잔차 블록의 각 인코딩될 픽셀의 위치 정보에 기반하여, 잔차 블록에서 일부 인코딩될 픽셀을 샘플링하고, 샘플링된 일부 인코딩될 픽셀을 상기 타깃 픽셀 집합으로 결정하고; 다른 예를 들어, 변환 인코딩에 있어서, 상기 잔차 블록에서 잔차 값이 미리 설정된 임계 값보다 큰 인코딩될 픽셀을 선택하여, 타깃 픽셀 집합을 획득하며; 또 다른 예는, 엔트로피 인코딩에 있어서, 상기 계수 블록의 각 인코딩될 픽셀의 위치 정보에 기반하여, 상기 계수 블록에서 일부 인코딩될 픽셀을 샘플링하여, 샘플링된 일부 인코딩될 픽셀을 타깃 픽셀 집합으로 결정할 수 있다.
단계 S324에 있어서, 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행한다.
본 출원의 실시예에 있어서, 인코딩될 블록의 일부 인코딩될 픽셀에 대해 인코딩하며, 예를 들어, 상기 인코딩될 블록의 모든 인코딩될 픽셀을 인코딩하는 것이 아니라, 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩 등에 대해 인코딩하고, 이로써 인코딩의 복잡성을 효과적으로 줄이고, 데이터 처리 속도를 향상시켜, 인코딩의 효율을 향상시킴으로, 사용자가 비디오를 시청하는 유창성을 개선할 수 있다.
본 출원의 실시예는 다른 정보 처리 방법을 제공하였으며, 도 4는 본 출원의 실시예에 따른 정보 처리 방법의 구현 프로세스 예시도이다. 도 4에 도시된 바와 같이, 상기 방법은 단계 S401 내지 S406을 포함한다.
단계 S401에 있어서, 현재 비디오 프레임에서 인코딩될 블록이 위치하여 있는 미리 설정된 범위 내의 N 개의 재구성 픽셀을, 상기 원본 픽셀 집합으로 결정하고; 여기서 N은 미리 설정된1보다 크거나 같은 정수이다.
예를 들어, 상기 인코딩될 블록에 인접한 참조 행 또는 참조 열 중의 재구성 픽셀을 원본 픽셀 집합으로 결정한다. 여기서 상기 참조 행 및 상기 참조 열의 개수는 한정되지 않으며, 한 행 또는 복수 개의 행이 참조 행이 될 수 있고, 또는, 한 열 또는 복수 개의 열이 참조 열이 될 수 있다. 도 3c에 도시된 바와 같이, 인코딩될 블록(30)의 위쪽 행 영역(31)에 있는 재구성 픽셀은 원본 픽셀 집합으로 결정될 수 있고, 또는, 인코딩될 블록(30)의 왼쪽 열 영역(32)에 있는 재구성 픽셀을 원본 픽셀 집합으로 결정할 수 있다. 설명해야 할 것은, N의 값은 미리 설정될 수 있으며, 예를 들면, N=인코딩될 블록의 변의 길이+n이고, n은 0보다 크거나 같은 정수이고, 인코딩될 블록의 변의 길이는 픽셀 수로 표시할 수 있다.
또 설명해야 할 것은, 단계 S401는 사실상 상기 실시예 중 단계 S301의 일 실시예이다.
단계 S402에 있어서, 상기 원본 픽셀 집합의 각 재구성 픽셀의 속성 정보를 결정한다.
단계 S403에 있어서, 상기 원본 픽셀 집합 중 재구성 픽셀의 속성 정보에 기반하여, 각 재구성 픽셀 및 상기 인코딩될 블록의 연관성을 결정한다.
이해할 수 있는 것은, 상기 연관성은 상기 재구성 픽셀 및 상기 인코딩될 블록(또는 상기 인코딩될 블록 중 예측될 픽셀) 사이의 연관 정도를 표시하는 데 사용된다. 예를 들어, 상기 원본 픽셀 집합에서 재구성 픽셀 및 상기 인코딩될 블록의 위치 관계를 결정할 수 있고, 상기 위치 관계를 상기 재구성 픽셀 및 상기 인코딩될 블록의 연관성으로 결정할 수 있다. 다른 실시예에 있어서, 상기 원본 픽셀 집합에서 이미지 성분이 미리 설정된 범위 내에 있는 재구성 픽셀을 타깃 픽셀로 하여, 상기 타깃 픽셀 집합을 획득할 수 있으며; 여기서, 상기 이미지 성분은 휘도 성분 또는 색도 성분이다. 예를 들어, 상기 미리 설정된 범위는 (
Figure pct00001
,
Figure pct00002
) 이고, 여기서,
Figure pct00003
Figure pct00004
는 각각 상기 원본 픽셀 집합의 이미지 성분의 최대 값 및 최소 값을 의미한다. 상기 재구성 픽셀 및 상기 인코딩될 블록 사이의 연관성이 심할수록, 상기 재구성 픽셀의 속성 정보는 상기 인코딩될 블록에서 예측될 픽셀의 속성 정보와 더 유사하다는 것을 설명한다. 따라서, 상기 재구성 픽셀과 상기 인코딩될 블록 사이의 연관성에 기반하여, 신뢰할 수 있는 재구성 픽셀을 빠르고 효과적으로 선택하여, 상기 타깃 픽셀 집합의 재구성 픽셀로 할 수 있다. 또한, 연관성에 기반하여 선별 조건을 만족하는 재구성 픽셀을 선택할 때, 연관 관계가 낮은 일부 재구성 픽셀이 필터링 되어, 획득한 타깃 픽셀 집합의 재구성 픽셀은 모두 상기 인코딩될 블록과 연관성이 심한 픽셀이고, 이로써, 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행함으로, 알고리즘의 로버스트를 향상시킨다.
단계 S404에 있어서, 연관성이 선별 조건을 만족하는 재구성 픽셀을 선택하여 타깃 픽셀 집합을 획득한다.
예를 들어, 상기 재구성 픽셀과 상기 인코딩될 블록 사이의 거리로 둘 사이의 연관성을 표시한다고 가정하고, 그러면, 미리 설정된 거리 임계 값보다 크거나 같은 거리를 가진 재구성 픽셀이 상기 타깃 픽셀 집합의 재구성 픽셀로 선택될 수 있다. 설명해야 할 것은, 단계 S403 및 단계 S404는 사실상 상기 실시예 중 단계 S303의 일 실시예이다.
단계 S405에 있어서, 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 대해 전처리를 수행하여, 전처리 후의 타깃 픽셀 집합을 획득한다.
이해할 수 있는 것은, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하기 전에, 일부 참조 픽셀(즉 상기 타깃 픽셀 집합의 재구성 픽셀)만 전처리를 수행하고, 전처리 후의 결과에 기반하여 상기 인코딩될 블록에 대해 예측 인코딩을 수행하고, 이로써, 전처리의 복잡성을 줄이고, 예측 인코딩의 계산 복잡성을 줄임으로써, 비디오 유창성을 향상시킨다.
예를 들어, 상기 전처리는 다운 샘플링 처리 일수 있고, 즉, 상기 모든 원본 픽셀 집합에 대해 다운 샘플링 처리를 수행하는 것이 아니라, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해서만 다운 샘플링 처리를 수행한다. 이해할 수 있는 것은, 다운 샘플링 처리의 목적은 상기 재구성 픽셀의 복수 개의 이미지 성분 사이의 해상도를 통일하기 위해서이고, 즉 상기 재구성 픽셀의 복수 개의 이미지 성분이 공간 도메인에서의 사이즈가 동일하도록 한다. 따라서, 여기서 부분 재구성 픽셀에 대해서만 다운 샘플링 처리를 수행하여, 다운 샘플링의 횟수를 줄임으로써, 예측 인코딩의 인코딩 효율을 향상시킬 수 있다.
또는, 상기 전처리는 또한 필터링 처리 일수 있고(예를 들어 보간 필터링), 즉, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 필터링 처리를 수행하여, 필터링 처리 후의 타깃 픽셀 집합을 획득한다. 마찬가지로, 상기 원본 픽셀 집합에 대해 필터링 처리를 하기보다, 여기서 상기 원본 픽셀 집합의 모든 재구성 픽셀에 대해 필터링 처리를 수행하는 것이 아니라, 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 대해서만 필터링 처리를 수행하여, 필터링 횟수를 줄임으로써, 필터링 처리 속도를 향상시킨다.
단계 S406에 있어서, 상기 전처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행한다.
설명해야 할 것은, 단계 S405 및 단계 S406는 사실상 상기 실시예 중 단계 S304의 일 실시예이다.
본 출원의 실시예는 또 다른 정보 처리 방법을 제공하였으며, 도 5a 본 출원의 실시예에 따른 또 다른 정보 처리 방법의 구현 프로세스 예시도이다. 도 5a에 도시된 바와 같이, 상기 방법은 단계 S501 내지 S506을 포함한다.
단계 S501에 있어서, 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하고, 상기 원본 픽셀 집합에서 각 참조 픽셀은 상기 인코딩될 블록 외의 재구성 픽셀이다.
단계 S502에 있어서, 상기 원본 픽셀 집합의 각 재구성 픽셀의 속성 정보를 결정한다.
단계 S503에 있어서, 속성 정보가 선별 조건을 만족하는 재구성 픽셀을 선택하여, 타깃 픽셀 집합을 획득한다.
단계 S504에 있어서, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 다운 샘플링 처리를 수행하여, 다운 샘플링 처리 후의 타깃 픽셀 집합을 획득한다.
단계 S505에 있어서, 상기 다운 샘플링 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 예측 모델을 구축하고, 상기 예측 모델은 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하기 위한 것이다.
설명해야 할 것은, 상기 예측 모델은 선형 모델이 될 수 있고, 비선형 모델이 될 수도 있으며, 본 출원 실시예에 있어서, 상기 예측 모델의 구조에 관하여 한정하지 않는다. 다운 샘플링 처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 예측 모델을 피팅하여, 상기 인코딩될 블록 중 인코딩될 픽셀의 복수 개의 이미지 성분이 상기 예측 모델에서 표시한 예측 관계에 부합하도록 한다.
예를 들어, 상기 예측 모델은 공식(1)에 표시된다고 가정하면,
Figure pct00005
(1)
공식 중, α 및 β는 예측 모델의 모델 파라미터이고, Y는 휘도 성분이고, C'는 예측된 색도 성분이다. 상기 다운 샘플링 처리 후의 타깃 픽셀 집합에서 복수 개의 재구성 픽셀의 휘도 성분 및 색도 성분에 기반하여, 모델 파라미터 α 및 β의 값을 신속히 추론할 수 있고, 이로써 예측 모델을 획득하며, 획득한 예측 모델을 통해, 상기 인코딩될 블록에서 예측될 픽셀의 색도 성분을 예측한다. 예를 들어, 다운 샘플링 처리 후의 타깃 픽셀 집합에서 휘도 성분의 최대 값 및 최소 값을 찾고, 또한, 상기 휘도 성분의 최대 값 및 최소 값에 기반하여, 모델 파라미터 α 및 β의 값을 결정하고, 이로써, 원본 픽셀 집합에 기반하여 모델의 파라미터 α 및 β의 값을 결정하기보다, 전자는 예측 모델의 모델 파라미터를 더 효율적으로 획득할 수 있음으로, 데이터 처리의 속도를 향상시킬 수 있다. 또한, 본 출원의 실시예에서 제공한 정보 처리 방법은 인코딩 효율의 향상에 유리하고, 특히 선별 조건이 합리할 때, 인코딩 효율의 향상은 더욱 선명하다.
다른 실시예에 있어서, 단계 S504 및 S505에 있어서, 아래 내용으로 대체할 수 있다. 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 필터링 처리를 수행하여, 필터링 처리 후의 타깃 픽셀 집합을 획득하고; 상기 필터링 처리 후의 타깃 픽셀 집합에 기반하여, 예측 모델을 구축하고, 상기 예측 모델은 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하기 위한 것이다. 단계 S505 및 단계 S506은 사실상 상기 실시예 중 단계 S406의 일 실시예이다.
단계 S506에 있어서, 상기 예측 모델에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행한다.
다른 실시예에 있어서, 단계 S505에 있어서, 상기 다운 샘플링 처리 후 타깃 픽셀 집합에 기반하여, 예측 모델을 구축하고, 상기 예측 모델은 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하는 데에 쓰이며, 도 5b에 도시된 바와 같이, 단계 S5051 및 S5052를 통해 구현할 수 있다.
단계 S5051에 있어서, 상기 다운 샘플링 처리 후의 타깃 픽셀 집합에서 각 재구성 픽셀의 색도 성분 및 휘도 성분에 기반하여, 예측 모델의 제1 파라미터의 값 및 제2 파라미터의 값을 결정한다.
물론, 다른 실시예에 있어서, 상기 필터링 처리 후의 타깃 픽셀 집합의 각 재구성 픽셀의 색도 성분 및 휘도 성분에 기반하여, 예측 모델의 제1 파라미터의 값 및 제2 파라미터의 값을 결정하고, 이로써 필터링 처리 후의 원본 픽셀 집합에 기반하여, 제1 파라미터의 값 및 제2 파라미터의 값을 결정하는 것보다, 전자의 계산 복잡성이 더 낮다.
단계 S5052 있어서, 상기 제1 파라미터의 값 및 제2 파라미터의 값에 기반하여 상기 예측 모델을 구축한다.
본 출원의 실시예에 있어서, 참조 필터링 부분 집합(즉 상기 실시예의 타깃 픽셀 집합)의 개념을 제출한다. 예측 인코딩에 있어서, 참조 픽셀은 종종 현재 인코딩 블록을 예측하는 데 사용된다(즉 상기 단계 S311에 말한 인코딩될 블록). 참조 픽셀의 특정 영역에는 참조 포인트가 현재 인코딩 블록의 예측에 더 효과적이라고 가정하면, 이러한 포인트로 구성된 참조 픽셀의 부분 집합으로 현재 인코딩 블록을 예측하므로, 복잡성을 줄이는 동시에 인코딩 성능을 잃지 않거나 심지어 향상할 수 있다. 따라서, 본 출원의 실시예에 있어서, 현재 인코딩 블록에 대해 예측하기 전의 모든 처리 단계(예를 들어 다운 샘플링 및 필터링) 전에, 적당한 참조 픽셀 샘플 선택을 수행하여, 참조 픽셀 부분 집합을 획득하며, 상기 부분 집합에 기반하여 예측 인코딩을 수행함으로써, 예측 인코딩의 인코딩 효율을 향상시킨다.
예측 인코딩에 있어서, 참조 픽셀은 종종 현재 인코딩 블록을 예측하는 데 사용된다. 예를 들어, 현재 인코딩 블록의 상단 및 왼쪽 영역에서 사용 가능한 참조 픽셀을 사용하여 현재 인코딩 블록을 예측하고, 이러한 참조 픽셀은 일반적으로 현재 인코딩 블록의 왼쪽에 있는 하나 또는 복수 개의 열로 및 현재 인코딩 블록의 위쪽에 있는 하나 또는 복수 개의 행으로 구성하며, 이러한 픽셀은 일반적으로 재구성 픽셀이고, 즉 예측 인코딩을 완료한 픽셀이다. 때로는, 이러한 픽셀에 대해 다운 샘플링을 수행하여 참조 픽셀을 형성해야 한다.
예를 들어, 도 3c에 도시된 바와 같이, 현재 인코딩될 블록은 2N*2N의 인코딩 블록이고, 상기 인코딩 블록의 원본 픽셀 집합은 위쪽 인접되는 2N 개의 재구성 픽셀 및 왼쪽 인접되는 2N 개의 재구성 픽셀이 포함된다.
인코딩 블록에 있어서, 각 참조 픽셀의 중요성 및 연관성은 상이하다. 동시에, 현재 인코딩 블록에 근접한 위치의 참조 픽셀은 현재 인코딩 블록의 예측에 유사한 영향을 미칠 수 있고, 즉, 현재 인코딩 블록의 인접한 구역의 일부 픽셀은 예측에 매우 효과적일 수 있지만, 다른 픽셀은 현재 인코딩 블록의 예측에 도움이 되지 않는다. 선택된 비교적 중요한 참조 픽셀만을 참조 픽셀 부분 집합(즉 상기 타깃 픽셀 집합)으로 사용하고, 상기 참조 픽셀 부분 집합을 현재 인코딩 블록의 예측에 사용하여, 계산 복잡성이 비교적 낮은 좋은 예측 결과를 획득할 수 있다. 본 출원의 실시예에 있어서, 참조 픽셀을 선별할 때, 각 참조 픽셀 포인트의 중요성 및 연관성 등 요소에 근거하여, 참조 픽셀의 부분 집합을 구축하여, 참조 픽셀 부분 집합으로 현재 인코딩 블록의 예측을 수행하여, 계산 복잡성을 줄이는 동시에, 인코딩의 성능을 향상시킨다.
예를 들어, 현재 인코딩 블록의 왼쪽 또는 상단 영역에서 원본 인접 참조 픽셀(즉 상기 원본 픽셀 집합의 참조 픽셀)을 획득하고; 그 다음, 원본 인접 참조 픽셀의 위치 및/또는 픽셀 특성(예를 들어 강도 등)에 따라, 복수 개의 원본 인접 참조 픽셀에서 조건에 부합한 픽셀을 선택하여, 참조 픽셀 부분 집합을 획득하며; 참조 픽셀 부분 집합을 획득한 후, 현재 인코딩 블록에 대해 예측을 수행하기 전 모든 과정에서 상기 부분 집합을 사용할 수 있으며, 예를 들어 상기 부분 집합에 대해 다운 샘플링 또는 필터링을 수행한다. 또 다른 예를 들어, 교차 성분 선형 모델(Cross component linear model, CCLM) 예측 법에서 상기 부분 집합을 사용한다. 이해할 수 있는 것은, 교차 성분 선형 모델(CCLM)은 H.266/VVC의 인코딩 공구이다. 상기 모델은 재구성 휘도(Y)로 해당 색도(C)를 예측한다. 예를 들어, 아래의 선형 모델 공식(2)으로 현재 인코딩 블록의 색도 값 C'를 추론한다.
Figure pct00006
(2)
여기서, 파라미터 α 및 β의 값은 인접 참조 픽셀의 휘도 및 색도에서 추론할 수 있다.
CCLM에 있어서, 원본 참조 구역에서의 일부 포인트를 선택할 수 있다. 그 다음, 이런 포인트들로 형성된 참조 픽셀 부분 집합으로 추가 처리를 수행하고, 예를 들어, 참조 픽셀 부분 집합으로 다운 샘플링을 수행하고 다운 샘플링 후의 참조 픽셀에서 최대값 및 최소값을 찾아서, 상기 최대값 및 최소값에 기반하여 파라미터 α 및 β의 값을 결정하며, 이로써, 참조 픽셀 부분 집합에 대하여 다운 샘플링을 수행하고, 원본 픽셀 집합에 대하여 다운 샘플링을 수행하기 보다, 다운 샘플링의 횟수를 줄이고, 동시에, 다운 샘플링 후의 참조 픽셀 부분 집합에서 더 빨리 최대값 및 최소값을 찾을수 있으며, 예측 모델을 신속히 결정함으로써, 데이터 처리 속도를 향상시킨다. 물론, 선별 조건이 합리할 때, 예측 인코딩의 인코딩 효율이 향상할 수 있고; 다른 실시예에 있어서, 원본 픽셀 집합에 비하여, 여기서 참조 픽셀 부분 집합을 사용하여 더 빨리 파라미터 α 및 β의 값을 추론할 수 있으며, 그리고 처리를 통해 획득된 예측 모델로 현재 인코딩 블록에 대하여 예측을 수행함으로써 더이터 처리 속도를 향상시킨다.
본 출원의 실시예에 있어서, 현재 인코딩 블록이 예측을 수행하기 전의 모든 처리에서, 참조 픽셀의 부분 집합을 사용하여 비디오 인코딩을 수행함으로, 비디오 인코딩의 복잡성을 줄이고, 알고리즘의 견고성을 향상시킬수 있다.
전술한 실시예에 기반하여, 본 출원의 실시예는 정보 처리 장치를 제공하고, 상기 장치는 모든 유닛을 포함하고, 및 각 유닛이 포함한 각 모듈을 포함하고, 전자 기기의 프로세서로 구현할 수 있고; 물론 구체적인 논리 회로로 구현할 수도 있으며; 실시 과정에 있어서, 프로세서는 중앙 처리 장치(Central processing unit, CPU), 마이크로프로세서 유닛(Microprocessor Unit, MPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP) 또는 필드 프로그래밍 가능 게이트 어레이(Field Programmable Gate Array, FPGA)등 일수 있다.
도 6a는 본 출원의 실시예의 정보 처리 장치의 구성 구조 예시도이고, 예를 들어, 6a에 도시한 바와 같이, 상기 장치(60)는 원본 픽셀 집합 결정 모듈(61), 속성 정보 결정 모듈(62), 타깃 픽셀 선택 모듈(63) 및 처리 모듈(64) 등을 포함한다, 여기서, 원본 픽셀 집합 결정 모듈(61)은 현재 비디오 프레임의 인코딩될 블록의 원본 픽셀 집합을 결정하도록 구성되고; 속성 정보 결정 모듈(62)은 상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하도록 구성되며; 타깃 픽셀 선택 모듈(63)은 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하도록 구성되고; 인코딩 처리 모듈(64)은 상기 타깃 픽셀 집합의 각 원본 픽셀의 속성 정보에 기반하여 상기 인코딩될 블록에 대하여 인코딩을 수행하도록 구성된다.
다른 실시예에 있어서, 상기 인코딩될 블록 외의 적어도 하나의 재구성 픽셀을 상기 원본 픽셀 집합의 원본 픽셀로 결정하도록 구성된 원본 픽셀 집합 결정 모듈(61); 상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩 블록에 대하여 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행하도록 구성된 인코딩 처리 모듈(64)을 포함한다.
다른 실시예에 있어서, 상기 인코딩될 블록 내의 적어도 하나의 인코딩될 픽셀을 상기 원본 픽셀 집합의 원본 픽셀로 결정하도록 구성된 원본 픽셀 집합 결정 모듈(61); 상기 타깃 픽셀 집합 중 각 인코딩될 픽셀의 속성 정보에 기반하여, 상기 타깃 픽셀 집합에 대하여 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행하도록 구성된 인코딩 처리 모듈(64)을 포함한다.
다른 실시예에 있어서, 도 6b에 도시한 바와 같이, 상기 타깃 픽셀 선택 모듈(63)은, 상기 원본 픽셀 집합에서 재구성 픽셀의 속성 정보를 기반하여 각 재구성 픽셀 및 상기 인코딩될 블록의 연관성을 결정하도록 구성된 연관성 결정 유닛(631); 연관성이 선별 조건을 만족하는 재구성 필터를 선택하여, 타깃 픽셀 집합을 획득하도록 구성된 선택 유닛(632)을 포함한다.
다른 실시예에 있어서, 상기 연관성 결정 유닛(631)은, 상기 원본 픽셀 집합 중 재구성 픽셀 및 상기 인코딩될 블록의 위치 관계를 결정하고; 상기 위치 관계를 상기 재구성 픽셀 및 상기 인코딩될 블록의 연관성으로 결정한다.
다른 실시예에 있어서, 상기 타깃 픽셀 선택 모듈(63)은, 상기 원본 픽셀 집합에서 이미지 성분이 미리 설정된 범위 내에 있는 재구성 픽셀을 타깃 픽셀로 하여, 상기 타깃 픽셀 집합을 획득한다.
다른 실시예에 있어서, 상기 이미지 성분은 휘도 성분 또는 색도 성분이다.
다른 실시예에 있어서, 도 6c에 도시된 바와 같이, 상기 인코딩 처리 모듈(64)은, 상기 타깃 픽셀 집합에서 각 재구성 픽셀의 속성 정보에 대하여 전처리를 수행하여, 전처리 후의 타깃 픽셀 집합을 획득하는 전처리 유닛(641); 상기 전처리 후의 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대하여 예측 인코딩을 수행하는 예측 인코딩 유닛(642)을 포함한다.
다른 실시예에 있어서, 상기 전처리 유닛(641)은, 상기 타깃 픽셀 집합의 재구성 픽셀의 속성 정보에 대하여 다운 샘플링 처리를 수행하여, 다운 샘플링 처리 후의 타깃 픽셀 집합을 획득하고; 또는, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대하여 필터링 처리를 수행하여, 필터링 처리 후의 타깃 픽셀 집합을 획득한다.
다른 실시예에 있어서, 도 6d에 도시한 바와 같이, 상기 예측 인코딩 유닛(641)은, 상기 다운 샘플링 처리 또는 상기 필터링 처리 후의 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 기반하여, 예측 모델을 구축하고, 상기 예측 모델은 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하는 모델 구축 서브 유닛(6411); 상기 예측 모델에 기반하여, 상기 인코딩될 블록에 대하여 예측 인코딩을 수행하는 예측 인코딩 서브 유닛(6412)을 포함한다.
다른 실시예에 있어서, 상기 모델 구축 서브 유닛(6411)은, 상기 다운 샘플링 처리 또는 필터링 처리 후의 타깃 픽셀 집합의 각 재구성 픽셀의 색도 성분 및 휘도 성분에 기반하여, 예측 모델의 제1 파라미터의 값 및 제2 파라미터의 값을 결정하고; 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여, 상기 예측 모델을 구축한다.
다른 실시예에 있어서, 상기 원본 픽셀 집합 결정 모듈(61)은, 상기 인코딩될 블록이 위치하여 있는 미리 설정된 범위 내의 N개의 재구성 픽셀을 상기 원본 픽셀 집합으로 결정하고; 여기서, N은 미리 설정된 1보다 크거나 같은 정수이다.
다른 실시예에 있어서, 상기 원본 픽셀 집합 결정 모듈(61)은, 상기 인코딩될 블록에 인접한 참조 행 또는 참조 열중의 재구성 픽셀을 원본 픽셀 집합으로 결정한다.
상기 장치 실시예의 설명은, 상기 방법의 실시예의 설명과 유사한 것으로서, 방법 실시예와 유사한 유익한 효과를 갖는다. 본 출원의 장치 실시예에서 미개시한 기술적인 세부 사항은, 본 출원의 방법 실시예의 설명을 참조하여 이해할 수 있다.
설명해야 할 것은, 본 출원의 실시예에 있어서, 소프트웨어 기능 모듈의 형태로 상기 정보 처리 방법을 구현하고, 독립적인 제품으로서 판매하거나 사용할 경우, 컴퓨터 판독 가능한 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술 방법, 즉 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 전자 기기(휴대폰, 태블릿 컴퓨터, 개인용 컴퓨터, 개인용 정보 단말기, 네비게이터, 디지털 전화, 비디오 전화, 텔레비전, 센서 장비, 서버 등일 수 있음)로 하여금 본 출원의 각 실시예의 상기 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, USB 디스크, 모바일 하드 디스크, 판독 전용 메모리(Read Only Memory, ROM), 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다. 이로써, 본 출원의 실시예는 임의의 특정 하드웨어 및 소프트웨어 조합에 한정되지 않는다.
본 출원의 실시예는 메모리 및 프로세서를 포함하는 전자 기기를 제공한다. 상기 메모리는 프로세스에서 운행 가능한 컴퓨터 프로그램이 저장되어 있다. 그리고 상기 프로세서는 상기 프로그램을 실행시 상기 실시예에서 제공한 정보 처리 방법의 단계를 구현한다.
본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상기 실시예에서 제공한 정보 처리 방법의 단계를 구현한다.
여기서 설명해야 할 것은, 상기 저장 매체 및 기기 실시예의 설명은, 상기 방법 실시예의 설명과 유사한 것으로서, 방법 실시예와 유사한 유익한 효과를 갖는다. 본 출원의 저장 매체 및 기기 실시예에서 미개시한 기술적인 세부 사항은, 본 출원의 방법 실시예의 설명을 참조하여 이해할 수 있다.
설명해야 할 것은, 도 7은 본 출원의 실시예의 전자 기기의 하드웨어 엔티티 예시도이고, 도 7 에서 도시한 바와 같이, 상기 전자 기기(700)는 메모리(701) 및 프로세서(702)를 포함하고, 상기 메모리(701)는 프로세스(702)에서 운행 가능한 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서(702)는 상기 프로그램을 실행시 상기 실시예에서 제공한 정보 처리 방법의 단계를 구현한다.
설명해야 할 것은, 메모리(701)는 프로세서(702)가 실행 가능한 명령어 및 응용을 저장하고, 프로세서(702) 및 컴퓨터 기기(700)에서 각 모듈에 의해 이미 처리되었거나 처리될 데이터(예를 들어, 이미지 데이터, 오디오 데이터, 음성 통신 데이터 및 동영상 통신 데이터)를 캐시하며, 플래시(FLASH) 또는 랜덤 액세스 메모리(Random Access Memory, RAM)를 통해 구현된다.
이해해야 할 것은, 명세서에서 언급한 "하나의 실시예" 또는 "일 실시예"는 실시예와 관련된 특정한 특징, 구조 또는 특성은 본 출원의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 명세서 각 곳에서 나타난 "하나의 실시예에서" 또는 "일 실시예에서"는 무조건 동일한 실시예를 가리키는 것은 아니다. 또한, 이러한 특정한 특징, 구조 또는 특성은 임의의 적합한 방식으로 하나 또는 복수 개의 실시예에 결합될 수 있다. 이해해야 할 것은, 본 출원의 다양한 실시예에 있어서, 상기 각 과정의 번호의 크기는 실행 순서의 선후를 의미하지 않고, 각 과정의 실행 순서는 그 기능 및 내적 논리에 따라 결정되며, 본 출원의 실시예의 실시 과정에 대하여 어떠한 한정도 하지 않는다. 상기 본 출원 실시예의 번호는 다만 설명을 위한 것일 뿐, 실시예의 우열을 나타내는 것은 아니다.
설명해야 할 것은, 본 발명에서, 용어 "포함", "함유" 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치로 하여금 이러한 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소를 포함하도록 할 수도 있으며, 또는 이러한 프로세스, 방법, 물품, 또는 장치의 고유한 요소를 포함한다. 더 많은 한정이 없는 경우, 어구 "하나의...을 포함한다"에 의해 정의된 요소는, 상기 요소를 포함하는 과정, 방법, 물품 또는 장치에 다른 동일한 요소가 존재한다는 것을 배제하지 않는다.
본 출원에서 제공된 몇 개의 실시예에 있어서, 개시된 방법은 다른 방법으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 장치 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 응용시 다른 분할 방법이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 각각의 디스플레이되거나 논의된 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통한 기기 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태 일 수있다.
상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방법의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 전부 통합될 수 있으며, 각 유닛이 각각 독립적으로 하나의 유닛으로서 존재할 수도 있거나, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완성되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 모바일 저장 기기, ROM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
또는, 본 출원의 상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술 방법, 즉 연관 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 전자 기기(휴대폰, 태블릿 컴퓨터, 개인용 컴퓨터, 개인용 정보 단말기, 네비게이터, 디지털 전화, 비디오 전화, 텔레비전, 비디오 카메라 센서 장비, 서버 등일 수 있음)로 하여금 본 출원의 각 실시예의 상기 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 모바일 저장 장치, ROM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 매체를 포함한다.
이상의 설명은 다만 본 출원의 실시 형태일 뿐이고, 본 출원의 보호 범위는 이에 한정되지 않으며, 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 출원에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호범위는 청구범위의 보호범위를 기준으로 해야 한다.
본 출원의 실시예에 있어서, 인코딩될 블록의 원본 픽셀 집합에서 속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하고; 상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대하여 인코딩을 수행하며; 이로써, 선택한 일부 원본 픽셀의 속성 정보에 기반하여 인코딩될 블록에 대하여 인코딩을 수행함으로써 인코딩 처리의 계산 복잡성을 줄임으로 비디오 인코딩 효율을 향상하여 사용자가 비디오를 시청하는 유창성을 향상할 수 있다.

Claims (20)

  1. 정보 처리 방법으로서,
    현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하는 단계;
    상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하는 단계;
    속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계; 및
    상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  2. 제1항에 있어서,
    상기 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하는 단계는,
    상기 인코딩될 블록 외의 적어도 하나의 재구성 픽셀을 상기 원본 픽셀 집합의 원본 픽셀로 결정하는 단계를 포함하고,
    상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하는 단계는,
    상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  3. 제1항에 있어서,
    상기 현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하는 단계는,
    상기 인코딩될 블록 내의 적어도 하나의 인코딩될 픽셀을 상기 원본 픽셀 집합의 원본 픽셀로 결정하는 단계를 포함하고,
    상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하는 단계는,
    상기 타깃 픽셀 집합 중 각 인코딩될 픽셀의 속성 정보에 기반하여, 상기 타깃 픽셀 집합에 대해 예측 인코딩, 변환 인코딩 또는 엔트로피 인코딩을 수행하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  4. 제2항에 있어서,
    속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계는,
    상기 원본 픽셀 집합 중 재구성 픽셀의 속성 정보에 기반하여, 각 재구성 픽셀 및 상기 인코딩될 블록의 연관성을 결정하는 단계; 및
    연관성이 선별 조건을 만족하는 재구성 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  5. 제4항에 있어서,
    상기 원본 픽셀 집합 중 재구성 픽셀의 속성 정보에 기반하여, 각 재구성 픽셀 및 상기 인코딩될 블록의 연관성을 결정하는 단계는,
    상기 원본 픽셀 집합에서 재구성 픽셀 및 상기 인코딩될 블록의 위치 관계를 결정하는 단계; 및
    상기 위치 관계를 상기 재구성 픽셀 및 상기 인코딩될 블록의 연관성으로 결정하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  6. 제2항에 있어서,
    속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 획득하는 단계는,
    상기 원본 픽셀 집합에서 이미지 성분이 미리 설정된 범위 내에 있는 재구성 픽셀을 타깃 픽셀로 하여, 상기 타깃 픽셀 집합을 획득하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  7. 제6항에 있어서,
    상기 이미지 성분은 휘도 성분 또는 색도 성분인 것을 특징으로 하는,
    정보 처리 방법.
  8. 제2항에 있어서,
    상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하는 단계는,
    상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 대해 전처리를 수행하여, 전처리 후의 타깃 픽셀 집합을 획득하는 단계; 및
    상기 전처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  9. 제8항에 있어서,
    상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 대해 전처리를 수행하여, 전처리 후의 타깃 픽셀 집합을 획득하는 단계는,
    상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 다운 샘플링 처리를 수행하여, 다운 샘플링 처리 후의 타깃 픽셀 집합을 획득하는 단계; 및
    또는, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 필터링 처리를 수행하여, 필터링 처리 후의 타깃 픽셀 집합을 획득하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  10. 제9항에 있어서,
    상기 전처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하는 단계는,
    상기 다운 샘플링 처리 또는 상기 필터링 처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 예측 모델을 구축하는 단계 - 상기 예측 모델은 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하기 위한 것임 - ; 및
    상기 예측 모델에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  11. 제10항에 있어서,
    상기 다운 샘플링 처리 또는 상기 필터링 처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 예측 모델을 구축하는 단계는,
    상기 다운 샘플링 처리 또는 필터링 처리 후의 타깃 픽셀 집합에서 각 재구성 픽셀의 색도 성분 및 휘도 성분에 기반하여, 예측 모델의 제1 파라미터의 값 및 제2 파라미터의 값을 결정하는 단계; 및
    상기 제1 파라미터의 값 및 제2 파라미터의 값에 기반하여 상기 예측 모델을 구축하는 단계를 포함하는 것을 특징으로 하는,
    정보 처리 방법.
  12. 정보 처리 장치로서,
    현재 비디오 프레임에서 인코딩될 블록의 원본 픽셀 집합을 결정하도록 구성된 원본 픽셀 집합 결정 모듈;
    상기 원본 픽셀 집합의 각 원본 픽셀의 속성 정보를 결정하도록 구성된 속성 정보 결정 모듈;
    속성 정보가 선별 조건을 만족하는 원본 픽셀을 선택하여 타깃 픽셀 집합을 얻도록 구성된 타깃 픽셀 선택 모듈; 및
    상기 타깃 픽셀 집합 중 각 원본 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 인코딩 처리를 수행하도록 구성된 인코딩 처리 모듈을 포함하는 것을 특징으로 하는,
    정보 처리 장치.
  13. 제12항에 있어서,
    상기 타깃 픽셀 선택 모듈은,
    상기 원본 픽셀 집합 중 재구성 픽셀의 속성 정보에 기반하여, 각 재구성 픽셀 및 상기 인코딩될 블록의 연관성을 결정하도록 구성된 연관성 결정 유닛; 및
    연관성이 선별 조건을 만족하는 재구성 픽셀을 선택하여 타깃 픽셀 집합을 획득하도록 구성된 선택 유닛을 포함하는 것을 특징으로 하는,
    정보 처리 장치.
  14. 제12항에 있어서,
    상기 인코딩 처리 모듈은,
    상기 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 대해 전처리를 수행하여, 전처리 후의 타깃 픽셀 집합을 획득 하도록 구성된 전처리 유닛; 및
    상기 전처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하도록 구성된 예측 인코딩 유닛을 포함하는 것을 특징으로 하는,
    정보 처리 장치.
  15. 제14항에 있어서,
    상기 전처리 유닛은,
    상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 다운 샘플링 처리를 수행하여, 다운 샘플링 처리 후의 타깃 픽셀 집합을 획득 하고;
    또는, 상기 타깃 픽셀 집합의 각 재구성 픽셀의 속성 정보에 대해 필터링 처리를 수행하여, 필터링 처리 후의 타깃 픽셀 집합을 획득 하도록 구성되는 것을 특징으로 하는,
    정보 처리 장치.
  16. 제15항에 있어서,
    상기 예측 인코딩 유닛은,
    상기 다운 샘플링 처리 또는 상기 필터링 처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 속성 정보에 기반하여, 상기 인코딩될 블록에서 인코딩될 픽셀의 복수 개의 이미지 성분 사이의 예측 관계를 표시하기 위하여 예측 모델을 구축하도록 구성된 모델 구축 서브 유닛; 및
    상기 예측 모델에 기반하여, 상기 인코딩될 블록에 대해 예측 인코딩을 수행하도록 구성된 예측 인코딩 서브 유닛을 포함하는 것을 특징으로 하는,
    정보 처리 장치.
  17. 제16항에 있어서,
    상기 모델 구축 서브 유닛은,
    상기 다운 샘플링 처리 또는 필터링 처리 후의 타깃 픽셀 집합 중 각 재구성 픽셀의 색도 성분 및 휘도 성분에 기반하여, 예측 모델의 제1 파라미터의 값 및 제2 파라미터의 값을 결정하고; 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여, 상기 예측 모델을 구축하도록 구성된 것을 특징으로 하는,
    정보 처리 장치.
  18. 제12항에 있어서,
    상기 원본 픽셀 집합 결정 모듈은,
    상기 인코딩될 블록이 위치한 미리 설정된 범위 내의 N 개의 재구성 픽셀을 상기 원본 픽셀 집합으로 결정하도록 구성되고, N은 미리 설정된 1보다 크거나 같은 정수인 것을 특징으로 하는,
    정보 처리 장치.
  19. 전자 기기로서,
    메모리 및 프로세서를 포함하고, 상기 메모리에는 프로세서에서 작동 가능한 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서가 상기 프로그램을 실행할 때 제1항 내지 제11항 중 어느 한 항에 따른 정보 처리 방법의 단계를 구현하는 것을 특징으로 하는,
    전자 기기.
  20. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제11항 중 어느 한 항에 따른 정보 처리 방법의 단계를 구현하는 것을 특징으로 하는,
    컴퓨터 판독 가능한 저장 매체.
KR1020217025551A 2019-01-16 2019-05-16 정보 처리 방법 및 장치, 기기, 저장 매체 KR20210114462A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962793012P 2019-01-16 2019-01-16
US62/793,012 2019-01-16
PCT/CN2019/087300 WO2020147226A1 (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
KR20210114462A true KR20210114462A (ko) 2021-09-23

Family

ID=71613686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025551A KR20210114462A (ko) 2019-01-16 2019-05-16 정보 처리 방법 및 장치, 기기, 저장 매체

Country Status (6)

Country Link
US (1) US20210344924A1 (ko)
EP (1) EP3910948A4 (ko)
JP (2) JP7379501B2 (ko)
KR (1) KR20210114462A (ko)
CN (3) CN113347425B (ko)
WO (1) WO2020147226A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473135B (zh) * 2021-05-26 2023-09-01 北京大学 一种面向非线性纹理的帧内预测方法、设备及介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360235B (zh) * 2007-08-03 2011-09-14 上海中科计算技术研究所 视频图像预处理方法
WO2010150486A1 (ja) * 2009-06-22 2010-12-29 パナソニック株式会社 画像符号化方法及び画像符号化装置
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
CN106998470B (zh) * 2016-01-25 2020-03-20 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
EP3526968A4 (en) * 2016-10-12 2020-06-03 Telefonaktiebolaget LM Ericsson (publ) RESIDUAL REFINEMENT OF COLOR COMPONENTS
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN108833916B (zh) * 2018-06-20 2021-09-24 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
EP3910948A1 (en) 2021-11-17
JP7379501B2 (ja) 2023-11-14
CN113347425B (zh) 2023-05-26
CN113347425A (zh) 2021-09-03
EP3910948A4 (en) 2022-07-27
US20210344924A1 (en) 2021-11-04
CN112640458A (zh) 2021-04-09
JP2022523461A (ja) 2022-04-25
CN116527883A (zh) 2023-08-01
JP2024001313A (ja) 2024-01-09
WO2020147226A1 (zh) 2020-07-23

Similar Documents

Publication Publication Date Title
US10477232B2 (en) Search region determination for intra block copy in video coding
JP6542225B2 (ja) イントラブロックコピーのための残差予測
EP3417613A1 (en) Geometric transforms for filters for video coding
TWI665911B (zh) 用於調色盤模式寫碼之寫碼逃脫像素
US20240098255A1 (en) Video picture component prediction method and apparatus, and computer storage medium
TW201919398A (zh) 視頻數據解碼方法及裝置
JP2024001313A (ja) 情報処理方法および装置、機器、記憶媒体
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
JP2017514353A (ja) メッシュベースの計算を使用した低複雑な順変換のためのシステムおよび方法
CN112740691A (zh) 用于编码和解码表示至少一个图像的数据流的方法和设备
US11350088B2 (en) Intra prediction method and apparatus, and computer-readable storage medium
KR20220027084A (ko) 정보 처리 방법 및 장치, 설비, 저장 매체
RU2800683C2 (ru) Способ и устройство предсказывания компонента видеоизображения и компьютерный носитель данных